本出願は、2018年9月7日に出願された米国特許仮出願第62/728,573号に対する利益を主張し、これは、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。
本開示は、特に、応答時間が改善されたクライアントユーザインタフェース(GUI)を含むクライアントサーバシステムに関する。一般に、画像データの視覚化および分析のためのインタフェースは、(i)クライアントシステム(例えば、クライアントシステムでローカルに実行されるビューアアプリケーション)、または(ii)クライアントシステムが、Webブラウザなどのブラウザを介したリモートサーバ上のビューアアプリケーションのインスタンスにアクセスするリモートサーバ上で実行される。画像データ、例えば、ヘマトキシリンおよびエオシンで染色された、または1つまたは複数のバイオマーカの存在について染色された生体試料の走査画像は、リモートサーバ、例えば、リモートサーバに通信可能に結合された記憶システムからビューアアプリケーションまたはブラウザに配信され得る。いくつかの実施形態では、画像データは、ビューアアプリケーションまたはブラウザに配信され得る画像タイル(本明細書で定義される)の形態である。通常、リモートサーバから一般的に転送される画像タイルの量(送信されるファイルのサイズに加えて)のため、ユーザ入力がビューアアプリケーションによって受信された後、画像データはビューアアプリケーションまたはブラウザ内でリアルタイムに視覚化されないことがある。これにより、ユーザが画像データの分析をリアルタイムで実行できなくなる可能性がある。
画像の視覚化をより容易にするために、本開示は、いくつかの実施形態において、サーバ上での生体画像データ(例えば、病理組織画像データまたは細胞病理画像データ)の自動前処理および前処理済画像データのクライアントシステム、例えばデジタル病理分析システムへの配信を提供する。いくつかの実施形態では、画像データの前処理は、走査された画像データを入力形式(例えば、DICOM、BIF、または別の非圧縮画像ファイル形式)から宛先形式(例えば、JPEGなどの圧縮画像ファイル形式)に変換することを含む。入力形式に含まれる画像データは大きい、例えば、画像ファイルあたり2000メガバイトを超えると考えられ、入力ファイル形式を宛先ファイル形式に変換する(データが圧縮されることがある)と、クライアントシステムへの画像データの迅速な配信が可能になる。いくつかの実施形態では、画像データの前処理は、走査された画像データファイルを複数のファイル(例えば、入力ファイル形式または宛先ファイル形式のいずれかであり得る複数の画像タイルファイル)に分割することを含み、これもまたサーバからクライアントシステムへの画像データの配信をより迅速に容易にする。サーバの処理能力は有限であると考えられており、画像データに対する複数の要求(1つまたは複数のクライアントシステムからなど)がリアルタイムで受信された場合、重い負担がかかる可能性がある。クライアントシステムから画像データを要求する前にサーバ上で画像データを前処理することにより、処理リソースなどのサーバリソースへの負担が軽減され、クライアントシステムへの画像データの配信が改善される。例えば、ユーザ要求またはプリフェッチ動作に応答してリアルタイムで画像タイルを生成する代わりに、生体画像データを前処理して、画像タイルをすぐに送信できるようにし得る。
本開示はまた、いくつかの実施形態において、キャッシュエージェントを介するなどして、宛先ファイル形式の前処理済画像データを含む生体画像データの、サーバからクライアントシステムに通信可能に結合されたクライアントキャッシュへの自動配信を提供する。このようにして、クライアントシステムから要求された画像データは、前処理済画像データなどの画像データが事前入力されたローカルクライアントキャッシュから取得でき、ネットワークを介して送信する必要がなく、これは関連するファイルサイズを考えると、遅くなる可能性がある。全体として、本明細書に記載のシステムおよび方法は、画像データのより堅固で正確なレビューを提供し、最終的には改善された患者ケアを提供する。さらに、本明細書に記載のシステムおよび方法は、より良いユーザ体験を提供し、ユーザ(例えば、病理医)がより迅速かつ正確に職務を遂行することを可能にする。
本開示の一態様は、生体画像データのデジタル病理分析システムへの送信を容易にするために、サーバ上で生体画像データを前処理する方法であり、第1の画像ファイル形式を有する生体画像データを受信することであって、生体画像データが、上に配置された1つまたは複数の生体試料を有する顕微鏡スライドの走査から得られ、生体試料がヘマトキシリンおよびエオシンで染色されるか、または1つまたは複数のバイオマーカの存在を識別するために染色される、受信することと、受信された生体画像データを前処理して、1つまたは複数の前処理済画像ファイルを生成することであって、生成された1つまたは複数の前処理済画像ファイルのそれぞれが、第1のファイル形式で受信された生体画像データから得られ、生成された1つまたは複数の前処理済画像ファイルのそれぞれが、第2のファイル形式で提供される、前処理および生成することと、第2のファイル形式で提供される生成された1つまたは複数の前処理済画像ファイルを、サーバに通信可能に結合された1つまたは複数のメモリに記憶することとを含む。
いくつかの実施形態では、第1の画像ファイル形式および第2の画像ファイル形式は同じである。いくつかの実施形態では、前処理ステップは、複数の前処理済画像ファイルを生成する。いくつかの実施形態では、複数の前処理済画像ファイルは、複数の画像タイルファイルであり、記憶された複数の画像タイルファイルはそれぞれ、第1の画像ファイル形式の受信された生体画像データ内の個々のタイルファイルの位置に対応する座標を含むファイル名を含む。いくつかの実施形態では、前処理ステップが、複数のセットの前処理済画像ファイルを生成し、複数のセットの前処理済画像ファイルの各セットの前処理済画像ファイルが、単一の倍率レベルに対応する複数の画像タイルファイルを含む。いくつかの実施形態では、第1および第2のファイル形式は、圧縮画像ファイル形式である。いくつかの実施形態では、圧縮画像ファイル形式は、JPEGファイル交換形式、ポータブルネットワークグラフィックスファイル形式、およびそれらの派生物からなる群から選択される。
いくつかの実施形態では、第1の画像ファイル形式と第2の画像ファイル形式とは異なる。いくつかの実施形態では、第1の画像ファイル形式が、RAW画像ファイル形式または非圧縮画像ファイル形式のうちの1つであり、第2の画像ファイル形式は、圧縮画像ファイル形式である。いくつかの実施形態では、前処理ステップは、受信された生体画像データをRAWまたは非圧縮画像ファイル形式に変換し、1つまたは複数の前処理済画像ファイルを圧縮画像ファイル形式で生成することを含む。いくつかの実施形態では、前処理ステップは、圧縮画像ファイル形式で単一の前処理済画像ファイルを生成する。いくつかの実施形態では、前処理ステップは、圧縮画像ファイル形式で複数の前処理済画像ファイルを生成する。いくつかの実施形態では、前処理ステップが、複数のセットの前処理済画像ファイルを生成し、複数のセットの前処理済画像ファイルの各セットの前処理済画像ファイルが、単一の倍率レベルに対応する圧縮画像ファイル形式の複数の画像タイルファイルを含む。いくつかの実施形態では、複数の前処理済画像ファイルは、複数の画像タイルファイルであり、記憶された複数の画像タイルファイルはそれぞれ、第1の画像ファイル形式の受信された生体画像データ内の個々のタイルファイルの位置に対応する座標を含むファイル名を含む。いくつかの実施形態では、第1の画像ファイル形式を有する受信された生体画像データのファイルサイズが、圧縮画像ファイル形式の生成された複数の前処理済画像ファイルのすべての総ファイルサイズよりも大きい。いくつかの実施形態では、圧縮画像ファイル形式は、宛先ファイル形式である。いくつかの実施形態では、宛先ファイル形式は、ブラウザ互換ファイル形式である。
いくつかの実施形態では、方法は、記憶された1つまたは複数の前処理済画像ファイルについて、デジタル病理分析システムから要求を受信することをさらに含む。いくつかの実施形態では、方法は、記憶された1つまたは複数の前処理済画像ファイルを、デジタル病理分析システム上で実行されているキャッシュエージェントに自動的に転送することをさらに含む。いくつかの実施形態では、1つまたは複数のメモリは、揮発性メモリと不揮発性メモリの両方を含む。いくつかの実施形態では、1つまたは複数のメモリは、不揮発性メモリである。いくつかの実施形態では、記憶された1つまたは複数の前処理済画像ファイルが、1つまたは複数の不揮発性メモリに所定の時間維持される。いくつかの実施形態では、所定の時間は、約5日~約15日の範囲である。
本開示の別の態様は、デジタル病理分析システム内のクライアントキャッシュ内の生体画像データを管理する方法であり、リモートサーバを用いてユーザ認証を実行することであって、認証は、キャッシュエージェントがデジタル病理分析システム上で実行されていることを確認する、実行することと、リモートサーバから複数の新しい生体画像タイルを受信することであって、新しい生体画像タイルが、上に配置された1つまたは複数の生体試料を有する顕微鏡スライドの走査から得られ、生体試料がヘマトキシリンおよびエオシンで染色されるか、または1つまたは複数のバイオマーカの存在を識別するために染色される、受信することと、所定の基準に基づいて、デジタル病理システムに通信可能に結合されたクライアントキャッシュから、既存の生体画像タイルの少なくとも第1の部分を除去することと、受信された新しい生体画像タイルをクライアントキャッシュに記憶することとを含む。
いくつかの実施形態では、所定の基準が、記憶割り当て制限、キャッシュ画像有効期限、スライド表示期間の有効期限、およびケース再割り当てを含む。いくつかの実施形態では、除去された既存の生体画像タイルの第1の部分の集合サイズが、受信された新しい生体画像タイルの総サイズとほぼ同じである。いくつかの実施形態では、除去された既存の生体画像タイルの第1の部分の集合サイズが、受信された新しい生体画像タイルのサイズよりも大きい。いくつかの実施形態では、受信された複数の新しい生体画像タイルが、圧縮ファイル形式を有する前処理済生体画像タイルである。いくつかの実施形態では、圧縮ファイル形式はJPEGである。
いくつかの実施形態では、方法は、所定の基準に基づいて、記憶された新しい生体画像タイルの第1の部分を除去することによってクライアントキャッシュを維持することをさらに含む。いくつかの実施形態では、所定の基準が、記憶割り当て制限、キャッシュ画像有効期限、スライド表示期間の有効期限、およびケース再割り当てを含む。いくつかの実施形態では、方法は、病理医によってレビューされた、記憶された新しい生体画像タイルの第2の部分を除去することをさらに含む。
本開示の別の態様は、デジタル病理分析システム内のクライアントキャッシュ内の生体画像データを管理する方法であり、デジタル病理分析システムに通信可能に結合されたクライアントキャッシュを維持することであって、クライアントキャッシュが1つまたは複数の患者症例の生体画像データを含み、クライアントキャッシュが、所定の基準に基づいて既存の生体画像データの第1の部分を除去することによって維持される、維持することと、リモートサーバで認証を実行することと、クライアントキャッシュに新しい生体画像データを追加するための第1の要求をリモートサーバから受信することと、受信された新しい生体画像データをクライアントキャッシュ内に記憶することと、を含み、既存の生体画像データおよび記憶された新しい生体画像データが、上に配置された1つまたは複数の生体試料を有する顕微鏡スライドの走査から得られ、生体試料がヘマトキシリンおよびエオシンで染色されるか、または1つまたは複数のバイオマーカの存在を識別するために染色される。
いくつかの実施形態では、所定の基準が、記憶割り当て制限、キャッシュ画像有効期限、スライド表示期間の有効期限、およびケース再割り当てを含む。いくつかの実施形態では、クライアントキャッシュは、1つまたは複数の患者症例に割り当てられた病理医によってレビューされた1つまたは複数の患者症例の既存の生体画像データの第2の部分を除去することによってさらに維持される。
いくつかの実施形態では、クライアントキャッシュは、デジタル病理分析システムに通信可能に結合された記憶サブシステムに事前に割り当てられる。いくつかの実施形態では、認証は、キャッシュエージェントがデジタル病理分析システム上で実行されていることを確認することを含む。
いくつかの実施形態では、方法は、クライアントキャッシュから記憶された新しい生体画像データの少なくとも一部を取得するために、デジタル病理分析システム上で実行されているビューアアプリケーションまたはブラウザから第2の要求を受信することをさらに含む。いくつかの実施形態では、取得され記憶された新しい生体画像データがビューアアプリケーションまたはブラウザに転送され、デジタル病理分析システムのディスプレイ画面に表示される。いくつかの実施形態では、記憶された新しい生体画像データは、圧縮画像ファイル形式の複数の前処理済画像タイルを含む。いくつかの実施形態では、複数の画像タイルが、第1の倍率レベルで走査された生体画像データに対応する第1の一連の画像タイルと、第2の倍率レベルで走査された生体画像データに対応する第2の一連の画像タイルとを含む。
本開示の別の態様は、デジタル病理分析システムに通信可能に結合されたクライアントキャッシュにキャッシュされた生体画像データを維持する方法であり、生体画像データにアクセスすることであって、生体画像データが、上に配置された1つまたは複数の生体試料を有する顕微鏡スライドの走査から得られ、生体試料がヘマトキシリンおよびエオシンで染色されるか、または1つまたは複数のバイオマーカの存在を識別するために染色される、アクセスすることと、キャッシュエージェントがデジタル病理分析システムで実行されているという確認を受信することと、アクセスされた生体画像データの少なくとも一部を配信して、クライアントキャッシュ内の利用可能な記憶空間の一部を少なくとも部分的に満たすことと、デジタル病理分析システムに配信されるアクセスされた生体画像データの少なくとも一部に関連付けられた1つまたは複数のURLを記憶することと
を含む。
いくつかの実施形態では、アクセスされた生体画像データの少なくとも一部が、クライアントサーバ上の利用可能な記憶空間を完全に満たすように配信される。いくつかの実施形態では、クライアントキャッシュに配信されるアクセスされた生体画像データの少なくとも一部が、圧縮画像ファイル形式の複数の前処理済画像タイルを含む。いくつかの実施形態では、複数の前処理済画像タイルが、第1の倍率レベルの第1の一連の前処理済画像タイルと、第2の倍率レベルの第2の一連の前処理済画像タイルとを含む。いくつかの実施形態では、方法は、アクセスされた生体画像データの少なくとも一部を配信する前に、クライアントキャッシュ内に十分な利用可能な記憶空間が存在するという指示を受信することをさらに含む。いくつかの実施形態では、方法は、クライアントキャッシュ内の利用可能な記憶空間の量の指示を受信することをさらに含む。いくつかの実施形態では、アクセスされた生体画像データの少なくとも一部の配信が、(i)アクセスされた生体画像データのサイズを決定することと、(ii)クライアントキャッシュ内の利用可能な記憶空間に基づいて、アクセスされた生体画像データの少なくとも一部を選択することとを含む。いくつかの実施形態では、アクセスされた生体画像データの一部での選択は、所定の選択基準に基づく。いくつかの実施形態では、所定の選択基準は、アクセスされた生体画像データ内の個々の画像の日付を走査することである。いくつかの実施形態では、アクセスされた生体画像データが、デジタル病理分析システム上で第1の病理医に割り当てられる。いくつかの実施形態では、認証のステップが、第1の病理医の識別クレデンシャルを確認することをさらに含む。いくつかの実施形態では、サーバがキャッシュエージェントへの接続を維持し、キャッシュエージェントがクライアントシステム上で実行されているという確認を受信するステップは、接続が確立されたことを確認することを含む。
本開示の別の態様は、デジタル病理分析システム上のインタフェースアプリケーションで生体画像データを表示する方法であり、第1の患者症例に関連する第1のユーザ入力を受信することと、受信された第1のユーザ入力に対応する1つまたは複数の記憶された生体画像タイルについてリモートサーバに接触することであって、記憶された生体画像タイルは、1つまたは複数の生体試料が配置された顕微鏡スライドの走査から得られ、生体試料はヘマトキシリンおよびエオシンで染色されるか、または、1つまたは複数のバイオマーカの存在を識別するために染色される、接触することと、第1のユーザ入力に対応する1つまたは複数の記憶された生体画像タイルの位置情報を受信することと、受信された位置情報に基づいて、第1のユーザ入力に関連する1つまたは複数の記憶された生体画像タイルを取得することと、第1のユーザ入力に関連する取得された1つまたは複数の生体画像タイルを視覚化することとを含む。
いくつかの実施形態では、方法は、記憶された1つまたは複数の生体画像タイルが、デジタル病理分析システムに通信可能に結合されたクライアントキャッシュ内に存在するかどうかを判定するステップをさらに含む。いくつかの実施形態では、生体画像データがクライアントキャッシュ内に維持されている場合、記憶された1つまたは複数の生体画像タイルがクライアントキャッシュから取得される。いくつかの実施形態では、画像がクライアントキャッシュから削除された場合、記憶された1つまたは複数の生体画像タイルがリモートサーバから取得される。いくつかの実施形態では、リモートサーバから取得された記憶された1つまたは複数の生体画像タイルがクライアントキャッシュにダウンロードされる。いくつかの実施形態では、視覚化された1つまたは複数の生体画像タイルは、クライアントキャッシュから取得される。いくつかの実施形態では、記憶された1つまたは複数の生体画像タイルがクライアントキャッシュに維持されていない場合、インタフェースは、リモートサーバ上の記憶位置にリダイレクトされる。いくつかの実施形態では、第1のユーザ入力に関連する記憶された1つまたは複数の生体画像タイルがリモートサーバから取得され、第1の患者症例に関連する第2のユーザ入力を受信することをさらに含み、第2のユーザ入力に関連する1つまたは複数の記憶された画像タイルは、クライアントキャッシュから取得される。いくつかの実施形態では、記憶された1つまたは複数の生体画像タイルは、非圧縮形式で前処理済画像タイルである。いくつかの実施形態では、方法は、所定の基準を満たす事前入力された生体画像データを削除することによってクライアントキャッシュを管理することをさらに含む。いくつかの実施形態では、位置情報は、1つまたは複数のURLを含む。
本開示の特徴の一般的な理解のために、図面を参照する。図面では、同一の要素を特定するために、全体を通して同様の参照符号が使用されている。
特許または出願ファイルには、カラーで作成された少なくとも1つの図面が含まれている。この特許または特許出願の出版物のカラー図面付きのコピーは、要求と必要な料金の支払いに応じて庁に提供される。
反対に明確に示されない限り、複数のステップまたは行為を含む本明細書において特許請求の範囲に記載される任意の方法において、方法のステップまたは行為の順序は、必ずしも方法のステップまたは行為が記載される順序に限定されないことも理解されたい。
本明細書で使用される場合、単数形「a」、「an」、および「the」は、文脈が別途明確に指示しない限り、複数の指示対象を含む。同様に、「または」という単語は、文脈が別途明確に指示しない限り、「および」を含むことを意図している。「含む」という用語は、「AまたはBを含む」がA、B、またはAおよびBを含むことを意味するように、包括的に定義される。
本明細書および特許請求の範囲で使用される場合、「または」は、上記で定義された「および/または」と同じ意味を有することを理解されたい。例えば、リスト内の項目を区切る場合、「または」または「および/または」は、包括的であると解釈されるものとする。すなわち、要素の数またはリストの少なくとも1つを含むが、複数、および必要に応じて追加のリストに記載されていない項目を含むと解釈される。「のうちの1つのみ」または「のうちの正確に1つ」、または特許請求の範囲で使用される場合、「から構成される」など、反対に明確に示される用語のみは、数または要素のリストのうちの正確に1つの要素を含むことを指す。一般に、本明細書で使用される「または」という用語は、「いずれか」、「のうちの1つ」、「のうちの1つのみ」または「のうちの正確に1つ」など、排他権の用語が先行する場合にのみ、排他的な代替案(すなわち、「一方または他方であるが双方ではない」)を示すものとしてのみ解釈されるものとする。「から本質的に構成される」は、特許請求の範囲で使用される場合、特許法の分野で使用される通常の意味を有するものとする。
本明細書で使用される場合、「備える」、「含む」、「有する」などの用語は、交換可能に使用され、同じ意味を有する。同様に、「備える」、「含む」、「有する」などは、交換可能に使用され、同じ意味を有する。具体的には、各用語は、「含む」という一般的な米国特許法の定義と一致して定義されているため、「少なくとも以下」を意味するオープンな用語として解釈され、追加の機能、制限、側面などを除外しないと解釈される。したがって、例えば、「構成要素a、b、およびcを有する装置」は、装置が少なくとも構成要素a、b、およびcを含むことを意味する。同様に、「ステップa、b、およびcを含む方法」という句は、その方法が少なくともステップa、b、およびcを含むことを意味する。さらに、ステップおよびプロセスは、本明細書において特定の順序で概説され得るが、当業者は、順序付けのステップおよびプロセスが変化し得ることを認識するであろう。
本明細書の明細書および特許請求の範囲で使用される場合、1つまたは複数の要素のリストに関連する「少なくとも1つ」という句は、要素のリストの任意の1つまたは複数の要素から選択される少なくとも1つの要素を意味すると理解されるべきであるが、必ずしも要素のリスト内に具体的にリスト化されているありとあらゆる要素の少なくとも1つを含まなくてもなく、要素のリスト内の要素の任意の組み合わせを除外するものではない。この定義はまた、「少なくとも1つ」という句が参照する要素のリスト内で具体的に特定される要素以外の要素が、具体的に特定されるそれらの要素に関連するかどうかにかかわらず、必要に応じて存在し得ることを可能にする。したがって、非限定的な例として、「AおよびBの少なくとも1つ」(または、同等に、「AまたはBの少なくとも1つ」、または同等に「Aおよび/またはBの少なくとも1つ」)は、一実施形態では、少なくとも1つ、必要に応じて2つ以上のAを含み、Bが存在しない(および必要に応じて、B以外の要素を含む)を指すことができ、別の実施形態では、少なくとも1つ、必要に応じて2つ以上のBを含み、Aが存在しない(および必要に応じて、A以外の要素を含む)を指すことができ、さらに別の実施形態では、少なくとも1つ、必要に応じて2つ以上のAを含み、少なくとも1つ、必要に応じて2つ以上のBを含む(および必要に応じて、他の要素を含む)を指すことができるなどである。
本明細書で使用される場合、「生体試料」、「組織サンプル」、「標本」などの用語は、ウイルスを含む任意の生物から得られる生体分子(タンパク質、ペプチド、核酸、脂質、炭水化物、またはそれらの組み合わせなど)を含む任意のサンプルを指す。生物の他の例は、哺乳類(人間、猫、犬、馬、牛、および豚などの獣医動物、ならびにマウス、ラット、霊長類などの実験動物など)、昆虫、環形動物、クモ形類動物、有袋類、爬虫類、両生類、細菌、および菌類などを含む。生体試料は、組織サンプル(組織切片や組織の針生検など)、細胞サンプル(Pap塗抹標本もしくは血液塗抹標本などの細胞学的塗抹標本、またはマイクロダイセクションによって得られた細胞のサンプルなど)、または細胞分画、断片または細胞小器官(細胞を溶解し、遠心分離などによってそれらの成分を分離することによって得られる)を含む。生体試料の他の例は、血液、血清、尿、精液、糞便、脳脊髄液、間質液、粘膜、涙、汗、膿、生検組織(例えば、外科的生検または針生検によって得られる)、乳頭吸引物、耳垢、乳、膣液、唾液、ぬぐい液(頬スワブなど)、または第1の生体サンプルに由来する生体分子を含む任意の材料を含む。特定の実施形態では、本明細書で使用される「生体試料」という用語は、対象から得られた腫瘍またはその一部から調製されたサンプル(均質化または液化されたサンプルなど)を指す。
本明細書で使用される場合、「細胞病理」という用語は、遊離細胞または組織断片の試料などの細胞レベルでの疾患の研究を指す。
本明細書で使用される場合、「DICOM」という用語は、医用画像における情報の取り扱い、記憶、印刷、および送信のための標準を指す。これには、ファイル形式の定義およびネットワーク通信プロトコルが含まれている。ネットワーク通信プロトコルは、TCP/IPを使用してシステム間で通信するアプリケーションプロトコルである。この標準の目標の1つは、異なる画像ソフトウェアやハードウェアのユーザが情報を共有できるように、表示ソースと走査ソースとの間で医用画像および情報を均一に転送することである。DICOMファイルは、DICOM形式で画像および患者データを受信できる2つのエンティティ間で交換され得る。DICOMを使用すると、複数の製造業者のスキャナ、サーバ、ワークステーション、プリンタ、およびネットワークハードウェアを、デジタル画像を記憶およびダウンロードするための画像保管通信システム(PACS)に統合できる。様々な装置には、サポートするDICOMクラスを明確に示すDICOM適合声明書が付属している。DICOMは病院で広く採用されており、小規模な歯科医や診療所で人気を集めている。DICOMファイルには通常画像が含まれており、したがって、それらはしばしばDICOM画像と呼ばれる。しかし、DICOMファイルは必ずしも画像を含む必要はないことが理解される。むしろ、そのようなファイルには、測定値または報告データを含めることができる。したがって、DICOMファイルには、ビデオやオーディオデータなどのメディアデータが含まれる場合と、メディアデータがまったく含まれないことがある。その場合、DICOMファイルには、元のモダリティ、オペレータ、または検査対象の患者を識別するメタデータのみが含まれることがある。本明細書でのモダリティとは、医用画像における画像生成装置を指し、ヘマトキシリンおよびエオシンで染色されたものや、1つまたは複数のバイオマーカの存在などの病理組織スライドまたは細胞病理スライドの画像を生成するためのスキャナの使用も含まれる。
本明細書で使用される場合、「病理組織」という用語は、疾患の症状を研究するための組織(例えば、生検標本、外科標本)の顕微鏡検査を指す。
本明細書で使用される場合、「画像データ」という用語は、光学センサまたはセンサアレイなどによって生体組織サンプルから取得された生の画像データ、または前処理済画像データを包含する。特に、画像データは、ピクセル行列を含むことができる。いくつかの実施形態では、画像データは、画像タイルのブロック(例えば、約500ピクセル×約500ピクセルのサイズを有するスライド画像全体の一部)に記憶される。いくつかの実施形態では、画像データは、基板上に配置された生体試料(例えば、顕微鏡スライド)の走査から得られ、生体試料の走査されたものは、異なる倍率レベル(例えば、20倍、40倍、等)の同じスライドの複数の画像を含み得る。いくつかの実施形態では、画像データは、第1の低レベルの倍率(例えば、サムネイル画像に適している)、第2の中間倍率レベル、および第3の高倍率レベルで取り込まれる。いくつかの実施形態では、画像データは、複数の倍率レベルについて取得することがあり、1つまたは複数の画像データファイルは、複数の倍率レベルのそれぞれについて生成し得る。いくつかの実施形態では、画像タイルの数は、倍率レベルまたはズームレベルとともに増加し、すなわち、画像タイルは、所定の数の利用可能な倍率レベルのそれぞれに対して利用可能であることがあり、それらのより高い倍率レベルは、より低い倍率レベルより多くの画像タイルを有する。いくつかの実施形態では、各ズームレベルでのタイルの数は、例えば、線形、二次的、指数関数的、またはその他の方法で増加する。例えば、最低倍率の画像データ(上記の第1の倍率レベルに対応する)は、100タイルを含み得るが、中倍率の画像データは、400タイルを含み得る。
本明細書で使用される場合、「スライド」という用語は、生体標本が分析のために配置される任意の適切な寸法の任意の基材(例えば、全体的または部分的に、ガラス、石英、プラスチック、シリコンなどから作製された基材)、より具体的には、標準の3インチ×1インチの顕微鏡スライドまたは標準の75mm×25mmの顕微鏡スライドなどの「顕微鏡スライド」を指す。スライド上に配置することができる生体標本の例は、限定されるものではないが、細胞学的塗抹標本、薄い組織切片(生検からのものなど)、および生体標本の配列、例えば、組織配列、細胞配列、DNA配列、RNA配列、タンパク質配列、またはそれらの任意の組み合わせを含む。したがって、一実施形態では、組織切片、DNAサンプル、RNAサンプル、および/またはタンパク質は、スライド上の特定の位置に配置される。いくつかの実施形態では、スライドという用語は、SELDIおよびMALDIチップ、ならびにシリコンウェーハを指すことができる。
本明細書で使用される場合、本明細書で使用される「染色」、「染色している」などの用語は、一般に、生体標本中の特定の分子(脂質、タンパク質、または核酸など)または特定の構造(正常または悪性の細胞、細胞質ゾル、核、ゴルジ装置、または細胞骨格など)の存在、位置、および/または量(濃度など)を検出および/または区別する生体標本の任意の処理を指す。例えば、染色は、特定の分子または特定の細胞構造と生体標本の周囲の部分との間のコントラストを提供することができ、染色の強度は、標本中の特定の分子の量の尺度を提供することができる。染色は、明視野顕微鏡だけでなく、位相差顕微鏡、電子顕微鏡、および蛍光顕微鏡などの他の観察ツールを使用して、分子、細胞構造、および生物の観察を支援するために使用されることができる。システムによって実行されるいくつかの染色は、細胞の輪郭を視覚化するために使用されることができる。システムによって実行される他の染色は、他の細胞成分の染色なしで、または比較的少ない染色で、染色される特定の細胞成分(分子または構造など)に依存し得る。システムによって実行される染色方法のタイプの例は、これらに限定されるものではないが、組織化学的方法、免疫組織化学的方法、および核酸分子間のハイブリッド形成反応などの分子間の反応(非共有結合相互作用を含む)に基づく他の方法を含む。特定の染色法は、これらに限定されるものではないが、一次染色法(例えば、H&E染色、Pap染色など)、酵素結合免疫組織化学的方法、および蛍光原位置ハイブリッド形成(FISH)などの原位置RNAおよびDNAハイブリッド形成法を含む。
本明細書で使用される場合、「ユーザインタフェース」という用語は、ユーザ、例えば組織学者および/または病理医などのエンドユーザがコマンドおよびデータを入力し、グラフィカルユーザインタフェース(GUI)などの結果を受け取ることを可能にするインタフェースを指す。「ユーザインタフェース」および「グラフィカルユーザインタフェース」という用語は、本明細書では交換可能に使用される。
概要
病理画像は通常、非常に大きくなり、例えば、それぞれ 1000メガバイト以上、2000メガバイト以上である。例えば、高解像度のスライド画像の解像度は100,000 x80,000ピクセルであり得る。このような大きな画像は、ネットワーク、特にネットワークやインターネットサービスプロバイダを介して効率的に送信するには大きすぎることがよくある。ビューアアプリケーションで画像データを視覚化する際のネットワーク遅延の影響を軽減するために、画像タイル(本明細書で説明する前処理済画像タイルを含む)の形式などの画像データがプリフェッチされ、ユーザ入力に基づいてリモートサーバからビューアアプリケーション120に転送される。タイルを使用して画像データのより大きなブロックを分解すると、特定の選択された倍率に対応するタイルまたはタイルの一部のみを転送する必要があるため、スライド画像全体の送信と比較して、ネットワークを介した画像データ転送の効率が大幅に向上すると考えられる。
プリフェッチとは、特定のユーザが画像データを要求する前に、リモートサーバなどのリモート記憶システムまたはデータベースから画像データを要求することであり、これにより、特定のユーザが画像データを要求するまで、画像データを装置に収集してバッファリングできる。このように、プリフェッチは、画像データが実際に呼び出されてディスプレイ上の視覚化を構築する前に、バックグラウンドで画像データを収集しようとし、これにより、ユーザ要求の後にだけクライアントシステムが画像データを要求する必要性が減少する(さらには排除される)。プリフェッチされた画像データは、自動的に識別され、要求され、ビューアアプリケーションまたはブラウザの事前に割り当てられたメモリ内に記憶され、後で視覚的な表示を構築する際に使用される。いくつかの実施形態では、プリフェッチされたデータは、特定の倍率レベルの複数の画像タイルなどの画像タイルを含む。
いくつかの実施形態では、プリフェッチは、例えば、さらなるアクション、選択および入力を予測するためにユーザの過去のアクション、選択および入力を使用して、ユーザ入力の予測に基づき、つまり、ユーザ入力がユーザインタフェースを介して受信されると、次の数レベルの可能なユーザ入力の画像データもプリフェッチされる。ビューアアプリケーションまたはブラウザは、ユーザ入力および/または予想されるユーザ入力に基づいて、複数の画像タイルを含む画像データを日常的にプリフェッチし得る。ユーザがビューアアプリケーションまたはブラウザ内に表示された視覚化と対話するとき、ユーザはパンして、最初に視覚化された画像データの近くにある他の画像データを視覚化し得る。したがって、ビューアアプリケーションまたはブラウザは、システムを使用して十分な量の画像データ(画像タイルなど)をプリフェッチして記憶し、ビューアアプリケーションまたはブラウザのメモリ内に追加の画像データをバッファリングしながら、要求された視覚化を提供し、その視覚化との効率的なユーザ対話を可能にする。例として、ビューアアプリケーションまたはブラウザが、ユーザが特定の方向に画像をパンしていると判断した場合、画像タイルデータは、ユーザがパンしている経路の一般的な経路に沿ってプリフェッチされ得る。画像のタイルを視覚化およびプリフェッチする追加の方法は、米国特許第9,569,463および8,970,618号明細書に記載されており、その開示は、参照によりそれらの全体が本明細書に組み込まれる。
上記のように、データのプリフェッチは、クライアントシステム170上で実行されるビューアアプリケーション120またはブラウザ195などの、インタフェースアプリケーションに割り当てられた使用可能なメモリリソースに制限される。このようなメモリ割り当ては、ユーザ入力に基づいて画像データのリアルタイムの視覚化と分析とを提供するには不十分なことがある。いくつかの実施形態では、クライアントキャッシュおよび/またはサーバキャッシュ(それぞれが前処理済画像データを含み得る)を使用して、ビューアアプリケーション120またはブラウザ195に利用可能なメモリを拡張し得る。本明細書で説明するように、ビューアアプリケーション120またはブラウザ195に割り当てられたメモリに記憶され得るよりも比較的多くの数の画像タイルがクライアントキャッシュに記憶され得る。実際、ビューアアプリケーション120またはブラウザ195による取得のため、患者症例記録、患者症例記録全体、または複数の患者症例記録(それぞれが1つまたは複数の倍率レベルで複数の画像および関連する画像タイルを有する)内の画像全体をクライアントキャッシュ(キャッシュエージェント140によって管理されるものなど)に記憶し得る。維持された画像データのそのようなキャッシュは、ネットワーク130を介してリモートサーバからプリフェッチされた画像データを取得するのと比較して、画像データのより迅速な取得またはプリフェッチを可能にする。
画像データのプロビジョニングを容易にし、そのような画像データの視覚化を高速化するために、いくつかの実施形態では、クライアントシステムに通信可能に結合された記憶サブシステムに画像データを記憶するクライアントキャッシュ(例えば、デジタル病理分析システムに結合されたキャッシュ)が提供される。いくつかの実施形態では、クライアントキャッシュは、例えば、事前に確立された、および/またはユーザが構成可能な基準に基づいて、キャッシュエージェントによって管理され、キャッシュエージェントは、例えば、これらの受信および記憶された画像データのセットをキャッシュから保持または破棄することを決定する。いくつかの実施形態では、この画像データは、サーバからクライアントシステムに自動的にプッシュされる(例えば、クライアントシステム上で実行されている「キャッシュエージェント」アプリケーションを介して)。このようにして、クライアントシステムに結合されたクライアントキャッシュには、サーバが受信したとき、またはサーバが最初に前処理した後の新しく走査した画像データなどの画像データが事前入力される。いくつかの実施形態では、画像データは、リモートサーバからではなく、クライアントシステムに結合されたクライアントキャッシュから、迅速にプリフェッチまたは取得され得るため(すなわち、画像データは、ネットワーク経由ではなく、事前入力されたクライアントキャッシュからローカルに取得される)、クライアントキャッシュは、要求されたおよび/または提示された画像データの改善された視覚化および分析を可能にする。その結果、レイテンシが改善される(本明細書の例を参照)。また、サーバがデータまたは同じ量のデータをフェッチおよび送信する必要がないため、これによってサーバリソースが解放される可能性もあると考えられる。さらに、そのようなクライアントキャッシュを使用することにより、ユーザは利用可能なネットワークまたはインターネットサービスプロバイダの帯域幅によって制限されず、画像データのより迅速かつ効率的な視覚化および分析が可能になると考えられる。
視覚化と分析のための画像データの送信を改善するための別のモダリティは、サーバ側の前処理ルーチンの実装によるものであり、入力ファイル形式(DICOM、BIF、または別の非圧縮画像ファイル形式など)などの受信された走査された画像データは、サーバキャッシュに記憶する前、またはクライアントシステムに送信する前に、宛先ファイル形式に変換される。いくつかの実施形態では、宛先ファイル形式は、クライアントシステム上で実行される標準のウェブブラウザによって読み取り可能なもの、すなわち、さらなる変換またはさらなる画像読み取りアプリケーションの使用なしにウェブブラウザによって認識可能な形式である。いくつかの実施形態では、入力画像データはまた、より小さなファイルに分割されることがあり、これは、サーバキャッシュに記憶され得る(そして、前処理済画像データは、必要に応じて前フェッチされ得る)か、ユーザ要求に応じてリアルタイムで、クライアントシステムに送信されるか、またはクライアントキャッシュに事前に送信され得る。サーバ上でこのような画像データの前処理を使用すると、サーバリソースをより効率的に使用でき(例えば、要求に応じてリアルタイムで受信するのではなく、受信された画像データを前処理する)、このようなデータをクライアントシステムへ(例えば、圧縮画像ファイル形式またはそれぞれが圧縮画像ファイル形式の複数の画像ファイルを使用して)より迅速に送信できる。
本明細書で提供されるシステムおよび方法は、病理組織標本および/または細胞病理標本を含む、生体標本の任意のタイプの画像の視覚化および分析に適用されることができる。いくつかの実施形態では、組織サンプルは、ヘマトキシリンおよびエオシンで染色されるか、または1つまたは複数のバイオマーカの存在のために染色される。例えば、生体試料は、1つまたは複数の染色の適用によって染色されることができ、結果として得られる画像または画像データは、1つまたは複数の染色のそれぞれに対応する信号を含む。いくつかの実施形態では、入力画像は、単一の染色のみを有する単純な画像である(例えば、3,3’-ジアミノベンジジン(DAB)によって染色された)。いくつかの実施形態では、生体試料は、2つ以上の染色についての多重アッセイで染色されることができる(したがって、多重画像を提供する)。いくつかの実施形態では、生体試料は、少なくとも2つのバイオマーカについて染色される。いくつかの実施形態では、生体試料は、少なくとも2つのバイオマーカの存在について染色され、また、一次染色(例えば、ヘマトキシリン)によって染色される。いくつかの実施形態では、生体試料は、少なくとも1つのタンパク質バイオマーカおよび少なくとも2つの核酸バイオマーカ(例えば、DNA、RNA、マイクロRNAなど)の存在について染色される。
いくつかの実施形態では、生体試料は、1つまたは複数のタンパク質バイオマーカの存在について免疫組織化学アッセイにおいて染色される。例えば、生体試料は、ヒト表皮成長因子受容体2タンパク質(HER2タンパク質)(例えば、HerceptTest(登録商標)(DAKO、Glostrup Denmark)およびHER2/neu(4B5)ウサギモノクローナル一次抗体(Ventana、Tucson、アリゾナ)の存在について染色され得る。
いくつかの実施形態では、生体試料は、エストロゲン受容体(ER)、プロゲステロン受容体(PR)、またはKi-67の存在について染色される。いくつかの実施形態では、生体試料は、EGFRまたはHER3の存在について染色される。他のタンパク質バイオマーカの例は、Zamayら、「Current and Prospective Biomarkers of Long Cancer」、Cancers(Basel)、2018年11月;9(11)によって記載され、その開示は、参照によりその全体が本明細書に組み込まれる。Zamayによって記載されたタンパク質バイオマーカの例は、CEACAM、CYFRA21-1、PKLK、VEGF、BRAF、およびSCCを含む。
いくつかの実施形態では、生体試料は、mRNAを含む1つまたは複数の核酸の存在について、原位置ハイブリッド形成(ISH)アッセイで染色される。米国特許第7,087,379号明細書(その開示は、参照によりその全体が本明細書に組み込まれる)は、単一の遺伝子コピーを表す個々のスポット(またはドット)が観察および検出されることができるように、ISHプローブによってサンプルを染色する方法を記載している。いくつかの実施形態では、いくつかの標的遺伝子は、細胞または組織サンプルを、複数の異なる核酸タグで標識された複数の核酸プローブに曝露することによって同時に分析される。
いくつかの実施形態では、本開示のシステムは、対象(例えば、ヒト患者から得られた生検組織)から得られた生体画像データの視覚化、分析および報告を容易にするように構成されている。例示的なクライアントサーバシステム150は、図1A~図1Dに示され、例えば、インターネットまたはイントラネットであり得るネットワーク130を介して一緒に結合されたサーバ160およびクライアントシステム170(例えば、デジタル病理分析システム)を含む。サーバ160は、メモリサブシステム162に結合されたプロセッサ161、ユーザインタフェース163、大容量記憶装置164、およびネットワークインタフェース165を含む。いくつかの実施形態では、大容量記憶装置164は、前処理済画像データなどの画像データのために事前に割り当てられた量の記憶空間を含む。いくつかの実施形態では、ネットワークインタフェース165は、ネットワーク130に直接結合され得るか、またはインターネットサービスプロバイダ(ISP)180または他のエンティティを介してネットワーク130に結合され得る。いくつかの実施形態では、サーバ160は、画像管理モジュール188(図1Dを参照)などの追加のモジュールを含み得る。いくつかの実施形態では、画像管理モジュール188は、画像データを含むファイルをロード、読み取り、および変換するための論理またはソフトウェアを含み得る。いくつかの実施形態では、画像管理モジュール188は、入ってくる走査された画像データを取得し、それをウェブブラウザなどのインタフェースへの配信およびインタフェース内での表示のために自動的に変換するように構成されたコンバータを含み得る。
同様に、クライアントシステム170は、メモリサブシステム172に結合された処理サブシステム102、ユーザインタフェース171、記憶サブシステム104、およびネットワークインタフェース112を含む。いくつかの実施形態では、記憶サブシステム104は、サーバ160から受信された前処理済画像データなどの画像データを記憶するために前もって割り当てられた空間を含み得る。クライアント170は、ネットワーク130に直接結合されるか、またはISP185または他のエンティティを介してネットワーク130に結合され得る。クライアントシステムのユーザインタフェース171は、ディスプレイ108、キーボードおよびマウス、および/または他のグラフィカル入力装置106を含み得る。追加的または代替的に、ユーザインタフェース171は、例えば、タッチスクリーンであり得る。いくつかの実施形態では、ユーザインタフェース171は、処理サブシステム102によってレンダリングされ、ディスプレイ108上に提供されて、(i)画像データおよび/または患者データの視覚化および分析を容易にする、および/または(ii)受信されたユーザ入力に基づいて、ネットワーク130を介して利用可能なものなど、データベースまたは大容量記憶装置164から画像データ、患者情報、または他の臨床情報を取得する。
いくつかの実施形態では、サーバ160とクライアントシステム170の両方が、キャッシュ、すなわち、それぞれ大容量記憶装置164または記憶サブシステム104内に割り当てられた記憶空間を含む。いくつかの実施形態では、大容量記憶装置164または記憶サブシステム104内のキャッシュは、顕微鏡スライド上に配置された生体標本のスライド走査全体から得られた前処理済画像データなどの画像データを記憶するように構成される。
いくつかの実施形態では、ビューアアプリケーション120およびキャッシュエージェント140などのソフトウェアは、クライアントシステム170上で実行され、サーバ160上のクライアントインタフェースまたはクライアントポータル(図示せず)は、クライアントシステム170とサーバ160(図1Bを参照)との間の通信を容易にするために使用される。いくつかの実施形態では、ビューアアプリケーション120は、サーバ160上でリモートで実行され、ビューアアプリケーション120のインスタンスは、クライアントシステム170上のブラウザ195内で実行される(図7Cを参照)。このようにして、ユーザ(例えば、病理医)は、画像データを分析および/または解釈し得るように、システムの要素(例えば、構成可能な要素)と対話し得る(例えば、組織学者または病理医がメニューバーツールおよび/またはビューアパネルなどのユーザ構成可能なパラメータを選択し得る)。
いくつかの実施形態では、ローカルで実行されるビューアアプリケーション120またはブラウザ195は、画像データファイルの位置について、リモートサーバ160で実行されているアプリケーションに要求を送信する。いくつかの実施形態では、情報データファイルの位置は、1つまたは複数のURLに記憶されている。画像データファイルの位置は、リモートサーバ上のキャッシュなどのリモートサーバ上にあることもあれば、クライアントシステムに通信可能に結合されたローカルキャッシュ内にあることもある。いずれにせよ、送信された位置情報、例えばURLは、取得する適切な画像データファイルまたは画像タイルファイルの位置を提供する。いくつかの実施形態では、URLは、鮮明度、コントラスト、彩度、色などの追加のパラメータを提供する。パラメータを含むURLの例は次のとおりである。https://localhost/restapp/slide/imageFetcher/1012/116?quality=2&roff=3072,0&rsiz=1536,1536&imgtype=jpg&brightness=0&contrast=0&saturation=0&sharpness=0&hue=0&color=0,0,0&transformType=SRGB
図2Aは、走査装置110に通信可能に結合されたサーバ160(コンピュータまたはコンピューティング装置)を示している。いくつかの実施形態では、システム160は、特定のユーザ構成可能パラメータを使用して特定の動作を実行し、取得された結果のシーケンスデータを処理サブシステム161または大容量記憶装置164に送信するように走査装置110に命令するソフトウェアを含み得る。いくつかの実施形態では、走査装置110は、サーバ160に通信可能に結合されることがあり、それにより、走査されたスライドは、ネットワーク130を介してサーバ160に送信され、後の取得のために大容量記憶装置164に記憶されることがあり、例えば、スライド全体の画像またはスライド全体の画像から派生した前処理済画像タイルのいずれかをサーバに記憶できる。例えば、画像データは、走査装置110を使用して取得されることがあり、走査された画像データは、大容量記憶装置164または他のネットワーク化されたサーバ上に配置されたファイルに記憶され、ファイルは(関連するメタデータ、患者症例識別子、およびユーザ識別を含む)後で視覚化および分析のために(クライアント170などから)取得され得る。いくつかの実施形態では、サーバ160および走査装置110は、別々に維持され、例えば、異なる組織によって維持され、スライドが1人のアクターによって走査され、別のアクターの制御下でサーバ160に送信され得る。
図2Bおよび図2Cは、本開示の一実施形態によるクライアントシステム170のブロック図を説明する。クライアントシステム170は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ハンドヘルド装置(例えば、スマートフォン、メディアプレーヤ)などを含む、任意のタイプのユーザ操作可能なコンピューティング装置を使用して実装することができる。上述のように、クライアントシステム170は、以下でより詳細に論じられるように、処理サブシステム102、記憶サブシステム104、ユーザ入力装置106、ディスプレイ108、およびバス114を介して通信するネットワークインタフェース112などのいくつかの相互接続されたコンポーネントを含むことができる。
処理サブシステム102は、1つまたは複数のコアを有することができる単一のプロセッサ、またはそれぞれが1つまたは複数のコアを有する複数のプロセッサを含むことができる。いくつかの実施形態では、処理サブシステム102は、1つまたは複数の汎用プロセッサ(例えば、CPU)、グラフィックプロセッサ(GPU)などの専用プロセッサ、デジタル信号プロセッサ、またはこれらおよび他のタイプのプロセッサの任意の組み合わせを含むことができる。いくつかの実施形態では、処理サブシステム内のいくつかまたはすべてのプロセッサは、特定用途向け集積回路(ASIC)またはフィールドプログラマブルゲートアレイ(FPGA)などのカスタマイズされた回路を使用して実装することができる。いくつかの実施形態では、そのような集積回路は、回路自体に記憶されている命令を実行する。単なる一例として、処理サブシステム102は、ローカルまたはネットワーク化された記憶システム内に記憶された画像データを受信および処理し、画像データを表示する命令を実行することができる(例えば、スライド走査画像全体、またはスライド走査画像全体の拡大部分を表示する)。
記憶サブシステム104および/またはメモリサブシステム172(およびサーバ160上のそれらの対応物)は、システムメモリ、読み取り専用メモリ(ROM)、および永久記憶装置などの様々なメモリユニットを含むことができる。ROMは、クライアントシステム170のサブシステム102および他のモジュールを処理することによって必要とされる静的データおよび命令を格納することができる。永続記憶装置は、読み取りおよび書き込みメモリ装置にすることができる。この永久記憶装置は、クライアントシステム170の電源が切られているときでさえ、命令およびデータを記憶する不揮発性メモリユニットであり得る。いくつかの実施形態では、大容量記憶装置(磁気または光ディスクまたはフラッシュメモリなど)を永久記憶装置として使用することができる。他の実施形態は、永久記憶装置としてリムーバブル記憶装置(例えば、フラッシュドライブ)を使用することができる。システムメモリは、読み取りおよび書き込みメモリ装置、またはダイナミックランダムアクセスメモリなどの揮発性の読み取りおよび書き込みメモリにすることができる。システムメモリには、プロセッサが実行時に必要とする命令とデータの一部またはすべてを記憶できる。
記憶サブシステム104および/またはメモリサブシステム172は、様々なタイプの半導体メモリチップ(DRAM、SRAM、SDRAM、フラッシュメモリ、プログラム可能な読み取り専用メモリ)などを含む、非一時的なコンピュータ可読記憶媒体の任意の組み合わせを含むことができる。磁気ディスクおよび/または光ディスクも使用できる。いくつかの実施形態では、記憶サブシステム104は、読み取り可能および/または書き込み可能であり得るリムーバブル記憶メディアを含むことができる。このようなメディアの例には、コンパクトディスク(CD)、読み取り専用デジタル多用途ディスク(DVD-ROM、2層DVD-ROMなど)、読み取り専用および記録可能なBlu-ray(登録商標)ディスク、超高密度光ディスク、フラッシュメモリカード(SDカード、ミニSDカード、マイクロSDカードなど)などが含まれる。いくつかの実施形態では、画像データおよび/または患者データは、1つまたは複数の遠隔位置、例えば、クラウド記憶に記憶されることがあり、クライアントシステム170の他の構成要素と同期され得る。本明細書で「メモリ(memory)」または「メモリ(a memory)」という用語が使用される場合、それらは、複数のメモリなどの1つまたは複数のメモリを指す場合がある。
いくつかの実施形態では、記憶サブシステム104は、ビューアアプリケーション120またはキャッシュエージェント140などの、処理サブシステム102によって実行される1つまたは複数のソフトウェアプログラムを記憶することができる。「ソフトウェア」は、一般に、処理サブシステム102によって実行されると、クライアントシステム170に様々な操作を実行させ、したがってソフトウェアプログラムの操作を実行および実行する1つまたは複数の特定のマシン実装を定義する一連の命令を指す。したがって、「ソフトウェア」はまた、ファームウェアまたは組み込みアプリケーション、あるいは処理サブシステム102によって読み取り可能および実行可能な任意の他のタイプの命令を含み得る。ソフトウェアは、単一のプログラムとして、または必要に応じて相互作用する個別のプログラムまたはプログラムモジュールのコレクションとして実装できる。いくつかの実施形態では、プログラムおよび/またはデータは、不揮発性記憶に記憶され、プログラム実行中に全体的または部分的に揮発性作業メモリにコピーされ得る。記憶サブシステム104から、処理サブシステム102は、以下に説明する操作を含む様々な操作を実行するために、実行するプログラム命令および処理するデータを取得することができる。
ユーザインタフェース171は、ディスプレイ装置108、および/または1つまたは複数の他のユーザ出力装置(図示せず)に提供することができる。ユーザインタフェース171は、例えば、視覚化および他の表現を含むことがあり、表現は染色された生体試料(例えば、1つまたは複数のバイオマーカの存在について染色された、またはヘマトキシリンおよびエオシンで染色された試料)の走査から得られた画像、メニューバー、ドロップダウンメニューおよび/またはパネルを含み得る。入力装置106は、ユーザがクライアントシステム170に信号を提供することができる任意の装置を含むことができ、クライアントシステム170は、信号を特定のユーザ要求または情報を示すものとして解釈することができる。いくつかの実施形態では、入力装置106は、キーボードタッチパッド、タッチスクリーン(例えば、ディスプレイ108のディスプレイ表面上のタッチセンシティブオーバーレイ)、マウスまたは他のポインティング装置、スクロールホイール、クリックホイール、ダイヤル、ボタン、スイッチ、キーパッド、マイクなどのいずれかまたはすべてを含むことができる。
ディスプレイ108は、クライアントシステム170によって生成された視覚表現(例えば、画像データ、ユーザに情報を提供するためのビューアパネル、またはユーザ選択可能な構成オプションを提供するコンテキストメニューなど)を表示することができ、様々な画像生成技術、例えば、カソード、光線管(CRT)、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)を含む発光ダイオード(LED)、投影システムなど、およびサポートする電子機器(デジタルからアナログ、またはアナログ-デジタル変換器、信号プロセッサなど)を含むことができる。いくつかの実施形態は、入力装置および出力装置の両方として機能するタッチスクリーンなどの装置を含むことができる。いくつかの実施形態では、ディスプレイ108に加えて、またはその代わりに、他のユーザ出力装置を提供することができる。
いくつかの実施形態では、ユーザインタフェースは、ディスプレイ108の特定の領域内の可視画像要素が、ユーザ入力装置106を使用してユーザが選択するアクティブ要素、対話型要素、または制御要素として定義されるグラフィカルユーザインタフェースを(クライアントシステム170のブラウザを介してまたはビューアアプリケーションにおいてなど)提供することができる。例えば、ユーザは、ユーザ入力装置106を操作して、画面上のカーソルまたはポインタを制御要素上に配置し、ボタンを「クリック」して選択を示すことができ、選択は、指定されたアクションまたはルーチンを実行するための信号を送信する。例えば、ユーザは、ユーザ入力装置106を操作して、操作の開始またはツールの選択をもたらすユーザインタフェース内のアイコン(例えば、ビューアパネル、メニューバー、またはドロップダウンメニュー内のアイコン)を選択することができる。いくつかの実施形態では、ユーザは、ユーザ入力装置106を操作して、患者症例内の特定の画像を選択し、画像をズームインし、表示された画像をパンし(すなわち、視野を変更する)、画像を傾け、画像を回転させることなどができる。いくつかの実施形態では、ユーザは、ドロップダウンメニューと相互作用して、対話型パネルを含む1つまたは複数のパネルを選択するように、ユーザ入力装置106を操作することができる。
追加的または代替的に、ユーザは、タッチスクリーン装置上の制御要素に(例えば、指またはスタイラスで)触れることができる。いくつかの実施形態では、ユーザは、制御要素に関連する1つまたは複数の単語を話すことができる(単語は、例えば、要素上のラベルまたは要素に関連する機能であり得る)。いくつかの実施形態では、タッチセンシティブ装置上のユーザジェスチャは、入力コマンドとして認識および解釈することができる。これらのジェスチャは、ディスプレイ108上の特定の領域に関連付けることができるが、関連付ける必要はない。他のユーザインタフェースも実装できる。
ネットワークインタフェース112は、クライアントシステム170にデータ通信機能を提供し得る。いくつかの実施形態では、ネットワークインタフェース112は、無線音声および/またはデータネットワークにアクセスするための無線周波数(RF)トランシーバコンポーネントを含むことができる(例えば、携帯電話技術、3G、4GまたはEDGEなどの高度なデータネットワーク技術、5G、WiFi(IEEE 802.11ファミリ標準)、または他のモバイル通信技術、またはそれらの任意の組み合わせ、GPS受信機コンポーネント、および/または他のコンポーネントを使用する)。いくつかの実施形態では、ネットワークインタフェース112は、ワイヤレスインタフェースに加えて、またはその代わりに、有線ネットワーク接続(例えば、イーサネット)を提供することができる。ネットワークインタフェース112は、ハードウェア(例えば、アンテナ、変調器/復調器、エンコーダ/デコーダ、および他のアナログおよび/またはデジタル信号処理回路)およびソフトウェアコンポーネントの組み合わせを使用して実装することができる。
バス114は、クライアントシステム170の多数の構成要素を通信可能に接続する様々なシステム、周辺機器、およびチップセットバスを含むことができる。例えば、バス114は、処理サブシステム102を記憶サブシステム104と通信可能に結合することができる。バス114はまた、入力装置106およびディスプレイ108に接続することができる。バス114はまた、ネットワークインタフェース112を介して処理サブシステム102をネットワークに結合することができる。このようにして、クライアントシステム170は、複数のコンピュータシステムのネットワーク130(例えば、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、イントラネット、またはインターネットなどのネットワークのネットワーク)に接続することができる。当業者は、走査装置、走査装置、組織処理システムなどの追加の構成要素をバス114に接続できることを理解するであろう。
いくつかの実施形態は、コンピュータプログラム命令をコンピュータ可読記憶媒体に記憶するマイクロプロセッサ、記憶装置およびメモリなどの電子部品を含む。本明細書で説明される機能の多くは、コンピュータ可読記憶媒体上に符号化されたプログラム命令のセットとして指定されるプロセスとして実装され得る。これらのプログラム命令が1つまたは複数の処理ユニットによって実行されるとき、それらは、処理ユニットに、プログラム命令に示される様々な動作を実行させる。プログラム命令またはコンピュータコードの例には、コンパイラによって生成されるようなマシンコード、およびコンピュータ、電子コンポーネント、またはインタプリタを使用するマイクロプロセッサによって実行される高レベルのコードを含むファイルが含まれる。
適切なプログラミングを通じて、処理サブシステム102は、クライアントシステム170に様々な機能を提供することができる。例えば、処理サブシステム102は、リモートサーバ160と通信し、生体試料の走査された画像のレビューおよび解釈を容易にするブラウザを実行することができる。ブラウザは、ビューアアプリケーションなどのリモートアプリケーションのインスタンスを実行するように構成でき、ユーザが構成可能なオプションやユーザが選択できるパネルを選択する機能や、ナビゲーションを制御して画像に注釈を付ける機能など、様々な機能を提供できる(図2Cを参照)。別の例として、処理サブシステム102は、生体試料の走査された画像のレビューおよび解釈を容易にするユーザインタフェースを有するビューアアプリケーション120(すなわち、図2Bのようにローカルで実行されるもの)を実行することができる。ビューアアプリケーション120は、ユーザ構成可能なオプションまたはユーザ選択可能なパネルを選択する機能、またはナビゲーションを制御して画像に注釈を付ける機能などの様々な機能を提供することができる。
いくつかの実施形態では、ビューアアプリケーション120は、処理サブシステム102内の1つまたは複数のプロセッサによって実行されると、インタフェース動作の態様を実装する様々な相互運用モジュール(例えば、コードのブロック)を組み込む。例えば、ビューアアプリケーション120は、コンテンツフェッチャ122(例えば、ネットワーク130を介してサーバ160からURLまたは画像データを取得するように適合されたもの)、コンテンツレンダラー124(例えば、受信された画像データまたは患者データを解読するために)、GUIレンダラー126(例えば、ユーザの選択およびコマンドに基づいて、かつコンテンツフェッチャ122によって受信された画像データに基づいて、表現および視覚化を継続的に生成するため)、およびUIインタプリタ128(例えば、パンコマンド、ズームコマンド、および選択コマンドなどのユーザの選択およびコマンドを解釈するため)を含むことができる。
図2Bに示されるように、いくつかの実施形態では、ビューアアプリケーション120は、サーバ160と通信するように構成され、例えば、URLなどの画像の位置情報に対する要求をサーバ160へ送信し、サーバ160からそのような画像位置情報を受信するように構成されている。いくつかの実施形態では、ビューアアプリケーション120は、キャッシュエージェント140と通信して、1つまたは複数のURLなどの受信された位置情報に基づいて、クライアントキャッシュ内の画像データにアクセスし得る。いくつかの実施形態では、クライアントキャッシュが要求された画像データをキャッシュ(例えば、画像データは、ユーザが設定した基準に基づいてキャッシュから自動的に削除された可能性がある)にもはや含まない場合、ビューアアプリケーション120(またはキャッシュエージェント140)は、画像データの取得のためにサーバ(またはリバースプロキシ)にリダイレクトされ得る。
図2Cを参照すると、いくつかの実施形態では、ビューアアプリケーション120は、代わりにサーバ160上で(例えば、ネットワーク130を介して)実行され、ブラウザ195は、クライアントシステム170上で実行され、それによって、ブラウザ195は、ビューアアプリケーションのインスタンスをリモートで実行することがあるか、または、ブラウザが、リモートサーバ160上で実行されているビューアアプリケーションまたは他のソフトウェアと通信することがある。いずれの場合も、ブラウザは、URLなどの画像データの位置の要求をサーバ160に送信するように構成されている。受信ファイル位置情報に基づいて、いくつかの実施形態では、ブラウザ195は、キャッシュエージェント140と通信して、受信画像位置情報に基づいてクライアントキャッシュ内の画像データにアクセスし得る。いくつかの実施形態では、クライアントキャッシュが、要求された画像データ(例えば、画像データ)をもはやキャッシュに含まない(例えば、ユーザが設定した基準に基づいて、キャッシュから自動的に削除された可能性がある)場合、ブラウザ195(またはキャッシュエージェント140)は、画像データの取得のためにサーバ(またはリバースプロキシ)にリダイレクトされ得る。
いくつかの実施形態では、キャッシュエージェント140は、クライアントシステム170のビューアアプリケーション120またはブラウザ195に通信可能に結合されることがあり、また、サーバ160に通信可能に結合され得る。いくつかの実施形態では、キャッシュエージェント140は、ローカルで実行されるビューアアプリケーション120またはブラウザ195から分離され、いくつかの実施形態では、常に実行されている、すなわち、ビューアアプリケーション120またはブラウザ195が閉じられた後でも実行される。いくつかの実施形態では、キャッシュエージェント140は、HTTPプロトコルを介するなどしてサーバ160と直接通信し、それ自体で、クライアントシステム170上で実行されているHTTPサーバと見なし得る。
いくつかの実施形態では、キャッシュエージェント140は、画像データ(例えば、本明細書で説明する画像タイルなどの走査された画像の一部)を管理し、様々なイベントまたは事前に確立されたユーザ基準に従って、画像データまたは画像タイルのキャッシングを管理するように構成されたクライアント側キャッシュ管理アプリケーションである。いくつかの実施形態では、キャッシュエージェント140は、実行時に、サーバ160から受信された位置情報に基づいて、前処理済画像データを含む画像データを受信する要求など、ビューアアプリケーション120またはブラウザ195から要求を受信し得る。一例として、サーバ160は、新たに受信または走査された画像データをクライアントシステム170に自動的に送信するように構成されることがあり(例えば、走査された画像データを前処理した後など)、キャッシュエージェント140は、サーバ160との通信を管理し、また画像データの受信を管理し得る。いくつかの実施形態では、キャッシュエージェント140は、例えば、事前に確立されたユーザ基準に基づいて、どの画像データセットを保持し、どれを削除するかを決定するため、クライアントキャッシュ自体を管理するように構成される(本明細書でさらに説明される)。いくつかの実施形態では、キャッシュエージェント140は、以前に視覚化および/または分析された画像データセットを保持するか削除するかを決定するように構成される。いくつかの実施形態では、クライアントキャッシュは、クライアントシステム170の記憶サブシステム104内に事前に割り当てられた量の記憶空間である。
いくつかの実施形態では、キャッシュエージェント140は、所望により、画像データの特定のセット(または患者症例全体)がユーザによってレビューされたこと、および/またはすでに削除された画像データがキャッシュから削除されたか、または削除されることを示すデータをサーバに送信し得る(ユーザが構成したキャッシュの有効期限基準に従って設定された日付など)。いくつかの実施形態では、キャッシュエージェント140は、サーバ160にデータを提供しない。
いくつかの実施形態では、キャッシュエージェント140は、ブラウザ195またはビューアアプリケーション120への画像データの配信を容易にするように構成され得る。例えば、ビューアアプリケーション120は、ユーザ入力に基づいて必要とされる画像データの位置を要求することがあり、サーバ160からこの情報を要求することがあり(例えば、画像データへのURLを要求し得る)、キャッシュエージェント140は、そのような画像データがキャッシュエージェント140によって保持されている場合、クライアントキャッシュから画像データを取得するように機能し得る。
クライアントキャッシュに画像データを入力する
図3は、染色された生体試料からの画像データの取得を示すフローチャートを示している。第1のステップ(300)では、病理医が病理学作業指示を作成して入力する。いくつかの実施形態では、病理医は、割り当てられたユーザ識別を有する。そのため、病理医によって作成された作業指示は、病理医のユーザIDにまでさかのぼることができる。
次に、染色されたスライド(組織病理医によって準備されたものなど)が走査される(ステップ310)。いくつかの実施形態では、画像データは、走査装置(Ventana Medical Systems、Inc.、Tucson、AZから入手可能なVENTANA DP 200スキャナなど)から取得され、画像データは、後の視覚化および分析のために、ネットワーク化されたデータベースなどのデータベース内、または、大容量記憶装置164上に記憶され得る。
いくつかの実施形態では、走査装置は、その後の表示および表示のために、各スライドの高解像度画像を生成する。いくつかの実施形態では、走査装置は、複数の倍率レベル、例えば、20倍または40倍で各スライドの高解像度画像を生成する。いくつかの実施形態では、標本に関連するすべてのスライドの画像データおよび標本の臨床詳細は、仮想スライドに関するメタデータとともにデータベースに記憶され得る。走査されたスライドは、メタデータを含む患者症例識別情報(および病理医のユーザ識別)に関連付けられている。いくつかの実施形態では、走査された画像データは、非圧縮画像ファイル形式などの第1のファイル形式で記憶される。いくつかの実施形態では、走査された画像データ、例えば、スライド画像全体の走査は、DICOMファイル、BIFファイル、またはTIFFファイルとして記憶される。いくつかの実施形態では、DICOMファイルまたはBIFファイルは、複数の倍率レベルでのRAW画像データまたは他の非圧縮画像データを含み得る。
続いて、走査装置110からの画像データおよび関連する患者症例識別情報は、記憶のためにサーバ160に送信される(例えば、サーバ160に送信され、大容量記憶装置164内に記憶される)(図3のステップ320、図10のステップ1000)。いくつかの実施形態では、走査された画像データは、個々のファイルとして記憶される、すなわち、単一のファイルがサーバ160に記憶され、単一のファイルは、第1のファイル形式でスライド画像全体の走査を表す。いくつかの実施形態では、ユーザ要求に応じて、画像タイルが生成され、クライアントシステムに送信される。
いくつかの実施形態では、走査された画像データは、走査装置110から受信された後、画像管理モジュール188などを使用してサーバ160上で自動的に前処理される(図10、ステップ1010を参照)。いくつかの実施形態では、画像管理モジュール188は、受信画像データをロードし、受信データを読み取り、受信画像データを第1の形式から第2の形式に変換し、および/または受信された画像データの一部を抽出し、抽出した部分を別のファイルに出力するなど他の画像処理動作を実行するためのロジックまたはソフトウェアを含む。
いくつかの実施形態では、走査された画像データは、第1の形式(例えば、入力ファイル形式)の単一の画像ファイルが第2の形式を有する単一の画像ファイルに変換されるように前処理され、それによって第1の画像形式および第2の画像形式が異なる。例えば、第1の形式のスライド画像全体を、第2の形式のスライド画像全体に変換し得る。いくつかの実施形態では、第2の画像ファイル形式は、宛先ファイル形式である。いくつかの実施形態では、宛先ファイル形式は、クライアントシステム170で使用するために事前に選択されたもの、またはブラウザアプリケーション(パーソナルコンピュータ上で実行される標準的なウェブブラウザアプリケーションなど)と互換性があるものである。いくつかの実施形態では、第2の画像ファイル形式は、JPEG、JPEG2000、およびPAGNを含むがこれらに限定されない圧縮ファイル形式である。例として、単一のDICOM、BIF、またはTIFF画像ファイルは、単一の圧縮画像ファイル、例えば、単一のJPEGファイルに変換され得る。
追加的または代替的に、単一のDICOMまたはBIF画像ファイルが複数の走査倍率レベルに関連する画像データを含む場合、単一の圧縮画像ファイルが各倍率レベルに対して生成され得る。例えば、BIF画像が、20倍の倍率レベルのスライド画像データ全体と40倍の倍率レベルのスライド画像データ全体とを含む場合、2つの圧縮画像ファイル(例えば、JPEGファイル)は、一方が20倍で、他方が40倍で生成されることがあり、どちらもスライド画像全体である。いくつかの実施形態では、これらの圧縮画像ファイルは、要求に応じてユーザに送信され得る(例えば、要求に応じて、特定の倍率の圧縮画像ファイルは、個々の複数のタイルに分割され、リアルタイムでユーザに送信され得る)。
いくつかの実施形態では、走査された画像データは、第1の形式の単一の画像ファイルが複数の前処理済画像ファイルに分割されるように前処理され(図10のステップ1010)、複数の前処理済画像ファイルは、第1のファイル形式と比較して、同じまたは異なるファイル形式のいずれかであることがある。例えば、第1のファイル形式の単一の画像ファイル、例えば TIFFファイル形式は、複数の前処理済画像ファイル、例えば500以上の前処理済画像ファイルに分割されることがあり、それぞれがTIFFファイル形式または異なるファイル形式を持っている。別の例として、TIFF画像ファイルは、TIFF形式を有する複数の前処理済画像ファイルに分割されることがあり、例えば、単一のTIFFファイルは、TIFF形式の500以上の前処理済画像ファイルに分割され得る。
追加的または代替的に、また上記の例に従って、TIFF画像ファイルは、JPEG、JPEG2000、およびPAGNを含む圧縮画像ファイル形式など、異なるファイル形式を有する複数の前処理済画像ファイルに分割され得る。これらの実施形態では、TIFF画像ファイルは、最初に第2のファイル形式(例えば、JPEG)に変換され、次に、複数の前処理されたJPEG画像ファイルに分割され得るか、または、TIFF画像ファイルは、最初に、TIFFファイル形式を有する複数の前処理済画像ファイルに分割され、次に、それぞれが個別にJPEGファイルに変換され得る。いずれの場合も、結果は、ウェブブラウザと互換性のある形式を含む、宛先ファイル形式などの異なるファイル形式を有する複数の前処理済画像ファイルである。
いくつかの実施形態では、前処理は、複数のセットの前処理済画像ファイルを生成することがあり、画像前処理済画像ファイルの個々のセットは、複数の画像タイルファイルを含むことがある。例えば、そして上記のように、DICOM形式またはBIF形式でのスライド走査全体は、いくつかの倍率レベル、例えば、1x、20x、および40xに対応する画像データを含み得る。いくつかの実施形態では、複数の画像タイルファイルが、元のスライド走査全体内の各倍率レベルに対して生成され得る。例えば、生成された前処理済画像ファイルの第1のセットは、20倍の倍率に関連する複数の画像タイルファイルを含むことがあり、一方、生成された前処理済画像ファイルの第2のセットは、40倍の倍率に関連する複数の画像タイルファイルを含み得る。
いくつかの実施形態では、前処理済画像ファイルが生成された後、それらは、揮発性および不揮発性メモリを含むがこれらに限定されない1つまたは複数のメモリ(ステップ1020)に記憶される。いくつかの実施形態では、前処理済画像ファイルは、サーバ160に通信可能に結合された大容量記憶装置164内の事前に割り当てられた記憶空間に記憶される。いくつかの実施形態では、前処理済画像ファイルはそれぞれ、一意のファイル名を含む。いくつかの実施形態では、一意のファイル名は、スライド画像全体から導出されたタイル画像の位置の座標を含む。このように、ユーザが座標(1,y1)、(x2,y1)、および(x3,y1)でタイルを要求した場合、これらの位置のそれぞれに対応する前処理されたタイル画像ファイルは、各画像タイルファイルに属する一意のファイル名に基づいて容易に取得され得る。
次に、いくつかの実施形態では、前処理済画像ファイルは、クライアントシステム170に送信され得る。いくつかの実施形態では、前処理済画像ファイルは、特定の画像データのフェッチを必要とするユーザ入力を受信すると(例えば、図710のステップ710を参照)、クライアントシステム170に送信されることがあり、例えば、特定の画像タイルを必要とするユーザ入力時にリアルタイムで送信され得る。いくつかの実施形態では、前処理済画像ファイルは、画像の前処理が完了した後(例えば、ステップ1000~1020の完了後)、クライアントシステム170に押し出され得る。例えば、前処理済画像ファイルは、クライアントシステム170上で実行されるキャッシュエージェント140に配信されることがあり、その結果、画像データは、本明細書(図3のステップ330を参照、図4Aおよび図7も参照)で説明されるように特定の画像タイルを必要とするユーザ入力を受信すると、クライアントシステムの記憶サブシステムからローカルに取得され得る。いくつかの実施形態では、データは、特定の患者症例識別が割り当てられたクライアントシステム、および特定のユーザ識別を有する病理医によって利用されるシステムに押し出される。別の言い方をすれば、いくつかの実施形態では、画像データは、患者症例が割り当てられている特定の病理医のコンピュータに押し出される。
新たに受信されたもの(すなわち、新たに生成された画像データ)をクライアントシステム170上のクライアントキャッシュにポピュレートするステップは、図4Aに示されている。いくつかの実施形態では、走査装置に結合されたコンピュータシステムの走査装置110からデータがまだアクセスされていない場合、サーバ160は、特定のユーザ識別と関連付けられた新しく生成された画像データにアクセスする(ステップ400)。いくつかの実施形態では、アクセスされた走査された画像データ(入力ファイル形式など)は、上記のようにキャッシュエージェント140にプッシュされる前に前処理され得る。
次に、サーバ160は、クライアントシステム170で認証を実行して(ステップ410)、クライアントシステム170がキャッシュエージェント140を実行していることを確認し(管理されたクライアントキャッシュがポピュレートされ得るように)、正しい情報が正しいコンピュータおよび正しいユーザ(つまり、視覚化および分析のための正しい病理医)に配信されているのを確認する。いくつかの実施形態では、サーバ160は、認証要求をクライアントシステム170に送信する(図4Bのステップ411を参照)。認証要求に続いて、いくつかの実施形態では、クライアントシステム170は、そのインターネットプロトコル(IP)アドレスをサーバ160に送信し(図4Bのステップ412)、サーバ160は、正しいクライアントシステム170に属することを検証する。次に、サーバ160が要求し、クライアントシステム170は、ユーザ識別データを送信する(図4Bのステップ413)。いくつかの実施形態では、正しいシステムとユーザの両方が識別されると、認証が完了する。当然、他の識別データを認証目的で使用することができる。
いくつかの実施形態では、認証は、例えば、クライアントシステム170上にキャッシュエージェント140をインストールした後、一度だけ実行される(例えば、図9を参照)。これらの実施形態では、認証は依然として実行されるが、ユーザ識別クレデンシャルおよび/またはクライアントシステム170のIPアドレスを確認するのではなく、認証は、キャッシュエージェントがまだシステム上で実行されていることを単に確認する。
認証に続いて、いくつかの実施形態では、サーバ160は、クライアントシステム170に利用可能なすべての画像データを送信する。これらの実施形態では、キャッシュエージェント140は、新たに受信されたすべての画像データを記憶するために、クライアントシステム170に結合されたクライアントキャッシュ内の空間をクリアするタスクを提供される。例えば、10GBの前処理済画像タイルファイルがサーバ160からクライアントシステム170に転送されるが、クライアントキャッシュ内で5GBの空間しか利用できない場合、キャッシュエージェント140は、サーバが受信するすべての画像データ用の空間を確保するためのクライアントキャッシュ内の5GBの既存の画像データを削除する。利用可能なキャッシュ空間の維持は、本明細書に記載されるような事前に確立された基準に基づいて決定され得る。
いくつかの実施形態では、利用可能なすべての画像データの一部のみがクライアントシステム170にプッシュされる。例えば、いくつかの実施形態では、サーバ160は、ユーザがすでにデータをレビューしたかどうかに基づいて、アクセスされた画像データの一部を送信する。例えば、特定の画像データが以前に配信されたが、その以前に配信された画像データ(本明細書に記載)のキャッシュ有効期限日の前にユーザによってレビューされなかった場合、その画像データ(またはその一部)は再びクライアントキャッシュに配信され得る。
いくつかの実施形態では、サーバ160は、所定の選択基準に基づいて画像データのそれらの部分を送信する。いくつかの実施形態では、サーバ160は、最も古い画像データの一部を送信する。例えば、クライアントシステム170にプッシュし得る10GBの画像データ内に、第1の走査日からの画像走査、および第2の走査日からの画像走査が存在し、第1の走査日が第2の走査日より前である場合、第1の走査日からのより古い画像走査は、クライアントキャッシュに送信するために選択されたものであり得る。いくつかの実施形態では、サーバ160は、標識でフラグが立てられた画像データの部分、例えば、レビューを順不同で開始する必要があるもの、優先度の高いもの、すでにレビュー中のケースに属する画像(例えば、すでにレビューされているケースの新しい画像の新しい走査を配信する)などを送信する。
いくつかの実施形態では、サーバ160は、クライアントシステム170に結合されたクライアントキャッシュ内で利用可能な記憶空間の量の決定を実行し得る(ステップ420)。いくつかの実施形態では、クライアントシステム170上で実行されているキャッシュエージェント140は、サーバ160による要求時に利用可能であるクライアントキャッシュ内の事前に割り当てられた記憶空間の量を表す値を送信し得る。いくつかの実施形態では、サーバは、キャッシュエージェント140から送信された値(すなわち、クライアントキャッシュ内で利用可能な記憶空間の量を表す値)を利用して、サーバ160によって受信された利用可能な走査画像データがクライアントキャッシュに送信され得る量について決定する。いくつかの実施形態では、サーバ160は、クライアントキャッシュ内の利用可能な空間に基づいて、クライアントキャッシュに配信するための画像データの一部を選択する(ステップ430)。
例えば、サーバ上で配信可能な画像データが10GBの情報を含み、クライアントキャッシュ内で5GBの記憶空間のみが利用可能である場合、サーバ160は、送信する画像データの部分、すなわち患者症例、画像、前処理済画像またはその一部、画像タイルなどのどれを、クライアントキャッシュ内の利用可能な空間に基づいてクライアントシステム170に送信するかを決定し得る。いくつかの実施形態では、配信のために選択された画像データの部分は、単一の患者症例から、または複数の患者症例からのものであり得る。例えば、一連の前処理済画像タイルは、第1の患者症例に関連して配信されることがあり、別の一連の前処理済画像ファイルは、第2の患者症例から配信され得る。いくつかの実施形態では、配信のために選択された画像データの部分は、走査された画像ファイル内の特定の倍率から得られた前処理済画像タイルであり得る(例えば、クライアントキャッシュ内の空間の制約を考慮して、様々な倍率の前処理済画像の3つの異なるセットではなく、40倍の倍率の前処理済画像タイルのみを配信する)。いくつかの実施形態では、クライアントキャッシュの利用可能な空き空間全体に、サーバ160からの利用可能な画像データがポピュレートされる。
サーバ上に存在する利用可能な画像データの少なくとも一部がクライアントキャッシュに配信された後、記憶された画像データの位置を提供する1つまたは複数のURLが生成され、サーバ160に記憶される(これらのURLは後で、サーバ上で実行されているビューアアプリケーションや、クライアントシステムのブラウザ内にロードされているビューアアプリケーションのインスタンスなどによって取得され得る)。いくつかの実施形態では、RNAは、明るさ、鮮明さ、コントラスト、色などを含む様々な画像パラメータを含む。適切なURLの例は次のとおりである。https://localhost/restapp/slide/imageFetcher/1012/116?quality=2&roff=3072,0&rsiz=1536,1536&imgtype=jpg&brightness=0&contrast=0&saturation=0&sharpness=0&hue=0&color=0,0,0&transformType=SRGB.いくつかの実施形態では、画像がクライアントキャッシュからフェッチされる場合、URLの一部はクライアントエージェントURLを備えていてもよい。いくつかの実施形態では、URLは、ビューアアプリケーション120などのクライアントシステム170および/またはクライアントシステム170上で実行されるキャッシュエージェント140によって取得されることがあり、その結果、クライアントキャッシュ内に存在する画像データなどの画像データは、視覚化および/または分析のために取得されることがある。
いくつかの実施形態では、キャッシュエージェント140は、クライアントシステム170の記憶サブシステム104上にあるクライアントキャッシュ内に記憶された画像データを管理する(図6の610を参照)。いくつかの実施形態では、キャッシュエージェント140は、例えば、一定の時間または一定の間隔で定期的にクライアントキャッシュを維持する。いくつかの実施形態では、キャッシュエージェント140は、必要に応じてクライアントキャッシュを維持する。いくつかの実施形態では、キャッシュエージェント140は、ユーザによってすでにレビューされたキャッシュされた画像データセットをクライアントキャッシュから削除する(ステップ510、図5を参照)。例えば、キャッシュエージェント140は、すでにレビューされたスライドの特定のセットに関連するキャッシュされた画像データを削除し得る。別の例として、キャッシュエージェント140は、ユーザによってすでにレビューされた患者症例全体を除去するように構成され得る。
いくつかの実施形態では、キャッシュエージェント140は、既存のユーザが確立した基準に基づいて、キャッシュされた画像データを削除するように構成され得る(ステップ520を参照)。例えば、ユーザが事前に確立された期間内にキャッシュされた画像データをレビューしなかった場合、キャッシュされた画像データは削除され得る。別の例として、キャッシュされたデータ自体は、画像データがユーザによってレビューされたかどうかに関係なく、有効期限を有し得る(例えば、3日または1週間または1ヶ月の設定期間)。さらに別の例として、患者症例があるユーザから別のユーザに再割り当てされた場合、キャッシュされたデータは、キャッシュエージェント140によって削除され得る。さらに別の例として、キャッシュされたデータは、特定の記憶空間のしきい値に達すると削除されることがあり、例えば、事前に割り当てられたクライアントキャッシュに一定量の空間しか利用できない場合、古いキャッシュデータを削除し、サーバ160からの新しい画像データの受信を見越して新しいデータを保持し得る。
いくつかの実施形態では、クライアントシステム170上で実行されているキャッシュエージェント140は、毎日の特定の時間などに、新しい画像データを定期的に受信するように構成される。いくつかの実施形態では、キャッシュエージェント140は、サーバ160上で利用可能になるとすぐに(すなわち、新たに走査された画像および/または患者症例がサーバによって受信され、送信の準備ができるとすぐに)新しい画像データを受信するように構成される。図6を参照すると、要求は、リモートサーバ160から受信されることがあり(ステップ620)、リモートサーバ160は、キャッシュエージェント140がクライアントシステム170上にインストールおよび/または実行されているかどうかをチェックし得る。いくつかの実施形態では、認証が実行される(ステップ630)(図4Bも参照)。キャッシュエージェント140とクライアントシステム170との間の認証されたセッションの確立に続いて、記憶された画像データは、事前に割り当てられたクライアントキャッシュに記憶するためにキャッシュエージェント140によって受信され得る(ステップ640)。
次に、クライアントキャッシュ内の画像データは、画像データの要求がユーザから受信された後、視覚化のためにクライアントシステム170によってアクセスされ得る(図7および8を参照)。図7を参照すると、第1のステップにおいて、ビューアアプリケーション120は、画像データの選択に関連する第1のユーザ入力、例えば、パン操作を完了するために追加のタイルが必要な場合のユーザ入力(ステップ710)を受信する。いくつかの実施形態では、ビューアアプリケーション120は、クライアントシステム170上で実行される。いくつかの実施形態では、ビューアアプリケーション120は、リモートサーバ160上で実行されるが、ビューアアプリケーションのインスタンスは、クライアントシステム170上のブラウザ195を介してアクセスされる。ビューアアプリケーションがブラウザを介してアクセスされる場合、ブラウザはユーザ入力を受信し、それらのユーザ入力はリモートで送信されることがある。
続いて、画像データの要求がビューアアプリケーション120からリモートサーバ160に送信される。いくつかの実施形態では、認証は、クライアントシステム170とリモートサーバ160との間で実行され(ステップ720)、クライアントシステム170は、キャッシュエージェント140がクライアントシステム170上で実行されているという信号をリモートサーバ160に送信し得る。次に、いくつかの実施形態では、リモートサーバ160は、1つまたは複数のURLをビューアアプリケーション120に送信し、1つまたは複数のURLのそれぞれは、要求画像データが記憶される位置に関する位置情報を提供する(ステップ730)。いくつかの実施形態では、要求された画像データがクライアントキャッシュに存在するかどうかに関して、ビューアアプリケーション120によって判定が行われる(ステップ740)。いくつかの実施形態では、ビューアアプリケーション120は、提供されたURLに基づいて、画像データがクライアントキャッシュに記憶されていると仮定して、その画像データをクライアントキャッシュから直接取得し得る(ステップ750)。いくつかの実施形態では、キャッシュエージェント140は、ビューアアプリケーション120から受信された命令に基づいて、クライアントキャッシュから画像データを取得する。いくつかの実施形態では、提供されたURLに基づいて、ビューアアプリケーション120は、要求された画像データ(ステップ750)のためにリモートサーバ(またはリモートサーバ上で実行されているリバースプロキシ)にリダイレクトされる(この場合、画像データはクライアントキャッシュのメンテナンス中にキャッシュエージェント140によって削除された場合、キャッシュ内に見つからない)。画像データがビューアアプリケーション120によって受信されると、それは視覚化される(ステップ760)。このプロセスは、第2、第3、第4のユーザ入力などの新しいユーザ入力が受信されると繰り返される。このプロセスは、ユーザが表示した患者症例ごとにも繰り返される。
図8を参照すると、いくつかの実施形態では、ビューアアプリケーションは、サーバ160上でリモートで実行され、ビューアアプリケーションのインスタンスは、クライアントシステム170上でローカルに実行されるブラウザにロードされる。このようにして、ユーザは、あたかもクライアントシステム170上でローカルに実行されているかのように、ビューアアプリケーションを使用する。これに関して、ブラウザにロードされたビューア内で行われたユーザ入力は、認証およびキャッシュエージェント140がクライアントシステム170上で実行されているかどうかのチェックを実行した後、ビューアアプリケーションに、要求された画像データを取得させる。次に、リモートで実行されるビューアアプリケーションは、1つまたは複数のURLをブラウザに送信し、ブラウザは、クライアントシステムのクライアントキャッシュ内から(かつクライアントシステム170で実行されているキャッシュエージェント140を介して)それらのURLをフェッチしようとする。画像データがローカルクライアントキャッシュに存在する場合、ブラウザはそのキャッシュから画像を取得する。そうでない場合、ブラウザはリモートサーバ(リバースプロキシなど)にリダイレクトされ、そこで画像データが取得される。いずれの場合も、取得した画像データが読み込まれ、視覚化される。
いくつかの実施形態では、認証は、クライアントシステムとリモートサーバとの間で実行され、クライアントシステムは、キャッシュエージェントがクライアントシステム上で実行されているという信号をリモートサーバに送信し得る。いくつかの実施形態では、リモートサーバは、クライアントシステム上で実行されているブラウザに1つまたは複数のURLを送信することがあり、1つまたは複数のURLのそれぞれは、要求画像データが記憶される位置に関する位置情報を提供する。いくつかの実施形態では、要求された画像データがクライアントキャッシュに存在するかどうかに関して、ブラウザによって判定が行われる。いくつかの実施形態では、ブラウザは、提供されたURLに基づいて、画像データがクライアントキャッシュに記憶されていると仮定して、その画像データをクライアントキャッシュから直接(クライアントシステムで実行されているキャッシュエージェントを介してなど)取得し得る。いくつかの実施形態では、提供されたURLに基づいて、ブラウザは、要求された画像データのためにリモートサーバ(またはリモートサーバ上で実行されているリバースプロキシ)にリダイレクトされる(この場合、画像データはクライアントキャッシュのメンテナンス中にキャッシュエージェントによって削除された場合、キャッシュ内に見つからない)。画像データがブラウザで受信されると、視覚化される。このプロセスは、第2、第3、第4のユーザ入力などの新しいユーザ入力が受信されると繰り返される。このプロセスは、ユーザが表示した患者症例ごとにも繰り返される。
追加の実施形態
本明細書に記載の主題および動作の実施形態は、デジタル電子回路、または本明細書に開示される構造およびそれらの構造的均等物を含むコンピュータソフトウェア、ファームウェア、またはハードウェア、またはそれらの1つまたは複数の組み合わせで実装されることができる。本明細書に記載の主題の実施形態は、1つまたは複数のコンピュータプログラム、すなわち、データ処理装置による実行のために、またはデータ処理装置の動作を制御するためにコンピュータ記憶媒体上にコード化されたコンピュータプログラム命令の1つまたは複数のモジュールとして実装されることができる。本明細書に記載のモジュールのいずれも、プロセッサによって実行されるロジックを含むことができる。本明細書で使用される「ロジック」は、プロセッサの動作に影響を与えるために適用されることができる命令信号および/またはデータの形態を有する任意の情報を指す。ソフトウェアは、ロジックの例である。
コンピュータ記憶媒体は、コンピュータ可読記憶装置、コンピュータ可読記憶基板、ランダムまたはシリアルアクセスメモリアレイまたは装置、あるいはそれらの1つまたは複数の組み合わせとすることができるか、またはそれらに含まれることができる。さらに、コンピュータ記憶媒体は、伝搬信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝搬信号にコード化されたコンピュータプログラム命令のソースまたは宛先とすることができる。コンピュータ記憶媒体はまた、1つまたは複数の別個の物理的構成要素または媒体(例えば、複数のCD、ディスク、または他の記憶装置)とすることができるか、またはそれらに含まれることができる。本明細書に記載されている動作は、1つまたは複数のコンピュータ可読記憶装置に記憶されているか、または他のソースから受信されたデータに対してデータ処理装置によって実行される動作として実装されることができる。
「プログラムされたプロセッサ」という用語は、データを処理するためのあらゆる種類の装置、装置、および機械を包含し、プログラム可能なマイクロプロセッサ、コンピュータ、チップ上のシステム、もしくは前述の複数のもの、またはそれらの組み合わせを例として含む。装置は、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)などの特別な目的のロジック回路を含むことができる。装置はまた、ハードウェアに加えて、問題のコンピュータプログラムの実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、またはそれらの1つまたは複数の組み合わせを構成するコードを含むことができる。装置および実行環境は、ウェブサービス、分散コンピューティング、グリッドコンピューティングインフラストラクチャなど、様々な異なるコンピューティングモデルインフラストラクチャを実現することができる。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる)は、コンパイルまたは解釈された言語、宣言言語または手続き型言語を含む、あらゆる形式のプログラミング言語で記述されることができ、スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、オブジェクト、またはコンピューティング環境での使用に適したその他のユニットとして含む、あらゆる形式で展開されることができる。コンピュータプログラムは、ファイルシステム内のファイルに対応してもよいが、対応する必要がなくてもよい。プログラムは、他のプログラムまたはデータを保持するファイルの一部(例えば、マークアップ言語ドキュメントに記憶された1つまたは複数のスクリプト)、問題のプログラム専用の単一ファイル、または複数の調整されたファイル(例えば、1つまたは複数のモジュール、サブプログラム、またはコードの一部を記憶するファイル)に記憶されることができる。コンピュータプログラムは、1台のコンピュータで、または1つのサイトに配置されているかまたは複数のサイトに分散され、通信ネットワークによって相互接続されている複数のコンピュータで実行されるように展開されることができる。
本明細書に記載のプロセスおよびロジックフローは、1つまたは複数のコンピュータプログラムを実行する1つまたは複数のプログラム可能なプロセッサによって実行され、入力データを操作して出力を生成することによってアクションを実行することができる。プロセスおよび論理フローは、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)などの特殊用途のロジック回路によって実行されることもでき、それらとして装置を実装することもできる。
コンピュータプログラムの実行に適したプロセッサは、例として、汎用および特殊目的の双方のマイクロプロセッサ、および任意の種類のデジタルコンピュータの任意の1つまたは複数のプロセッサを含む。一般に、プロセッサは、読み取り専用メモリまたはランダムアクセスメモリ、あるいはその双方から命令およびデータを受信する。コンピュータの本質的な要素は、命令に従ってアクションを実行するためのプロセッサと、命令およびデータを記憶するための1つまたは複数のメモリ装置である。一般に、コンピュータはまた、データを記憶するための1つまたは複数の大容量記憶装置、例えば、磁気ディスク、光磁気ディスク、または光ディスクを含むか、またはデータを受信もしくはデータを転送するか、またはその双方を行うために動作可能に結合される。しかしながら、コンピュータは、そのような装置を有する必要はない。さらに、コンピュータは、別の装置、例えば、ほんの数例を挙げると、携帯電話、携帯情報端末(PDA)、モバイルオーディオまたはビデオプレーヤ、ゲームコンソール、全地球測位システム(GPS)受信機、またはポータブル記憶装置(例えば、ユニバーサルシリアルバス(USB)フラッシュドライブ)に内蔵されることができる。コンピュータプログラムの命令およびデータを記憶するのに適した装置は、例として、例えば、EPROM、EEPROM、およびフラッシュメモリ装置などの半導体メモリ装置、例えば、内蔵ハードディスクまたはリムーバブルディスクなどの磁気ディスク、光磁気ディスク、ならびにCD-ROMおよびDVD-ROMディスクを含む、すべての形態の不揮発性メモリ、媒体およびメモリ装置を含む。プロセッサおよびメモリは、特別な目的のロジック回路によって補完または組み込まれることができる。
ユーザとの相互作用を提供するために、本明細書に記載の主題の実施形態は、ユーザに情報を表示するために、例えば、LCD(液晶ディスプレイ)、LED(発光ダイオード)ディスプレイ、またはOLED(有機発光ダイオード)ディスプレイなどのディスプレイ装置、およびユーザがコンピュータに入力を提供することができる、キーボードおよび例えばマウスまたはトラックボールなどのポインティング装置を有するコンピュータ上に実装されることができる。いくつかの実装では、タッチスクリーンを使用して、情報を表示し、ユーザからの入力を受信することができる。他の種類の装置を使用して、同様にユーザとの対話を提供することもでき、例えば、ユーザに提供されるフィードバックは、例えば、視覚的フィードバック、聴覚的フィードバック、または触覚的フィードバックなどの任意の形態の感覚的フィードバックとすることができ、また、ユーザからの入力は、音響、音声、または触覚入力を含む任意の形式で受信されることができる。さらに、コンピュータは、例えば、ウェブブラウザから受信された要求に応答して、ユーザのクライアント装置上のウェブブラウザにウェブページを送信することによるなど、ユーザによって使用される装置との間で文書を送受信することにより、ユーザと対話することができる。
本明細書に記載される主題の実施形態は、例えばデータサーバとしてのバックエンドコンポーネントを含むか、または例えばアプリケーションサーバなどのミドルウェアコンポーネントを含むか、または例えば、ユーザが本明細書に記載されている主題の実装と対話することができるグラフィカルユーザインタフェースまたはウェブブラウザを備えたクライアントコンピュータなどのフロントエンドコンポーネント、または1つまたは複数のそのようなバックエンド、ミドルウェア、またはフロントエンドコンポーネントの組み合わせを含むコンピューティングシステムに実装されることができる。システムのコンポーネントは、デジタルデータ通信の任意の形式または媒体、例えば通信ネットワークによって相互接続されることができる。通信ネットワークの例は、ローカルエリアネットワーク(「LAN」)およびワイドエリアネットワーク(「WAN」)、ネットワーク間(例えば、インターネット)、およびピアツーピアネットワーク(例えば、アドホックピアツーピアネットワーク)を含む。例えば、図1のネットワーク20は、1つまたは複数のローカルエリアネットワークを含むことができる。
コンピューティングシステムは、任意の数のクライアントおよびサーバを含むことができる。クライアントおよびサーバは、一般に、互いにリモートであり、通常は通信ネットワークを介して相互作用する。クライアントおよびサーバの関係は、それぞれのコンピュータ上で実行され且つクライアント-サーバの関係を互いに有するコンピュータプログラムによって発生する。いくつかの実施形態では、サーバは、データ(例えば、HTMLページ)をクライアント装置に送信する(例えば、データを表示し、クライアント装置と対話するユーザからのユーザ入力を受信する目的で)。クライアント装置において生成されたデータ(例えば、ユーザ対話の結果)は、サーバにおいてクライアント装置から受信されることができる。
本明細書中で言及されるおよび/または出願データシートにおいてリスト化されるすべての米国特許、米国特許出願公開、米国特許出願、外国特許、外国特許出願、および非特許刊行物は、参照によりそれらの全体が本明細書に組み込まれる。実施形態の態様は、必要に応じて、様々な特許、出願、および刊行物の概念を使用してさらに別の実施形態を提供するように修正することができる。
本開示は、いくつかの例示的な実施形態を参照して説明されてきたが、本開示の原理の精神および範囲内に含まれるであろう多くの他の変更および実施形態が当業者によって考案されることができることを理解されたい。より具体的には、合理的な変形および変更は、本開示の精神から逸脱することなく、前述の開示、図面、および添付の特許請求の範囲内の主題の組み合わせ構成の構成部品および/または配置において可能である。構成部品および/または配置の変形および変更に加えて、代替の使用法も当業者にとって明らかであろう。