JP2023530070A - 電子画像を処理して組織マップ可視化を生成するシステム及び方法 - Google Patents

Abstract

検体に対応するスライドの画像を解析するためのシステム及び方法が開示される。方法は、病理検体の少なくとも１つのデジタル画像を受信することと、人工知能（ＡＩ）システムでデジタル画像を使用して、少なくとも１つの顕著な特徴であって、バイオマーカ、癌、癌のグレード、寄生虫、毒性、炎症、及び／または癌のサブタイプを含む少なくとも１つの顕著な特徴を決定することと、ＡＩシステムで、デジタル画像の顕著な領域のオーバーレイを決定することであって、ＡＩシステムは各ピクセルの値を示す、オーバーレイを決定することと、各ピクセルの値に基づいて、デジタル画像の１つまたは複数の顕著でない領域を抑制することとを含む。
【選択図】図５

Description

関連出願の相互参照
本出願は、２０２０年６月１９日に出願された米国仮特許出願第６３／０４１，７７８号に対する優先権を主張し、その開示内容全体が参照により本明細書に組み込まれる。

本開示の様々な実施形態は、一般に、画像ベースの組織可視化及び関連する画像処理方法に関する。より具体的には、本開示の特定の実施形態は、組織検体の画像処理に基づく組織可視化のためのシステム及び方法に関する。

病理学は、形態学的及び組織学的パターンの識別と専門的な解釈を必要とする高度に視覚的な分野である。病理検体のスライド全体の画像は、病理学者が検討しなければならない数十万のピクセルで構成されている。それらを支援するために、顕著な画像領域、例えば腫瘍を示すヒートマップオーバーレイを病理学者に示す人工知能（ＡＩ）システムを作成することができる。ただし、ヒートマップオーバーレイは組織を覆い隠し、病理学者がその領域を調べる能力を妨げる場合がある。

本明細書で提供される背景説明は、開示の文脈を一般的に提示することを目的としている。本明細書で別段の指示がない限り、この項に記載されている資料は、この出願の特許請求の範囲に対する先行技術ではなく、この項に含めることによって、先行技術または先行技術を示唆するものとは認められない。

本開示のある態様によれば、検体に対応するスライドの画像を解析するためのシステム及び方法が開示される。

検体に対応するスライドの画像を解析する方法であって、病理検体の少なくとも１つのデジタル画像を受信することと、そのデジタル画像をＡＩシステムで使用して、少なくとも１つの顕著な特徴であって、バイオマーカ、癌、癌のグレード、寄生虫、毒性、炎症、及び／または癌のサブタイプを含む少なくとも１つの顕著な特徴を決定することと、ＡＩシステムで、デジタル画像の顕著な領域のオーバーレイを決定することであって、ＡＩシステムは各ピクセルの値を示す、オーバーレイを決定することと、各ピクセルの値に基づいて、デジタル画像の１つまたは複数の顕著でない領域を抑制することとを含む、方法。

検体に対応するスライドの画像を解析するシステムは、命令を記憶するメモリと、少なくとも１つのプロセッサとを含み、少なくとも１つのプロセッサは、命令を実行して、病理検体の少なくとも１つのデジタル画像を受信することと、そのデジタル画像をＡＩシステムで使用して、少なくとも１つの顕著な特徴であって、バイオマーカ、癌、癌のグレード、寄生虫、毒性、炎症、及び／または癌のサブタイプを含む少なくとも１つの顕著な特徴を決定することと、ＡＩシステムで、デジタル画像の顕著な領域のオーバーレイを決定することであって、ＡＩシステムは各ピクセルの値を示す、オーバーレイを決定することと、各ピクセルの値に基づいて、デジタル画像の１つまたは複数の顕著でない領域を抑制することとを含むプロセスを行う。

命令を記憶する非一時的コンピュータ可読媒体であって、命令は、プロセッサによって実行されると、プロセッサに、検体に対応するスライドの画像を解析するための方法を実行させ、方法は、病理検体の少なくとも１つのデジタル画像を受信することと、そのデジタル画像をＡＩシステムで使用して、少なくとも１つの顕著な特徴であって、バイオマーカ、癌、癌のグレード、寄生虫、毒性、炎症、及び／または癌のサブタイプを含む少なくとも１つの顕著な特徴を決定することと、ＡＩシステムで、デジタル画像の顕著な領域のオーバーレイを決定することであって、ＡＩシステムは各ピクセルの値を示す、オーバーレイを決定することと、各ピクセルの値に基づいて、デジタル画像の１つまたは複数の顕著でない領域を抑制することとを含む、非一時的コンピュータ可読媒体。

当然ながら、上述の一般的な説明と以下の詳細な説明は両方とも、単に例示的及び説明的なもので、特許請求されるように、開示の実施形態を限定するものではない。

添付の図面は、この明細書の一部に組み込まれ、これを構成し、様々な例示的な実施形態を示しており、説明と併せて、開示している実施形態の原理を説明する役割を果たす。

生検における疾患の存在を示すヒートマップの例である。 本開示の例示的な実施形態による、画像の組織可視化のためのシステム及びネットワークの例示的なブロック図を示す。 本開示の例示的な実施形態による、疾患検出プラットフォーム２００の例示的なブロック図を示す。 本開示の例示的な実施形態による、ＡＩが診断値を有すると検出した特定の領域の例示的な可視化を示し、診断値のない領域の可視化を抑制する。 本開示の例示的な実施形態による、特徴に基づく特定の領域の可視化の例を示す。 本開示の例示的な実施形態による、デジタル化された病理画像の組織可視化を提供するための例示的な方法のフローチャートである。 疾患の存在を示すヒートマップの例であり、検討の対象の組織が覆い隠されている。 本開示の例示的な実施形態による、検討の対象の組織を隠すことなく、疾患を有する領域の可視化の例を示す。 本明細書で提示される技法を実行し得るシステムの例を示す。

これから本開示の例示的な実施形態について詳細に言及するが、それらの例は添付の図面に示されている。可能な場合は必ず、図面全体を通して、同じまたは類似の部分を指す場合、同じ参照番号が使用される。

本明細書で開示されるシステム、デバイス、及び方法は、例として、図面を参照して詳細に説明される。本明細書で説明する例は単なる例であり、本明細書で説明する装置、デバイス、システム、及び方法の説明を助けるために提供される。図面に示されている、または以下で説明されている特徴またはコンポーネントは、特に必須と指定されていない限り、これらのデバイス、システム、または方法のいずれかの特定の実装に必須と見なされるべきではない。

また、説明されている方法については、その方法がフロー図に関連して説明されているかどうかに関係なく、当然ながら、別段の指定がない限り、または文脈によって必要とされない限り、方法の実行で行われるステップの明示的または暗示的な順序は、これらの手順が提示された順序で行われなければならないことを意味するものではなく、代わりに、異なる順序または並行して行われてもよい。

本明細書で使用される場合、用語「例示的」は、「理想的」ではなく「例」の意味で使用される。さらに、本明細書における「ａ」及び「ａｎ」という用語は、量の限定を意味するのではなく、言及された項目の１つまたは複数が存在していることを意味する。

ＡＩが病理学者の診断及び研究ワークフローとますます統合されるにつれて、ＡＩ技術の結果の解釈可能性と、ＡＩを使用する際のユーザ体験は、病理学者がＡＩ技術を効果的に活用する能力にとって重要である。ある技術では、ＡＩを後処理機構として使用して、予測の可視化を画像に重ねてよい。ただし、これは病理学者の結果へのアクセスと理解を妨げる可能性がある。

病理学者は、関心領域（例えば、腫瘍、興味深い形態学的所見、及び／または診察もしくは検討が必要なものなど）を認識すると、例えばマーカでスライドガラスに直接、領域の周囲に境界線を引くことがある。ＡＩベースの画像解析を使用して、デジタル化された病理画像にヒートマップを重ねてよい。ある手法では、重要でない領域にはオーバーレイが与えられず、重要な領域にはオーバーレイが与えられる。オーバーレイは、アルゴリズムによって生成された確率マップを表す勾配であってよい。

ただし、上記の方法を使用すると、関連する領域に目障りなオーバーレイが存在する場合がある。ヒートマップはデジタル画像の上に表示され得るため、病理学者はＡＩが指摘したものとヒートマップの下にある実際の組織を比較するために、オーバーレイのオンとオフを繰り返し切り替えなければならない場合がある。

ＡＩシステムは、対象の質問（例えば、「癌は存在する？」、「これは高グレードの癌か？」など）に関連して解析された各ピクセルのスコア及び／または確率を生成することができ、これらのスコアは、ヒートマップ（例えば、図１）を作成することができる。これは、一部のユースケースでは役立つ可視化になり得るが、病理学者にとっては、最終的な解釈をレンダリングするプロセスに悪影響を与える可能性がある。実際、病理学者が組織の形態に関連してヒートマップの色の意味を判断しようとすると、病理学者を混乱させる可能性がある。例えば、ＡＩは、前立腺針生検の第１の領域が、グリーソングレード３の第２の領域（例えば、ヒートマップはこれを示し得る）よりもグリーソングレード３である可能性が高いと予測する場合がある。ただし、病理学者が最終的な判断を行うため、一方が他方よりもグリーソングレード３である可能性が高いと予測されることを知ることは病理学者にとって役に立たない場合がある。

図１は、生検（例えば、前立腺針コア生検）における癌または他の疾患の存在を示すヒートマップの例である。図１に示すように、関心領域１は、ヒートマップ１１を有する組織１０を有する。ヒートマップ１１は、組織１０を覆い隠し、異なる色との潜在的に誤解を招く診断上の関連を示唆する場合がある。さらに、バイナリビットマップを使用して、顕著な領域を示す事前に指定された閾値を超える特定のスコア（例えば、確率）を有すると予測されたピクセルをマークしてよい。

本開示により、病理学者は、これらの関心領域の上に目障りなオーバーレイをすることなく、複数の顕著な画像領域に注意を向けることができる。このタイプの可視化は、ＡＩの結果をより簡単に識別、解釈、及び関与できるようにすることで、病理学者のデジタル病理ワークフローを最適化する。

本開示は、病理学者が検討するのに重要であると識別されたスライド上の領域を覆い隠さない組織可視化を提供する。その結果、解釈とワークフローがより効率的になり（例えば、出力のオンとオフを切り替える必要がない）、より迅速で正確な診断が可能になる。さらに、出力は病理学者が解釈しやすくなる。

本開示は、ＡＩ技術を使用して、病理学的評価及び治療決定に必要な可能性のある関心のある特徴（例えば、バイオマーカ、癌、癌のグレード、寄生虫、毒性、炎症、癌のサブタイプなど）を検出することができる。ＡＩは、顕著な領域のオーバーレイを生成することができ、顕著な領域のオーバーレイを、無関係な画像領域、または所定の閾値を超える診断値を有さないと判断された画像領域を抑制する可視化に変換することができる。

ユーザが診断プロセスで特定のタスク（例えば、癌の検出、グレーディングなど）を完了するのに役立つように、スライド画像全体の重要な領域が、ユーザ（例えば、病理学者）に表示及び強調表示されてよく、これは、最小限の視覚的及びユーザビリティのオーバーヘッドを必要とする。１つまたは複数の実施形態は、ウェブアプリケーション（例えば、クラウドベース及び／またはオンプレミス）、モバイルアプリケーション、インタラクティブレポート、静的レポート、及び／またはダッシュボードの少なくとも１つとして、病院、研究室、医療センターなどで、臨床ワークフロー内で組織可視化をユーザに提供することを含み得る。

ユーザビリティ及び／または効率を向上させるために、識別された領域（複数可）は、概要情報を有するレポートに編成されてよい。さらに、インタラクティブな検討／編集が、デジタル画像の検討中にユーザに提供されてよい。単一のスライド画像全体で複数の特徴が可視化されてよい。

１つまたは複数の実施形態による技術的ワークフローは、次のように、デジタル化された全スライド画像が作成され得る。メタデータが生成及び／または決定されてよい。メタデータは、病院及び／またはハードウェアデータベースから入手可能であってよい。画像及び対応するデータをＡＩベースのシステムに提供することができ、出力を生成することができる。出力の一部は、１つまたは複数のシステムに供給されてよく、システムは、可視化（例えば、１つまたは複数の点または領域）を生成し、及び／またはユーザ（例えば、病理学者）に表示する。解析及び／または表示は、関心のあるクエリ（例えば、癌、核の特徴、細胞数など）に基づいて生成されてよい。

さらに、本開示の１つまたは複数の実施形態は、事前スクリーニングのために（すなわち、病理学者が画像を検討する前に）、及び／または診断が下された後に（例えば、品質保証）、使用されてよい。

図２Ａは、本開示の例示的な実施形態による、画像の組織可視化のためのシステム及びネットワークの例示的なブロック図を示す。

具体的には、図２Ａは、病院、研究室、及び／または医師のオフィスなどのサーバに接続することができる電子ネットワーク２２０を示す。例えば、医師サーバ２２１、病院サーバ２２２、臨床試験サーバ２２３、研究室サーバ２２４、及び／または研究室情報システム２２５などは、それぞれ、１つまたは複数のコンピュータ、サーバ、及び／またはハンドヘルドモバイルデバイスを通して、インターネットなどの電子ネットワーク２２０に接続されてよく、また、電子ネットワーク２２０を介して通信してよい。本出願の例示的な実施形態によれば、電子ネットワーク２２０はまた、サーバシステム２１０に接続されてよく、サーバシステム２１０は、疾患検出プラットフォーム２００を実装するように構成された処理デバイスを含んでよく、疾患検出プラットフォーム２００は、本開示の例示的な実施形態による、機械学習を使用して、デジタル病理画像（複数可）の組織可視化を生成するための組織可視化ツール２０１を含む。例示的な機械学習モデルは、ニューラルネットワーク、畳み込みニューラルネットワーク、ランダムフォレスト、ロジスティック回帰、及び／または最近傍のうちの任意の１つまたは任意の組み合わせを含み得るが、これらに限定されない。

医師サーバ２２１、病院サーバ２２２、臨床試験サーバ２２３、研究室サーバ２２４、及び／または研究室情報システム２２５は、１つまたは複数の患者の細胞学検体（複数可）、腫瘍学検体（複数可）、細胞学／腫瘍学検体（複数可）のスライド（複数可）、細胞学／腫瘍学検体（複数可）のスライド（複数可）のデジタル画像、または、これらの任意の組み合わせを作成、または他の方法で取得し得る。医師サーバ２２１、病院サーバ２２２、臨床試験サーバ２２３、研究室サーバ２２４、及び／または研究室情報システム２２５はまた、年齢、病歴、癌治療歴、家族歴、過去の生検または細胞学情報などの患者固有の情報の任意の組み合わせを取得することもできる。医師サーバ２２１、病院サーバ２２２、臨床試験サーバ２２３、研究室サーバ２２４、及び／または研究室情報システム２２５は、デジタル化されたスライド画像及び／または患者固有の情報を電子ネットワーク２２０を介してサーバシステム２１０に送信してよい。サーバシステム２１０は、医師サーバ２２１、病院サーバ２２２、臨床試験サーバ２２３、研究室サーバ２２４、及び／または研究室情報システム２２５のうちの少なくとも１つから受信した画像及び／またはデータを記憶するための１つまたは複数のストレージデバイス２０９を含み得る。サーバシステム２１０はまた、ストレージデバイス２０９に記憶された画像及び／またはデータを処理するための処理デバイスを含み得る。サーバシステム２１０は、１つまたは複数の機械学習ツールまたは機能をさらに含み得る。例えば、一実施形態によれば、処理デバイスは、疾患検出プラットフォーム２００のための機械学習ツールを含み得る。代替的または追加的に、本開示（または、本開示のシステム及び方法の一部）は、ローカル処理デバイス（例えば、ラップトップ）で行われてよい。

医師サーバ２２１、病院サーバ２２２、臨床試験サーバ２２３、研究室サーバ２２４、及び／または研究室情報システム２２５は、病理学者がスライドの画像を検討するために使用することができるシステムを指す。病院の環境では、組織タイプの情報は、研究室情報システム２２５に記憶されてよい。

図２Ｂは、機械学習を使用してデジタル病理画像（複数可）の組織可視化を生成するための疾患検出プラットフォーム２００の例示的なブロック図を示す。

具体的には、図２Ｂは、一実施形態による疾患検出プラットフォーム２００のコンポーネントを示す。例えば、疾患検出プラットフォーム２００は、組織可視化ツール２０１、データ取り込みツール２０２、スライド取り込みツール２０３、スライドスキャナ２０４、スライドマネージャ２０５、ストレージ２０６、及び／またはビューイングアプリケーションツール２０８を含み得る。

以下に説明するように、組織可視化ツール２０１は、例示的な実施形態による、機械学習を使用して、デジタル病理画像（複数可）に関する組織可視化を生成するためのプロセス及びシステムを指す。

データ取り込みツール２０２は、例示的な実施形態による、デジタル病理画像の分類及び／または処理に使用される様々なツール、モジュール、コンポーネント、及び／またはデバイスへのデジタル病理画像の転送を容易にするためのプロセス及びシステムを指す。

例示的な実施形態によれば、スライド取り込みツール２０３は、病理画像をスキャンし、それらをデジタル形式に変換するためのプロセス及びシステムを指す。スライドは、スライドスキャナ２０４を用いてスキャンされてよく、スライドマネージャ２０５は、スライド上の画像を処理してデジタル化された病理画像にし、デジタル画像をストレージ２０６及び／またはストレージデバイス２０９などのストレージに記憶してよい。

ビューイングアプリケーションツール２０８は、例示的な実施形態による、デジタル病理画像（複数可）に関する検体特性または画像特性の情報をユーザ（例えば、病理学者）に提供するためのプロセス及びシステムを指す。情報は、様々な出力インタフェース（例えば、画面、モニタ、ストレージデバイス、及び／またはウェブブラウザなど）を通して提供されてよい。

組織可視化ツール２０１、及びそのコンポーネントのそれぞれは、サーバシステム２１０、医師サーバ２２１、病院サーバ２２２、臨床試験サーバ２２３、研究室サーバ２２４、及び／または研究室情報システム２２５に電子ネットワーク２２０を介して、デジタル化されたスライド画像及び／または患者情報を送信してよい、及び／またはそれらから受信してよい。さらに、サーバシステム２１０は、組織可視化ツール２０１、データ取り込みツール２０２、スライド取り込みツール２０３、スライドスキャナ２０４、スライドマネージャ２０５、及び／またはビューイングアプリケーションツール２０８の少なくとも１つからの画像及び／またはデータを記憶するためのストレージデバイスを含み得る。サーバシステム２１０はまた、ストレージデバイスに記憶された画像及び／またはデータを処理するための処理デバイスを含み得る。サーバシステム２１０は、例えば、処理デバイスによる、１つまたは複数の機械学習ツール（複数可）または機能をさらに含み得る。代替的または追加的に、本開示（または本開示のシステム及び方法の一部）は、ローカル処理デバイス（例えば、ラップトップ）で行われてよい。

上記のデバイス、ツール、及び／またはモジュールは、１つまたは複数のコンピュータ、サーバ、及び／またはハンドヘルドモバイルデバイスを通して、インターネットまたはクラウドサービスプロバイダ等の電子ネットワーク２２０に接続され得るデバイスに配置されてよい。

図３は、癌などの診断値を有するものとしてＡＩが検出した特定の領域の可視化の例を示し、非疾患領域または診断値を欠く他の領域の可視化は、本明細書に記載する技術に従って抑制されている。関心領域１において、組織１０は、診断値の特定領域１３と比較して抑制された非疾患領域１２を有する。表示アイコン１４も可視化に含まれてよい。

図４は、特徴（例えば、癌のグレード）に基づく特定の領域の可視化の例を示し、非疾患領域、または特徴に関連する診断値を欠く他の領域の可視化は、本明細書に記載する技術に従って抑制されている。関心領域１において、組織１０は、診断値の特定領域１３と比較して抑制された非疾患領域１２を有する。表示アイコン１４も可視化に含まれてよい。

図５は、本開示の例示的な実施形態による、デジタル化された病理画像の組織可視化を提供するための例示的な方法を示すフローチャートである。例えば、例示的な方法５００（例えば、ステップ５０２～５０８）は、自動的に、またはユーザ（例えば、病理学者、患者、腫瘍専門医など）からの要求に応答して、組織可視化ツール２０１によって実行されてよい。

組織可視化ツールを開発するための例示的な方法５００は、以下のステップのうちの１つまたは複数を含み得る。ステップ５０２において、方法は、病理検体（例えば、組織学）の少なくとも１つのデジタル画像を受信することを含んでよく、これは、関連する症例及び患者情報（例えば、検体タイプ、症例及び患者ＩＤ、症例内の部分、全体的な説明など）、及び／または臨床システムからの情報（例えば、割り当てられた病理学者、検査に利用できる検体など）も含み得る。方法は、処理された画像及び／または見込み患者のデータをアーカイブするパイプラインを開発することを含み得る。さらに、データはデジタルストレージデバイス（例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、ＲＡＭなど）に記憶されてよい。

ステップ５０４において、方法は、ＡＩシステムでデジタル画像を使用して、少なくとも１つの顕著な特徴を決定することを含んでよく、少なくとも１つの顕著な特徴は、バイオマーカ、癌、癌のグレード、寄生虫、毒性、炎症、及び／または癌のサブタイプを含む。

ステップ５０６において、方法は、ＡＩシステムにおいて、デジタル画像の顕著な領域のオーバーレイを決定することを含んでよく、ＡＩシステムは、各ピクセルの値を示す。ＡＩシステム出力は、各ピクセルの値を示すデジタル入力画像の顕著な領域のオーバーレイＭであってよい。ＡＩは、複数の方法でＭを表し得る。例えば、Ｍは、（１）顕著な特徴の各ピクセルが存在するまたは存在しないスコアまたは確率を示すヒートマップ、（２）特徴が存在するまたは存在しないについて、それらに関連付けられたスコアまたは確率を有するスーパーピクセルのセット、（３）各ピクセルが存在する顕著な特徴を有するか否かを示す組織のバイナリセグメンテーション、及び／または（４）各ピクセルのスコアまたは確率を示す画像のセマンティックセグメンテーションによって表されてよい。さらに、顕著な領域のオーバーレイは、デジタル画像と同じサイズにサイズ変更されてよい。

ステップ５０８において、方法は、各ピクセルの値に基づいて、デジタル画像の１つまたは複数の顕著でない領域を抑制することを含み得る。顕著な領域のオーバーレイは、処理（例えば、後処理）されてよく、正規化してＳ（例えば、正規化された顕著な領域のオーバーレイ）を取得することができる。例えば、バイナリＭの場合、Ｍは修正されないまま、すなわち、Ｓ＝Ｍであってよい。別の例として、バイナリまたは連続したＭに対して画像処理技術を使用して、方法は、（１）Ｓ＝Ｍに設定すること、（２）平滑化演算、例えば、ガウシアンぼかしまたは中央値ぼかしをＳに適用すること、（３）Ｓが０～１の範囲にない場合、例えば、線形コントラストストレッチングを用いて、Ｓをこの範囲に正規化すること、（４）Ｓが連続した値を有する場合、Ｓを閾値化して、閾値を超えるすべての値を１に設定し、閾値未満のすべての値を０に設定すること、及び／または（５）形態学的演算子（例えば、閉じる、侵食、拡張）を用いてＳを後処理して可視化を改善することを含み得る。別の例として、連続スコアまたは確率を用いたＭのセグメンテーションを使用すると、方法は、（１）クラスタリング方法（例えば、Ｋ平均法）、領域成長法、グラフベースの方法、及び／または他のセグメンテーション方法など、セグメンテーションアルゴリズムをＭに対して実行すること、（２）各セグメントに属するピクセルのスコア／確率に基づいて、各セグメントに値を割り当てること、これは、多くの方法で、例えば、下にあるピクセルの最大スコア／確率、中央値、平均、及び／または一般化平均を取得することで行うことができる、及び／または（３）セグメンテーションと計算されたセグメント値からＳを取得するために、所定の閾値を超える値を持つ各セグメントのすべての値を１に設定し、閾値を下回るすべての値を０に設定することを含み得る。

図６Ａは、癌の存在を示すヒートマップの例であり、組織が覆い隠されている。前述のように、ヒートマップは、病理学者による診断に関連する組織を覆い隠す場合がある。

図５に関して、かつ本明細書の他の箇所で説明した手法を使用して、図６Ｂの可視化を生成してよい。癌やその他の診断可能な問題のある領域は、検討対象の組織を覆い隠すことなく、可視化で簡単に見ることができる。顕著でない領域など、診断に関係のない領域は、覆い隠されてよい、または他の方法で抑制されてよい。

可視化及び／またはレポートが生成されると、ユーザ（例えば、病理学者、腫瘍学者、患者など）は、結果が利用可能であることを通知によって知らされてよい。ユーザには、可視化及び／またはレポートを検討するオプションが提供されてよい。あるいは、可視化及びレポートは自動的に提供されてよい。ユーザが可視化を見ることを選択した場合、またはシステムがそれを自動的に表示するように設定されている場合、組織マップはＳを使用して、Ｓ内のピクセル、つまりＳ（ｚ）の値が０であるピクセルｚを抑制する。これは、ＡＩがそのピクセルを関心のある臨床的特徴であると診断すると解釈しない（顕著でない）ことを示す。この抑制は、これらのピクセルを「黒く塗りつぶす」、部分的に透明にする、明るさを変更する、及び／または他の視覚的な差別化方法のうちの少なくとも１つによって行われてよい。

ユーザは、ターゲット出力に基づいて組織可視化が示す内容をカスタマイズすることができる（ターゲット出力は、追跡ソフトウェアに基づいて、ユーザまたは他のユーザによってマークされた領域、形態学的特徴、誰にも見られない領域などを含み得る）。組織マップは、単一のスライド上で複数のＭ（顕著な領域のオーバーレイ）を可視化するために利用されてよい。１つのスライドが複数のＭを有する場合、ユーザはどのＭ（例えば、１つまたは複数）を一度に表示するかを選択してよい。ユーザは、専門家の評価に基づいて、Ｓ内の領域を追加または削除してよい。例えば、ユーザはマウスまたは入力デバイスを使用して可視化を修正してよく（例えば、より多くの組織を含める）、対応する詳細も同様に調整される（例えば、より多くの腫瘍が識別されると、腫瘍の定量化のための表示値も、それに従って調整される）。ユーザが元の予測と可視化に戻ることができるように、あらゆる変更がリセットされてよい。

ユーザの視野は、優先度、クラス、及び／またはその他の優先順位の順で、識別された各関心領域に焦点を合わせるために移動されてよい（例えば、関心領域は、組織マップ上でＡＩによって、またはさらなる調査を必要とする領域としてユーザによって識別された任意の領域であってよい）。出力及び／または可視化された領域は、臨床報告システム内に病歴の一部として記録されてよい。

例示的な癌検出ツール：一実施形態によれば、方法は、癌を有する組織領域を識別することを含む。組織マップは、ユーザ、例えば、病理学者が、癌を有する、または癌の疑いがある組織領域をより迅速に識別するのに役立つ。どの組織領域が癌を有するか、または癌の疑いがあるかを示す顕著な領域のオーバーレイＭを生成するＡＩを使用して、組織可視化は、図５に関して説明したステップを使用して作成されてよい。本開示は、組織マップを修正するための、例えば、ターゲットのカスタマイズ、編集機能、視野、及び／または記録／報告目的のためのシステム及び方法を提供する。ユーザは、ターゲット出力の定義に基づいて、組織マップが示す内容をカスタマイズしてよい。例えば、組織可視化が癌性であると検出されたすべての領域を表示する場合、ユーザは、癌性カテゴリの特定の特徴を考慮するか、または考慮しない（例えば、ある病院では、非定型乳管過形成（ＡＤＨ）を癌性と見なし、他の病院では見なさない）ように出力をカスタマイズしてよい。したがって、病院Ａのユーザは乳房生検でＡＤＨを含むすべての癌性領域を見ることができ、病院Ｂのユーザは乳房生検でＡＤＨを除くすべての癌性領域を見ることができる。ユーザは、より多くの組織が見えるように（例えば、結果に同意せず、より多くの領域が癌性であると考える場合）、またはより少ない組織が見えるように（例えば、結果に同意せず、識別された領域が癌性でないと考える場合）、可視化とインタラクトしてよい、及び／または可視化を調整してよい。ユーザの視野は、優先度、クラス、または他の優先順位の順で各関心領域に焦点を合わせるように移動されてよい。出力及び／または可視化された領域は、臨床報告システム内に病歴の一部として記録されてよい。

例示的な癌のグレードツール：一実施形態によれば、方法は、組織マップを使用して癌を有する組織領域を特徴付けることを含む。例示的なシステム及び方法は、どの組織領域が特定のグレードの癌を有するかを示す顕著な領域のオーバーレイＭを生成してよく、組織可視化は、図５に関して説明したステップを使用して作成されてよい。ユーザは、ターゲット出力の定義に基づいて、組織可視化が示す内容をカスタマイズすることができる。例えば、癌のグレーディングガイドラインは時間の経過とともに変化する。ユーザが、異なる時点で癌がどのように評価されていたかを確認したい場合は、それに応じて調整することができる。ユーザは、可視化とインタラクト及び／または可視化を編集してよい。ユーザは、より多くの組織が見えるように（例えば、結果に同意せず、ある領域が癌でグレード３であると考える場合）、またはより少ない組織が見えるように（例えば、結果に同意せず、識別された領域が癌性でなくグレード３でもないと考える場合）可視化を調整してよい。ユーザの視野は、優先度、クラス、または他の優先順位の順で各関心領域に焦点を合わせるように移動されてよい。出力及び／または可視化された領域は、臨床報告システム内に病歴の一部として記録されてよい。

例示的な癌タイプまたは前癌病変ツール：一実施形態によれば、方法は、複数の形態の癌（例えば、小葉癌及び／または乳管癌）が発生する可能性がある組織可視化を含む。どの組織領域が特定のタイプの癌であるかを示す顕著な領域のオーバーレイＭを生成するＡＩを使用して、図５に関して説明したステップを使用して、組織可視化を作成してよい。ユーザは、ターゲット出力の定義に基づいて、組織可視化が示す内容をカスタマイズしてよい。例えば、スライド上のすべての潜在的な前癌病変と癌病変を見ることを好むユーザもいれば、いくつかの重要な前癌病変または非定型病変のみを報告したいユーザもいる。ユーザは、可視化とインタラクト及び／または可視化を編集してよい。ユーザは、より多くの組織が見えるように（例えば、結果に同意せず、ある領域が癌で管性であると考える場合）、またはより少ない組織が見えるように（例えば、結果に同意せず、識別された領域が癌性でも管性でもないと考える場合）可視化を調整してよい。ユーザの視野は、優先度、クラス、または他の優先順位の順で各関心領域に焦点を合わせるように移動されてよい。出力及び／または可視化された領域は、臨床報告システム内に病歴の一部として記録されてよい。

例示的な非癌性特徴ツール：一実施形態によれば、方法は、他の非癌性特徴（例えば、皮膚病理サンプル中の真菌、結腸サンプル中の細菌、乳房サンプル中の異型、多くの組織タイプ中の炎症など）を識別することを含む。どの組織領域が異なる生物学的特徴を含むかを示す顕著な領域のオーバーレイＭを生成するＡＩを使用して、図５に関して説明したステップを使用して組織可視化を作成してよい。ユーザは、可視化とインタラクトしてよい、及び／または可視化を編集してよい。ユーザは、より多くの組織が見えるように（例えば、結果に同意せず、ある領域が真菌であると考える場合）、またはより少ない組織が見えるように（例えば、結果に同意せず、識別された領域が真菌ではないと考える場合）可視化を調整してよい。ユーザの視野は、優先度、クラス、または他の優先順位の順で各関心領域に焦点を合わせるように移動されてよい。出力及び／または可視化された領域は、臨床報告システム内に病歴の一部として記録されてよい。

例示的な浸潤ツール：一実施形態によれば、方法は、浸潤（例えば、乳癌における微小浸潤、膀胱癌における固有筋層浸潤、前立腺癌における神経周囲浸潤など）の存在を判断することを含む。どの組織領域が浸潤性癌を含むかを示す顕著な領域のオーバーレイＭを生成するＡＩを使用して、図５に関して説明したステップを使用して組織可視化を作成してよい。ユーザは、ターゲット出力の定義に基づいて、組織可視化が示す内容をカスタマイズしてよい。ユーザは、可視化とインタラクト及び／または可視化を編集してよい。ユーザは、より多くの組織が見えるように（例えば、結果に同意せず、ある領域が浸潤性であると考える場合）、またはより少ない組織が見えるように（例えば、結果に同意せず、識別された領域が浸潤性ではないと考える場合）可視化を調整してよい。ユーザの視野は、優先度、クラス、及び／または他の優先順位の順で各関心領域に焦点を合わせるように移動されてよい。さらに、出力及び／または可視化された領域は、臨床報告システム内に病歴の一部として記録されてよい。

例示的な鑑別診断ツール：一実施形態によれば、方法は、鑑別診断（例えば、皮膚病理検体における皮膚線維腫と平滑筋腫）を区別することを含む。どの組織領域が浸潤性癌を含むかを示す顕著な領域のオーバーレイＭを生成するＡＩを使用して、図５に関して説明したステップを使用して組織可視化を作成してよい。ユーザは、可視化とインタラクト及び／または可視化を編集してよい。ユーザは、より多くの組織が見えるように（例えば、結果に同意せず、ある領域が浸潤性であると考える場合）、またはより少ない組織が見えるように（例えば、結果に同意せず、識別された領域が浸潤性ではないと考える場合）可視化を調整してよい。ユーザの視野は、優先度、クラス、または他の優先順位の順で各関心領域に焦点を合わせるように移動されてよい。出力及び／または可視化された領域は、臨床報告システム内に病歴の一部として記録されてよい。さらに、ユーザは、組織領域にユーザの複数の鑑別診断をタグ付けしてよい。

例示的な前臨床毒性検出ツール：一実施形態によれば、方法は、動物に薬物を投与し、毒性が存在するかどうかを判断するために病理学者によって動物の臓器を評価する前臨床薬物開発に使用される顕著な組織の可視化を含む。どの組織領域が毒性の兆候を含むかを示す顕著な領域のオーバーレイＭを生成するＡＩを使用して、図５に関して説明したステップを使用して組織可視化を作成してよい。ユーザは、可視化とインタラクト及び／または可視化を編集してよい。ユーザは、より多くの組織が見えるように（例えば、結果に同意せず、ある領域が毒性を示すと考える場合）、またはより少ない組織が見えるように（例えば、結果に同意せず、識別された領域が毒性を示さないと考える場合）可視化を調整してよい。ユーザの視野は、優先度、クラス、または他の優先順位の順で各関心領域に焦点を合わせるように移動されてよい。ユーザは、組織領域にユーザの複数の鑑別診断をタグ付けしてよい。出力及び／または可視化された領域は、（例えば、ディスク、クラウド、研究室情報システムなどに）記録及び／または記憶される。

例示的な寄生虫侵入予測ツール：一実施形態によれば、方法は、スライド画像全体における寄生虫のＡＩ検出の可視化を含む。病理学者は、原虫や蠕虫が原因の疾患などの寄生虫感染症の診断を求められる場合がある。例えば、フォーラーネグレリア（一般に「脳を食べるアメーバ」と呼ばれる）の診断は、脳組織の病理学的検査によって診断することができる。どの組織領域が寄生虫感染の兆候を含むかを示す顕著な領域のオーバーレイＭを生成するＡＩを使用して、図５に関して説明したステップを使用して組織可視化を作成してよい。ユーザは、可視化とインタラクト及び／または可視化を編集してよい。ユーザは、より多くの組織が見えるように（例えば、結果に同意しない場合）、またはより少ない組織が見えるように（例えば、結果に同意せず、識別された領域は寄生虫感染ではないと考える場合）可視化を調整してよい。ユーザの視野は、優先度、クラス、または他の優先順位の順で各関心領域に焦点を合わせるように移動されてよい。ユーザは、組織領域にユーザの複数の鑑別診断をタグ付けしてよい。出力及び／または可視化された領域は、（例えば、ディスク、クラウド、研究室情報システムなどに）記録及び／または記憶されてよい。

例示的なバイオマーカツール：一実施形態によれば、方法は、ＡＩを使用して、異なるバイオマーカを特徴付ける及び／または識別することを含む。癌の病理学において、病理学者の仕事の１つは、追加の検査（例えば、免疫組織化学、シークエンシングなど）により、異なるバイオマーカを特徴付ける及び／または識別することである。これらは、すべての組織タイプ（例えば、肺、乳房、結腸のＨＥＲ２）に適用し得る。どの組織領域が浸潤性癌を含むかを示す顕著な領域のオーバーレイＭを生成するＡＩを使用して、図５に関して説明したステップを使用して組織可視化を作成してよい。ユーザは、ターゲット出力の定義に基づいて、組織可視化が示す内容をカスタマイズしてよい。例えば、現在のすべてのバイオマーカを見たいユーザもいれば、臨床行為が可能なステップ（例えば、薬剤や治療経路など）が利用可能な現在のバイオマーカのみを見たいユーザもいる。ユーザの視野は、優先度、クラス、または他の優先順位の順で各関心領域に焦点を合わせるように移動されてよい。出力及び／または可視化された領域は、臨床報告システム内に病歴の一部として記録されてよい。ユーザは、組織領域にユーザの複数の鑑別診断をタグ付けしてよい。

図７は、本明細書で提示される技術を実行し得るシステム７００の例を示す。あるいは、複数のデバイス７００が、本明細書で提示される技法を実行してよい。デバイス７００は、中央処理装置（ＣＰＵ）７２０を含み得る。ＣＰＵ７２０は、例えば、任意のタイプの専用または汎用マイクロプロセッサデバイスを含む、任意のタイプのプロセッサデバイスであってよい。当業者は理解するように、ＣＰＵ７２０はまた、マルチコア／マルチプロセッサシステム内の単一のプロセッサであってよく、このようなシステムは、単独で動作する、または、クラスタもしくはサーバファームで動作するコンピューティングデバイスのクラスタで動作する。ＣＰＵ７２０は、データ通信インフラストラクチャ７１０、例えば、バス、メッセージ待ち行列、ネットワーク、またはマルチコアメッセージ受け渡しスキームに接続されてよい。

デバイス７００は、メインメモリ７４０、例えば、ランダムアクセスメモリ（ＲＡＭ）も含んでよく、二次メモリ７３０も含み得る。二次メモリ７３０、例えば読み取り専用メモリ（ＲＯＭ）は、例えば、ハードディスクドライブまたはリムーバブルストレージドライブであってよい。このようなリムーバブルストレージドライブは、フロッピー（登録商標）ディスクドライブ、磁気テープドライブ、光ディスクドライブ、フラッシュメモリなどを含み得る。この例のリムーバブルストレージドライブは、周知の方法でリムーバブルストレージユニットから読み出し、及び／またはこれに書き込む。リムーバブルストレージユニットは、フロッピー（登録商標）ディスク、磁気テープ、光ディスク等を含んでよく、これらは、リムーバブルストレージドライブによって読み出し及び書き込みされる。当業者は理解するように、このようなリムーバブルストレージユニットは一般に、コンピュータソフトウェア及び／またはデータを記憶したコンピュータ使用可能記憶媒体を含む。

代替的な実施態様において、二次メモリ７３０は、コンピュータプログラムまたは他の命令がデバイス７００にロードされることを可能にする他の類似の手段を含み得る。このような手段の例は、プログラムカートリッジ及びカートリッジインタフェース（ビデオゲームデバイスで見られるもの等）、リムーバブルメモリチップ（ＥＰＲＯＭ、またはＰＲＯＭ等）及び関連するソケット、ならびに他のリムーバブルストレージユニット及びインタフェースを含んでよく、これらは、ソフトウェア及びデータがリムーバブルストレージユニットからデバイス７００に転送されることを可能にする。

デバイス７００はまた、通信インタフェース（「ＣＯＭ」）７６０を含み得る。通信インタフェース７６０は、ソフトウェア及びデータが、デバイス７００と外部デバイスの間で転送されることを可能にする。通信インタフェース７６０は、モデム、ネットワークインタフェース（イーサネット（登録商標）カード等）、通信ポート、ＰＣＭＣＩＡスロット及びカードなどを含み得る。通信インタフェース７６０を介して転送されるソフトウェア及びデータは、信号の形式であってよく、信号は通信インタフェース７６０が受信することのできる電気、電磁、光、または他の信号であってよい。これらの信号は、デバイス７００の通信経路を介して通信インタフェース７６０に提供されてよく、通信経路は、例えば、ワイヤもしくはケーブル、光ファイバ、電話回線、携帯電話のリンク、ＲＦリンクまたは他の通信チャネルを使用して実装されてよい。

このような機器のハードウェア要素、オペレーティングシステム、及びプログラミング言語は、本質的に従来のものであり、当業者は十分に熟知していると思われる。デバイス７００はまた、キーボード、マウス、タッチスクリーン、モニタ、ディスプレイなどの入出力デバイスと接続するための入出力ポート７５０を含み得る。当然、様々なサーバ機能が、処理負荷を分散するために、複数の類似のプラットフォームに分散されて実装されてよい。あるいは、サーバは、１つのコンピュータハードウェアプラットフォームの適切なプログラミングによって実装されてもよい。

この開示を通じて、コンポーネントまたはモジュールへの言及は、一般に、機能または関連する機能のグループを実行するために論理的に一緒にグループ化され得るアイテムを指す。類似の参照番号は、一般に、同一または類似のコンポーネントを指すことを意図している。コンポーネントとモジュールは、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの組み合わせで実装されてよい。

上記のツール、モジュール、及び機能は、１つまたは複数のプロセッサによって実行されてよい。「ストレージ」タイプの媒体は、コンピュータ、プロセッサなどの有形メモリ、または様々な半導体メモリ、テープドライブ、ディスクドライブなど、それらの関連モジュールのいずれかまたはすべてを含んでよく、これらは、ソフトウェアプログラミングのために任意の時に非一時的ストレージを提供し得る。

ソフトウェアは、インターネット、クラウドサービスプロバイダ、またはその他の電気通信ネットワークを介して伝達される場合がある。例えば、通信によって、あるコンピュータまたはプロセッサから別のコンピュータまたはプロセッサにソフトウェアをロードできる場合がある。本明細書で使用する場合、非一時的で有形の「ストレージ」媒体に限定されていなければ、コンピュータまたは機械「可読媒体」などの用語は、実行のためにプロセッサに命令を与えることに関与する任意の媒体を指している。

前述の一般的な説明は、例示的及び説明的なものに過ぎず、本開示を限定するものではない。本発明の他の実施形態は、本明細書を考慮し、本明細書に開示される発明の実践により当業者に明らかとなろう。明細書及び例は、単に例示的なものと見なされることを意図している。

Claims (20)

1. 検体に対応するスライドの画像を解析するためのコンピュータ実装方法であって、
   病理検体の少なくとも１つのデジタル画像を受信することと、
   人工知能（ＡＩ）システムで前記デジタル画像を使用して、少なくとも１つの顕著な特徴であって、バイオマーカ、癌、癌のグレード、寄生虫、毒性、炎症、及び／または癌のサブタイプを含む前記少なくとも１つの顕著な特徴を決定することと、
   前記ＡＩシステムで、前記デジタル画像の顕著な領域のオーバーレイを決定することであって、前記ＡＩシステムは各ピクセルの値を示す、前記オーバーレイを決定することと、
   各ピクセルの前記値に基づいて、前記デジタル画像の１つまたは複数の顕著でない領域を抑制することと、
   を含む、前記コンピュータ実装方法。
2. 前記顕著な領域のオーバーレイを組織マップに変換することをさらに含む、請求項１に記載のコンピュータ実装方法。
3. 前記顕著な領域のオーバーレイを正規化して変数を取得することをさらに含む、請求項１に記載のコンピュータ実装方法。
4. 前記顕著な領域のオーバーレイが、
   顕著な特徴の各ピクセルが存在するまたは存在しないスコアまたは確率を示すヒートマップ、
   前記顕著な特徴が存在するまたは存在しないスコアまたは確率に関連付けられたスーパーピクセルのセット、
   各ピクセルが、存在する前記顕著な特徴を有するか否かを示す前記デジタル画像のバイナリセグメンテーション、及び、
   各ピクセルのスコアまたは確率を示す前記デジタル画像のセマンティックセグメンテーション
   のうちの１つまたは複数によって表される、請求項３に記載のコンピュータ実装方法。
5. 顕著な特徴を検出することが、前記デジタル画像に対して、画像処理技術、ＡＩ、及び／または機械学習を使用して、組織可視化を生成する、請求項１に記載のコンピュータ実装方法。
6. 前記デジタル画像が、関連する症例情報、患者情報、及び臨床システムからの情報を含む、請求項１に記載のコンピュータ実装方法。
7. 前記顕著な領域のオーバーレイが利用可能であるとき、ユーザに警告することをさらに含む、請求項１に記載のコンピュータ実装方法。
8. 前記顕著な領域のオーバーレイが、前記デジタル画像と同じサイズにサイズ変更される、請求項１に記載のコンピュータ実装方法。
9. 複数の処理された画像及び／または見込み患者データをアーカイブするパイプラインを開発することをさらに含む、請求項１に記載のコンピュータ実装方法。
10. 検体に対応するスライドの画像を解析するためのシステムであって、
    命令を記憶する少なくとも１つのメモリと、
    前記命令を実行して動作を行うように構成された少なくとも１つのプロセッサと、を含み、前記動作は、
    病理検体の少なくとも１つのデジタル画像を受信することと、
    人工知能（ＡＩ）システムで前記デジタル画像を使用して、少なくとも１つの顕著な特徴であって、バイオマーカ、癌、癌のグレード、寄生虫、毒性、炎症、及び／または癌のサブタイプを含む前記少なくとも１つの顕著な特徴を決定することと、
    前記ＡＩシステムで、前記デジタル画像の顕著な領域のオーバーレイを決定することであって、前記ＡＩシステムは各ピクセルの値を示す、前記オーバーレイを決定することと、
    各ピクセルの前記値に基づいて、前記デジタル画像の１つまたは複数の顕著でない領域を抑制することと、
    を含む、
    前記システム。
11. 前記顕著な領域のオーバーレイを組織マップに変換することをさらに含む、請求項１０に記載のシステム。
12. 前記顕著な領域のオーバーレイを正規化して変数を取得することをさらに含む、請求項１０に記載のシステム。
13. 前記顕著な領域のオーバーレイが、
    顕著な特徴の各ピクセルが存在するまたは存在しないスコアまたは確率を示すヒートマップ、
    前記顕著な特徴が存在するまたは存在しないスコアまたは確率に関連付けられたスーパーピクセルのセット、
    各ピクセルが、存在する前記顕著な特徴を有するか否かを示す前記デジタル画像のバイナリセグメンテーション、及び、
    各ピクセルのスコアまたは確率を示す前記デジタル画像のセマンティックセグメンテーション
    のうちの１つまたは複数によって表される、請求項１２に記載のシステム。
14. 顕著な特徴を検出することが、前記デジタル画像に対して、画像処理技術、ＡＩ、及び／または機械学習を使用して、組織可視化を生成する、請求項１０に記載のシステム。
15. 前記デジタル画像が、関連する症例情報、患者情報、及び臨床システムからの情報を含む、請求項１０に記載のシステム。
16. 前記顕著な領域のオーバーレイが利用可能であるとき、ユーザに警告することをさらに含む、請求項１０に記載のシステム。
17. 前記顕著な領域のオーバーレイが、前記デジタル画像と同じサイズにサイズ変更される、請求項１０に記載のシステム。
18. 複数の処理された画像及び／または見込み患者データをアーカイブするパイプラインを開発することをさらに含む、請求項１０に記載のシステム。
19. 命令を記憶する非一時的コンピュータ可読媒体であって、前記命令は、プロセッサによって実行されると、前記プロセッサに、検体に対応するスライドの画像を解析するための方法を実行させ、前記方法は、
    病理検体の少なくとも１つのデジタル画像を受信することと、
    人工知能（ＡＩ）システムで前記デジタル画像を使用して、少なくとも１つの顕著な特徴であって、バイオマーカ、癌、癌のグレード、寄生虫、毒性、炎症、及び／または癌のサブタイプを含む、前記少なくとも１つの顕著な特徴を決定することと、
    前記ＡＩシステムで、前記デジタル画像の顕著な領域のオーバーレイを決定することであって、前記ＡＩシステムは各ピクセルの値を示す、前記オーバーレイを決定することと、
    各ピクセルの前記値に基づいて、前記デジタル画像の１つまたは複数の顕著でない領域を抑制することと、
    を含む、前記非一時的コンピュータ可読媒体。
20. 前記顕著な領域のオーバーレイを組織マップに変換することをさらに含む、請求項１９に記載の非一時的コンピュータ可読媒体。

Images