JP7214301B2

JP7214301B2 - 多重解像度特徴融合に基づいて顕微鏡画像上の組織病変を検出するためのコンピュータ支援診断システム

Info

Publication number: JP7214301B2
Application number: JP2021564174A
Authority: JP
Inventors: ハンボ・チェン
Original assignee: テンセント・アメリカ・エルエルシー
Priority date: 2019-10-31
Filing date: 2020-08-20
Publication date: 2023-01-30
Anticipated expiration: 2040-08-20
Also published as: CN113939844A; JP2022530249A; US20220245809A1; US11341635B2; CN113939844B; US11810297B2; US20210133958A1; WO2021086474A1; EP3915085A4; EP3915085A1

Description

関連出願の相互参照
本出願は、2019年10月31日に米国特許商標庁に出願された米国特許出願第16/670,321号の優先権を主張し、その開示の全体は参照により本明細書に組み込まれる。

近年、医用画像から組織病変を自動的または半自動的に分類、検出、およびセグメント化するためのさまざまなコンピュータ支援診断（CAD：computer-aided diagnosis）システムが提案されている。そのような提案されたシステムは、医師がその処理量を増加させ、診断品質を改善するのを支援しうる。一部の全自動システムは、事前診断を行うか、またはセカンドオピニオンを提示するために単独で動作しうる。そのようなシステムはまた、医療費を削減し、患者の健康を改善しうる。

従来のCADシステムは、人間が設計したアルゴリズムおよび規則に基づいて設計されてきた。そのようなシステムは、解釈は容易であるが、性能が限られている。最近では、CADシステムは、畳み込みニューラルネットワーク（CNN：convolutional neural network）または他のディープラーニング方法などの統合機械学習モデルを含んでいる。機械学習モデルは、大量の訓練を必要とする。しかしながら、十分な訓練データが得られたら、統合機械学習モデルを有するCADシステムは、専門家レベルの診断を与えることができ、場合によっては人間の専門家を凌ぐことさえありうる。

しかしながら、大部分の既存のCADシステムは、筆跡検出または写真分類などの非臨床タスク用に設計された機械学習モデルを直接採用している。顕微鏡下で組織病変を検出するように設計されたCADシステムはまだ存在しない。

医師は、CADシステムからのリアルタイム応答を必要とする。しかしながら、高解像度の大きな画像をリアルタイムで処理することは困難である。

さらに、医師は通常、最初に小さな倍率（例えば、4倍の倍率）の組織画像を検査し、次により高倍率のズームレンズ（例えば、10倍、20倍、および40倍の倍率）に切り替えて、より高い詳細レベル（解像度スケール）で組織画像を検査する。診断は、通常、異なるスケールからの融合情報に基づく。診断のために異なるスケールからの情報を融合しうる既存のシステムは存在しない。

組織片全体が大きすぎて顕微鏡下で一度に検査できない場合、医師は、その異なる部分を検査するためにスライドをあちこち動かさなければならない。そのような大域的な情報を融合するように設計された既存のシステムは存在しない。

典型的には、CNN処理画像は、組織画像にとって紛らわしい場合がある局所的特徴に基づく。例えば、核の濃い染色は、癌細胞の特徴である。一方、処理のばらつきに起因して、一部のスライスの染色が全体的により濃い場合がある。局所的な情報を見るだけでは、医師がそのようなスライスに対して正しい判断を下すことは困難である。

さらに、典型的なCNNは画像内の対象のサイズに敏感であるが、核などの同じ対象のサイズは異なる倍率では変化する。これに対処するために提案された1つの解決策は、解像度ごとに別々のCNNモデルを訓練することである。しかしながら、これは、モデルのサイズおよび計算コストを大幅に増加させる。別の提案された解決策は、異なる倍率の訓練サンプルを融合し、異なる解像度に関して1つのモデルを訓練することである。しかしながら、このアプローチは、CNNの性能の低下を引き起こしうる。

本明細書の開示は、上記で述べた問題に対処し、顕微鏡画像から細胞レベルの組織病変を検出するための効率的なシステムを提案する。さらに、本開示は、計算を行うときに大域的な情報の統合を可能にするように修正されたCNNを提案する。さらに、この修正されたCNNは、性能を犠牲にすることなく計算コストを削減するために、単一のモデルで異なる解像度を独立して扱う。

本明細書では、顕微鏡画像上で病変を自動的に検出するためのCADシステムが開示される。本システムは、MSIまたはWSIなどの拡大組織画像を入力として取り込み、画像を自動的に処理して、画像上の、癌細胞などの病変または異常組織を識別しうる。本システムは、病変領域をセグメント化し、病変をサブタイプに分類しうる。従来のシステムとは異なり、本明細書で開示されているシステムは、画像を階層的に処理しえ、異なるスケールからの情報を融合することができる。開示されているシステムはまた、医師および病理学者の一般的な実務と一致し、レンズの倍率を切り替えることによって異なるスケールで組織を検査する。

一実施形態の一態様によれば、組織病変を検出するための方法であって、ユーザインターフェースから画像データを受信するステップであって、画像データは生画像データを含む、ステップと、少なくとも1つの第1の畳み込みニューラルネットワークを通じて画像データを渡し、それによって、画像データに基づく第1の畳み込みニューラルネットワーク特徴、および画像データに基づく第1の画像セグメント化データを生成するステップと、少なくとも1つの第2の畳み込みニューラルネットワークを通じて第1の畳み込みニューラルネットワーク特徴および第1の画像セグメント化データを渡し、それによって、第1の画像セグメント化データを連結および重み付けし、第2の画像セグメント化データを生成するステップと、第2の画像セグメント化データを分析し、それによって、存在する場合には組織病変を検出するステップとを含む方法が提供される。

一実施形態の別の態様によれば、画像データは複数の解像度スケールを含んでもよく、第1の畳み込みニューラルネットワーク特徴は、複数の解像度スケールのうちの解像度スケールの各々に関して独立して計算された特徴を含んでもよい。

一実施形態の別の態様によれば、第1の画像セグメント化データは、生画像データよりも小さくてもよい粗いセグメント化データであってもよく、粗いセグメント化データの各ピクセルは、生画像データ内の対応する領域のクラスを示してもよい。

一実施形態の別の態様によれば、第1の画像セグメント化データは、単一の画像に基づいて計算されてもよい。

一実施形態の別の態様によれば、第1の画像セグメント化データは、多層知覚をもたらすために、異なる画像ビューおよびスケールからの大域的特徴を通すことによって重み付けされてもよい。

一実施形態の別の態様によれば、少なくとも1つの第1の畳み込みニューラルネットワークを通じて画像データを渡すこと、少なくとも1つの第2の畳み込みニューラルネットワークを通じて第1の畳み込みニューラルネットワーク特徴および第1の画像セグメント化データを渡すこと、ならびに分析することは、リアルタイムで実行されてもよい。

一実施形態の別の態様によれば、受信される画像データは、顕微鏡画像または全体のスライド画像の一方または両方からのものであってもよい。

一実施形態の別の態様によれば、本方法は、検出された組織病変をサブカテゴリに分類するステップをさらに含んでもよい。

一実施形態の別の態様によれば、本方法は、分析結果を表示するステップをさらに含んでもよい。

一実施形態の別の態様によれば、分析結果は、コンピュータにおいてまたは拡張現実を介して表示されてもよい。

一実施形態の別の態様によれば、装置であって、コンピュータプログラムコードを記憶するように構成された少なくとも1つのメモリと、少なくとも1つのメモリにアクセスし、コンピュータプログラムコードに従って動作するように構成された少なくとも1つのプロセッサとを備え、コンピュータプログラムコードは、少なくとも1つのプロセッサに、ユーザインターフェースからの画像データを受信させるように構成された受信コードであって、画像データは生画像データを含む、受信コードと、少なくとも1つのプロセッサに、少なくとも1つの第1の畳み込みニューラルネットワークを通じて画像データを渡させ、それによって、画像データに基づく第1の畳み込みニューラルネットワーク特徴、および画像データに基づく第1の画像セグメント化データを生成させるように構成された第1の渡しコードと、少なくとも1つのプロセッサに、少なくとも1つの第2の畳み込みニューラルネットワークを通じて第1の畳み込みニューラルネットワーク特徴および第1の画像セグメント化データを渡させ、それによって、第1の画像セグメント化データを連結および重み付けさせ、第2の画像セグメント化データを生成させるように構成された第2の渡しコードと、少なくとも1つのプロセッサに第2の画像セグメント化データを分析させ、それによって、存在する場合には組織病変を検出させるように構成された分析コードとを含む、装置が提供される。

一実施形態の別の態様によれば、第1の渡しコードは、単一の画像に基づいて第1の画像セグメント化データを計算するようにさらに構成されてもよい。

一実施形態の別の態様によれば、第2の渡しコードは、多層知覚をもたらすために、異なる画像ビューおよびスケールからの大域的特徴を通すことによって第1の画像セグメント化データを重み付けするようにさらに構成されてもよい。

一実施形態の別の態様によれば、受信コード、第1の渡しコード、および第2の渡しコードは、リアルタイムで動作されるように構成されてもよい。

一実施形態の別の態様によれば、コンピュータプログラムコードは、少なくとも1つのプロセッサに、検出された組織病変をサブカテゴリに分類させるように構成された分類コードをさらに含んでもよい。

一実施形態の別の態様によれば、コンピュータコードは、少なくとも1つのプロセッサに、分析結果を表示させるように構成された表示コードをさらに含んでもよい。

一実施形態の別の態様によれば、命令を記憶する非一時的コンピュータ可読媒体であって、命令は1つ以上の命令を含み、1つ以上の命令は、デバイスの1つ以上のプロセッサによって実行されるとき、生画像データを含む画像データをユーザインターフェースから受信する動作と、少なくとも1つの第1の畳み込みニューラルネットワークを通じて画像データを渡し、それによって、画像データに基づく第1の畳み込みニューラルネットワーク特徴、および画像データに基づく第1の画像セグメント化データを生成する動作と、少なくとも1つの第2の畳み込みニューラルネットワークを通じて第1の畳み込みニューラルネットワーク特徴および第1の画像セグメント化データを渡し、それによって、第1の画像セグメント化データを連結および重み付けし、第2の画像セグメント化データを生成する動作と、第2の画像セグメント化データを分析し、それによって、存在する場合には組織病変を検出する動作とを含む動作を、1つ以上のプロセッサに実行させる、非一時的コンピュータ可読媒体が提供される。

本明細書で説明されている方法、装置、およびシステムが実現されうる、実施形態による環境の図である。本明細書で説明されている装置およびシステムの実施態様によって提供される環境の図である。本明細書で説明されている方法、装置、およびシステムの一実施形態の図である。本開示の実施形態による様々なコンポーネントの図400である。本開示の実施形態によるフローチャートを示す。

本出願の目的、技術的解決策、および利点をより明確かつ理解可能にするために、添付の図面を参照して実施形態をさらに詳細に説明する。本明細書で説明されている特定の実施態様は、本出願を限定するためではなく、本出願を解釈するためにのみ使用されることを理解されたい。

図1は、多重解像度特徴融合に基づいて顕微鏡画像上の組織病変を検出するためのコンピュータ支援診断システムの適用環境の概略図である。図1に示されているように、カメラ11は、顕微鏡5の下のビューをキャプチャしうる。コンピュータ1は、キャプチャされた画像に基づいてグラフィックを計算および生成しうる。ユーザは、顕微鏡5の下の組織スライド6を観察しうる。計算結果のフィードバックは記憶され、コンピュータモニタ2、もしくは顕微鏡5の拡張現実モニタ10に表示されてもよいし、またはコンピュータ生成音声として提供されてもよいし、またはプリンタ3によって提供される紙に印刷されてもよい。

新しいスライドが載せられると、本システムは顕微鏡5の下の組織の写真を収集することを開始しうる。併せて、写真が取得されたズームレンズのパラメータがコンピュータ1に送信されうる。本システムは、この情報を融合し、診断を生成しうる。診断は、組織のタイプ、異常所見の有無、癌などの異常所見のタイプ、異常所見の写真、および写真上の異常所見の領域を含みうる。

図1に示されているシステムコンポーネントは、顕微鏡5、すなわち、スライド6をズームおよび検査するためのデバイスからなりうる。顕微鏡5は、対物レンズが切り替えられるときに、コンピュータに命令するために、どの対物レンズが現在使用中であるかの信号をコンピュータ1に送信しうるか、またはコンピュータ1は、そのような情報に関する要求信号を送信する。デジタルカメラ11は、顕微鏡5の下のビューをキャプチャするために鏡筒に設置されうる。拡張現実（AR：Augmented reality）レンズ10は、スライド6のビューの上に仮想スクリーンをオーバーレイするために接眼レンズに設置されうる。コンピュータ1は、画像計算およびデータ記憶デバイスでありうる。マイクロフォン（図示せず）は、ユーザがシステムを制御するための音声入力デバイスでありうる。モニタ2は結果を表示しうる。プリンタ3は結果を印刷しうる。スピーカ4は、コンピュータ生成音声を提供しうる。

システムのコアは、異なるビューおよび異なるスケールからの情報を融合しうる画像処理システムでありうる。システムの一実施態様が図3に示されている。

図3は、開示されているマルチスケールマルチビュー顕微鏡画像処理システム300の図である。このシステムは、複数のCNN（台形）および多層パーセプトロン（長方形）から構成される。角が丸められた長方形は、システム300の入出力データを示す。矢印は、システム300内のデータフローを示す。

図2に示されているように、本システムはCNNのカスケードを含みうる。低次特徴を計算するために、画像は最初にCNN_A 302に渡されうる。次に、解像度スケールごとに、CNN_Bi 303が独立して計算されうる。画像のスケール（レンズパラメータ7によって与えられる）に応じて、低次特徴は、粗いセグメント化を計算するために対応するCNN_Bi 303～305に渡されうる。粗いセグメント化は生画像よりも小さくてもよく、各ピクセルは生画像上の対応する領域のクラスを示してもよい。CNN_C 307は、初期セグメント化を生成するために粗いセグメント化の空間解像度を復元しうる。解像度を復元するのを助けるために、CNN_A 302内の低次特徴がコピーされ、CNN_C 307に連結されうる。初期セグメント化は、コンテキスト情報なしで純粋に単一の画像に基づいて計算されうる。次に、それは、他のビューおよび他のスケールからの情報を融合することによって精緻化されうる。

ここで、初期セグメント化は生画像と連結されうる。利用可能な場合、より低い解像度スケールおよびより高い解像度スケールから再サンプリングされたセグメント化も連結されうる。次に、連結された画像は、最終セグメント化を計算するためにCNN_D 313およびCNN_E 314に渡されうる。CNN_D 313では、畳み込み層が重み付けされうる。重みは、他のビューおよび他のスケールからの大域的特徴を多層パーセプトロンに渡すことによって計算されうる。CNN_D 313によって計算された畳み込み特徴は、画像の代表的な特徴とみなされ、さらなる使用のために大域的特徴と融合されうる。

提案されている画像処理システムはまた、大きな画像をリアルタイムで処理するように拡張されうる。MSIの場合、通常、画像は非常に大きい。画像全体の処理を終了するには、典型的なCNNでは数秒かかりうる。したがって、ユーザ体験を損ないうる、結果を得るための待機時間が存在する。しかしながら、今開示されたシステムでは、画像は、最初に低解像度スケールにダウンサンプリングされうるが、リアルタイムで計算可能である程度の小ささである。

計算が終了した後、ユーザが迅速なフィードバックを取得しうるように、結果が直ちに表示されうる。次に、本システムは、結果を同時に更新しながら、生であるが高解像度の画像を1つずつ処理することを開始しうる。このようにして、ユーザは、リアルタイムで更新結果を受信し続けうる。加えて、低解像度で計算された特徴およびセグメント化を融合することにより、結果は、生画像を直接処理するよりも正確になる。

図5は、本開示の実施形態によるフローチャート500を示す。好適には、フローチャート500は、多重解像度特徴融合に基づいて顕微鏡画像上の組織病変を自動的に検出する能力を示す。

S501では、医用撮像がユーザインターフェースから入力される。S502では、医用撮像の画像データが、少なくとも1つの第1のCNNを通じて渡され、それによって、画像データに基づいて第1のCNN特徴が生成され、画像データに基づいて第1の画像セグメント化データが生成される。S503では、第1の畳み込みニューラルネットワーク特徴および第1の画像セグメント化データが、少なくとも1つの第2の畳み込みニューラルネットワークを通じて渡され、それによって、第1の画像セグメント化データが連結および重み付けされ、第2の画像セグメント化データが生成される。S504では、第2の画像セグメント化データに対して分析が実行され、それによって、存在する場合には組織病変が検出される。

本開示によって提供される特定の利点によれば、開示されたシステムは、リアルタイムで顕微鏡画像上の病変を分類、位置特定、およびセグメント化しうる。それは、同じスライド上の異なるビューおよび異なるスケールの以前の観察結果を融合するように従来のCNNを改善しうる。これにより、精度を損なうことなく、異なるスケールに関して別々のCNNを訓練するコストが削減されうる。

さらに、開示されたシステムは、大きな画像を階層的に処理し、計算ステップと同時に結果を更新しうる。したがって、ユーザは、結果を検査するために計算の終了を待つ必要がない。代わりに、ユーザは最初に粗い結果を得ることができ、次に、計算が終了するまで、表示は精緻化された結果を更新し続ける。

加えて、ネットワークアーキテクチャは、畳み込み層を追加または削減することによって修正されうる。また、開示されたシステムは、衛星リモートセンシング画像などの他のタイプの大きな画像データを処理するように拡張されうる。

本明細書で開示されている技術は、コンピュータ可読命令を使用してコンピュータソフトウェアとして実現され、1つ以上のコンピュータ可読媒体に物理的に記憶されうる。例えば、図4は、開示されている主題の特定の実施形態を実現するのに適したコンピュータシステム400を示す。

コンピュータソフトウェアは、任意の適切なマシンコードまたはコンピュータ言語を使用してコード化されえ、それらは、コンピュータ中央処理装置（CPU：central processing unit）およびグラフィック処理装置（GPU：Graphics Processing Unit）などによって、解釈およびマイクロコード実行などを通じてまたは直接実行されうる命令を含むコードを作成するためにアセンブル、コンパイル、またはリンクなどのメカニズムを受けうる。

命令は、例えばパーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーミングデバイス、およびモノのインターネットデバイスなどを含む様々なタイプのコンピュータまたはそのコンポーネント上で実行されうる。

コンピュータシステム400に関して図4に示されているコンポーネントは、本質的に例示であり、本開示の実施形態を実現するコンピュータソフトウェアの使用または機能の範囲に関する制限を示唆することを意図していない。コンポーネントの構成も、コンピュータシステム400の例示的な実施形態に示されているコンポーネントのいずれか1つまたは組み合わせに関する依存性または要件を有すると解釈されるべきではない。

コンピュータシステム400は、特定のヒューマンインターフェース入力デバイスを含みうる。そのようなヒューマンインターフェース入力デバイスは、例えば触覚入力（キーストローク、スワイプ、データグローブの動きなど）、音声入力（声、拍手など）、視覚入力（ジェスチャなど）、嗅覚入力（図示せず）を通じた1人以上の人間のユーザによる入力に応答しうる。ヒューマンインターフェースデバイスは、音声（会話、音楽、環境音など）、画像（スキャン画像、静止画像カメラから取得される写真画像など）、ビデオ（2次元ビデオ、立体ビデオを含む3次元ビデオなど）など、必ずしも人間による意識的な入力に直接関連しない特定の媒体をキャプチャするためにも使用されうる。

入力ヒューマンインターフェースデバイスは、キーボード401、マウス402、トラックパッド403、タッチスクリーン410、ジョイスティック405、マイクロフォン406、スキャナ407、およびカメラ408（それぞれ示されているのは1つのみである）のうちの1種類以上を含みうる。カメラ408は、例えばS101またはS501の画像が取得されうる心臓コンピュータ断層撮影のためのX線機器または他の医療技術でありうる。

コンピュータシステム400はまた、特定のヒューマンインターフェース出力デバイスを含みうる。そのようなヒューマンインターフェース出力デバイスは、例えば触覚出力、音、光、および臭い／味を通じて1人以上の人間のユーザの感覚を刺激しうる。そのようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン410またはジョイスティック405による触覚フィードバックであるが、入力デバイスとして機能しない触覚フィードバックデバイスも存在しうる）、音声出力デバイス（スピーカ409、ヘッドホン（図示せず）など）、視覚出力デバイス（CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーン、それぞれタッチスクリーン入力機能を有するかまたは有さず、それぞれ触覚フィードバック機能を有するかまたは有さず、これらのうちのいくつかは、2次元視覚出力、または立体出力などの手段を通じた3次元以上の出力を出力することができうる、を含むスクリーン410、仮想現実メガネ（図示せず）、ホログラフィックディスプレイ、およびスモークタンク（図示せず）など）、ならびにプリンタ（図示せず）を含みうる。

コンピュータシステム400はまた、CD/DVDなどの媒体421を伴うCD/DVD ROM/RW420を含む光学媒体、サムドライブ422、リムーバブルハードドライブまたはソリッドステートドライブ423、テープおよびフロッピーディスクなどのレガシー磁気媒体（図示せず）、ならびにセキュリティドングルなどの専用ROM/ASIC/PLDベースのデバイス（図示せず）など、人間がアクセス可能な記憶デバイスおよびそれらの関連媒体を含みうる。

当業者はまた、本開示の主題に関連して使用される「コンピュータ可読媒体」という用語が、送信媒体、搬送波、または他の一時的信号を包含しないことを理解すべきである。

コンピュータシステム400はまた、1つ以上の通信ネットワークへのインターフェースを含みうる。ネットワークは、例えば無線、有線、光ネットワークでありうる。ネットワークはさらに、ローカル、広域、メトロポリタン、車両および産業、リアルタイム、ならびに遅延耐性ネットワークなどでありうる。ネットワークの例は、イーサネット、無線LANなどのローカルエリアネットワーク、GSM、3G、4G、5G、およびLTEなどを含むセルラーネットワーク、ケーブルTV、衛星TV、および地上波放送TVを含むTV有線または無線広域デジタルネットワーク、ならびにCANBusを含む車両および産業用などを含む。特定のネットワークは、一般に、特定の汎用データポートまたは周辺バス（449）（例えば、コンピュータシステム400のUSBポートなどに取り付けられた外部ネットワークインターフェースアダプタを必要とし、他は、一般に、以下に説明されるようにシステムバスへの取り付けによってコンピュータシステム400のコアに一体化される（例えば、PCコンピュータシステムへのイーサネットインターフェースまたはスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム400は他のエンティティと通信しうる。そのような通信は、例えば、ローカルエリアデジタルネットワークまたは広域デジタルネットワークを使用する他のコンピュータシステムに対して、単方向、受信のみ（例えば、放送TV）、単方向送信のみ（例えば、特定のCANbusデバイスへのCANbus）、または双方向でありうる。特定のプロトコルおよびプロトコルスタックは、上記で説明したように、それらのネットワークおよびネットワークインターフェースの各々で使用されうる。

前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶デバイス、およびネットワークインターフェースは、コンピュータシステム400のコア440に取り付けられうる。

コア440は、1つ以上の中央処理装置（CPU）441、グラフィック処理装置（GPU）442、フィールドプログラマブルゲートエリア（FPGA：Field Programmable Gate Area）443の形態の専用プログラマブル処理装置、および特定のタスク用のハードウェアアクセラレータ444などを含みうる。これらのデバイスは、読み出し専用メモリ（ROM：Read-only memory）145、ランダムアクセスメモリ446、非ユーザアクセス可能内部ハードドライブおよびSSDなどの内部大容量ストレージ447と共に、システムバス448を通じて接続されうる。一部のコンピュータシステムでは、システムバス448は、追加のCPUおよびGPUなどによる拡張を可能にするために、1つ以上の物理プラグの形態でアクセス可能でありうる。周辺デバイスは、コアのシステムバス448に直接取り付けられうるし、または周辺バス449を通じて取り付けられうる。周辺バスのアーキテクチャは、PCIおよびUSBなどを含む。

CPU441、GPU442、FPGA443、およびアクセラレータ444は、組み合わさって前述のコンピュータコードを構成しうる特定の命令を実行しうる。そのコンピュータコードは、ROM445またはRAM446に記憶されうる。一時データもまた、RAM446に記憶されえ、一方、永久データは、例えば内部大容量ストレージ447に記憶されうる。メモリデバイスのいずれかへの高速記憶および検索は、1つ以上のCPU441、GPU442、大容量ストレージ447、ROM445、およびRAM446などに密接に関連付けられうるキャッシュメモリの使用を通じて可能になりうる。

コンピュータ可読媒体は、様々なコンピュータで実現される動作を実行するためのコンピュータコードを有しうる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構成されたものであってもよいし、またはそれらは、コンピュータソフトウェア技術の当業者に周知の利用可能な種類のものであってもよい。

限定としてではなく、一例として、アーキテクチャ、特にコア440を有するコンピュータシステム400は、1つ以上の有形のコンピュータ可読媒体で具体化されたソフトウェアを実行するプロセッサ（CPU、GPU、FPGA、およびアクセラレータなどを含む）の結果として機能を提供しうる。そのようなコンピュータ可読媒体は、コア内部の大容量ストレージ447またはROM445などの、上記で導入したようなユーザアクセス可能な大容量ストレージ、および非一時的な性質の、コア440の特定のストレージに関連付けられる媒体でありうる。本開示の様々な実施形態を実現するソフトウェアは、そのようなデバイスに記憶され、コア440によって実行されうる。コンピュータ可読媒体は、特定の必要性に応じて、1つ以上のメモリデバイスまたはチップを含みうる。ソフトウェアは、コア740、特にその中のプロセッサ（CPU、GPU、およびFPGAなどを含む）に、RAM446に記憶されたデータ構造を定義すること、およびソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を修正することを含む、本明細書で説明されている特定のプロセスまたは特定のプロセスの特定の部分を実行させうる。加えてまたは代替として、コンピュータシステムは、本明細書で説明されている特定のプロセスまたは特定のプロセスの特定の部分を実行するためにソフトウェアの代わりに、またはソフトウェアと共に動作しうる、回路内のハードワイヤード論理または他の方法で具体化された論理（例えば、アクセラレータ444）の結果として機能を提供しうる。ソフトウェアへの言及は、適切な場合には、論理を包含しえ、逆もまた同様である。コンピュータ可読媒体への言及は、適切な場合には、実行のためのソフトウェアを記憶する回路（集積回路（IC：integrated circuit）など）、実行のための論理を具体化した回路、またはその両方を包含しうる。本開示は、ハードウェアとソフトウェアとの任意の適切な組み合わせを包含する。

前述の開示は、例示および説明を提供しているが、網羅的であること、または実施態様を開示されたまさにその形態に限定することを意図されていない。修正および変形は、上記の開示に照らして可能であるか、または実施態様の実現から得られうる。

本明細書で使用される場合、コンポーネントという用語は、ハードウェア、ファームウェア、またはハードウェアとソフトウェアとの組み合わせとして広く解釈されることを意図されている。

本明細書で説明されているシステムおよび／または方法が、異なる形態のハードウェア、ファームウェア、またはハードウェアとソフトウェアとの組み合わせで実現されうることは明らかである。これらのシステムおよび／または方法を実現するために使用される実際の専用制御ハードウェアまたはソフトウェアコードは、実施態様を限定するものではない。したがって、システムおよび／または方法の動作および挙動は、本明細書では特定のソフトウェアコードを参照せずに説明されており、ソフトウェアおよびハードウェアは、本明細書の説明に基づいてシステムおよび／または方法を実現するように設計されうることが理解される。

特徴の特定の組み合わせが特許請求の範囲に記載され、および／または本明細書に開示されていても、これらの組み合わせは、本開示の可能な実施態様を限定することを意図されていない。実際、これらの特徴の多くは、特許請求の範囲に特に記載されていない、および／または本明細書に開示されていない方法で組み合わされうる。以下に挙げられている各従属請求項は、1つの請求項のみに直接従属しうるが、本開示の可能な実施態様は、請求項セット内の他のすべての請求項と組み合わせた各従属請求項を含む。

本明細書で使用されている要素、動作、または命令は、決定的または必須なものとして明示的に説明されているのでない限り、そのようなものとして解釈されるべきではない。また、本明細書で使用される場合、冠詞「a」および「an」は、1つ以上のものを含むことを意図されており、「1つ以上」と交換可能に使用されうる。さらに、本明細書で使用される場合、「セット」という用語は、1つ以上のもの（例えば、関連するもの、関連しないもの、関連するものと関連しないものとの組み合わせなど）を含むことを意図されており、「1つ以上」と交換可能に使用されうる。1つのもののみが意図される場合、「1つ」という用語または同様の言葉が使用される。また、本明細書で使用される場合、「有する（has）」、「有する（have）」、または「有している（having）」などの用語は、制限のない用語を意図されている。さらに、「に基づいて（based on）」という句は、特に明記しない限り、「に少なくとも部分的に基づいて」を意味することを意図されている。

図面に存在する参照番号の部分的リストが以下で提示される。

1 コンピュータ
2 モニタ
3 プリンタ
4 スピーカ
5 顕微鏡
6 組織スライド
7 レンズパラメータ
8 ズームレンズ
9 観察者
10 拡張現実デバイス
11 カメラ
12 マルチビュー融合
13 マルチスケール融合
300 マルチスケールマルチビュー顕微鏡画像処理システム
301 画像
302 CNN_A
303 CNN_Bi
304 CNN_Bi
305 CNN_Bi
306 セグメント化
307 CNN_C
308 低セグメント化
309 初期セグメント化
310 高セグメント化
311 大域的特徴
312 多層知覚
313 CNN_D
314 CNN_E
315 融合
316 新しい大域的特徴
317 最終セグメント化
318 接続スイッチ
319 連結
320 重み付け

Claims

組織病変を検出するための方法であって、
ユーザインターフェースから画像データを受信するステップであって、前記画像データは生画像データを含む、ステップと、
第1の畳み込みニューラルネットワークを通じて前記画像データを渡して低次特徴を計算するステップと、
少なくとも1つの第2の畳み込みニューラルネットワークを通じて前記低次特徴を渡して前記生画像データより小さい粗いセグメント化を計算するステップであって、前記粗いセグメント化の各ピクセルは前記生画像データ内の対応する領域のクラスを示す、ステップと、
前記低次特徴をコピーし、第3の畳み込みニューラルネットワークに連結することによって前記粗いセグメント化の空間解像度を復元して、前記画像データ内の単一の画像に基づいて初期セグメント化を生成および計算するステップと、
少なくとも前記初期セグメント化を前記生画像データと連結し、重み付けすることによって他のビューおよびスケールに対応する情報と前記初期セグメント化を融合することによって前記初期セグメント化を精緻化し、第2の画像セグメント化データを生成するステップと、
前記第2の画像セグメント化データを分析し、それによって、存在する場合には組織病変を検出するステップと
を含む、方法。
前記画像データは複数の解像度スケールを含み、前記低次特徴は、前記複数の解像度スケールのうちの解像度スケールの各々に関して独立して計算された特徴を含む、請求項1に記載の方法。
前記粗いセグメント化は、単一の画像に基づいて計算される、請求項1または2に記載の方法。
前記第1の畳み込みニューラルネットワークを通じて前記画像データを渡すこと、前記少なくとも1つの第2の畳み込みニューラルネットワークを通じて前記低次特徴を渡すこと、前記粗いセグメント化の空間解像度を復元すること、前記初期セグメント化を精緻化すること、第2の画像セグメント化データを生成すること、ならびに前記分析することは、リアルタイムで実行される、請求項1から3のいずれか一項に記載の方法。
前記受信される画像データは、顕微鏡画像または全体のスライド画像の一方または両方からのものである、請求項1から4のいずれか一項に記載の方法。
前記方法は、前記検出された組織病変をサブカテゴリに分類するステップをさらに含む、請求項1から5のいずれか一項に記載の方法。
前記方法は、分析結果を表示するステップをさらに含む、請求項1から6のいずれか一項に記載の方法。
前記分析結果は、コンピュータにおいてまたは拡張現実を介して表示される、請求項7に記載の方法。
請求項1から8のいずれか一項に記載の方法を実行するように構成された装置。
コンピュータに請求項1から8のいずれか一項に記載の方法を実行させるためのプログラム。