JP5786110B2 - デジタル病理画像分析における信号対雑音比の改善 - Google Patents

デジタル病理画像分析における信号対雑音比の改善 Download PDF

Info

Publication number
JP5786110B2
JP5786110B2 JP2012543307A JP2012543307A JP5786110B2 JP 5786110 B2 JP5786110 B2 JP 5786110B2 JP 2012543307 A JP2012543307 A JP 2012543307A JP 2012543307 A JP2012543307 A JP 2012543307A JP 5786110 B2 JP5786110 B2 JP 5786110B2
Authority
JP
Japan
Prior art keywords
image
digital slide
identified
image data
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012543307A
Other languages
English (en)
Other versions
JP2013513826A (ja
Inventor
アレン オルソン
アレン オルソン
オレ アイヒホルン
オレ アイヒホルン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Biosystems Imaging Inc
Original Assignee
Aperio Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aperio Technologies Inc filed Critical Aperio Technologies Inc
Publication of JP2013513826A publication Critical patent/JP2013513826A/ja
Application granted granted Critical
Publication of JP5786110B2 publication Critical patent/JP5786110B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Description

本発明は、一般的にデジタル顕微鏡に関し、より具体的にはデジタルスライドの処理及び分析に関する。
成長しているデジタル病理学の分野において、コンピュータアシスト画像分析は、画像分析で病理学者を補助することがより重要になってきている。従来のデジタル病理画像分析の1つの問題は、1セットの画像処理命令により処理される画像データが、通常、非常に大量の所望しない画像データ(すなわち、低い信号(所望の画像データ)対雑音(所望しない画像データ)比)を含むことである。この望まれない画像データは、これらのシステムが受信した分析のために全ての画像データを処理するため、従来のデジタル病理画像分析システムにより処理される必要性がある。受信した分析のための画像データは、オペレータが、従来のデジタル病理画像分析システムにより画像分析の前に望まれない画像データを効率よく排除することができないため、望まれない画像データを含む。低い信号対雑音比の問題を解決するためのいくつかの試みは、分析命令を有する画像処理命令の包含による非常に用途が制限された非常に複雑なデジタル病理画像処理アルゴリズムをもたらしている。
したがって、従来のシステムの課題を解決し従前に試みられた解決策の欠点に対処する産業用の改善されたデジタル病理画像分析システムが必要とされている。
デジタル病理画像(“デジタルスライド”)を処理し、分析するシステム及び方法が提供される。このシステムは、複数のデジタル病理画像処理及び分析ルーチンを維持する又はアクセスするアルゴリズムサーバを含む。アルゴリズムサーバは、さらに複数のデジタルスライドにアクセスする。アルゴリズムサーバは、デジタルスライドから画像データ上で一又はそれ以上の選択されたデジタル病理画像処理及び分析ルーチンを実行し、得られた分析データを提供する。デジタル病理画像処理及び分析ルーチンの適用の前に、システムは、デジタル病理画像処理及び分析ルーチンにより処理されることが所望される画像のみがアルゴリズムに提供されるように、所望しない画像データをマスクするためにデジタル前処理モジュールを採用する。前処理モジュールは、例えば、パターン認識モジュールとして実装されうる分類子を用いる。所望しない画像データは、したがって、デジタル病理画像処理及び分析ルーチンにより処理される画像データから排除され、デジタル病理画像解析における信号対雑音比が非常に改善される。本発明の他の特徴及び利点は、以下の詳細な説明及び添付の図面を閲覧した後に当業者にとって容易に自明となるであろう。
本発明の詳細は、その構造及び作動の両方に関して、添付の図面を分析することで部分的に情報を集めることができてもよく、図面において、類似する参照符号は同様の部分を参照するものとする。
図1は、本発明の実施形態に係る画像処理及び分析のためのシステムの一例を示すネットワーク図である。 図2は、本発明の実施形態に係るアルゴリズムサーバの一例を示すブロック図である。 図3Aは、本発明の実施形態に係るメタデータマスクを生成する処理の一例を示すフロー図である。 図3Bは、本発明の実施形態に係る画像処理アルゴリズムを実行する処理の一例を示すフロー図である。 図4は、本発明の実施形態に係る画像処理マクロを生成する処理の一例を示すフロー図である。 図5は、本発明の実施形態に係るリモート画像処理アルゴリズムをインポートする処理の一例を示すフロー図である。 図6は、本発明の実施形態に係る画像処理アルゴリズムをリモートで実行する処理の一例を示すフロー図である。 図7Aは、本発明の実施形態に係る注釈及びメタデータマスクを有するデジタルスライドの例を示すブロック図である。 図7Bは、本発明の実施形態に係る注釈及びメタデータマスクを有するデジタルスライドの例を示すブロック図である。 図7Cは、本発明の実施形態に係る注釈及びメタデータマスクを有するデジタルスライドの例を示すブロック図である。 図8は、本明細書に記載の様々な実施形態に接続して用いられてもよい有線又は無線イネーブルド装置の一例を示すブロック図である。
本明細書に開示された特定の実施形態は、デジタルスライド画像の処理及び分析するためのフレームワークを提供する。システムは、分類子を用いてデジタルスライド画像(又はその部位)を前処理し、デジタルスライド画像が適用された場合に、改善された信号対雑音比を有する所望の画像データを生成するメタデータマスクを生成するアルゴリズムサーバを含む。デジタルスライド画像から改善された信号対雑音比を用いて、アルゴリズムサーバは、画像処理命令(以下“アルゴリズム”、“ルーチン”及び“サブルーチン”と呼ぶ)を実行し、所望の画像データの分析を生成する。例えば、本明細書の開示された1つの方法は、ユーザがデジタルスライド画像(又はそのサブ領域)、分類子並びに画像の処理及び分析に用いられるアルゴリズムを特定することを可能にする。サーバは、その後、分類子をデジタルスライド画像(又はそのサブ領域)に適用して、選択されたアルゴリズムを用いてその後に分析された信号対雑音比画像データの改善を生成する。アルゴリズムによる分析の結果は、スクリーン、ファイル、データベースに提供されてもよく、一方で表示され、取り込まれ、及び/又は記録されてもよい。特定のパラメータは、また、ユーザにより提供されてもよく、又は特定のアルゴリズムに対応するデータファイルから得られてもよく、アルゴリズムにおいて求められる処理及び分析を制約する。これらのパラメータは、分析される所望の画像データを規定するメタデータマスクを含んでもよい。
この説明を読んだ後に、当業者は様々な他の実施形態及び他の用途で本発明をどのように実行するかが明らかになるであろう。しかしながら、本発明の様々な実施形態が本明細書に記載されるが、これらの実施形態は例示により示されるのみであり、これに限定されないことがわかる。このように、この様々な他の実施形態の詳細な説明は、係属した請求項に記述した本発明の範囲又は広さを制限するようには構築されるべきではない。
図1は、本発明の実施形態に係る画像処理及び分析のためのシステム10の一例を示すネットワーク図である。図示された実施形態において、システム10は、ネットワーク80を介して、一又はそれ以上のリモートユーザ50及び一又はそれ以上のリモート画像サーバ60に通信でリンクされたアルゴリズムサーバ20を含むアルゴリズムサーバは、データストレージ領域40を構成する。データストレージ領域40の少なくとも一部において、複数のローカルデジタルスライド画像ファイル30は、記憶される。図示された実施形態は、セパレートされたデータストレージ領域のデジタルスライド画像ファイルを示すが、当業者は、デジタルスライド30が、データストレージ領域40を一括して含む各種の一時的でない媒体に記憶されうることを理解するであろう。さらに、データストレージ領域40は、例えば、特定の分析ルーチン、パラメータ並びにデータの他の型中の、分析ルーチン及び関連するパラメータ(“マクロ”)の手順リストを記憶しうるデジタル画像ファイルに関する情報を含むことが好ましい。ローカルデジタルスライド画像ファイル30及びリモートデジタルスライド画像ファイル70は、Aperio Technologies, Incにより開発されたScanScope(登録商標) Microscope Slide Scannerにより生成された型のデジタルスライドであることが好ましい。ScanScope(登録商標)プロダクトは、その詳細が米国特許第6,711,283号に記載され、その全体が参照により本明細書に援用される。
リモート画像サーバ60は、アルゴリズムサーバからリモートで考慮される複数のデジタルスライド画像ファイル70を有するデータストレージ領域を構成することが好ましい。一実施形態において、アルゴリズムサーバ20は、ネットワーク80を介して、リモートデジタルスライド画像70にアクセスしてもよい。リモートユーザ50は、ウェブブラウザ、イメージスコープビューア、スキャンスコープコンソール、アルゴリズムフレームワーク又はアルゴリズムサーバ20でユーザの相互作用を容易にする他のクライアントアプリケーション又はフロントエンドを含んでもよい。ネットワーク80は、ローカルエリアネットワーク(“LAN”)、ワイドエリアネットワーク(“WAN”)、プライベートネットワーク、パブリックネットワーク又はこのようなインターネットネットワークの組み合わせを含んでもよい。
図2は、本発明の実施形態に係るアルゴリズムサーバ20の一例を示すブロック図である。図示された実施形態において、アルゴリズムサーバ20は、実行マネージャ100、画像ハンドラー110、ユーザインターフェース130、レポーティングマネージャ140及びセキュリティデーモン150を含む。アルゴリズムサーバ20は、また、データストレージ領域40、複数のローカル画像ファイル30及び複数のローカル画像ファイル70で構成される。好ましくは、ローカル及びリモート画像ファイルは、デジタルスライドである。
実行マネージャ100は、アルゴリズムを実行する処理を担当し、デジタルスライド上での画像分析又は他の型の分析を実施する。実行マネージャ100は、一又はそれ以上のリモート又はローカルユーザからの画像分析要求を処理するために、アルゴリズムサーバの他の構成要素と通信しうる。例えば、実行マネージャ100は、ユーザからの命令を受信するように構成され、特定のデジタルスライドでの特定のアルゴリズムを実行する。実行マネージャ100は、また、実行中にアルゴリズムにより用いられるユーザからのパラメータデータを収集するように構成される。パラメータは、アルゴリズムにより処理されるデジタルスライドのサブ領域を定義してもよい、及び/又は特定の閾値を定義する又は他のデータ要素を提供してもよく、実行中にアルゴリズムを制約する。
実行マネージャ100は、特定のアルゴリズムに準じた分析及び処理のためのデジタルスライド(又はその部位)を得るために、画像ハンドラー110に通信接続される。これは、デジタルスライドが、このような大きなファイル(圧縮されない10−15GB)であるためであり、特定された画像ハンドラー110は、処理の画像データを効果的かつ迅速に得るように採用される。有利には、画像ハンドラー110は、ローカル(画像ファイル30)又はリモート(画像ファイル70)のいずれかで記憶されたデジタルスライドからの画像データを得てもよい。さらに、画像ハンドラー110は、JPEG, JPEG2000及びLZWフォーマットを含む各種の圧縮フォーマットから、記憶されたデジタルスライド画像を圧縮することによる標準フォーマットでのデジタルスライド画像を提供する。
画像ハンドラー110の別の機能は、適切な大きさのレベルでデジタルスライドからの画像データを提供することである。例えば、画像は、40Xの元の解像度で記憶されてもよいが、アルゴリズムにより求められた20Xの解像度で記憶されてもよい。画像ハンドラー110は、元の解像度を低解像度処理してもよく、実行マネージャ100へ20Xの解像度で画像データを届けてもよい。このような性能は、初めに関心のある対象物が検出される低解像度で画像を処理し、次に識別された関心のある対象物を含むこれらのサブ領域の分析が行われる高解像度で画像を処理するアルゴリズムの速度に非常に大きな利点を提供する。例えば、40Xで処理される画像データの量は、20Xで処理される画像の量の4倍であり、そのため40Xの画像を20Xの解像度で処理するアルゴリズムは、4倍早く処理できる。
画像ハンドラー110の別の機能は、デジタルスライド画像データへの前処理分類子を適用し、デジタルスライド画像へ適用された場合に、アルゴリズムによる分析のための改善された信号対雑音比を有する所望のデジタルスライド画像データを生成するメタデータマスクを生成することである。画像ハンドラー110は、元の解像度又は別の解像度でデジタルスライド画像へ前処理分類子を適用してもよい。一実施形態において、画像ハンドラー110は、元の(つまり走査された)解像度でデジタルスライドへ前処理分類子を適用し、メタデータマスクを生成し、その後所望の画像解像度へのメタデータマスクを拡大縮小し、所望の解像度でデジタルスライドから画像データへメタデータマスクを適用する。他の実施形態において、画像ハンドラー110は、元の解像度ではない解像度でデジタルスライドへの前処理分類子を適用する。例えば、デジタルスライド画像ファイルは、それぞれが異なる解像度で仕上げられた、複数の完成した画像を有利に含んでもよい。このようなデジタルスライド画像ファイルの例において、スキャンされた解像度に対応するベースライン画像及び複数の中間ファイルは、また、デジタルスライド画像ファイルを含む。一実施形態において、デジタルスライド画像ファイルの低解像度画像は、サムネイル画像であってもよい。
この機能によれば、画像ハンドラー110は、複数のデジタルスライド画像を含むデータストレージ領域30からの画像データへアクセスする。画像ハンドラー110は、分類子を用いて画像データを分析し、分類子に関連付けられた所望の特性に対応する画像データを識別する。所望の特性に対応するとして識別されないこの画像データは、画像データの一又はそれ以上の連続する領域を定義するメタデータマスクに含まれる。したがって、メタデータマスクは、所望の特性を含まない一又はそれ以上の連続する領域を正確に定義する画像データにおける一連のX,Y位置であってもよい。メタデータマスクは、当業者により理解されるデータのためのストリング、ベクトル又はいくつかの他の従来のフォーマットとしてデータ記憶領域40に記憶されうる。
ユーザインターフェース120は、実行するアルゴリズム及び分析されるデジタルスライドを識別するために、単純かつ簡易に使用でき、実行マネージャ100と相互に作用するフォーマットをユーザに提供することが好ましい。さらに、ユーザインターフェース120は、アルゴリズムの実行前にユーザからパラメータデータを効率良く収集しうる。ユーザインターフェース120は、また、ユーザが、複数のアルゴリズム及び関連するパラメータを含むマクロを生成することを可能にする。
リモートユーザマネージャ130は、ネットワーク接続を介して、アルゴリズムサーバ20にアクセスするユーザとの接続及び通信を管理することが好ましい。リモートユーザマネージャ130は、また、ユーザ及びプログラムに基づくネットワークからの要求を受信するように構成され、これらの要求をリアルタイム又は計画的なバッチで処理するように構成される。
レポーティングマネージャ140は、アルゴリズムがデータ又は他の出力を実行及び生成したときに、実行マネージャ100からの出力及び処理結果を受信するように構成されることが好ましい。レポーティングマネージャは、また、アルゴリズムが処理を終了し、その後標準レポートフォーマットへの出力ファイルにデータを再構築した後に、出力ファイルにアクセスしてもよい。追加レポート機能は、また、当業者により理解されるような、レポーティングマネージャ140により提供されてもよい。
セキュリティデーモン150は、ユーザ又はプログラムに基づくネットワークから生じる画像処理要求を有利に対処する。セキュリティデーモン150は、全ての到来ネットワーク要求を受信し、これらの要求を検査して、アルゴリズムにより画像を処理することを求めているか判定する。肯定の場合、セキュリティデーモン150は、要求を認証するように構成され、要求が有効な場合、その後、セキュリティデーモン150は、処理のための実行マネージャ150へ要求をパス(pass)する。
一実施形態において、データストレージ領域40は、デジタルスライド画像を分析するために、実行されうる複数のアルゴリズムを含んでもよい。さらに、データストレージ領域40は、また、共通に行われる又は頻繁に画像処理アルゴリズムに含まれる複数のサブルーチンを含んでもよい。有利には、これらの共通のサブルーチンは、アルゴリズム開発労力が単純化されるように、ランタイムにおいてアルゴリズムへ動的にリンクされうる。さらに、データストレージ領域40は、また、複数のマクロを含んでもよく、マクロは、アルゴリズムで画像を処理し、所望の分析を実現するリニア又はパラレルなシーケンスを含む。マクロは、また、適切な画像のサブ領域を定義し、変数を提供して、画像処理を制約するパラメータデータを含んでもよい。
図3Aは、本発明の実施形態に係るメタデータマスクを生成し、記憶する処理の一例を示すフロー図である。一実施形態において、この処理は、前述したアルゴリズムサーバ20により実行されてもよい。先ず、ステップ200において、画像が識別される。画像を識別することは、ローカル又はリモートで、つまり、データストレージ40、デジタルスライド30又はリモートデジタルスライド70に記憶されたデジタルスライド画像を特定する。画像を識別することは、また、ユーザアノテーション情報及び/又はサブ領域識別情報を含む追加情報を含んでもよい。一実施形態において、ユーザアノテーションデータは、識別されたアルゴリズムを処理する所望の画像データ(所望しない画像データと共に)を含むデジタルスライド画像のサブ領域を記述する。
次に、ステップ210において、分類子が識別される。識別されたアルゴリズムにより分析されうる画像データを前処理した場合に用いられうる様々な分類子が存在してもよい。例えば、パターンマッチングユーティリティは、画像データの所望のパターンを特定する分類子として用いられうる。他のタイプの分類子は、デジタルスライド画像データにおいて、所望の色特徴、所望の特異な特徴、所望の細胞構造又は任意の他の所望の特徴を特定してもよい。一旦所望の分類子が識別されると、識別されたデジタルスライド画像(又はそのサブ領域)は、識別された分類子を用いて処理され、メタデータマスクを生成する。有利には、分類子は、デジタルスライド画像データの所望の画像データを特定し、デジタルスライド画像(又はそのサブ領域)に適用された場合にメタデータマスクを生成して、デジタルスライド画像(又はそのサブ領域)から所望の画像データのみ(すなわち、分類子により特定される画像データ)を得るため、得られた画像データは、従来のシステムにより生成されたものよりも非常に高い信号対雑音比を有する。
メタデータマスクが生成された後、システムにより直後に又は後に使用され、デジタルスライド画像(又はそのサブ領域)から所望の画像データを生成するために揮発性又は一時的でないメモリにメタデータマスクが記憶される。例えば、所望の画像データは、分析のための識別されたアルゴリズムに、直ぐに提供されてもよい。また、メタデータマスクは、識別されたデジタルスライド画像から同一の所望の画像データを得るために後で使用されてもよく、その時に分析のために同一の又は異なる識別されたアルゴリズムに提供されてもよい。この1つの非常に大きな利点は、同一の所望の画像データが、複数のアルゴリズムにより連続的に処理されて、所望の画像データのみの包括的な分析を生成し、得られた分析が、アルゴリズムにより分析された、画像データにおける改善された信号対雑音比によって非常に正確になる。
図3Bは、本発明の実施形態に係る画像処理アルゴリズムを実行する処理の一例を示すフロー図である。一実施形態において、この処理は、前述したアルゴリズムサーバ20により行われてもよい。先ず、ステップ250において、実行マネージャは、画像を識別する。画像を識別することは、特定のデジタルスライド又はその特定されたサブ領域のためである。有利には、画像を識別することは、図3において説明した処理の結果であってもよく、識別されたスライド画像が所望の分類子により先に処理され、得られた画像データが改善された信号対雑音比を有し、この結果として、選択されたアルゴリズムによる分析から改善された結果を得る。次に、ステップ260において、実行マネージャは、アルゴリズムが実行されるための選択を識別する。実際には1つ以上のアルゴリズムがあってもよく、又は実行マネージャは、いくつかのアルゴリズムを含むマクロの選択を識別してもよい。ステップ270において、実行マネージャは、アルゴリズムを実行するために必要なパラメータデータを受信する。有利には、実行マネージャは、アルゴリズムに問い合わせてもよく、又は対応するデータファイルをチェックしてもよく、どのパラメータデータがアルゴリズムの実行のために要求されうるのかを決定する。
一実施形態において、パラメータデータは、メタデータ画像マスクを識別することを含んでもよい、つまり、図3において説明した処理により生成され、メモリに記憶される。前述したように、メタデータマスクは、識別されたアルゴリズムにより処理される画像データの所望の領域を定義する。メタデータマスクは、例えば、パターン認識分類子のような様々な異なる型の分類子により生成されてもよい。分類子は、所望の画像データの定義された領域が、特定のパターンにマッチングする又は所望の特性を含む全ての画像データを含むように、選択された画像を前処理し、メタデータマスクを決定する。メタデータマスクは、識別されたデジタルスライド画像からの画像データの連続した部分を定義してもよく、又は識別されたデジタルスライド画像からの画像データの複数の非接続部分であってもよい。
最後に、ステップ280において、画像が識別され、アルゴリズムが識別され、パラメータデータが提供された後に、実行マネージャは、メタデータマスクにより生成された所望のデータのみでアルゴリズムを実行し、出力ファイル、スクリーン、データベース又は他のディスプレイ又はストレージ装置に任意の出力を提供する。
図4は、本発明の実施形態に係る画像処理マクロを生成する処理の一例を示すフロー図である。先ず、ステップ300において、実行マネージャは、マクロの一部として実行される第1のアルゴリズムのための選択を識別する。次に、ステップ310において、実行マネージャは、識別されたアルゴリズムに対応するパラメータデータを受信する。パラメータデータは、有利にはメタデータ画像マスクを含んでもよい。いくつかの場合、全てのパラメータは、マクロが生成された場合に提供されなくてもよい。有利には、実行マネージャは、パラメータデータの部分的なセットを収集してもよく、その後、マクロが実行された場合、実行マネージャは、必要な追加のパラメータデータのためにユーザを促してもよい。例えば、実行されるマクロを要求するユーザ又はプログラムは、また、処理されるデジタルスライド、及び追加的にアルゴリズムが動作する画像のサブ領域を識別しなければならない。
一旦アルゴリズムが識別され、パラメータが収集されると、ユーザは、他のアルゴリズムがマクロに含まれるかを、ステップ320において判定するように促される。他のアルゴリズムがマクロに含まれる場合、処理ループは、直前に説明したように、アルゴリズムを識別すること及びパラメータデータの収集に戻る。マクロ定義が完了した場合、その後、ステップ330において、マクロは、後の検索及び実行のために一時的でないデータストレージに記憶される。
図5は、本発明の実施形態に係るリモート画像処理アルゴリズムをインポートする処理の一例を示すフロー図である。第1のステップ400において、実行マネージャは、遠隔的に配置され、ネットワークを介してアクセス可能な他のサーバ又はコンピュータに配置されるアルゴリズムを識別する。一旦リモートアルゴリズムが識別されると、ステップ410において、実行マネージャは、任意のアルゴリズム属性及び実行時にアルゴリズムにより要求されるパラメータを識別する。これらの属性及びパラメータ要求は、後に実行マネージャが、アルゴリズムの実行前にこの情報を検索してもよいように、属性及びパラメータ要求がアルゴリズムに対応する形態で記憶されることが好ましく、これは、実行前にパラメータデータの収集を容易にする。最後に、ステップ420において、新たなアルゴリズムは、その関連付けられたパラメータ及び属性と共に、記憶される。
図6は、本発明の実施形態に係る画像処理アルゴリズムをリモートで実行する処理の一例を示すフロー図である。先ず、ステップ450において、実行マネージャは、リモートユーザ又はプログラムからの要求を受信する。有利には、リモートユーザは、デジタルスライドで処理する画像の特定の型を自動化するように開発された自動化プログラムであってもよい。要求を受信すると、ステップ460において、実行マネージャは、実行する特定のアルゴリズム、デジタルスライド(及び追加でそのサブ領域)を識別することや、パラメータデータのような情報を得るための要求を構文解析(parse)する
次に、ステップ470において、実行マネージャは、アルゴリズムをロードし、その後ステップ480において画像をロードする。ここで、実行マネージャは、必要に応じて受信され、かつ特定のアルゴリズムに応じて受信されたパラメータデータを用いて、アルゴリズムを実行し、識別されたデジタルスライド画像を処理する。アルゴリズムの実行により生成された任意の出力は、有利には、ローカル出力ファイル又はデータベースへ送られてもよく、又はステップ492に示すように、収集かつ分配される又は遠隔的又はローカルで記憶されてもよい。
デジタルスライド画像は非常に大きく、ステップ480において全体画像をロードするためには非実用的である。このような場合、ステップ480及び490は、デジタルスライド画像の複数の連続したサブ領域のために反復的に繰り返されてもよい。アルゴリズムの性質に応じて、処理されたサブ領域を重複することが必要又は望まれてもよく、その後、アルゴリズムの結果を調整してもよい。したがって、ステップ494において、実行マネージャは、処理するための他のデータ又は追加画像サブ領域が存在するかを判定する。存在する場合には、処理ループは、画像の次のサブ領域がロードされるステップ480へ戻る。処理するサブ領域がもはや無い場合には、その後、実行マネージャは、ステップ496に示すように、画像処理を終了する。
さらに、いくつかのアルゴリズムは、複数の“パス(“passes”)又は再帰的な画像の分析/処理から利益を得てもよい。例えば、第1のパス(画像処理命令の実行)は、低い解像度(20X)でなされ、さらなる分析を要求する画像のサブ領域を特定してもよい。その後、第2のパス(画像処理命令の実行)は、高い解像度(40X)でなされ、第1のパスで識別されるこれらのサブ領域をちょうど処理及び分析する。有利には、アルゴリズムは、両方のパス(サブ領域識別及びサブ領域の処理の出力)を反映する。
図7A−7Cは、本発明の実施形態に係るアノテーション504及びメタデータマスク506を有するデジタルスライド500の例を示すブロック図である。図7において、デジタルスライド500は、デジタルスライド画像の実質的な部分を覆う試料502の画像を含む。追加のアノテーション504は、また、デジタルスライド画像のサブ領域を定義することを示す。例えば、アノテーション504により定義されるサブ領域は、特定アルゴリズムで分析される所望の画像データを含んでもよい。アノテーション504は矩形状で示されるが、ポインティングデバイス又はコンピュータデバイスでオペレータにより簡易に生成されてもよく、アノテーション504は、また、円形、多角形、又はフリーフォーム形状のような任意の他の閉じた形状であってもよい。例えば、デジタルスライド画像500のエッジを含むことにより、又は試料504のエッジを含むことにより、試料の特定の領域を定義する開口形状もまた、アノテーション504として用いられうる。
図7Bは、アノテーション504の拡大視である。一実施形態において、追加のアノテーションは、アルゴリズムにより処理される所望の画像データを含む領域を初めに定義するように提供される。この利点は、分類子により処理される画像データの量を低減する。一旦分類子がアノテーション504内の画像データを処理すると、メタデータマスク506は、所望の画像特性を含むデジタルスライド500の一又はそれ以上の領域を定義するように生成される。メタデータマスク506は、デジタルスライド画像500から所望されない画像データをマスクする、又はそれに替えて、デジタルスライド画像500から所望の画像を提供するように理解されうる。重要なのは、デジタルスライド画像500へのメタデータマスク506の適用は、所望の画像をもたらし、有利には改善された信号対雑音比を有することである。メタデータマスクは、デジタルスライド画像500全体又はアノテーション504全体に対して適用されうる。
一実施形態において、メタデータマスクは、デジタルスライド画像500の元の解像度に対して生成される。このような実施形態では、所望の画像データを分析するアルゴリズムが、画像データを異なる解像度で求める、又は分析可能な場合、デジタルスライド画像500は、異なる解像度へ拡大縮小され、メタデータマスクも異なる解像度へ拡大縮小され、分析のためのアルゴリズムへ所望の解像度で所望の画像データを適用かつ提供しうる。
図7Cにおいて、分類子は、デジタルスライド画像500全体に適用され、分類子処理の結果は、デジタルスライド画像500の2つの別の分離した領域を含むメタデータマスクである。有利には、単一のメタデータマスクは、デジタルスライド画像500の一又はそれ以上の別の分離した領域を含んでもよい。これは、アルゴリズムにより処理及び分析されるように望まれる興味深い非接続領域を示す特定の型の顕微鏡スライド及び特定の型の試料のために特に有利となりうる。
アルゴリズムを用いた画像データの分析の前に、メタデータを生成するための分類子を用いるシステムの1つの利点は、画像処理アルゴリズムが画像マスキング命令の追加により複雑にならないことである。また、アルゴリズムへの画像マスキング命令の追加は、例えば、画像マスキング命令を適用する組織の型のみに、アルゴリズムの適用性を制限する。
さらに、アルゴリズムで画像データを分析する前にデジタルスライド画像に分類子を適用することにより、非常に大きな効果も得られる。例えば、3つの別々のアルゴリズムによる複数の染色(例えば、3つの染色)を有する単一のデジタルスライド画像を分析することが望ましい。デジタルスライド画像で3つの別々の分類子を用いて、システムは、各染色に1つずつ、3つの別々のメタデータマスクを生成できる。したがって、3つのアルゴリズムのそれぞれは、3つのメタデータマスクのそれぞれからの画像データを適用することができ、3つのアルゴリズムを用いて総数で9つの分析を得る。有利には、9つの分析は、6つの開発されたモジュールのみを用いて達成される。これは、同一の分析の数を提供するように開発された9つの別々のアルゴリズムモジュールを要求する従来のシステムに対する非常に大きな改善である。他の非常に大きな利点は、アルゴリズムが一時に開発及び認証され、その後、別々の型それぞれのために新たなアルゴリズムを開発及び認証することを必要とせずに、染色、組織などの各種の異なる型のために用いられることである。関連する利点は、複数の別々のアルゴリズムへ集積されること及び再認証することを必要とせずに、分類子も一時に開発及び認証されることである。
図8は、本書に記載の様々な実施の形態と共に使用することができる、有線又は無線プロセッサイネーブルドデバイス550の一例を示すブロック図である。例えば、デバイス550は、既に図1及び2を参照して説明したアルゴリズムサーバ、リモートイメージサーバ又はリモートユーザステーションと共に使用してもよい。他のプロセッサイネーブルドデバイス、及び/又は、アーキテクチャを用いてもよいことは当業者には明かである。
プロセッサイネーブルドデバイス550は、好ましくは、プロセッサ560などの1以上のプロセッサを含む。入力/出力を管理するための補助プロセッサ、浮動小数点数学演算を実行するための補助プロセッサ、信号処理アルゴリズムの高速実行に好適なアーキテクチャを有する専用マイクロプロセッサ(例えば、デジタル信号プロセッサ)、メイン処理システムに対して下位のスレーブプロセッサ(例えば、バックエンドプロセッサ)、デュアル又はマルチプロセッサシステム用の追加のマイクロプロセッサ又はコントローラ、又は、コプロセッサなど、追加のプロセッサを設けてもよい。かかる補助プロセッサは、別体のプロセッサでもよく、又は、プロセッサ560と一体でもよい。
プロセッサ560は、好ましくは、通信バス555と接続されている。通信バス555は、プロセッサイネーブルドデバイス550のストレージと他の周辺部品との間の情報伝送を容易にするためのデータチャネルを含んでもよい。通信バス555は、データバス、アドレスバス、コントロールバス(図示せず)を含み、プロセッサ560との通信のために使用する信号群を提供することができる。通信バス555は、例えば、業界標準アーキテクチャ(「ISA」)、拡張業界標準アーキテクチャ(「EISA」)、マイクロチャネルアーキテクチャ(「MCA」)、PCI(Peripheral Component Interconnect)ローカルバス、又は、IEEE488汎用インタフェースバス(「GPIB」)、IEEE696/S−100、などを含む、IEEE(Institute of Electrical and Electronics Engineers)によって公表された標準、に準拠したバスアーキテクチャなどの、任意の標準又は非標準バスアーキテクチャを含んでもよい。
プロセッサイネーブルドデバイス550は、好ましくはメインメモリ565を含み、また、二次メモリ570を含んでもよい。メインメモリ565は、プロセッサ560で実行するプログラムのためのデータ及び命令のストレージを提供する。メインメモリ565は、通常、DRAM(dynamic random access memory)、及び/又は、SRAM(static random access memory)などの半導体ベースのメモリである。他の半導体ベースのメモリの種類は、例えば、SDRAM(synchronous dynamic random access memory)、RDRAM(Rambus dynamic random access memory)、FRAM(登録商標)(ferroelectric random access memory)、及びROM(read only memory)を含む。
二次メモリ570は、オプションとして、内部メモリ575、及び/又は、リムーバブルメディア580、例えば、フロッピー(登録商標)ディスクドライブ、磁気テープドライブ、CD(compact disc)ドライブ、DVD(digital versatile disc)ドライブ、などを含んでもよい。リムーバブルメディア580は、既知の手法で読み出し及び/又は書き込みを行う。リムーバブルストレージメディア580は、例えば、フロッピー(登録商標)ディスク、磁気テープ、CD、DVDなどでもよい。
リムーバブルストレージメディア580は、好ましくは、コンピュータが実行可能なコード(すなわち、ソフトウェア)、及び/又は、データを有する、コンピュータが読み出し可能な媒体である。リムーバブルストレージメディア580に記憶されたコンピュータソフトウェア、及び/又はデータは、プロセッサ560による実行のためにプロセッサイネーブルドデバイス550に読み込まれる。
代替の実施の形態では、二次メモリ570は、コンピュータプログラム又はデータ、又はその他のデータ又は命令をプロセッサイネーブルドデバイス550にロードすることができる、他の類似の手段を含んでもよい。かかる手段は、例えば、外部記憶媒体595及びインタフェース570を含んでもよい。外部記憶媒体595の例示は、外部のハードディスクドライブ又は外部の光学ドライブ、又は外部の光磁気ドライブを含んでもよい。
二次メモリ570の他の例は、PROM(programmable read−only memory)、EPROM(erasable programmable read−only memory)、EEPROM(electrically erasable read−only memory)、フラッシュメモリ(EEPROMと類似のブロック指向のメモリ)などの半導体ベースのメモリを含んでもよい。また、任意のその他のリムーバブルストレージメディア580及び、脱着可能な外部メディア595からプロセッサイネーブルドデバイス550にソフトウェア及びデータを伝送することができる、通信インタフェース590が含まれる。
プロセッサイネーブルドデバイス550は、また、通信インタフェース590を含んでもよい。通信インタフェース590は、ソフトウェア及びデータをプロセッサイネーブルドデバイス550と外部装置(例えば、プリンタ)、ネットワーク、又は情報源との間で伝送することができる。例えば、コンピュータソフトウェア又は実行可能なコードを、プロセッサイネーブルドデバイス550へネットワークサーバから通信インタフェース590を介して伝送してもよい。通信インタフェース590の例示は、いくつかだけを挙げると、モデム、ネットワークインタフェースカード(「NIC」)、通信ポート、PCMIAスロット及びカード、赤外線インタフェース、IEEE1394ファイヤワイヤなどが含まれる。
通信インタフェース590は、好ましくは、イーサネット(登録商標)IEEE802標準、ファイバチャネル、DSL(digital subscriber line)、ADSL(asynchronous digital subscriber line)、フレームリレー、ATM(asynchronous transfer mode)、ISDN(integrated digital services network)、PCS(personal communications services)、TCP/IP(transmission control protocol/Internet protocol)、SLIP/PPP(serial line Internet protocol/point to point protocol)などの業界が推奨するプロトコル標準などを実施してもよく、又は、カスタマイズされたプロトコル又は非標準インタフェースプロトコルを実施してもよい。
通信インタフェース590を介して伝送されたソフトウェア及びデータは、一般的に、電気通信信号605の形式である。これらの信号605は、好ましくは、通信チャネル600を介して通信インタフェース590に提供される。一実施形態において、通信チャネル600は、有線又は無線であってもよく、任意の多様な他の通信リンクであってもよい。通信チャネル600は、信号605を伝送し、いくつかだけを挙げると、電線又はケーブル、光ファイバ、従来の電話回線、セルラー電話リンク、無線データ通信リンク、無線周波数(RF)リンク、又は赤外線リンクを含む、様々な有線又は無線通信手段を用いて実現することができる。
コンピュータが実行可能なコード(すなわち、コンピュータプログラム又はソフトウェア)は、メインメモリ565、及び/又は、二次メモリ570に記憶されている。コンピュータプログラムは、通信インタフェース590を介して受信し、メインメモリ565、及び/又は、二次メモリ570に記憶することができる。実行時、かかるコンピュータプログラムは、コンピュータシステム550が上述の本発明の様々な機能を実現することを可能とする。
本書において、用語「コンピュータ可読媒体」とは、コンピュータが実行可能なコード(例えば、ソフトウェア及びコンピュータプログラム)をコンピュータシステム550に提供するための用いられる任意の媒体を示すために用いられる。これらの媒体の例示は、メインメモリ565、二次メモリ570(内部メモリ570、リムーバブルメディア580、及び外部記憶媒体595を含む)、及び通信インターフェース590(ネットワーク情報サーバ又は他のネットワークデバイスを含む)と通信接続された任意の周辺デバイスを含む。これらの一時的でないコンピュータ可読媒体は、コンピュータシステム550に実行可能なコード、プログラム命令、及びソフトウェアを提供するための手段である。
ソフトウェアを用いて実現される一実施の形態において、ソフトウェアは、コンピュータ可読媒体上に格納されてもよく、リムーバブルメディア580、I/Oインタフェース585、又は通信インタフェース590によりプロセッサイネーブルドデバイス550にロードしてもよい。このような一実施の形態において、ソフトウェアは、電気通信信号605の形式でプロセッサイネーブルドデバイス550にロードされる。ソフトウェアは、プロセッサ560によって実行されるときに、好ましくはプロセッサ560に、本書中に上記された発明の特徴及び機能を実行させる。
システム550は、また、音声及びデータネットワークによる無線通信を容易にする追加の無線通信コンポーネントを含んでもよい。無線通信コンポーネントは、アンテナシステム620、無線システム615及びベースバンドシステム610を含む。通信装置550において、無線周波数(“RF”)信号は、無線システム615の管理下でのアンテナシステム620により空気中を通じて送受信される。
一実施形態において、アンテナシステム620は、スイッチング機能を行って、アンテナシステム620に送受信信号経路を提供する一又はそれ以上のアンテナ及び一又はそれ以上のマルチプレクサ(図示せず)を含んでもよい。受信経路において、受信されたRF信号は、マルチプレクサから、受信されたRF信号を増幅し、増幅された信号を無線システム615へ送信する低雑音増幅器(図示せず)に接続されうる。
他の実施形態において、無線システム615は、様々な周波数で通信するように構成される一又はそれ以上の無線を含んでもよい。一実施形態において、無線システム615は、復調器(図示せず)及び変調器(図示せず)を1つの集積回路(“IC”)に組み合わせてもよい。復調器及び変調器は、また、別の構成要素であってもよい。到来経路において、ベースバンド受信音声信号を残し、RFキャリア信号を取り除く復調器ストリップは、無線システム615からベースバンドシステム610へ送られる。
受信された信号が音声情報を含む場合、その後ベースバンドシステム610は、信号をデコードし、アナログ信号へ変換する。その後、信号は、増幅され、スピーカへ送られる。ベースバンドシステム610は、また、マイクロフォンからアナログ音声信号を受信する。これらのアナログ音声信号は、ベースバンドシステム610によりデジタル信号へ変換され、エンコードされる。ベースバンドシステム620は、また、伝送のためにデジタル信号をコード化し、オーディオシステム615の変調器部分に送られるベースバンド送信音声信号を生成する。変調器は、ベースバンド送信音声信号とRFキャリア信号を混成し、アンテナシステムへ送られ、パワー増幅器(図示せず)を介して通過してもよいRF送信信号を生成する。パワー増幅器は、RF送信信号を増幅し、送信のために信号がアンテナポートへ切り替えられるアンテナシステム620へ送る。
ベースバンドシステム610は、また、プロセッサ560に通信接続される。中央演算ユニット560は、データストレージ領域565及び570へアクセスする。中央演算ユニット560は、メモリ565又は二次メモリ570で記憶されうる命令(すなわち、コンピュータプログラム又はソフトウェア)を実行するように構成されることが好ましい。コンピュータプログラムは、また、ベースバンドプロセッサ610から受信され、かつデータストレージ領域565又は二次メモリ570に記憶され、又は受信をもって実行される。このようなコンピュータプログラムは、実行した場合、通信装置560が前述した本発明の様々な機能を行うことを可能にする。例えば、データストレージ領域565は、図2において前述した様々なソフトウェアモジュール(図示せず)を含んでもよい。
様々な実施の形態はまた、主としてハードウェア、例えば、特定用途向け集積回路(「ASIC」)、又はフィールドプログラマブルゲートアレイ(「FPGA」)などの構成要素を用いて実装してもよい。本書中に記述される機能を実行することが可能な、ハードウェアステートマシンの実装もまた、当業者に明らかとなる。様々な実施の形態はまた、ハードウェア及びソフトウェアの両方の組み合わせを用いて、実装され得る。
さらに、当業者は、本書中に開示される上記の図面及び実施形態に関連して記述される、様々な例示の論理ブロック、モジュール、回路、及び方法のステップが、電子的ハードウェア、コンピュータソフトウェア、又は両方の組み合わせとしてしばしば実装され得ることを理解する。ハードウェア及びソフトウェアのこの交換可能性を明白に例示するために、様々な例示の構成要素、ブロック、モジュール、回路、及びステップは、概してそれらの機能性に関して上記に説明した。かかる機能性がハードウェア又はソフトウェアのいずれにおいて実装されるかは、システム全体に課される特定用途及び設計制約条件に依存する。当業者は、各特定用途に対して様々な方法で記述された機能性を実装し得るけれども、そのような実装の決定は、本発明の範囲からの逸脱をもたらすものとして解釈されるべきでない。さらに、モジュール、ブロック、回路、又はステップ内の機能のグループ化は、説明を容易にするためである。特定の機能又はステップは、本発明から逸脱することなく、別のモジュール、ブロック、又は回路に移され得る。
さらに、本書中に開示される実施形態に関連して記述される、様々な例示の論理ブロック、モジュール、及び方法は、汎用プロセッサ、デジタルシグナルプロセッサ(「DSP」)、ASIC、FPGA、又は他のプログラマブル論理デバイス、ディスクリートのゲートロジック又はトランジスタロジック、ディスクリートのハードウェア構成要素、又は本書中に記述される機能を実行するために設計される、それらの任意の組み合わせによって実装されるか、又は実行され得る。汎用プロセッサは、マイクロプロセッサでもよいが、代替として、プロセッサは、任意のプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであってもよい。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、DSP及びマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアと連携した1つ以上のマイクロプロセッサ、又は任意のその他のかかる構成として実装してもよい。
さらに、本書中に開示される実施形態に関連して記述される、方法又はアルゴリズムのステップは、ハードウェアによって、プロセッサによって実行されるソフトウェアモジュールによって、又はその2つの組み合わせによって直接的に具現化され得る。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD−ROM、又はネットワーク記憶媒体を含む、記憶媒体の任意の他の形式で常駐してもよい。例示的な記憶媒体は、プロセッサと接続することができる。かかるプロセッサは、記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができる。代替的には、記憶媒体は、プロセッサに統合され得る。プロセッサ及び記憶媒体はまた、ASICに備えられてもよい。
開示された実施形態の上述の記載により、任意の当業者が、本発明をなす、又は本発明を利用することができる。これらの実施形態に対して様々な修正が当業者に対して容易に明らかとなり、かつ、本明細書において記載された一般的な原理は、本発明の趣旨又は範囲から逸脱することなく他の実施形態に適用可能である。このように、本明細書において提示された記載及び図面は、本発明の様々な実施形態を表し、かつ、それゆえ、本発明に広範に予定されている主題を表していると理解される。本発明の範囲は、当業者に対して明らかとなり得る他の実施形態を十全に包含するものであり、かつ、本発明の範囲は、従って限定されるものではないことはさらに理解される。

Claims (15)

  1. デジタル病理画像分析アルゴリズムにより処理されるデジタル病理画像データの信号対雑音比を増加させるコンピュータ実装方法であって、
    一又はそれ以上のプロセッサが、
    デジタルスライド画像を識別するステップと、
    所望の特性に関連付けられた分類子を識別するステップと、
    画像分析アルゴリズムを識別するステップと、
    識別された前記分類子を用いて識別された前記デジタルスライド画像を分析し、識別された前記デジタルスライド画像から、前記所望の特性に対応する画像データを識別するメタデータマスクを生成するステップと、
    前記メタデータマスクを、識別された前記デジタルスライド画像に適用して、前記所望の特性を含む前記画像データを前記デジタルスライド画像から得るステップと、
    識別された前記画像分析アルゴリズムを用いて前記所望の特性を含む得られた前記画像データを処理して、前記デジタルスライド画像の分析を生成するステップと、を含むステップを行うようにプログラムされる、方法。
  2. 別された前記デジタルスライド画像の一部の領域を識別するステップをさらに含み、前記分析するステップ、前記適用するステップ及び前記処理するステップは、識別された前記デジタルスライド画像の一部の領域に適用される請求項1に記載の方法。
  3. 識別された前記デジタルスライド画像は、複数の解像度の画像データを有し、前記分析するステップは、前記デジタルスライド画像の走査された解像度で、識別された前記デジタルスライド画像を分析する請求項1に記載の方法。
  4. 前記メタデータマスクは、前記デジタルスライド画像の走査された解像度以外の解像度に関連して生成される請求項3に記載の方法。
  5. 前記メタデータマスクは、前記デジタルスライド画像の走査された解像度に関連して生成される請求項3に記載の方法。
  6. 前記走査された解像度から所望の解像度へ前記メタデータマスクをスケーリングするステップと、前記所望の解像度で識別された前記デジタルスライド画像に前記メタデータマスクを適用して、前記所望の特性を含む前記所望の解像度で画像データを得るステップと、をさらに含む請求項5に記載の方法。
  7. 一時的でないコンピュータ可読媒体に前記メタデータマスクを記憶するステップをさらに含む請求項1に記載の方法。
  8. デジタル病理画像分析アルゴリズムにより処理されるデジタル病理画像データの信号対雑音比を増加させるコンピュータ実装方法であって、
    一又はそれ以上のプロセッサが、
    デジタルスライド画像を識別するステップと、
    第1のメタデータマスクを識別するステップと、
    第2のメタデータマスクを識別するステップと、
    第1のアルゴリズムを識別するステップと、
    第2のアルゴリズムを識別するステップと、
    識別された前記第1のメタデータマスクを、識別された前記デジタルスライド画像に適用して、第1の所望の画像データを求めるステップと、
    前記第2のメタデータマスクを、識別された前記デジタルスライド画像に適用して、第2の所望の画像データを求めるステップと、
    識別された前記第1のアルゴリズムを用いて前記第1の所望の画像データを処理し、前記デジタルスライド画像の第1の分析を提供するステップと、
    識別された前記第1のアルゴリズムを用いて前記第2の所望の画像データを処理し、前記デジタルスライド画像の第2の分析を提供するステップと、
    識別された前記第2のアルゴリズムを用いて前記第1の所望の画像データを処理し、前記デジタルスライド画像の第3の分析を提供するステップと、
    識別された前記第2のアルゴリズムを用いて前記第2の所望の画像データを処理し、前記デジタルスライド画像の第4の分析を提供するステップと、を含むステップを行うようにプログラムされる、方法。
  9. 識別された前記第1のメタデータマスクは、一時的でないコンピュータ可読媒体から得られる請求項8に記載の方法。
  10. 識別された前記第2のメタデータマスクは、一時的でないコンピュータ可読媒体から得られる請求項8に記載の方法。
  11. 識別された前記デジタルスライド画像は、一時的でないコンピュータ可読媒体から得られる請求項8に記載の方法。
  12. 前記第1、第2、第3及び第4の分析を、前記デジタルスライド画像の分析としてコンパイルするステップをさらに含む請求項8に記載の方法。
  13. デジタルスライド画像分析アルゴリズムにより処理されるデジタルスライド画像データの信号対雑音比を増加させるテクニカルシステムであって、
    コンピュータが実行可能にプログラムされたモジュール及び所望の特性に関連付けられた分類子を記憶する一時的でないコンピュータ可読媒体と、
    前記一時的でないコンピュータ可読媒体に記憶された、プログラムされたモジュールを実行する前記一時的でないコンピュータ可読媒体に通信接続されるプロセッサと、
    前記一時的でないコンピュータ可読媒体に記憶されており、デジタルスライド画像に適用された場合に、前記デジタルスライド画像から、画像データを提供するメタデータマスクを生成するために、前記分類子を前記デジタルスライド画像に適用し、前記画像データが、画像分析アルゴリズムを用いた分析のための前記所望の特性に対応する、画像ハンドラーモジュールと、
    前記所望の特性に対応する前記画像データを分析する前記一時的でないコンピュータ可読媒体に記憶される画像分析アルゴリズムと、を含むシステム。
  14. 少なくとも1つの一時的でないコンピュータ可読媒体に通信接続される少なくとも1つのプロセッサを含むシステムであって、
    前記プロセッサは、
    デジタルスライド画像を識別し
    所望の特性に関連付けられる分類子を識別し
    画像分析アルゴリズムを識別し
    識別された前記デジタルスライド画像に適用された場合に、前記デジタルスライド画像から、画像データを識別するメタデータマスクを生成するために、識別された前記分類子を用いて識別された前記デジタルスライド画像を処理し、前記画像データが前記所望の特性に対応し、
    前記メタデータマスクを記憶し、
    前記分類子に関連付けられた識別された前記デジタルスライド画像から前記所望の特性に対応する前記画像データを提供し、
    識別された前記画像分析アルゴリズムを用いて前記所望の特性を含む前記画像データを処理して、識別された前記デジタルスライド画像の分析を生成することにより、デジタル病理画像分析アルゴリズムにより処理されるデジタル病理画像データの信号対雑音比を増加させるようにプログラムされる、システム。
  15. 記憶された一又はそれ以上の命令のシーケンスを有する一時的でないコンピュータ可読媒体であって、前記命令は、一又はそれ以上のプロセッサに、デジタル病理画像分析アルゴリズムにより処理されるデジタル病理画像データの信号対雑音比を増加するステップを行わせ、前記ステップは、
    デジタルスライド画像を識別するステップと
    所望の特性に関連付けられる分類子を識別するステップと、
    画像分析アルゴリズムを識別するステップと、
    識別された前記分類子を用いて、識別された前記デジタルスライド画像を分析し、識別された前記デジタルスライド画像から、所望の特性に対応する画像データを識別するメタデータマスクを生成するステップと、
    前記メタデータマスクを、識別された前記デジタルスライド画像に適用して、前記所望の特性を含む識別された前記デジタルスライド画像から前記画像データを得るステップと、
    識別された前記画像分析アルゴリズムを用いて、前記所望の特性を含む得られた前記画像データを処理し、前記デジタルスライド画像の分析を生成するステップと、を含む、一時的でないコンピュータ可読媒体。
JP2012543307A 2009-12-11 2010-12-10 デジタル病理画像分析における信号対雑音比の改善 Active JP5786110B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US28586709P 2009-12-11 2009-12-11
US61/285,867 2009-12-11
PCT/US2010/059861 WO2011072211A2 (en) 2009-12-11 2010-12-10 Improved signal to noise ratio in digital pathology image analysis

Publications (2)

Publication Number Publication Date
JP2013513826A JP2013513826A (ja) 2013-04-22
JP5786110B2 true JP5786110B2 (ja) 2015-09-30

Family

ID=44146197

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012543307A Active JP5786110B2 (ja) 2009-12-11 2010-12-10 デジタル病理画像分析における信号対雑音比の改善

Country Status (4)

Country Link
US (2) US8116547B2 (ja)
EP (1) EP2510494B1 (ja)
JP (1) JP5786110B2 (ja)
WO (1) WO2011072211A2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8504726B2 (en) 2009-07-27 2013-08-06 Corista LLC User targeted medical imaging and information packaging, compression and distribution system
EP2460139A4 (en) * 2009-07-27 2015-05-27 Corista LLC SYSTEM FOR REPLACING DISEASE DOCUMENTS THROUGH A DIGITAL NETWORK
US8116547B2 (en) * 2009-12-11 2012-02-14 Aperio Technologies, Inc. Signal to noise ratio in digital pathology image analysis
US9298598B2 (en) * 2010-03-22 2016-03-29 Red Hat, Inc. Automated visual testing
JP5803467B2 (ja) * 2011-09-14 2015-11-04 株式会社リコー 画像処理装置および撮像装置、ならびに画像処理方法
IN2014CN03228A (ja) * 2011-10-05 2015-07-03 Cireca Theranostics Llc
US11302054B2 (en) 2014-04-05 2022-04-12 Sony Interactive Entertainment Europe Limited Varying effective resolution by screen location by changing active color sample count within multiple render targets
US9710957B2 (en) 2014-04-05 2017-07-18 Sony Interactive Entertainment America Llc Graphics processing enhancement by tracking object and/or primitive identifiers
US9652882B2 (en) 2014-04-05 2017-05-16 Sony Interactive Entertainment America Llc Gradient adjustment for texture mapping for multiple render targets with resolution that varies by screen location
US9710881B2 (en) 2014-04-05 2017-07-18 Sony Interactive Entertainment America Llc Varying effective resolution by screen location by altering rasterization parameters
US10068311B2 (en) * 2014-04-05 2018-09-04 Sony Interacive Entertainment LLC Varying effective resolution by screen location by changing active color sample count within multiple render targets
US9865074B2 (en) 2014-04-05 2018-01-09 Sony Interactive Entertainment America Llc Method for efficient construction of high resolution display buffers
US9495790B2 (en) 2014-04-05 2016-11-15 Sony Interactive Entertainment America Llc Gradient adjustment for texture mapping to non-orthonormal grid
US10783696B2 (en) 2014-04-05 2020-09-22 Sony Interactive Entertainment LLC Gradient adjustment for texture mapping to non-orthonormal grid
US9836816B2 (en) 2014-04-05 2017-12-05 Sony Interactive Entertainment America Llc Varying effective resolution by screen location in graphics processing by approximating projection of vertices onto curved viewport
WO2016120085A1 (en) * 2015-01-29 2016-08-04 Koninklijke Philips N.V. Local dynamic range adjustment color processing
US11262572B2 (en) * 2016-06-21 2022-03-01 Mel Science Limited Augmented reality visual rendering device
JP6785181B2 (ja) * 2017-04-12 2020-11-18 株式会社日立製作所 物体認識装置、物体認識システム、及び物体認識方法
EP3511941A1 (en) * 2018-01-12 2019-07-17 Siemens Healthcare GmbH Method and system for evaluating medical examination results of a patient, computer program and electronically readable storage medium
US10861156B2 (en) * 2018-02-28 2020-12-08 Case Western Reserve University Quality control for digital pathology slides

Family Cites Families (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3643015A (en) 1970-06-19 1972-02-15 Paul Davidovits Scanning optical microscope
US4742558A (en) 1984-02-14 1988-05-03 Nippon Telegraph & Telephone Public Corporation Image information retrieval/display apparatus
DE3577355D1 (de) 1984-06-25 1990-05-31 Olympus Optical Co Mikroskop.
US4700298A (en) 1984-09-14 1987-10-13 Branko Palcic Dynamic microscope image processing scanner
US4673988A (en) 1985-04-22 1987-06-16 E.I. Du Pont De Nemours And Company Electronic mosaic imaging process
US4760385A (en) 1985-04-22 1988-07-26 E. I. Du Pont De Nemours And Company Electronic mosaic imaging process
US4777525A (en) 1985-12-23 1988-10-11 Preston Jr Kendall Apparatus and method for a multi-resolution electro-optical imaging, display and storage/retrieval system
US4845552A (en) 1987-08-20 1989-07-04 Bruno Jaggi Quantitative light microscope using a solid state detector in the primary image plane
US4806015A (en) 1987-12-08 1989-02-21 Cottingham Hugh V Agglutination detection apparatus
US5740270A (en) 1988-04-08 1998-04-14 Neuromedical Systems, Inc. Automated cytological specimen classification system and method
JP2749069B2 (ja) 1988-04-26 1998-05-13 オリンパス光学工業株式会社 蛍光顕微鏡装置
US5067152A (en) 1989-01-30 1991-11-19 Information Technologies Research, Inc. Method and apparatus for vector quantization
US4960999A (en) 1989-02-13 1990-10-02 Kms Fusion, Inc. Scanning and storage of electrophoretic records
US4987480A (en) 1989-07-11 1991-01-22 Massachusetts Institute Of Technology Multiscale coding of images
US5086477A (en) 1990-08-07 1992-02-04 Northwest Technology Corp. Automated system for extracting design and layout information from an integrated circuit
US5231663A (en) 1991-03-18 1993-07-27 Earl Joseph G Image processing system
US5187754A (en) 1991-04-30 1993-02-16 General Electric Company Forming, with the aid of an overview image, a composite image from a mosaic of images
US5790710A (en) 1991-07-12 1998-08-04 Jeffrey H. Price Autofocus system for scanning microscopy
US5172228A (en) 1991-11-19 1992-12-15 Utah State University Foundation Image compression method and apparatus employing distortion adaptive tree search vector quantization
US5495535A (en) 1992-01-31 1996-02-27 Orbotech Ltd Method of inspecting articles
US5912699A (en) 1992-02-18 1999-06-15 Neopath, Inc. Method and apparatus for rapid capture of focused microscopic images
US5448399A (en) 1992-03-13 1995-09-05 Park Scientific Instruments Optical system for scanning microscope
JPH05264221A (ja) 1992-03-17 1993-10-12 Fujitsu Ltd 半導体露光装置用マーク位置検出装置及びこれを用いた半導体露光装置用位置合わせ装置
JP3275368B2 (ja) 1992-07-09 2002-04-15 株式会社ニコン 露光方法及び装置
US5633948A (en) 1992-11-30 1997-05-27 Kegelmeyer, Jr.; W. Philip Method and apparatus for detecting a desired behavior in digital image data
EP0610916A3 (en) 1993-02-09 1994-10-12 Cedars Sinai Medical Center Method and device for generating preferred segmented numerical images.
US5483055A (en) 1994-01-18 1996-01-09 Thompson; Timothy V. Method and apparatus for performing an automatic focus operation for a microscope
US5923430A (en) 1993-06-17 1999-07-13 Ultrapointe Corporation Method for characterizing defects on semiconductor wafers
US5479252A (en) 1993-06-17 1995-12-26 Ultrapointe Corporation Laser imaging system for inspection and analysis of sub-micron particles
US5793969A (en) 1993-07-09 1998-08-11 Neopath, Inc. Network review and analysis of computer encoded slides
JPH07105376A (ja) 1993-09-30 1995-04-21 Ibiden Co Ltd 画像処理装置及び画像処理方法
GB2286309B (en) 1994-02-01 1998-04-15 Rank Cintel Ltd High resolution film scanner
US5578832A (en) 1994-09-02 1996-11-26 Affymetrix, Inc. Method and apparatus for imaging a sample on a device
US5932872A (en) 1994-07-01 1999-08-03 Jeffrey H. Price Autofocus system for scanning microscopy having a volume image formation
JPH0844678A (ja) 1994-07-29 1996-02-16 Canon Inc 画像処理装置及びシステム
US5649032A (en) 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
US5922282A (en) 1995-06-07 1999-07-13 Ledley; Robert S. Super fast tuberculosis diagnosis and sensitivity testing method
WO1997004347A1 (en) 1995-07-19 1997-02-06 Morphometrix Technologies Inc. Automated scanning of microscope slides
KR987001186A (ko) 1995-10-18 1998-04-30 요트.게.아.롤페즈 영역기준 텍스쳐 코딩 방법과 디코딩 방법, 및 그 대응 시스템(Region-based Texture Coding and Decoding Method, and Corresponding Systems)
US5710835A (en) 1995-11-14 1998-01-20 The Regents Of The University Of California, Office Of Technology Transfer Storage and retrieval of large digital images
DE69627183T2 (de) 1995-11-30 2004-01-29 Chromavision Med Sys Inc Verfahren zur automatischen bildanalyse biologischer proben
US6005964A (en) 1996-01-24 1999-12-21 The Board Of Trustees Of The University Of Illinois Automatic machine vision microscope slide inspection system and method
US5872591A (en) 1996-02-21 1999-02-16 Pakon, Inc. Film scanner
US6078681A (en) 1996-03-18 2000-06-20 Marine Biological Laboratory Analytical imaging system and process
US6091846A (en) 1996-05-31 2000-07-18 Texas Instruments Incorporated Method and system for anomaly detection
WO1998002843A1 (en) 1996-07-12 1998-01-22 Erim International, Inc. Mosaic construction, processing, and review of very large electronic micrograph composites
US6707469B1 (en) 1996-08-13 2004-03-16 General Electric Company Synchronous execution in a medical imaging system
US6031930A (en) 1996-08-23 2000-02-29 Bacus Research Laboratories, Inc. Method and apparatus for testing a progression of neoplasia including cancer chemoprevention testing
US6272235B1 (en) 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
GB9622055D0 (en) 1996-10-23 1996-12-18 Univ Strathclyde Vector quantisation
US5968731A (en) 1996-12-10 1999-10-19 The Regents Of The University Of California Apparatus for automated testing of biological specimens
US20010017941A1 (en) 1997-03-14 2001-08-30 Navin Chaddha Method and apparatus for table-based compression with embedded coding
DE19714221A1 (de) 1997-04-07 1998-10-08 Zeiss Carl Fa Konfokales Mikroskop mit einem motorischen Scanningtisch
US6002789A (en) 1997-06-24 1999-12-14 Pilot Industries, Inc. Bacteria colony counter and classifier
US6262838B1 (en) 1998-03-20 2001-07-17 Genetic Microsystems Inc Focusing in microscope systems
CA2229175A1 (en) 1998-02-06 1999-08-06 Morphometrix Technologies Inc. Automatic focus system
JPH11239165A (ja) 1998-02-20 1999-08-31 Fuji Photo Film Co Ltd メディカルネットワークシステム
US6185030B1 (en) 1998-03-20 2001-02-06 James W. Overbeck Wide field of view and high speed scanning microscopy
US5943122A (en) 1998-07-10 1999-08-24 Nanometrics Incorporated Integrated optical measurement instruments
JP3139998B2 (ja) 1998-12-01 2001-03-05 株式会社東京精密 外観検査装置及び方法
US6330348B1 (en) 1999-01-21 2001-12-11 Resolution Sciences Corporation Method and apparatus for measurement of microtome performance
JP4323608B2 (ja) 1999-03-12 2009-09-02 キヤノン株式会社 露光装置およびデバイス製造方法
US7106895B1 (en) 1999-05-05 2006-09-12 Kla-Tencor Method and apparatus for inspecting reticles implementing parallel processing
US7212667B1 (en) 1999-05-17 2007-05-01 Samsung Electronics Co., Ltd. Color image processing method for indexing an image using a lattice structure
US6594401B1 (en) 1999-10-20 2003-07-15 Xerox Corporation Detection and elimination of scanning artifacts
JP4900986B2 (ja) 1999-12-13 2012-03-21 Geヘルスケア・ジャパン株式会社 画像取扱方法および装置
JP2001210263A (ja) 2000-01-27 2001-08-03 Hitachi Ltd 走査電子顕微鏡、そのダイナミックフォーカス制御方法および半導体デバイスの表面および断面形状の把握方法
US7668362B2 (en) * 2000-05-03 2010-02-23 Aperio Technologies, Inc. System and method for assessing virtual slide image quality
US6711283B1 (en) 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
JP2002042706A (ja) 2000-07-25 2002-02-08 Hitachi Ltd 走査電子顕微鏡の自動焦点機能
US6763140B1 (en) 2000-09-07 2004-07-13 Chipworks Method and apparatus for focusing a micro-imaging system onto a tilted or uneven sample to acquire images of the sample
US7155049B2 (en) 2001-01-11 2006-12-26 Trestle Acquisition Corp. System for creating microscopic digital montage images
JP4442042B2 (ja) 2001-02-23 2010-03-31 パナソニック電工株式会社 画像処理プログラム作成方法およびそのシステム
US7338168B2 (en) 2001-07-06 2008-03-04 Palantyr Research, Llc Particle analyzing system and methodology
US7116480B1 (en) 2002-02-12 2006-10-03 Oplink Communications, Inc. Method and apparatus for optical switching
DE10232242A1 (de) 2002-07-17 2004-02-05 Leica Microsystems Semiconductor Gmbh Verfahren und Vorrichtung zum Rastern einer Probe mit einem optischen ab Bildungssystem
EP1631872B1 (en) 2003-02-28 2018-09-12 Leica Biosystems Imaging, Inc. Image processing and analysis framework
US7116440B2 (en) * 2003-02-28 2006-10-03 Aperio Technologies, Inc. Image processing and analysis framework
US9251593B2 (en) 2003-03-27 2016-02-02 Koninklijke Philips N.V. Medical imaging system and a method for segmenting an object of interest
GB2414357A (en) 2004-05-18 2005-11-23 Medicsight Plc Nodule boundary detection
CA2573217C (en) 2004-08-09 2013-04-09 Bracco Research Sa An image registration method and apparatus for medical imaging based on mulptiple masks
GB0503087D0 (en) 2005-02-15 2005-03-23 Medical Solutions Plc Apparatus and method for processing of specimen images for use in computer analysis thereof
US7899624B2 (en) * 2005-07-25 2011-03-01 Hernani Del Mundo Cualing Virtual flow cytometry on immunostained tissue-tissue cytometer
WO2007047915A2 (en) * 2005-10-18 2007-04-26 3Tp Llc Automated pre-selection of voxels for dynamic contrast enhanced mri and ct
US8077958B2 (en) * 2006-06-30 2011-12-13 University Of South Florida Computer-aided pathological diagnosis system
US9098736B2 (en) 2007-09-21 2015-08-04 Leica Biosystems Imaging, Inc. Image quality for diagnostic resolution digital slide images
US8064678B2 (en) 2007-10-22 2011-11-22 Genetix Corporation Automated detection of cell colonies and coverslip detection using hough transforms
US8116547B2 (en) * 2009-12-11 2012-02-14 Aperio Technologies, Inc. Signal to noise ratio in digital pathology image analysis

Also Published As

Publication number Publication date
WO2011072211A3 (en) 2011-10-27
JP2013513826A (ja) 2013-04-22
US20120269409A1 (en) 2012-10-25
US20120014576A1 (en) 2012-01-19
WO2011072211A2 (en) 2011-06-16
EP2510494A2 (en) 2012-10-17
EP2510494B1 (en) 2021-12-22
EP2510494A4 (en) 2017-07-19
US8705825B2 (en) 2014-04-22
US8116547B2 (en) 2012-02-14

Similar Documents

Publication Publication Date Title
JP5786110B2 (ja) デジタル病理画像分析における信号対雑音比の改善
US8780401B2 (en) Systems and methods for analyzing digital slide images using algorithms constrained by parameter data
CN109388965B (zh) 一种混合数据的脱敏方法及系统
CN110796000B (zh) 基于双向lstm的唇形样本生成方法、装置和存储介质
WO2019071966A1 (zh) 基于爬虫数据的用户行为分析方法、应用服务器及可读存储介质
CN109309665B (zh) 一种访问请求处理方法及装置、一种计算设备及存储介质
CN113886821A (zh) 基于孪生网络的恶意进程识别方法、装置、电子设备及存储介质
JP2011123900A (ja) 画像処理及び画像解析用フレームワーク
CN113055420B (zh) Https业务识别方法、装置及计算设备
CN112101296A (zh) 人脸注册方法、人脸验证方法、装置及系统
CN113312619A (zh) 基于小样本学习的恶意进程检测方法、装置、电子设备及存储介质
US20160162639A1 (en) Digital image analysis and classification
CN106778261A (zh) 伪装应用的处理方法和装置
Azizi et al. Cross‐channel regularisation for joint demosaicking and intrinsic lens deblurring
CN114158049B (zh) 一种蓝牙通信的身份识别方法、系统、计算机及存储介质
CN115269939B (zh) 正则表达式生成方法、装置、智能终端及计算机存储介质
CN116206611A (zh) 一种涉案声纹库自动构建的方法和装置
CN111598053B (zh) 图像数据的处理方法及其装置、介质和系统
CN116489105A (zh) 网络识别方法、装置、设备及存储介质
CN117240568A (zh) 一种网页自动登录的处理方法
CN116743473A (zh) 一种基于并行度量学习的入侵检测方法
CN117851159A (zh) 一种基于取整变换的时序数据快速压缩方法及系统
CN113468519A (zh) 外挂操作识别方法、装置及设备
CN117235024A (zh) 基于代码分析的缓存更新方法、系统、存储介质及设备
CN114912503A (zh) 筛选家庭网关的下联设备的方法和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141225

R150 Certificate of patent or registration of utility model

Ref document number: 5786110

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250