JP2023524982A - デジタル病理学における顕著な情報を決定するために電子画像を処理するシステム及び方法 - Google Patents
デジタル病理学における顕著な情報を決定するために電子画像を処理するシステム及び方法 Download PDFInfo
- Publication number
- JP2023524982A JP2023524982A JP2022567284A JP2022567284A JP2023524982A JP 2023524982 A JP2023524982 A JP 2023524982A JP 2022567284 A JP2022567284 A JP 2022567284A JP 2022567284 A JP2022567284 A JP 2022567284A JP 2023524982 A JP2023524982 A JP 2023524982A
- Authority
- JP
- Japan
- Prior art keywords
- diagnostic
- relevant
- determining
- feature
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
Abstract
Description
関連出願
本出願は、2020年5月8日に出願された米国仮特許出願第63/021,955号に対する優先権を主張するものであり、参照により、その開示全体が本明細書に組み込まれる。
本出願は、2020年5月8日に出願された米国仮特許出願第63/021,955号に対する優先権を主張するものであり、参照により、その開示全体が本明細書に組み込まれる。
本開示の様々な実施形態は、一般に、画像ベースの特徴識別及び関連する画像処理方法に関する。より具体的には、本開示の特定の実施形態は、組織標本の画像処理に基づいて診断特徴を識別するためのシステム及び方法に関する。
病理学は、形態学的及び組織学的パターンの専門的な解釈を含む視覚的な分野である。病理標本の全体スライド画像(whole slide image、WSI)は、病理医が確認しなければならない数十万のピクセルで構成されている。すべてのピクセルに関連情報が含まれているわけではないが、病理医は診断を下す前にWSI全体を確認する必要がある場合がある。本開示は、迅速、完全、かつ正確な診断のために、病理医が関連する領域(複数可)に注意を向けることを可能にする視覚化について説明する。
本開示の1つまたは複数の実施形態によれば、出力は、病理組織の全体スライド画像上の特定の特徴を識別するために開発されたシステムから活用され得、特定の疑問、または診断のために組織に関連する全スライド画像上の領域に注目することによって病理医の時間を節約する。
さらに、本開示は、デジタル化された病理画像(例えば、識別された関心領域全体にわたるヒートマップ以外)の全体スライド画像上で識別された関心対象の癌病巣を視覚化するための追加の方法を説明する。
本開示のある態様によれば、デジタル化された病理画像の診断特徴を識別するためのシステム及び方法が開示される。
デジタル化された病理画像の診断特徴を識別する方法であって、この方法は、病理標本の1つまたは複数のデジタル化された画像と、画像メタデータ、標本メタデータ、臨床情報及び/または患者情報のうちの少なくとも1つを含む医療メタデータとを受信することと、機械学習モデルであって、処理された画像のアーカイブと予測される患者データを使用して開発されている機械学習モデルを適用して、医療メタデータに基づいて複数の関連する診断特徴を予測することと、ディスプレイへの出力のために、関連する診断特徴の少なくとも1つの関連する診断特徴を決定することと、を含む。
デジタル化された病理画像の診断特徴を識別するシステムは、命令を記憶するメモリと、少なくとも1つのプロセッサを含み、少なくとも1つのプロセッサが、病理標本の1つまたは複数のデジタル化された画像と、画像メタデータ、標本メタデータ、臨床情報及び/または患者情報のうちの少なくとも1つを含む医療メタデータとを受信することと、機械学習モデルであって、処理された画像のアーカイブと予測される患者データを使用して開発されている機械学習モデルを適用して、医療メタデータに基づいて複数の関連する診断特徴を予測することと、ディスプレイへの出力のために、関連する診断特徴の少なくとも1つの関連する診断特徴を決定することと、を含むプロセスを実行する命令を実行する。
プロセッサによって実行されると、プロセッサに、デジタル化された病理画像の診断特徴を識別する方法を実行させる命令を記憶する、非一時的コンピュータ可読媒体であって、この方法は、病理標本の1つまたは複数のデジタル化された画像と、画像メタデータ、標本メタデータ、臨床情報及び/または患者情報のうちの少なくとも1つを含む医療メタデータとを受信することと、機械学習モデルであって、処理された画像のアーカイブと予測される患者データとを使用して開発されている機械学習モデルを適用して、医療メタデータに基づいて複数の関連する診断特徴を予測することと、ディスプレイへの出力のために、関連する診断特徴の少なくとも1つの関連する診断特徴を決定することと、を含む。
前述の概要および以下の詳細な説明の両方が例示的及び説明的なものでしかなく、特許請求される本開示の実施形態を拘束するものではないことを理解すべきである。
添付の図面は、この明細書の一部に組み込まれ、これを構成し、種々の例示の実施形態を図示しており、この説明と併せて、開示している実施形態の原理を説明する役目を果たしている。
これから本開示の例示的な実施形態について詳細に言及するが、それらの例は添付の図面に示されている。可能な限り、図面全体を通して、同じまたは類似の部分を示すために、同じ参照番号が使用される。
本明細書で開示されるシステム、デバイス、及び方法は、例として、及び図面を参照して詳細に説明される。本明細書で説明する例は単なる例であり、本明細書で説明する装置、デバイス、システム、及び方法の説明を助けるために提供される。図面に示されている、または以下で説明されている機能またはコンポーネントは、特に必須として指定されていない限り、これらのデバイス、システム、または方法のいずれかの特定の実装に必須と見なされるべきではない。
また、説明されているあらゆる方法については、その方法がフロー図に関連して説明されているかどうかに関係なく、別段の指定がない限り、またはコンテキストによって必要とされない限り、方法の実行で実行されるステップの明示的または暗示的な順序付けは、それらのステップが提示された順序で実行する必要があることを暗示しているわけではなく、代わりに別の順序で、または並行して実行することができることを理解する必要がある。
本明細書で使用される用語「例示的な」は、「理想的」ではなく「例」の意味で使用される。さらに、本明細書における「a」及び「an」という用語は、量の制限を意味するのではなく、むしろ言及された項目のうちの1つまたは複数が存在していることを意味する。
関心領域を特定することは、専門家による視覚的な解釈を含む、時間のかかるプロセスである。病理医の数が世界中で減少するにつれて、確認のための病理標本の量が増加し、これが医師の疲労や誤診の原因となっている。
患者の症例のすべてのスライドのWSI全体を分析するプロセスは、完全に手動である場合があり、非常に時間がかかり、エラーが発生しやすくなる。関心領域は、組織全体の一部である特徴(例えば、マイクロメートルのサイズ)を含み得る。大学の医療センターでは、研修中の病理医(フェローなど)が、病理医の確認に先立って患者の症例を手動で確認する。レビュー中、フェローは関心領域をマークし、病理医の最終的な確認と診断のために診断を事前に書き込む。この方法では、病理医は、研修生の初期評価に基づいて、症例の特定の部分に引き付けられる。病理医が最終結果及び/または鑑別診断に確信が持てない場合では、セカンドオピニオンのために材料を別の病理医に送るオプションがある。委託病理医には、特定の疑問に対する代表的なスライド(複数可)のみが送られる可能性があり、このシナリオでは、病理医の注意は特定の疑問と病巣に集中する。
本開示は、病理学的診断及び治療決定に使用され得る関心特徴(例えば、バイオマーカー、癌、組織学的なもの)を検出する人工知能(AI)技術を使用する。これは、ケース、パーツ、ブロックレベル及び/またはスライドレベルで行うことができる。データと予測は集計され、任意のユーザインタフェースを介して(例えば、デジタル病理表示システム、レポート、または検査室情報システムなどを介して)瞬時に利用できるようになる。
図1Aは、本開示の例示的な実施形態による、画像の診断特徴を識別するためのシステム及びネットワークの例示的なブロック図を示す。
具体的には、図1Aは、病院、検査室、及び/また医師室のサーバに接続できる電子ネットワーク120を示す。例えば、医師サーバ121、病院サーバ122、臨床試験サーバ123、研究室サーバ124、及び検査室情報システム125などは、それぞれ、1つまたは複数のコンピュータ、サーバ、及び/またはハンドヘルドモバイルデバイスを介して、インターネットなどの電子ネットワーク120に接続することができる。本願の例示的な実施形態によれば、電子ネットワーク120は、サーバシステム110にも接続することができ、サーバシステム110は、疾患検出プラットフォーム100を実装するように構成された処理装置を含むことができ、疾患検出プラットフォーム100は、デジタル病理画像(複数可)に関連する診断特徴を識別し、本開示の例示的な実施形態に従って、機械学習を使用して診断特徴を識別するための特徴識別ツール101を含む。例示的な機械学習モデルには、ニューラルネットワーク、畳み込みニューラルネットワーク、ランダムフォレスト、ロジスティック回帰、及び/または最近傍のいずれか1つ、またはいずれかの組み合わせが含まれ得るが、これらに限定されない。
医師サーバ121、病院サーバ122、臨床試験サーバ123、研究室サーバ124、及び/または検査室情報システム125は、1つまたは複数の患者の細胞診標本、腫瘍標本、細胞診/腫瘍標本のスライド、細胞診/腫瘍標本のスライドのデジタル画像、またはそれらの任意の組み合わせを作成または取得することができる。医師サーバ121、病院サーバ122、臨床試験サーバ123、研究室サーバ124、及び/または検査室情報システム125はまた、年齢、病歴、癌治療歴、家族歴、過去の生検または細胞診情報などの患者固有の情報の任意の組み合わせを取得することもできる。医師サーバ121、病院サーバ122、臨床試験サーバ123、研究室サーバ124、及び/または検査室情報システム125は、デジタル化されたスライド画像及び/または患者固有の情報を電子ネットワーク120を介してサーバシステム110に送信することができる。サーバシステム110は、医師サーバ121、病院サーバ122、臨床試験サーバ123、研究室サーバ124、及び/または検査室情報システム125のうちの少なくとも1つから受信された画像及びデータを記憶するための1つまたは複数の記憶装置109を含むことができる。サーバシステム110はまた、記憶装置109に記憶された画像及びデータを処理するための処理装置を含むことができる。サーバシステム110は、1つまたは複数の機械学習ツール(複数可)または機能をさらに含むことができる。例えば、一実施形態によれば、処理装置は、疾患検出プラットフォーム100のための機械学習ツールを含むことができる。代替的にまたは追加的に、本開示(または本開示のシステム及び方法の一部)は、ローカル処理装置(例えば、ラップトップ)で実行されてもよい。
医師サーバ121、病院サーバ122、臨床試験サーバ123、研究室サーバ124、及び検査室情報システム125は、スライドの画像を確認するために病理医によって使用されるシステムを指す。病院の環境では、組織タイプ情報は検査室情報システム125に記憶され得る。
図1Bは、機械学習を使用して、デジタル病理画像(複数可)に関連する診断特徴を識別するための疾患検出プラットフォーム100の例示的なブロック図を示す。
具体的には、図1Bは、一実施形態による疾患検出プラットフォーム100のコンポーネントを示す。例えば、疾患検出プラットフォーム100は、特徴識別ツール101、データ取り込みツール102、スライド取り入れツール103、スライドスキャナ104、スライドマネージャ105、ストレージ106、及び表示アプリケーションツール108を含むことができる。
以下に説明するように、特徴識別ツール101は、例示的な実施形態による、デジタル病理画像病理(複数可)に関連する診断特徴を識別し、機械学習を使用して診断特徴を識別するためのプロセス及びシステムを指す。
データ取り込みツール102は、例示的な実施形態による、デジタル病理画像を分類及び処理するために使用される様々なツール、モジュール、コンポーネント、及びデバイスへのデジタル病理画像の転送を容易にするためのプロセス及びシステムを指す。
例示的な実施形態によれば、スライド取り入れツール103は、病理画像をスキャンし、それらをデジタル形式に変換するためのプロセス及びシステムを指す。スライドは、スライドスキャナ104でスキャンすることができ、スライドマネージャ105は、スライド上の画像をデジタル化された病理画像に処理し、デジタル化された画像をストレージ106及び/または記憶装置109などのストレージに記憶することができる。
表示アプリケーションツール108は、例示的な実施形態による、デジタル病理画像(複数可)に関する標本特性または画像特性情報をユーザ(例えば、病理医)に提供するためのプロセス及びシステムを指す。情報は、様々な出力インタフェース(例えば、画面、モニター、記憶装置、及び/またはウェブブラウザなど)を介して提供することができる。
特徴識別ツール101及びそのコンポーネントのそれぞれは、デジタル化されたスライド画像及び/または患者情報を電子ネットワーク120を介して、サーバシステム110、医師サーバ121、病院サーバ122、臨床試験サーバ123、研究室サーバ124、及び/または検査室情報システム125に対して送信及び/または受信することができる。さらに、サーバシステム110は、特徴識別ツール101、データ取り込みツール102、スライド取り入れツール103、スライドスキャナ104、スライドマネージャ105、及び/または表示アプリケーションツール108のうちの少なくとも1つから受信した画像及びデータを記憶する記憶装置を含むことができる。サーバシステム110はまた、記憶装置に記憶された画像及びデータを処理するための処理装置を含むことができる。サーバシステム110は、例えば処理装置のために1つまたは複数の機械学習ツール(複数可)または機能をさらに含むことができる。代替的にまたは追加的に、本開示(または本開示のシステム及び方法の一部)は、ローカル処理装置(例えば、ラップトップ)で実行されてもよい。
上記のデバイス、ツール、及びモジュールのいずれも、1つまたは複数のコンピュータ、サーバ、及び/またはハンドヘルドモバイルデバイスを介してインターネットまたはクラウドサービスプロバイダなどの電子ネットワーク120に接続され得るデバイスに配置することができる。
図2は、本開示の例示的な実施形態による、デジタル化された病理画像の診断特徴を識別するためのツールを開発する例示的な方法を示すフローチャートである。例えば、例示的な方法200(例えば、ステップ202から206)は、特徴識別ツール101によって自動的に、またはユーザ(例えば、病理医、患者、腫瘍医など)からの要求に応じて実行され得る。
例示的な特徴識別ツールの開発:特徴識別ツールを開発するための例示的な方法200は、以下のステップのうちの1つまたは複数を含むことができる。ステップ202において、この方法は、病理標本(例えば、組織構造)の1つまたは複数のデジタル化された画像と、画像メタデータ、標本メタデータ(例えば、標本タイプ、利用可能な部品、全体的な説明など)、臨床情報(例えば、診断、バイオマーカー情報、検査結果など)、及び/または患者情報(デモグラフィックス、性別など)のうちの少なくとも1つを含む医療メタデータと、を受信することを含み得る。この方法は、処理された画像と予測される患者データとをアーカイブするパイプラインを開発することを含み得る。さらに、データはデジタル記憶装置(例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、RAMなど)に記憶されてもよい。ステップ204において、この方法は、機械学習モデルであって、処理された画像のアーカイブと予測される患者データ(例えば、組織タイプ、標本タイプ、染色タイプ、病理医など)とを使用して開発されている機械学習モデルを適用して、医療メタデータに基づいて複数の関連する診断特徴を予測すること含み得る。ステップ206において、この方法は、ディスプレイへの出力のために、関連する診断特徴のうちの少なくとも1つの関連する診断特徴を決定することを含み得る。予測結果は、ユーザのタイプ(例えば、病理医、患者、腫瘍医など)に応じて視覚的な出力に変換することができ、結果はユーザのタイプとユースケースに基づいたフォーマット(例えば、対話型、構造化、テンプレート化、静的など)で表示することができる。
図3は、本開示の例示的な実施形態による、デジタル化された病理画像の診断特徴を識別するためのツールを使用する例示的な方法を示すフローチャートである。例えば、例示的な方法300(例えば、ステップ302から306)は、特徴識別ツール101によって自動的に、またはユーザ(例えば、病理医、患者、腫瘍医など)からの要求に応じて実行され得る。
例示的な特徴識別ツールの使用:特徴識別ツールを使用するための例示的な方法300は、以下のステップのうちの1つまたは複数を含むことができる。ステップ302において、この方法は、病理標本(例えば、組織構造)の1つまたは複数のデジタル化された画像、関連する症例と患者情報(例えば、標本タイプ、症例及び患者ID、症例内の部位、全体的な説明など)、及び臨床システムからの情報(例えば、割り当てられた病理医、検査に使用できる標本など)を、デジタル記憶装置(例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、RAMなど)に受信することを含み得る。ステップ304において、予測、推奨、及び他のデータが電子記憶装置に送信され、ユーザ(例えば、病理医、腫瘍医、患者など)は、関心病巣が利用可能であることを知らされ得る。病理医は、視覚化またはレポートの確認をすることを選択できる。ステップ306では、関心病巣の視覚化が、1つまたは複数の関心ポイント(記述子または他のツールの有無にかかわらず)上の十字線(図4を参照)、及び/または1つまたは複数の関心領域(記述子または他のツールの有無にかかわらず)上の視野(図5を参照)の形で表示され得る。不規則な、非幾何学的または多角形の形状を有し得る関心領域の輪郭など、他の視覚インジケータも表示することができる。病理医は病巣とインタラクトして編集することができる、及び/または各関心各領域を優先順位または様々なその他の種類の順序で表示することができる。例えば、ディスプレイは自動的に変更され、ズームインするか、そうでなければ、診断関連性が最も高い第1の関心領域を示すことができる。病理医からクリックなどの指示を受け取ると、ディスプレイは自動的に変更され、ディスプレイの焦点が診断関連性の2番目に高い蓋然性を持つ第2の関心領域に移され得る。出力及び視覚化された領域は、臨床レポートシステム内の症例履歴の一部として記録することができる。
例示的な癌検出ツールの開発:癌検出ツールを開発するための例示的な方法は、以下のステップのうちの1つまたは複数を含むことができる。この方法は、病理標本(例えば、組織構造)の1つまたは複数のデジタル化された画像、関連情報(例えば、標本タイプ、利用可能な部品、全体的な説明など)、臨床情報(例えば、診断)、及び/または患者情報(デモグラフィックス、性別など)を受信するステップを含むことができる。この方法は、処理された画像と予測される患者データとをアーカイブするパイプラインを開発するステップを含むことができる。この方法は、データをデジタル記憶装置(例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、RAMなど)に記憶するステップを含むことができる。この方法は、ターゲット特徴が存在するかどうかを示すバイナリ出力を生成するステップを含むことができる。この方法は、特徴が存在する場合(例えば、癌が存在する場合)、全体スライド画像のすべてのポイントで癌の蓋然性を生成するステップを含むことができる。この方法は、予測結果を、ユーザ(例えば、病理医、患者、腫瘍医など)のために視覚化及び解釈できる形式に変換するステップを含むことができる。さらに、結果は、ユーザやユースケースに応じて様々な効果的な形式(例えば、対話型、構造化、テンプレート化、静的など)で表示できる。
例示的な癌検出ツールの使用:癌検出ツールを使用するための例示的な方法は、以下のステップのうちの1つまたは複数を含むことができる。この方法は、病理標本(例えば、組織構造)の1つまたは複数のデジタル化された画像、関連する症例及び患者情報(例えば、標本タイプ、症例及び患者ID、症例内の部位、全体的な説明など)、及び/または臨床システムからの情報(例えば、割り当てられた病理医、検査に使用できる標本など)を、デジタル記憶装置(例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、RAMなど)に受信するステップを含むことができる。この方法は、システムの予測、推奨、及びデータを電子記憶装置に出力するステップを含むことができる。ユーザ(例えば、病理医、腫瘍医、患者など)には、関心病巣及び/または関心領域が利用可能であることを認識させることができる。病理医は視覚化及び/またはレポートを確認することを選択できる。関心病巣の視覚化は、癌が潜んでいる統計的尤度が最も高い領域を示す1つの位置を表示する、癌が潜んでいる統計的尤度が最も高い領域を示す上位N個の位置を(例えば、ユーザの選好に基づいて)表示する、特徴が癌であるかどうかを決定するための決定境界の近辺(例えば、3ポイント上及び3ポイント下)の値を有する領域の1つまたは複数の位置を表示する、及び/またはスライド上の各組織片(例えば、個々のリンパ節)の予測を表示する、という形式にすることができる。視覚化は、記述子(例えば、統計的尤度など)及びその他のツール(例えば、編集、削除、移動など)で提供され得る。病理医は病巣とインタラクトして編集することができる。病理医は、優先順位に従って、または他のタイプの順序付けに基づいて、各関心領域に誘導される場合がある。出力及び視覚化された領域は、臨床レポートシステム内の症例履歴の一部として記録することができる。
例示的な細胞特徴ツールの開発:癌などの単一の特徴を検出するのではなく、1つまたは複数の実施形態を使用して、入力画像から複数の細胞特徴を予測することができる。細胞特徴ツールを開発するための例示的な方法は、以下のステップのうちの1つまたは複数を含むことができる。この方法は、病理標本(例えば、組織構造)の1つまたは複数のデジタル化された画像、関連情報(例えば、標本タイプ、利用可能な部品、全体的な説明など)、臨床情報(例えば、診断)、及び/または患者情報(デモグラフィックス、性別など)を受信するステップを含むことができる。この方法は、処理された画像と予測される患者データとをアーカイブするパイプラインを開発するステップを含むことができる。データはデジタル記憶装置(例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、RAMなど)に記憶されてもよい。この方法は、ターゲット特徴が存在するかどうかを示すバイナリ出力を生成するステップを含むことができる。この方法は、存在する特徴ごとに、各特徴が全体スライド画像に存在するすべての関連領域を識別するステップを含むことができる。この方法は、レポートで利用できる各特徴の総合スコアを計算するステップを含むことができる。この方法は、予測結果を、ユーザ(例えば、病理医、患者、腫瘍医など)のために視覚化及び解釈できる形式に変換するステップを含むことができる。結果は、ユーザやユースケースに応じて様々な効果的な形式(例えば、対話型、構造化、テンプレート化、静的など)で表示できる。
例示的な細胞機能ツールの使用:細胞特徴ツールを使用するための例示的な方法は、以下のステップのうちの1つまたは複数を含むことができる。この方法は、病理標本(例えば、組織構造)の1つまたは複数のデジタル化された画像、関連する症例及び患者情報(例えば、標本タイプ、症例及び患者ID、症例内の部位、全体的な説明など)、及び/または臨床システムからの情報(例えば、割り当てられた病理医、検査に使用できる標本など)を、デジタル記憶装置(例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、RAMなど)に受信するステップを含み得る。この方法は、システムの予測、推奨、及びデータを電子記憶装置に出力するステップを含むことができる。ユーザ(例えば、病理医、腫瘍医、患者など)には、関心病巣及び/または関心領域が利用可能であることを認識させることができる。病理医は視覚化及び/またはレポートを確認することを選択できる。関心病巣の視覚化は、最高密度の関心特徴(例えば、有糸分裂、腺状/管状分化、核多形性、基底細胞)を含む1つの位置を表示する、(ユーザは、どの特徴を表示または非表示にするかを選択できる)、癌が潜んでいる統計的尤度が最も高い領域を示す上位N個の位置を(例えば、ユーザの選好に基づいて)表示する、及び/または特徴が癌であるかどうかを決定するための決定境界の近辺(例えば、3ポイント上及び3ポイント下)の値を有する領域の1つまたは複数の位置を表示する、という形式にすることができる。この方法は、複数の特徴のインジケータを一度にまたは別々に表示するステップを含むことができる。視覚化は、記述子(例えば、統計的尤度など)及びその他のツール(例えば、編集、削除、移動など)で提供され得る。病理医は病巣とインタラクトして編集することができる。病理医は、優先順位に従って、または他のタイプの順序付けに基づいて、各関心領域に誘導される場合がある。出力及び視覚化された領域は、臨床レポートシステム内の症例履歴の一部として記録することができる。
例示的な癌グレードツールの開発:癌グレードツールを開発するための例示的な方法は、以下のステップのうちの1つまたは複数を含むことができる。この実施形態では、全体スライド画像における特定の癌グレードが存在する場合に、それらにユーザの注意を向けるための方法について説明する。この方法は、病理標本(例えば、組織構造)の1つまたは複数のデジタル化された画像、関連情報(例えば、標本タイプ、利用可能な部品、全体的な説明など)、臨床情報(例えば、診断)、及び患者情報(デモグラフィックス、性別など)を受信するステップを含むことができる。この方法は、処理された画像と予測される患者データとをアーカイブするパイプラインを開発するステップを含むことができる。データはデジタル記憶装置(例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、RAMなど)に記憶されてもよい。この方法は、ターゲット特徴が存在するかどうかを示すバイナリ出力を生成するステップを含むことができる。この方法は、特徴が存在する場合(例えば、癌のグレード)、各特徴が全体スライド画像に存在するすべての関連領域を識別するステップを含むことができる。この方法は、レポートで利用できる各特徴の総合スコアを計算するステップを含むことができる。この方法は、予測結果を、ユーザ(例えば、病理医、患者、腫瘍医など)のために視覚化及び解釈できる形式に変換するステップを含むことができる。結果は、ユーザやユースケースに応じて様々な効果的な形式(例えば、対話型、構造化、テンプレート化、静的など)で表示できる。
例示的な癌グレードツールの使用:癌グレードツールを使用するための例示的な方法は、以下のステップのうちの1つまたは複数を含むことができる。この方法は、病理標本(例えば、組織構造)の1つまたは複数のデジタル化された画像、関連する症例及び患者情報(例えば、標本タイプ、症例及び患者ID、症例内の部位、全体的な説明など)、及び/または臨床システムからの情報(例えば、割り当てられた病理医、検査に使用できる標本など)を、デジタル記憶装置(例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、RAMなど)に受信するステップを含むことができる。この方法は、システムの予測、推奨、及びデータを電子記憶装置に出力するステップを含むことができる。ユーザ(例えば、病理医、腫瘍医、患者など)は、関心病巣及び/または関心領域が利用可能であることを認識させられる。病理医は視覚化及び/またはレポートを確認することを選択できる。関心病巣の視覚化は、特定のグレードの癌(例えば、前立腺癌の場合はグリソングレード3、4、5、乳癌の場合はグレード1、2、3、肺癌の場合はグレード1、2、3、4など)を表す最も高い統計的尤度を含む1つの位置を表示する、癌のグレードを表しているか潜ませている統計的尤度が最も高い領域を示す上位N個の位置を(例えば、ユーザの選好に基づいて)表示する、及び/または特徴が癌であるかどうかを決定するための決定境界の近辺(例えば、3ポイント上及び3ポイント下)の値を有する領域の1つまたは複数の位置を表示する、という形式にすることができる。この方法は、複数の特徴のインジケータを一度にまたは別々に表示するステップを含むことができる。視覚化は、記述子(例えば、統計的尤度など)及びその他のツール(例えば、編集、削除、移動など)で提供され得る。病理医は病巣とインタラクトして編集することができる。病理医は、優先順位に従って、または他のタイプの順序付けに基づいて、各関心領域に誘導される場合がある。出力及び視覚化された領域は、臨床レポートシステム内の症例履歴の一部として記録することができる。
例示的な癌タイプツールの開発:癌タイプツールを開発するための例示的な方法は、以下のステップのうちの1つまたは複数を含むことができる。一部の組織では、複数の形態の癌が発生する場合がある(例、小葉癌及び乳管癌)。一実施形態によれば、画像に存在する癌のタイプにユーザの注意を向けることができる。この方法は、病理標本(例えば、組織構造)の1つまたは複数のデジタル化された画像、関連情報(例えば、標本タイプ、利用可能な部品、全体的な説明など)、臨床情報(例えば、診断)、及び患者情報(デモグラフィックス、性別など)を受信するステップを含むことができる。この方法は、処理された画像と予測される患者データとをアーカイブするパイプラインを開発するステップを含むことができる。データはデジタル記憶装置(例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、RAMなど)に記憶されてもよい。この方法は、ターゲット特徴が存在するかどうかを示すバイナリ出力を生成するステップを含むことができる。この方法は、特徴が存在する場合(例えば、癌のサブタイプ)、各特徴が全体スライド画像に存在するすべての関連領域を識別するステップを含むことができる。この方法は、レポートで利用できる各特徴の総合スコアを計算するステップを含むことができる。この方法は、予測結果を、ユーザ(例えば、病理医、患者、腫瘍医など)のために視覚化及び解釈できる形式に変換するステップを含むことができる。結果は、ユーザやユースケースに応じて様々な効果的な形式(例えば、対話型、構造化、テンプレート化、静的など)で表示できる。
例示的な癌タイプツールの使用:癌タイプツールを使用するための例示的な方法は、以下のステップのうちの1つまたは複数を含むことができる。この方法は、病理標本(例えば、組織構造)の1つまたは複数のデジタル化された画像、関連する症例及び患者情報(例えば、標本タイプ、症例及び患者ID、症例内の部位、全体的な説明など)、及び/または臨床システムからの情報(例えば、割り当てられた病理医、検査に使用できる標本など)を、デジタル記憶装置(例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、RAMなど)に受信するステップを含むことができる。この方法は、システムの予測、推奨、及びデータを電子記憶装置に出力するステップを含むことができる。ユーザ(例えば、病理医、腫瘍医、患者など)には、関心病巣及び/または関心領域が利用可能であることを認識させることができる。病理医は視覚化及び/またはレポートを確認することを選択できる。関心病巣の視覚化は、癌のサブタイプ(例えば、小葉乳管癌、皮膚癌の黒色腫)を表す最も高い統計的尤度を含む1つの位置を表示する、癌のサブタイプを表しているか潜ませている統計的尤度が最も高い領域を示す上位N個の位置を(例えば、ユーザの選好に基づいて)表示する、特徴が癌のサブタイプであるかどうかを決定するための決定境界の近辺(例えば、3ポイント上及び3ポイント下)の値を有する領域の1つまたは複数の位置を表示する、という形式にすることができる。この方法は、複数の特徴のインジケータを一度にまたは別々に表示するステップを含むことができる。視覚化は、記述子(例えば、統計的尤度など)及びその他のツール(例えば、編集、削除、移動など)で提供され得る。病理医は病巣とインタラクトして編集することができる。病理医は、優先順位に従って、または他のタイプの順序付けに基づいて、各関心領域に誘導される場合がある。出力及び視覚化された領域は、臨床レポートシステム内の症例履歴の一部として記録することができる。
例示的な非癌性特徴ツールの開発:非癌性特徴ツールを開発するための例示的な方法は、以下のステップのうちの1つまたは複数を含むことができる。一実施形態によれば、方法は、他の非癌特徴、例えば、乳房組織における石灰化を識別すること、または膀胱組織サンプルにおける固有筋層を識別することを含む。この方法は、病理標本(例えば、組織構造)の1つまたは複数のデジタル化された画像、関連情報(例えば、標本タイプ、利用可能な部品、全体的な説明など)、臨床情報(例えば、診断)、及び患者情報(デモグラフィックス、性別など)を受信するステップを含み得る。この方法は、処理された画像と予測される患者データとをアーカイブするパイプラインを開発するステップを含み得る。データはデジタル記憶装置(例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、RAMなど)に記憶されてもよい。この方法は、ターゲット特徴が存在するかどうかを示すバイナリ出力を生成するステップを含むことができる。この方法は、特徴が存在する場合(例えば、非癌性だが疑わしい特徴)、各特徴が全体スライド画像に存在するすべての関連領域を識別するステップを含むことができる。この方法は、レポートで利用できる各特徴の総合スコアを計算するステップを含むことができる。この方法は、予測結果を、ユーザ(例えば、病理医、患者、腫瘍医など)のために視覚化及び解釈できる形式に変換するステップを含むことができる。結果は、ユーザやユースケースに応じて様々な効果的な形式(例えば、対話型、構造化、テンプレート化、静的など)で表示できる。
例示的な非癌性特徴ツールの使用:非癌性特徴ツールを使用するための例示的な方法は、以下のステップのうちの1つまたは複数を含むことができる。この方法は、病理標本(例えば、組織構造)の1つまたは複数のデジタル化された画像、関連する症例及び患者情報(例えば、標本タイプ、症例及び患者ID、症例内の部位、全体的な説明など)、及び/または臨床システムからの情報(例えば、割り当てられた病理医、検査に使用できる標本など)を、デジタル記憶装置(例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、RAMなど)に受信するステップを含むことができる。この方法は、システムの予測、推奨、及びデータを電子記憶装置に出力するステップを含むことができる。ユーザ(例えば、病理医、腫瘍医、患者など)には、関心病巣及び/または関心領域が利用可能であることを認識させることができる。病理医は視覚化及び/またはレポートを確認することを選択できる。関心病巣の視覚化は、特定のグレードの癌(例えば、真皮サンプルの真菌、結腸サンプルの細菌など)を表す最も高い統計的尤度を含む1つの位置を表示する、臨床病理学的特徴を表しているか潜ませている統計的尤度が最も高い領域を示す上位N個の位置を(例えば、ユーザの選好に基づいて)表示する、及び/または特徴が疑わしいかどうかを決定するための決定境界の近辺(例えば、3ポイント上及び3ポイント下)の値を有する領域の1つまたは複数の位置を表示する、という形式にすることができる。この方法は、複数の特徴のインジケータを一度にまたは別々に表示するステップを含むことができる。視覚化は、記述子(例えば、統計的尤度など)及びその他のツール(例えば、編集、削除、移動など)で提供され得る。病理医は病巣とインタラクトして編集することができる。病理医は、優先順位に従って、または他のタイプの順序付けに基づいて、各関心領域に誘導される場合がある。出力及び視覚化された領域は、臨床レポートシステム内の症例履歴の一部として記録することができる。
例示的な浸潤ツールの開発:癌の病理学において、病理医の仕事の1つは、浸潤が存在するかどうかを決定することである。浸潤ツールを開発するための例示的な方法は、以下のステップのうちの1つまたは複数を含むことができる。この方法は、病理標本(例えば、組織構造)の1つまたは複数のデジタル化された画像、関連情報(例えば、標本タイプ、利用可能な部品、全体的な説明など)、臨床情報(例えば、診断)、及び患者情報(デモグラフィックス、性別など)を受信するステップを含み得る。この方法は、処理された画像と予測される患者データとをアーカイブするパイプラインを開発するステップを含み得る。データはデジタル記憶装置(例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、RAMなど)に記憶されてもよい。この方法は、ターゲット特徴が存在するかどうかを示すバイナリ出力を生成するステップを含むことができる。この方法は、特徴が存在する場合(例えば、癌の浸潤)、各特徴が全体スライド画像に存在するすべての関連領域を識別するステップを含むことができる。この方法は、レポートで利用できる各特徴の総合スコアを計算するステップを含むことができる。この方法は、予測結果を、ユーザ(例えば、病理医、患者、腫瘍医など)のために視覚化及び解釈できる形式に変換するステップを含むことができる。結果は、ユーザやユースケースに応じて様々な効果的な形式(例えば、対話型、構造化、テンプレート化、静的など)で表示できる。
例示的な浸潤ツールの使用:浸潤ツールを使用するための例示的な方法は、以下のステップのうちの1つまたは複数を含むことができる。この方法は、病理標本(例えば、組織構造)の1つまたは複数のデジタル化された画像、関連する症例及び患者情報(例えば、標本タイプ、症例及び患者ID、症例内の部位、全体的な説明など)、及び/または臨床システムからの情報(例えば、割り当てられた病理医、検査に使用できる標本など)を、デジタル記憶装置(例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、RAMなど)に受信するステップを含むことができる。この方法は、システムの予測、推奨、及びデータを電子記憶装置に出力するステップを含むことができる。ユーザ(例えば、病理医、腫瘍医、患者など)には、関心病巣及び/または関心領域が利用可能であることを認識させることができる。病理医は視覚化及び/またはレポートを確認することを選択できる。関心病巣の視覚化は、浸潤癌の証拠(例えば、乳癌の微小浸潤、膀胱癌の固有筋層浸潤、前立腺癌の神経周囲浸潤など)を表す最も高い統計的尤度を含む1つの位置を表示する、癌浸潤の証拠を表しているか潜ませている統計的尤度が最も高い領域を示す上位N個の位置を(例えば、ユーザの選好に基づいて)表示する、及び/または、特徴が侵襲的かどうかを決定するための決定境界の近辺(例えば、3ポイント上及び3ポイント下)の値を有する領域の1つまたは複数の位置を表示する、という形式にすることができる。この方法は、複数の特徴のインジケータを一度にまたは別々に表示するステップを含むことができる。視覚化は、記述子(例えば、統計的尤度など)及びその他のツール(例えば、編集、削除、移動など)で提供され得る。病理医は病巣とインタラクトして編集することができる。病理医は、優先順位に従って、または他のタイプの順序付けに基づいて、各関心領域に誘導される場合がある。出力及び視覚化された領域は、臨床レポートシステム内の症例履歴の一部として記録することができる。
1つまたは複数の実施形態によれば、全体スライド画像の限定された数の領域または視野が病理医に表示されてもよく、これらの選択された領域は、診断プロセス(例えば、癌の検出、グレード付け、トリアージなど)における特定のタスクを完了するのに十分であり得る。
1つまたは複数の実施形態は、病院、検査室、医療センターの臨床ワークフロー内で(1)ウェブアプリケーション(クラウドベースまたはオンプレミス)、(2)モバイルアプリケーション、(3)対話型レポート、(4)静的レポート、及び/または(5)ダッシュボードとして実装することができる。
使いやすさを改善するために、1つまたは複数の実施形態は、顕著な情報を含む領域(複数可)が概観情報を含むレポートに編成できるように、または対話型の確認/編集が全体スライド画像の確認中に病理医によって促進され得るように、実装することができる。
1つまたは複数の実施形態は、単一の全体スライド画像上で複数の特徴を視覚化できるように実装することができる。
1つまたは複数の実施形態による技術ワークフローは次のとおりである。デジタル化された全体スライド画像を作成することができ、一部またはすべてのメタデータが病院及びハードウェアデータベースから入手可能であり、画像及び対応するデータを人工知能(AI)ベースのシステムに渡し、出力を生成することができ、及び/または、一部の出力は、関心クエリ(例えば、癌、核の特徴、細胞数など)に基づいて、視覚化(例えば、1つまたは複数のポイントまたは領域)を生成して病理医に表示するシステムに供給され得る。
加えて、本開示の1つまたは複数の実施形態は、事前スクリーニングのために(すなわち、病理医が画像を確認する前に)、及び/または診断(例えば、品質保証)がなされた後に、使用され得る。
図6に示すように、デバイス600は、中央処理装置(CPU)620を含み得る。CPU620は、例えば、任意のタイプの専用または汎用マイクロプロセッサデバイスを含む、任意のタイプのプロセッサデバイスであり得る。当業者によって認識されるように、CPU620はまた、単独で動作しているマルチコア/マルチプロセッサシステム内、または、クラスタもしくはサーバファームにおいて動作するコンピューティングデバイスのクラスタ内の、単一のプロセッサであり得る。CPU620は、データ通信インフラストラクチャ610、例えば、バス、メッセージ待ち行列、ネットワーク、またはマルチコアメッセージ受け渡しスキームに接続され得る。
デバイス600はまた、メインメモリ640、例えば、ランダムアクセスメモリ(RAM)をも含んでもよく、また二次メモリ630を含んでもよい。二次メモリ630、例えば読み取り専用メモリ(ROM)は、例えば、ハードディスクドライブまたは取り外し可能な記憶ドライブであり得る。このような取り外し可能な記憶ドライブは、例えば、フロッピー(登録商標)ディスクドライブ、磁気テープドライブ、光ディスクドライブ、フラッシュメモリ、または同様のものを含み得る。取り外し可能な記憶ドライブはこの例では、周知の手法で取り外し可能な記憶ユニットから読み出し、及び/またはこれに書き込む。取り外し可能な記憶ユニットは、取り外し可能な記憶ドライブによって読み出し及び書き込みされるフロッピー(登録商標)ディスク、磁気テープ、光ディスク等を含み得る。当業者によって認識されるように、このような取り外し可能な記憶ユニットは、そこにコンピュータソフトウェア及び/またはデータを記憶したコンピュータ使用可能な記憶媒体を含む。
代替的な実装において、二次メモリ630は、コンピュータプログラムまたは他の命令がデバイス600にロードされることを可能にする他の類似の手段を含み得る。このような手段の例は、プログラムカートリッジ及びカートリッジインタフェース(ビデオゲーム機器において見られるものなど)、取り外し可能なメモリチップ(EPROM、またはPROMなど)及び関連するソケット、ならびに、他の取り外し可能な記憶ユニットと、ソフトウェア及びデータが取り外し可能な記憶ユニットからデバイス600へと転送されることを可能にするインタフェースを含み得る。
デバイス600はまた、通信インタフェース(「COM」)660を含み得る。通信インタフェース660は、ソフトウェア及びデータが、デバイス600と外部デバイスとの間で転送されることを可能にする。通信インタフェース660は、モデム、ネットワークインタフェース(イーサネット(登録商標)カード等)、通信ポート、PCMCIAスロット及びカード、または同様のものを含み得る。通信インタフェース660を経由して転送されるソフトウェア及びデータは、信号の形式であってもよく、これは通信インタフェース660によって受信することのできる電子、電磁、光、または他の信号であり得る。これらの信号は通信インタフェース660に、デバイス600の通信パスを介して提供することができ、この通信パスは、例えば、ワイヤもしくはケーブル、光ファイバ、電話回線、携帯電話のリンク、RFリンクまたは他の通信チャネルを使用して実装され得る。
このような機器のハードウェア要素、オペレーティングシステム、及びプログラミング言語は、本質的に従来のものであり、当業者は十分に熟知していると思われる。デバイス600はまた、キーボード、マウス、タッチスクリーン、モニター、ディスプレイなどの入出力デバイスと接続するための入出力ポート650を含むことができる。もちろん、様々なサーバ機能は、複数の同様のプラットフォーム上に分散形態で実装されて、処理負荷を分散することができる。あるいは、サーバは、1コンピュータのハードウェアプラットフォームの適切なプログラミングによって実装することもできる。
この開示を通じて、コンポーネントまたはモジュールへの言及は、一般に、論理的に一緒にグループ化して機能または関連する機能のグループを実行することができる項目を指す。同様の参照番号は、一般に、同一または類似のコンポーネントを指すことを意図している。コンポーネントとモジュールは、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの組み合わせで実装できる。
上述のツール、モジュール、及び機能は、1つまたは複数のプロセッサによって実行され得る。「ストレージ」タイプのメディアは、コンピュータ、プロセッサなどの有形のメモリ、または、ソフトウェアプログラミングのためにいつでも非一時的なストレージを提供することができる様々な半導体メモリ、テープドライブ、ディスクドライブなどの関連モジュールのいずれかまたはすべてを含むことができる。
ソフトウェアは、インターネット、クラウドサービスプロバイダ、またはその他の電気通信ネットワークを介して伝達することができる。例えば、通信によって、あるコンピュータまたはプロセッサから別のコンピュータまたはプロセッサにソフトウェアをロードすることができる。本明細書で使用される場合、非一時的で有形の「記憶」媒体に限定されない限り、コンピュータまたはマシン「可読媒体」などの用語は、実行のためにプロセッサに命令を提供することに関与する任意の媒体を指す。
前述の一般的な説明は、例示的及び説明的なものに過ぎず、本開示を限定するものではない。本発明の他の実施形態は、本明細書に開示された発明の明細及び実施を考慮すれば当業者には明らかであろう。本明細書及び実施例は、単なる例示と見なされることを意図している。
Claims (20)
- デジタル化された病理画像の診断特徴を識別するためのコンピュータ実装方法であって、
病理標本の1つまたは複数のデジタル化された画像と、画像メタデータ、標本メタデータ、臨床情報及び/または患者情報のうちの少なくとも1つを含む医療メタデータとを受信することと、
機械学習モデルであって、処理された画像のアーカイブと予測される患者データとを使用して開発されている前記機械学習モデルを適用して、医療メタデータに基づいて複数の関連する診断特徴を予測することと、
ディスプレイへの出力のために、前記関連する診断特徴のうちの少なくとも1つの関連する診断特徴を決定することと、
を含む、前記コンピュータ実装方法。 - 前記少なくとも1つの関連する診断特徴を決定することが、
前記複数の関連する診断特徴のそれぞれについて診断関連性の蓋然性を決定することと、
前記ディスプレイへの出力のために、前記複数の関連する診断特徴の中から最高の蓋然性を決定することと、
をさらに含む、請求項1に記載のコンピュータ実装方法。 - 前記少なくとも1つの関連する診断特徴を決定することが、
前記ディスプレイへの出力のために、前記複数の関連する診断特徴の中から所定の値を超える診断関連性の少なくとも1つの蓋然性を決定すること
をさらに含む、請求項1に記載のコンピュータ実装方法。 - 前記少なくとも1つの関連する診断特徴を決定することが、
前記ディスプレイへの出力のために、前記複数の関連する診断特徴の中から診断関連性の最も高い蓋然性の所定の数を決定すること
をさらに含む、請求項1に記載のコンピュータ実装方法。 - 前記複数の関連する診断特徴のそれぞれの診断関連性の蓋然性のランキングを決定することと、
診断関連性の蓋然性の前記ランキングの前記決定に基づいて、前記関連する診断特徴のそれぞれに順番に自動的に前記ディスプレイの焦点を合わせることと、
ユーザ入力を受信して、第1の関連診断特徴から第2の関連診断特徴に前記ディスプレイの焦点を変更することと、
をさらに含む、請求項1に記載のコンピュータ実装方法。 - 少なくとも1つの関心領域が、デジタル化された病理画像上に示される、請求項1に記載のコンピュータ実装方法。
- 前記少なくとも1つの関心領域が、輪郭、十字線のセット、またはテキスト記述子によって示される、請求項6に記載のコンピュータ実装方法。
- 前記方法が、データの集合をデジタル記憶装置に記憶することをさらに含む、請求項1に記載のコンピュータ実装方法。
- 前記方法が、全体スライド画像のすべてのポイントのバイオマーカー、癌、及び/または組織学的特徴の蓋然性を生成することをさらに含む、請求項1に記載のコンピュータ実装方法。
- 前記方法が、選択された領域にターゲット特徴が存在するかどうかを示すバイナリ出力を生成することをさらに含む、請求項1に記載のコンピュータ実装方法。
- 前記方法が、全体スライド画像に前記ターゲット特徴が存在する関連領域のセットを識別することをさらに含む、請求項10に記載のコンピュータ実装方法。
- 前記方法が、各ターゲット特徴の総合スコアを計算することをさらに含む、請求項11に記載のコンピュータ実装方法。
- デジタル化された病理画像の診断特徴を識別するためのシステムであって、
命令を記憶する少なくとも1つのメモリと、
少なくとも1つのプロセッサであって、前記命令を実行して、
病理標本の1つまたは複数のデジタル化された画像と、画像メタデータ、標本メタデータ、臨床情報及び/または患者情報のうちの少なくとも1つを含む医療メタデータとを受信することと、
機械学習モデルであって、処理された画像のアーカイブと予測される患者データとを使用して開発されている前記機械学習モデルを適用して、医療メタデータに基づいて複数の関連する診断特徴を予測することと、
ディスプレイへの出力のために、前記関連する診断特徴のうちの少なくとも1つの関連する診断特徴を決定することと、
を含む動作を実行するように構成された、前記少なくとも1つのプロセッサと、
を含む、前記システム。 - 前記少なくとも1つの関連する診断特徴を決定することが、
前記複数の関連する診断特徴のそれぞれについて診断関連性の蓋然性を決定することと、
前記ディスプレイへの出力のために、前記複数の関連する診断特徴の中から最高の蓋然性を決定することと、
をさらに含む、請求項13に記載のシステム。 - 前記少なくとも1つの関連する診断特徴を決定することが、
前記ディスプレイへの出力のために、前記複数の関連する診断特徴の中から所定の値を超える診断関連性の少なくとも1つの蓋然性を決定すること
をさらに含む、請求項13に記載のシステム。 - 前記少なくとも1つの関連する特徴を決定することが、
前記ディスプレイへの出力のために、前記複数の関連する診断特徴の中から診断関連性の最も高い蓋然性の所定の数を決定すること
をさらに含む、請求項13に記載のシステム。 - 前記複数の関連する診断特徴のそれぞれの診断関連性の蓋然性のランキングを決定することと、
診断関連性の蓋然性の前記ランキングの前記決定に基づいて、前記関連する診断特徴のそれぞれに順番に自動的に前記ディスプレイの焦点を合わせることと、
ユーザ入力を受信して、第1の関連診断特徴から第2の関連診断特徴に前記ディスプレイの焦点を変更することと、
をさらに含む、請求項13に記載のシステム。 - 少なくとも1つの関心領域が、デジタル化された病理画像上に示される、請求項13に記載のシステム。
- 前記少なくとも1つの関心領域が、輪郭、十字線のセット、またはテキスト記述子によって示される、請求項13に記載のシステム。
- プロセッサによって実行されるとデジタル化された病理画像の診断特徴を識別する方法を実行するための命令を記憶する、非一時的なコンピュータ可読媒体であって、前記方法は、
命令を記憶する少なくとも1つのメモリと、
少なくとも1つのプロセッサであって、前記命令を実行して、
病理標本の1つまたは複数のデジタル化された画像と、画像メタデータ、標本メタデータ、臨床情報及び/または患者情報のうちの少なくとも1つを含む医療メタデータとを受信することと、
機械学習モデルであって、処理された画像のアーカイブと予測される患者データとを使用して開発されている前記機械学習モデルを適用して、医療メタデータに基づいて複数の関連する診断特徴を予測することと、
ディスプレイへの出力のために、前記関連する診断特徴のうちの少なくとも1つの関連する診断特徴を決定することと、
を含む動作を実行するように構成された、前記少なくとも1つのプロセッサと、
を含む、前記非一時的なコンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063021955P | 2020-05-08 | 2020-05-08 | |
US63/021,955 | 2020-05-08 | ||
PCT/US2021/031058 WO2021226322A1 (en) | 2020-05-08 | 2021-05-06 | Systems and methods to process electronic images to determine salient information in digital pathology |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023524982A true JP2023524982A (ja) | 2023-06-14 |
Family
ID=76197587
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022567284A Pending JP2023524982A (ja) | 2020-05-08 | 2021-05-06 | デジタル病理学における顕著な情報を決定するために電子画像を処理するシステム及び方法 |
Country Status (9)
Country | Link |
---|---|
US (2) | US11574140B2 (ja) |
EP (1) | EP4147247A1 (ja) |
JP (1) | JP2023524982A (ja) |
KR (1) | KR20230021665A (ja) |
CN (1) | CN115461821A (ja) |
AU (1) | AU2021267894A1 (ja) |
BR (1) | BR112022022429A2 (ja) |
CA (1) | CA3176890A1 (ja) |
WO (1) | WO2021226322A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115461821A (zh) * | 2020-05-08 | 2022-12-09 | 佩治人工智能公司 | 处理电子图像以确定数字病理学中的凸显信息的系统和方法 |
USD1027977S1 (en) * | 2021-06-28 | 2024-05-21 | Gestalt Diagnostics, LLC | Display screen or portion thereof having a graphical user interface |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5261406A (en) * | 1991-01-15 | 1993-11-16 | Medasys Inc. | Whole body imaging system |
US6862470B2 (en) * | 1999-02-02 | 2005-03-01 | Senorx, Inc. | Cavity-filling biopsy site markers |
US7664604B1 (en) * | 2001-11-30 | 2010-02-16 | University Of South Florida | Breast cancer risk analysis and computer-aided diagnosis |
US7244230B2 (en) * | 2002-11-08 | 2007-07-17 | Siemens Medical Solutions Usa, Inc. | Computer aided diagnostic assistance for medical imaging |
US7529394B2 (en) * | 2003-06-27 | 2009-05-05 | Siemens Medical Solutions Usa, Inc. | CAD (computer-aided decision) support for medical imaging using machine learning to adapt CAD process with knowledge collected during routine use of CAD system |
EP1780651A1 (en) * | 2005-10-25 | 2007-05-02 | Bracco Imaging, S.P.A. | Method and system for automatic processing and evaluation of images, particularly diagnostic images |
US9779213B2 (en) * | 2008-07-25 | 2017-10-03 | Fundacao D. Anna Sommer Champalimaud E Dr. Carlos Montez Champalimaud | System for evaluating a pathological stage of prostate cancer |
US20130080134A1 (en) * | 2008-07-25 | 2013-03-28 | Fundação D. Anna Sommer Champalimaud e Dr. Carlos Montez Champalimaud | Systems and methods for predicting favorable-risk disease for patients enrolled in active surveillance |
WO2013175683A1 (ja) * | 2012-05-24 | 2013-11-28 | 日本電気株式会社 | 病理診断結果判定システム、病理診断結果判定方法および病理診断結果判定装置 |
US10061003B2 (en) * | 2014-09-01 | 2018-08-28 | bioProtonics, L.L.C. | Selective sampling for assessing structural spatial frequencies with specific contrast mechanisms |
US11636288B2 (en) | 2017-11-06 | 2023-04-25 | University Health Network | Platform, device and process for annotation and classification of tissue specimens using convolutional neural network |
CN111542830A (zh) | 2017-12-29 | 2020-08-14 | 徕卡生物系统成像股份有限公司 | 利用卷积神经网络处理组织学图像以识别肿瘤 |
CA3095056A1 (en) * | 2018-04-13 | 2019-10-17 | Freenome Holdings, Inc. | Machine learning implementation for multi-analyte assay of biological samples |
US20190392944A1 (en) * | 2018-06-22 | 2019-12-26 | General Electric Company | Method and workstations for a diagnostic support system |
US11638572B2 (en) * | 2018-10-25 | 2023-05-02 | BFLY Operations, Inc | Methods and apparatus for performing measurements on an ultrasound image |
US10957442B2 (en) * | 2018-12-31 | 2021-03-23 | GE Precision Healthcare, LLC | Facilitating artificial intelligence integration into systems using a distributed learning platform |
CN115461821A (zh) * | 2020-05-08 | 2022-12-09 | 佩治人工智能公司 | 处理电子图像以确定数字病理学中的凸显信息的系统和方法 |
-
2021
- 2021-05-06 CN CN202180033787.XA patent/CN115461821A/zh active Pending
- 2021-05-06 JP JP2022567284A patent/JP2023524982A/ja active Pending
- 2021-05-06 KR KR1020227043129A patent/KR20230021665A/ko unknown
- 2021-05-06 BR BR112022022429A patent/BR112022022429A2/pt not_active Application Discontinuation
- 2021-05-06 AU AU2021267894A patent/AU2021267894A1/en active Pending
- 2021-05-06 CA CA3176890A patent/CA3176890A1/en active Pending
- 2021-05-06 US US17/313,617 patent/US11574140B2/en active Active
- 2021-05-06 EP EP21729111.1A patent/EP4147247A1/en active Pending
- 2021-05-06 WO PCT/US2021/031058 patent/WO2021226322A1/en unknown
-
2023
- 2023-01-05 US US18/150,491 patent/US20230147471A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN115461821A (zh) | 2022-12-09 |
KR20230021665A (ko) | 2023-02-14 |
US20210350166A1 (en) | 2021-11-11 |
BR112022022429A2 (pt) | 2022-12-13 |
US20230147471A1 (en) | 2023-05-11 |
US11574140B2 (en) | 2023-02-07 |
EP4147247A1 (en) | 2023-03-15 |
WO2021226322A1 (en) | 2021-11-11 |
AU2021267894A1 (en) | 2022-12-08 |
CA3176890A1 (en) | 2021-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11893510B2 (en) | Systems and methods for processing images to classify the processed images for digital pathology | |
KR102488986B1 (ko) | 디지털 병리학을 위한 슬라이드들의 처리된 이미지들을 자동으로 우선순위화하기 위해 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들 | |
US11551357B2 (en) | Systems and methods for processing images of slides for digital pathology | |
US20230147471A1 (en) | Systems and methods to process electronic images to determine salient information in digital pathology | |
KR102553095B1 (ko) | 디지털 바이오마커들 및 게놈 패널들의 전달을 위한 시스템들 및 방법들 | |
CN115210772B (zh) | 用于处理通用疾病检测的电子图像的系统和方法 | |
JP2023509704A (ja) | 疾患の算出査定のために電子画像を処理するためのシステムおよび方法 | |
JP7212339B1 (ja) | 品質制御のために電子画像を分析するためのシステムおよび方法 | |
US20240112338A1 (en) | Systems and methods to process electronic images to produce a tissue map visualization | |
JP2024500100A (ja) | デジタル病理学ワークフロー用のスライドの電子画像を処理するためのシステム及び方法 |