JP7150289B2 - デジタル病理学のための処理された画像に関するスライドを調製するために画像を処理するためのシステムおよび方法 - Google Patents

デジタル病理学のための処理された画像に関するスライドを調製するために画像を処理するためのシステムおよび方法 Download PDF

Info

Publication number
JP7150289B2
JP7150289B2 JP2021570179A JP2021570179A JP7150289B2 JP 7150289 B2 JP7150289 B2 JP 7150289B2 JP 2021570179 A JP2021570179 A JP 2021570179A JP 2021570179 A JP2021570179 A JP 2021570179A JP 7150289 B2 JP7150289 B2 JP 7150289B2
Authority
JP
Japan
Prior art keywords
additional
automatically
slides
test
slide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021570179A
Other languages
English (en)
Other versions
JP2022530280A (ja
Inventor
レンティーニ ロドリーゴ セバージョス,
クリストファー カナン,
パトリシア ラシティ,
レオ グラディー,
トーマス フックス,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Paige AI Inc
Original Assignee
Paige AI Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Paige AI Inc filed Critical Paige AI Inc
Publication of JP2022530280A publication Critical patent/JP2022530280A/ja
Application granted granted Critical
Publication of JP7150289B2 publication Critical patent/JP7150289B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Sampling And Sample Adjustment (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Processing (AREA)

Description

(関連出願)
本願は、その全開示が本明細書に参照することによってその全体として本明細書に組み込まれる2019年5月28日に出願された米国仮出願第62/853,383号の優先権を主張する。
(開示の分野)
本開示の種々の実施形態は、概して、病理学スライド調製および関連する画像処理方法に関する。より具体的に、本開示の特定の実施形態は、組織試料の画像を処理することに基づいて診断を提供するための十分な情報を欠いているスライドを識別または検出するためのシステムおよび方法に関する。本開示は、組織試料の画像処理に基づいて診断を提供するための十分なデータを含み得る追加のスライドを自動的に要請する(order)ためのシステムおよび方法をさらに提供する。
病理学試料は、病理医が検査し、診断を下すために、複数の区分に切断され、スライドとして調製され、染色され得る。スライド上の診断所見が不確かであるとき、病理医は、組織からより多くの情報を集めるために、追加の切断レベル、染色、または他の試験を要請し得る。技師が、次いで、病理医が診断を行うことにおいて使用するための追加の情報を含み得る新しいスライドを作成し得る。追加のスライドを作成するこのプロセスは、それが組織のブロックを回収し、新しいスライドを作成するためにブロックを切断し、次いで、スライドを染色することを伴うのみならず、それが複数の要請に関してバッチ処理され得るので、時間がかかり得る。これは、病理医が下す最終診断を著しく遅らせ得る。遅延後であっても、新しいスライドは、依然として、診断を下すために十分な情報を有していないこともある。
スライド調製プロセスを促進または合理化し、病理学スライドが、スライドが病理医によって精査されるときまでに診断を下すために十分な情報を有することを確実にする方法に関する要求が、存在する。開示される実施形態は、病理医がスライドを精査する前、スライドが診断を下すために十分な情報を提供し得ることを確実にする。開示される実施形態は、病理医が診断を下すために不十分な情報を提供するスライドを精査する手間を省き得る。
前述の一般的な説明および以下の発明を実施するための形態は、例示的かつ解説的にすぎず、本開示の制限ではない。本明細書に提供される背景説明は、概して、本開示の文脈を提示する目的のためのものである。本明細書に別様に示されない限り、本節に説明される資料は、本願における請求項に対する従来技術ではなく、本節における包含によって、従来技術または従来技術の示唆であるように認められない。
本開示のある側面によると、デジタル病理学画像からの組織試料の画像分析に基づいて、追加のスライドを要請することを決定するためのシステムおよび方法が、開示される。
試料に対応する電子画像を処理するためのコンピュータ実装方法は、標的試料に対応するスライドの標的電子画像を受信することであって、標的試料は、患者からの組織サンプルを含む、ことと、機械学習システムを標的電子画像に適用し、標的試料に関連付けられた不足を決定することであって、機械学習システムは、染色不足を予測すること、および/または必要とされる再切断を予測することを行うために、複数の訓練画像を処理することによって発生させられており、訓練画像は、ヒト組織の画像および/またはアルゴリズム的に発生させられた画像を含む、ことと、標的試料に関連付けられた不足に基づいて、追加のスライドが調製されるように自動的に要請することを決定することとを含む。
別の実施形態によると、試料に対応する電子画像を処理するためのシステムは、命令を記憶している少なくとも1つのメモリと、少なくとも1つのプロセッサとを含み、少なくとも1つのプロセッサは、標的試料に対応するスライドの標的電子画像を受信することであって、標的試料は、患者からの組織サンプルを含む、ことと、機械学習システムを標的電子画像に適用し、標的試料に関連付けられた不足を決定することであって、機械学習システムは、染色不足を予測すること、および/または必要とされる再切断を予測することを行うために、複数の訓練画像を処理することによって発生させられており、訓練画像は、ヒト組織の画像および/またはアルゴリズム的に発生させられた画像を含む、ことと、標的試料に関連付けられた不足に基づいて、追加のスライドが調製されるように自動的に要請することを決定することとを含む動作を実施するための命令を実行するように構成されている。
別の実施形態によると、命令を記憶している非一過性コンピュータ読み取り可能な媒体であって、命令は、プロセッサによって実行されると、試料に対応する電子画像を処理する方法をプロセッサに実施させ、方法は、標的試料に対応するスライドの標的電子画像を受信することであって、標的試料は、患者からの組織サンプルを含む、ことと、機械学習システムを標的電子画像に適用し、標的試料に関連付けられた不足を決定することであって、機械学習システムは、染色不足を予測すること、および/または必要とされる再切断を予測することを行うために、複数の訓練画像を処理することによって発生させられており、訓練画像は、ヒト組織の画像および/またはアルゴリズム的に発生させられた画像を含む、ことと、標的試料に関連付けられた不足に基づいて、追加のスライドが調製されるように自動的に要請することを決定することとを含む、非一過性コンピュータ読み取り可能な媒体。
前述の一般的な説明および以下の発明を実施するための形態の両方が、例示的かつ解説的にすぎず、請求されるような開示される実施形態の制限ではないことを理解されたい。
本発明はさらに、例えば、以下を提供する。
(項目1)
試料に対応する電子画像を処理するためのコンピュータ実装方法であって、前記方法は、
標的試料に対応するスライドの標的電子画像を受信することであって、前記標的試料は、患者からの組織サンプルを備えている、ことと、
機械学習システムを前記標的電子画像に適用し、前記標的試料に関連付けられた不足を決定することであって、前記機械学習システムは、染色不足を予測すること、および/または必要とされる再切断を予測することを行うために、複数の訓練画像を処理することによって発生させられており、前記訓練画像は、ヒト組織の画像および/またはアルゴリズム的に発生させられた画像を備えている、ことと、
前記標的試料に関連付けられた前記不足に基づいて、追加のスライドが調製されるように自動的に要請することを決定することと
を含む、コンピュータ実装方法。
(項目2)
不足を決定することは、
前記標的試料の試料情報に基づいて、前記追加のスライドが調製される可能性を決定することと、
前記可能性が所定の量以上であることに応答して、前記追加のスライドが調製されるように自動的に要請することと
を含む、項目1に記載のコンピュータ実装方法。
(項目3)
前記追加のスライドは、追加の試験を自動的に開始する診断を前記機械学習システムが識別することに応答して、自動的に要請される、項目1に記載のコンピュータ実装方法。
(項目4)
前記追加のスライドは、追加の試験を自動的に開始する診断を前記機械学習システムが識別することに応答して、自動的に要請され、
前記追加の試験を自動的に開始する前記診断は、肺腺癌、乳癌、類内膜腺癌、結腸腺癌、他の組織における腺癌、肉腫、予後バイオマーカ、疑わしい病変、アミロイドの存在、および/または真菌生物のうちのいずれか1つまたは任意の組み合わせを備えている、項目1に記載のコンピュータ実装方法。
(項目5)
前記追加のスライドは、遺伝子試験を自動的にトリガする形態を前記機械学習システムが識別することに応答して、自動的に要請される、項目1に記載のコンピュータ実装方法。
(項目6)
前記追加のスライドを要請することは、前記標的試料に対応する前記スライドに関する新しい染色が調製されるように要請することを含む、項目1に記載のコンピュータ実装方法。
(項目7)
前記追加のスライドを要請することは、前記標的試料に対応する前記スライドに関する再切断を要請することを含む、項目1に記載のコンピュータ実装方法。
(項目8)
前記追加のスライドが調製されていることを示すアラートをディスプレイ上に出力することをさらに含む、項目1に記載のコンピュータ実装方法。
(項目9)
試料に対応する電子画像を処理するためのシステムであって、前記システムは、
命令を記憶している少なくとも1つのメモリと、
少なくとも1つのプロセッサと
を備え、
前記少なくとも1つのプロセッサは、
標的試料に対応するスライドの標的電子画像を受信することであって、前記標的試料は、患者からの組織サンプルを備えている、ことと、
機械学習システムを前記標的電子画像に適用し、前記標的試料に関連付けられた不足を決定することであって、前記機械学習システムは、染色不足を予測すること、および/または必要とされる再切断を予測することを行うために、複数の訓練画像を処理することによって発生させられており、前記訓練画像は、ヒト組織の画像および/またはアルゴリズム的に発生させられた画像を備えている、ことと、
前記標的試料に関連付けられた前記不足に基づいて、追加のスライドが調製されるように自動的に要請することを決定することと
を含む動作を実施するための前記命令を実行するように構成されている、システム。
(項目10)
不足を決定することは、
前記標的試料の試料情報に基づいて、前記追加のスライドが調製される可能性を決定することと、
前記可能性が所定の量以上であることに応答して、前記追加のスライドが調製されるように自動的に要請することを決定することと
を含む、項目9に記載のシステム。
(項目11)
前記追加のスライドは、追加の試験を自動的に開始する診断を前記機械学習システムが識別することに応答して、自動的に要請される、項目9に記載のシステム。
(項目12)
前記追加のスライドは、追加の試験を自動的に開始する診断を前記機械学習システムが識別することに応答して、自動的に要請され、
前記追加の試験を自動的に開始する前記診断は、肺腺癌、乳癌、類内膜腺癌、結腸腺癌、他の組織における腺癌、肉腫、予後バイオマーカ、疑わしい病変、アミロイドの存在、および/または真菌生物のうちのいずれか1つまたは任意の組み合わせを備えている、項目9に記載のシステム。
(項目13)
前記追加のスライドは、遺伝子試験を自動的にトリガする形態を前記機械学習システムが識別することに応答して、自動的に要請される、項目9に記載のシステム。
(項目14)
前記追加のスライドを要請することは、前記標的試料に対応する前記スライドに関する新しい染色が調製されるように要請することを含む、項目9に記載のシステム。
(項目15)
前記追加のスライドを要請することは、前記標的試料に対応する前記スライドに関する再切断を要請することを含む、項目9に記載のシステム。
(項目16)
前記追加のスライドが調製されていることを示すアラートをディスプレイ上に出力することをさらに含む、項目9に記載のシステム。
(項目17)
命令を記憶している非一過性コンピュータ読み取り可能な媒体であって、前記命令は、プロセッサによって実行されると、試料に対応する電子画像を処理する方法を前記プロセッサに実施させ、前記方法は、
標的試料に対応するスライドの標的電子画像を受信することであって、前記標的試料は、患者からの組織サンプルを備えている、ことと、
機械学習システムを前記標的電子画像に適用し、前記標的試料に関連付けられた不足を決定することであって、前記機械学習システムは、染色不足を予測すること、および/または必要とされる再切断を予測することを行うために、複数の訓練画像を処理することによって発生させられており、前記訓練画像は、ヒト組織の画像および/またはアルゴリズム的に発生させられた画像を備えている、ことと、
前記標的試料に関連付けられた前記不足に基づいて、追加のスライドが調製されるように自動的に要請することを決定することと
を含む、非一過性コンピュータ読み取り可能な媒体。
(項目18)
不足を決定することは、
前記標的試料の試料情報に基づいて、前記追加のスライドが調製される可能性を決定することと、
前記可能性が所定の量以上であることに応答して、前記追加のスライドが調製されるように自動的に要請することを決定することと
を含む、項目17に記載の非一過性コンピュータ読み取り可能な媒体。
(項目19)
前記追加のスライドは、追加の試験を自動的に開始する診断を前記機械学習システムが識別することに応答して、自動的に要請される、項目17に記載の非一過性コンピュータ読み取り可能な媒体。
(項目20)
前記追加のスライドは、追加の試験を自動的に開始する診断を前記機械学習システムが識別することに応答して、自動的に要請され、
前記追加の試験を自動的に開始する前記診断は、肺腺癌、乳癌、類内膜腺癌、結腸腺癌、他の組織における腺癌、肉腫、予後バイオマーカ、疑わしい病変、アミロイドの存在、および/または真菌生物のうちのいずれか1つまたは任意の組み合わせを備えている、項目17に記載の非一過性コンピュータ読み取り可能な媒体。
本明細書に組み込まれ、その一部を成す付随の図面は、種々の例示的実施形態を図示し、説明とともに、開示される実施形態の原理を解説する役割を果たす。
図1Aは、本開示の例示的実施形態による、デジタル病理学画像からの組織試料の画像分析に基づいて、追加のスライドを要請することを決定するためのシステムおよびネットワークの例示的ブロック図である。
図1Bは、本開示の例示的実施形態による、疾患検出プラットフォーム100の例示的ブロック図である。
図1Cは、本開示の例示的実施形態による、スライド分析プラットフォーム101の例示的ブロック図である。
図2は、本開示の例示的実施形態による、機械学習を使用して、デジタル病理学画像からの組織試料の画像分析に基づいて、追加のスライドを要請することを決定する例示的方法を図示するフローチャートである。
図3は、本開示の例示的実施形態による、スライド調製パラメータを決定する例示的方法のフローチャートである。
図4は、本開示の例示的実施形態による、染色要請予測ツールを発生させ、使用する例示的方法のフローチャートである。
図5は、本開示の例示的実施形態による、再切断要請予測ツールを発生させ、使用する例示的方法のフローチャートである。
図6は、本明細書に提示される技法を実行し得る例示的システムを描写する。
ここで、本開示の例示的実施形態が、詳細に参照され、その例が、付随の図面に図示される。可能であるときは常に、同一の参照番号は、図面全体を通して同一または同様の部分を指すように使用されるであろう。
本明細書に開示されるシステム、デバイス、および方法は、例として、図を参照して詳細に説明される。本明細書に議論される例は、例にすぎず、本明細書に説明される装置、デバイス、システム、および方法の解説を支援するために提供される。図面に示される、または下記に議論される特徴またはコンポーネントのいずれも、必須であるとして具体的に指定されない限り、これらのデバイス、システム、または方法のうちのいずれかの任意の具体的実装のために必須であるとしてとられるべきではない。
説明される任意の方法に関しても、方法がフロー図と併せて説明されるかどうかにかかわらず、文脈によって別様に規定または要求されない限り、方法の実行において実施されるステップのいかなる明示的または暗示的順序付けも、それらのステップが、提示される順序で実施されなければならないことを意味せず、代わりに、異なる順序で、または並行に実施され得ることを意味することを理解されたい。
本明細書に使用される場合、用語「例示的」は、「理想的」ではなく、「例」の意味で使用される。さらに、本明細書の用語「a」および「an」は、数量の限定を表さず、むしろ、言及されるアイテムのうちの1つ以上のものの存在を表す。
病理学は、疾患の研究を指す。より具体的に、病理学は、疾患を診断するために使用される試験および分析を実施することを指す。例えば、組織サンプルが、病理医(例えば、いずれかの異常が存在するかどうかを決定するために組織サンプルを分析することの専門家である医師)によって顕微鏡下で視認されるようにスライド上に配置され得る。すなわち、病理学試料が、病理医が検査し、診断を下すために、複数の区分に切断され、スライドとして調製され、染色され得る。
病理医は、癌および他の疾患病理学スライドを単独で評価し得る。本開示は、癌および他の疾患の診断を改良するための統合されたワークフローを提示する。ワークフローは、例えば、スライド評価、タスク、画像分析および癌検出人工知能(AI)、注釈、協議、および推奨を1つのワークステーションにおいて統合し得る。特に、本開示は、病理医の作業を促進および改良するために、ワークフローおよびワークフローに統合され得るAIツールにおいて利用可能である種々の例示的ユーザインターフェースを説明する。
病理医を補助するためにコンピュータを使用するプロセスは、計算病理学として公知である。計算病理学のために使用される計算方法は、限定ではないが、統計分析、自律的または機械学習、およびAIを含み得る。AIは、限定ではないが、深層学習、ニューラルネットワーク、分類、クラスタリング、および回帰アルゴリズムを含み得る。計算病理学を使用することによって、命が、病理医が自身の診断正確度、信頼性、効率、およびアクセス性を改良することに役立つことによって救われ得る。例えば、計算病理学は、癌に関して疑わしいスライドの検出を支援し、それによって、病理医が、最終診断を下す前に自身の初期査定をチェックおよび確認することを可能にするために使用され得る。
組織病理学は、スライド上に配置された試料の研究を指す。例えば、デジタル病理学画像が、試料(例えば、塗抹標本)を含む顕微鏡スライドのデジタル化画像から成り得る。病理医がスライド上の画像を分析するために使用し得る一方法は、核を識別し、核が正常(例えば、良性)であるか、異常(例えば、悪性)であるかを分類することである。核を識別および分類することにおいて病理医を支援するために、組織学的染色が、細胞を可視にするために使用され得る。周期的酸シッフ反応、マッソントリクローム、ニッスルおよびメチレンブルー、およびヘマトキシリンおよびエオジン(H&E)を含む多くの染料ベースの染色システムが、開発されている。医療診断に関して、H&Eは、広く使用される染料ベースの方法であり、ヘマトキシリンが、細胞核を青色に染色し、エオジンが、細胞質および細胞外マトリクスをピンク色に染色し、他の組織領域は、これらの色の変化を帯びる。しかしながら、多くの場合、H&E染色された組織学的調製物は、診断を支援し得るバイオマーカまたは治療を誘導し得るバイオマーカを病理医が視覚的に識別するための十分な情報を提供しない。この状況では、免疫組織化学(IHC)、免疫蛍光、インサイツハイブリダイゼーション(ISH)、または蛍光インサイツハイブリダイゼーション(FISH)等の技法が、使用され得る。IHCおよび免疫蛍光は、例えば、組織内の特定の抗原に結合する抗体を使用し、特定の着目タンパク質を発現する細胞の視覚的検出を可能にすることを伴い、それは、H&E染色されたスライドの分析に基づいて、訓練された病理医に確実に識別可能ではないバイオマーカを明らかにし得る。ISHおよびFISHは、採用されるプローブのタイプ(例えば、遺伝子コピー数のためのDNAプローブおよびRNA発現の査定のためのRNAプローブ)に応じて、遺伝子のコピー数または特定のRNA分子の存在量を査定するために採用され得る。これらの方法も、いくつかのバイオマーカを検出するために十分な情報を提供することができない場合、組織の遺伝子試験が、バイオマーカが存在するかどうか(例えば、腫瘍における特定のタンパク質または遺伝子産物の過剰発現、癌における所与の遺伝子の増幅)を確認するために使用され得る。
デジタル化画像が、染色された顕微鏡スライドを示すために調製され得、それは、病理医が、スライド上の画像を手動で視認し、画像内の染色された異常細胞の数を推定することを可能にし得る。しかしながら、このプロセスは、時間がかかり得、いくつかの異常が、検出しにくいので、異常を識別することにおいてエラーにつながり得る。
計算病理学プロセスおよびデバイスが、そうでなければ検出しにくくあり得る異常を検出することにおいて病理医を支援するために使用され得る。例えば、AIが、H&Eおよび他の染料ベースの方法を使用して染色された組織のデジタル画像内の目立った領域からバイオマーカ(タンパク質および/または遺伝子産物の過剰発現、特定の遺伝子の増幅または突然変異等)を予測するために使用され得る。組織の画像は、スライド全体画像(WSI)、マイクロアレイまたは組織区分内の選択された着目エリア内の組織コアの画像であり得る。H&Eのような染色方法を使用すると、これらのバイオマーカは、人間が追加の試験の支援を伴わずに視覚的に検出または定量化することが困難であり得る。組織のデジタル画像からこれらのバイオマーカを推論するためにAIを使用することは、患者処理を改良する潜在性を有する一方、より速くもあり、あまり高価でもない。
検出されたバイオマーカまたは画像のみが、次いで、患者を治療するために使用されるべき特定の癌薬物または薬物組み合わせ療法を推奨するために使用され得、AIは、検出されたバイオマーカを治療選択肢のデータベースと互いに関係付けることによって、成功する可能性が低い薬物または薬物組み合わせを識別し得る。これは、患者の特定の癌を標的とするための免疫療法薬物の自動的推奨を促進するために使用され得る。さらに、これは、患者の特定の一部および/またはより稀少な癌タイプに関する個人化された癌治療を可能にするために使用され得る。
今日の病理学の分野では、組織病理学ワークフロー全体を通して、病理学試料調製に関する系統的品質制御(「QC」)および診断の品質に関する品質保証(「QA」)を提供することは、困難であり得る。系統的品質保証は、それが2人の病理医による重複する労力を要求し得るので、それが、リソースおよび時間集約的であるので、困難である。品質保証のためのいくつかの方法は、(1)最初の診断癌症例の第2の精査、(2)品質保証委員会による一致しない、または変更された診断の周期的精査、および、(3)症例の一部のランダムな精査を含む。これらは、非網羅的であり、大部分がレトロスペクティブであり、手動である。自動化された系統的QCおよびQA機構では、品質が、全ての症例に関してワークフロー全体を通して確実にされ得る。実験室品質制御およびデジタル病理学品質制御は、患者試料の正常な取り込み、プロセス、診断、およびアーカイブに対して重要である。QCおよびQAに対する手動およびサンプリングアプローチは、実質的な利益をもたらす。系統的QCおよびQAは、効率を提供し、診断品質を改良する潜在性を有する。
上で説明されるように、本開示の計算病理学プロセスおよびデバイスは、実験室情報システム(LIS)と一体化しながら、ウェブブラウザまたは他のユーザインターフェースを介して、デジタル病理学画像のデータ取り入れ、処理、および閲覧を含む完全に自動化されたプロセスを可能にする統合されたプラットフォームを提供し得る。さらに、臨床情報が、患者データのクラウドベースのデータ分析を使用して、集約され得る。データは、病院、診療所、現場の研究者等からのものであり得、複数の地理的特異性レベルにおいて健康パターンのリアルタイム監視および予想を行うために、機械学習、コンピュータビジョン、自然言語処理、および/または統計的アルゴリズムによって分析され得る。
上で説明されるように、本明細書に説明される例示的実施形態は、診断を行うために十分な情報が、組織試料から収集されているかどうかを決定する。例えば、コンピュータが、組織サンプルの画像を分析し、特定の組織サンプルについて追加の情報が必要とされ得るかどうかを迅速に識別するために、および/または病理医がより近接して見るべきであるエリアを病理医に強調するために使用され得る。自動的スライド分割機械および染色機械と対にされると、これは、完全に自動化されたスライド調製パイプラインを提供し得る。この自動化は、少なくとも、(1)病理医がスライドを診断を行うために不十分であると決定することによって浪費される時間量を最小化すること、(2)追加の試験が要請されるときとそれらが生成されるときとの間の追加の時間を回避することによって、試料入手から診断までの(平均合計)時間を最小化すること、(3)組織ブロック(例えば、病理学試料)が切断デスクにある間に再切断が行われることを可能にするによって、浪費される再切断あたりの時間量および物質の量を低減させること、(4)スライド調製の間に廃棄/破棄される組織物質の量を低減させること、(5)部分的または完全に手順を自動化することによって、スライド調製の費用を低減させること、(6)サンプルからより代表的/有益なスライドをもたらすであろうスライドの自動的なカスタマイズされた切断および染色を可能にすること、(7)組織ブロックあたりより大量のスライドが発生させられることを可能にし、病理医に対して追加の試験を要求する負荷を低減させることによって、より情報に基づく/精密な診断に寄与すること、および/または、(8)デジタル病理学画像の(例えば、試料タイプに関連する)正しい特性を識別または検証すること等の利益を有する。
下記の実施形態は、種々の機械学習アルゴリズム訓練方法および実装を説明する。これらの実施形態は、単に、例示的である。任意の訓練方法論が、病理学スライド調製および分析を強化する具体的目的のために、機械学習モデルおよび/またはシステムを訓練するために使用され得る。下記では、いくつかの例示的用語が、説明される。
(WSI)は、走査される病理学スライド全体を含み得る。訓練データセットは、機械学習(ML)アルゴリズムを訓練するために使用される症例の組からのスライド全体画像および/または追加の診断データの組を含み得る。検証データセットは、MLアルゴリズムの一般化可能性を検証するために使用される症例の組からのスライド全体画像および/または追加の診断データの組を含み得る。標識の組が、アルゴリズムが予測する(例えば、病理医がWSIに関して追加の試験/再切断を要求したかどうか等)ように訓練されている情報を含む訓練データにおいて各インスタンスに関して使用され得る。畳み込みニューラルネットワーク(CNN)は、WSIにわたって走査し得るように構築され得るアーキテクチャを指し得る。一実施形態は、訓練標識を使用して、追加の試験/スライド調製が所望される可能性についてWSIあたり1回の予測を行うようにこのCNNを訓練することを含み得る。CNN+アグリゲータは、WSIの複数の局所化領域にわたって実行されるCNNからの情報を組み込むように構築され得るアーキテクチャを指し得る。一実施形態は、訓練標識を使用して、追加の試験/スライド調製が、試料または走査された領域における情報に起因して必要とされ得る可能性についてWSIにおける各領域に関して予測を行うようにこのCNNを訓練することを含み得る。追加のレベル/切断に関して、使用される基準は、染色が不適正/異常であること、少量の腫瘍のみが検出されること(例えば、前立腺に関して、不定型の小さい腺房増殖(ASAP)が検出される場合)、不適正な量の組織が存在する場合、組織襞等であり得る。再走査に関して、これは、気泡、ぼけ、および/または走査アーチファクトの存在等を含み得る。複数インスタンス学習等のより複雑な訓練方法論が、標識がWSI領域と1対1で合致しないときに提示される問題を克服するために使用され得る。いくつかの実施形態では、第2のモデルが、入力として組織/試料/画像領域にわたる個々の予測を行い、WSIが追加の試験/スライド調製を必要とし得る可能性を予測し得る。モデル不確実性は、WSIについての、またはそれに関連する任意のパラメータ、例えば、癌または他の疾患の存在の検出を予測するために訓練され得る機械学習モデルを指し得る。具体的予測について機械学習モデルが有する不確実性のレベルは、種々の方法、例えば、閾値に近いもの等の確率値の曖昧な範囲を識別すること、分布外技法(ニューラルネットワークのための分布外検出器(ODIN)、強化されたミックスアップ、埋め込み空間上のマハラノビス距離)を使用すること等を使用して計算され得る。この不確実性は、スライドが追加の試験/調製を必要とし得る可能性を推定するために使用され得る。
一実施形態によると、機械学習モデルは、通常、追加の試験を行う必要性に関する代理であるWSIについての特性(例えば、高悪性度前立腺上皮細胞内腫瘍(HGPIN)またはASAPの存在等)を予測するように訓練され得る。このモデルからの出力は、次いで、スライドが追加の試験/調製を必要とし得る可能性を推定するためのモデルにフィードされ得る。
上記の方法は、具体的WSIに関する追加のデータを使用して実装され得る。例えば、一実施形態によると、追加のデータは、(a)ゲノム試験、家族歴、以前の病歴等の患者データ;および/または、(b)医師注記/推奨、実験室技師からの観察等の手順データのうちの1つ以上を含み得る。
開示される実施形態の例示的全体的出力は、スライド全体についての情報またはスライドパラメータ、例えば、描写される試料タイプ、スライドの試料の切片の全体的品質、ガラス病理学スライド自体の全体的品質、または組織形態特性を含み得る。例示的ローカル出力は、スライドの具体的領域内の情報を示し得、例えば、特定のスライド領域が、ぼけている、または関連しない試料を含むと標識化され得る。本開示は、下記にさらに詳細に説明されるように、開示されるスライド調製自動化を開発することと、使用することとの両方に関する実施形態を含む。
図1Aは、本開示の例示的実施形態による、機械学習を使用して、デジタル病理学画像からの組織試料の画像分析に基づいて、追加のスライドを要請することを決定するためのシステムおよびネットワークのブロック図を図示する。
具体的に、図1Aは、病院、実験室、および/または医師のオフィス等におけるサーバに接続され得る電子ネットワーク120を図示する。例えば、医師サーバ121、病院サーバ122、臨床治験サーバ123、研究実験室サーバ124、および/または実験室情報システム125等が、各々、1つ以上のコンピュータ、サーバ、および/またはハンドヘルドモバイルデバイスを通して、インターネット等の電子ネットワーク120に接続され得る。本願の例示的実施形態によると、電子ネットワーク120は、サーバシステム110にも接続され得、サーバシステム110は、疾患検出プラットフォーム100を実装するように構成される処理デバイスを含み得、疾患検出プラットフォーム100は、スライド分析ツール101を含み、スライド分析ツール101は、デジタル病理学画像に関連する試料特性または画像特性情報を決定し、本開示の例示的実施形態による、機械学習を使用して、追加のスライドを要請することを決定する。
医師サーバ121、病院サーバ122、臨床治験サーバ123、研究実験室サーバ124、および/または実験室情報システム125は、1つ以上の患者の細胞学試料、組織病理学試料、細胞学試料のスライド、組織病理学試料のスライドのデジタル化画像、またはそれらの任意の組み合わせの画像を作成し、または別様に取得し得る。医師サーバ121、病院サーバ122、臨床治験サーバ123、研究実験室サーバ124、および/または実験室情報システム125は、年齢、病歴、癌治療歴、家族歴、過去の生検または細胞学情報等の患者特有情報の任意の組み合わせも取得し得る。医師サーバ121、病院サーバ122、臨床治験サーバ123、研究実験室サーバ124、および/または実験室情報システム125は、デジタル化スライド画像および/または患者特有情報を電子ネットワーク120を経由してサーバシステム110に伝送し得る。サーバシステム110は、医師サーバ121、病院サーバ122、臨床治験サーバ123、研究実験室サーバ124、および/または実験室情報システム125のうちの少なくとも1つから受信された画像およびデータを記憶するための1つ以上の記憶デバイス109を含み得る。サーバシステム110は、記憶デバイス109内に記憶された画像およびデータを処理するための処理デバイスも含み得る。サーバシステム110は、1つ以上の機械学習ツールまたは能力をさらに含み得る。例えば、処理デバイスは、一実施形態による疾患検出プラットフォーム100のための機械学習ツールを含み得る。代替として、または加えて、本開示(または本開示のシステムおよび方法の一部)は、ローカル処理デバイス(例えば、ラップトップ)上で実施され得る。
医師サーバ121、病院サーバ122、臨床治験サーバ123、研究実験室サーバ124、および/または実験室情報システム125は、スライドの画像を精査するために病理医によって使用されるシステムを指す。病院設定では、組織タイプ情報は、LIS125内に記憶され得る。
図1Bは、本開示の例示的実施形態による、機械学習を使用して、デジタル病理学画像からの組織試料の画像分析に基づいて、追加のスライドを要請することを決定するための疾患検出プラットフォーム100の例示的ブロック図を図示する。
具体的に、図1Bは、一実施形態による、疾患検出プラットフォーム100のコンポーネントを描写する。例えば、疾患検出プラットフォーム100は、スライド分析ツール101と、データ取り入れツール102と、スライド取り込みツール103と、スライド走査装置104と、スライドマネージャ105と、記憶装置106と、閲覧アプリケーションツール108とを含み得る。
スライド分析ツール101は、下記に説明されるように、本開示の例示的実施形態による、機械学習を使用して、デジタル病理学画像からの組織試料の画像分析に基づいて、追加のスライドを要請することを決定するためのプロセスおよびシステムを指す。
データ取り入れツール102は、例示的実施形態による、デジタル病理学画像からの組織試料の画像分析に基づいて、追加のスライドを要請することを決定するために使用される種々のツール、モジュール、コンポーネント、およびデバイスへのデジタル病理学画像の転送を促進するためのプロセスおよびシステムを指す。
スライド取り込みツール103は、例示的実施形態による、病理学画像を走査し、それらをデジタル形態に変換するためのプロセスおよびシステムを指す。スライドは、スライド走査装置104を用いて走査され得、スライドマネージャ105は、スライド上の画像をデジタル化病理学画像に処理し、デジタル化画像を記憶装置106内に記憶し得る。
閲覧アプリケーションツール108は、例示的実施形態による、ユーザ(例えば、病理医)に、デジタル病理学画像に関連する試料特性または画像特性情報を提供するためのプロセスおよびシステムを指す。情報は、種々の出力インターフェース(例えば、画面、モニタ、記憶デバイス、および/またはウェブブラウザ等)を通して提供され得る。
スライド分析ツール101およびそのコンポーネントの各々は、ネットワーク120を経由して、サーバシステム110、医師サーバ121、病院サーバ122、臨床治験サーバ123、研究実験室サーバ124、および/または実験室情報システム125に、およびそれらから、デジタル化スライド画像および/または患者情報を伝送および/または受信し得る。さらに、サーバシステム110は、スライド分析ツール101、データ取り入れツール102、スライド取り込みツール103、スライド走査装置104、スライドマネージャ105、および閲覧アプリケーションツール108のうちの少なくとも1つから受信された画像およびデータを記憶するための記憶デバイスを含み得る。サーバシステム110は、記憶デバイス内に記憶された画像およびデータを処理するための処理デバイスも含み得る。サーバシステム110は、例えば、処理デバイスに起因する1つ以上の機械学習ツールまたは能力をさらに含み得る。代替として、または加えて、本開示(または本開示のシステムおよび方法の一部)は、ローカル処理デバイス(例えば、ラップトップ)上で実施され得る。
上記のデバイス、ツール、およびモジュールのうちのいずれかは、1つ以上のコンピュータ、サーバ、および/またはハンドヘルドモバイルデバイスを通して、インターネットまたはクラウドサービスプロバイダ等の電子ネットワーク120に接続され得るデバイス上に位置し得る。
図1Cは、本開示の例示的実施形態による、スライド分析ツール101の例示的ブロック図を図示する。スライド分析ツール101は、訓練画像プラットフォーム131および/または標的画像プラットフォーム135を含み得る。
一実施形態によると、訓練画像プラットフォーム131は、訓練画像取り込みモジュール132、染色モジュール133、および/または再切断モジュール134を含み得る。
一実施形態による、訓練画像プラットフォーム131は、デジタル病理学画像を効果的に処理、分析、および分類するために、機械学習モデルを訓練するために使用される訓練画像を作成または受信し得る。例えば、訓練画像は、サーバシステム110、医師サーバ121、病院サーバ122、臨床治験サーバ123、研究実験室サーバ124、および/または実験室情報システム125のうちのいずれか1つまたは任意の組み合わせから受信され得る。訓練のために使用される画像は、現実ソース(例えば、ヒト、動物等)からのものであり得るか、または、合成ソース(例えば、グラフィックスレンダリングエンジン、3Dモデル等)からのものであり得る。デジタル病理学画像の例は、(a)(限定ではないが)H&E、ヘマトキシリンのみ、IHC、分子病理学等の種々の染色を用いて染色されたデジタル化スライド、および/または、(b)マイクロCT等の3D撮像デバイスからのデジタル化組織サンプルを含み得る。
訓練画像取り込みモジュール132は、ヒト組織の画像およびグラフィカルにレンダリングされた画像のうちの一方または両方に対応する1つ以上の訓練画像を備えているデータセットを作成または受信し得る。例えば、訓練画像は、サーバシステム110、医師サーバ121、病院サーバ122、臨床治験サーバ123、研究実験室サーバ124、および/または実験室情報システム125のうちのいずれか1つまたは任意の組み合わせから受信され得る。このデータセットは、デジタル記憶デバイス上に保たれ得る。染色モジュール133は、受信されたデジタル画像および受信されたデータに基づいて、不足に起因して、選択されたスライドに関して要請されるべき新しい染色を予測し得る。再切断モジュール134は、受信されたデジタル画像および受信されたデータに基づいて、再切断が必要とされるであろうかどうかを予測し得る。
一実施形態によると、標的画像プラットフォーム135は、標的画像取り込みモジュール136と、不足予測モジュール137と、出力インターフェース138とを含み得る。標的画像プラットフォーム135は、標的画像を受信し、機械学習モデルを受信された標的画像に適用し、追加のスライドを要請することを決定し得る。例えば、標的画像は、サーバシステム110、医師サーバ121、病院サーバ122、臨床治験サーバ123、研究実験室サーバ124、および/または実験室情報システム125のうちのいずれか1つまたは任意の組み合わせから受信され得る。標的画像取り込みモジュール136は、標的試料に対応する標的画像を受信し得る。不足予測モジュール137は、機械学習モデルを標的画像に適用し、標的試料に関連付けられた染色不足および/または必要とされる再切断を予測し得る。
出力インターフェース138は、標的画像および標的試料についての情報を(例えば、画面、モニタ、記憶デバイス、ウェブブラウザ等に)出力するために使用され得る。
図2は、本開示の例示的実施形態による、デジタル病理学画像からの組織試料の画像分析に基づいて、追加のスライドを要請することを決定するためのツールの例示的方法を図示するフローチャートである。例えば、例示的方法200(例えば、ステップ202-206)が、自動的に、またはユーザ(例えば、医師、病理医等)からの要求に応答して、スライド分析ツール101によって実施され得る。
一実施形態によると、追加のスライドを要請することを決定する例示的方法200は、以下のステップのうちの1つ以上を含み得る。ステップ202において、方法は、標的試料に対応するスライドの標的画像を受信することを含み、標的試料は、患者からの組織サンプルを備え得る。例えば、標的画像は、サーバシステム110、医師サーバ121、病院サーバ122、臨床治験サーバ123、研究実験室サーバ124、および/または実験室情報システム125のうちのいずれか1つまたは任意の組み合わせから受信され得る。
ステップ204において、方法は、機械学習モデルを標的画像に適用し、標的試料に関連付けられた病理医要請情報を予測することを含み得る。病理医要請情報を予測することは、標的試料の試料情報に基づいて、追加のスライドが調製される可能性を決定することと、可能性が所定の量以上であることに応答して、追加のスライドが調製されるように自動的に要請することを決定することとを含み得る。
機械学習モデルは、染色要請情報および/または再切断要請情報を予測するために、複数の訓練画像を処理することによって発生させられ得、訓練画像は、ヒト組織の画像および/またはアルゴリズム的に発生させられた画像を含み得る。機械学習モデルは、分類および回帰に関する機械学習方法を使用して実装され得る。訓練入力は、現実または合成像を含み得る。訓練入力は、拡張されることも、拡張されないこともある(例えば、雑音の追加)。例示的機械学習モデルは、限定ではないが、ニューラルネットワーク、畳み込みニューラルネットワーク、ランダムフォレスト、ロジスティック回帰、および最近傍のうちのいずれか1つまたは任意の組み合わせを含み得る。畳み込みニューラルネットワークおよび他のニューラルネットワーク変形は、うまく一般化する特徴を学習するためにピクセルから直接学習し得るが、それらは、典型的に、大量の訓練データを要求する。代替例示的モデルは、典型的に、畳み込みネットワークからの特徴に対して、または手作業のコンピュータビジョン特徴抽出技法(例えば、SIFT、SURF等)を使用して動作し、それは、多くの場合、大量のデータが、利用可能である場合、あまり効果的に機能しない。訓練画像は、サーバシステム110、医師サーバ121、病院サーバ122、臨床治験サーバ123、研究実験室サーバ124、および/または実験室情報システム125のうちのいずれか1つまたは任意の組み合わせから受信され得る。このデータセットは、デジタル記憶デバイス上に保たれ得る。訓練のために使用される画像は、現実ソース(例えば、ヒト、動物等)からのものであり得るか、または、合成ソース(例えば、グラフィックスレンダリングエンジン、3Dモデル等)からのものであり得る。デジタル病理学画像の例は、(a)(限定ではないが)H&E、IHC、分子病理学等の種々の染色を用いて染色されたデジタル化スライド、および/または、(b)マイクロCT等の3D撮像デバイスからのデジタル化組織サンプルを含み得る。
ステップ206において、方法は、標的試料に関連付けられる予測された病理医要請情報に基づいて、追加のスライドが調製されるように自動的に要請することを決定することを含み得る。追加のスライドは、機械学習モデルが、追加の試験を自動的に開始する診断を識別することに応答して、自動的に要請され得る。この診断は、肺腺癌、乳癌、類内膜腺癌、結腸腺癌、アミロイドの存在、および/または真菌生物のうちのいずれか1つまたは任意の組み合わせであり得る。追加のスライドは、機械学習モデルが、遺伝子試験を自動的にトリガする形態を識別することに応答して、自動的に要請され得る。形態は、BAP1欠損母斑および/またはコハク酸脱水素酵素欠損腫瘍のうちの少なくとも1つであり得る。追加のスライドを要請することは、標的試料に対応するスライドに関する新しい染色が調製されるように要請することおよび/または標的試料に対応するスライドに関する再切断を要請することを含み得る。方法は、追加のスライドが調製されていることを示すアラートをディスプレイ上に出力することをさらに含み得る。
図3に図示されるように、一実施形態によると、スライド調製パラメータを決定する例示的方法300および320は、下記のステップのうちの1つ以上を含み得る。ステップ301において、訓練段階中、方法は、デジタル記憶デバイス(例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、RAM等)において病理学試料(例えば、組織学、細胞学等)のデジタル画像を受信することを含み得る。受信された画像は、2D(例えば、組織学スライドまたは非染色組織切片)または3D(例えば、マイクロCT、再構築された2D組織学等)であり得る。
一実施形態によると、ステップ303において、方法は、病理医がデジタル画像内に示される試料に関して新しい情報を要請したかどうかの指示を受信することを含み得る。このステップは、病理医または他の医療専門家が、試料に関して関連付けた、または入力した要請情報を受信することを含み得る。新しい要請情報は、追加の染色、追加の切断、ゲノム試験、遺伝子試験、生体外実験室試験、放射線撮像、計算(例えば、人工知能)診断試験等を含み得る。
ステップ305において、方法は、要請情報が1つ以上の入力/新しいデジタル画像に関連付けられ得るかどうかを予測するために、および/または、どんな要請情報が1つ以上の入力/新しいデジタル画像に関連付けられ得るかを予測するために、機械学習アルゴリズムを訓練することを含み得る。このアルゴリズムは、複数の方法で実装され得る。例えば、一実施形態によると、アルゴリズムは、(1)ニューラルネットワーク方法、例えば、畳み込みニューラルネットワーク(CNN)および回帰型ニューラルネットワーク(RNN)等の機械学習アルゴリズムおよび/またはアーキテクチャ、(2)複数インスタンス学習、強化学習、能動学習等の訓練方法論、(3)限定ではないが、スライド内の組織の推定されるパーセンテージ、RGB、HSV、または他の色空間上の基本統計、および気泡、組織襞、異常な染色等のスライド調製問題または撮像アーチファクトの存在のうちのいずれか1つまたは任意の組み合わせを含む属性/特徴抽出、(4)追加の情報を必要とすることに関する代理として他のメトリックに対するモデル予測における不確実性の尺度を使用すること、および、(5)異なるタスクに対して訓練されるモデルからの出力または関連付けられるメトリックのうちのいずれか1つまたは任意の組み合わせによって実装され得る。
1つ以上の実施形態によると、上記アルゴリズム、アーキテクチャ、方法論、属性、および/または特徴のうちのいずれかが、他のアルゴリズム、アーキテクチャ、方法論、属性、および/または特徴のうちのいずれかまたは全てと組み合わせられ得る。例えば、機械学習アルゴリズムおよび/またはアーキテクチャ(例えば、ニューラルネットワーク方法、畳み込みニューラルネットワーク(CNN)、回帰型ニューラルネットワーク(RNN)等)のうちのいずれかは、訓練方法論(例えば、複数インスタンス学習、強化学習、能動学習等)のうちのいずれかを用いて訓練され得る。
下記の用語の説明は、単に、例示的であり、いかようにも用語を限定することを意図していない。
標識は、アルゴリズムが予測しようと試みている機械学習アルゴリズムへの入力についての情報を指し得る。
サイズN×Mの所与の画像に関して、セグメンテーションは、元の画像における各ピクセルに関して、そのピクセルのクラスまたはタイプを記述する番号を割り当てるサイズN×Mの別の画像であり得る。例えば、WSIにおいて、マスクにおける要素は、例えば、背景、組織、および/または未知のクラスに属するものとして入力画像内の各ピクセルを分類し得る。
スライドレベル情報は、一般に、スライドについての情報を指すが、必ずしも、スライド内のその情報の具体的場所を指すわけではないこともある。
ヒューリスティックは、入力を前提として、出力を決定論的に生成する論理ルールまたは関数を指し得る。例えば、あるスライドが再走査されるべきであるという予測が、32%以上である場合、1を出力し、該当しない場合、0を出力する。別の例示的ヒューリスティックは、スライドの所定のパーセンテージまたは部分を超えることが、未知として分類される場合、再走査に関してフラグ付けすることであり得る。
埋め込みは、低次元データの概念的高次元数値表現を指し得る。例えば、WSIが、組織タイプを分類するためにCNN訓練に通される場合、ネットワークの最後の層上の数字は、スライドについての情報(例えば、組織のタイプについての情報)を含む数字のアレイ(例えば、数千のオーダー)を提供し得る。
スライドレベル予測は、全体としてのスライドについての具体的予測を指し得る。例えば、スライドレベル予測は、スライドが走査問題点、気泡、組織襞等を有することであり得る。さらに、スライドレベル予測は、定義されたクラスの組に対する個々の確率予測(例えば、33%の気泡の可能性、1%の組織襞の可能性、99%の走査アーチファクトの可能性等)を指し得る。
分類器は、入力データをとり、それをカテゴリに関連付けるように訓練されるモデルを指し得る。
1つ以上の実施形態によると、機械学習モデルは、異なる方法で訓練され得る。例えば、機械学習モデルの訓練は、教師あり訓練、半教師あり訓練、教師なし訓練分類器訓練、混合訓練、および/または不確実性推定のうちのいずれか1つまたは任意の組み合わせによって実施され得る。使用される訓練のタイプは、データの量、データのタイプ、および/またはデータの品質に依存し得る。下記の表1は、いくつかのタイプの訓練および対応する特徴の非限定的リストを説明する。
Figure 0007150289000001
教師あり訓練は、機械学習モデルに関するシードを提供するために、少量のデータとともに使用され得る。教師あり訓練では、機械学習モデルは、特定のアイテム(例えば、気泡、組織襞等)を探し、スライドをフラグ付けし、特定のアイテムがスライド内に存在する量を定量化し得る。
一実施形態によると、例示的完全教師あり訓練は、入力としてWSIをとり得、セグメンテーションの標識を含み得る。完全教師あり訓練に関するパイプラインは、(1)1;(2)1,ヒューリスティック;(3)1,4,ヒューリスティック;(4)1,4,5,ヒューリスティック;および/または、(5)1,5,ヒューリスティックを含み得る。完全教師あり訓練の利点は、(1)それが、より少ないスライドを要求し得ること、および/または、(2)出力が、(a)診断に寄与した画像の面積が把握され得、(b)あるスライドが拒絶される理由(例えば、気泡が見出された、組織襞が見出された等)が把握され得るので、解説可能であることであり得る。完全教師あり訓練を使用する不利点は、それが、入手することが困難であり得る大量のセグメンテーションを要求し得ることであり得る。
一実施形態によると、例示的半教師あり(例えば、弱教師あり)訓練が、入力としてWSIをとり得、スライドレベル情報の標識を含み得る。半教師あり訓練に関するパイプラインは、(1)2;(2)2,ヒューリスティック;(3)2,4,ヒューリスティック;(4)2,4,5,ヒューリスティック;および/または、(5)2,5,ヒューリスティックを含み得る。半教師あり訓練を使用する利点は、(1)要求される標識のタイプが、多くの病院記録に存在し得ること、および、(2)出力が、(a)診断に最も寄与した画像のエリアが把握され得、(b)あるスライドが拒絶された理由(例えば、気泡が見出された、組織襞が見出された等)が把握され得るので、解説可能であることであり得る。半教師あり訓練を使用する不利点は、それが訓練しにくくあり得ることである。例えば、モデルは、決定につながるはずである情報が存在するスライド内の場所についての限定された情報が、存在するという事実を考慮するために、複数インスタンス学習、能動学習、および/または分散訓練等の訓練スキームを使用する必要があり得る。
一実施形態によると、例示的教師なし訓練は、入力としてWSIをとり得、いかなる標識も要求しないこともある。教師なし訓練に関するパイプラインは、(1)3,4;および/または、(2)3,4,ヒューリスティックを含み得る。教師なし訓練の利点は、それがいかなる標識も要求しないことであり得る。教師なし訓練を使用する不利点は、(1)これが訓練しにくくあり得ることであり得る。例えば、それは、決定につながるはずである情報が存在するスライド内の場所についての限定された情報が、存在する、(2)それが、追加のスライドを要求し得るおよび/または、(3)それが、予測が行われた理由を解説することなく、その予測および確率を出力し得るので、それが、あまり解説可能ではないこともあるという事実を考慮するために、複数インスタンス学習、能動学習、および/または分散訓練等の訓練スキームを使用する必要があり得る。
一実施形態によると、例示的混合訓練は、完全教師あり訓練、半教師あり訓練、および/または教師なし訓練に関して上で説明される例示的パイプラインのうちのいずれかを訓練することを含み、次いで、結果として生じるモデルを訓練方法のうちのいずれかに関する初期点として使用し得る。混合訓練の利点は、(1)それが、より少ないデータを要求し得る、(2)それが、改良された性能を有し得る、および/または、(3)それが、異なるレベルの標識(例えば、セグメンテーション、スライドレベル情報、情報なし)の混合を可能にし得ることであり得る。混合訓練の不利点は、(1)これがより複雑である、および/または、訓練することが高価であり得る、および/または、(2)それが、潜在的バグの数および複雑性を増加させ得るより多くのコードを要求し得ることであり得る。
一実施形態によると、例示的不確実性推定は、パイプラインの末端において不確実性推定を使用して、スライドデータに関連する任意のタスクに関して、完全教師あり訓練、半教師あり訓練、および/または教師なし訓練に関して上で説明される例示的パイプラインのうちのいずれかを訓練することを含み得る。さらに、ヒューリスティックまたは分類器が、試験の予測における不確実性の量に基づいて、再切断が実施されるべきであるかどうかを予測するために使用され得る。不確定性推定の利点は、それが分布外データに対してロバストであることであり得る。例えば、見慣れないデータが、提示されるとき、それは、依然として、それが不確実であることを正しく予測し得る。不確定性推定の不利点は、(1)それがより多くのデータを必要とし得ること、(2)それが、不良な全体的性能を有し得る、および/または、(3)それが、モデルが必ずしもスライドまたはスライド埋め込みが異常である程度を識別しないこともあるので、あまり解説可能ではないこともあることであり得る。
一実施形態によると、アンサンブル訓練は、上で説明される例示的パイプラインのうちのいずれかによって生成されるモデルを同時に実行することと、ヒューリスティックまたは分類器による出力を組み合わせ、ロバストかつ正確な結果を生成することとを含み得る。アンサンブル訓練の利点は、(1)それが分布外データに対してロバストであること、および/または、(2)それが他のモデルの利点および不利点を組み合わせ、不利点の最小化(例えば、不確定性推定モデルと組み合わせられる教師あり訓練モデル、および着信データが分布内にあるときに教師ありモデルを使用し、データが分布外にあるときに不確実性モデルを使用するヒューリスティック等)をもたらし得ることであり得る。アンサンブル訓練の不利点は、(1)それが、より複雑であり得るおよび/または、(2)それが、訓練および実行することが高価であり得ることであり得る。
本明細書に議論される訓練技法は、段階的にも進み得、より多くの注釈を伴う画像は、訓練のために最初に使用され、それは、より少ない注釈を有するスライドを使用するより効果的な後の訓練を可能にし得、あまり監督されない等である。
訓練は、使用され得る全ての訓練スライド画像に対して、最も徹底的に注釈を付けられるスライドを使用して開始され得る。例えば、訓練は、教師あり学習を使用して開始され得る。スライド画像の第1の組が、関連付けられた注釈とともに受信または決定され得る。各スライドは、マーキングおよび/またはマスクされた領域を有し得、スライドが拒絶されるべきかどうか等の情報を含み得る。スライドの第1の組は、スライドの第1の組とそれらの関連付けられた注釈との間の相関を決定し得る訓練アルゴリズム、例えば、CNNに提供され得る。
画像の第1の組を用いた訓練が、完了された後、第1の組より少ない注釈を有する、例えば、部分的注釈を伴うスライド画像の第2の組が、受信または決定され得る。一実施形態では、注釈は、スライドが診断、またはそれに関連付けられた品質問題点を有することを示すのみであり得、見出され得る疾患の内容または場所等を規定しないこともある。スライド画像の第2の組は、第1のものと異なる訓練アルゴリズム、例えば、複数インスタンス学習を使用して訓練され得る。訓練データの第1の組は、システムを部分的に訓練するために使用され得、第2の訓練ラウンドを正確なアルゴリズムを生成することにおいてより効果的にし得る。
このように、訓練は、訓練スライド画像の品質およびタイプに基づいて、任意の数のアルゴリズムを使用して、任意の数の段階において進み得る。これらの技法は、様々な品質、注釈レベル、および/または注釈タイプであり得る画像の複数の訓練組が受信される状況において利用され得る。
一実施形態によると、ツールを使用する例示的方法320は、下記のステップのうちの1つ以上を含み得る。ステップ321において、方法は、デジタル記憶デバイス(例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、RAM等)において病理学試料(例えば、組織学、細胞学等)のデジタル画像を受信することを含み得る。ステップ323において、方法は、訓練手順(例えば、方法300)からのアルゴリズムを適用し、デジタル画像が診断のために不十分な情報を提供する可能性および/またはデジタル画像が改良された病理学スライドが作製されるための要請情報に関連付けられ得る可能性を予測することを含み得る。この予測は、試料、スライド、組織ブロック等のレベルにおいて実施され得る。
ステップ325において、方法は、受信されたデジタル画像に関連付けられる要請情報を予測することを含み得る。要請情報は、要請する試験のタイプまたはスライドパラメータを含み得る。試験は、追加の染色、追加の切断、ゲノム試験、遺伝子試験、生体外実験室試験、放射線撮像、計算(例えば、人工知能)診断試験等を含み得る。この予測は、電子記憶デバイスに出力され得る。一実施形態では、予測された可能性は、組織学技師からの新しい情報に関する要請を自動的にトリガするために使用され得る。予測された可能性または予測された要請情報は、1つ以上の追加のスライド(例えば、再切断、染色等)を調製するように自動的調製パイプラインをプロンプトするために使用され得る。自動的トリガまたはスライド調製は、ヒューリスティックまたは補助システムによって実施され得る。代替として、または加えて、ステップ325は、スライドに関する新しい情報が診断を行うために所望され得ることをユーザ(例えば、病理医、組織学技師等)にアラートするための視覚的インジケータを発生させることを含み得る。ユーザは、次いで、アラートに基づいて、新しい情報を要請し得る。アラートは、ユーザが、後ではなく、より早く新しいスライドに関する調製を開始することを可能にし得る。
本明細書に議論される技法は、染色を生成するかどうかを決定するためのヒューリスティックおよび病理学スライド分析を合理化する方法を提供する。スライド分析を合理化することの一側面は、新しいスライドを要請することおよび/またはスライド要請情報を自動化することを含む。上で説明されるスライド要請機械学習実施形態は、この側面に関する解決策を提示する。病理学スライド分析を合理化することの別の側面は、追加の試験を実行する/追加の試料スライドを発生させる予期される費用を最小化することを含み得る。一実施形態によると、費用を最小化することは、下記の関数に従い得る。
min((A+B)×FN(th)+C×FP(th))、式中、
A:遅れた診断の平均費用であり、
B:病理医が要求される追加の染色を決定するための平均費用であり、
C:追加の試験の費用であり、
FN(th):閾値の関数としての検証組にわたる偽陰性率であり、
FP(th):閾値の関数としての検証組にわたる偽陽性率である。
上で説明される訓練および使用段階は、研究および/または生産/臨床/産業設定において使用可能な実施形態を含み得る。これらは、下記に詳細に説明される。
一実施形態によると、方法は、新しい染色が病理医によって要請されるときを予測することを含み得る。例えば、病理医が、診断に苦労する、または癌の特定の境界兆候を見出すとき、病理医は、追加の染色、例えば、免疫組織化学(IHC)、分子病理学、コンゴレッド等を用いてスライドが調製されることを要求し得る。
図4に図示される一実施形態によると、染色要請予測ツールを開発する例示的方法400は、下記のステップのうちの1つ以上を含み得る。ステップ401において、方法は、デジタル記憶デバイス(例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、RAM等)において病理学試料(例えば、組織学、細胞学等)を備えている第1のスライドの第1のデジタル画像を受信することを含み得る。ステップ403において、方法は、第1のスライドに関して、病理医がそのスライドに関する新しい染色を要請したかどうかの指示を受信することを含み得る。このステップは、第1のスライドに関連付けられる染色要請を受信することを含み得る。例えば、スライドに関する指示は、要請された厳密な染色を記載し得る。スライドの試料についての追加の情報、例えば、それから試料が採取された組織タイプに関するデータおよび/または試料に関連付けられる患者または症例に関連付けられた任意の診断データも、受信され得る。
ステップ405において、方法は、病理学試料の第2のデジタル画像を受信し、第2のデジタル画像に関連付けられるデータ(例えば、スライド要請情報)を受信するための機械学習アルゴリズムを訓練することを含み得る。訓練された機械学習アルゴリズムは、次いで、受信されたデジタル画像および受信されたデータ(例えば、ステップ405)に基づいて、新しい染色が選択されたスライドに関して要請されたかどうかを予測し得る。訓練された機械学習アルゴリズムはまた、受信されたデジタル画像および受信されたデータ(例えば、ステップ405)に基づいて、選択されたスライドに関して要請された(新しい)染色を予測し得る。このアルゴリズムは、(1)CNN、RNN等のニューラルネットワーク、(2)複数インスタンス学習、強化学習、能動学習等の訓練方法論、(3)限定ではないが、スライド内の組織のパーセンテージ、RGB、HSV、または他の色空間上の基本統計、気泡、組織襞、異常な染色等のスライド調製または撮像アーチファクトの存在のうちのいずれか1つまたは任意の組み合わせを含む特徴抽出、および、(4)ランダムフォレスト、サポートベクターマシン(SVM)、多層パーセプトロン(MLP)等の単純な分類方法の任意の組み合わせを使用することによって、複数の方法で実装され得る。図3(例えば、表1および対応する説明)に関する機械学習アルゴリズムの上記説明は、図4の機械学習アルゴリズムにも適用され得る。
開示される染色要請予測ツールを使用する例示的方法420は、下記のステップのうちの1つ以上を含み得る。ステップ421において、方法は、デジタル記憶デバイス(例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、RAM等)において病理学試料(例えば、組織学、細胞学等)のスライドの1つ以上のデジタル画像を受信することを含み得る(例えば、ステップ421)。試料についての情報、例えば、試料が採取された組織タイプおよび/または選択された患者または選択された症例に関連付けられた任意の診断データが、受信され得る。ステップ423において、方法は、訓練された機械学習アルゴリズム(例えば、方法400のもの)を使用して、新しい染色がスライドに関して所望される可能性を予測することを含み得る。ステップ423は、スライドに関する染色要請を予測することも含み得る。
ステップ425において、方法は、予測を電子記憶デバイスに出力することを含み得る。予測された可能性または予測された染色要請は、組織学技師に対する要請を自動的にトリガするために使用され得る。一実施形態では、視覚的インジケータが、ユーザが、新しい染色を即座に要請し得るように、新しい染色が所望され得ることをユーザ(例えば、病理医、組織学技師等)にアラートするために発生させられ得る。代替として、または加えて、予測された可能性または予測された染色要請は、要求される染色を用いて1つ以上のスライドを調製するために、自動化スライド染色パイプラインの一部として使用され得る。例示的方法は、限定ではないが、低モデル情報、高リスク病変を予測すること、追加の試験を自動的に必要とし得る診断を識別すること、および遺伝子試験を自動的にトリガする疑わしい形態を識別することを含む。
追加の試験を自動的に必要とし得る診断の例は、(1)肺腺癌が、分子試験(例えば、EGFR(上皮成長因子受容体)、KRAS(カーステンラット肉腫)、ALK(未分化リンパ腫キナーゼ)、ROS、BRAF(B-Raf癌原遺伝子)、MET(MET癌原遺伝子、受容体チロシンキナーゼ)等)に関する免疫染色および再切断のパネルをトリガすること、(2)乳癌が、ホルモン受容体免疫染色パネル(例えば、ER(エストロゲン受容体)、PR(プロゲステロン受容体)<Her2(2型ヒト上皮成長因子受容体))をトリガすること、(3)類内膜腺癌および結腸腺癌が、ミスマッチ修復免疫染色(例えば、MLH1、MSH2、PMS2、MSH6遺伝子)をトリガすること、(4)アミロイドの存在が、コンゴレッドをトリガすること、および、(5)真菌生物が、例えば、PAS(周期的酸シッフ)およびGMS(グロコットメテナミン銀)をトリガすることのうちのいずれか1つまたは任意の組み合わせを含み得る。
遺伝子試験を自動的にトリガする疑わしい形態の例は、(1)BAP1欠損母斑が、BAP1免疫染色をトリガすること、および/または、コハク酸脱水素酵素欠損腫瘍が、SDH(コハク酸脱水素酵素)免疫染色をトリガすることを含み得る。
一実施形態によると、いくつかの診断および/または染色要請予測は、例えば、方法420のアルゴリズムが、ある閾値または確実性内の診断を決定した場合、および/または、染色要請情報の1つの組を決定した場合、自動的にトリガされ得る少なくとも1回の追加の染色をプロンプトし得る。加えて、病理学画像のいくつかの特徴は、微妙であり得、追加の染色が、診断を決定するために病理医を支援し得る。一実施形態では、追加の染色は、いったん方法420のアルゴリズムが、画像強化または改良されたスライドが所望されることを検出すると、プロンプト/要請され得る。
一実施形態によると、少なくとも1回の追加の染色が自動的にトリガされ得る状況の例は、1回以上の免疫染色をトリガする診断を含み得る。例えば、肺腺癌は、分子試験(EGFR、KRAS、ALK、ROS、BRAF、MET等)に関する免疫染色および再切断のパネルをトリガし得る。加えて、乳癌は、ホルモン受容体免疫染色パネル(ER、PR<Her2)をトリガし得る。類内膜腺癌および結腸腺癌は、ミスマッチ修復免疫染色(MLH1、MSH2、PMS2、MSH6)をトリガし得る。
一実施形態によると、病理学画像は、微妙であり、検出しにくいある特徴を含み得る。この場合、より多くの染色の自動的要請が、診断を決定することにおいて病理医を支援するために、いくつかの特徴を強化するためにトリガされ得る。例えば、アルゴリズムによって検出されるBAP1欠損母斑は、腫瘍素因を予測し得、BAP1免疫染色が、要請され得る。別の例として、コハク酸脱水素酵素欠損腫瘍が、認識される場合、SDH免疫染色が、要請され得る。別の例として、アミロイドが、検出される場合、コンゴレッド染色が、アミロイドを強調するために要請され得る。別の例として、真菌生物が、アルゴリズムによって検出される場合、周期的酸シッフ(PAS)および/またはゴモリメテナミン銀(GMS)染色が、真菌生物を強調するために要請され得る。
一実施形態によると、方法は、再切断が病理医によって要請されるときを予測することを含み得る。例えば、病理医がスライドにおいて可能な癌の境界を検出するとき、または病理医がスライドが診断を下すために十分な試料の断面を捕捉していないことを検出するとき、病理医は、追加の切片が試料から作製され、新しいスライドが調製されることを要求し得る。
図5に図示される一実施形態によると、再切断要請予測ツールを開発する例示的方法500は、下記のステップのうちの1つ以上を含み得る。ステップ501において、方法は、デジタル記憶デバイス(例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、RAM等)において病理学試料(例えば、組織学、細胞学等)を備えている第1のスライドのデジタル画像を受信することを含み得る。ステップ503において、方法は、試料の組織ブロックに関する病理医がその組織ブロックに関して再切断を要請したかどうかの指示を受信することを含み得る。このステップは、第1のスライドに関連付けられる、組織ブロックの再切断場所を受信することを含み得る。例えば、各ブロックに関する指示は、再切断が要請された場所(例えば、ブロックにおける各スライドの上方または下方)を厳密に記載し得る。試料についての追加の情報、例えば、試料が採取された組織タイプに関するデータおよび/または試料に関連付けられた患者または症例に関連付けられた任意の診断データも、受信され得る。追加の情報の他の例は、試料の全体的説明(例えば、全体的試料の画像、試験説明、サイズおよび形状寸法等)についての情報を含み得る。
一実施形態によると、ステップ505において、方法は、病理学試料の受信されたデジタル画像および各デジタル画像/病理学試料に対応する追加の情報に基づいて、再切断が入力スライドに関して要請されたかどうかを予測するために、機械学習アルゴリズムを訓練することを含み得る。例えば、結果として生じる訓練された機械学習アルゴリズムは、再切断が組織ブロック毎に要請されたかどうかを予測する、および/または再切断の場所(例えば、組織ブロックに関連付けられる入力スライドの切断の上方または下方)を予測し得る。このアルゴリズムは、(1)CNN、回帰型ニューラルネットワーク(RNN)等のニューラルネットワーク、(2)複数インスタンス学習、強化学習、能動学習等の訓練方法論、(3)限定ではないが、(a)スライド内の組織のパーセンテージ、(b)RGB(赤色、緑色、青色)、HSV(色相、彩度、明度)、HSL(色相、彩度、輝度)、または他の色空間上の基本統計、および、(c)気泡、組織襞、異常な染色等のスライド調製または撮像アーチファクトの存在を含む、特徴抽出、および/または、(4)ランダムフォレスト、SVM、MLP等の単純な分類方法の任意の組み合わせを使用することによって、複数の方法で実装され得る。
再切断要請予測ツールを開発する例示的方法520は、下記のステップのうちの1つ以上を含み得る。ステップ521において、方法は、デジタル記憶デバイス(例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、RAM等)において病理学試料(例えば、組織学、細胞学等)のスライドの1つ以上のデジタル画像を受信することを含み得る。試料についての情報、例えば、それから試料が採取された組織タイプおよび/または選択された患者または選択された症例に関連付けられた任意の診断データが、受信され得る。ステップ523において、方法は、訓練された機械学習アルゴリズム(例えば、方法500のもの)を使用して、再切断が試料に関連付けられた組織ブロックに関して所望される可能性を予測することを含み得る。ステップ523は、スライドに関する再切断要請(例えば、再切断場所)を予測することも含み得る。
一実施形態によると、ステップ525において、方法は、予測を電子記憶デバイスに出力することを含み得る(例えば、ステップ525)。予測された可能性または予測された再切断要請は、組織学技師に対する要請を自動的にトリガするために使用され得る。一実施形態では、視覚的インジケータが、ユーザが、新しい染色を即座に要請し得るように、新しい染色が所望され得ることをユーザ(例えば、病理医、組織学技師等)にアラートするために発生させられ得る。一実施形態では、出力が、試料に関連付けられる組織ブロックから1つ以上の追加のスライドを切断するように自動的スライド分割機械をプロンプトすることを含み得る。出力は、次の再切断要請に関する再切断場所(例えば、切断する組織の深さの程度)および/または軸の決定をさらに含み得る。一実施形態では、追加のシステムが、再切断を発生させるための精密なパラメータ(例えば、再切断場所、軸等)を計算するために使用され得る。再切断要請情報を決定または計算するためのいくつかの例示的方法は、限定ではないが、(1)過去のN回の切断から、事前の試料が切断された場所の関数としてスライド内に存在する組織の量を推定し、切断するべき次の最良の場所を予測するために該関数を最大化すること、(2)病原体または癌の小さい/曖昧な兆候が検出される場合、第1の場所/深さに近接する(例えば、所定の距離/距離閾値内の)再切断を要請し、曖昧さが解消されるまで、その疑わしい領域について収集される情報の量を増加させること、および/または、(3)悪性度分類が曖昧である場合、第1の場所/深度に近接する(例えば、所定の距離/距離閾値内の)再切断を要請し、曖昧さが解消されるまで、その疑わしい領域について収集される情報の量を増加させることを含み得る。
図6に示されるように、デバイス600は、中央処理ユニット(CPU)620を含み得る。CPU620は、例えば、任意のタイプの専用または汎用マイクロプロセッサデバイスを含む任意のタイプのプロセッサデバイスであり得る。当業者によって理解されるであろうように、CPU620は、マルチコア/マルチプロセッサシステムにおけるシングルプロセッサでもあり、そのようなシステムは、単独で、またはクラスタまたはサーバファームにおいて動作するコンピューティングデバイスのクラスタにおいて動作し得る。CPU620は、データ通信インフラストラクチャ610、例えば、バス、メッセージキュー、ネットワーク、またはマルチコアメッセージパッシングスキームに接続され得る。
デバイス600は、主要メモリ640、例えば、ランダムアクセスメモリ(RAM)も含み得、二次メモリ630も含み得る。二次メモリ630、例えば、読み取り専用メモリ(ROM)は、例えば、ハードディスクドライブまたはリムーバブル記憶ドライブであり得る。そのようなリムーバブル記憶ドライブは、例えば、フロッピー(登録商標)ディスクドライブ、磁気テープドライブ、光学ディスクドライブ、フラッシュメモリ等を備え得る。この例におけるリムーバブル記憶ドライブは、周知の様式でリムーバブル記憶ユニットから読み取り、および/またはそれに書き込む。リムーバブル記憶ユニットは、リムーバブル記憶ドライブによって読み取られ、それに書き込まれる、フロッピー(登録商標)ディスク、磁気テープ、光学ディスク等を備え得る。当業者によって理解されるであろうように、そのようなリムーバブル記憶ユニットは、概して、その中にコンピュータソフトウェアおよび/またはデータを記憶したコンピュータ使用可能記憶媒体を含む。
代替実装では、二次メモリ630は、コンピュータプログラムまたは他の命令がデバイス600にロードされることを可能にするための他の類似する手段を含み得る。そのような手段の例は、ソフトウェアおよびデータが、リムーバブル記憶ユニットからデバイス600に転送されることを可能にするプログラムカートリッジおよびカートリッジインターフェース(ビデオゲームデバイスにおいて見出されるもの等)、リムーバブルメモリチップ(EPROMまたはPROM等)および関連付けられたソケット、および他のリムーバブル記憶ユニットおよびインターフェースを含み得る。
デバイス600は、通信インターフェース(「COM」)660も含み得る。通信インターフェース660は、ソフトウェアおよびデータがデバイス600と外部デバイスとの間で転送されることを可能にする。通信インターフェース660は、モデム、ネットワークインターフェース(イーサネット(登録商標)カード等)、通信ポート、PCMCIAスロットおよびカード等を含み得る。通信インターフェース660を介して転送されるソフトウェアおよびデータは、通信インターフェース660によって受信されることが可能な電子、電磁、光学、または他の信号であり得る信号の形態であり得る。これらの信号は、例えば、ワイヤまたはケーブル、光ファイバ、電話回線、セルラー電話リンク、RFリンク、または他の通信チャネルを使用して実装され得るデバイス600の通信経路を介して通信インターフェース660に提供され得る。
デバイス600は、キーボード、マウス、タッチスクリーン、モニタ、ディスプレイ等の入力および出力デバイスと接続するための入力および出力ポート650も含み得る。当然ながら、種々のサーバ機能は、処理負荷を分散させるために、いくつかの類似するプラットフォーム上で分散方式で実装され得る。代替として、サーバは、1つのコンピュータハードウェアプラットフォームの適切なプログラミングによって実装され得る。
本開示全体を通して、コンポーネントまたはモジュールの言及は、概して、機能または関連する機能の群を実施するために論理的にともに群化され得るアイテムを指す。同様の参照番号は、概して、同一または類似するコンポーネントを指すことを意図している。コンポーネントおよびモジュールは、ソフトウェア、ハードウェア、またはソフトウェアおよびハードウェアの組み合わせにおいて実装されることができる。
上で説明されるツール、モジュール、および機能は、1つ以上のプロセッサによって実施され得る。「記憶」タイプ媒体は、ソフトウェアプログラミングのために任意の時点で非一過性記憶を提供し得る種々の半導体メモリ、テープドライブ、ディスクドライブ、および同等物等、コンピュータ、プロセッサ等の有形メモリ、またはそれらの関連付けられるモジュールのうちのいずれかまたは全てを含み得る。
ソフトウェアは、インターネット、クラウドサービスプロバイダ、または他の電気通信ネットワークを通して通信され得る。例えば、通信は、1つのコンピュータまたはプロセッサから別のものにソフトウェアをロードすることが可能であり得る。本明細書に使用される場合、非一過性有形「記憶」媒体に制限されない限り、コンピュータまたは機械「読み取り可能な媒体」等の用語は、実行のためにプロセッサに命令を提供することに関与する任意の媒体を指す。
前述の一般的な説明は、例示的かつ解説的にすぎず、本開示の制限ではない。本発明の他の実施形態も、本明細書の検討および本明細書に開示される本発明の実践から当業者に明白となるであろう。本明細書および例が、例示的にすぎないと見なされることを意図している。

Claims (20)

  1. 試料に対応する電子画像を処理するためのコンピュータ実装方法であって、前記方法は、
    標的試料に対応するスライドの標的電子画像を受信することであって、前記標的試料は、染色を用いて染色された患者からの組織サンプルの切片を備えている、ことと、
    機械学習システムを前記標的電子画像に適用し、前記標的試料に関連付けられた不足を決定することであって、前記機械学習システムは、染色不足を予測すること、および必要とされる再切断を予測することを行うために、複数の訓練画像を処理することによって発生させられており、前記複数の訓練画像は、ヒト組織の画像およびアルゴリズム的に発生させられた画像の一方または両方を備えている、ことと、
    前記標的試料に関連付けられた前記不足に基づいて、追加のスライドが調製されるように自動的に要請することを決定し、追加の染色、追加の切片、ゲノム試験、遺伝子試験、生体外実験室試験、放射線撮像、および/または、計算診断試験のうちのいずれか1つまたは組み合わせを含む試験を自動的に開始するとと
    を含む、コンピュータ実装方法。
  2. 不足を決定することは、
    前記標的試料の試料情報に基づいて、前記追加のスライドが調製される可能性を決定することと、
    前記可能性が所定の量以上であることに応答して、前記追加のスライドが調製されるように自動的に要請することと
    を含む、請求項1に記載のコンピュータ実装方法。
  3. 前記追加のスライドは、前記験を自動的に開始する診断を前記機械学習システムが識別することに応答して、自動的に要請される、請求項1に記載のコンピュータ実装方法。
  4. 前記追加のスライドは、前記験を自動的に開始する診断を前記機械学習システムが識別することに応答して、自動的に要請され、
    前記験を自動的に開始する前記診断は、肺腺癌、乳癌、類内膜腺癌、結腸腺癌、他の組織における腺癌、肉腫、予後バイオマーカ、疑わしい病変、アミロイドの存在、および/または真菌生物のうちのいずれか1つまたは任意の組み合わせ含む、請求項1に記載のコンピュータ実装方法。
  5. 前記試験は、少なくとも前記遺伝子試験を含み、前記追加のスライドは、前記遺伝子試験を自動的にトリガする形態を前記機械学習システムが識別することに応答して、自動的に要請される、請求項1に記載のコンピュータ実装方法。
  6. 前記追加のスライドを要請することは、前記標的試料に対応する前記スライドに関する新しい染色が調製されるように要請することを含む、請求項1に記載のコンピュータ実装方法。
  7. 前記追加のスライドを要請することは、前記標的試料に対応する前記スライドに関する再切断を要請することを含む、請求項1に記載のコンピュータ実装方法。
  8. 前記追加のスライドが調製されていることを示すアラートをディスプレイ上に出力することをさらに含む、請求項1に記載のコンピュータ実装方法。
  9. 試料に対応する電子画像を処理するためのシステムであって、前記システムは、
    命令を記憶している少なくとも1つのメモリと、
    少なくとも1つのプロセッサと
    を備え、
    前記少なくとも1つのプロセッサは、
    標的試料に対応するスライドの標的電子画像を受信することであって、前記標的試料は、染色を用いて染色された患者からの組織サンプルの切片を備えている、ことと、
    機械学習システムを前記標的電子画像に適用し、前記標的試料に関連付けられた不足を決定することであって、前記機械学習システムは、染色不足を予測すること、および必要とされる再切断を予測することを行うために、複数の訓練画像を処理することによって発生させられており、前記複数の訓練画像は、ヒト組織の画像およびアルゴリズム的に発生させられた画像の一方または両方を備えている、ことと、
    前記標的試料に関連付けられた前記不足に基づいて、追加のスライドが調製されるように自動的に要請することを決定し、追加の染色、追加の切片、ゲノム試験、遺伝子試験、生体外実験室試験、放射線撮像、および/または、計算診断試験のうちのいずれか1つまたは組み合わせを含む試験を自動的に開始するとと
    を含む動作を実施するための前記命令を実行するように構成されている、システム。
  10. 不足を決定することは、
    前記標的試料の試料情報に基づいて、前記追加のスライドが調製される可能性を決定することと、
    前記可能性が所定の量以上であることに応答して、前記追加のスライドが調製されるように自動的に要請することを決定することと
    を含む、請求項9に記載のシステム。
  11. 前記追加のスライドは、前記験を自動的に開始する診断を前記機械学習システムが識別することに応答して、自動的に要請される、請求項9に記載のシステム。
  12. 前記追加のスライドは、前記験を自動的に開始する診断を前記機械学習システムが識別することに応答して、自動的に要請され、
    前記験を自動的に開始する前記診断は、肺腺癌、乳癌、類内膜腺癌、結腸腺癌、他の組織における腺癌、肉腫、予後バイオマーカ、疑わしい病変、アミロイドの存在、および/または真菌生物のうちのいずれか1つまたは任意の組み合わせを備えている、請求項9に記載のシステム。
  13. 前記試験は、少なくとも前記遺伝子試験を含み、前記追加のスライドは、前記遺伝子試験を自動的にトリガする形態を前記機械学習システムが識別することに応答して、自動的に要請される、請求項9に記載のシステム。
  14. 前記追加のスライドを要請することは、前記標的試料に対応する前記スライドに関する新しい染色が調製されるように要請することを含む、請求項9に記載のシステム。
  15. 前記追加のスライドを要請することは、前記標的試料に対応する前記スライドに関する再切断を要請することを含む、請求項9に記載のシステム。
  16. 前記追加のスライドが調製されていることを示すアラートをディスプレイ上に出力することをさらに含む、請求項9に記載のシステム。
  17. 命令を記憶している非一過性コンピュータ読み取り可能な媒体であって、前記命令は、プロセッサによって実行されると、試料に対応する電子画像を処理する方法を前記プロセッサに実施させ、前記方法は、
    標的試料に対応するスライドの標的電子画像を受信することであって、前記標的試料は、染色を用いて染色された患者からの組織サンプルの切片を備えている、ことと、
    機械学習システムを前記標的電子画像に適用し、前記標的試料に関連付けられた不足を決定することであって、前記機械学習システムは、染色不足を予測すること、および必要とされる再切断を予測することを行うために、複数の訓練画像を処理することによって発生させられており、前記複数の訓練画像は、ヒト組織の画像およびアルゴリズム的に発生させられた画像の一方または両方を備えている、ことと、
    前記標的試料に関連付けられた前記不足に基づいて、追加のスライドが調製されるように自動的に要請することを決定し、追加の染色、追加の切片、ゲノム試験、遺伝子試験、生体外実験室試験、放射線撮像、および/または、計算診断試験のうちのいずれか1つまたは組み合わせを含む試験を自動的に開始するとと
    を含む、非一過性コンピュータ読み取り可能な媒体。
  18. 不足を決定することは、
    前記標的試料の試料情報に基づいて、前記追加のスライドが調製される可能性を決定することと、
    前記可能性が所定の量以上であることに応答して、前記追加のスライドが調製されるように自動的に要請することを決定することと
    を含む、請求項17に記載の非一過性コンピュータ読み取り可能な媒体。
  19. 前記追加のスライドは、前記験を自動的に開始する診断を前記機械学習システムが識別することに応答して、自動的に要請される、請求項17に記載の非一過性コンピュータ読み取り可能な媒体。
  20. 前記追加のスライドは、前記験を自動的に開始する診断を前記機械学習システムが識別することに応答して、自動的に要請され、
    前記験を自動的に開始する前記診断は、肺腺癌、乳癌、類内膜腺癌、結腸腺癌、他の組織における腺癌、肉腫、予後バイオマーカ、疑わしい病変、アミロイドの存在、および/または真菌生物のうちのいずれか1つまたは任意の組み合わせを備えている、請求項17に記載の非一過性コンピュータ読み取り可能な媒体。
JP2021570179A 2019-05-28 2020-05-27 デジタル病理学のための処理された画像に関するスライドを調製するために画像を処理するためのシステムおよび方法 Active JP7150289B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962853383P 2019-05-28 2019-05-28
US62/853,383 2019-05-28
PCT/US2020/034737 WO2020243193A1 (en) 2019-05-28 2020-05-27 Systems and methods for processing images to prepare slides for processed images for digital pathology

Publications (2)

Publication Number Publication Date
JP2022530280A JP2022530280A (ja) 2022-06-28
JP7150289B2 true JP7150289B2 (ja) 2022-10-11

Family

ID=72266803

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021570179A Active JP7150289B2 (ja) 2019-05-28 2020-05-27 デジタル病理学のための処理された画像に関するスライドを調製するために画像を処理するためのシステムおよび方法

Country Status (7)

Country Link
US (6) US10937541B2 (ja)
EP (1) EP3977402A1 (ja)
JP (1) JP7150289B2 (ja)
CN (1) CN114207675A (ja)
AU (2) AU2020284538B2 (ja)
CA (1) CA3137880A1 (ja)
WO (1) WO2020243193A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11348239B2 (en) * 2018-05-14 2022-05-31 Tempus Labs, Inc. Predicting total nucleic acid yield and dissection boundaries for histology slides
US11348661B2 (en) 2018-05-14 2022-05-31 Tempus Labs, Inc. Predicting total nucleic acid yield and dissection boundaries for histology slides
US10957041B2 (en) 2018-05-14 2021-03-23 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
EP3794551A4 (en) 2018-05-14 2022-02-09 Tempus Labs, Inc. FRAMEWORK FOR GENERALIZABLE AND INTERPRETABLE DEEP LEARNING FOR PREDICTING MSI FROM HISTOPATHOLOGICAL SLIDE IMAGES
US11348240B2 (en) 2018-05-14 2022-05-31 Tempus Labs, Inc. Predicting total nucleic acid yield and dissection boundaries for histology slides
US10937541B2 (en) * 2019-05-28 2021-03-02 PAIGE.AI, Inc. Systems and methods for processing images to prepare slides for processed images for digital pathology
WO2020243583A1 (en) 2019-05-29 2020-12-03 Leica Biosystems Imaging, Inc. Artificial intelligence processing system and automated pre-diagnostic workflow for digital pathology
US11423678B2 (en) 2019-09-23 2022-08-23 Proscia Inc. Automated whole-slide image classification using deep learning
WO2022066736A1 (en) 2020-09-23 2022-03-31 Proscia Inc. Critical component detection using deep learning and attention
US11663838B2 (en) 2020-10-29 2023-05-30 PAIGE.AI, Inc. Systems and methods for processing images to determine image-based computational biomarkers from liquid specimens
WO2022147503A1 (en) * 2020-12-31 2022-07-07 Tempus Labs, Inc. Predicting total nucleic acid yield and dissection boundaries for histology slides
US11791035B2 (en) 2021-03-09 2023-10-17 PAIGE.AI, Inc. Systems and methods for artificial intelligence powered molecular workflow verifying slide and block quality for testing
US11455724B1 (en) * 2021-05-12 2022-09-27 PAIGE.AI, Inc. Systems and methods to process electronic images to adjust attributes of the electronic images
CA3224288A1 (en) 2021-07-06 2023-01-12 Rodrigo CEBALLOS LENTINI Systems and methods to process electronic images to provide blur robustness
WO2023164051A1 (en) * 2022-02-24 2023-08-31 Artera Inc. Systems and methods for determining cancer therapy via deep learning
CN115022049B (zh) * 2022-06-06 2024-05-14 哈尔滨工业大学 一种基于计算马氏距离的分布外网络流量数据检测方法、电子设备及存储介质
WO2024030978A1 (en) * 2022-08-03 2024-02-08 Genentech, Inc. Diagnostic tool for review of digital pathology images

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016520814A (ja) 2013-03-30 2016-07-14 クラリエント ダイアグノスティック サービシーズ, インコーポレイテッド 品質対照をその上に有する顕微鏡スライド
WO2017130790A1 (ja) 2016-01-29 2017-08-03 シスメックス株式会社 標本染色装置、塗抹標本作製装置および標本染色方法
WO2017221592A1 (ja) 2016-06-23 2017-12-28 コニカミノルタ株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2019513228A (ja) 2016-03-07 2019-05-23 エックス−ゼル インコーポレイテッド 希少細胞を同定する組成物及び方法
JP7012731B2 (ja) 2016-10-25 2022-02-14 アボット・ラボラトリーズ 自動スライド作製における試薬の評価及び制御

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2514444A (en) 1946-05-23 1950-07-11 American Chain & Cable Co Method of resistance welding chain links
US6058322A (en) * 1997-07-25 2000-05-02 Arch Development Corporation Methods for improving the accuracy in differential diagnosis on radiologic examinations
US6396953B1 (en) * 1999-02-23 2002-05-28 Rockwell Collins, Inc. Data pattern correlator
DE19940577A1 (de) * 1999-08-26 2001-03-01 Wilex Biotechnology Gmbh Verfahren zum Trainieren eines neuronalen Netzes
US8507445B2 (en) * 2001-09-07 2013-08-13 Board Of Regents, The University Of Texas System Compositions and methods of use of targeting peptides for diagnosis and therapy of human cancer
US6855114B2 (en) * 2001-11-23 2005-02-15 Karen Drukker Automated method and system for the detection of abnormalities in sonographic images
AU2003303382A1 (en) * 2002-12-20 2004-07-22 Axon Medical, Inc. System providing emergency medical care with real-time instructions and associated methods
US8131475B2 (en) * 2003-09-03 2012-03-06 The United States Of America As Represented By The Secretary, Department Of Health And Human Services Methods for identifying, diagnosing, and predicting survival of lymphomas
US8510054B2 (en) * 2004-02-05 2013-08-13 Ajinomoto Co., Inc. Intracellular metabolic flux analysis method using substrate labeled with isotope
DE102004026135A1 (de) * 2004-05-25 2006-01-05 Immatics Biotechnologies Gmbh An MHC-Moleküle bindende Tumor-assoziierte Peptide
US7524061B2 (en) * 2005-10-12 2009-04-28 Siemens Corporate Research, Inc. System and method for robust optic disk detection in retinal images using vessel structure and radon transform
US7657070B2 (en) * 2006-01-20 2010-02-02 Sakura Finetek U.S.A., Inc. Automated system of processing biological specimens and method
JP4607132B2 (ja) * 2006-03-28 2011-01-05 富士フイルム株式会社 トレーニング支援装置、トレーニング支援方法、およびトレーニング支援プログラム
EP2201840B1 (en) * 2006-09-22 2011-11-02 Pharmacyclics, Inc. Inhibitors of Bruton's Tyrosine Kinase
CA2647856C (en) * 2007-12-21 2015-11-10 Genesis Group Inc. Diagnostic test for cardiomyopathy
US8609437B2 (en) * 2008-01-17 2013-12-17 The Institue for Cancer Research Biomarkers for the diagnosis and treatment of pancreatic cancer
US8747855B2 (en) * 2008-04-09 2014-06-10 Technion Research & Development Foundation Limited Anti human immunodeficiency antibodies and uses thereof
JP4623387B2 (ja) * 2008-09-04 2011-02-02 ソニー株式会社 学習装置および方法、認識装置および方法、並びにプログラム
EP2172211B1 (en) * 2008-10-01 2014-12-03 Immatics Biotechnologies GmbH Composition of tumor-associated peptides and related anti-cancer vaccine for the treatment of glioblastoma (GBM) and other cancers
JP2010108475A (ja) * 2008-10-03 2010-05-13 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
JP4670976B2 (ja) * 2008-10-03 2011-04-13 ソニー株式会社 学習装置および方法、認識装置および方法、プログラム、並びに記録媒体
US20100261776A1 (en) * 2008-11-07 2010-10-14 The Research Foundation Of State University Of New York Bruton's tyrosine kinase as anti-cancer drug target
US8877445B2 (en) * 2008-11-14 2014-11-04 Intelligent Oncotherapeutics, Inc. Methods for identification of tumor phenotype and treatment
JP2011040560A (ja) * 2009-08-11 2011-02-24 Toshiba Corp 発光解析装置および発光解析方法
JP2012235796A (ja) * 2009-09-17 2012-12-06 Sharp Corp 診断処理装置、診断処理システム、診断処理方法、診断処理プログラム及びコンピュータ読み取り可能な記録媒体、並びに、分類処理装置
US8936555B2 (en) * 2009-10-08 2015-01-20 The Regents Of The University Of Michigan Real time clinical decision support system having linked references
WO2011044408A2 (en) * 2009-10-08 2011-04-14 The Regents Of The University Of Michigan Real-time visual alert display
US8787638B2 (en) * 2011-04-07 2014-07-22 The Chinese University Of Hong Kong Method and device for retinal image analysis
US9159129B2 (en) * 2011-07-12 2015-10-13 Definiens Ag Generating image-based diagnostic tests by optimizing image analysis and data mining of co-registered images
US8977017B2 (en) * 2011-09-15 2015-03-10 The General Hospital Corporation System and method for support of medical diagnosis
CA2899714C (en) * 2013-03-15 2020-10-27 Ventana Medical Systems, Inc. Tissue object-based machine learning system for automated scoring of digital whole slides
US9633433B1 (en) * 2013-08-08 2017-04-25 Intellimed Systems, Llc Scanning system and display for aligning 3D images with each other and/or for detecting and quantifying similarities or differences between scanned images
US9805248B2 (en) * 2014-08-29 2017-10-31 Definiens Ag Applying pixelwise descriptors to a target image that are generated by segmenting objects in other images
US10037603B2 (en) * 2015-05-04 2018-07-31 Siemens Healthcare Gmbh Method and system for whole body bone removal and vascular visualization in medical image data
US10572996B2 (en) * 2016-06-28 2020-02-25 Contextvision Ab Method and system for detecting pathological anomalies in a digital pathology image and method for annotating a tissue slide
CA3036754A1 (en) * 2016-10-27 2018-05-03 Progenics Pharmaceuticals, Inc. Network for medical image analysis, decision support system, and related graphical user interface (gui) applications
US10573003B2 (en) * 2017-02-13 2020-02-25 Amit Sethi Systems and methods for computational pathology using points-of-interest
US11313869B2 (en) 2017-04-13 2022-04-26 Siemens Healthcare Diagnostics Inc. Methods and apparatus for determining label count during specimen characterization
CN107064019B (zh) * 2017-05-18 2019-11-26 西安交通大学 用于无染色病理切片高光谱图像采集及分割的装置及方法
CN107368670A (zh) * 2017-06-07 2017-11-21 万香波 基于大数据深度学习的胃癌病理诊断支持系统和方法
EP3596697B1 (en) * 2017-06-28 2021-03-17 Deepmind Technologies Limited Generalizable medical image analysis using segmentation and classification neural networks
US11195274B2 (en) * 2017-08-03 2021-12-07 Nucleai Ltd Systems and methods for analysis of tissue images
CN108717554A (zh) * 2018-05-22 2018-10-30 复旦大学附属肿瘤医院 一种甲状腺肿瘤病理组织切片图像分类方法及其装置
US20220005582A1 (en) 2018-10-10 2022-01-06 Ibex Medical Analytics Ltd. System and method for personalization and optimization of digital pathology analysis
US10891550B2 (en) * 2019-05-16 2021-01-12 PAIGE.AI, Inc. Systems and methods for processing images to classify the processed images for digital pathology
US10937541B2 (en) * 2019-05-28 2021-03-02 PAIGE.AI, Inc. Systems and methods for processing images to prepare slides for processed images for digital pathology

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016520814A (ja) 2013-03-30 2016-07-14 クラリエント ダイアグノスティック サービシーズ, インコーポレイテッド 品質対照をその上に有する顕微鏡スライド
WO2017130790A1 (ja) 2016-01-29 2017-08-03 シスメックス株式会社 標本染色装置、塗抹標本作製装置および標本染色方法
JP2019513228A (ja) 2016-03-07 2019-05-23 エックス−ゼル インコーポレイテッド 希少細胞を同定する組成物及び方法
WO2017221592A1 (ja) 2016-06-23 2017-12-28 コニカミノルタ株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP7012731B2 (ja) 2016-10-25 2022-02-14 アボット・ラボラトリーズ 自動スライド作製における試薬の評価及び制御

Also Published As

Publication number Publication date
WO2020243193A1 (en) 2020-12-03
US11309074B2 (en) 2022-04-19
US20210118553A1 (en) 2021-04-22
AU2020284538B2 (en) 2022-03-24
AU2020284538A1 (en) 2022-01-20
US11869185B2 (en) 2024-01-09
AU2022204174B2 (en) 2023-02-23
US20220293251A1 (en) 2022-09-15
CN114207675A (zh) 2022-03-18
AU2022204174A1 (en) 2022-07-07
US20220199234A1 (en) 2022-06-23
JP2022530280A (ja) 2022-06-28
US10937541B2 (en) 2021-03-02
CA3137880A1 (en) 2020-12-03
US11676274B2 (en) 2023-06-13
US20240095920A1 (en) 2024-03-21
US20200381104A1 (en) 2020-12-03
US20210304876A1 (en) 2021-09-30
US11062801B2 (en) 2021-07-13
EP3977402A1 (en) 2022-04-06

Similar Documents

Publication Publication Date Title
JP7150289B2 (ja) デジタル病理学のための処理された画像に関するスライドを調製するために画像を処理するためのシステムおよび方法
CN114072879B (zh) 用于处理图像以对经处理的用于数字病理的图像进行分类的系统和方法
JP7515144B2 (ja) デジタル病理学のためのスライドの画像を処理し、スライドの処理された画像を自動的に優先順位付けするためのシステムおよび方法
JP7212339B1 (ja) 品質制御のために電子画像を分析するためのシステムおよび方法
EP4028989A1 (en) Systems and methods for processing images of slides for digital pathology
JP7260119B2 (ja) 一般化疾患検出のために電子画像を処理するためのシステムおよび方法
JP2023509704A (ja) 疾患の算出査定のために電子画像を処理するためのシステムおよび方法
JP2023506579A (ja) バイオマーカ位置特定のための電子画像を処理するためのシステムおよび方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220119

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220119

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220916

R150 Certificate of patent or registration of utility model

Ref document number: 7150289

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150