JP2023530070A - 電子画像を処理して組織マップ可視化を生成するシステム及び方法 - Google Patents
電子画像を処理して組織マップ可視化を生成するシステム及び方法 Download PDFInfo
- Publication number
- JP2023530070A JP2023530070A JP2022570301A JP2022570301A JP2023530070A JP 2023530070 A JP2023530070 A JP 2023530070A JP 2022570301 A JP2022570301 A JP 2022570301A JP 2022570301 A JP2022570301 A JP 2022570301A JP 2023530070 A JP2023530070 A JP 2023530070A
- Authority
- JP
- Japan
- Prior art keywords
- salient
- digital image
- overlay
- pixel
- cancer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000012800 visualization Methods 0.000 title claims description 84
- 238000012545 processing Methods 0.000 title claims description 16
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 55
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 52
- 201000011510 cancer Diseases 0.000 claims abstract description 50
- 239000000090 biomarker Substances 0.000 claims abstract description 14
- 230000001575 pathological effect Effects 0.000 claims abstract description 12
- 230000015654 memory Effects 0.000 claims description 11
- 244000045947 parasite Species 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 206010061218 Inflammation Diseases 0.000 claims description 8
- 230000004054 inflammatory process Effects 0.000 claims description 8
- 231100000419 toxicity Toxicity 0.000 claims description 8
- 230000001988 toxicity Effects 0.000 claims description 8
- 231100000331 toxic Toxicity 0.000 abstract description 3
- 230000002588 toxic effect Effects 0.000 abstract description 3
- 230000002757 inflammatory effect Effects 0.000 abstract description 2
- 230000003071 parasitic effect Effects 0.000 abstract 1
- 210000001519 tissue Anatomy 0.000 description 87
- 230000007170 pathology Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 11
- 201000010099 disease Diseases 0.000 description 11
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 238000001574 biopsy Methods 0.000 description 6
- 238000012552 review Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 210000000481 breast Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000009545 invasion Effects 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 238000013481 data capture Methods 0.000 description 3
- 230000002538 fungal effect Effects 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 241000224438 Naegleria fowleri Species 0.000 description 2
- 210000001072 colon Anatomy 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 210000002307 prostate Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 206010005003 Bladder cancer Diseases 0.000 description 1
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 208000006402 Ductal Carcinoma Diseases 0.000 description 1
- 206010053717 Fibrous histiocytoma Diseases 0.000 description 1
- 241000233866 Fungi Species 0.000 description 1
- 101001012157 Homo sapiens Receptor tyrosine-protein kinase erbB-2 Proteins 0.000 description 1
- 206010061217 Infestation Diseases 0.000 description 1
- 208000000265 Lobular Carcinoma Diseases 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 208000030852 Parasitic disease Diseases 0.000 description 1
- 206010060862 Prostate cancer Diseases 0.000 description 1
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 1
- 102100030086 Receptor tyrosine-protein kinase erbB-2 Human genes 0.000 description 1
- 208000007097 Urinary Bladder Neoplasms Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 208000001119 benign fibrous histiocytoma Diseases 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 201000003714 breast lobular carcinoma Diseases 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 201000010305 cutaneous fibrous histiocytoma Diseases 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000009509 drug development Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 244000000013 helminth Species 0.000 description 1
- 230000007768 histopathological growth pattern Effects 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003364 immunohistochemistry Methods 0.000 description 1
- 206010073096 invasive lobular breast carcinoma Diseases 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 201000010260 leiomyoma Diseases 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013188 needle biopsy Methods 0.000 description 1
- 231100000252 nontoxic Toxicity 0.000 description 1
- 230000003000 nontoxic effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000024241 parasitism Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 231100001271 preclinical toxicology Toxicity 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 201000005112 urinary bladder cancer Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Radiology & Medical Imaging (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
検体に対応するスライドの画像を解析するためのシステム及び方法が開示される。方法は、病理検体の少なくとも1つのデジタル画像を受信することと、人工知能(AI)システムでデジタル画像を使用して、少なくとも1つの顕著な特徴であって、バイオマーカ、癌、癌のグレード、寄生虫、毒性、炎症、及び/または癌のサブタイプを含む少なくとも1つの顕著な特徴を決定することと、AIシステムで、デジタル画像の顕著な領域のオーバーレイを決定することであって、AIシステムは各ピクセルの値を示す、オーバーレイを決定することと、各ピクセルの値に基づいて、デジタル画像の1つまたは複数の顕著でない領域を抑制することとを含む。
【選択図】図5
【選択図】図5
Description
関連出願の相互参照
本出願は、2020年6月19日に出願された米国仮特許出願第63/041,778号に対する優先権を主張し、その開示内容全体が参照により本明細書に組み込まれる。
本出願は、2020年6月19日に出願された米国仮特許出願第63/041,778号に対する優先権を主張し、その開示内容全体が参照により本明細書に組み込まれる。
本開示の様々な実施形態は、一般に、画像ベースの組織可視化及び関連する画像処理方法に関する。より具体的には、本開示の特定の実施形態は、組織検体の画像処理に基づく組織可視化のためのシステム及び方法に関する。
病理学は、形態学的及び組織学的パターンの識別と専門的な解釈を必要とする高度に視覚的な分野である。病理検体のスライド全体の画像は、病理学者が検討しなければならない数十万のピクセルで構成されている。それらを支援するために、顕著な画像領域、例えば腫瘍を示すヒートマップオーバーレイを病理学者に示す人工知能(AI)システムを作成することができる。ただし、ヒートマップオーバーレイは組織を覆い隠し、病理学者がその領域を調べる能力を妨げる場合がある。
本明細書で提供される背景説明は、開示の文脈を一般的に提示することを目的としている。本明細書で別段の指示がない限り、この項に記載されている資料は、この出願の特許請求の範囲に対する先行技術ではなく、この項に含めることによって、先行技術または先行技術を示唆するものとは認められない。
本開示のある態様によれば、検体に対応するスライドの画像を解析するためのシステム及び方法が開示される。
検体に対応するスライドの画像を解析する方法であって、病理検体の少なくとも1つのデジタル画像を受信することと、そのデジタル画像をAIシステムで使用して、少なくとも1つの顕著な特徴であって、バイオマーカ、癌、癌のグレード、寄生虫、毒性、炎症、及び/または癌のサブタイプを含む少なくとも1つの顕著な特徴を決定することと、AIシステムで、デジタル画像の顕著な領域のオーバーレイを決定することであって、AIシステムは各ピクセルの値を示す、オーバーレイを決定することと、各ピクセルの値に基づいて、デジタル画像の1つまたは複数の顕著でない領域を抑制することとを含む、方法。
検体に対応するスライドの画像を解析するシステムは、命令を記憶するメモリと、少なくとも1つのプロセッサとを含み、少なくとも1つのプロセッサは、命令を実行して、病理検体の少なくとも1つのデジタル画像を受信することと、そのデジタル画像をAIシステムで使用して、少なくとも1つの顕著な特徴であって、バイオマーカ、癌、癌のグレード、寄生虫、毒性、炎症、及び/または癌のサブタイプを含む少なくとも1つの顕著な特徴を決定することと、AIシステムで、デジタル画像の顕著な領域のオーバーレイを決定することであって、AIシステムは各ピクセルの値を示す、オーバーレイを決定することと、各ピクセルの値に基づいて、デジタル画像の1つまたは複数の顕著でない領域を抑制することとを含むプロセスを行う。
命令を記憶する非一時的コンピュータ可読媒体であって、命令は、プロセッサによって実行されると、プロセッサに、検体に対応するスライドの画像を解析するための方法を実行させ、方法は、病理検体の少なくとも1つのデジタル画像を受信することと、そのデジタル画像をAIシステムで使用して、少なくとも1つの顕著な特徴であって、バイオマーカ、癌、癌のグレード、寄生虫、毒性、炎症、及び/または癌のサブタイプを含む少なくとも1つの顕著な特徴を決定することと、AIシステムで、デジタル画像の顕著な領域のオーバーレイを決定することであって、AIシステムは各ピクセルの値を示す、オーバーレイを決定することと、各ピクセルの値に基づいて、デジタル画像の1つまたは複数の顕著でない領域を抑制することとを含む、非一時的コンピュータ可読媒体。
当然ながら、上述の一般的な説明と以下の詳細な説明は両方とも、単に例示的及び説明的なもので、特許請求されるように、開示の実施形態を限定するものではない。
添付の図面は、この明細書の一部に組み込まれ、これを構成し、様々な例示的な実施形態を示しており、説明と併せて、開示している実施形態の原理を説明する役割を果たす。
これから本開示の例示的な実施形態について詳細に言及するが、それらの例は添付の図面に示されている。可能な場合は必ず、図面全体を通して、同じまたは類似の部分を指す場合、同じ参照番号が使用される。
本明細書で開示されるシステム、デバイス、及び方法は、例として、図面を参照して詳細に説明される。本明細書で説明する例は単なる例であり、本明細書で説明する装置、デバイス、システム、及び方法の説明を助けるために提供される。図面に示されている、または以下で説明されている特徴またはコンポーネントは、特に必須と指定されていない限り、これらのデバイス、システム、または方法のいずれかの特定の実装に必須と見なされるべきではない。
また、説明されている方法については、その方法がフロー図に関連して説明されているかどうかに関係なく、当然ながら、別段の指定がない限り、または文脈によって必要とされない限り、方法の実行で行われるステップの明示的または暗示的な順序は、これらの手順が提示された順序で行われなければならないことを意味するものではなく、代わりに、異なる順序または並行して行われてもよい。
本明細書で使用される場合、用語「例示的」は、「理想的」ではなく「例」の意味で使用される。さらに、本明細書における「a」及び「an」という用語は、量の限定を意味するのではなく、言及された項目の1つまたは複数が存在していることを意味する。
AIが病理学者の診断及び研究ワークフローとますます統合されるにつれて、AI技術の結果の解釈可能性と、AIを使用する際のユーザ体験は、病理学者がAI技術を効果的に活用する能力にとって重要である。ある技術では、AIを後処理機構として使用して、予測の可視化を画像に重ねてよい。ただし、これは病理学者の結果へのアクセスと理解を妨げる可能性がある。
病理学者は、関心領域(例えば、腫瘍、興味深い形態学的所見、及び/または診察もしくは検討が必要なものなど)を認識すると、例えばマーカでスライドガラスに直接、領域の周囲に境界線を引くことがある。AIベースの画像解析を使用して、デジタル化された病理画像にヒートマップを重ねてよい。ある手法では、重要でない領域にはオーバーレイが与えられず、重要な領域にはオーバーレイが与えられる。オーバーレイは、アルゴリズムによって生成された確率マップを表す勾配であってよい。
ただし、上記の方法を使用すると、関連する領域に目障りなオーバーレイが存在する場合がある。ヒートマップはデジタル画像の上に表示され得るため、病理学者はAIが指摘したものとヒートマップの下にある実際の組織を比較するために、オーバーレイのオンとオフを繰り返し切り替えなければならない場合がある。
AIシステムは、対象の質問(例えば、「癌は存在する?」、「これは高グレードの癌か?」など)に関連して解析された各ピクセルのスコア及び/または確率を生成することができ、これらのスコアは、ヒートマップ(例えば、図1)を作成することができる。これは、一部のユースケースでは役立つ可視化になり得るが、病理学者にとっては、最終的な解釈をレンダリングするプロセスに悪影響を与える可能性がある。実際、病理学者が組織の形態に関連してヒートマップの色の意味を判断しようとすると、病理学者を混乱させる可能性がある。例えば、AIは、前立腺針生検の第1の領域が、グリーソングレード3の第2の領域(例えば、ヒートマップはこれを示し得る)よりもグリーソングレード3である可能性が高いと予測する場合がある。ただし、病理学者が最終的な判断を行うため、一方が他方よりもグリーソングレード3である可能性が高いと予測されることを知ることは病理学者にとって役に立たない場合がある。
図1は、生検(例えば、前立腺針コア生検)における癌または他の疾患の存在を示すヒートマップの例である。図1に示すように、関心領域1は、ヒートマップ11を有する組織10を有する。ヒートマップ11は、組織10を覆い隠し、異なる色との潜在的に誤解を招く診断上の関連を示唆する場合がある。さらに、バイナリビットマップを使用して、顕著な領域を示す事前に指定された閾値を超える特定のスコア(例えば、確率)を有すると予測されたピクセルをマークしてよい。
本開示により、病理学者は、これらの関心領域の上に目障りなオーバーレイをすることなく、複数の顕著な画像領域に注意を向けることができる。このタイプの可視化は、AIの結果をより簡単に識別、解釈、及び関与できるようにすることで、病理学者のデジタル病理ワークフローを最適化する。
本開示は、病理学者が検討するのに重要であると識別されたスライド上の領域を覆い隠さない組織可視化を提供する。その結果、解釈とワークフローがより効率的になり(例えば、出力のオンとオフを切り替える必要がない)、より迅速で正確な診断が可能になる。さらに、出力は病理学者が解釈しやすくなる。
本開示は、AI技術を使用して、病理学的評価及び治療決定に必要な可能性のある関心のある特徴(例えば、バイオマーカ、癌、癌のグレード、寄生虫、毒性、炎症、癌のサブタイプなど)を検出することができる。AIは、顕著な領域のオーバーレイを生成することができ、顕著な領域のオーバーレイを、無関係な画像領域、または所定の閾値を超える診断値を有さないと判断された画像領域を抑制する可視化に変換することができる。
ユーザが診断プロセスで特定のタスク(例えば、癌の検出、グレーディングなど)を完了するのに役立つように、スライド画像全体の重要な領域が、ユーザ(例えば、病理学者)に表示及び強調表示されてよく、これは、最小限の視覚的及びユーザビリティのオーバーヘッドを必要とする。1つまたは複数の実施形態は、ウェブアプリケーション(例えば、クラウドベース及び/またはオンプレミス)、モバイルアプリケーション、インタラクティブレポート、静的レポート、及び/またはダッシュボードの少なくとも1つとして、病院、研究室、医療センターなどで、臨床ワークフロー内で組織可視化をユーザに提供することを含み得る。
ユーザビリティ及び/または効率を向上させるために、識別された領域(複数可)は、概要情報を有するレポートに編成されてよい。さらに、インタラクティブな検討/編集が、デジタル画像の検討中にユーザに提供されてよい。単一のスライド画像全体で複数の特徴が可視化されてよい。
1つまたは複数の実施形態による技術的ワークフローは、次のように、デジタル化された全スライド画像が作成され得る。メタデータが生成及び/または決定されてよい。メタデータは、病院及び/またはハードウェアデータベースから入手可能であってよい。画像及び対応するデータをAIベースのシステムに提供することができ、出力を生成することができる。出力の一部は、1つまたは複数のシステムに供給されてよく、システムは、可視化(例えば、1つまたは複数の点または領域)を生成し、及び/またはユーザ(例えば、病理学者)に表示する。解析及び/または表示は、関心のあるクエリ(例えば、癌、核の特徴、細胞数など)に基づいて生成されてよい。
さらに、本開示の1つまたは複数の実施形態は、事前スクリーニングのために(すなわち、病理学者が画像を検討する前に)、及び/または診断が下された後に(例えば、品質保証)、使用されてよい。
図2Aは、本開示の例示的な実施形態による、画像の組織可視化のためのシステム及びネットワークの例示的なブロック図を示す。
具体的には、図2Aは、病院、研究室、及び/または医師のオフィスなどのサーバに接続することができる電子ネットワーク220を示す。例えば、医師サーバ221、病院サーバ222、臨床試験サーバ223、研究室サーバ224、及び/または研究室情報システム225などは、それぞれ、1つまたは複数のコンピュータ、サーバ、及び/またはハンドヘルドモバイルデバイスを通して、インターネットなどの電子ネットワーク220に接続されてよく、また、電子ネットワーク220を介して通信してよい。本出願の例示的な実施形態によれば、電子ネットワーク220はまた、サーバシステム210に接続されてよく、サーバシステム210は、疾患検出プラットフォーム200を実装するように構成された処理デバイスを含んでよく、疾患検出プラットフォーム200は、本開示の例示的な実施形態による、機械学習を使用して、デジタル病理画像(複数可)の組織可視化を生成するための組織可視化ツール201を含む。例示的な機械学習モデルは、ニューラルネットワーク、畳み込みニューラルネットワーク、ランダムフォレスト、ロジスティック回帰、及び/または最近傍のうちの任意の1つまたは任意の組み合わせを含み得るが、これらに限定されない。
医師サーバ221、病院サーバ222、臨床試験サーバ223、研究室サーバ224、及び/または研究室情報システム225は、1つまたは複数の患者の細胞学検体(複数可)、腫瘍学検体(複数可)、細胞学/腫瘍学検体(複数可)のスライド(複数可)、細胞学/腫瘍学検体(複数可)のスライド(複数可)のデジタル画像、または、これらの任意の組み合わせを作成、または他の方法で取得し得る。医師サーバ221、病院サーバ222、臨床試験サーバ223、研究室サーバ224、及び/または研究室情報システム225はまた、年齢、病歴、癌治療歴、家族歴、過去の生検または細胞学情報などの患者固有の情報の任意の組み合わせを取得することもできる。医師サーバ221、病院サーバ222、臨床試験サーバ223、研究室サーバ224、及び/または研究室情報システム225は、デジタル化されたスライド画像及び/または患者固有の情報を電子ネットワーク220を介してサーバシステム210に送信してよい。サーバシステム210は、医師サーバ221、病院サーバ222、臨床試験サーバ223、研究室サーバ224、及び/または研究室情報システム225のうちの少なくとも1つから受信した画像及び/またはデータを記憶するための1つまたは複数のストレージデバイス209を含み得る。サーバシステム210はまた、ストレージデバイス209に記憶された画像及び/またはデータを処理するための処理デバイスを含み得る。サーバシステム210は、1つまたは複数の機械学習ツールまたは機能をさらに含み得る。例えば、一実施形態によれば、処理デバイスは、疾患検出プラットフォーム200のための機械学習ツールを含み得る。代替的または追加的に、本開示(または、本開示のシステム及び方法の一部)は、ローカル処理デバイス(例えば、ラップトップ)で行われてよい。
医師サーバ221、病院サーバ222、臨床試験サーバ223、研究室サーバ224、及び/または研究室情報システム225は、病理学者がスライドの画像を検討するために使用することができるシステムを指す。病院の環境では、組織タイプの情報は、研究室情報システム225に記憶されてよい。
図2Bは、機械学習を使用してデジタル病理画像(複数可)の組織可視化を生成するための疾患検出プラットフォーム200の例示的なブロック図を示す。
具体的には、図2Bは、一実施形態による疾患検出プラットフォーム200のコンポーネントを示す。例えば、疾患検出プラットフォーム200は、組織可視化ツール201、データ取り込みツール202、スライド取り込みツール203、スライドスキャナ204、スライドマネージャ205、ストレージ206、及び/またはビューイングアプリケーションツール208を含み得る。
以下に説明するように、組織可視化ツール201は、例示的な実施形態による、機械学習を使用して、デジタル病理画像(複数可)に関する組織可視化を生成するためのプロセス及びシステムを指す。
データ取り込みツール202は、例示的な実施形態による、デジタル病理画像の分類及び/または処理に使用される様々なツール、モジュール、コンポーネント、及び/またはデバイスへのデジタル病理画像の転送を容易にするためのプロセス及びシステムを指す。
例示的な実施形態によれば、スライド取り込みツール203は、病理画像をスキャンし、それらをデジタル形式に変換するためのプロセス及びシステムを指す。スライドは、スライドスキャナ204を用いてスキャンされてよく、スライドマネージャ205は、スライド上の画像を処理してデジタル化された病理画像にし、デジタル画像をストレージ206及び/またはストレージデバイス209などのストレージに記憶してよい。
ビューイングアプリケーションツール208は、例示的な実施形態による、デジタル病理画像(複数可)に関する検体特性または画像特性の情報をユーザ(例えば、病理学者)に提供するためのプロセス及びシステムを指す。情報は、様々な出力インタフェース(例えば、画面、モニタ、ストレージデバイス、及び/またはウェブブラウザなど)を通して提供されてよい。
組織可視化ツール201、及びそのコンポーネントのそれぞれは、サーバシステム210、医師サーバ221、病院サーバ222、臨床試験サーバ223、研究室サーバ224、及び/または研究室情報システム225に電子ネットワーク220を介して、デジタル化されたスライド画像及び/または患者情報を送信してよい、及び/またはそれらから受信してよい。さらに、サーバシステム210は、組織可視化ツール201、データ取り込みツール202、スライド取り込みツール203、スライドスキャナ204、スライドマネージャ205、及び/またはビューイングアプリケーションツール208の少なくとも1つからの画像及び/またはデータを記憶するためのストレージデバイスを含み得る。サーバシステム210はまた、ストレージデバイスに記憶された画像及び/またはデータを処理するための処理デバイスを含み得る。サーバシステム210は、例えば、処理デバイスによる、1つまたは複数の機械学習ツール(複数可)または機能をさらに含み得る。代替的または追加的に、本開示(または本開示のシステム及び方法の一部)は、ローカル処理デバイス(例えば、ラップトップ)で行われてよい。
上記のデバイス、ツール、及び/またはモジュールは、1つまたは複数のコンピュータ、サーバ、及び/またはハンドヘルドモバイルデバイスを通して、インターネットまたはクラウドサービスプロバイダ等の電子ネットワーク220に接続され得るデバイスに配置されてよい。
図3は、癌などの診断値を有するものとしてAIが検出した特定の領域の可視化の例を示し、非疾患領域または診断値を欠く他の領域の可視化は、本明細書に記載する技術に従って抑制されている。関心領域1において、組織10は、診断値の特定領域13と比較して抑制された非疾患領域12を有する。表示アイコン14も可視化に含まれてよい。
図4は、特徴(例えば、癌のグレード)に基づく特定の領域の可視化の例を示し、非疾患領域、または特徴に関連する診断値を欠く他の領域の可視化は、本明細書に記載する技術に従って抑制されている。関心領域1において、組織10は、診断値の特定領域13と比較して抑制された非疾患領域12を有する。表示アイコン14も可視化に含まれてよい。
図5は、本開示の例示的な実施形態による、デジタル化された病理画像の組織可視化を提供するための例示的な方法を示すフローチャートである。例えば、例示的な方法500(例えば、ステップ502~508)は、自動的に、またはユーザ(例えば、病理学者、患者、腫瘍専門医など)からの要求に応答して、組織可視化ツール201によって実行されてよい。
組織可視化ツールを開発するための例示的な方法500は、以下のステップのうちの1つまたは複数を含み得る。ステップ502において、方法は、病理検体(例えば、組織学)の少なくとも1つのデジタル画像を受信することを含んでよく、これは、関連する症例及び患者情報(例えば、検体タイプ、症例及び患者ID、症例内の部分、全体的な説明など)、及び/または臨床システムからの情報(例えば、割り当てられた病理学者、検査に利用できる検体など)も含み得る。方法は、処理された画像及び/または見込み患者のデータをアーカイブするパイプラインを開発することを含み得る。さらに、データはデジタルストレージデバイス(例えば、ハードドライブ、ネットワークドライブ、クラウドストレージ、RAMなど)に記憶されてよい。
ステップ504において、方法は、AIシステムでデジタル画像を使用して、少なくとも1つの顕著な特徴を決定することを含んでよく、少なくとも1つの顕著な特徴は、バイオマーカ、癌、癌のグレード、寄生虫、毒性、炎症、及び/または癌のサブタイプを含む。
ステップ506において、方法は、AIシステムにおいて、デジタル画像の顕著な領域のオーバーレイを決定することを含んでよく、AIシステムは、各ピクセルの値を示す。AIシステム出力は、各ピクセルの値を示すデジタル入力画像の顕著な領域のオーバーレイMであってよい。AIは、複数の方法でMを表し得る。例えば、Mは、(1)顕著な特徴の各ピクセルが存在するまたは存在しないスコアまたは確率を示すヒートマップ、(2)特徴が存在するまたは存在しないについて、それらに関連付けられたスコアまたは確率を有するスーパーピクセルのセット、(3)各ピクセルが存在する顕著な特徴を有するか否かを示す組織のバイナリセグメンテーション、及び/または(4)各ピクセルのスコアまたは確率を示す画像のセマンティックセグメンテーションによって表されてよい。さらに、顕著な領域のオーバーレイは、デジタル画像と同じサイズにサイズ変更されてよい。
ステップ508において、方法は、各ピクセルの値に基づいて、デジタル画像の1つまたは複数の顕著でない領域を抑制することを含み得る。顕著な領域のオーバーレイは、処理(例えば、後処理)されてよく、正規化してS(例えば、正規化された顕著な領域のオーバーレイ)を取得することができる。例えば、バイナリMの場合、Mは修正されないまま、すなわち、S=Mであってよい。別の例として、バイナリまたは連続したMに対して画像処理技術を使用して、方法は、(1)S=Mに設定すること、(2)平滑化演算、例えば、ガウシアンぼかしまたは中央値ぼかしをSに適用すること、(3)Sが0~1の範囲にない場合、例えば、線形コントラストストレッチングを用いて、Sをこの範囲に正規化すること、(4)Sが連続した値を有する場合、Sを閾値化して、閾値を超えるすべての値を1に設定し、閾値未満のすべての値を0に設定すること、及び/または(5)形態学的演算子(例えば、閉じる、侵食、拡張)を用いてSを後処理して可視化を改善することを含み得る。別の例として、連続スコアまたは確率を用いたMのセグメンテーションを使用すると、方法は、(1)クラスタリング方法(例えば、K平均法)、領域成長法、グラフベースの方法、及び/または他のセグメンテーション方法など、セグメンテーションアルゴリズムをMに対して実行すること、(2)各セグメントに属するピクセルのスコア/確率に基づいて、各セグメントに値を割り当てること、これは、多くの方法で、例えば、下にあるピクセルの最大スコア/確率、中央値、平均、及び/または一般化平均を取得することで行うことができる、及び/または(3)セグメンテーションと計算されたセグメント値からSを取得するために、所定の閾値を超える値を持つ各セグメントのすべての値を1に設定し、閾値を下回るすべての値を0に設定することを含み得る。
図6Aは、癌の存在を示すヒートマップの例であり、組織が覆い隠されている。前述のように、ヒートマップは、病理学者による診断に関連する組織を覆い隠す場合がある。
図5に関して、かつ本明細書の他の箇所で説明した手法を使用して、図6Bの可視化を生成してよい。癌やその他の診断可能な問題のある領域は、検討対象の組織を覆い隠すことなく、可視化で簡単に見ることができる。顕著でない領域など、診断に関係のない領域は、覆い隠されてよい、または他の方法で抑制されてよい。
可視化及び/またはレポートが生成されると、ユーザ(例えば、病理学者、腫瘍学者、患者など)は、結果が利用可能であることを通知によって知らされてよい。ユーザには、可視化及び/またはレポートを検討するオプションが提供されてよい。あるいは、可視化及びレポートは自動的に提供されてよい。ユーザが可視化を見ることを選択した場合、またはシステムがそれを自動的に表示するように設定されている場合、組織マップはSを使用して、S内のピクセル、つまりS(z)の値が0であるピクセルzを抑制する。これは、AIがそのピクセルを関心のある臨床的特徴であると診断すると解釈しない(顕著でない)ことを示す。この抑制は、これらのピクセルを「黒く塗りつぶす」、部分的に透明にする、明るさを変更する、及び/または他の視覚的な差別化方法のうちの少なくとも1つによって行われてよい。
ユーザは、ターゲット出力に基づいて組織可視化が示す内容をカスタマイズすることができる(ターゲット出力は、追跡ソフトウェアに基づいて、ユーザまたは他のユーザによってマークされた領域、形態学的特徴、誰にも見られない領域などを含み得る)。組織マップは、単一のスライド上で複数のM(顕著な領域のオーバーレイ)を可視化するために利用されてよい。1つのスライドが複数のMを有する場合、ユーザはどのM(例えば、1つまたは複数)を一度に表示するかを選択してよい。ユーザは、専門家の評価に基づいて、S内の領域を追加または削除してよい。例えば、ユーザはマウスまたは入力デバイスを使用して可視化を修正してよく(例えば、より多くの組織を含める)、対応する詳細も同様に調整される(例えば、より多くの腫瘍が識別されると、腫瘍の定量化のための表示値も、それに従って調整される)。ユーザが元の予測と可視化に戻ることができるように、あらゆる変更がリセットされてよい。
ユーザの視野は、優先度、クラス、及び/またはその他の優先順位の順で、識別された各関心領域に焦点を合わせるために移動されてよい(例えば、関心領域は、組織マップ上でAIによって、またはさらなる調査を必要とする領域としてユーザによって識別された任意の領域であってよい)。出力及び/または可視化された領域は、臨床報告システム内に病歴の一部として記録されてよい。
例示的な癌検出ツール:一実施形態によれば、方法は、癌を有する組織領域を識別することを含む。組織マップは、ユーザ、例えば、病理学者が、癌を有する、または癌の疑いがある組織領域をより迅速に識別するのに役立つ。どの組織領域が癌を有するか、または癌の疑いがあるかを示す顕著な領域のオーバーレイMを生成するAIを使用して、組織可視化は、図5に関して説明したステップを使用して作成されてよい。本開示は、組織マップを修正するための、例えば、ターゲットのカスタマイズ、編集機能、視野、及び/または記録/報告目的のためのシステム及び方法を提供する。ユーザは、ターゲット出力の定義に基づいて、組織マップが示す内容をカスタマイズしてよい。例えば、組織可視化が癌性であると検出されたすべての領域を表示する場合、ユーザは、癌性カテゴリの特定の特徴を考慮するか、または考慮しない(例えば、ある病院では、非定型乳管過形成(ADH)を癌性と見なし、他の病院では見なさない)ように出力をカスタマイズしてよい。したがって、病院Aのユーザは乳房生検でADHを含むすべての癌性領域を見ることができ、病院Bのユーザは乳房生検でADHを除くすべての癌性領域を見ることができる。ユーザは、より多くの組織が見えるように(例えば、結果に同意せず、より多くの領域が癌性であると考える場合)、またはより少ない組織が見えるように(例えば、結果に同意せず、識別された領域が癌性でないと考える場合)、可視化とインタラクトしてよい、及び/または可視化を調整してよい。ユーザの視野は、優先度、クラス、または他の優先順位の順で各関心領域に焦点を合わせるように移動されてよい。出力及び/または可視化された領域は、臨床報告システム内に病歴の一部として記録されてよい。
例示的な癌のグレードツール:一実施形態によれば、方法は、組織マップを使用して癌を有する組織領域を特徴付けることを含む。例示的なシステム及び方法は、どの組織領域が特定のグレードの癌を有するかを示す顕著な領域のオーバーレイMを生成してよく、組織可視化は、図5に関して説明したステップを使用して作成されてよい。ユーザは、ターゲット出力の定義に基づいて、組織可視化が示す内容をカスタマイズすることができる。例えば、癌のグレーディングガイドラインは時間の経過とともに変化する。ユーザが、異なる時点で癌がどのように評価されていたかを確認したい場合は、それに応じて調整することができる。ユーザは、可視化とインタラクト及び/または可視化を編集してよい。ユーザは、より多くの組織が見えるように(例えば、結果に同意せず、ある領域が癌でグレード3であると考える場合)、またはより少ない組織が見えるように(例えば、結果に同意せず、識別された領域が癌性でなくグレード3でもないと考える場合)可視化を調整してよい。ユーザの視野は、優先度、クラス、または他の優先順位の順で各関心領域に焦点を合わせるように移動されてよい。出力及び/または可視化された領域は、臨床報告システム内に病歴の一部として記録されてよい。
例示的な癌タイプまたは前癌病変ツール:一実施形態によれば、方法は、複数の形態の癌(例えば、小葉癌及び/または乳管癌)が発生する可能性がある組織可視化を含む。どの組織領域が特定のタイプの癌であるかを示す顕著な領域のオーバーレイMを生成するAIを使用して、図5に関して説明したステップを使用して、組織可視化を作成してよい。ユーザは、ターゲット出力の定義に基づいて、組織可視化が示す内容をカスタマイズしてよい。例えば、スライド上のすべての潜在的な前癌病変と癌病変を見ることを好むユーザもいれば、いくつかの重要な前癌病変または非定型病変のみを報告したいユーザもいる。ユーザは、可視化とインタラクト及び/または可視化を編集してよい。ユーザは、より多くの組織が見えるように(例えば、結果に同意せず、ある領域が癌で管性であると考える場合)、またはより少ない組織が見えるように(例えば、結果に同意せず、識別された領域が癌性でも管性でもないと考える場合)可視化を調整してよい。ユーザの視野は、優先度、クラス、または他の優先順位の順で各関心領域に焦点を合わせるように移動されてよい。出力及び/または可視化された領域は、臨床報告システム内に病歴の一部として記録されてよい。
例示的な非癌性特徴ツール:一実施形態によれば、方法は、他の非癌性特徴(例えば、皮膚病理サンプル中の真菌、結腸サンプル中の細菌、乳房サンプル中の異型、多くの組織タイプ中の炎症など)を識別することを含む。どの組織領域が異なる生物学的特徴を含むかを示す顕著な領域のオーバーレイMを生成するAIを使用して、図5に関して説明したステップを使用して組織可視化を作成してよい。ユーザは、可視化とインタラクトしてよい、及び/または可視化を編集してよい。ユーザは、より多くの組織が見えるように(例えば、結果に同意せず、ある領域が真菌であると考える場合)、またはより少ない組織が見えるように(例えば、結果に同意せず、識別された領域が真菌ではないと考える場合)可視化を調整してよい。ユーザの視野は、優先度、クラス、または他の優先順位の順で各関心領域に焦点を合わせるように移動されてよい。出力及び/または可視化された領域は、臨床報告システム内に病歴の一部として記録されてよい。
例示的な浸潤ツール:一実施形態によれば、方法は、浸潤(例えば、乳癌における微小浸潤、膀胱癌における固有筋層浸潤、前立腺癌における神経周囲浸潤など)の存在を判断することを含む。どの組織領域が浸潤性癌を含むかを示す顕著な領域のオーバーレイMを生成するAIを使用して、図5に関して説明したステップを使用して組織可視化を作成してよい。ユーザは、ターゲット出力の定義に基づいて、組織可視化が示す内容をカスタマイズしてよい。ユーザは、可視化とインタラクト及び/または可視化を編集してよい。ユーザは、より多くの組織が見えるように(例えば、結果に同意せず、ある領域が浸潤性であると考える場合)、またはより少ない組織が見えるように(例えば、結果に同意せず、識別された領域が浸潤性ではないと考える場合)可視化を調整してよい。ユーザの視野は、優先度、クラス、及び/または他の優先順位の順で各関心領域に焦点を合わせるように移動されてよい。さらに、出力及び/または可視化された領域は、臨床報告システム内に病歴の一部として記録されてよい。
例示的な鑑別診断ツール:一実施形態によれば、方法は、鑑別診断(例えば、皮膚病理検体における皮膚線維腫と平滑筋腫)を区別することを含む。どの組織領域が浸潤性癌を含むかを示す顕著な領域のオーバーレイMを生成するAIを使用して、図5に関して説明したステップを使用して組織可視化を作成してよい。ユーザは、可視化とインタラクト及び/または可視化を編集してよい。ユーザは、より多くの組織が見えるように(例えば、結果に同意せず、ある領域が浸潤性であると考える場合)、またはより少ない組織が見えるように(例えば、結果に同意せず、識別された領域が浸潤性ではないと考える場合)可視化を調整してよい。ユーザの視野は、優先度、クラス、または他の優先順位の順で各関心領域に焦点を合わせるように移動されてよい。出力及び/または可視化された領域は、臨床報告システム内に病歴の一部として記録されてよい。さらに、ユーザは、組織領域にユーザの複数の鑑別診断をタグ付けしてよい。
例示的な前臨床毒性検出ツール:一実施形態によれば、方法は、動物に薬物を投与し、毒性が存在するかどうかを判断するために病理学者によって動物の臓器を評価する前臨床薬物開発に使用される顕著な組織の可視化を含む。どの組織領域が毒性の兆候を含むかを示す顕著な領域のオーバーレイMを生成するAIを使用して、図5に関して説明したステップを使用して組織可視化を作成してよい。ユーザは、可視化とインタラクト及び/または可視化を編集してよい。ユーザは、より多くの組織が見えるように(例えば、結果に同意せず、ある領域が毒性を示すと考える場合)、またはより少ない組織が見えるように(例えば、結果に同意せず、識別された領域が毒性を示さないと考える場合)可視化を調整してよい。ユーザの視野は、優先度、クラス、または他の優先順位の順で各関心領域に焦点を合わせるように移動されてよい。ユーザは、組織領域にユーザの複数の鑑別診断をタグ付けしてよい。出力及び/または可視化された領域は、(例えば、ディスク、クラウド、研究室情報システムなどに)記録及び/または記憶される。
例示的な寄生虫侵入予測ツール:一実施形態によれば、方法は、スライド画像全体における寄生虫のAI検出の可視化を含む。病理学者は、原虫や蠕虫が原因の疾患などの寄生虫感染症の診断を求められる場合がある。例えば、フォーラーネグレリア(一般に「脳を食べるアメーバ」と呼ばれる)の診断は、脳組織の病理学的検査によって診断することができる。どの組織領域が寄生虫感染の兆候を含むかを示す顕著な領域のオーバーレイMを生成するAIを使用して、図5に関して説明したステップを使用して組織可視化を作成してよい。ユーザは、可視化とインタラクト及び/または可視化を編集してよい。ユーザは、より多くの組織が見えるように(例えば、結果に同意しない場合)、またはより少ない組織が見えるように(例えば、結果に同意せず、識別された領域は寄生虫感染ではないと考える場合)可視化を調整してよい。ユーザの視野は、優先度、クラス、または他の優先順位の順で各関心領域に焦点を合わせるように移動されてよい。ユーザは、組織領域にユーザの複数の鑑別診断をタグ付けしてよい。出力及び/または可視化された領域は、(例えば、ディスク、クラウド、研究室情報システムなどに)記録及び/または記憶されてよい。
例示的なバイオマーカツール:一実施形態によれば、方法は、AIを使用して、異なるバイオマーカを特徴付ける及び/または識別することを含む。癌の病理学において、病理学者の仕事の1つは、追加の検査(例えば、免疫組織化学、シークエンシングなど)により、異なるバイオマーカを特徴付ける及び/または識別することである。これらは、すべての組織タイプ(例えば、肺、乳房、結腸のHER2)に適用し得る。どの組織領域が浸潤性癌を含むかを示す顕著な領域のオーバーレイMを生成するAIを使用して、図5に関して説明したステップを使用して組織可視化を作成してよい。ユーザは、ターゲット出力の定義に基づいて、組織可視化が示す内容をカスタマイズしてよい。例えば、現在のすべてのバイオマーカを見たいユーザもいれば、臨床行為が可能なステップ(例えば、薬剤や治療経路など)が利用可能な現在のバイオマーカのみを見たいユーザもいる。ユーザの視野は、優先度、クラス、または他の優先順位の順で各関心領域に焦点を合わせるように移動されてよい。出力及び/または可視化された領域は、臨床報告システム内に病歴の一部として記録されてよい。ユーザは、組織領域にユーザの複数の鑑別診断をタグ付けしてよい。
図7は、本明細書で提示される技術を実行し得るシステム700の例を示す。あるいは、複数のデバイス700が、本明細書で提示される技法を実行してよい。デバイス700は、中央処理装置(CPU)720を含み得る。CPU720は、例えば、任意のタイプの専用または汎用マイクロプロセッサデバイスを含む、任意のタイプのプロセッサデバイスであってよい。当業者は理解するように、CPU720はまた、マルチコア/マルチプロセッサシステム内の単一のプロセッサであってよく、このようなシステムは、単独で動作する、または、クラスタもしくはサーバファームで動作するコンピューティングデバイスのクラスタで動作する。CPU720は、データ通信インフラストラクチャ710、例えば、バス、メッセージ待ち行列、ネットワーク、またはマルチコアメッセージ受け渡しスキームに接続されてよい。
デバイス700は、メインメモリ740、例えば、ランダムアクセスメモリ(RAM)も含んでよく、二次メモリ730も含み得る。二次メモリ730、例えば読み取り専用メモリ(ROM)は、例えば、ハードディスクドライブまたはリムーバブルストレージドライブであってよい。このようなリムーバブルストレージドライブは、フロッピー(登録商標)ディスクドライブ、磁気テープドライブ、光ディスクドライブ、フラッシュメモリなどを含み得る。この例のリムーバブルストレージドライブは、周知の方法でリムーバブルストレージユニットから読み出し、及び/またはこれに書き込む。リムーバブルストレージユニットは、フロッピー(登録商標)ディスク、磁気テープ、光ディスク等を含んでよく、これらは、リムーバブルストレージドライブによって読み出し及び書き込みされる。当業者は理解するように、このようなリムーバブルストレージユニットは一般に、コンピュータソフトウェア及び/またはデータを記憶したコンピュータ使用可能記憶媒体を含む。
代替的な実施態様において、二次メモリ730は、コンピュータプログラムまたは他の命令がデバイス700にロードされることを可能にする他の類似の手段を含み得る。このような手段の例は、プログラムカートリッジ及びカートリッジインタフェース(ビデオゲームデバイスで見られるもの等)、リムーバブルメモリチップ(EPROM、またはPROM等)及び関連するソケット、ならびに他のリムーバブルストレージユニット及びインタフェースを含んでよく、これらは、ソフトウェア及びデータがリムーバブルストレージユニットからデバイス700に転送されることを可能にする。
デバイス700はまた、通信インタフェース(「COM」)760を含み得る。通信インタフェース760は、ソフトウェア及びデータが、デバイス700と外部デバイスの間で転送されることを可能にする。通信インタフェース760は、モデム、ネットワークインタフェース(イーサネット(登録商標)カード等)、通信ポート、PCMCIAスロット及びカードなどを含み得る。通信インタフェース760を介して転送されるソフトウェア及びデータは、信号の形式であってよく、信号は通信インタフェース760が受信することのできる電気、電磁、光、または他の信号であってよい。これらの信号は、デバイス700の通信経路を介して通信インタフェース760に提供されてよく、通信経路は、例えば、ワイヤもしくはケーブル、光ファイバ、電話回線、携帯電話のリンク、RFリンクまたは他の通信チャネルを使用して実装されてよい。
このような機器のハードウェア要素、オペレーティングシステム、及びプログラミング言語は、本質的に従来のものであり、当業者は十分に熟知していると思われる。デバイス700はまた、キーボード、マウス、タッチスクリーン、モニタ、ディスプレイなどの入出力デバイスと接続するための入出力ポート750を含み得る。当然、様々なサーバ機能が、処理負荷を分散するために、複数の類似のプラットフォームに分散されて実装されてよい。あるいは、サーバは、1つのコンピュータハードウェアプラットフォームの適切なプログラミングによって実装されてもよい。
この開示を通じて、コンポーネントまたはモジュールへの言及は、一般に、機能または関連する機能のグループを実行するために論理的に一緒にグループ化され得るアイテムを指す。類似の参照番号は、一般に、同一または類似のコンポーネントを指すことを意図している。コンポーネントとモジュールは、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの組み合わせで実装されてよい。
上記のツール、モジュール、及び機能は、1つまたは複数のプロセッサによって実行されてよい。「ストレージ」タイプの媒体は、コンピュータ、プロセッサなどの有形メモリ、または様々な半導体メモリ、テープドライブ、ディスクドライブなど、それらの関連モジュールのいずれかまたはすべてを含んでよく、これらは、ソフトウェアプログラミングのために任意の時に非一時的ストレージを提供し得る。
ソフトウェアは、インターネット、クラウドサービスプロバイダ、またはその他の電気通信ネットワークを介して伝達される場合がある。例えば、通信によって、あるコンピュータまたはプロセッサから別のコンピュータまたはプロセッサにソフトウェアをロードできる場合がある。本明細書で使用する場合、非一時的で有形の「ストレージ」媒体に限定されていなければ、コンピュータまたは機械「可読媒体」などの用語は、実行のためにプロセッサに命令を与えることに関与する任意の媒体を指している。
前述の一般的な説明は、例示的及び説明的なものに過ぎず、本開示を限定するものではない。本発明の他の実施形態は、本明細書を考慮し、本明細書に開示される発明の実践により当業者に明らかとなろう。明細書及び例は、単に例示的なものと見なされることを意図している。
Claims (20)
- 検体に対応するスライドの画像を解析するためのコンピュータ実装方法であって、
病理検体の少なくとも1つのデジタル画像を受信することと、
人工知能(AI)システムで前記デジタル画像を使用して、少なくとも1つの顕著な特徴であって、バイオマーカ、癌、癌のグレード、寄生虫、毒性、炎症、及び/または癌のサブタイプを含む前記少なくとも1つの顕著な特徴を決定することと、
前記AIシステムで、前記デジタル画像の顕著な領域のオーバーレイを決定することであって、前記AIシステムは各ピクセルの値を示す、前記オーバーレイを決定することと、
各ピクセルの前記値に基づいて、前記デジタル画像の1つまたは複数の顕著でない領域を抑制することと、
を含む、前記コンピュータ実装方法。 - 前記顕著な領域のオーバーレイを組織マップに変換することをさらに含む、請求項1に記載のコンピュータ実装方法。
- 前記顕著な領域のオーバーレイを正規化して変数を取得することをさらに含む、請求項1に記載のコンピュータ実装方法。
- 前記顕著な領域のオーバーレイが、
顕著な特徴の各ピクセルが存在するまたは存在しないスコアまたは確率を示すヒートマップ、
前記顕著な特徴が存在するまたは存在しないスコアまたは確率に関連付けられたスーパーピクセルのセット、
各ピクセルが、存在する前記顕著な特徴を有するか否かを示す前記デジタル画像のバイナリセグメンテーション、及び、
各ピクセルのスコアまたは確率を示す前記デジタル画像のセマンティックセグメンテーション
のうちの1つまたは複数によって表される、請求項3に記載のコンピュータ実装方法。 - 顕著な特徴を検出することが、前記デジタル画像に対して、画像処理技術、AI、及び/または機械学習を使用して、組織可視化を生成する、請求項1に記載のコンピュータ実装方法。
- 前記デジタル画像が、関連する症例情報、患者情報、及び臨床システムからの情報を含む、請求項1に記載のコンピュータ実装方法。
- 前記顕著な領域のオーバーレイが利用可能であるとき、ユーザに警告することをさらに含む、請求項1に記載のコンピュータ実装方法。
- 前記顕著な領域のオーバーレイが、前記デジタル画像と同じサイズにサイズ変更される、請求項1に記載のコンピュータ実装方法。
- 複数の処理された画像及び/または見込み患者データをアーカイブするパイプラインを開発することをさらに含む、請求項1に記載のコンピュータ実装方法。
- 検体に対応するスライドの画像を解析するためのシステムであって、
命令を記憶する少なくとも1つのメモリと、
前記命令を実行して動作を行うように構成された少なくとも1つのプロセッサと、を含み、前記動作は、
病理検体の少なくとも1つのデジタル画像を受信することと、
人工知能(AI)システムで前記デジタル画像を使用して、少なくとも1つの顕著な特徴であって、バイオマーカ、癌、癌のグレード、寄生虫、毒性、炎症、及び/または癌のサブタイプを含む前記少なくとも1つの顕著な特徴を決定することと、
前記AIシステムで、前記デジタル画像の顕著な領域のオーバーレイを決定することであって、前記AIシステムは各ピクセルの値を示す、前記オーバーレイを決定することと、
各ピクセルの前記値に基づいて、前記デジタル画像の1つまたは複数の顕著でない領域を抑制することと、
を含む、
前記システム。 - 前記顕著な領域のオーバーレイを組織マップに変換することをさらに含む、請求項10に記載のシステム。
- 前記顕著な領域のオーバーレイを正規化して変数を取得することをさらに含む、請求項10に記載のシステム。
- 前記顕著な領域のオーバーレイが、
顕著な特徴の各ピクセルが存在するまたは存在しないスコアまたは確率を示すヒートマップ、
前記顕著な特徴が存在するまたは存在しないスコアまたは確率に関連付けられたスーパーピクセルのセット、
各ピクセルが、存在する前記顕著な特徴を有するか否かを示す前記デジタル画像のバイナリセグメンテーション、及び、
各ピクセルのスコアまたは確率を示す前記デジタル画像のセマンティックセグメンテーション
のうちの1つまたは複数によって表される、請求項12に記載のシステム。 - 顕著な特徴を検出することが、前記デジタル画像に対して、画像処理技術、AI、及び/または機械学習を使用して、組織可視化を生成する、請求項10に記載のシステム。
- 前記デジタル画像が、関連する症例情報、患者情報、及び臨床システムからの情報を含む、請求項10に記載のシステム。
- 前記顕著な領域のオーバーレイが利用可能であるとき、ユーザに警告することをさらに含む、請求項10に記載のシステム。
- 前記顕著な領域のオーバーレイが、前記デジタル画像と同じサイズにサイズ変更される、請求項10に記載のシステム。
- 複数の処理された画像及び/または見込み患者データをアーカイブするパイプラインを開発することをさらに含む、請求項10に記載のシステム。
- 命令を記憶する非一時的コンピュータ可読媒体であって、前記命令は、プロセッサによって実行されると、前記プロセッサに、検体に対応するスライドの画像を解析するための方法を実行させ、前記方法は、
病理検体の少なくとも1つのデジタル画像を受信することと、
人工知能(AI)システムで前記デジタル画像を使用して、少なくとも1つの顕著な特徴であって、バイオマーカ、癌、癌のグレード、寄生虫、毒性、炎症、及び/または癌のサブタイプを含む、前記少なくとも1つの顕著な特徴を決定することと、
前記AIシステムで、前記デジタル画像の顕著な領域のオーバーレイを決定することであって、前記AIシステムは各ピクセルの値を示す、前記オーバーレイを決定することと、
各ピクセルの前記値に基づいて、前記デジタル画像の1つまたは複数の顕著でない領域を抑制することと、
を含む、前記非一時的コンピュータ可読媒体。 - 前記顕著な領域のオーバーレイを組織マップに変換することをさらに含む、請求項19に記載の非一時的コンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063041778P | 2020-06-19 | 2020-06-19 | |
US63/041,778 | 2020-06-19 | ||
PCT/US2021/037800 WO2021257809A1 (en) | 2020-06-19 | 2021-06-17 | Systems and methods to process electronic images to produce a tissue map visualization |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023530070A true JP2023530070A (ja) | 2023-07-13 |
JPWO2021257809A5 JPWO2021257809A5 (ja) | 2024-05-27 |
Family
ID=77022187
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022570301A Pending JP2023530070A (ja) | 2020-06-19 | 2021-06-17 | 電子画像を処理して組織マップ可視化を生成するシステム及び方法 |
Country Status (9)
Country | Link |
---|---|
US (3) | US11315249B2 (ja) |
EP (1) | EP4168982A1 (ja) |
JP (1) | JP2023530070A (ja) |
KR (1) | KR20230027164A (ja) |
CN (1) | CN115867936A (ja) |
AU (1) | AU2021292302A1 (ja) |
BR (1) | BR112022025584A2 (ja) |
CA (1) | CA3176898A1 (ja) |
WO (1) | WO2021257809A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4246525A1 (en) * | 2022-03-18 | 2023-09-20 | Lunit Inc. | Method and device for processing pathological slide image |
US12014502B2 (en) * | 2022-05-24 | 2024-06-18 | Lunit Inc. | Method and device for evaluating quality of pathological slide image |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3161787B1 (en) * | 2014-06-30 | 2018-06-13 | Ventana Medical Systems, Inc. | Detecting edges of a nucleus using image analysis |
WO2016020391A2 (en) * | 2014-08-04 | 2016-02-11 | Ventana Medical Systems, Inc. | Image analysis system using context features |
WO2017093524A1 (en) * | 2015-12-04 | 2017-06-08 | Ventana Medical Systems, Inc. | Devices, systems and methods for automated quantitative scoring of digitized tissue images |
EP3523779A1 (en) * | 2016-10-07 | 2019-08-14 | Ventana Medical Systems, Inc. | Digital pathology system and associated workflow for providing visualized whole-slide image analysis |
US10664999B2 (en) * | 2018-02-15 | 2020-05-26 | Adobe Inc. | Saliency prediction for a mobile user interface |
EP3776337B1 (en) * | 2018-04-13 | 2024-09-11 | Ventana Medical Systems, Inc. | Systems for cell shape estimation |
US10957041B2 (en) * | 2018-05-14 | 2021-03-23 | Tempus Labs, Inc. | Determining biomarkers from histopathology slide images |
US11705226B2 (en) * | 2019-09-19 | 2023-07-18 | Tempus Labs, Inc. | Data based cancer research and treatment systems and methods |
-
2021
- 2021-06-17 KR KR1020237001337A patent/KR20230027164A/ko active Search and Examination
- 2021-06-17 US US17/350,328 patent/US11315249B2/en active Active
- 2021-06-17 CN CN202180050611.5A patent/CN115867936A/zh active Pending
- 2021-06-17 JP JP2022570301A patent/JP2023530070A/ja active Pending
- 2021-06-17 BR BR112022025584A patent/BR112022025584A2/pt unknown
- 2021-06-17 WO PCT/US2021/037800 patent/WO2021257809A1/en unknown
- 2021-06-17 AU AU2021292302A patent/AU2021292302A1/en active Pending
- 2021-06-17 CA CA3176898A patent/CA3176898A1/en active Pending
- 2021-06-17 EP EP21745484.2A patent/EP4168982A1/en active Pending
-
2022
- 2022-03-18 US US17/655,524 patent/US11887304B2/en active Active
-
2023
- 2023-12-06 US US18/530,844 patent/US20240112338A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2021257809A1 (en) | 2021-12-23 |
US20210398278A1 (en) | 2021-12-23 |
CN115867936A (zh) | 2023-03-28 |
US11315249B2 (en) | 2022-04-26 |
US20220207735A1 (en) | 2022-06-30 |
AU2021292302A1 (en) | 2022-12-08 |
EP4168982A1 (en) | 2023-04-26 |
CA3176898A1 (en) | 2021-12-23 |
KR20230027164A (ko) | 2023-02-27 |
BR112022025584A2 (pt) | 2023-03-07 |
US20240112338A1 (en) | 2024-04-04 |
US11887304B2 (en) | 2024-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12094182B2 (en) | Neural network based identification of areas of interest in digital pathology images | |
US11893732B2 (en) | Computer supported review of tumors in histology images and post operative tumor margin assessment | |
US20240112338A1 (en) | Systems and methods to process electronic images to produce a tissue map visualization | |
KR20220062332A (ko) | 디지털 병리학을 위한 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들 | |
US11574140B2 (en) | Systems and methods to process electronic images to determine salient information in digital pathology | |
US12094118B2 (en) | Systems and methods for processing electronic images of slides for a digital pathology workflow | |
Molin et al. | Scale Stain: Multi-resolution feature enhancement in pathology visualization | |
US11430116B2 (en) | Systems and methods for processing electronic images to provide localized semantic analysis of whole slide images | |
US20230177685A1 (en) | Systems and methods for processing electronic images to visualize combinations of semantic pathology features | |
Subramanian et al. | KMIT-Pathology: Digital Pathology AI Platform for Cancer Biomarkers Identification on Whole Slide Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240517 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240517 |