JP2024516577A - 医用画像分析のための最適化されたデータ処理 - Google Patents
医用画像分析のための最適化されたデータ処理 Download PDFInfo
- Publication number
- JP2024516577A JP2024516577A JP2023562867A JP2023562867A JP2024516577A JP 2024516577 A JP2024516577 A JP 2024516577A JP 2023562867 A JP2023562867 A JP 2023562867A JP 2023562867 A JP2023562867 A JP 2023562867A JP 2024516577 A JP2024516577 A JP 2024516577A
- Authority
- JP
- Japan
- Prior art keywords
- image
- locations
- seed
- binary
- biomarker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010191 image analysis Methods 0.000 title claims description 34
- 238000012545 processing Methods 0.000 title description 31
- 238000000034 method Methods 0.000 claims abstract description 128
- 239000000090 biomarker Substances 0.000 claims abstract description 92
- 230000014509 gene expression Effects 0.000 claims abstract description 16
- 230000008045 co-localization Effects 0.000 claims abstract description 12
- 210000001519 tissue Anatomy 0.000 claims description 74
- 238000004458 analytical method Methods 0.000 claims description 45
- 210000004027 cell Anatomy 0.000 claims description 34
- 230000011218 segmentation Effects 0.000 claims description 30
- 238000009826 distribution Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 16
- 210000003855 cell nucleus Anatomy 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000003703 image analysis method Methods 0.000 claims 2
- 239000003550 marker Substances 0.000 description 53
- 206010028980 Neoplasm Diseases 0.000 description 31
- 230000008569 process Effects 0.000 description 20
- 230000015654 memory Effects 0.000 description 14
- 238000007619 statistical method Methods 0.000 description 9
- 238000010186 staining Methods 0.000 description 8
- 238000003556 assay Methods 0.000 description 7
- 238000010166 immunofluorescence Methods 0.000 description 7
- 230000003595 spectral effect Effects 0.000 description 6
- FWBHETKCLVMNFS-UHFFFAOYSA-N 4',6-Diamino-2-phenylindol Chemical compound C1=CC(C(=N)N)=CC=C1C1=CC2=CC=C(C(N)=N)C=C2N1 FWBHETKCLVMNFS-UHFFFAOYSA-N 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000007170 pathology Effects 0.000 description 5
- 239000000427 antigen Substances 0.000 description 4
- 102000036639 antigens Human genes 0.000 description 4
- 108091007433 antigens Proteins 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 210000004940 nucleus Anatomy 0.000 description 4
- 230000003936 working memory Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000975 dye Substances 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000002648 combination therapy Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 210000000805 cytoplasm Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000003364 immunohistochemistry Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 239000013077 target material Substances 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000004071 biological effect Effects 0.000 description 1
- 239000012620 biological material Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 210000000170 cell membrane Anatomy 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 210000000349 chromosome Anatomy 0.000 description 1
- 230000004186 co-expression Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 208000030499 combat disease Diseases 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000009509 drug development Methods 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 210000000981 epithelium Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 210000002950 fibroblast Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000002865 immune cell Anatomy 0.000 description 1
- 238000003125 immunofluorescent labeling Methods 0.000 description 1
- 238000012744 immunostaining Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000017074 necrotic cell death Effects 0.000 description 1
- 230000001338 necrotic effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000000879 optical micrograph Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012732 spatial analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002626 targeted therapy Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20041—Distance transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20156—Automatic seed setting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
Abstract
組織切片の画像を分析するための方法は、各々が複数の生物学的構造のうちの別々の1つに対応する複数の画像位置を取得することと、画像中の第1のバイオマーカーの複数の位置を取得することと、複数のシード位置を含む画像の少なくとも一部の距離変換配列を計算することと、を含み得る。本方法は、複数のシード位置の各々について、かつ第1の距離変換配列からの情報に基づいて、第1のバイオマーカーがシード位置で発現されるかどうかを検出することと、シード位置に関連付けられたデータ構造に、シード位置で第1のバイオマーカーの発現が検出されたかどうかの指標を記憶することと、を含み得る。本方法は、記憶された指標に基づいて、組織切片の少なくとも一部における少なくとも2つの表現型の共局在化を検出することを含み得る。
Description
分野
本開示は、デジタル病理学に関し、特に、医用画像分析のための最適化されたデータ処理のための技術に関する。
本開示は、デジタル病理学に関し、特に、医用画像分析のための最適化されたデータ処理のための技術に関する。
背景
デジタル病理学は、デジタル画像への標本スライド(例えば、組織病理学ガラススライドまたは細胞病理学ガラススライド)のスキャニングを伴う。デジタル画像内の組織および/または細胞は、その後、疾患の診断、治療に対する応答の評価、および疾患と戦うための薬剤の開発を含む様々な理由のために、デジタル病理(DP)画像分析によって検査され、および/または病理学者によって解釈され得る。例えば疾患によって引き起こされる組織変化の評価は、薄い組織切片を検査することによって行われ得る。組織試料がスライスされて一連の切片(各切片は、例えば4~5ミクロンの厚さを有する)を取得し得、各組織切片は、異なる染色またはマーカーによって染色されて、組織の異なる特徴を発現させ得る。各切片は、スライド上に載せられ、病理学者による検査のためのデジタル画像を作成するためにスキャンされ得る。病理学者は、画像分析アルゴリズムを使用して有意味な定量的測度を抽出することを可能にするために、スライド(例えば、腫瘍領域、壊死など)のデジタル画像を精査し、手動で注釈を付け得る。組織および/または細胞は、実質的に透明であるため、病理スライドの調製は、典型的には、(例えば、関連する特徴間のコントラストを増加させることによって)検査を容易にするために組織および/または細胞成分に選択的に結合する様々な染色アッセイ(例えば、免疫染色)を使用することを含む。
デジタル病理学は、デジタル画像への標本スライド(例えば、組織病理学ガラススライドまたは細胞病理学ガラススライド)のスキャニングを伴う。デジタル画像内の組織および/または細胞は、その後、疾患の診断、治療に対する応答の評価、および疾患と戦うための薬剤の開発を含む様々な理由のために、デジタル病理(DP)画像分析によって検査され、および/または病理学者によって解釈され得る。例えば疾患によって引き起こされる組織変化の評価は、薄い組織切片を検査することによって行われ得る。組織試料がスライスされて一連の切片(各切片は、例えば4~5ミクロンの厚さを有する)を取得し得、各組織切片は、異なる染色またはマーカーによって染色されて、組織の異なる特徴を発現させ得る。各切片は、スライド上に載せられ、病理学者による検査のためのデジタル画像を作成するためにスキャンされ得る。病理学者は、画像分析アルゴリズムを使用して有意味な定量的測度を抽出することを可能にするために、スライド(例えば、腫瘍領域、壊死など)のデジタル画像を精査し、手動で注釈を付け得る。組織および/または細胞は、実質的に透明であるため、病理スライドの調製は、典型的には、(例えば、関連する特徴間のコントラストを増加させることによって)検査を容易にするために組織および/または細胞成分に選択的に結合する様々な染色アッセイ(例えば、免疫染色)を使用することを含む。
染色アッセイの最も一般的な例の1つは、組織解剖情報を識別するのを助ける2つの染料を含む、ヘマトキシリン-エオシン(H&E)染色アッセイである。ヘマトキシリンは、主に、概して青い色を用いて細胞核を染色し、その一方でエオシンは、主に、細胞質の概して淡紅色の染色剤として作用し、他の構造は、これらの色の異なる陰影、色相、および組み合わせを呈する。H&E染色アッセイは、組織中のターゲット物質を、ターゲット物質の化学的性質、生物学的性質、または病理学的性質に基づいて識別するために使用され得る。染色アッセイの別の例は、生物組織中の抗原と特に結び付く抗体および他の化合物(または物質)の原理を活かすことによって、組織切片の細胞中の抗原(タンパク質)を選択的に識別するプロセスを伴う、免疫組織化学(IHC)染色アッセイである。いくつかのアッセイでは、染料に対する標本中のターゲット抗原は、バイオマーカーと呼ばれ得る。その後に、生物組織中の抗原(例えば、腫瘍細胞を示すバイオマーカー)のためのステイニングを識別および定量化するために、デジタル病理学画像分析が、染色された組織および/または細胞のデジタル画像に対して実施され得る。
組織標本の多重化スライドでは、異なる核および組織構造が、発色色素または蛍光色素のいずれかとすることができる特定のバイオマーカー特異的染色によって同時に染色される。各染色剤は、スペクトル形状および広がりに関して、明確なスペクトルシグネチャを有する。異なるバイオマーカーのスペクトルシグネチャは、ブロードまたはナロースペクトル帯域化のいずれかとすることができ、スペクトル的に重複し得る。色素のいくつかの組み合わせで染色された標本(例えば、腫瘍標本)を含むスライドは、マルチスペクトルイメージングシステムを使用して画像化される。得られた画像の各チャネルは、スペクトル帯域に対応する。したがって、イメージングシステムによって生成されたマルチスペクトル画像スタックは、いくつかの例では共局在化され得る、基礎となる成分バイオマーカー発現の混合物である。より最近では、量子ドットは、それらの強く安定した蛍光のために、目的のバイオマーカーの免疫蛍光染色に広く使用されている。
概要
医用画像分析のための最適化されたデータ処理のための装置および方法が提供される。
医用画像分析のための最適化されたデータ処理のための装置および方法が提供される。
様々な態様によれば、各々が複数の生物学的構造のうちの別々の1つに対応する複数の画像位置を取得することと、画像中の第1のバイオマーカーの複数の位置を取得することと、複数のシード位置を含む画像の少なくとも一部の距離変換配列を計算することと、を含む、組織切片の画像を分析するための方法が提供される。本方法は、複数のシード位置の各々について、かつ第1の距離変換配列からの情報に基づいて、第1のバイオマーカーがシード位置で発現されたかどうかを検出することと、シード位置に関連付けられたデータ構造に、シード位置で第1のバイオマーカーの発現が検出されたかどうかの指標を記憶することと、を含み得る。本方法は、記憶された指標に基づいて、組織切片の少なくとも一部における少なくとも2つの表現型の共局在化を検出することを含み得る。
様々な態様によれば、各々が複数の生物学的構造のうちの別々の1つに対応する複数の画像位置を取得することと、組織切片の第1の組織領域を含み、組織切片の第2の組織領域を除外する第1の疎バイナリセグメンテーションマスクを取得することと、を含む、組織切片の画像を分析するための別の方法が提供される。第1の疎バイナリセグメンテーションマスクは、複数のピクセルメンバシップ値および複数のマイクロタイルメンバシップ値を含み得、複数のピクセルの各々について、第1のバイナリメンバシップ値の対応する状態を示し得る。複数のピクセルメンバシップ値の各々は、複数のピクセルのそれぞれのピクセルに対応し、ピクセルについての第1のバイナリメンバシップ値の状態を示し得、複数のマイクロタイルメンバシップ値の各々は、第1のバイナリマスクの複数のマイクロタイルのそれぞれのマイクロタイルに対応し、マイクロタイルに対応する画像のブロック内の全てのピクセルについての第1のバイナリメンバシップ値の状態を示し得る。本方法は、複数のシード位置の各々について、かつ第1の疎バイナリセグメンテーションマスクからの情報に基づいて、複数のピクセルの中の、シード位置に対応するピクセルについての第1のバイナリメンバシップ値の状態が第1の状態であるか第2の状態であるかを決定することと、シード位置に関連付けられたデータ構造に、ピクセルの第1のバイナリメンバシップ値の状態を記憶することと、を含み得る。本方法は、記憶された状態に基づいて、第1の組織領域の細胞内のバイオマーカー間の距離または分布を計算した結果を含む分析結果を提供することを含み得る。
様々な態様によれば、複数のピクセルを含み、複数の生物学的構造を示す組織切片の画像を分析するためのさらなる方法が提供される。いくつかの態様では、本方法は、複数の画像位置を取得することであって、画像位置の各々が複数の生物学的構造のうちの別々の1つに対応し、かつ画像内の生物学的構造の記載の位置を示す、複数の画像位置を取得する取得することと、画像についての第1のバイナリマスクを取得することであって、第1のバイナリマスクが、画像の前記複数のピクセルの各々について、第1のバイナリメンバシップ値の対応する状態を示す、画像についての第1のバイナリマスクを取得することと、を含み得る。第1のバイナリマスクは、複数のピクセルメンバシップ値および複数のマイクロタイルメンバシップ値を含み得、複数のピクセルメンバシップ値の各々は、複数のピクセルのうちの別々の1つに対応し、かつピクセルについての第1のバイナリメンバシップ値の状態を示し、複数のマイクロタイルメンバシップ値の各々は、複数のマイクロタイルのうちの別々の1つに対応し、かつマイクロタイルに対応する画像のブロック内の全てのピクセルについての第1のバイナリメンバシップ値の状態を示す。いくつかの態様では、本方法は、複数の画像位置の各々について、かつ第1のバイナリマスクからの情報に基づいて、画像位置に対応するピクセルの第1のバイナリメンバシップ値の状態を、画像位置に関連付けられたデータ構造に記憶することをさらに含む。
いくつかの態様では、複数の画像位置の各々について、画像位置に関連付けられたデータ構造は、対応する生物学的構造における第1のバイオマーカーの陽性状態を示す第1のバイナリマーカー値を含み得る。
本方法は、画像についての第2のバイナリマスクを取得することであって、第2のバイナリマスクが、複数のピクセルの各々について、第2のバイナリメンバシップ値の対応する状態を示す、画像についての第2のバイナリマスクを取得することをさらに含み得る。第2のバイナリマスクは、複数のピクセルメンバシップ値および複数のマイクロタイルメンバシップ値を含み得、複数のピクセルメンバシップ値の各々は、複数のピクセルのうちの別々の1つに対応し、かつピクセルについての第2のバイナリメンバシップ値の状態を示し、複数のマイクロタイルメンバシップ値の各々は、複数のマイクロタイルのうちの別々の1つに対応し、かつマイクロタイルに対応する画像のブロック内の全てのピクセルについての第2のバイナリメンバシップ値の状態を示す。いくつかの態様では、本方法は、複数の画像位置の各々について、かつ第2のバイナリマスクからの情報に基づいて、画像位置に対応するピクセルの第2のバイナリメンバシップ値の状態を、画像位置に関連付けられたデータ構造に記憶することをさらに含む。
本方法は、画像の少なくとも一部について、距離変換配列を計算することをさらに含み得、距離変換配列の各値は、画像の異なるそれぞれのピクセルに対応し、ピクセルと、第1のバイナリマーカー値が第1の陽性状態を示す複数の画像位置の中で最も近い画像位置との間の距離を示す。
いくつかの態様では、複数の画像位置の各々について、画像位置に関連付けられたデータ構造は、対応する生物学的構造における第2のバイオマーカーの陽性状態を示す第2のバイナリマーカー値を含み得る。
本方法は、第2のバイナリマーカー値が第1の陽性状態を示す画像位置に対応する距離変換配列の値を記憶することをさらに含み得る。本方法は、記憶された値を大きさの順にソートすることをさらに含み得る。
いくつかの態様では、複数の画像位置の各々について、画像位置に関連付けられたデータ構造は、対応する生物学的構造における第1のバイオマーカーの陽性状態を示す第1のバイナリマーカー値を含み得る。そのような場合、本方法は、画像の複数の重複するタイルの各々について、タイルの各ピクセルについて、ピクセルと、第1のバイナリマーカー値が第1の陽性状態を示す複数の画像位置のうちの最も近い位置との間の距離を示す対応する値を含む距離変換配列を計算することをさらに含み得る。
いくつかの態様では、複数の画像位置の各々について、画像位置に関連付けられたデータ構造は、対応する生物学的構造における第2のバイオマーカーの陽性状態を示す第2のバイナリマーカー値を含み得、複数のタイルの各々は、複数のタイルのうちの任意の他のタイルの内側領域と重複しない内側領域を含み得る。そのような場合、本方法は、内側領域の各々について、第2のバイナリマーカー値が第1の陽性状態を示す画像位置に対応する対応するタイルの距離変換配列の値を記憶することをさらに含み得る。
例えば上述したような方法の様々な態様のいずれにおいても、複数の生物学的構造の各々は、細胞核であり得る。追加的または代替的に、画像は、複数のチャネルを有する多重化免疫蛍光画像であってもよい。
様々な態様によれば、非一時的コンピュータ可読媒体が提供される。いくつかの態様では、非一時的コンピュータ可読媒体は、1つまたは複数のプロセッサに、複数のピクセルを含み、複数の生物学的構造を示す組織切片の画像を分析するための動作であって、複数の画像位置を取得することであって、画像位置の各々が、複数の生物学的構造のうちの別々の1つに対応し、かつ画像内の生物学的構造の記載の位置を示す、複数の画像位置を取得することと、画像についての第1のバイナリマスクを取得することであって、第1のバイナリマスクが、画像の複数のピクセルの各々について、第1のバイナリメンバシップ値の対応する状態を示す、画像についての第1のバイナリマスクを取得することと、を含む、動作を実行させるための命令を含み得る。第1のバイナリマスクは、複数のピクセルメンバシップ値および複数のマイクロタイルメンバシップ値を含み得、複数のピクセルメンバシップ値の各々は、複数のピクセルのうちの別々の1つに対応し、かつピクセルについての第1のバイナリメンバシップ値の状態を示し、複数のマイクロタイルメンバシップ値の各々は、複数のマイクロタイルのうちの別々の1つに対応し、かつマイクロタイルに対応する画像のブロック内の全てのピクセルについての第1のバイナリメンバシップ値の状態を示す。いくつかの態様では、本方法は、複数の画像位置の各々について、かつ第1のバイナリマスクからの情報に基づいて、画像位置に対応するピクセルの第1のバイナリメンバシップ値の状態を、画像位置に関連付けられたデータ構造に記憶することをさらに含む。
いくつかの態様では、複数の画像位置の各々について、画像位置に関連付けられたデータ構造は、対応する生物学的構造における第1のバイオマーカーの陽性状態を示す第1のバイナリマーカー値を含み得る。
非一時的コンピュータ可読媒体は、1つまたは複数のプロセッサに、画像についての第2のバイナリマスクを取得することであって、第2のバイナリマスクが、複数のピクセルの各々について、第2のバイナリメンバシップ値の対応する状態を示す、画像についての第2のバイナリマスクを取得することを含む動作を実行させるための命令をさらに含み得る。第2のバイナリマスクは、複数のピクセルメンバシップ値および複数のマイクロタイルメンバシップ値を含み得、複数のピクセルメンバシップ値の各々は、複数のピクセルのうちの別々の1つに対応し、かつピクセルについての第2のバイナリメンバシップ値の状態を示し、複数のマイクロタイルメンバシップ値の各々は、複数のマイクロタイルのうちの別々の1つに対応し、かつマイクロタイルに対応する画像のブロック内の全てのピクセルについての第2のバイナリメンバシップ値の状態を示す。いくつかの態様では、動作は、複数の画像位置の各々について、かつ第2のバイナリマスクからの情報に基づいて、画像位置に対応するピクセルの第2のバイナリメンバシップ値の状態を、画像位置に関連付けられたデータ構造に記憶することをさらに含む。
非一時的コンピュータ可読媒体は、1つまたは複数のプロセッサに、画像の少なくとも一部について、距離変換配列を計算することであって、距離変換配列の各値が、画像の異なるそれぞれのピクセルに対応し、かつピクセルと、第1のバイナリマーカー値が第1の陽性状態を示す複数の画像位置の中で最も近いものとの間の距離を示す、距離変換配列を計算することを含む動作を実行させるための命令をさらに含み得る。
いくつかの態様では、複数の画像位置の各々について、画像位置に関連付けられたデータ構造は、対応する生物学的構造における第2のバイオマーカーの陽性状態を示す第2のバイナリマーカー値を含み得る。
非一時的コンピュータ可読媒体は、1つまたは複数のプロセッサに、第2のバイナリマーカー値が第1の陽性状態を示す画像位置に対応する距離変換配列の値を記憶することを含む動作を実行させるための命令をさらに含み得る。動作は、記憶された値を大きさの順にソートすることをさらに含み得る。
いくつかの態様では、複数の画像位置の各々について、画像位置に関連付けられたデータ構造は、対応する生物学的構造における第1のバイオマーカーの陽性状態を示す第1のバイナリマーカー値を含み得る。そのような場合、動作は、画像の複数の重複するタイルの各々について、タイルの各ピクセルについて、ピクセルと、第1のバイナリマーカー値が第1の陽性状態を示す複数の画像位置のうちの最も近い位置との間の距離を示す対応する値を含む距離変換配列を計算することをさらに含み得る。
いくつかの態様では、複数の画像位置の各々について、画像位置に関連付けられたデータ構造は、対応する生物学的構造における第2のバイオマーカーの陽性状態を示す第2のバイナリマーカー値を含み得、複数のタイルの各々は、複数のタイルのうちの任意の他のタイルの内側領域と重複しない内側領域を含み得る。そのような場合、動作は、内側領域の各々について、第2のバイナリマーカー値が第1の陽性状態を示す画像位置に対応する対応するタイルの距離変換配列の値を記憶することをさらに含み得る。
例えば上述したような非一時的コンピュータ可読媒体の様々な態様のいずれにおいても、複数の生物学的構造の各々は、細胞核であり得る。追加的または代替的に、画像は、複数のチャネルを有する多重化免疫蛍光画像であってもよい。
数多くの利益が、従来の技法を超えて様々な実施形態を介して達成される。例えば、様々な実施形態は、大きなDP画像(例えば、MPX画像)からデータを効果的に取得し、そのような画像中およびそのような画像間の統計的分析および計算を迅速に処理するために使用され得る方法およびシステムを提供する。いくつかの実施形態では、疎セグメンテーションマスクは、画像位置と対応する組織タイプとの迅速且つ正確な関連付けを可能にする。いくつかの実施形態では、2レベルタイルアーキテクチャは、マルチスレッド処理をサポートする。いくつかの実施形態では、ビットマップデータ構造は、迅速な(例えば、対話型)統計分析および/または空間分析のための関連データの圧縮をサポートする。いくつかの実施形態では、重複する画像領域にわたる距離変換計算は、距離および分布の効率的な計算をサポートする。これらおよび他の実施形態が、それの利点および特徴の多くとともに、以下のテキストおよび添付図と連携してより詳細に説明される。
特許または出願ファイルは、カラーで作成された少なくとも1つの図面を含む。カラー図面を含む本特許または特許出願公開の写しは、請求に応じて、必要な手数料を支払うことにより、特許庁によって提供されることになる。
様々な実施形態の態様および特徴は、添付の図面を参照して例を説明することによってより明らかになるであろう。
詳細な説明
特定の実施形態が説明されているが、これらの実施形態は例としてのみ提示されており、保護の範囲を限定することを意図するものではない。本明細書に記載された装置、方法、およびシステムは、様々な他の形態で具現化され得る。さらにまた、保護の範囲から逸脱することなく、本明細書に記載の例示的な方法およびシステムの形態の様々な省略、置換、および変更を行ってもよい。
特定の実施形態が説明されているが、これらの実施形態は例としてのみ提示されており、保護の範囲を限定することを意図するものではない。本明細書に記載された装置、方法、およびシステムは、様々な他の形態で具現化され得る。さらにまた、保護の範囲から逸脱することなく、本明細書に記載の例示的な方法およびシステムの形態の様々な省略、置換、および変更を行ってもよい。
I.概要
組織内(例えば、腫瘍組織内)の複数のバイオマーカーを特性評価し、組織内および組織間のそのようなバイオマーカーの存在およびレベルの不均一性を測定する能力は、様々な疾患状態を理解および特性評価するため、および/または患者の疾患状態に対して利用可能な標的治療薬を適切に選択するための重要な情報を提供し得る。重要なバイオマーカーの異なる分布を有する組織内の領域を識別し、測定する能力は、標的療法および併用療法の開発を知らせるための重要な情報を提供し得る。適切な併用療法の開発および選択もまた、再発の予防における重要な因子であり得る。
組織内(例えば、腫瘍組織内)の複数のバイオマーカーを特性評価し、組織内および組織間のそのようなバイオマーカーの存在およびレベルの不均一性を測定する能力は、様々な疾患状態を理解および特性評価するため、および/または患者の疾患状態に対して利用可能な標的治療薬を適切に選択するための重要な情報を提供し得る。重要なバイオマーカーの異なる分布を有する組織内の領域を識別し、測定する能力は、標的療法および併用療法の開発を知らせるための重要な情報を提供し得る。適切な併用療法の開発および選択もまた、再発の予防における重要な因子であり得る。
組織切片の多重免疫蛍光(MPX)画像は、(例えば、紫外線による)励起時に異なるそれぞれの波長の光を放射する2つ以上のフルオロフォアによって切片を染色することによって取得され得る。得られた画像の各チャネルは、標的フルオロフォアの所望の発光プロファイルを生成するように励起光を制御(例えば、適切な波長の励起レーザーを選択)し、不要なスペクトル成分を遮断するために発光をフィルタリングすることによって取得され得る。組織切片のMPX染色は、複数のバイオマーカーの同時検出および個々の細胞レベルでのそれらの同時発現を可能にする。図1は、対応する擬似カラー(例えば、桃色、青色、緑色)がMPX画像の異なるチャネルの各々に割り当てられた多重化免疫蛍光(MPX)画像の擬似カラーバージョンの例を示している。この画像はまた、(赤色、白色、および黄色の閉曲線(カラー)によって、または画像の左、中央、および右上の3つの重なって描かれた閉曲線(グレースケール)によって示されるように)関心領域の3つの手動注釈を含む。病理医は、MPX画像に手動で注釈を付けて、例えば、画像分析を使用して分析される組織の部分(例えば、腫瘍領域、壊死領域など)、および/または画像分析から除外する領域を識別し得る。
MPX画像の一次分析は、バイオマーカーおよび表現型の検出(例えば、バイオマーカーの特定の組み合わせの同時発現)、異なる組織クラス(例えば、上皮腫瘍(すなわち、腫瘍上皮)、間質(例えば、器官の結合組織、支持組織、または他の非機能性組織)など)への画像のセグメンテーション、および/または関連する可能性がある特徴の抽出(例えば、細胞の(例えば、細胞核の)位置など)を含み得る。そのような分析は、手動で実行されてもよいが、より典型的には、コンピュータビジョン、機械学習、および/または深層学習などの自動化プロセスを使用して実行される。図2Aは、MPX画像の別の例を示している。図2Bおよび図2Cは、図2AのMPX画像の一部を示し、計算された上皮腫瘍含有領域および除外領域は、ポリゴンのセットによって示され(図2Bでは、青色の輪郭(カラー)でマークされているか、または明るい中央領域(グレースケール)で示されている)、検出されたPanCK陽性(PanCK+)細胞は、(例えば、図2Cの中央領域内の)赤色ドット(カラー)または灰色ドット(グレースケール)によって示される。そのような計算されたポリゴンセグメンテーションは、典型的には、一次または二次メモリなどの記憶デバイスに行列配列として記憶される。
MPX画像の二次分析は、一次分析からの結果を使用して、次のレベルの情報、例えば、1つまたは複数のバイオマーカーの密度分布;バイオマーカー間の空間的関係;腫瘍、上皮腫瘍および/または間質における複数の表現型の共局在化;および/または他の統計および/またはメトリクスを取得し得る。そのような「読み出し分析」は、製薬会社が他のゲノム配列決定発見および/または分子的特徴と相関するために重要であり得、薬物開発のための患者の処置応答および/または予後を決定するのに役立ち得る。包括的な自動化された読み出し統計分析は、以下の1つまたは複数(場合によっては全て)を含み得る:関心領域(ROI)(例えば、「腫瘍」)における異なる細胞表現型の密度;ROIにおける異なる表現型間の距離;様々な細胞表現型からROI内の様々なバイオマーカー陽性領域までの距離;血管などのバイオマーカー陽性領域の記述統計/メトリクス;ROI(例えば、免疫細胞、CD8)から特定の距離内の異なる細胞表現型の記述統計/メトリクス;ROIから特定の距離内の異なるバイオマーカー陽性領域(例えば、線維芽細胞活性化タンパク質陽性(FAP+)領域)の記述統計/メトリクス;異なるバイオマーカーの強度ベース(例えば、細胞ベースおよび/または領域ベース)のメトリクスの記述統計;腫瘍マーカーの有無によって表される、腫瘍の上皮および間質部分などの計算されたROIの計算および表現。
MPX画像は、通常、約6つのチャネルを有し、32または64以上のチャネルを有することさえある。さらに、MPX画像の各チャネルのピクセル値は、(例えば、典型的なRGB画像の3つのチャネルの各々の解像度の8ビットと比較して)16ビット以上の解像度を有し得る。MPX全スライド画像(WSI)のサイズは、幅100,000ピクセル×高さ100,000ピクセル程度であり得るため、MPX画像の合計記憶サイズは、5または10ギガバイト以上であり得る。
そのような大きな画像を処理する際に、画像のマスクまでワークメモリに保持することは現実的ではない。図1に示すようなMPX画像の場合、スライド全体で検出された全ての上皮腫瘍および間質のセグメンテーション(例えば、図2Bに示すように)を示すピクセルレベルのマスクを保存することさえも非現実的であり得る。代わりに、セグメンテーションを記述するポリゴンのみを保存することが一般的である(例えば、将来の統計分析に使用するために)。そのような分析中、ポリゴンセグメンテーションのサブセット(例えば、現在分析されている画像のタイルまたは他の領域に対応するサブセット)のみが常にメモリに常駐することが一般的である。ピクセルレベルでのセグメンテーション情報への容易なアクセスの欠如などの要因は、大きな組織切片または複数の組織ブロックの自動読み出し分析が数時間(数日でさえ)かかることを引き起こし得る。したがって、大規模なMPX画像に関する統計分析レポートを生成するために現在必要な時間は、特に大規模な臨床試験のためのプロジェクト要件を満たさない場合がある。さらに、ポリゴンセグメンテーションのそのような断片化は、どの領域が除外され含まれるかを決定するためにセグメンテーションの異なる層を追跡することを困難にし、これは、これらの層のバイオマーカーの統計的計算の精度に影響を及ぼし得る。
本明細書に開示される技術は、例えば、MPXデータを効果的にフェッチし、全スライド画像の分析を効率的に処理し、および/または対応する統計分析を実行するための効果的な読み出し分析システムを設計するために使用され得る。そのようなシステムは、特に大規模臨床試験のために、および/または製薬顧客のニーズを満たすために、大きなMPX画像からデータを効果的に取得し、そのような画像中および画像間の統計分析および計算を迅速に処理し得る。例えば、そのようなシステムは、MPX画像における計算複雑性およびビッグデータ処理要件を満たすために最適化された効率的なデータ構造およびアーキテクチャ設計を含み得る。本明細書に記載の問題は、はるかに多数のチャネル(例えば、最大32、さらには64)を有し得る暗視野画像(例えば、MPX画像)によって悪化することがあるが、これらの技術は、明視野画像(例えば、光学顕微鏡画像)を含む一般的なDP画像(例えば、全スライド画像)の処理および分析にも適用され得る。
II.定義
本明細書で使用される場合、動作が何かに「基づく」場合、これは、動作が何かの少なくとも一部に少なくとも部分的に基づくことを意味する。
本明細書で使用される場合、動作が何かに「基づく」場合、これは、動作が何かの少なくとも一部に少なくとも部分的に基づくことを意味する。
本明細書で使用される場合、「実質的に(substantially)」、「およそ(approximately)」、および「約(about)」という用語は、当業者によって理解されるように、大部分が指定されるものであるが、必ずしも完全には指定されないもの(および完全に指定されるものを含む)として定義される。任意の開示された実施形態では、「実質的に」、「およそ」、または「約」という用語は、指定されたものの「[パーセンテージ]以内」で置き換えられてもよく、パーセンテージは、0.1、1、5、および10%を含む。
本明細書において使用される場合、「生物学的材料または構造」という用語は、(例えば、細胞核、細胞膜、細胞質、染色体、DNA、細胞、細胞のクラスタなど)生きている構造の全部または一部を備える天然材料または構造を指す。
III.医用画像分析のための最適化された記憶および処理のための技術
典型的なDP画像のサイズが大きいため、分析対象の画像を「タイル」と呼ばれる等しいサイズのより小さい(典型的には正方形の)部分に分割して画像分析を実行し、その後個別に処理することが望ましい場合がある。MPX分析では、分析の異なる段階に異なるタイルサイズを使用することによって、さらに良好な性能が得られ得る。そのような一例では、2レベルタイルアーキテクチャは、大きなタイル(「結果タイル」とも呼ばれる)および小さなタイル(「コンピュータによるタイル」または「計算タイル」とも呼ばれる)を含む。そのような設計では、全スライド画像(またはその所望の領域)の大きなタイルへの分割が適用されて、画像データを(例えば、ディスクから)ワーキングメモリに効率的にフェッチし得る。次いで、各大きなタイルは、表現型/バイオマーカー検出および/または特徴抽出などの動作を含み得る一次分析中に使用するために(例えば、コンピュータビジョン/深層学習/機械学習アルゴリズムによって)より小さなタイルに分割され得る。最後に、大きなタイルが使用されて、より小さな「計算」タイル(例えば、領域マスク、表現型位置)を使用して計算された結果を統合し得る。
典型的なDP画像のサイズが大きいため、分析対象の画像を「タイル」と呼ばれる等しいサイズのより小さい(典型的には正方形の)部分に分割して画像分析を実行し、その後個別に処理することが望ましい場合がある。MPX分析では、分析の異なる段階に異なるタイルサイズを使用することによって、さらに良好な性能が得られ得る。そのような一例では、2レベルタイルアーキテクチャは、大きなタイル(「結果タイル」とも呼ばれる)および小さなタイル(「コンピュータによるタイル」または「計算タイル」とも呼ばれる)を含む。そのような設計では、全スライド画像(またはその所望の領域)の大きなタイルへの分割が適用されて、画像データを(例えば、ディスクから)ワーキングメモリに効率的にフェッチし得る。次いで、各大きなタイルは、表現型/バイオマーカー検出および/または特徴抽出などの動作を含み得る一次分析中に使用するために(例えば、コンピュータビジョン/深層学習/機械学習アルゴリズムによって)より小さなタイルに分割され得る。最後に、大きなタイルが使用されて、より小さな「計算」タイル(例えば、領域マスク、表現型位置)を使用して計算された結果を統合し得る。
そのような2レベル設計の潜在的な利点は、(例えば、より大きなタイルが読み取られているため)画像サーバとのトランザクションが少ないため、効率的なデータフェッチを含み得る。さらに、より小さいタイルは、通常、セグメンテーションおよび検出のための画像分析を実行する深層学習/機械学習/コンピュータビジョンアルゴリズムへの入力としてより適している。計算中により小さいタイルを使用することはまた、キャッシュなどのプロセッサ(例えば、CPUおよび/またはGPU)リソースの使用の改善を促進し得る。
図3Aおよび図3Bは、画像が結果タイルに分割され、さらに計算タイルに分割される2レベルタイルアーキテクチャの例を示している。図3Aは、等しいサイズの計算タイルの重複する3×3の配列に分割される結果タイル304(外側の薄い正方形によって示される)の例を示している。各計算タイルのサイズは、例えば、128×128ピクセル、256×256ピクセル、または512×512ピクセル(これらに限定されない)であってもよく、各結果タイルのサイズは、(例えば、重複のサイズに応じて)各次元においておおよそ3倍大きい。サイズが512×512ピクセルの計算タイルの場合、各結果タイルのサイズは、約2K×2Kピクセルである。
図3Aおよび図3B中の細線によって示されているように、各結果タイルは、画像中のその隣接する結果タイルに重複し、各計算タイルは、結果タイル内のその隣接する結果タイルにも重複する。そのような重複は、(例えば、距離計算を参照して本明細書で説明されるように)異なるタイル間の境界条件の効果的な取り扱いを可能にする。少なくとも計算される最大距離(例えば、100ミクロン、500ミクロン)に等しくなるように重複を実装することが望ましい場合がある。
各結果タイルは、画像中のいかなる他の結果タイルとも重複しない内側領域を含み、各計算タイルは、結果タイル内のいかなる他の計算タイルとも重複しない内側領域を含む。図3Aにおいて、結果タイル304の内側領域は、外側の太い正方形で示されている。図3Bは、計算タイル308および別の計算タイルの内側領域312が陰影を付けられている図3Aの例を示している。図4は、MPX画像の一部を結果タイル(結果タイル404は赤色で示されている)に分割するグリッドの例を示し、図5は、MPX画像の一部の計算タイル508(青色で陰影が付けられている)の例を示している。
各結果タイルが対応するCPUスレッドによってメモリに読み込まれ、次に結果タイル内の個々の計算タイルを処理するように、2レベルタイルアーキテクチャ(例えば、図3Aおよび図3Bに示すように)が実装され得る。処理中、計算に関連する結果は、各個々の結果タイル内に記憶され、次いでバックエンドに蓄積され得る。そのようなアーキテクチャはまた、画像の異なる部分間またはプロセスの異なる段階間で同期を必要とせずに、各計算タイルの完全に独立した処理をサポートする。そのような計算の独立性は、複数または多数のプロセッサが並列に実行され、各プロセッサが画像の対応する部分を復号および処理するマルチスレッド実装を可能にする。
上述したように、ポリゴンの形態で画像セグメンテーションを記述することは、処理の非効率性および/または不正確さをもたらす不完全な解決策であり得る。代わりに、セグメンテーションの各層(例えば、腫瘍マスク、上皮腫瘍マスク、間質マスク)に対応するバイナリマスク(「領域マスク」とも呼ばれる)を生成するように一次分析を構成することが望ましい場合がある。そのような手法は、タイルベースの画像分析プロセスによく適し得る。ピクセルレベルのセグメンテーションマスク(例えば、マスクの各ピクセルは、画像の対応するピクセルのメンバシップ状態を示す)の使用はまた、ランタイムでポリゴンからピクセルに変換する必要性を回避し得、および/またはタイル境界の不正確さを解決し得る。図6Aは、MPX画像の計算タイル608の例を示し、図6Bおよび図6Cは、図6Aの画像計算タイル608のセグメンテーション分析によって生成された上皮腫瘍バイナリマスクおよび間質バイナリマスクの対応する計算タイル612および616をそれぞれ示している。図7Aは、上皮腫瘍バイナリマスクの計算タイルが結果タイル704上に統合されている例を示し、図7Bは、(例えば、将来の読み出し分析に使用するために)間質バイナリマスクの計算タイルが結果タイル708上に統合されている例を示している。
残念ながら、ポリゴンセグメンテーションの代わりにバイナリセグメンテーションマスクを使用することは、ストレージ要件を大幅に増加することがあり、および/または各画像タイルに対して複数のディスクアクセス動作を発生させることがある。バイナリマスクは、通常、単純な画像(すなわち、ピクセル当たり1バイト)として保存されるため、必要なディスクストレージの量は実質的に増加することがあり、そのようなマスクをワーキングメモリに維持するために必要なストレージの量は、全スライド画像の処理には法外な量になる可能性がある。タイルベースの分析プロセスは、必要に応じてマスクタイルをワーキングメモリにスワップすることを可能にし得るが、そのような手法はまた、分析を実行するために必要なディスクアクセスの数を増加させる。
バイナリ計算領域マスク(例えば、上皮、間質および血管領域について)を表すために本明細書で説明されるような疎バイナリマスクを使用することは、演算が効率的に実装されることを可能にする。例えば、メモリ要件が大幅に削減され得ることが示されている(すなわち、ピクセル当たりのビットのほんの一部にすぎない)。
図8および図9を参照して実証されるように、(例えば、マスクの各ピクセルは、画像の対応するピクセルのメンバシップ状態を示す)バイナリマスクを疎バイナリマスクに変換することは、(組織切片内の生物学的細胞と混同しないように)マスク画像を重複しない細胞の配列に分割することを含み得る。図8は、(白線のグリッドによって示されるように)重複しない細胞の配列に分割されるバイナリ計算領域マスクの一部を示している。各細胞(例えば、細胞804)は、マスク画像中で互いに完全に独立しており、WSIを並列に処理するための複数のスレッドの使用をサポートする。そのようなWSIマスクの細胞への分割は、マスク画像全体に対して一度に、またはマスクの統合結果タイル(例えば、結果タイルの内側領域)などの区分的(例えば、タイル状)に実行され得る。一例では、各細胞のサイズは、512×512ピクセルであるが、他の細胞サイズ(例えば、256×256ピクセル、1024×1024ピクセル)も可能である。
図8に示すように、マスク画像の各細胞は、重複しないマイクロタイル(「mittel」とも呼ばれる)の配列にさらに分割される。一例では、各512×512ピクセルセルは、16×16個のマイクロタイルの配列に分割され、各マイクロタイルは、32×32ピクセルのサイズを有し、マイクロタイルと同じサイズであり、マイクロタイル内のピクセルに対応するピクセルを含む画像のブロックに対応する。他のマイクロタイルサイズ(例えば、16×16ピクセル、64×64ピクセル)も可能である。これらのマイクロタイルのサイズが比較的小さく、バイナリマスクの空間的コヒーレンシがあるため、細胞内のマイクロタイルの多くは、「白色」ピクセル(例えば、バイナリ値1)のみ、または「黒色」ピクセル(例えば、バイナリ値0)のみを含むが、いくつかのマイクロタイルは、黒色ピクセルおよび白色ピクセルの両方を含む。
図9は、図8のマイクロタイルの3つのクラスへの分類を示している。第1のクラスでは、マイクロタイルの全てのピクセルが黒色(例えば、バイナリ値0)であり、第2のクラスでは、マイクロタイルの全てのピクセルが白色(例えば、バイナリ値1)である。したがって、これらのクラスのいずれかのマイクロタイルの全てのピクセルの値(すなわち、マイクロタイル内のピクセルに対応する画像の全てのピクセルのメンバシップ値)は、単一のバイナリ状態として表され得る。疎バイナリマスク表現の1つの実装例では、第1のクラスのマイクロタイルに対して値が記憶されず、第2のクラスの各マイクロタイルに対してヌルポインタ(または同様のフライ重み値)が記憶される。第3のクラスでは、マイクロタイルは、両方のバイナリ値(図9においてオレンジ色(カラー)またはグレー色(グレースケール)として示されている)のピクセルを含む。この場合、マイクロタイルの各ピクセルの値が記憶される(例えば、サイズが32×32ピクセルのマイクロタイルのための1024ビットの順序付きストリングとして)。疎バイナリマスク表現の1つの実装例では、プールアロケータが32×32ビット(128バイト)のメモリを割り当てるために使用され、マイクロタイルのビットマスクは、割り当てられたメモリに記憶される。
本明細書に記載の疎バイナリマスク実装の適用は、メモリ要件の大幅な削減を可能にする。例えば、(例えば、「ナイーブな」実装ではピクセル当たり8ビットであるのに対して)実際のMPX WSIでは、ピクセル当たり約0.2ビットの典型的なメモリ要件が実際に測定されている。そのような削減は、複数のWSIバイナリマスクのメモリ内記憶を可能にする。さらに、この手法はまた、例えば、画像解像度ピラミッドを作成するためのバイナリマスクの効率的なダウンサンプリングおよびアップサンプリングなどの様々な重要なバイナリマスク動作の効率的な実装を可能にする。1つまたは複数の疎バイナリセグメンテーションマスクの使用はまた、ポリゴンセグメンテーション(例えば、バイオマーカー間の距離または他の特徴の分布、共局在化分析)では実現不可能または実用的ではない統計処理を可能にし得る。
MPX画像の一次分析の結果は、そのような分析による複数のバイオマーカーの局在化を含み得、バイオマーカーおよび表現型の共局在化を検出するために使用され得る。大規模なMPXデータセット間の共局在化の異なる組み合わせの全てを効果的に検出することは、効率的な読み出し分析を可能にするための重要な条件であり得る。
MPX画像の一次分析はまた、細胞核などの関連する画像位置の識別を含み得る。そのような画像位置を、(例えば、表現型識別のために)検出されたバイオマーカーの位置特定のための基準点として使用することが望ましい場合がある。図10Aは、論理ビット計算を使用して、特定の画像位置(「シード位置」とも呼ばれる)に対する表現型/バイオマーカー共局在化の異なる組み合わせの全てを記録するビットマップデータ構造の一例を示している。そのようなデータ構造を使用することは、計算および検出中のメモリ使用量を大幅に削減し得る。
図10Aの例は、5つの異なるバイオマーカー(マーカー1からマーカー5として示される)の指標を含み、各バイオマーカーは、ビットマップ内の固有の対応する位置に関連付けられている。この例では、バイナリ値「1」は、位置(例えば、位置の所定の近傍内、位置に関連付けられた細胞または他の生物学的構造の境界内)におけるマーカーの発現が検出されたことを示し、バイナリ値「0」は、位置におけるマーカーの発現が検出されなかったことを示す。したがって、図10Bに示すように、図10Aに示す特定の例は、最大32個の異なる表現型(例えば、5つのバイオマーカーの各々の発現の固有の組み合わせ)の識別をサポートする。これらの32個の表現型は、マーカーであるマーカー1からマーカー5に割り当てられたビットのストリングの10進値にしたがって表現型0から表現型31として図10Bにインデックス化され、図10Aに示されるような特定のストリングは、表現型10に対応する。このデータ構造は、ある位置における任意の数の異なるバイオマーカーの各々についての発現のそのような指標を含むように拡張され得ることが理解されよう。
追加的または代替的に、そのようなビットマップデータ構造は、(例えば、本明細書に記載の対応するセグメンテーションによって示されるように)各々が別々の組織領域に対応するバイナリインジケータを含み得る。図10Aの例は、各々が別々のセグメンテーションマスク(例えば、本明細書で説明されるような疎バイナリマスク)に対応する3つの追加のバイナリインジケータを含む。この例では、これらに限定されるものではないが、3つのマスクは、間質マスク、上皮腫瘍マスク、および(例えば、血管)マスクであり、バイナリ値「1」は、(例えば、位置に対応するマスク値に基づいて、または位置の所定の近傍内、または位置に関連する細胞もしくは他の生物学的構造の境界内のピクセル位置に対応するマスク値の大部分に基づいて)マスクが対応する組織領域に含まれるものとして位置を識別することを示し、バイナリ値「0」は、マスクが対応する組織領域から除外されるものとして位置を識別することを示す。このデータ構造は、任意の数の異なる領域(例えば、間質、上皮腫瘍、腫瘍、「他の領域」)の各々についての位置に対し領域メンバシップのそのようなインジケータを含むように拡張され得ることが理解されよう。
図10Aの特定の例では、特定の読み出し分析のためのこの位置に関連するMPXデータからの全ての情報は、単一バイトに記憶される。全ての重要な情報を結合ビットパターンとして1つの(または潜在的に複数の)バイトに符号化し、その情報を画像の関連する位置(例えば、各細胞の中心)についてのみ記憶することによって、非常に効率的にクエリされることが可能なデータ表現が取得され得る。いくつかの実装では、MPX画像の結果タイルの内側領域内の識別された関連位置の各々について、そのような情報が対応するプロセッサによってそのようなビットマップデータ構造において計算されて記録されると、画像タイルおよび任意の対応するセグメンテーションマスクタイルは、メモリから破棄され得る。
特定の関心領域における(例えば、腫瘍および活性間質領域における)異なるバイオマーカー間の空間的関係を計算することが望ましい場合がある。そのような複雑な空間的関係の知識は、異なるバイオマーカー/表現型と領域エリア(例えば、血管、活動性間質、腫瘍など)との間の関係のより良い理解を可能にし得る。そのような計算の一例は、以下の動作を含み得る:(1)MPX画像(またはその選択された部分)中の表現型Aの各出現について、表現型Bの最も近い出現までの距離(例えば、ユークリッド距離)を見つけて記録する。(2)任意に、記録された距離のヒストグラムを計算する(例えば、10ミクロン以下の距離の数、10ミクロンよりも大きく20ミクロン以下の距離の数、...、90ミクロンよりも大きく100ミクロン以下などの距離の数をカウントする)。(3)任意に、収集された距離の平均(例えば、平均)、収集された距離の標準偏差などの他の統計データを計算する。そのような計算は、ユークリッド距離の代わりに、またはユークリッド距離に加えて、1つまたは複数の他の距離尺度(例えば、city-ブロックまたはL1距離)を使用してもよく、異なるサイズの(場合によっては等しくないサイズの)距離ビンを使用してもよく、および/または平均の代わりに、または平均に加えて、1つまたは複数の他の平均尺度(例えば、中央値、モード)を使用してもよいことが理解されよう。
特定の関心領域における異なるバイオマーカー間の空間的関係の計算をサポートするために、1つの選択された表現型の各出現について、異なる選択された表現型の最も近い出現までの距離を効率的に計算するために使用され得る方法を提供することが望ましい場合がある。そのような方法は、任意のペアの局所表現型について、または任意のペアの組み合わせの局所表現型についてさえも、そのような計算をサポートすることが望ましい場合がある。追加的または代替的に、そのような方法は、他の因子(例えば、特定の組織領域内、例えば、上皮腫瘍または間質内での発生)による表現型選択の1つまたは複数のさらなる制限をサポートすることが望ましい場合がある。ビットマップデータ構造は、本明細書では図10Aおよび図10Bを参照して説明され、所望の表現型選択と一致する画像位置の効率的な選択を支援するために使用され得ることに留意されたい。
図11Aは、表現型Aの出現A1が1個であり、表現型Bの出現B1、B2、B3、B4が4個である画像部分の例を示している。これら2つの表現型の出現間の距離A1-B1、A1-B2、A1-B3、A1-B4のうち、最短距離は、距離A1-B3である。
図11Bは、本開示のいくつかの態様にかかる、第1および第2の基準を満たす医用画像(例えば、MPX画像)の位置間の距離を計算するための方法1100の例を示すフローチャートである。図11Bを参照すると、ブロック1104において、第1の基準を満たす画像位置に対応する空白タイル内のピクセルがマーキングされ、マーキングされたタイルを生成する。1つの非限定的な例では、マーキングされたタイルの全てのピクセルは、バイナリ値「1」を有するマーキングされたピクセルを除いて、バイナリ値「0」を有する。第1の基準は、例えば、第1の選択された表現型(または選択された表現型の第1の組み合わせ)であり得、場合によってはさらに特定の組織領域に限定され得る。一例では、空白タイルは、MPX画像の結果タイルに対応する空白の結果タイルである(すなわち、空白タイルの各ピクセルは、MPX画像の結果タイルの同じ位置にあるピクセルに対応する)。
ブロック1108において、マーキングされたタイルについて距離変換配列が計算される。マーキングされたタイルの各ピクセルについて、距離変換配列は、マーキングされたタイル内のそのピクセルから最も近いマーキングされたピクセルまでの距離を示す対応する値を有する。ブロック1112において、第2の基準を満たす画像位置に対応する距離変換配列の値が選択されて記憶される。第2の基準は、例えば、第2の選択された表現型(または選択された表現型の第2の組み合わせ)であり得、場合によってはさらに特定の組織領域に限定され得る。このようにして、方法1100のインスタンスは、関心のある各タイル(例えば、画像の各結果タイル、または画像の注釈内の各結果タイル)について(例えば、並行して)実行され得、各タイルについて選択された値は、将来の処理(例えば、本明細書に記載されるような大きさの順序でのソート、ヒストグラム計算、統計的分析など)のためにまとめて(例えば、共通のハッシュテーブルに)記憶される。ソートされたテーブルのそのような処理は、例えば、対応するヒストグラムを計算し、関連する空間的関係を報告するために異なるカスタム入力変数を使用することを含み得る。そのようなプロセス(例えば、方法1100のタイルレベルのインスタンスを含む)は、必要に応じて頻繁に、画像の異なる注釈について、および/または画像の同じ注釈もしくは異なる注釈についての異なる選択された第1および第2の基準について(例えば、並行して)繰り返されてもよい。
配列のエッジに近い距離変換配列の値は、信頼できない場合がある。そのような理由から、ブロック1112において、配列の任意のエッジから所定数の要素内にある値を無視することが望ましい場合がある。空白タイルがMPX画像の結果タイルに対応する空白の結果タイルである場合、例えば、結果タイルの内側領域に対応する距離変換配列の部分内からの値に選択を制限することが望ましい場合があり(すなわち、結果タイルの内側領域内のピクセルに対応する距離変換配列の値に選択を制限するために)、結果タイル間の重複を少なくとも記録される最大最近距離と同じ大きさになるように構成することも望ましい場合がある。
図12は、方法1100の、第1のバイオマーカーと第2のバイオマーカーとの間の距離の計算、記録、および分類への適用を示している。この例では、第1の基準は、CD8バイオマーカーの発現であり、第2の基準は、PanCKバイオマーカーの発現である。図12の左側の配列は、CD8マーカーに対応する位置が「1」(この例では、配列はそのような位置を1つのみ含む)で示されるマーキングされた結果タイル(例えば、ブロック1104において生成されるような)の一部を示している。図11の右側の配列は、画像の各対応するピクセルからCD8マーカーの位置までの距離を示す、得られた距離変換配列の対応する部分(例えば、ブロック1108において生成されるような)を示している。この例では、PanCKマーカーの位置もまた、これらの2つの配列内に示されている(すなわち、3つのXによって)。これらの3つの位置に対応する距離変換配列の値は、画像のこの部分内のPanCKマーカーの各出現について、CD8マーカーの最も近い出現までの距離を得るために選択されて記憶される(例えば、ブロック1112において)。この例では、これらの距離は、4.2426、6.0828、および7.0711ピクセルである。これらの値が(例えば、ハッシュテーブルに)記憶される前に、画像ピクセルサイズと物理的寸法との間の既知の対応関係にしたがって、これらの値を実際の距離(例えば、ミクロン単位)に変換することが望ましい場合がある。図13は、CD8マーカーが複数の位置で生じる第1のバイオマーカーと第2のバイオマーカーとの間の距離を計算、記録、および分類するための方法1100の同様の適用を示している。
さらなるレベルの分析(「三次分析」)は、分析されたMPXスライド内の任意の関心領域の統計分析を含み得る。例えば、MPX画像の複雑なユーザ注釈に含まれる組織の細胞に関する所望の統計結果(例えば、方法1100の例によって得られるような)の読み出しを提供することが望ましい場合があり、注釈は、通常、任意の形状およびサイズの手描きの包含領域と除外領域との組み合わせからなる。そのような結果を対話的に提供することがさらに望ましい場合がある(例えば、リアルタイムで)。
任意の関心領域に関連する情報を取得するこのような動作は、「空間クエリ」と呼ばれることがある。(例えば、対話を可能にするために)そのような情報の迅速な収集を可能にするために、四分木などの階層データ構造を使用して空間クエリについてのサポートが実装され得る。そのような手法はまた、効率的な四分木トラバーサルおよびポリゴンクリッピングのためのアルゴリズムの使用を可能にする。追加的または代替的に、(例えば、効率的なクエリおよび取得のために2D画像空間を1D記憶空間にマッピングするヒルベルト曲線を使用する)効率的な圧縮を可能にする内部データ順序を使用して画像データおよび/または分析結果を記憶することが望ましい場合がある。
図14は、本開示のいくつかの態様にかかる、複数のピクセルを含み、複数の生物学的構造を示す組織切片の画像を分析するための方法1400の例を示すフローチャートである。図14を参照すると、ブロック1404において、複数の画像位置が取得される(例えば、画像の分析を介しておよび/またはストレージから)。場合によっては、画像位置の各々は、複数の生物学的構造のうちの別々の1つに対応し、画像内の生物学的構造の記載の位置を示す。画像は、WSI(例えば、MPX WSI)またはそのような画像の一部(例えば、タイル)であってもよい。
ブロック1408において、画像についての第1のバイナリマスクが取得される(例えば、画像の分析を介しておよび/またはストレージから)。第1のバイナリマスクは、画像の複数のピクセルの各々について、第1のバイナリメンバシップ値の対応する状態を示す。第1のバイナリマスクは、複数のピクセルメンバシップ値および複数のマイクロタイルメンバシップ値を含み得、複数のピクセルメンバシップ値の各々は、複数のピクセルのうちの別々の1つに対応し、かつピクセルについての第1のバイナリメンバシップ値の状態を示し、複数のマイクロタイルメンバシップ値の各々は、複数のマイクロタイルのうちの別々の1つに対応し、かつマイクロタイルに対応する画像のブロック内の全てのピクセルについての第1のバイナリメンバシップ値の状態を示す。
ブロック1412において、複数の画像位置の各々について、かつ第1のバイナリマスクからの情報に基づいて、画像位置に対応するピクセルの第1のバイナリメンバシップ値の状態が、画像位置に関連付けられたデータ構造に記憶される。いくつかの態様では、複数の画像位置の各々について、画像位置に関連付けられたデータ構造は、対応する生物学的構造における第1のバイオマーカーの陽性状態を示す第1のバイナリマーカー値を含み得る。
いくつかの態様では、複数の画像位置の各々について、画像位置に関連付けられたデータ構造は、対応する生物学的構造における第1のバイオマーカーの陽性状態を示す第1のバイナリマーカー値を含み得る。そのような場合、方法1400は、画像の複数の重複するタイルの各々について、タイルの各ピクセルについて、ピクセルと、第1のバイナリマーカー値が第1の陽性状態を示す複数の画像位置の中で最も近いものとの間の距離を示す対応する値を含む距離変換配列を計算することをさらに含み得る。
いくつかの態様では、複数の画像位置の各々について、画像位置に関連付けられたデータ構造は、対応する生物学的構造における第2のバイオマーカーの陽性状態を示す第2のバイナリマーカー値を含み得、複数のタイルの各々は、複数のタイルのうちの任意の他のタイルの内側領域と重複しない内側領域を含み得る。そのような場合、方法1400は、内側領域の各々について、第2のバイナリマーカー値が第1の陽性状態を示す画像位置に対応する対応するタイルの距離変換配列の値を記憶することをさらに含み得る。
図15Aは、本開示のいくつかの態様にかかる、複数のピクセルを含み、複数の生物学的構造を示す組織切片の画像を分析するための方法1400の実装1500の例を示すフローチャートである。図15を参照すると、ブロック1504、1508、および1512は、本明細書で説明するように、それぞれブロック1404、1408、および1412の実装であり得る。ブロック1516において、画像の少なくとも一部について、距離変換配列が計算され、距離変換配列の各値は、画像の異なるそれぞれのピクセルに対応し、ピクセルと、第1のバイナリマーカー値が第1の陽性状態を示す複数の画像位置の中で最も近いものとの間の距離を示す。いくつかの態様では、複数の画像位置の各々について、画像位置に関連付けられたデータ構造は、対応する生物学的構造における第2のバイオマーカーの陽性状態を示す第2のバイナリマーカー値を含み得る。
図15Bは、本開示のいくつかの態様にかかる、複数のピクセルを含み、複数の生物学的構造を示す組織切片の画像を分析するための方法1500の実装1502の例を示すフローチャートである。図15を参照すると、ブロック1504、1508、1512、および1516は、本明細書で説明したとおりであり得る。ブロック1520において、第2のバイナリマーカー値が第1の陽性状態を示す画像位置に対応する距離変換配列の値が記憶され得る。いくつかの態様では、本方法は、記憶された値を大きさの順にソートすることをさらに含んでもよい。
図14、図15A、および図15Bに示されている特定のブロックは、複数のピクセルを含み、本明細書に開示される実施形態にかかる複数の生物学的構造を示す組織切片の画像を分析するための特定の方法を提供することを理解されたい。そのような動作の他のシーケンスが、代替実施形態にしたがって実行されてもよい。例えば、そのような方法の代替実施形態は、上記で概説した動作を異なる順序で実行してもよい。さらに、図14、図15A、および図15Bに示される個々のブロックは、個々のブロックに適切であるように様々な順序で実行され得る複数のサブ動作を含み得る。さらにまた、特定の用途に応じて、追加の動作が追加または削除されてもよい。当業者は、多くの変形、変更、および代替を認識するであろう。例えば上述したようなこれらの方法の様々な態様または実装のいずれにおいても、複数の生物学的構造の各々は、細胞核であり得る。追加的または代替的に、画像は、複数のチャネル(例えば、3、4、5、6、7以上、32、または64)を有する多重化免疫蛍光(MPX)画像であってもよい。
方法1400、1500、および1502のいずれかは、画像の第2のバイナリマスクを取得することをさらに含み得、第2のバイナリマスクは、複数のピクセルの各々について、第2のバイナリメンバシップ値の対応する状態を示す。第2のバイナリマスクは、複数のピクセルメンバシップ値および複数のマイクロタイルメンバシップ値を含み得、複数のピクセルメンバシップ値の各々は、複数のピクセルのうちの別々の1つに対応し、かつピクセルについての第2のバイナリメンバシップ値の状態を示し、複数のマイクロタイルメンバシップ値の各々は、複数のマイクロタイルのうちの別々の1つに対応し、かつマイクロタイルに対応する画像のブロック内の全てのピクセルについての第2のバイナリメンバシップ値の状態を示す。いくつかの態様では、そのような方法は、複数の画像位置の各々について、かつ第2のバイナリマスクからの情報に基づいて、画像位置に対応するピクセルの第2のバイナリメンバシップ値の状態を、画像位置に関連付けられたデータ構造に記憶することをさらに含む。
図16は、本開示のいくつかの態様にかかる、複数のピクセルを含み、複数の生物学的構造を示す組織切片の画像を分析するための方法1600の例を示すフローチャートである。図16を参照すると、ブロック1604において、画像中の複数のシード位置が取得される(例えば、画像の分析を介しておよび/またはストレージから)。場合によっては、画像位置の各々は、複数の生物学的構造のうちの別々の1つに対応し、画像内の生物学的構造の記載の位置を示す。画像は、WSI(例えば、MPX WSI)またはそのような画像の一部(例えば、タイル)であってもよい。
ブロック1608において、画像中の第1のバイオマーカーの複数の位置が取得される。場合によっては、複数のシード位置は、画像の第1のチャネルから取得され、第1のバイオマーカーの複数の位置は、画像の第2のチャネルから取得される。
ブロック1612において、複数のシード位置を含む画像の少なくとも一部の第1の距離変換配列が計算され、第1の距離変換配列の各値は、複数のピクセルのうちのそれぞれのピクセルに対応し、かつピクセルから第1のバイオマーカーの複数の位置のうちの最も近いものまでの距離を示す。
ブロック1616において、複数のシード位置の各々について、かつ第1の距離変換配列からの情報に基づいて、第1のバイオマーカーがシード位置で発現されているかどうかが検出される。ブロック1620において、複数のシード位置の各々について、シード位置で第1のバイオマーカーの発現が検出されたかどうかの指標が、シード位置に関連付けられたデータ構造に記憶される。
ブロック1624において、記憶された指標に基づいて、組織切片の少なくとも一部における少なくとも2つの表現型の共局在化を検出した結果を含む分析結果が提供される。場合によっては、少なくとも2つの表現型の共局在を検出することは、少なくとも2つの表現型の第1の表現型が、少なくとも2つの表現型の第2の表現型の所定の近傍内に生じることを検出することを含む。
図17は、本開示のいくつかの態様にかかる、複数のピクセルを含み、複数の生物学的構造を示す組織切片の画像を分析するための方法1700の例を示すフローチャートである。図17を参照すると、ブロック1704において、画像中の複数のシード位置が取得される(例えば、画像の分析を介しておよび/またはストレージから)。場合によっては、画像位置の各々は、複数の生物学的構造のうちの別々の1つに対応し、画像内の生物学的構造の記載の位置を示す。画像は、WSI(例えば、MPX WSI)またはそのような画像の一部(例えば、タイル)であってもよい。
ブロック1708において、組織切片の第1の組織領域を含み、組織切片の第2の組織領域を除外する第1の疎バイナリセグメンテーションマスクが取得される。第1の疎バイナリセグメンテーションマスクは、複数のピクセルメンバシップ値および複数のマイクロタイルメンバシップ値を含み、複数のピクセルの各々について、第1のバイナリメンバシップ値の対応する状態を示す。複数のピクセルメンバシップ値の各々は、複数のピクセルのそれぞれのピクセルに対応し、ピクセルについての第1のバイナリメンバシップ値の状態を示す。複数のマイクロタイルメンバシップ値の各々は、第1のバイナリマスクの複数のマイクロタイルのそれぞれのマイクロタイルに対応し、マイクロタイルに対応する画像のブロック内の全てのピクセルについての第1のバイナリメンバシップ値の状態を示す。
ブロック1712において、複数のシード位置の各々について、かつ第1の疎バイナリ分割マスクからの情報に基づいて、シード位置に対応する複数のピクセルのうちのピクセルについての第1のバイナリメンバシップ値の状態が第1の状態であるか第2の状態であるかが決定される。場合によっては、対応するピクセルについての第1のバイナリメンバシップ値の状態が第1の状態であるか第2の状態であるかを決定することは、第1の疎バイナリセグメンテーションマスクがピクセルについてのピクセルメンバシップ値を含まないことを検出することを含む。ブロック1716において、複数のシード位置の各々について、ピクセルの第1のバイナリメンバシップ値の状態は、シード位置に関連付けられたデータ構造に記憶される。
ブロック1720において、記憶された状態に基づいて、第1の組織領域の細胞内のバイオマーカー間の距離または分布を計算した結果を含む分析結果が提供される。場合によっては、分析結果は、第1の組織領域内の少なくとも1つの表現型の分布密度を含む。場合によっては、分析結果は、第1の組織領域内のバイオマーカーの位置間の距離の分布を含む。
方法1100、1400、1500、1502、1600、および1700は、それぞれ、プロセッサ、コンピュータ、または他のプログラマブルデバイスに方法の動作を実行させるためのコンピュータ実行可能命令を含むプログラムを記憶した、非一時的コンピュータ可読媒体、例えば、限定されるものではないが、メモリまたは当業者に知られている他の非一時的コンピュータ可読媒体上で具現され得る。
IV.自動画像分析のための例示的なシステム
図18は、例えば、方法1100、1400、1500、1502、1600および/または1700を実行する、いくつかの例示的な実装における使用に好適な例示的なコンピューティングデバイスを有する例示的なコンピューティング環境のブロック図である。コンピューティング環境1800におけるコンピューティングデバイス1805は、1つまたは複数の処理ユニット、コア、またはプロセッサ1810、メモリ1815(例えば、RAM、ROMなど)、内部ストレージ1820(例えば、磁気、光、ソリッドステートストレージおよび/または有機物)、ならびに/あるいはI/Oインターフェース1825を含み得、それらのうちのいずれかは、情報を通信するための通信機構すなわちバス1830上に結合されるか、またはコンピューティングデバイス1805中に組み込まれ得る。
図18は、例えば、方法1100、1400、1500、1502、1600および/または1700を実行する、いくつかの例示的な実装における使用に好適な例示的なコンピューティングデバイスを有する例示的なコンピューティング環境のブロック図である。コンピューティング環境1800におけるコンピューティングデバイス1805は、1つまたは複数の処理ユニット、コア、またはプロセッサ1810、メモリ1815(例えば、RAM、ROMなど)、内部ストレージ1820(例えば、磁気、光、ソリッドステートストレージおよび/または有機物)、ならびに/あるいはI/Oインターフェース1825を含み得、それらのうちのいずれかは、情報を通信するための通信機構すなわちバス1830上に結合されるか、またはコンピューティングデバイス1805中に組み込まれ得る。
コンピューティングデバイス1805は、入力/ユーザインターフェース1835および出力デバイス/インターフェース1840に通信可能に結合され得る。入力/ユーザインターフェース1835および出力デバイス/インターフェース1840のいずれか一方または両方は、有線インターフェースまたは無線インターフェースであり得、着脱可能であり得る。入力/ユーザインターフェース1835は、入力を提供するために使用され得る、物理的なまたは仮想的な、任意のデバイス、構成要素、センサー、またはインターフェース(例えば、ボタン、タッチスクリーンインターフェース、キーボード、ポインティング/カーソル制御、マイクロフォン、カメラ、点字、モーションセンサー、光学リーダーなど)を含み得る。出力デバイス/インターフェース1840は、ディスプレイ、テレビジョン、モニタ、プリンタ、スピーカー、点字などを含み得る。いくつかの例示的な実装では、入力/ユーザインターフェース1835および出力デバイス/インターフェース1840は、コンピューティングデバイス1805と組み込まれるか、または物理的に結合され得る。他の例示的な実装では、他のコンピューティングデバイスが、コンピューティングデバイス1805のための入力/ユーザインターフェース1835および出力デバイス/インターフェース1840として機能するか、またはその機能を提供し得る。
コンピューティングデバイス1805は、外部記憶デバイス1845に、および同じまたは異なる構成の1つまたは複数のコンピューティングデバイスを含む、任意の数のネットワーク化された構成要素、デバイス、およびシステムと通信するためのネットワーク1850に(例えば、I/Oインターフェース1825を介して)通信可能に結合され得る。コンピューティングデバイス1805または接続されたコンピューティングデバイスは、サーバ、クライアント、シンサーバ、汎用マシン、専用マシン、または別のラベルとして機能しているか、そのサービスを提供しているか、またはそう呼ばれ得る。
I/Oインターフェース1825は、限定されるものではないが、コンピューティング環境1800中の少なくとも全ての接続された構成要素、デバイス、およびネットワークの間で情報を通信するための任意の通信またはI/Oプロトコルまたは規格(例えば、イーサネット、802.11x、ユニバーサルシステムバス、WiMax、モデム、セルラーネットワークプロトコルなど)を使用する有線インターフェースおよび/または無線インターフェースを含み得る。ネットワーク1850は、任意のネットワークまたはネットワークの組合せ(例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、セルラーネットワーク、衛星ネットワークなど)であり得る。
コンピューティングデバイス1805は、一時的媒体および非一時的媒体を含む、コンピュータ使用可能媒体またはコンピュータ可読媒体を使用し、および/あるいはその媒体を使用して通信することができる。一時的媒体は、伝送媒体(例えば、金属ケーブル、光ファイバー)、信号、搬送波などを含む。非一時的媒体は、磁気媒体(例えば、ディスクおよびテープ)、光媒体(例えば、CD ROM、デジタルビデオディスク、Blu-ray(登録商標)ディスク)、ソリッドステート媒体(例えば、RAM、ROM、フラッシュメモリ、ソリッドステートストレージ)、ならびに他の不揮発性ストレージまたはメモリを含む。
コンピューティングデバイス1805は、いくつかの例示的なコンピューティング環境において、技術、方法、アプリケーション、プロセス、またはコンピュータ実行可能命令を実装するために使用され得る。コンピュータ実行可能命令は、一時的媒体から取得され、非一時的媒体に記憶されてその非一時的媒体から取得され得る。実行可能命令は、任意のプログラミング言語、スクリプト言語、および機械語(例えば、C、C++、C#、Java、Visual Basic、Python、Perl、JavaScriptなど)のうちの1つまたは複数に由来し得る。
プロセッサ1810は、ネイティブまたは仮想環境において任意のオペレーティングシステム(OS)(図示せず)の下で実行し得る。論理ユニット1860、アプリケーションプログラミングインターフェース(API)ユニット1865、入力ユニット1870、出力ユニット1875、境界マッピングユニット1880、制御点決定ユニット1885、変換計算および適用ユニット1890、ならびに異なるユニットが互いと、OSと、および他のアプリケーション(図示せず)と通信するためのユニット間通信機構1895を含む1つまたは複数の適用例が展開され得る。例えば、バイナリマスク処理ユニット1880、画像位置処理ユニット1885、およびデータ構造処理ユニット1890は、図14、図15A、および/または図15Bに説明されたおよび/または示された1つまたは複数のプロセスを実装し得る。説明されるユニットおよび要素は、その設計、機能、構成、または実装を変えることができ、提供される説明に限定されない。
いくつかの例示的な実装では、情報または実行命令がAPIユニット1865によって受信されると、それは1つまたは複数の他のユニット(例えば、論理ユニット1860、入力ユニット1870、出力ユニット1875、バイナリマスク処理ユニット1880、画像位置処理ユニット1885、およびデータ構造処理ユニット1890)に通信され得る。例えば、入力ユニット1870がユーザ入力を検出した後、APIユニット1865を使用して、ユーザ入力をバイナリマスク処理ユニット1880に通信して、第1のバイナリマスクを取得し得る。バイナリマスク処理ユニット1880は、APIユニット1865を介して、画像位置処理ユニット1885と対話して、画像位置に対応するピクセルの第1のバイナリメンバシップ値の状態を決定し得る。APIユニット1865を使用して、画像位置処理ユニット1885は、データ構造処理ユニット1890と対話して、画像位置に対応するピクセルの第1のバイナリメンバシップ値の状態を、画像位置に関連付けられたデータ構造に記憶し得る。展開され得るアプリケーションのさらなる例示的な実装は、(例えば、図11Bを参照して)本明細書に記載された距離変換配列を計算するための距離変換配列計算ユニットを含み得る。
場合によっては、論理ユニット1860は、ユニット間の情報フローを制御し、上述したいくつかの例示的な実装におけるAPIユニット1865、入力ユニット1870、出力ユニット1875、バイナリマスク処理ユニット1880、画像位置処理ユニット1885、およびデータ構造処理ユニット1890によって提供されるサービスを指示するように構成されてもよい。例えば、1つまたは複数のプロセスまたは実装のフローは、論理ユニット1860のみによって、またはAPIユニット1865と連携して制御され得る。
1つまたは複数の実施形態について、前述の図のうちの1つまたは複数に記載された構成要素のうちの少なくとも1つは、以下の実施例および以下に提示される特許請求の範囲に記載された1つまたは複数の動作、技術、プロセス、または方法を実行するように構成され得る。
V.実施例
以下のセクションでは、さらなる例示的な実施形態が提供される。
以下のセクションでは、さらなる例示的な実施形態が提供される。
実施例1は、複数のピクセルを含み、複数の生物学的構造を示す組織切片の画像を分析するための方法であって、複数の画像位置を取得することであって、画像位置の各々が、複数の生物学的構造のうちの別々の1つに対応し、かつ画像内の生物学的構造の記載の位置を示す、複数の画像位置を取得することと、画像についての第1のバイナリマスクを取得することであって、第1のバイナリマスクが、画像の複数のピクセルの各々について、第1のバイナリメンバシップ値の対応する状態を示し、第1のバイナリマスクが、複数のピクセルメンバシップ値および複数のマイクロタイルメンバシップ値を含み、複数のピクセルメンバシップ値の各々が、複数のピクセルのうちの別々の1つに対応し、かつピクセルについての第1のバイナリメンバシップ値の状態を示し、複数のマイクロタイルメンバシップ値の各々が、複数のマイクロタイルのうちの別々の1つに対応し、かつマイクロタイルに対応する画像のブロック内の全てのピクセルについての第1のバイナリメンバシップ値の状態を示す、画像についての第1のバイナリマスクを取得することと、を含み、方法が、複数の画像位置の各々について、かつ第1のバイナリマスクからの情報に基づいて、画像位置に対応するピクセルの第1のバイナリメンバシップ値の状態を、画像位置に関連付けられたデータ構造に記憶することをさらに含む、方法を含む。
実施例2は、複数の画像位置の各々について、画像位置に関連付けられたデータ構造が、対応する生物学的構造における第1のバイオマーカーの陽性状態を示す第1のバイナリマーカー値を含む、実施例1または本明細書におけるいくつかの他の実施例に記載の方法を含む。
実施例3は、方法が、画像の少なくとも一部について、距離変換配列を計算することであって、距離変換配列の各値が、画像の異なるそれぞれのピクセルに対応し、かつピクセルと、第1のバイナリマーカー値が第1の陽性状態を示す複数の画像位置の中で最も近い画像位置との間の距離を示す、距離変換配列を計算することをさらに含む、実施例2または本明細書における他の実施例に記載の方法を含む。
実施例4は、複数の画像位置の各々について、画像位置に関連付けられたデータ構造が、対応する生物学的構造における第2のバイオマーカーの陽性状態を示す第2のバイナリマーカー値を含む、実施例3または本明細書におけるいくつかの他の実施例に記載の方法を含む。
実施例5は、方法が、第2のバイナリマーカー値が第1の陽性状態を示す画像位置に対応する距離変換配列の値を記憶することをさらに含む、実施例4または本明細書における他の実施例に記載の方法を含む。
実施例6は、方法が、記憶された値を大きさの順にソートすることをさらに含む、実施例5または本明細書におけるいくつかの他の実施例に記載の方法を含む。
実施例7は、複数の画像位置の各々について、画像位置に関連付けられたデータ構造が、対応する生物学的構造における第1のバイオマーカーの陽性状態を示す第1のバイナリマーカー値を含み、方法が、画像の複数の重複するタイルの各々について、タイルの各ピクセルについて、ピクセルと、第1のバイナリマーカー値が第1の陽性状態を示す複数の画像位置の中で最も近いものとの間の距離を示す対応する値を含む距離変換配列を計算することをさらに含む、実施例1または本明細書におけるいくつかの他の実施例に記載の方法を含む。
実施例8は、複数の画像位置の各々について、画像位置に関連付けられたデータ構造が、対応する生物学的構造における第2のバイオマーカーの陽性状態を示す第2のバイナリマーカー値を含み、複数のタイルの各々が、複数のタイルのうちの任意の他のタイルの内側領域と重複しない内側領域を含み、方法が、内側領域の各々について、第2のバイナリマーカー値が第1の陽性状態を示す画像位置に対応する対応するタイルの距離変換配列の値を記憶することをさらに含む、実施例7または本明細書におけるいくつかの他の実施例に記載の方法を含む。
実施例9は、複数の生物学的構造の各々が細胞核である、実施例1~8または本明細書におけるいくつかの他の実施例のいずれかに記載の方法を含む。
実施例10は、画像が、複数のチャネルを有する多重化免疫蛍光画像である、実施例1~8または本明細書におけるいくつかの他の実施例のいずれかに記載の方法を含む。
実施例11は、1つまたは複数のデータプロセッサと、命令を含む非一時的コンピュータ可読記憶媒体であって、該命令が、1つまたは複数のデータプロセッサ上で実行されると、1つまたは複数のデータプロセッサに、実施例1から10のまたは本明細書の他の実施例のいずれかに記載の動作を実行させる、非一時的コンピュータ可読記憶媒体と、を備える、システムを含む。
実施例12は、複数のピクセルを含み、複数の生物学的構造を示す組織切片の画像を分析するための方法を、1つ以上のプロセッサに実行させるための命令を記憶した非一時的コンピュータ可読媒体であって、プロセッサ実行可能命令が、複数の画像位置を取得することであって、画像位置の各々が、複数の生物学的構造のうちの別々の1つに対応し、かつ画像内の生物学的構造の記載の位置を示す、複数の画像位置を取得することと、画像についての第1のバイナリマスクを取得することであって、第1のバイナリマスクが、画像の複数のピクセルの各々について、第1のバイナリメンバシップ値の対応する状態を示し、第1のバイナリマスクが、複数のピクセルメンバシップ値および複数のマイクロタイルメンバシップ値を含み、複数のピクセルメンバシップ値の各々が、複数のピクセルのうちの別々の1つに対応し、かつピクセルについての第1のバイナリメンバシップ値の状態を示し、複数のマイクロタイルメンバシップ値の各々が、複数のマイクロタイルのうちの別々の1つに対応し、かつマイクロタイルに対応する画像のブロック内の全てのピクセルについての第1のバイナリメンバシップ値の状態を示す、画像についての第1のバイナリマスクを取得することと、を含む動作を実行するための命令を含み、動作が、複数の画像位置の各々について、かつ第1のバイナリマスクからの情報に基づいて、画像位置に対応するピクセルの第1のバイナリメンバシップ値の状態を、画像位置に関連付けられたデータ構造に記憶することをさらに含む、非一時的コンピュータ可読媒体を含む。
実施例13は、複数の画像位置の各々について、画像位置に関連付けられたデータ構造が、対応する生物学的構造における第1のバイオマーカーの陽性状態を示す第1のバイナリマーカー値を含む、実施例12または本明細書におけるいくつかの他の実施例に記載の非一時的コンピュータ可読媒体を含む。
実施例14は、画像の少なくとも一部について、距離変換配列を計算することであって、距離変換配列の各値が、画像の異なるそれぞれのピクセルに対応し、かつピクセルと、第1のバイナリマーカー値が第1の陽性状態を示す複数の画像位置の中で最も近いものとの間の距離を示す、距離変換配列を計算することを含む動作を実行するための命令をさらに含む、実施例13または本明細書におけるいくつかの他の実施例に記載の非一時的コンピュータ可読媒体を含む。
実施例15は、複数の画像位置の各々について、画像位置に関連付けられたデータ構造が、対応する生物学的構造における第2のバイオマーカーの陽性状態を示す第2のバイナリマーカー値を含む、実施例14または本明細書におけるいくつかの他の実施例に記載の非一時的コンピュータ可読媒体を含む。
実施例16は、第2のバイナリマーカー値が第1の陽性状態を示す画像位置に対応する距離変換配列の値を記憶することを含む動作を実行するための命令をさらに含む、実施例15または本明細書におけるいくつかの他の実施例に記載の非一時的コンピュータ可読媒体を含む。
実施例17は、記憶された値を大きさの順にソートすることを含む動作を実行するための命令をさらに含む、実施例16または本明細書におけるいくつかの他の実施例に記載の非一時的コンピュータ可読媒体を含む。
実施例18は、複数の画像位置の各々について、画像位置に関連付けられたデータ構造が、対応する生物学的構造における第1のバイオマーカーの陽性状態を示す第1のバイナリマーカー値を含み、媒体が、画像の複数の重複するタイルの各々について、タイルの各ピクセルについて、ピクセルと、第1のバイナリマーカー値が第1の陽性状態を示す複数の画像位置の中で最も近いものとの間の距離を示す対応する値を含む距離変換配列を計算することを含む動作を実行するための命令をさらに含む、実施例12または本明細書におけるいくつかの他の実施例に記載の非一時的コンピュータ可読媒体を含む。
実施例19は、複数の画像位置の各々について、画像位置に関連付けられたデータ構造が、対応する生物学的構造における第2のバイオマーカーの陽性状態を示す第2のバイナリマーカー値を含み、複数のタイルの各々が、複数のタイルのうちの任意の他のタイルの内側領域と重複しない内側領域を含み、媒体が、内側領域の各々について、第2のバイナリマーカー値が第1の陽性状態を示す画像位置に対応する対応するタイルの距離変換配列の値を記憶することを含む動作を実行するための命令をさらに含む、実施例18または本明細書におけるいくつかの他の実施例に記載の非一時的コンピュータ可読媒体を含む。
実施例20は、複数の生物学的構造の各々が細胞核である、実施例12~19または本明細書の他のいくつかの実施例のいずれかに記載の非一時的コンピュータ可読媒体を含む。
VI.さらなる考察
図19は、小さな複数組織生検の注釈付きMPX画像の例を示し、図20および図21は、本明細書に記載の方法1100、1300、1400、および/または1402の実装を使用してそのような画像から取得され得る面積、密度分布、および距離分布の結果の例を示している。既存のフレームワークを使用して、図20および図21に示すように、腫瘍、上皮腫瘍および間質における132,766個の4’,6-ジアミジノ-2-フェニルインドール(DAPI)染色核細胞の密度分布および空間的関係を報告するのに2.24秒かかった(DAPI細胞の面積および密度分布;DAPI核と腫瘍、間質および上皮腫瘍領域との間の空間的関係;それぞれ)。
図19は、小さな複数組織生検の注釈付きMPX画像の例を示し、図20および図21は、本明細書に記載の方法1100、1300、1400、および/または1402の実装を使用してそのような画像から取得され得る面積、密度分布、および距離分布の結果の例を示している。既存のフレームワークを使用して、図20および図21に示すように、腫瘍、上皮腫瘍および間質における132,766個の4’,6-ジアミジノ-2-フェニルインドール(DAPI)染色核細胞の密度分布および空間的関係を報告するのに2.24秒かかった(DAPI細胞の面積および密度分布;DAPI核と腫瘍、間質および上皮腫瘍領域との間の空間的関係;それぞれ)。
図22は、大きな組織切片の注釈付きMPX画像の例を示し、図23および図24は、本明細書に記載の方法1100、1300、1400、および/または1402の実装を使用してそのような画像から取得され得る面積、密度分布、および距離分布の結果の例を示している。本明細書に開示される技術を使用すると、図23および図24に示すように、630,276個のDAPI核細胞の密度分布および空間特性を報告するのに1.13秒しかかからなかった(DAPI細胞の面積および密度分布;DAPI核と腫瘍、間質および上皮腫瘍領域との間の空間的関係;それぞれ)一方で、既存のフレームワークは、231.49秒を要した(例えば、本明細書に開示される技術は、既存のフレームワークよりも205倍速い結果を提供した)。
本開示のいくつかの実施形態は、1つまたは複数のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、命令を含む非一時的コンピュータ可読記憶媒体であって、該命令が、1つまたは複数のデータプロセッサ上で実行されると、1つまたは複数のデータプロセッサに、本明細書に開示された1つまたは複数の方法の一部または全部および/または1つまたは複数のプロセスの一部または全部を実行させる、非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、1つまたは複数のデータプロセッサに、本明細書に開示された1つまたは複数の方法の一部または全部および/または1つまたは複数のプロセスの一部または全部を実行させるように構成された命令を含む非一時的機械可読記憶媒体において有形に具現化された、コンピュータプログラム製品を含む。
使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴のいかなる均等物またはその一部も除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。
上記説明は、好ましい例示的な実施形態のみを提供し、本開示の範囲、適用可能性または構成を限定することを意図しない。むしろ、好ましい例示的な実施形態の上記説明は、様々な実施形態を実施するための有効な説明を当業者に提供する。添付の特許請求の範囲に記載の趣旨および範囲から逸脱することなく、要素の機能および配置に様々な変更が加えられ得ることが理解される。
実施形態の完全な理解を提供するために、以下の説明において具体的な詳細が与えられる。しかしながら、これらの具体的な詳細なしで実施形態が実施され得ることが理解されよう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不必要に詳細に不明瞭にしないために、ブロック図形式の構成要素として示されてもよい。他の例では、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技術が不必要な詳細なしに示されてもよい。
Claims (18)
- 画像分析の方法であって、
複数のピクセルを含み、複数の生物学的構造を示す組織切片の画像中の複数のシード位置を取得することと、
前記画像中の第1のバイオマーカーの複数の位置を取得することと、
前記複数のシード位置を含む前記画像の少なくとも一部について第1の距離変換配列を計算することであって、前記第1の距離変換配列の各値が、前記複数のピクセルのうちのそれぞれのピクセルに対応し、かつ前記ピクセルから前記第1のバイオマーカーの前記複数の位置のうちの最も近いものまでの距離を示す、第1の距離変換配列を計算することと、
前記複数のシード位置の各々について、かつ前記第1の距離変換配列からの情報に基づいて、
前記第1のバイオマーカーが前記シード位置で発現されるかどうかを検出することと、
前記シード位置に関連付けられたデータ構造に、前記シード位置で前記第1のバイオマーカーの発現が検出されたかどうかの指標を記憶することと、
記憶された前記指標に基づいて、前記組織切片の少なくとも一部における少なくとも2つの表現型の共局在を検出した結果を含む分析結果を提供することと
を含む、方法。 - 前記複数のシード位置を取得することが、前記画像の第1のチャネル内の前記複数のシード位置を識別することを含み、
前記第1のバイオマーカーの前記複数の位置を取得することが、前記画像の第2のチャネル内の前記第1のバイオマーカーの前記複数の位置を識別することを含む、請求項1に記載の画像分析の方法。 - 前記複数のシード位置の各々が、前記複数の生物学的構造のうちの別々の1つに対応し、かつ前記画像内の前記生物学的構造の記載の位置を示し、
前記第1のバイオマーカーの前記複数の位置の各々が、前記複数の生物学的構造のうちの別々の1つに対応し、かつ前記画像内の前記生物学的構造の記載の位置を示す、請求項1または2に記載の画像分析の方法。 - 前記複数の生物学的構造の各々が細胞核である、請求項1~3のいずれか一項に記載の画像分析の方法。
- 前記画像中の第2のバイオマーカーの複数の位置を取得することと、
前記複数のシード位置を含む前記画像の少なくとも前記一部について第2の距離変換配列を計算することであって、前記第2の距離変換配列の各値が、前記複数のピクセルのうちのそれぞれのピクセルに対応し、かつ前記シード位置から前記第2のバイオマーカーの前記複数の位置のうちの最も近いものまでの距離を示す、第2の距離変換配列を計算することと、
前記複数のシード位置の各々について、かつ前記第2の距離変換配列からの情報に基づいて、
前記第2のバイオマーカーが前記シード位置で発現されるかどうかを検出することと、
前記シード位置に関連付けられた前記データ構造に、前記シード位置で前記第2のバイオマーカーの発現が検出されたかどうかの第2の指標を記憶することと
をさらに含み、
前記少なくとも2つの表現型の共局在を検出することが、記憶された第2の位置に基づく、請求項1~4のいずれか一項に記載の画像分析の方法。 - 前記少なくとも2つの表現型の共局在を検出することが、前記少なくとも2つの表現型の第1の表現型が、前記少なくとも2つの表現型の第2の表現型の所定の近傍内に生じることを検出することを含む、請求項1~5のいずれか一項に記載の画像分析の方法。
- 1つまたは複数のデータプロセッサと、
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が、前記1つまたは複数のデータプロセッサ上で実行されると、前記1つまたは複数のデータプロセッサに、請求項1~6のいずれか一項に記載の画像分析の方法を実行させる、非一時的コンピュータ可読記憶媒体と
を備える、システム。 - 1つまたは複数のデータプロセッサに請求項1~6のいずれか一項に記載の画像分析の方法を実行させるように構成された命令を含む、非一時的機械可読記憶媒体に有形に具現化されたコンピュータプログラム製品。
- 画像分析の方法であって、
複数のピクセルを含み、複数の生物学的構造を示す組織切片の画像中の複数のシード位置を取得することと、
前記組織切片の第1の組織領域を含み、前記組織切片の第2の組織領域を除外する第1の疎バイナリセグメンテーションマスクを取得することであって、前記第1の疎バイナリセグメンテーションマスクが、複数のピクセルメンバシップ値および複数のマイクロタイルメンバシップ値を含み、かつ前記複数のピクセルの各々について、第1のバイナリメンバシップ値の対応する状態を示す、第1の疎バイナリセグメンテーションマスクを取得することと、
前記複数のシード位置の各々について、かつ前記第1の疎バイナリセグメンテーションマスクからの情報に基づいて、
前記複数のピクセルのうちの前記シード位置に対応するピクセルについての前記第1のバイナリメンバシップ値の状態が第1の状態であるか第2の状態であるかを決定することと、
前記シード位置に関連付けられたデータ構造に、前記ピクセルの前記第1のバイナリメンバシップ値の前記状態を記憶することと、
記憶された前記状態に基づいて、前記第1の組織領域の細胞内のバイオマーカー間の距離または分布を計算した結果を含む分析結果を提供することと
を含み、
前記複数のピクセルメンバシップ値の各々が、前記複数のピクセルのそれぞれのピクセルに対応し、かつ前記ピクセルについての前記第1のバイナリメンバシップ値の前記状態を示し、
前記複数のマイクロタイルメンバシップ値の各々が、前記第1のバイナリマスクの複数のマイクロタイルのそれぞれのマイクロタイルに対応し、かつ前記マイクロタイルに対応する前記画像のブロック内の全ての前記ピクセルについての前記第1のバイナリメンバシップ値の前記状態を示す、方法。 - 前記複数のシード位置のうちの少なくとも1つについて、前記対応するピクセルについての前記第1のバイナリメンバシップ値の前記状態が第1の状態であるか第2の状態であるかを決定することが、前記第1の疎バイナリセグメンテーションマスクが前記ピクセルについてのピクセルメンバシップ値を含まないことを検出することを含む、請求項9に記載の画像分析の方法。
- 前記分析結果が、前記第1の組織領域内の少なくとも1つの表現型の分布密度を含む、請求項9または10に記載の画像分析の方法。
- 前記分析結果が、前記第1の組織領域内のバイオマーカーの位置間の距離の分布を含む、請求項9~11のいずれか一項に記載の画像分析の方法。
- 前記画像中の第1のバイオマーカーの複数の位置を取得することと、
前記複数のシード位置を含む前記画像の少なくとも一部について第1の距離変換配列を計算することであって、前記第1の距離変換配列の各値が、前記複数のピクセルのうちのそれぞれのピクセルに対応し、かつ前記シード位置から前記第1のバイオマーカーの前記複数の位置のうちの最も近いものまでの距離を示す、第1の距離変換配列を計算することと、
前記複数のシード位置の各々について、かつ前記第1の距離変換配列からの情報に基づいて、
前記第1のバイオマーカーが前記シード位置で発現されるかどうかを検出することと、
前記シード位置に関連付けられた前記データ構造に、前記シード位置で前記第1のバイオマーカーの発現が検出されたかどうかの指標を記憶することと
をさらに含み、
前記分析結果が、記憶された前記指標に基づく、請求項9~12のいずれか一項に記載の画像分析の方法。 - 前記複数のシード位置を取得することが、前記画像の第1のチャネル内の前記複数のシード位置を識別することを含み、
前記第1のバイオマーカーの前記複数の位置を取得することが、前記画像の第2のチャネル内の前記第1のバイオマーカーの前記複数の位置を識別することを含む、請求項13に記載の画像分析の方法。 - 前記複数のシード位置の各々が、前記複数の生物学的構造のうちの別々の1つに対応し、かつ前記画像内の前記生物学的構造の記載の位置を示し、
前記第1のバイオマーカーの前記複数の位置の各々が、前記複数の生物学的構造のうちの別々の1つに対応し、かつ前記画像内の前記生物学的構造の記載の位置を示す、請求項13または14に記載の画像分析の方法。 - 前記複数のシード位置の各々が、前記複数の生物学的構造のうちの別々の1つに対応し、かつ前記画像内の前記生物学的構造の記載の位置を示し、
前記複数の生物学的構造の各々が細胞核である、請求項9~15のいずれか一項に記載の画像分析の方法。 - 1つまたは複数のデータプロセッサと、
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が、前記1つまたは複数のデータプロセッサ上で実行されると、前記1つまたは複数のデータプロセッサに、請求項9~16のいずれか一項に記載の画像分析の方法を実行させる、非一時的コンピュータ可読記憶媒体と
を備える、システム。 - 1つまたは複数のデータプロセッサに請求項9~16のいずれか一項に記載の画像分析の方法を実行させるように構成された命令を含む、非一時的機械可読記憶媒体に有形に具現化されたコンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163174984P | 2021-04-14 | 2021-04-14 | |
US63/174,984 | 2021-04-14 | ||
PCT/US2022/024890 WO2022221578A1 (en) | 2021-04-14 | 2022-04-14 | Optimized data processing for medical image analysis |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024516577A true JP2024516577A (ja) | 2024-04-16 |
Family
ID=81580857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023562867A Pending JP2024516577A (ja) | 2021-04-14 | 2022-04-14 | 医用画像分析のための最適化されたデータ処理 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240070904A1 (ja) |
EP (1) | EP4323956A1 (ja) |
JP (1) | JP2024516577A (ja) |
CN (1) | CN117242481A (ja) |
WO (1) | WO2022221578A1 (ja) |
-
2022
- 2022-04-14 WO PCT/US2022/024890 patent/WO2022221578A1/en active Application Filing
- 2022-04-14 CN CN202280028201.5A patent/CN117242481A/zh active Pending
- 2022-04-14 EP EP22721575.3A patent/EP4323956A1/en active Pending
- 2022-04-14 JP JP2023562867A patent/JP2024516577A/ja active Pending
-
2023
- 2023-10-09 US US18/483,518 patent/US20240070904A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN117242481A (zh) | 2023-12-15 |
WO2022221578A4 (en) | 2023-01-05 |
EP4323956A1 (en) | 2024-02-21 |
WO2022221578A1 (en) | 2022-10-20 |
US20240070904A1 (en) | 2024-02-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10275880B2 (en) | Image processing method and system for analyzing a multi-channel image obtained from a biological tissue sample being stained by multiple stains | |
US10489904B2 (en) | Assessing risk of breast cancer recurrence | |
JP6604960B2 (ja) | バイオマーカー陽性の腫瘍細胞を識別するための医用画像解析 | |
Veta et al. | Breast cancer histopathology image analysis: A review | |
US11893732B2 (en) | Computer supported review of tumors in histology images and post operative tumor margin assessment | |
US7760927B2 (en) | Method and system for digital image based tissue independent simultaneous nucleus cytoplasm and membrane quantitation | |
EP3195191B1 (en) | Systems and methods for calculating immune scores | |
US8116551B2 (en) | Method and system for image analysis | |
EP1470411B1 (en) | Method for quantitative video-microscopy and associated system and computer software program product | |
EP3251087B1 (en) | Dot detection, color classification of dots and counting of color classified dots | |
US9697582B2 (en) | Methods for obtaining and analyzing images | |
US20100054560A1 (en) | Breast cancer pathological image diagnosis support system, breast cancer pathological image diagnosis support method, and recording medium recording breast cancer pathological image diagnosis support program | |
RU2690224C2 (ru) | Обследующее устройство для обработки и анализа изображения | |
US20050265588A1 (en) | Method and system for digital image based flourescent in situ hybridization (FISH) analysis | |
López et al. | Digital image analysis in breast cancer: an example of an automated methodology and the effects of image compression | |
WO2007024264A2 (en) | Method and system for digital image based tissue independent simultaneous nucleus, cytoplasm and membrane quantitation | |
JP6960935B2 (ja) | コントロールスライドを使用する改善された画像解析アルゴリズム | |
WO2012041333A1 (en) | Automated imaging, detection and grading of objects in cytological samples | |
JP7214756B2 (ja) | ステイン集合体における信号の定量 | |
US11861881B2 (en) | Critical component detection using deep learning and attention | |
US20240070904A1 (en) | Optimized data processing for medical image analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231110 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231110 |