JPWO2021178938A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2021178938A5
JPWO2021178938A5 JP2022553148A JP2022553148A JPWO2021178938A5 JP WO2021178938 A5 JPWO2021178938 A5 JP WO2021178938A5 JP 2022553148 A JP2022553148 A JP 2022553148A JP 2022553148 A JP2022553148 A JP 2022553148A JP WO2021178938 A5 JPWO2021178938 A5 JP WO2021178938A5
Authority
JP
Japan
Prior art keywords
cells
cell
image
mxif
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022553148A
Other languages
Japanese (ja)
Other versions
JP2023517309A (en
Publication date
Application filed filed Critical
Priority claimed from PCT/US2021/021265 external-priority patent/WO2021178938A1/en
Publication of JP2023517309A publication Critical patent/JP2023517309A/en
Publication of JPWO2021178938A5 publication Critical patent/JPWO2021178938A5/ja
Pending legal-status Critical Current

Links

Claims (62)

少なくとも1つのハードウェアプロセッサを使用して以下のステップを実行すること、を含む、少なくとも１つのコンピュータによって実行される方法：
同じ組織試料の少なくとも1つの多重免疫蛍光(MxIF)画像であって、複数の免疫蛍光画像を含む少なくとも1つのMxIF画像を取得するステップ；
機械学習技術を使用して、前記少なくとも1つのMxIF画像内の細胞の配置を示す情報を取得するステップであって、当該取得するステップが、前記複数の免疫蛍光画像を分析して前記組織試料の1つまたは複数の損傷した部分を識別するステップ；ここで、当該分析が、以下のステップを含む：
前記複数の免疫蛍光画像のうちの少なくとも2つの免疫蛍光画像の各々の対応する部分を、免疫蛍光画像間の差異を識別するように構成されている第1の訓練済みニューラルネットワークに入力するステップであって、前記少なくとも2つの免疫蛍光画像は、同じマーカーの画像を含む、ステップ；及び
前記第1の訓練済みニューラルネットワークから、前記組織試料の前記一部分の少なくとも1つの分類を取得するステップと、を含む、取得するステップ；
前記少なくとも1つのMxIF画像内の細胞の複数の群を、少なくとも一部には、
前記少なくとも1つのMxIF画像と前記少なくとも1つのMxIF画像内の細胞の配置を示す前記情報とを使用して前記細胞のうちの少なくともいくつかの細胞に対する特徴値を決定し、
前記決定された特徴値を使用して前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化する
ことによって識別するステップ；及び
前記複数の群を使用して前記組織試料の少なくとも1つの特性を決定するステップ。 A method performed by at least one computer, comprising using at least one hardware processor to perform the following steps :
acquiring at least one multiplex immunofluorescence (MxIF) image of the same tissue sample, the at least one MxIF image comprising a plurality of immunofluorescence images ;
using machine learning techniques to obtain information indicative of the arrangement of cells in the at least one MxIF image , the obtaining step comprising analyzing the plurality of immunofluorescence images to determine the location of cells in the tissue sample; identifying one or more damaged parts; where the analysis includes the following steps:
inputting corresponding portions of each of at least two immunofluorescence images of the plurality of immunofluorescence images into a first trained neural network configured to identify differences between the immunofluorescence images; the at least two immunofluorescence images include images of the same marker; and
obtaining at least one classification of the portion of the tissue sample from the first trained neural network;
a plurality of groups of cells within said at least one MxIF image, at least in part;
determining feature values for at least some of the cells using the at least one MxIF image and the information indicating the arrangement of cells within the at least one MxIF image;
identifying by grouping the at least some of the cells into the plurality of groups using the determined feature values ; and
determining at least one characteristic of the tissue sample using the plurality of groups . 前記細胞のうちの前記少なくともいくつかの細胞は、第1の細胞を含み、前記特徴値を決定するステップは、前記少なくとも1つのMxIF画像内の前記第1の細胞の配置に関連付けられている少なくとも1つのピクセル値を使用して前記第1の細胞に対する第1の特徴値を決定するステップを含む、請求項1に記載の方法。 The at least some of the cells include a first cell, and the step of determining feature values includes at least one feature value associated with a placement of the first cell in the at least one MxIF image. 2. The method of claim 1, comprising determining a first feature value for the first cell using one pixel value. 前記第1の細胞に対する前記第1の特徴値を決定するステップは、前記少なくとも1つのMxIF画像の複数のチャネルにおける前記第1の細胞のそれぞれの配置に関連付けられているピクセル値を使用するステップを含む、請求項2に記載の方法。 Determining the first feature value for the first cell comprises using pixel values associated with respective placements of the first cell in a plurality of channels of the at least one MxIF image. 3. The method of claim 2 , comprising: 前記複数のチャネルは、複数のマーカーにおけるそれぞれのマーカーに関連付けられ、
前記少なくとも1つのMxIF画像の前記複数のチャネルにおける前記第1の細胞の前記それぞれの配置に関連付けられている前記ピクセル値を使用して前記第1の特徴値を決定するステップは、前記複数のマーカーのうちの1つまたは複数のマーカーの各特定のマーカーについて、前記特定のマーカーが前記第1の細胞において発現している尤度を含むマーカー発現シグネチャを決定するステップを含み、
前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化するステ
ップは、
前記マーカー発現シグネチャおよび細胞タイピングデータを使用して前記第1の細胞に対する予測される細胞種類を決定するステップと、
前記予測される細胞種類に基づき前記第1の細胞を前記複数の群のうちの1つに関連付けるステップとを含む、請求項3に記載の方法。 the plurality of channels are associated with respective markers in the plurality of markers;
determining the first feature value using the pixel values associated with the respective placement of the first cell in the plurality of channels of the at least one MxIF image comprises: determining, for each particular marker of one or more of the markers, a marker expression signature that includes a likelihood that said particular marker is expressed in said first cell;
Grouping the at least some of the cells into the plurality of groups,
determining a predicted cell type for the first cell using the marker expression signature and cell typing data;
and associating the first cell with one of the plurality of groups based on the predicted cell type. 前記細胞タイピングデータは、複数の細胞種類の各々に対する少なくとも1つのマーカー発現シグネチャを含み、
前記複数の細胞種類のうちの各特定の細胞種類に対する前記少なくとも1つのマーカー発現シグネチャは、前記複数のマーカーのうちのどれが前記特定の細胞種類の細胞において発現するかを示すデータを含む、請求項4に記載の方法。 the cell typing data includes at least one marker expression signature for each of a plurality of cell types;
The at least one marker expression signature for each particular cell type of the plurality of cell types includes data indicating which of the plurality of markers is expressed in cells of the particular cell type. The method described in Section 4 . 前記第1の細胞の前記予測される細胞種類を決定するステップは、前記第1の細胞の前記マーカー発現シグネチャを、前記複数の細胞種類のうちの各特定の細胞種類に対する前記複数のマーカー発現シグネチャのうちの少なくとも1つのマーカー発現シグネチャと比較して、前記予測される細胞種類を決定するステップを含む、請求項5に記載の方法。 The step of determining the predicted cell type of the first cell includes determining the marker expression signature of the first cell using the marker expression signature of the plurality of marker expression signatures for each specific cell type of the plurality of cell types. 6. The method of claim 5 , comprising determining the predicted cell type by comparing the marker expression signature of at least one of: マーカー発現シグネチャを決定するように構成されている第2の訓練済みニューラルネットワークモデルへの入力として、(a)前記少なくとも1つのMxIF画像、及び(b) 情報であって、前記細胞の前記配置を示す情報からの情報から、前記複数のチャネルのうちの少なくともいくつかのチャネルにおける前記第1の細胞の配置を示す情報、を提供するステップと、As input to a second trained neural network model configured to determine a marker expression signature, (a) the at least one MxIF image; and (b) information about the arrangement of the cells. providing information indicating a placement of the first cell in at least some of the plurality of channels from information indicating;
前記第2の訓練済みニューラルネットワークからの出力として前記マーカー発現シグネチャを取得するステップとをさらに含む、請求項4に記載の方法。5. The method of claim 4, further comprising obtaining the marker expression signature as an output from the second trained neural network. 前記複数のチャネルにおける前記第1の細胞のそれぞれの位置に関連付けられているピクセル値を使用するステップは、前記複数のチャネルの各々について、
前記チャネルにおける前記第1の細胞の前記配置を使用して前記第1の細胞に対するピクセルのセットを識別するステップと、
ピクセルの前記セット内の前記ピクセルの前記値の平均ピクセル強度を決定することにより、ピクセルの前記セット内のピクセルの値に基づき前記第1の細胞に対する前記第1の特徴値のうちの1つの特徴値を決定するステップとを含む、請求項3に記載の方法。 using pixel values associated with respective positions of the first cell in the plurality of channels, for each of the plurality of channels;
identifying a set of pixels for the first cell using the placement of the first cell in the channel;
characterizing one of said first feature values for said first cell based on the values of pixels in said set of pixels by determining an average pixel intensity of said values of said pixels in said set of pixels; 4. The method of claim 3 , comprising the step of determining a value. 前記少なくとも1つの特性を決定するステップは、前記組織試料中の細胞種類に関する情報を決定するステップを含む、請求項1に記載の方法。 2. The method of claim 1, wherein determining the at least one property comprises determining information regarding cell types in the tissue sample. 前記細胞種類に関する前記情報を決定するステップは、前記少なくとも1つのMxIF画像内の前記細胞のうちの前記少なくともいくつかの細胞の個別の細胞の細胞種類を識別するステップを含み、前記細胞種類は、内皮細胞、上皮細胞、マクロファージ、T細胞、悪性細胞、NK細胞、B細胞、および腺房細胞のうちの1つまたは複数を含む、請求項9に記載の方法。 The step of determining the information regarding the cell type includes identifying the cell type of an individual cell of the at least some of the cells in the at least one MxIF image, wherein the cell type is 10. The method of claim 9 , comprising one or more of , endothelial cells, epithelial cells, macrophages, T cells, malignant cells, NK cells, B cells, and acinar cells . 前記少なくとも1つの特性を決定するステップは、
前記少なくとも1つのMxIF画像内の腺房の配置を示す腺房マスク；
前記少なくとも1つのMxIF画像内の間質の配置を示す間質マスク；
前記少なくとも1つのMxIF画像内の腫瘍の配置を示す腫瘍マスク；
前記少なくとも1つのMxIF画像における1つまたは複数の細胞クラスタの配置を示す細胞クラスタマスク、
のうちの少なくとも1つを決定するステップを含む、請求項1に記載の方法。 Determining the at least one property comprises :
an acinar mask indicating the placement of acini in the at least one MxIF image ;
a stromal mask indicating the arrangement of stroma within the at least one MxIF image;
a tumor mask indicating the location of the tumor within the at least one MxIF image;
a cell cluster mask indicating the arrangement of one or more cell clusters in the at least one MxIF image;
2. The method of claim 1, comprising determining at least one of : 前記少なくとも1つの特性を決定するステップは、
前記複数の群に基づき前記組織試料中の1つまたは複数の細胞クラスタを決定するステップを含み、当該ステップは、
少なくともいくつかの細胞の各々に対するノード、および前記ノードの間のエッジを含むグラフを生成するステップと
前記少なくともいくつかの細胞の細胞特徴の第1のセットに基づき前記1つまたは複数の細胞クラスタを決定するステップと、
により、前記少なくともいくつかの細胞の各々に対する細胞特徴の前記第1のセットを決定するステップとを含む、請求項1に記載の方法。 Determining the at least one property comprises:
determining one or more cell clusters in the tissue sample based on the plurality of groups , the step comprising :
generating a graph including nodes for each of at least some cells and edges between said nodes;
determining the one or more cell clusters based on a first set of cellular characteristics of the at least some cells;
and determining the first set of cell characteristics for each of the at least some cells by: determining the first set of cell characteristics for each of the at least some cells. 前記組織試料中の前記1つまたは複数の細胞クラスタを決定するステップは、
潜在的空間内の埋め込まれた特徴を取得するためにグラフニューラルネットワークへの入力として前記グラフを提供するステップと、
前記ノードのクラスタを取得するために前記埋め込まれた特徴をクラスタリングするステップと、
前記ノードの前記クラスタを使用して前記1つまたは複数の細胞クラスタを決定するステップとを含む、請求項12に記載の方法。 Determining the one or more cell clusters in the tissue sample comprises :
providing said graph as input to a graph neural network to obtain embedded features in a latent space;
clustering the embedded features to obtain clusters of the nodes;
and determining the one or more cell clusters using the clusters of the nodes. 前記細胞を含む前記複数の群のうちの1つの群、前記グラフ内の前記ノードのエッジの長さ、およびマスクデータに基づき前記グラフの各ノードに対する細胞特徴の前記第1のセットを決定するステップをさらに含む、請求項12に記載の方法。 determining the first set of cell characteristics for each node of the graph based on a group of the plurality of groups containing the cell, an edge length of the node in the graph, and mask data; 13. The method of claim 12 , further comprising: 前記グラフニューラルネットワークは、1つまたは複数の畳み込み層であって、最後のグラフ畳み込み層を含む畳み込み層を含み、前記埋め込まれた特徴は、最後のグラフ畳み込み層の活性化に基づき生成される、請求項14に記載の方法。 The graph neural network includes one or more convolutional layers, including a last graph convolution layer, and the embedded features are generated based on activation of the last graph convolution layer. 15. The method according to claim 14 . 前記組織試料の前記少なくとも1つのMxIF画像を取得するステップは、
前記少なくとも1つのMxIF画像の第1のチャネル上でバックグラウンド減算を実行するステップを含む、請求項1に記載の方法。 Obtaining the at least one MxIF image of the tissue sample comprises:
2. The method of claim 1, comprising performing background subtraction on a first channel of the at least one MxIF image. 前記バックグラウンド減算を実行するステップは、前記第1のチャネルを入力としてバックグラウンド減算を実行するように構成されている第3の訓練済みニューラルネットワークに提供するステップを含み、前記第3の訓練済みニューラルネットワークは、少なくとも100万個のパラメータを含む、請求項16に記載の方法。 The step of performing background subtraction includes providing the first channel as an input to a third trained neural network configured to perform background subtraction , 17. The method of claim 16 , wherein the trained neural network includes at least 1 million parameters . 前記少なくとも1つの分類は、細胞なしの第1の分類、損傷を受けていない細胞の第2の分類、および/または損傷を受けている細胞の第3の分類を含む分類のセットを含み、
分類の前記セットは、各分類について、前記分類が前記部分に適用される関連付けられている信頼度と、
前記信頼度に基づき、前記部分に対する分類の前記セットから最終分類を選択するステップとを含む、請求項1に記載の方法。 the at least one classification comprises a set of classifications including a first classification of no cells, a second classification of undamaged cells, and/or a third classification of damaged cells;
The set of classifications includes, for each classification, an associated confidence level that the classification applies to the part;
and selecting a final classification from the set of classifications for the portion based on the confidence level . 前記部分の最終分類および前記少なくとも2つの免疫蛍光画像の複数の他の部分に対する前記最終分類を示すパッチマスクを生成するステップと、
前記パッチマスクに基づき、前記組織試料に対するセグメンテーションマスクの一部を除去して、前記除去された部分に関連付けられている前記組織試料の細胞が前記複数の群に含まれないようにするステップをさらに含む請求項18に記載の方法。 generating a patch mask indicative of the final classification of the portion and the final classification relative to a plurality of other portions of the at least two immunofluorescence images ;
removing a portion of the segmentation mask for the tissue sample based on the patch mask such that cells of the tissue sample associated with the removed portion are not included in the plurality of groups; 19. The method of claim 18 , comprising: 機械学習技術を使用して、前記少なくとも1つのMxIF画像内の前記細胞の前記配置を示す前記情報を取得するステップは、
前記少なくとも1つのMxIF画像の少なくとも1つのチャネルに第4の訓練済みニューラルネットワークを適用して、前記細胞の前記配置を示す前記情報を生成するステップを含む、請求項1に記載の方法。 obtaining said information indicative of said placement of said cells within said at least one MxIF image using machine learning techniques ;
2. The method of claim 1, comprising applying a fourth trained neural network to at least one channel of the at least one MxIF image to generate the information indicative of the arrangement of the cells. 前記第4の訓練済みニューラルネットワークは、U-Netアーキテクチャまたは領域ベースの畳み込みニューラルネットワークアーキテクチャを使用して実装され、
前記第4の訓練済みニューラルネットワークは、少なくとも100万個のパラメータを含む、請求項20に記載の方法。 the fourth trained neural network is implemented using a U-Net architecture or a region-based convolutional neural network architecture ;
21. The method of claim 20 , wherein the fourth trained neural network includes at least one million parameters . 入力画像としての組織試料の訓練免疫蛍光画像のセットと、前記入力画像内の細胞の配置を示す情報を含む関連付けられている出力画像とを使用して前記第4の訓練済みニューラルネットワークを訓練するステップをさらに含む、請求項20に記載の方法。 training said fourth trained neural network using a set of trained immunofluorescence images of tissue samples as input images and associated output images containing information indicative of the placement of cells within said input images; 21. The method of claim 20 , further comprising the step. 前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化するステップは、前記決定された特徴値に基づき前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化する細胞クラスタリングを実行するステップを含む、請求項1に記載の方法。 The step of grouping the at least some of the cells into the plurality of groups includes grouping the at least some of the cells into the plurality of groups based on the determined feature value. 2. The method of claim 1, comprising the step of performing cell clustering. 前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化するステップは、
前記決定された特徴値を分析して前記細胞のうちの前記少なくともいくつかの細胞の間の関係を決定するステップと、
前記複数の群を、前記複数の群のうちの1つの群の中の各細胞が前記群内の細胞の間の関係を示す特徴値を有するように前記決定された関係に基づき決定するステップとを含む、請求項1に記載の方法。 Grouping the at least some of the cells into the plurality of groups,
analyzing the determined feature values to determine relationships between the at least some of the cells;
determining the plurality of groups based on the determined relationship such that each cell in one group of the plurality of groups has a feature value indicative of a relationship between cells in the group; 2. The method of claim 1, comprising: 少なくとも1つのコンピュータハードウェアプロセッサと、
プロセッサ実行可能命令を記憶する少なくとも1つの非一時的コンピュータ可読記憶媒体とを備え、前記プロセッサ実行可能命令は、前記少なくとも1つのコンピュータハードウェアプロセッサによって実行されたときに、前記少なくとも1つのコンピュータハードウェアプロセッサに、
同じ組織試料の少なくとも1つの多重免疫蛍光(MxIF)画像であって、複数の免疫蛍光画像を含む少なくとも1つのMxIF画像を取得するステップと、
機械学習技術を使用して、前記MxIF画像内の細胞の配置を示す情報を取得するステップであって、当該取得するステップが、前記複数の免疫蛍光画像を分析して前記組織試料の1つまたは複数の損傷した部分を識別するステップを含み、当該分析が、前記複数の免疫蛍光画像のうちの少なくとも2つの免疫蛍光画像の各々の対応する部分を、免疫蛍光画像間の差異を識別するように構成されている第1の訓練済みニューラルネットワークに入力するステップであって、前記少なくとも2つの免疫蛍光画像は、同じマーカーの画像を含む、ステップと、
前記第1の訓練済みニューラルネットワークから、前記組織試料の前記一部分の少なくとも1つの分類を取得するステップと、を含む、取得するステップと、
前記少なくとも1つのMxIF画像内の細胞の複数の群を、少なくとも一部には、
前記少なくとも1つのMxIF画像と細胞の配置を示す前記情報とを使用して前記細胞のうちの少なくともいくつかの細胞に対する特徴値を決定し、
前記決定された特徴値を使用して前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化する
ことによって識別するステップと、
前記複数の群を使用して前記組織試料の少なくとも1つの特性を決定するステップとを、実行させる、システム。 at least one computer hardware processor;
at least one non-transitory computer-readable storage medium storing processor-executable instructions, the processor-executable instructions, when executed by the at least one computer hardware processor, to the processor,
acquiring at least one multiplexed immunofluorescence (MxIF) image of the same tissue sample, the at least one MxIF image comprising multiple immunofluorescence images ;
using machine learning techniques to obtain information indicative of the arrangement of cells within the MxIF image , the obtaining step comprising analyzing the plurality of immunofluorescence images to determine the location of one or more of the tissue samples; identifying a plurality of damaged areas, the analysis comprising: identifying a corresponding portion of each of at least two immunofluorescent images of the plurality of immunofluorescent images; and identifying differences between the immunofluorescent images. inputting the at least two immunofluorescence images to a first trained neural network configured, wherein the at least two immunofluorescence images include images of the same marker;
obtaining at least one classification of the portion of the tissue sample from the first trained neural network;
a plurality of groups of cells within said at least one MxIF image, at least in part;
determining feature values for at least some of the cells using the at least one MxIF image and the information indicating cell placement;
identifying the at least some of the cells by grouping them into the plurality of groups using the determined feature values;
determining at least one property of the tissue sample using the plurality of groups. プロセッサ実行可能命令を記憶する少なくとも1つの非一時的コンピュータ可読記憶媒体であって、前記プロセッサ実行可能命令は、少なくとも1つのコンピュータハードウェアプロセッサによって実行されたときに、前記少なくとも1つのコンピュータハードウェアプロセッサに、
同じ組織試料の少なくとも1つの多重免疫蛍光(MxIF)画像であって、複数の免疫蛍光画像を含む少なくとも1つのMxIF画像を取得するステップと、
機械学習技術を使用して、前記MxIF画像内の細胞の配置を示す情報を取得するステップであって、当該取得するステップが、前記複数の免疫蛍光画像を分析して前記組織試料の1つまたは複数の損傷した部分を識別するステップを含み、当該分析が、前記複数の免疫蛍光画像のうちの少なくとも2つの免疫蛍光画像の各々の対応する部分を、免疫蛍光画像間の差異を識別するように構成されている第1の訓練済みニューラルネットワークに入力するステップであって、前記少なくとも2つの免疫蛍光画像は、同じマーカーの画像を含む、ステップと、
前記第1の訓練済みニューラルネットワークから、前記組織試料の前記一部分の少なくとも1つの分類を取得するステップと、を含む、取得するステップと、
前記少なくとも1つのMxIF画像内の細胞の複数の群を、少なくとも一部には、
前記少なくとも1つのMxIF画像と前記少なくとも1つのMxIF画像内の細胞の配置を示す前記情報とを使用して前記細胞のうちの少なくともいくつかの細胞に対する特徴値を決定し、
前記決定された特徴値を使用して前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化する
ことによって識別するステップと、
前記複数の群を使用して前記組織試料の少なくとも1つの特性を決定するステップとを、実行させる、非一時的コンピュータ可読記憶媒体。 at least one non-transitory computer-readable storage medium storing processor-executable instructions, the processor-executable instructions, when executed by the at least one computer hardware processor; To,
acquiring at least one multiplexed immunofluorescence (MxIF) image of the same tissue sample, the at least one MxIF image comprising multiple immunofluorescence images ;
using machine learning techniques to obtain information indicative of the arrangement of cells within the MxIF image , the obtaining step comprising analyzing the plurality of immunofluorescence images to determine the location of one or more of the tissue samples; identifying a plurality of damaged areas, the analysis comprising: identifying a corresponding portion of each of at least two immunofluorescent images of the plurality of immunofluorescent images; and identifying differences between the immunofluorescent images. inputting the at least two immunofluorescence images to a first trained neural network configured, wherein the at least two immunofluorescence images include images of the same marker;
obtaining at least one classification of the portion of the tissue sample from the first trained neural network;
a plurality of groups of cells within said at least one MxIF image, at least in part;
determining feature values for at least some of the cells using the at least one MxIF image and the information indicating the arrangement of cells within the at least one MxIF image;
identifying the at least some of the cells by grouping them into the plurality of groups using the determined feature values;
determining at least one property of the tissue sample using the plurality of groups. 少なくとも1つのコンピュータハードウェアプロセッサを使用して以下のステップを実行すること、を含む、少なくとも１つのコンピュータによって実行される方法：
組織試料の少なくとも1つの多重免疫蛍光(MxIF)画像であって、複数の免疫蛍光画像を含む少なくとも1つのMxIF画像を取得するステップ；、
機械学習技術を使用して、前記少なくとも1つのMxIF画像内の少なくとも1つの細胞の配置を示す情報を取得するステップであって、当該取得するステップが、前記複数の免疫蛍光画像を分析して前記組織試料の1つまたは複数の損傷した部分を識別するステップ；ここで、当該分析が、以下のステップを含む：
前記複数の免疫蛍光画像のうちの少なくとも2つの免疫蛍光画像の各々の対応する部分を、免疫蛍光画像間の差異を識別するように構成されている第1の訓練済みニューラルネットワークに入力するステップであって、前記少なくとも2つの免疫蛍光画像は、同じマーカーの画像を含む、ステップと、前記第1の訓練済みニューラルネットワークから、前記組織試料の前記一部分の少なくとも1つの分類を取得するステップと、を含む、取得するステップ；
前記少なくとも1つのMxIF画像内で発現されている複数のマーカーおよび前記少なくとも1つのMxIF画像内の前記少なくとも1つの細胞の前記配置を示す前記情報に基づき前記組織試料中の前記少なくとも1つの細胞に対するマーカー発現シグネチャを決定するステップ；及び
前記マーカー発現シグネチャを、複数の異なる種類の細胞に対する少なくとも1つのマーカー発現シグネチャを含む細胞タイピングデータと比較して、前記細胞に対する細胞種類を決定するステップ。 A method performed by at least one computer, comprising using at least one computer hardware processor to perform the following steps:
acquiring at least one multiplexed immunofluorescence ( MxIF ) image of the tissue sample , the at least one MxIF image comprising a plurality of immunofluorescence images ;
using machine learning techniques to obtain information indicative of the placement of at least one cell in the at least one MxIF image , the obtaining step comprising analyzing the plurality of immunofluorescence images to identifying one or more damaged portions of the tissue sample; wherein the analysis includes the following steps:
inputting corresponding portions of each of at least two immunofluorescence images of the plurality of immunofluorescence images into a first trained neural network configured to identify differences between the immunofluorescence images; the at least two immunofluorescence images include images of the same marker; and obtaining at least one classification of the portion of the tissue sample from the first trained neural network. including and obtaining steps;
a plurality of markers expressed in the at least one MxIF image and a marker for the at least one cell in the tissue sample based on the information indicating the placement of the at least one cell in the at least one MxIF image; determining an expression signature ; and
Comparing the marker expression signature to cell typing data comprising at least one marker expression signature for a plurality of different cell types to determine a cell type for the cell . 前記少なくとも1つの細胞の前記細胞種類に基づき前記組織試料の少なくとも1つの特性を決定するステップをさらに含む、請求項27に記載の方法。 28. The method of claim 27 , further comprising determining at least one property of the tissue sample based on the cell type of the at least one cell. 少なくとも1つのハードウェアプロセッサを使用して以下のステップを実行すること、を含む、少なくとも１つのコンピュータによって実行される方法：A method performed by at least one computer, comprising using at least one hardware processor to perform the following steps:
同じ組織試料の少なくとも1つの多重免疫蛍光(MxIF)画像を取得するステップであって、当該取得するステップが、前記少なくとも1つのMxIF画像の第1のチャネル上でバックグラウンド減算を実行するステップを含み、当該実行するステップが、前記第1のチャネルを入力としてバックグラウンド減算を実行するように構成されている訓練済みニューラルネットワークに提供するステップを含み、前記訓練済みニューラルネットワークは、少なくとも100万個のパラメータを含む、取得するステップ；acquiring at least one multiplex immunofluorescence (MxIF) image of the same tissue sample, the acquiring step comprising performing background subtraction on a first channel of the at least one MxIF image; , the step of performing includes providing the first channel to a trained neural network configured to perform background subtraction as input, the trained neural network having at least one million including and retrieving parameters;
機械学習技術を使用して、前記少なくとも1つのMxIF画像内の細胞の配置を示す情報を取得するステップ；obtaining information indicative of the placement of cells within the at least one MxIF image using machine learning techniques;
前記少なくとも1つのMxIF画像内の細胞の複数の群を、少なくとも一部には、a plurality of groups of cells within said at least one MxIF image, at least in part;
前記少なくとも1つのMxIF画像と前記少なくとも1つのMxIF画像内の細胞の配置を示す前記情報とを使用して前記細胞のうちの少なくともいくつかの細胞に対する特徴値を決定し、determining feature values for at least some of the cells using the at least one MxIF image and the information indicating the arrangement of cells within the at least one MxIF image;
前記決定された特徴値を使用して前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化するgrouping the at least some of the cells into the plurality of groups using the determined feature values;
ことによって識別するステップ；及びidentifying by; and
前記複数の群を使用して前記組織試料の少なくとも1つの特性を決定するステップ。determining at least one characteristic of the tissue sample using the plurality of groups. 少なくとも1つのコンピュータハードウェアプロセッサと、at least one computer hardware processor;
プロセッサ実行可能命令を記憶する少なくとも1つの非一時的コンピュータ可読記憶媒体とを備え、前記プロセッサ実行可能命令は、前記少なくとも1つのコンピュータハードウェアプロセッサによって実行されたときに、前記少なくとも1つのコンピュータハードウェアプロセッサに、at least one non-transitory computer-readable storage medium storing processor-executable instructions, the processor-executable instructions, when executed by the at least one computer hardware processor, to the processor,
同じ組織試料の少なくとも1つの多重免疫蛍光(MxIF)画像を取得するステップであって、当該取得するステップが、前記少なくとも1つのMxIF画像の第1のチャネル上でバックグラウンド減算を実行するステップを含み、当該実行するステップが、前記第1のチャネルを入力としてバックグラウンド減算を実行するように構成されている訓練済みニューラルネットワークに提供するステップを含み、前記訓練済みニューラルネットワークは、少なくとも100万個のパラメータを含む、取得するステップと、acquiring at least one multiplex immunofluorescence (MxIF) image of the same tissue sample, the acquiring step comprising performing background subtraction on a first channel of the at least one MxIF image; , the step of performing includes providing the first channel to a trained neural network configured to perform background subtraction as input, the trained neural network having at least one million a step of retrieving, including parameters;
機械学習技術を使用して、前記少なくとも1つのMxIF画像内の細胞の配置を示す情報を取得するステップと、using machine learning techniques to obtain information indicative of the arrangement of cells within the at least one MxIF image;
前記少なくとも1つのMxIF画像内の細胞の複数の群を、少なくとも一部には、a plurality of groups of cells within said at least one MxIF image, at least in part;
前記少なくとも1つのMxIF画像と前記少なくとも1つのMxIF画像内の細胞の配置を示す前記情報とを使用して前記細胞のうちの少なくともいくつかの細胞に対する特徴値を決定し、determining feature values for at least some of the cells using the at least one MxIF image and the information indicating the arrangement of cells within the at least one MxIF image;
前記決定された特徴値を使用して前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化するgrouping the at least some of the cells into the plurality of groups using the determined feature values;
ことによって識別するステップと、a step of identifying by;
前記複数の群を使用して前記組織試料の少なくとも1つの特性を決定するステップとを、実行させる、システム。determining at least one property of the tissue sample using the plurality of groups. プロセッサ実行可能命令を記憶する少なくとも1つの非一時的コンピュータ可読記憶媒体であって、前記プロセッサ実行可能命令は、少なくとも1つのコンピュータハードウェアプロセッサによって実行されたときに、前記少なくとも1つのコンピュータハードウェアプロセッサに、以下のステップを実行させる、非一時的コンピュータ可読記憶媒体：at least one non-transitory computer-readable storage medium storing processor-executable instructions, the processor-executable instructions, when executed by the at least one computer hardware processor; a non-transitory computer-readable storage medium that causes the computer to perform the following steps:
同じ組織試料の少なくとも1つの多重免疫蛍光(MxIF)画像を取得するステップであって、当該取得するステップが、前記少なくとも1つのMxIF画像の第1のチャネル上でバックグラウンド減算を実行するステップを含み、当該実行するステップが、前記第1のチャネルを入力としてバックグラウンド減算を実行するように構成されている訓練済みニューラルネットワークに提供するステップを含み、前記訓練済みニューラルネットワークは、少なくとも100万個のパラメータを含む、取得するステップ；acquiring at least one multiplex immunofluorescence (MxIF) image of the same tissue sample, the acquiring step comprising performing background subtraction on a first channel of the at least one MxIF image; , the step of performing includes providing the first channel to a trained neural network configured to perform background subtraction as an input, the trained neural network having at least one million including and retrieving parameters;
機械学習技術を使用して、前記少なくとも1つのMxIF画像内の細胞の配置を示す情報を取得するステップ；obtaining information indicative of the placement of cells within the at least one MxIF image using machine learning techniques;
前記少なくとも1つのMxIF画像内の細胞の複数の群を、少なくとも一部には、a plurality of groups of cells within said at least one MxIF image, at least in part;
前記少なくとも1つのMxIF画像と前記少なくとも1つのMxIF画像内の細胞の配置を示す前記情報とを使用して前記細胞のうちの少なくともいくつかの細胞に対する特徴値を決定し、determining feature values for at least some of the cells using the at least one MxIF image and the information indicating the arrangement of cells within the at least one MxIF image;
前記決定された特徴値を使用して前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化するgrouping the at least some of the cells into the plurality of groups using the determined feature values;
ことによって識別するステップ；及びidentifying by; and
前記複数の群を使用して前記組織試料の少なくとも1つの特性を決定するステップ。determining at least one characteristic of the tissue sample using the plurality of groups. 少なくとも1つのハードウェアプロセッサを使用して以下のステップを実行すること、を含む、少なくとも１つのコンピュータによって実行される方法；A method performed by at least one computer, comprising: performing the following steps using at least one hardware processor;
組織試料の少なくとも1つの多重免疫蛍光(MxIF)画像であって、複数のマーカーにおけるそれぞれのマーカーに関連付けられている複数のチャネルを含む、少なくとも1つのMxIF画像を取得するステップ；acquiring at least one multiplex immunofluorescence (MxIF) image of the tissue sample, the image comprising a plurality of channels associated with each marker in the plurality of markers;
機械学習技術を使用して、前記少なくとも1つのMxIF画像内の細胞の配置を示す情報を取得するステップ；obtaining information indicative of the placement of cells within the at least one MxIF image using machine learning techniques;
前記少なくとも1つのMxIF画像内の細胞の複数の群を、少なくとも一部には、a plurality of groups of cells within said at least one MxIF image, at least in part;
前記少なくとも1つのMxIF画像と前記少なくとも1つのMxIF画像内の細胞の配置を示す前記情報とを使用して前記細胞のうちの少なくともいくつかの細胞に対するピクセル値を識別し、identifying pixel values for at least some of the cells using the at least one MxIF image and the information indicating placement of cells within the at least one MxIF image;
ニューラルネットワークを使用して、識別されたピクセル値を少なくとも一部使用することにより、前記少なくともいくつかの細胞についてのマーカー発現シグネチャであって、特定の細胞についての各マーカー発現シグネチャが前記複数のマーカーのうちの1つまたは複数のマーカーの各特定のマーカーについて、前記特定のマーカーが前記特定の細胞において発現しているニューラルネットワークによって出力されたそれぞれの尤度を含む、マーカー発現シグネチャを決定し、Using a neural network, at least in part using the identified pixel values, a marker expression signature for the at least some cells, each marker expression signature for a particular cell being a marker expression signature for the plurality of markers. determining, for each particular marker of one or more of the markers, a marker expression signature comprising a respective likelihood output by a neural network that said particular marker is expressed in said particular cell;
前記マーカー発現シグネチャを使用して前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化することであって、前記複数のマーカーのうちの1つまたは複数のマーカーの各特定のマーカーについて、前記ニューラルネットワークによる前記それぞれの尤度の出力を用いることにより実施される、グループ化するgrouping the at least some of the cells into the plurality of groups using the marker expression signature, the grouping of each specific one or more of the plurality of markers; grouping the markers, performed by using the respective likelihood outputs by the neural network;
ことによって識別するステップ；及びidentifying by; and
前記複数の群を使用して前記組織試料の少なくとも1つの特性を決定するステップ。determining at least one characteristic of the tissue sample using the plurality of groups. 前記マーカー発現シグネチャを使用して前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化することは、クラスタリングアルゴリズムを使用して、前記マーカー発現シグネチャに基づき前記細胞のうちの前記少なくともいくつかの細胞をグループ化することを含む、請求項３２に記載の方法。Grouping the at least some of the cells into the plurality of groups using the marker expression signature includes grouping the at least some of the cells based on the marker expression signature using a clustering algorithm. 33. The method of claim 32, comprising grouping at least some cells. 前記クラスタリングアルゴリズムが、前記少なくとも1つのMxIF画像における複数のチャネルにおける前記少なくともいくつかの細胞のそれぞれの配置の平均ピクセル値に基づき、前記少なくともいくつかの細胞をグループ化する、請求項３３に記載の方法。34. The clustering algorithm groups the at least some cells based on average pixel values of respective placements of the at least some cells in a plurality of channels in the at least one MxIF image. Method. 前記クラスタリングアルゴリズムが、前記少なくとも1つのMxIF画像における複数のチャンネルにおける前記少なくともいくつかの細胞のそれぞれの配置の中央値ピクセル値に基づき、前記少なくともいくつかの細胞をグループ化する、請求項３３に記載の方法。34. The clustering algorithm groups the at least some cells based on a median pixel value of a respective placement of the at least some cells in a plurality of channels in the at least one MxIF image. the method of. 前記マーカー発現シグネチャを使用して前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化することが、grouping the at least some of the cells into the plurality of groups using the marker expression signature;
前記マーカー発現シグネチャを解析して、前記少なくともいくつかの細胞の間の関係を決定するステップと、analyzing the marker expression signature to determine a relationship between the at least some cells;
前記複数の群内の各細胞が細胞群内の細胞の間の関係を示す特徴値を有するように、決定された関係に基づき前記複数の群を決定するステップとdetermining the plurality of groups based on the determined relationships, such that each cell in the plurality of groups has a feature value indicating a relationship between cells in the cell group;
を含む、請求項３２に記載の方法。33. The method of claim 32, comprising: 前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化することが、grouping the at least some of the cells into the plurality of groups;
前記マーカー発現シグネチャおよび細胞タイピングデータを使用して第1の細胞に対する予測される細胞種類を決定するステップと、determining a predicted cell type for the first cell using the marker expression signature and cell typing data;
前記予測される細胞種類に基づき前記第1の細胞を前記複数の群のうちの1つに関連付けるステップと、associating the first cell with one of the plurality of groups based on the predicted cell type;
を含む、請求項３２に記載の方法。33. The method of claim 32, comprising: 前記細胞タイピングデータは、複数の細胞種類の各々に対する少なくとも1つのマーカー発現シグネチャを含み、the cell typing data includes at least one marker expression signature for each of a plurality of cell types;
前記複数の細胞種類のうちの各特定の細胞種類に対する前記少なくとも1つのマーカー発現シグネチャは、前記複数のマーカーのうちのどれが前記特定の細胞種類の細胞において発現するかを示すデータを含む、請求項３７に記載の方法。The at least one marker expression signature for each particular cell type of the plurality of cell types includes data indicating which of the plurality of markers is expressed in cells of the particular cell type. The method according to item 37. 前記第1の細胞の前記予測される細胞種類を決定するステップは、前記第1の細胞の前記マーカー発現シグネチャを、前記複数の細胞種類のうちの各特定の細胞種類に対する前記複数のマーカー発現シグネチャのうちの少なくとも1つのマーカー発現シグネチャと比較して、前記予測される細胞種類を決定するステップを含む、請求項３８に記載の方法。The step of determining the predicted cell type of the first cell includes determining the marker expression signature of the first cell using the marker expression signature of the plurality of marker expression signatures for each specific cell type of the plurality of cell types. 39. The method of claim 38, comprising determining the predicted cell type by comparing a marker expression signature of at least one of: 前記少なくともいくつかの細胞のうちの第1の細胞について、第1のマーカー発現シグネチャを決定するステップであって、determining a first marker expression signature for a first cell of the at least some cells, comprising:
前記複数のチャネルにおける前記第1の細胞のそれぞれの位置に関連付けられているピクセル値を使用するステップは、前記複数のチャネルの各々について、using pixel values associated with respective positions of the first cell in the plurality of channels, for each of the plurality of channels;
前記チャネルにおける前記第1の細胞の前記配置を使用して前記第1の細胞に対するピクセルのセットを識別することと、identifying a set of pixels for the first cell using the placement of the first cell in the channel;
ピクセルの前記セット内の前記ピクセルの前記値の平均ピクセル強度を決定することにより、ピクセルの前記セット内のピクセルの値に基づき、前記チャネルに関連付けられている少なくとも1つのマーカーが第1の細胞に対して発現している尤度を決定すること、とを含む、決定するステップをさらに含む、請求項３２に記載の方法。at least one marker associated with said channel is assigned to a first cell based on the values of pixels within said set of pixels by determining an average pixel intensity of said values of said pixels within said set of pixels. 33. The method of claim 32, further comprising determining a likelihood expressed for the . 前記少なくとも1つの特性を決定するステップは、前記組織試料中の細胞種類に関する情報を決定するステップを含む、請求項３２に記載の方法。33. The method of claim 32, wherein determining the at least one property comprises determining information regarding cell types in the tissue sample. 前記細胞種類に関する前記情報を決定するステップは、前記少なくとも1つのMxIF画像内の前記細胞のうちの前記少なくともいくつかの細胞の個別の細胞の細胞種類を識別するステップを含み、前記細胞種類は、内皮細胞、上皮細胞、マクロファージ、T細胞、悪性細胞、NK細胞、B細胞、および腺房細胞のうちの1つまたは複数を含む、請求項9に記載の方法。Determining the information regarding the cell type includes identifying a cell type of an individual cell of the at least some of the cells in the at least one MxIF image, the cell type comprising: 10. The method of claim 9, comprising one or more of endothelial cells, epithelial cells, macrophages, T cells, malignant cells, NK cells, B cells, and acinar cells. 前記少なくとも1つの特性を決定するステップは、Determining the at least one property comprises:
前記少なくとも1つのMxIF画像内の腺房の配置を示す腺房マスク；an acinar mask indicating the placement of acini in the at least one MxIF image;
前記少なくとも1つのMxIF画像内の間質の配置を示す間質マスク；a stromal mask indicating the arrangement of stroma within the at least one MxIF image;
前記少なくとも1つのMxIF画像内の腫瘍の配置を示す腫瘍マスク；a tumor mask indicating the location of the tumor within the at least one MxIF image;
前記少なくとも1つのMxIF画像における1つまたは複数の細胞クラスタの配置を示す細胞クラスタマスク、a cell cluster mask indicating the arrangement of one or more cell clusters in the at least one MxIF image;
のうちの少なくとも1つを決定するステップを含む、請求項３２に記載の方法。33. The method of claim 32, comprising determining at least one of: 前記少なくとも1つの特性を決定するステップは、Determining the at least one property comprises:
前記複数の群に基づき前記組織試料中の1つまたは複数の細胞クラスタを決定するステップを含み、当該ステップは、determining one or more cell clusters in the tissue sample based on the plurality of groups, the step comprising:
前記細胞のうちの前記少なくともいくつかの細胞の各々に対するノード、および前記ノードの間のエッジを含むグラフを生成するステップとgenerating a graph including nodes for each of the at least some of the cells and edges between the nodes;
前記細胞のうちの前記少なくともいくつかの細胞の細胞特徴の第1のセットに基づき前記1つまたは複数の細胞クラスタを決定するステップと、determining the one or more cell clusters based on a first set of cellular characteristics of the at least some of the cells;
により、前記細胞のうちの前記少なくともいくつかの細胞の各々に対する細胞特徴の前記第1のセットを決定するステップとを含む、請求項３２に記載の方法。and determining the first set of cell characteristics for each of the at least some of the cells by: determining the first set of cell characteristics for each of the at least some of the cells. 前記組織試料中の前記1つまたは複数の細胞クラスタを決定するステップは、Determining the one or more cell clusters in the tissue sample comprises:
潜在的空間内の埋め込まれた特徴を取得するためにグラフニューラルネットワークへの入力として前記グラフを提供するステップと、providing said graph as input to a graph neural network to obtain embedded features in a latent space;
前記ノードのクラスタを取得するために前記埋め込まれた特徴をクラスタリングするステップと、clustering the embedded features to obtain clusters of the nodes;
前記ノードの前記クラスタを使用して前記1つまたは複数の細胞クラスタを決定するステップとを含む、請求項４４に記載の方法。45. The method of claim 44, using the cluster of nodes to determine the one or more cell clusters. 前記細胞を含む前記複数の群のうちの1つの群、前記グラフ内の前記ノードのエッジの長さ、およびマスクデータに基づき前記グラフの各ノードに対する細胞特徴の前記第1のセットを決定するステップをさらに含む、請求項４４に記載の方法。determining the first set of cell characteristics for each node of the graph based on a group of the plurality of groups containing the cell, an edge length of the node in the graph, and mask data; 45. The method of claim 44, further comprising: 前記グラフニューラルネットワークは、1つまたは複数の畳み込み層であって、最後のグラフ畳み込み層を含む畳み込み層を含み、前記埋め込まれた特徴は、最後のグラフ畳み込み層の活性化に基づき生成される、請求項４５に記載の方法。The graph neural network includes one or more convolutional layers, including a last graph convolution layer, and the embedded features are generated based on activation of the last graph convolution layer. 46. The method of claim 45. 機械学習技術を使用して、前記少なくとも1つのMxIF画像内の前記細胞の前記配置を示す前記情報を取得するステップは、obtaining said information indicative of said placement of said cells within said at least one MxIF image using machine learning techniques;
前記少なくとも1つのMxIF画像の少なくとも1つのチャネルに、前記ニューラルネットワークとは異なる第2のニューラルネットワークを適用して、前記細胞の前記配置を示す前記情報を生成するステップを含む、請求項３２に記載の方法。 33. Applying a second neural network different from the neural network to at least one channel of the at least one MxIF image to generate the information indicative of the arrangement of the cells. the method of. 前記第2のニューラルネットワークは、U-Netアーキテクチャまたは領域ベースの畳み込みニューラルネットワークアーキテクチャを使用して実装され、
前記第2のニューラルネットワークは、少なくとも100万個のパラメータを含む、請求項４８に記載の方法。 said second neural network is implemented using a U-Net architecture or a region-based convolutional neural network architecture ;
49. The method of claim 48 , wherein the second neural network includes at least one million parameters . 入力画像としての組織試料の訓練免疫蛍光画像のセットと、前記入力画像内の細胞の配置を示す情報を含む関連付けられている出力画像とを使用して前記第2のニューラルネットワークを訓練するステップをさらに含む、請求項４８に記載の方法。training said second neural network using a set of trained immunofluorescence images of a tissue sample as input images and an associated output image containing information indicative of the arrangement of cells within said input images; 49. The method of claim 48, further comprising. 前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化するステップは、前記決定されたマーカー発現シグネチャに基づき前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化する細胞クラスタリングを実行するステップを含む、請求項３２に記載の方法。Grouping the at least some of the cells into the plurality of groups includes grouping the at least some of the cells into the plurality of groups based on the determined marker expression signature. 33. The method of claim 32, comprising performing cell clustering to 少なくとも1つのコンピュータハードウェアプロセッサと、at least one computer hardware processor;
プロセッサ実行可能命令を記憶する少なくとも1つの非一時的コンピュータ可読記憶媒体とを備え、前記プロセッサ実行可能命令は、前記少なくとも1つのコンピュータハードウェアプロセッサによって実行されたときに、前記少なくとも1つのコンピュータハードウェアプロセッサに、at least one non-transitory computer-readable storage medium storing processor-executable instructions, the processor-executable instructions, when executed by the at least one computer hardware processor, to the processor,
組織試料の少なくとも1つの多重免疫蛍光(MxIF)画像であって、複数のマーカーにおけるそれぞれのマーカーに関連付けられている複数のチャネルを含む、少なくとも1つのMxIF画像を取得するステップと、acquiring at least one multiplex immunofluorescence (MxIF) image of the tissue sample, the image comprising a plurality of channels associated with each marker in the plurality of markers;
機械学習技術を使用して、前記少なくとも1つのMxIF画像内の細胞の配置を示す情報を取得するステップと、using machine learning techniques to obtain information indicative of the arrangement of cells within the at least one MxIF image;
前記少なくとも1つのMxIF画像内の細胞の複数の群を、少なくとも一部には、a plurality of groups of cells within said at least one MxIF image, at least in part;
前記少なくとも1つのMxIF画像と前記少なくとも1つのMxIF画像内の細胞の配置を示す前記情報とを使用して前記細胞のうちの少なくともいくつかの細胞に対するピクセル値を識別し、identifying pixel values for at least some of the cells using the at least one MxIF image and the information indicating placement of cells within the at least one MxIF image;
ニューラルネットワークを使用して、識別されたピクセル値を少なくとも一部使用することにより、前記少なくともいくつかの細胞についてのマーカー発現シグネチャであって、特定の細胞についての各マーカー発現シグネチャが前記複数のマーカーのうちの1つまたは複数のマーカーの各特定のマーカーについて、前記特定のマーカーが前記特定の細胞において発現しているニューラルネットワークによって出力されたそれぞれの尤度を含む、マーカー発現シグネチャを決定し、Using a neural network, at least in part using the identified pixel values, a marker expression signature for the at least some cells, each marker expression signature for a particular cell being a marker expression signature for the plurality of markers. determining, for each particular marker of one or more of the markers, a marker expression signature comprising a respective likelihood output by a neural network that said particular marker is expressed in said particular cell;
前記マーカー発現シグネチャを使用して前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化することであって、前記複数のマーカーのうちの1つまたは複数のマーカーの各特定のマーカーについて、前記ニューラルネットワークによる前記それぞれの尤度の出力を用いることにより実施される、グループ化するgrouping the at least some of the cells into the plurality of groups using the marker expression signature, the grouping of each specific one or more of the plurality of markers; grouping the markers, performed by using the respective likelihood outputs by the neural network;
ことによって識別するステップと、a step of identifying by;
前記複数の群を使用して前記組織試料の少なくとも1つの特性を決定するステップとdetermining at least one property of the tissue sample using the plurality of groups;
を、実行させる、システム。A system that executes. 前記マーカー発現シグネチャを使用して前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化することは、クラスタリングアルゴリズムを使用して、前記マーカー発現シグネチャに基づき前記細胞のうちの前記少なくともいくつかの細胞をグループ化することを含む、請求項５２に記載のシステム。Grouping the at least some of the cells into the plurality of groups using the marker expression signature includes grouping the at least some of the cells based on the marker expression signature using a clustering algorithm. 53. The system of claim 52, comprising grouping at least some cells. 前記クラスタリングアルゴリズムが、前記少なくとも1つのMxIF画像における複数のチャネルにおける前記少なくともいくつかの細胞のそれぞれの配置の平均ピクセル値に基づき、前記少なくともいくつかの細胞をグループ化する、請求項５３に記載のシステム。54. The clustering algorithm groups the at least some cells based on average pixel values of respective placements of the at least some cells in a plurality of channels in the at least one MxIF image. system. 前記クラスタリングアルゴリズムが、前記少なくとも1つのMxIF画像における複数のチャンネルにおける前記少なくともいくつかの細胞のそれぞれの配置の中央値ピクセル値に基づき、前記少なくともいくつかの細胞をグループ化する、請求項５３に記載のシステム。54. The clustering algorithm groups the at least some cells based on a median pixel value of a respective placement of the at least some cells in a plurality of channels in the at least one MxIF image. system. 前記複数の群のうちの少なくとも1つが、異なる細胞種類の細胞を含む、請求項５２に記載のシステム。53. The system of claim 52, wherein at least one of the plurality of groups includes cells of different cell types. 前記マーカー発現シグネチャを使用して前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化することが、grouping the at least some of the cells into the plurality of groups using the marker expression signature;
前記マーカー発現シグネチャを解析して、前記少なくともいくつかの細胞の間の関係を決定するステップと、analyzing the marker expression signature to determine a relationship between the at least some cells;
前記複数の群内の各細胞が細胞群内の細胞の間の関係を示す特徴値を有するように、決定された関係に基づき前記複数の群を決定するステップとdetermining the plurality of groups based on the determined relationships, such that each cell in the plurality of groups has a feature value indicating a relationship between cells in the cell group;
を含む、請求項５２に記載のシステム。53. The system of claim 52, comprising: 前記命令が、前記少なくとも1つのコンピュータハードウェアプロセッサに、The instructions cause the at least one computer hardware processor to
前記少なくともいくつかの細胞のうちの第1の細胞について、第1のマーカー発現シグネチャを決定するステップであって、determining a first marker expression signature for a first cell of the at least some cells, comprising:
前記複数のチャネルにおける前記第1の細胞のそれぞれの位置に関連付けられているピクセル値を使用するステップは、前記複数のチャネルの各々について、using pixel values associated with respective positions of the first cell in the plurality of channels, for each of the plurality of channels;
前記チャネルにおける前記第1の細胞の前記配置を使用して前記第1の細胞に対するピクセルのセットを識別することと、identifying a set of pixels for the first cell using the placement of the first cell in the channel;
ピクセルの前記セット内の前記ピクセルの前記値の平均ピクセル強度を決定することにより、ピクセルの前記セット内のピクセルの値に基づき、前記チャネルに関連付けられている少なくとも1つのマーカーが第1の細胞に対して発現している尤度を決定すること、とを含む、決定するステップとを、実行させる、請求項５２に記載のシステム。at least one marker associated with said channel is assigned to a first cell based on the values of pixels within said set of pixels by determining an average pixel intensity of said values of said pixels within said set of pixels. 53. The system of claim 52, comprising: determining a likelihood expressed for the . プロセッサ実行可能命令を記憶する少なくとも1つの非一時的コンピュータ可読記憶媒体であって、前記プロセッサ実行可能命令は、前記少なくとも1つのコンピュータハードウェアプロセッサによって実行されたときに、前記少なくとも1つのコンピュータハードウェアプロセッサに、at least one non-transitory computer-readable storage medium storing processor-executable instructions, the processor-executable instructions, when executed by the at least one computer hardware processor; to the processor,
組織試料の少なくとも1つの多重免疫蛍光(MxIF)画像であって、複数のマーカーにおけるそれぞれのマーカーに関連付けられている複数のチャネルを含む、少なくとも1つのMxIF画像を取得するステップと、acquiring at least one multiplex immunofluorescence (MxIF) image of the tissue sample, the image comprising a plurality of channels associated with each marker in the plurality of markers;
機械学習技術を使用して、前記少なくとも1つのMxIF画像内の細胞の配置を示す情報を取得するステップと、using machine learning techniques to obtain information indicative of the arrangement of cells within the at least one MxIF image;
前記少なくとも1つのMxIF画像内の細胞の複数の群を、少なくとも一部には、a plurality of groups of cells within said at least one MxIF image, at least in part;
前記少なくとも1つのMxIF画像と前記少なくとも1つのMxIF画像内の細胞の配置を示す前記情報とを使用して前記細胞のうちの少なくともいくつかの細胞に対するピクセル値を識別し、identifying pixel values for at least some of the cells using the at least one MxIF image and the information indicating placement of cells within the at least one MxIF image;
ニューラルネットワークを使用して、識別されたピクセル値を少なくとも一部使用することにより、前記少なくともいくつかの細胞についてのマーカー発現シグネチャであって、特定の細胞についての各マーカー発現シグネチャが前記複数のマーカーのうちの1つまたは複数のマーカーの各特定のマーカーについて、前記特定のマーカーが前記特定の細胞において発現しているニューラルネットワークによって出力されたそれぞれの尤度を含む、マーカー発現シグネチャを決定し、Using a neural network, at least in part using the identified pixel values, a marker expression signature for the at least some cells, each marker expression signature for a particular cell being a marker expression signature for the plurality of markers. determining, for each particular marker of one or more of the markers, a marker expression signature comprising a respective likelihood output by a neural network that said particular marker is expressed in said particular cell;
前記マーカー発現シグネチャを使用して前記細胞のうちの前記少なくともいくつかの細胞を前記複数の群にグループ化することであって、前記複数のマーカーのうちの1つまたは複数のマーカーの各特定のマーカーについて、前記ニューラルネットワークによる前記それぞれの尤度の出力を用いることにより実施される、グループ化するgrouping the at least some of the cells into the plurality of groups using the marker expression signature, the grouping of each specific one or more of the plurality of markers; grouping the markers, performed by using the respective likelihood outputs by the neural network;
ことによって識別するステップと、a step of identifying by;
前記複数の群を使用して前記組織試料の少なくとも1つの特性を決定するステップとdetermining at least one property of the tissue sample using the plurality of groups;
を、実行させる、非一時的コンピュータ可読記憶媒体。a non-transitory computer-readable storage medium for executing. 少なくとも1つのハードウェアプロセッサを使用して以下のステップを実行すること、を含む、少なくとも１つのコンピュータによって実行される方法：A method performed by at least one computer, comprising using at least one hardware processor to perform the following steps:
同一組織試料の少なくとも1つの多重免疫蛍光(MxIF)画像であって、複数のマーカーにおけるそれぞれのマーカーに関連付けられている複数のチャネルを含む、少なくとも1つのMxIF画像を取得するステップ；acquiring at least one multiplex immunofluorescence (MxIF) image of the same tissue sample, the image comprising a plurality of channels associated with each marker in the plurality of markers;
U-Netアーキテクチャまたは領域ベースの畳み込みニューラルネットワークアーキテクチャを使用して実装されるニューラルネットワークであって、少なくとも100万個のパラメータを含むニューラルネットワークを使用して、前記少なくとも1つのMxIF画像内の細胞の配置を示す情報を取得するステップ；a neural network implemented using a U-Net architecture or a region-based convolutional neural network architecture, the neural network comprising at least one million parameters to detect cells in said at least one MxIF image; obtaining information indicating placement;
前記少なくとも1つのMxIF画像内の細胞の複数の群を、少なくとも一部には、a plurality of groups of cells within said at least one MxIF image, at least in part;
前記少なくとも1つのMxIF画像と前記少なくとも1つのMxIF画像内の細胞の配置を示す前記情報とを使用して前記細胞のうちの少なくともいくつかの細胞に対するピクセル強度値を識別し、identifying pixel intensity values for at least some of the cells using the at least one MxIF image and the information indicating placement of cells within the at least one MxIF image;
少なくとも一部には、前記ニューラルネットワークと異なるグラフニューラルネットワークを使用してクラスタリングすることにより、前記細胞のうちの前記少なくともいくつかの細胞をグループ化するステップ；ここで、前記細胞の配置を示す情報が、少なくともいくつかの細胞の細胞境界を示す情報を含み、前記クラスタリングが、grouping the at least some of the cells by clustering, at least in part, using a graph neural network different from the neural network; wherein information indicative of the arrangement of the cells; includes information indicating cell boundaries of at least some cells, and the clustering comprises:
前記少なくともいくつかの細胞のうちの各特定の細胞について、少なくともいくつかの細胞の細胞境界を示す情報を使用して、前記特定の細胞の境界内のピクセルを識別するステップと for each particular cell of the at least some cells, identifying pixels within the boundaries of the particular cell using information indicative of cell boundaries of the at least some cells;
前記特定の細胞の境界内の識別されたピクセルに対する、識別されたピクセル強度値を使用して、少なくとも1つの特徴値を計算するステップとcalculating at least one feature value using the identified pixel intensity values for the identified pixels within the boundaries of the particular cell;
により、前記細胞のうちの前記少なくともいくつかの細胞をグループ化することを含む；grouping the at least some of the cells by;
前記複数の群を使用して前記組織試料の少なくとも1つの特性を決定するステップであって、前記組織試料中の細胞種類に関する情報を決定すること、及び／又は前記細胞種類の空間分布を決定することを含む、前記組織試料の少なくとも1つの特性を決定するステップ。determining at least one property of the tissue sample using the plurality of groups, the step of determining information regarding cell types in the tissue sample and/or determining the spatial distribution of the cell types; determining at least one property of the tissue sample. 前記尤度が０より大きく１より小さい値をとる、請求項３２に記載の方法。33. The method of claim 32, wherein the likelihood takes a value greater than zero and less than one. 前記クラスタリングが、階層的クラスタリング、密度ベースのクラスタリング、k-meansクラスタリング、自己組織化マップクラスタリング、または最小スパニング木クラスタリングを実行するステップを含む、請求項６０に記載の方法。 61. The method of claim 60, wherein the clustering includes performing hierarchical clustering, density-based clustering, k-means clustering, self-organizing map clustering, or minimum spanning tree clustering.
JP2022553148A 2020-03-06 2021-03-06 Determination of tissue characteristics using multiplexed immunofluorescence imaging Pending JP2023517309A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062986010P 2020-03-06 2020-03-06
US62/986,010 2020-03-06
PCT/US2021/021265 WO2021178938A1 (en) 2020-03-06 2021-03-06 Determining tissue characteristics using multiplexed immunofluorescence imaging

Publications (2)

Publication Number Publication Date
JP2023517309A JP2023517309A (en) 2023-04-25
JPWO2021178938A5 true JPWO2021178938A5 (en) 2024-03-15

Family

ID=75340246

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022553148A Pending JP2023517309A (en) 2020-03-06 2021-03-06 Determination of tissue characteristics using multiplexed immunofluorescence imaging

Country Status (7)

Country Link
US (3) US11250568B2 (en)
EP (1) EP4115324A1 (en)
JP (1) JP2023517309A (en)
AU (1) AU2021231904A1 (en)
CA (1) CA3172827A1 (en)
IL (1) IL295881A (en)
WO (1) WO2021178938A1 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023517309A (en) 2020-03-06 2023-04-25 ボストンジーン コーポレイション Determination of tissue characteristics using multiplexed immunofluorescence imaging
JP7071037B2 (en) * 2020-04-28 2022-05-18 ゼネラル・エレクトリック・カンパニイ Inference devices, medical systems, and programs
WO2022173828A1 (en) * 2021-02-09 2022-08-18 The Board Of Trustees Of The Leland Stanford Junior University Identification of cell types in multiplexed in situ images by combining expression profiling and spatial information
US11636663B2 (en) * 2021-02-19 2023-04-25 Microsoft Technology Licensing, Llc Localizing relevant objects in multi-object images
US20230141734A1 (en) * 2021-11-05 2023-05-11 Adobe Inc. Digital image inpainting utilizing plane panoptic segmentation and plane grouping
CN115019142B (en) * 2022-06-14 2024-03-29 辽宁工业大学 Image title generation method and system based on fusion characteristics and electronic equipment
WO2024100670A1 (en) * 2022-11-10 2024-05-16 Nucleai Ltd. System and method for multiplex imaging cell typing and phenotypic marker quantification

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916359B (en) * 2005-01-27 2012-06-20 剑桥研究和仪器设备股份有限公司 Methods and apparatus for classifying different parts of a sample into respective classes
US9779213B2 (en) * 2008-07-25 2017-10-03 Fundacao D. Anna Sommer Champalimaud E Dr. Carlos Montez Champalimaud System for evaluating a pathological stage of prostate cancer
US20110091081A1 (en) 2009-10-16 2011-04-21 General Electric Company Method and system for analyzing the expression of biomarkers in cells in situ in their tissue of origin
US8320655B2 (en) * 2009-10-16 2012-11-27 General Electric Company Process and system for analyzing the expression of biomarkers in cells
US20120010528A1 (en) * 2010-04-26 2012-01-12 Aureon Biosciences, Inc. Systems and methods for predicting disease progression in patients treated with radiotherapy
KR20150132500A (en) * 2013-03-15 2015-11-25 메타마크 제네틱스, 인크. Compositions and methods for cancer prognosis
US9064304B2 (en) * 2013-03-18 2015-06-23 General Electric Company Image quality assessment of microscopy images
JP6629762B2 (en) * 2014-05-23 2020-01-15 ベンタナ メディカル システムズ， インコーポレイテッド Systems and methods for detection of biological structures and / or patterns in images
AU2015373423A1 (en) 2014-12-30 2017-05-18 Ventana Medical Systems, Inc. Systems and methods for co-expression analysis in immunoscore computation
US9984199B2 (en) * 2015-05-21 2018-05-29 Ge Healthcare Bio-Sciences Corp. Method and system for classification and quantitative analysis of cell types in microscopy images
US9607375B2 (en) * 2015-06-03 2017-03-28 Eileen B. Gallagher Biological data annotation and visualization
EP3664705A4 (en) 2017-08-09 2021-09-29 Allen Institute Systems, devices, and methods for image processing to generate an image having predictive tagging
CN111448584B (en) 2017-12-05 2023-09-26 文塔纳医疗系统公司 Method for calculating heterogeneity between tumor space and markers
US11756203B2 (en) * 2018-09-21 2023-09-12 The Johns Hopkins University Characterization platform for scalable, spatially-resolved multispectral analysis of tissue
CN110060245A (en) * 2019-04-15 2019-07-26 青岛大学 A kind of gastric cancer lymph node dyeing pathological image automatic identifying method based on deep neural network
US20200381121A1 (en) * 2019-05-29 2020-12-03 New York University System and method for tumor characterization
US20200388033A1 (en) * 2019-06-10 2020-12-10 Omics Data Automation, Inc. System and method for automatic labeling of pathology images
CN115989545A (en) 2019-06-12 2023-04-18 宽腾矽公司 Techniques for protein identification using machine learning and related systems and methods
US20200394459A1 (en) * 2019-06-17 2020-12-17 Nvidia Corporation Cell image synthesis using one or more neural networks
JP2023517309A (en) 2020-03-06 2023-04-25 ボストンジーン コーポレイション Determination of tissue characteristics using multiplexed immunofluorescence imaging

Similar Documents

Publication Publication Date Title
US10474874B2 (en) Applying pixelwise descriptors to a target image that are generated by segmenting objects in other images
JP6941123B2 (en) Cell annotation method and annotation system using adaptive additional learning
CN107977671B (en) Tongue picture classification method based on multitask convolutional neural network
US9740957B2 (en) Learning pixel visual context from object characteristics to generate rich semantic images
CN106340016B (en) A kind of DNA quantitative analysis method based on microcytoscope image
US11250568B2 (en) Techniques for determining tissue characteristics using multiplexed immunofluorescence imaging
CN108734108B (en) Crack tongue identification method based on SSD network
Pan et al. Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks
US20230148321A1 (en) Method for artificial intelligence (ai) model selection
US10679096B2 (en) System and method for plant leaf identification
CN110363228B (en) Noise label correction method
CN112037221B (en) Multi-domain co-adaptation training method for cervical cancer TCT slice positive cell detection model
CN113256634B (en) Cervical carcinoma TCT slice vagina arranging method and system based on deep learning
KR101886469B1 (en) Method for improving classification results of a classifier
KR102373985B1 (en) Classification method of prostate cancer using support vector machine
JPWO2021178938A5 (en)
Chiou Intelligent segmentation method for real-time defect inspection system
Nandy et al. Color image segmentation by cuckoo search
US20230252305A1 (en) Training a model to perform a task on medical data
Qaiser et al. Digital tumor-collagen proximity signature predicts survival in diffuse large B-cell lymphoma
Tafavogh et al. Segmenting neuroblastoma tumor images and splitting overlapping cells using shortest paths between cell contour convex regions
Fetisov et al. Unsupervised Prostate Cancer Histopathology Image Segmentation via Meta-Learning
Vannoorenberghe et al. A belief-based pixel labeling strategy for medical and satellite image segmentation
CN115797246A (en) Pathological image quality evaluation and adjustment method and system, electronic device and medium
Held et al. Enhancing automated micrograph‐based evaluation of LPS‐stimulated macrophage spreading