JP6650453B2 - 早期癌予知のための計算病理学システム及び方法 - Google Patents

早期癌予知のための計算病理学システム及び方法 Download PDF

Info

Publication number
JP6650453B2
JP6650453B2 JP2017529789A JP2017529789A JP6650453B2 JP 6650453 B2 JP6650453 B2 JP 6650453B2 JP 2017529789 A JP2017529789 A JP 2017529789A JP 2017529789 A JP2017529789 A JP 2017529789A JP 6650453 B2 JP6650453 B2 JP 6650453B2
Authority
JP
Japan
Prior art keywords
slide
image
tissue
score
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017529789A
Other languages
English (en)
Other versions
JP2018504674A (ja
Inventor
バーンズ,マイケル
チュッカ,スリニヴァス
ラフルール,ボニー
シュイ,チャーン
Original Assignee
ベンタナ メディカル システムズ, インコーポレイテッド
ベンタナ メディカル システムズ, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベンタナ メディカル システムズ, インコーポレイテッド, ベンタナ メディカル システムズ, インコーポレイテッド filed Critical ベンタナ メディカル システムズ, インコーポレイテッド
Publication of JP2018504674A publication Critical patent/JP2018504674A/ja
Application granted granted Critical
Publication of JP6650453B2 publication Critical patent/JP6650453B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53Immunoassay; Biospecific binding assay; Materials therefor
    • G01N33/574Immunoassay; Biospecific binding assay; Materials therefor for cancer
    • G01N33/57407Specifically defined cancers
    • G01N33/57415Specifically defined cancers of breast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7796Active pattern-learning, e.g. online learning of image or video features based on specific statistical tests
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2800/00Detection or diagnosis of diseases
    • G01N2800/52Predicting or monitoring the response to treatment, e.g. for selection of therapy based on assay results in personalised medicine; Prognosis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2800/00Detection or diagnosis of diseases
    • G01N2800/54Determining the risk of relapse
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Chemical & Material Sciences (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Analytical Chemistry (AREA)
  • Hospice & Palliative Care (AREA)
  • Biochemistry (AREA)
  • Biotechnology (AREA)
  • Cell Biology (AREA)
  • Medicinal Chemistry (AREA)
  • Oncology (AREA)
  • Food Science & Technology (AREA)
  • Microbiology (AREA)
  • Bioinformatics & Cheminformatics (AREA)

Description

本開示は、計算病理学(http://www.computational−pathology.org/参照)に関する。より詳しくは、本開示は、組織切片の組織病理に関する画像及び患者生存転帰データを用いて、早期患者の中の癌再発のリスクを予測することに関する。
生物試料、例えば組織切片、血液、細胞培養等は、1つ又は複数の染色で染色され、組織内のバイオマーカー発現を識別及び定量化し、その後、染色された標本を視認又は画像化することによって分析されてもよい。染色された標本を観察することは、追加の臨床情報と組み合わせて、疾患の診断、予知及び/又は治療に対する応答の予測評価を可能にし、疾患と闘うための新薬の開発を支援する。本願明細書において、ターゲット又はターゲット対象は、染色が識別する標本の特徴である。ターゲット又はターゲット対象は、タンパク質、タンパク質小片、核酸、又は、抗体、分子プローブ又は非特異的染色によって認識される他の関心対象でもよい。特別に認識されるターゲットは、本開示において、バイオマーカーと称されてもよい。いくつかの染色は、バイオマーカーを特別にターゲットにしない(例えば、組織内のすべての核を染色する対比染色ヘマトキシリン)。ヘマトキシリンは、そのターゲットに対する固定関係を有するが、大部分の免疫組織化学的バイオマーカーは、染色の選択によって識別可能である。特定のバイオマーカーは、アッセイの特定の必要に応じて、さまざまな染色を用いて視覚化可能である。
根治目的の手術及び/又は治療を受けている限局性(早期、除去可能)の乳癌患者は、局所又は遠隔癌再発の潜在的なリスクがあり、再発を経験する患者の死亡率は、増加する。リスクのサイズに応じて、異なる治療の選択肢が存在する。それゆえ、ローリスク又はハイリスクの癌再発を有する患者を確実に識別可能なアッセイが必要である。したがって、ハイリスクの患者とローリスクの患者とを確実に区別し、ヘルスケア提供者に患者の治療の選択肢を決定するときに考慮するための追加情報を提供することができる技術もまた必要である。
本発明は、計算病理学システムを提供し、独立請求項に記載されるように、デジタル病理学システムを用いて、癌生検組織サンプルをデジタル化し、次に、デジタル化された組織スライドを分析するための画像分析ワークフロー方法及び組織サンプル内の得られたバイオマーカー発現を患者生存転帰情報に関連させる統計分析方法を用いて、早期癌予知のような癌組織サンプルの予知及び予想評価のための予知モデルを構成及び臨床使用する。本発明の実施形態は、従属請求項において与えられる。
本開示は、予知モデルを構成し、患者の再発リスクを予測し、患者をハイリスク又はローリスクのグループに分類することによって、早期乳癌患者のための信頼性が高いリスク分類を提供するシステム及びコンピュータ実装方法を示す。リスク分類システムは、複数の患者から組織病理に関する(H&E及びIHC)組織スライドを含む訓練コホートを、前記患者のための生存転帰データとともに用いて訓練されてもよい。組織スライドは、特殊な染色プロトコルに従って処理され、明視野又は蛍光顕微鏡又は全スライドスキャナ上でデジタル化され、自動化された画像分析アルゴリズムを用いて分析され、組織スライド内の染色又はバイオマーカー発現を定量化してもよい。発現を定量化することは、複数のスライドスコアが組み合わせられ、リスク分類スコアを決定してもよい特定のスコアリングプロトコルを用いて、達成されてもよい。リスク分類システムは、比例ハザード回帰モジュールを含んでもよく、これを用いて、すべての組織スライドスコアからの情報を組み合わせるとともに、訓練コホートの患者のための生存転帰データに対して統計学的に相関する、患者のための全体的なスコアリングアルゴリズムを生成する。比例ハザード回帰モジュールは、コックス比例ハザードモデルを含んでもよい。カットオフポイントは、リスク分類スコア上で計算され、リスク分類スコアは、訓練患者サンプルの組を、彼らの間のカプランマイヤー生存確率推定曲線の間の分離を最大にすることによって、ローリスク及びハイリスクのグループに最適に分類することを含んでもよい。その後、同一の染色プロトコルを用いて処理され、デジタル化され、画像分析及び/又はスコアリングプロトコルに従って生成されるスコアによって追従される任意の単一の患者の組織スライドは、組み合わせられ、訓練プロセス中に生成されるリスク分類スコアリングアルゴリズムを用いて分析され、生成されたカットオフポイントを用いて分類され、単一の患者のための生存確率及び/又は予知を予測してもよい。
一例示的実施形態では、本開示は、早期癌予知のための画像分析システム及びコンピュータ実装方法を含む。連続切片の組織スライドのデジタル化された全スライド画像は、シンプレックス又はマルチプレックスの方法論を利用して、所望の一組の組織病理に関するアッセイ(H&E、IHC)によって染色され、組織内の腫瘍及び免疫マーカー発現を評価する。この種の染色方法は、例えば、(1)第1の組織スライド(例、H&Eスライド又はKi67スライド)又は(H&E及びKi−67のような)選択された、いくつかのスライドのサブセットのデジタル化画像上の注釈がつけられた1つ又は複数の領域(全スライド上のすべての腫瘍領域、特定の「マーカーホットスポット」すなわち、特定のマーカーが過剰発現する腫瘍小領域、組織微環境からの免疫特定領域、腫瘍領域と隣接する間質領域)を、複数の組織スライドの各々のデジタル化画像にマッピングするステップであって、複数の組織スライドは、組織塊からの連続切片に対応するステップと、(2)各組織スライド上の1つ又は複数の腫瘍マーカー又は免疫マーカーの発現を定量化するために、マーカーに特有の画像分析アルゴリズムを用いてスコアリングすることによって、複数の組織スライドのための全スライドスコアを計算するステップであって、計算されたマーカー発現は、一般的に用いられる全スライドスコア測定基準(マーカー陽性百分率、H−スコア、特定の細胞タイプの絶対的又は相対的な計数又は密度等)に関して定量化されるステップと、(3)数式を用いて、及び、予知モデルによって定まるような一組の組み合わせ係数を用いて、全スライドスコアを組み合わせることによって、リスク分類スコアを計算するステップと、を含んでもよく、患者は、リスク分類スコアのカットオフポイントに基づいて、ロー再発リスク又はハイ再発リスクのグループに分類されてもよい。
他の例示的実施形態において、本開示は、早期癌予知のシステムを備える。システムは、プロセッサと、プロセッサに結合されるメモリと、を含み、メモリは、コンピュータ可読命令を格納するように構成され、コンピュータ可読命令は、プロセッサによって実行されるとき、プロセッサに、H&E組織スライド上の一組の全腫瘍領域を生成するステップであって、全腫瘍領域は、注釈ツールを用いて、全スライド画像評価システム内のデジタル化された全スライド上で、病理学者によって手動で注釈がつけられてもよいし、又は、全腫瘍領域を自動的に検出及び識別するために、画像分析アルゴリズムを用いて生成されてもよいステップと、複数の隣接組織スライドの各々によって、H&Eスライド上の注釈がつけられた全腫瘍領域をレジストレーションするステップと、注釈をそれらの各々にマッピングするステップと、画像分析アルゴリズムを分析に用いて、複数の隣接IHC組織スライドの各々上のマーカー発現のための全スライドスコア、例えば陽性百分率、H−スコア、総細胞計数を生成するステップと、一組の係数を有する数式を用いて、IHCスライドから全スライドスコアを組み合わせることによってリスク分類スコアを生成するステップであって、係数値は、コックス比例ハザード回帰モデルを用いて、複数の患者のための生存データに対する、リスク分類スコアの統計的フィッティング(fit)に基づいて決定され、予知モデルを構成するステップと、導出された予知モデルを単一の患者に関連付けられた試験用連続画像に適用するステップであって、試験用連続画像もまた、全腫瘍ワークフローによって注釈がつけられるステップと、を含む動作を実行させる。
さらに他の例示的実施形態において、本開示は、動作を実行するためにプロセッサによって実行されるコンピュータ可読のコードを格納する有形の非一時的コンピュータ可読媒体を備える。システムは、プロセッサと、プロセッサに結合されるメモリと、を含み、メモリは、コンピュータ可読命令を格納するように構成され、コンピュータ可読命令は、プロセッサによって実行されるときに、プロセッサに、Ki67組織スライド上の一組の「ホットスポット」領域を生成するステップであって、ホットスポットは、高いKi67マーカー発現を有する侵襲性かつ浸潤性の腫瘍領域及びスライド内の腫瘍領域のマーカー発現の空間可変性を反映し、「ホットスポット」は、注釈ツールを用いて、全スライド画像評価システム内のデジタル化された全部のスライド上で、病理学者によって手動で注釈がつけられることもできるし、又は、Ki67で染色された腫瘍細胞及び過剰発現領域を検出するために、画像分析アルゴリズムによって自動的に生成されることもできるステップと、Ki67組織スライド上で注釈がつけられたこれらのホットスポットを、複数の隣接組織スライドの各々によってレジストレーションし、注釈がつけられた領域をマッピングするステップと、一組の係数を有する数式を用いて、複数の全スライドスコアから全スライドスコアを組み合わせることによって、リスク分類スコアを生成するステップであって、係数値は、注釈及びワークフローのタイプに特有であり、複数の訓練患者のためのコックス比例ハザードモデルを用いて、生存データに対するリスク分類スコアの統計的フィッティングを含む動作に基づいて決定され、予知モデルを構成するステップと、予知モデルを単一の患者に関連付けられた試験用連続画像に適用するステップであって、試験用連続画像もまた、Ki−67ホットスポットワークフローによって注釈がつけられるステップと、を含む動作を実行させる。
本願明細書において理解される「組織サンプル」は、組織領域から得られる任意の生物サンプルであり、例えば解剖病理学のための人間又は動物の体から得られる外科生物標本である。組織サンプルは、前立腺の組織サンプル、胸部組織サンプル、結腸組織サンプル又は他の器官又は体の部位から得られる組織サンプルでもよい。
本願明細書において理解される「マルチチャネル画像」は、異なる生物学的構造、例えば核及び組織構造が特定の蛍光色素によって同時に染色される生物組織サンプルから得られるデジタル画像を含み、特定の蛍光色素の各々は、マルチチャネル画像のチャネルの1つを構成する異なるスペクトル帯において蛍光を発する。生物組織サンプルは、複数の染色によって及び/又は染色及び対比染色によって染色されてもよく、後者は、「単一マーカー画像」とも称される。
本願明細書において理解される「分解画像(unmixed image)」は、グレー値又はマルチチャネル画像の1つのチャネルのために得られたスカラー画像を含む。マルチチャネル画像を分解することによって、チャネル当たり1つの分解画像が得られる。
本願明細書において理解される「カラーチャネル」は、画像センサのチャネルである。例えば、画像センサは、3つのカラーチャネル、例えば赤(R)、緑(G)及び青(B)を有することができる。
本願明細書において理解される「ホットスポット」は、高強度値、及び/又は、高い腫瘍成長率の信号を送る強度値の高い変化を有する染色画像内の領域である。例えば、Ki−67ホットスポット検出は、以下の従来技術から公知である。J Microsc.、2014年12月;256(3):213−25、doi:10.1111/jmi.12176.Epub 2014年9月16日「Perceptual clustering for automatic hotspot detection from Ki−67−stained neuroendocrine tumour images(Ki−67で染色した神経内分泌腫瘍画像からの自動ホットスポット検出のための知覚的クラスタリング)」(http://www.ncbi.nlm.nih.gov/pubmed/25228134)及び「Hot spot detection for breast cancer in Ki−67 stained slides:image dependent filtering approach(Ki−67で染色したスライド内の乳癌のためのホットスポット検出:画像依存のフィルタリングアプローチ)」著者:M. Khalid Khan Niazi、Erinn Downs−Kelly、Metin N. Gurcan(http://spie.org/Publications/Proceedings/Paper/10.1117/12.2045586)参照。
本願明細書において理解される「視野(FOV)」は、所定サイズ及び形状、例えば矩形又は円形形状を有する画像部分を含む。本発明の実施形態に従って、癌生検組織サンプルの組織領域は、隣接組織スライドにスライスされ、それぞれの組織スライドに結果としてなる。
組織スライスは、それぞれの生物学的特徴の識別のために単一又は複数の染色によってマークされてもよい。デジタル画像は、マークされた組織スライスの各々から、多数のカラーチャネルを有する画像センサ、例えばRGB画像センサによって取得される。
本発明の実施形態は、画像内の腫瘍又はホットスポット領域にスコアリングを限定するために特に有利である。この方法では、補助化学療法剤の投与が、所定の患者の癌再発の防止のために必要か否かを予測可能にする統計モデルから、驚くほど信頼性が高い結果が得られる。結果として、統計モデルがローリスクの癌再発を予測する場合、これらの患者のために化学療法剤の不必要な投与が回避できるので、本発明の実施形態は、癌患者の治療における重要な進展を提供する。
マーカー間画像レジストレーションアルゴリズムは、取得された複数のデジタル画像に関して実行されてもよい。従来技術から公知であるさまざまな適切な画像レジストレーションアルゴリズムを用いて、画像レジストレーションを実行することができる(https://en.wikipedia.org/wiki/lmage registration and http://tango.andrew.cmu.edu/〜gustavor/42431−intro−bioimaging/readings/ch8.pdf参照)。特に、アフィン又は変形可能な変換は、画像レジストレーションを実行するために利用可能である。
画像レジストレーションアルゴリズムは、画像の対応点を整列する幾何学的変換を生成する。幾何学的変換は、マッピングの形で提供可能であり、各マッピングは、複数の画像の1つの画像の点を、複数の画像の他の画像の対応する点にマッピングする。
画像は、画像レジストレーションに従って整列される。換言すれば、画像レジストレーションアルゴリズムによって生成される幾何学的変換は、画像を整列するために画像に適用され、例えば整列された画像を二次元平面のディスプレイ上に表示する。
本発明の実施形態に従って、組織スライスの少なくとも1つは、マルチチャネル画像の取得のために複数の染色によってマークされる。マルチチャネル画像は、分解され、一組の分解画像を提供する。分解画像は、それらがすべて、光学センサによって組織スライスの1つから取得される同一のデータセットに基づくので、各々に対して又はマルチチャネル画像に対してレジストレーションされる必要はない。マルチチャネル画像は、一組の分解画像を除いて、複数の画像に対して画像レジストレーションアルゴリズムを実行するための基準画像として選択される。これは、分解画像を除いて、複数の画像のそれぞれの基準画像に対するマッピングを提供する。
画像レジストレーションのための基準画像としてマルチチャネル画像を用いることは有利である。なぜなら、画像レジストレーション及び整列は、分解画像のために不要であるので、画像レジストレーション及び画像の整列を実行するための計算コストを低減するからである。
ホルモン陽性の早期乳癌患者の予知は、経過観察についてのより確かな情報に基づく選択、例えば補助化学療法剤の追加を行う機会を提供する。伝統的に、病理学者は、従来のステージング、腫瘍増殖指数及びH&Eスライドから手動でスコアリングされる形態学的な特徴の小さい組(腺形成、核階級及び有糸分裂)を用いて、これらの癌を予測してきた。
驚くべきことに、本発明の実施形態は、例えばホルモン治療のみで十分であり、化学療法剤及びその有害な副作用が回避できるように、所定の患者がローリスクグループに属するか否かを予測することを可能にする。
従来技術では、乳癌患者の約15%がホルモン治療に反応しないため、補助化学療法剤は、ホルモン治療に加えて乳癌患者に常に投与される、ということに留意されたい。患者がローリスク又はハイリスクのグループに属するかを確実に予測する方法が従来技術には存在しないため、化学療法剤は、常に補助療法として与えられる。それゆえ、本発明の実施形態は、化学療法剤の投与が大多数の患者のために回避できるように、化学療法剤を実際に必要とする患者を識別することを可能にするので、本発明は、癌患者によって経験される不必要な困難を著しく低減する。
本開示の例示的実施形態に従う早期の予知のためのシステムを示す。 本開示の例示的実施形態に従う、注釈がつけられかつレジストレーションされたスライド連続のための異なる視野を示す。 本開示の例示的実施形態に従う、注釈がつけられかつレジストレーションされたスライド連続のための異なる視野を示す。 本開示の例示的実施形態に従う早期の予知システムを訓練する方法を示す。 本開示の例示的実施形態に従う早期の予知のための方法を示す。 図5Aは、例示的な生存曲線を示す。図5Bは、例示的な生存曲線を示す。 本発明の実施形態に従って、統計モデルの生成を示す図である。 本発明の実施形態に従って、患者から得られる癌生検組織サンプルを分析するデジタル病理学的に使用可能な方法を示す図である。
本開示は、患者の再発リスクを予測し、患者をハイリスク又はローリスクのグループに分類するために予知モデルを提供することによって早期乳癌患者のための信頼性が高いリスク分類を提供するシステム及びコンピュータ実装方法を示す。リスク分類システムは、複数の患者からの組織スライドを、前記患者のための生存データとともに含む訓練データを用いて訓練されてもよい。組織スライドは、患者の診断時間を表してもよい。組織スライドは、特殊な染色プロトコルに従って処理されてもよく、染色又はバイオマーカーは、特殊なスコアリングプロトコルを用いてスコアリングされてもよい。例えば、各患者に対応して、H&E及び複数のIHC腫瘍及び免疫マーカー(例えば腫瘍マーカーER、PR、Ki67、HER2等及び/又は免疫マーカー、例えばCD3、CD8、CD4等)によって染色される癌組織塊の連続切片からの連続の組織病理に関するシンプレックス及び/又はマルチプレックスの組織スライドは、例えば、全スライドスキャナ又はデジタル顕微鏡上で、デジタル病理学スキャニングシステムを用いてデジタル化される。
IHC画像分析の部分として、腫瘍マーカーIHC組織スライドの各々内の腫瘍状領域は、自動的に分析され、関連するマーカーに特有の画像分析アルゴリズムを用いてスコアリングされ、各マーカーのためのスコア(陽性百分率、H−スコア等を表す)を計算する。スライドスコアを生成するために注釈がつけられた腫瘍領域は、全腫瘍領域でもよいし、又は、デジタルスライド上の指定された組の領域でもよい。これらの領域は、デジタルスライド評価ソフトウェアアプリケーションを用いて、資格のある読者によって手動で注釈がつけられる、又は、自動的に生成可能である。
リスク分類システムは、すべての分析された全スライドの選択されたサブセットからの個々の全スライドスコアを組み合わせるために用いられ、特定のリスク分類スコアリングアルゴリズムを生成するための比例ハザード回帰モジュールを含んでもよい。例示的なリスク分類アルゴリズムは、IHC3、IHC4、IHCn等を含んでもよい。IHC3のために、ER、PR及びKi67スライドからのスコアのみが用いられる。IHC4のために、ER、PR、Ki67及びHER2スライドからのスライドスコアが用いられる。一般的に、IHCnは、nスライドからの核を用いることを意味する。しかしながら、リスク分類アルゴリズムを導出する全体的なワークフロー及び方法は、同一である。比例ハザード回帰モジュールは、生存データにフィッティングされ、リスクスコアリングアルゴリズム、例えばIHC3スコアを生成するコックス比例ハザードモデルを含んでもよい。組織スライド及び関連する転帰情報(例えば再発のない生存、全生存等)を備える再発する患者及び再発しない患者のデータを、これらのデータセットのために計算される関連したスライドレベルスコアとともに与えられると、比例ハザード回帰モデルは、全患者集団の生存データにフィッティングされ、フィッティングされた予知モデル評価に定められる最適カットオフポイントが生成され、患者集団をローリスク又はハイリスクのグループに分類するために用いられる。
その後、同一の染色プロトコル及び/又は画像分析方法及びスコアリングプロトコルを用いて処理される任意の単一の患者の組織スライドは、訓練プロセス中に生成されるリスクスコアリングアルゴリズムを用いて分析され、生成されたカットオフポイントを用いて分類され、単一の患者のための生存確率及び/又は予知を決定してもよい。患者組織に対応する同一組の組織病理に関するスライドは、分析のために用いられる。訓練データセットと同様に、同一組の画像分析アルゴリズム及びツールを用いて、スライドレベルスコアの必要な組を患者の個々のマーカー組織スライドから分析及び出力し、リスク分類スコアを計算する。これらのスコアは、予知モデルに入力され、再発のリスクを予測し、患者をローリスク又はハイリスクの再発グループに分類する。
図1は、本開示の例示的実施形態に従う早期の予知のためのシステムを示す。システム100は、メモリ110を備え、メモリ110は、コンピュータ101に結合されるプロセッサ105によって実行される複数の処理モジュール又は論理命令を格納する。プロセッサ105及びメモリ110の他に、コンピュータ101は、ユーザ入出力装置、例えばキーボード、マウス、スタイラス及びディスプレイ/タッチスクリーンもまた含む。以下の議論において説明するように、プロセッサ105は、メモリ110に格納される論理命令を実行し、画像分析及び他の定量的動作を実行し、ユーザが操作するコンピュータ101に、又は、ネットワークを介して結果を出力する。
例えば、入力データ102は、1つ又は複数の走査されたIHCスライドからメモリ110まで画像データを入力するための手段を提供してもよい。画像データは、カラーチャネル又はカラー波長チャネルに関連したデータと、染色及び/又は画像化プロセスに関する詳細と、を含んでもよい。例えば、組織切片は、明視野画像化のための発色染色又は蛍光画像化のためのフルオロフォアに関連付けられた1つ又は複数の異なるバイオマーカーを含む染色アッセイの適用による染色を必要としてもよい。染色アッセイは、明視野画像化のための発色染色、有機フルオロフォア、量子ドット又は有機フルオロフォアを、蛍光画像化のための量子ドット、又は、染色、バイオマーカー及び視認装置又は画像化装置の他の任意の組み合わせとともに用いることができる。例示的なバイオマーカーは、エストロゲン受容体(ER)、ヒト上皮成長因子受容体2(HER2)、Ki−67及びプロゲステロン受容体(PR)のためのバイオマーカーを含み、組織切片は、ER、HER2、Ki−67及びPRの各々のための抗体について検出できるように標識される。本開示のいくつかの実施形態において、スコアリング、コックスモデリング及びリスク分類の動作は、用いられるバイオマーカーのタイプ及び視野(FOV)選択及び注釈に依存する。したがって、他の任意のバイオマーカー組織スライドは、(免疫マーカー又はいくつかの他の追加のマーカーのように)スライド画像分析及び特定のマーカーに特有のスコアリングをトリガし、コックスモデルフィッティングプロセスにおけるそれらのスコアを含む。
画像データが受け取られると、連続組織切片を備えるスライドに対応する連続画像内の画像は、端末101上のユーザインターフェースに、又は、リモートで表示されてもよい。例えば、ユーザインターフェースは、他のモジュールによるさらなる分析のためにIHC画像の領域の選択を可能にする視野(FOV)選択モジュール111によって提供されてもよい。端末を操作する病理学者は、ユーザインターフェースを用いてFOVを選択してもよい。いくつかのFOV選択メカニズム、例えば、既知又は不規則な形状を指定すること、又は、解剖的な関心領域(例えば、腫瘍領域)を定めることが提供されてもよい。一例において、視野は、H&E染色の組み合わせによって染色されるIHC画像上で選択される全腫瘍領域である。FOV選択は、病理学者によって、又は、自動化された画像分析アルゴリズム、例えばH&E組織スライド上の腫瘍領域のセグメンテーション(segmentation)等によって実行されてもよい。例えば、ユーザは、全スライド又は全腫瘍としてのFOVを選択してもよいし、又は、全スライド又は全腫瘍領域が自動的にFOVとして指定されてもよい。本願明細書において後述するように、FOV選択は、どの注釈、スコアリング、モデリング及び分類方法が用いられるのかを決定する。
注釈及びレジストレーションモジュール112は、第1のスライド上のFOVに注釈をつけ、スライドの残り全体の注釈をマッピングする。本願明細書において記載されるように、所定のFOVに応じて、注釈及びレジストレーションのためのいくつかの方法が可能である。例えば、複数の連続スライドの中からヘマトキシリン・エオシン(H&E)スライド上の注釈がつけられた全腫瘍領域は、自動的に、又は、病理学者によって、VIRTUOSO/VERSO(商標)等のようなインターフェース上で選択されてもよい。他の組織スライドが同一の組織塊からの連続切片に対応するので、注釈及びレジストレーションモジュール112は、マーカー間レジストレーション動作を実行し、全腫瘍注釈を、H&Eスライドから残りの連続のIHCスライドの各々へマッピング及び移動する。マーカー間レジストレーションのための例示的な方法は、同一出願人による同時係属出願の2014年3月12日に出願されたWO2014140070A2「Whole slide image registration and cross−image annotation devices, systems and methods(ホールスライド画像レジストレーション及び画像間注釈デバイス、システム、並びに方法)」により詳細に記載され、その内容は、参照によって本願明細書に完全に組み込まれる。いくつかの実施形態では、画像レジストレーション及び全腫瘍注釈の生成のための他の任意の方法が用いられてもよい。例えば、病理学者のような資格のある読者は、他の任意のIHCスライド上の全腫瘍領域に注釈をつけてもよく、レジストレーションモジュール112を実行し、他のデジタル化されたスライド上の全腫瘍注釈をマッピングしてもよい。例えば、病理学者(又は自動の検出アルゴリズム)は、すべての隣接する連続切片のIHCスライドの分析をトリガするH&Eスライド上の全腫瘍領域に注釈をつけ、すべてのスライド上の注釈がつけられた領域に対して、全スライド腫瘍スコアを決定してもよい。
FOV選択111及びレジストレーション112のための代替の手段は、Ki67のデジタル化された全スライド上の代表的な領域又は「ホットスポット」を検出又は指定することを備える。比較的高く、異質な量のKi67タンパク質を含む全スライドの特定領域は、例えば、矩形又は他の任意の形状で選択されてもよい。FOV選択モジュール111は、手動による選択を可能にしてもよいし、又は、自動化された画像分析アルゴリズムは、Ki67スライド上のこの種の領域を強調してもよい。マーカー間レジストレーション動作を用いて、これらの「ホットスポット」を他のIHCスライド上の等価な注釈がつけられた領域にマッピングしてもよい。
例えば、他のスライドは、H&E、ER、PR及び/又はHER2組織スライドを含んでもよい。ヒートマップは、第1のスライド、例えばKi67スライド上の注釈を与えられて生成されてもよく、局所的に支配的であるヒートマップ内の領域は、おそらく、病理学者のような資格のある読者が重要であると考えるホットスポットであるとみなされてもよい。視覚的に、ヒートマップは、関心対象のスコアリング測定基準のハイレベルの概要を示す。例えば、Ki67スライドのヒートマップは、腫瘍領域内の陽性百分率を表し、隣接IHCスライドにレジストレーションされるFOVを生成するために用いられる。全腫瘍に注釈がつけられるか又は「ホットスポット」のみに注釈がつけられるかのいずれの場合でも、倍率が連続全体に一定のままであると仮定すると、残りのスライド上の対応する領域は、類似の組織タイプに必然的に、又は、おそらく対応する。さらに本願明細書においてさらに記載されるように、変化する視野は、各スライドのために、及び、全スライドスコアのために、例えばIHC3、IHC4又はIHCnのために、異なるスコアに結果としてなる。ホットスポット検出の例示的な方法は、2015年5月29日に出願された「An Image Processing Method and System for Analyzing a Multi−Channel Image Obtained From a Biological Tissue Sample Being Stained By Multiple Stains(複数の染色によって染色される生物組織サンプルから得られるマルチチャネル画像を分析するための画像処理方法及びシステム)」という名称のPCT/EP2015/062015に記載され、その内容は、参照によって本願明細書に完全に組み込まれる。
画像分析アルゴリズムを用いて、視野内に、核、細胞壁、腫瘍細胞又は他の構造の1つ又は複数の存在を決定してもよい。各視野のための特定の核の染色強度値及び計数を用いて、陽性百分率、H−スコア又は局所異質性を決定してもよい。このデータを用いて、スライドスコア生成モジュール113によって各スライドのためのスコアを決定する。例えば、自動化された画像分析アルゴリズムは、連続のIHCスライドの各々を解釈し、特定のバイオマーカー、例えばKi67、ER、PR、HER2等のために陽性及び陰性に染色される腫瘍核を検出する。検出された陽性及び陰性の腫瘍核に基づき、さまざまなスライドレベルスコア、例えばマーカー陽性百分率、H−スコア、局所異質性等は、複数の方法の1つ又は複数を用いて計算されてもよい。例示的実施形態において、組織スライドの自動化分析は、出願人VENTANAのFDA認証された510(k)の承認アルゴリズムを用いる。代替的又は追加的に、他の任意の自動化されたアルゴリズムを用いて選択領域を分析し、スコアを生成することができる。いくつかの実施形態では、スコアは、全スライドスコアが生成される前、システムに手動で入力される。スコアリングの例示的な方法は、同一出願人による同時係属出願である、2013年12月19日に出願されたWO2014102130A1「Image analysis for breast cancer prognosis(乳癌予知のための画像分析)」及び2104年3月12日に出願されたWO2014140085A1「Tissue object−based machine learning system for automated scoring of digital whole slides(デジタル・ホール・スライドの自動採点のための組織物体に基づく機械学習システム)」により詳細に記載され、各々の内容は、参照によって本願明細書に完全に組み込まれる。
スコアリングモジュール113によって計算される結果として生じるスライドレベルのスコアは、一緒に組み合わせられ、IHC3又はIHC4スコアの一方をスライドの連続のために生成する。IHC3又はIHC4は、複合スコアを生成するのに用いられるマーカースライドの数に関連する。例えば、IHC3スコアは、ER、PR及びKi67スコアを用いてスコアリングされるスライドのために計算され、一方、IHC4スコアは、ER、PR、Ki67及びHER2スコアによってスコアリングされるスライドのために計算される。追加のマーカーのために、スコアリングに含まれる組織スライド(H&E、腫瘍又は免疫マーカー)は、IHCnとして表現されてもよく、nは、全体的な複合スコアを生成するのに用いられるマーカースライドスコアの数である。本願明細書において記載されるように、IHC3、IHC4又はIHCnスコアのいずれかは、全腫瘍FOV選択又はKi67マーカーのための「ホットスポット」FOV選択に基づいてもよい。スコアは、各スライドのための全腫瘍の陽性百分率スコアに加えて、異質性及び/又はH−スコアに基づいてもよい。例えば、http://e−immunohistochemistry.info/web_mav10/H−score.htmに記載されるように、H−スコアは、陽性に染色された腫瘍核のための等級(binned)強度値から計算されてもよい。異質性は、腫瘍の局所異質性に関連し、全腫瘍領域にわたる陽性百分率及びH−スコアの可変性を定量化する。
次に、個々のマーカースライドから計算されるスコアは、統合され、コックスモデリングモジュール114によって実行されるような、コックス比例ハザード回帰モデルにフィッティングすることを含む統計方法論を用いてリスクスコア(例えば、IHC3)を決定してもよい。例えば、IHC3又はIHC4の複合スコア及び複合異質性スコアは、コックス比例ハザード回帰モデルに入力され、両方の測定値の複合予測能力を最大化する。コックス比例ハザード回帰方法は、2つの線形変数をとり、2つの最高のロジスティック回帰モデルを見出し、遠隔再発までの時間を予測することによって、遠隔再発までの生存確率時間に与える説明的な変数(例えば個々のマーカーの全スライドスコア)の影響をモデル化する。癌の再発を予測するコックスモデリングの使用に関するより多くの詳細は、Cuzick及びDowsettによる「Prognostic Value of a Combined Estrogen Receptor, Progesterone Receptor, Ki−67, and Human Epidermal Growth Factor Receptor 2 Immunohistochemical Score and Comparison With the Genomic Health Recurrence Score in Early Breast Cancer(複合エストロゲン受容体、プロゲステロン受容体、Ki−67、ヒト上皮成長因子受容体2の免疫組織化学的スコアの予知的値及び早期の乳癌におけるゲノム健康再発スコアの比較)」に見出だされてもよく、http://ico.ascopubs.org/content/29/32/4273.longにて入手可能であり、その内容は、参照によって本願明細書に完全に組み込まれる。
本実施形態において、コックスモデリングモジュール114は、個々のスライドのためのバイオマーカー/IHCスコアをハイリスク及びローリスクの集団を備える生存データと比較することによって訓練され、FOV選択のタイプ及び用いられる注釈/レジストレーションに応じて、全スライドスコアリングアルゴリズムを決定してもよい。入力された生存データに整合するカットオフポイントは、ローリスク及びハイリスクの正確な予測を決定するためにログランク検定統計を用いて決定される。訓練中に生成されるスコアリングアルゴリズム及びカットオフポイントを用いて、新規な患者のスライドを分析し、リスク分類モジュール115を介してリスク評価又は予知を提供してもよい。本願明細書において記載されるように、本開示のいくつかの実施形態では、スコアリング113、コックスモデリング114及びリスク分類115の動作は、用いられるバイオマーカーのタイプ及び視野(FOV)選択及び注釈に同様に依存する。したがって、他の任意のバイオマーカー組織スライド(免疫マーカー又はいくつかの他の追加のマーカーのような)は、特定のマーカーに特有のスライドスコアリングをトリガし、それらのスコアをコックスモデルフィッティングプロセスに含み、それらを用いる。同様に、H&Eスライド又は他の任意のスライドからの追加のスライドスコアリング測定基準が、IHC(x)の方程式の変数として加えられる場合、適切なコックスモデルはその組み合わせのために導出されてもよい。各ワークフロー(ワークフローは、FOV選択及び注釈+レジストレーションプロトコルを備える)のためのパラメータは、コックスモデルパラメータデータベース116に格納されてもよい。
本願明細書において記載されるように、全スライドスコアを決定するための係数は、訓練コホートに基づいて決定されてもよい。簡潔には、複数の訓練画像は、訓練画像に関連付けられた患者のための実際の生存データと一緒にシステム100に入力される。スライドは、ステージ1及び2の癌患者を表し、ER陽性及びHER2陰性の組織スライドを含む。スライド連続は、スコアリングされ、コックスモデルは、ER10、PR10、log(1+Κi67 percent positivity)及びHER2二進のスコアを、可変的なデータとして含む個々のスライドスコアに統計学的にフィッティングされる。全腫瘍のワークフローのために、又は、「ホットスポット」のワークフローのために、IHC3及びIHC4モデルの両方は、実際の生存データと予測されたモデルとの比較に基づいて、例えば、ログランク検定を用いて導出される。典型的な方程式は、IHC3_Score=a×ER10+b×PR10+c×log(1+Ki67_PercentPositivity)として表される。
係数a、b及びcは、訓練データに基づいてフィッティングされ、予測が本願明細書においてさらに記載されるように生存データに整合することを確実にし、パラメータデータベース116に格納されてもよい。
同様に、IHC4の方程式は、IHC4_Score=p×ER10+q×PR10+r×log(1+Ki67_PercentPositivity)+s×HER2_scoreとして表されてもよい。
係数p、q、r及びsもまた、ワークフロー(全腫瘍対ホットスポット選択)に依存して異なり、パラメータデータベースに格納される。従来技術に記載される標準方法を用いて生じるエラー又は信頼できない予測に屈するよりむしろ、新しく導出された定数は、特定のワークフローの後のテストケースにおいて取り出されてもよく、その特定のワークフローのための正確な生存を決定するための最適カットオフポイントを適用し、スコアを、癌再発のためのローリスク及びハイリスクのグループに分類してもよい。腫瘍の局所的異質性測定基準が、追加の可変的な入力として、コックスモデルフィッティング動作に組み合わせられるとき、類似方法を用いて、特定の式/係数を導出してもよい。それゆえ、調整は、考慮されるマーカースライド及び測定基準の任意の組み合わせのために実行され、任意のタイプのワークフロー(染色、FOV選択、注釈、レジストレーションの組み合わせ)のために適応又は「訓練」されてもよく、これにより、信頼性が高い予測を同一のワークフローの後の次のテストスライドに提供する。換言すれば、既存の生存データによりシステムを特定のワークフローのために訓練することは、臨床関係における新規な患者のスライドに適用される予知モデルの構築を可能にする。
例えば、臨床又は診断ワークフローにおいて、新規な患者からのH&E及びIHCスライドを備える新規なスライド連続がシステム100に入力され、生成された注釈及び画像分析アルゴリズムを用いて分析されたFOVがスコアを出力するとき、特定の係数を有する対応するIHC3/IHC4の式を用いて、その患者のための全スライドスコアを計算する。全腫瘍の注釈が実行される場合、WholeTumor_IHC3及びWholeTumor_IHC4のスコアが計算されてもよい。「ホットスポット」注釈が実行される場合、Ki67_HotspotBased_IHC3及びKi67_HotspotBased_IHC4のスコアが計算されてもよい。これらのスコアのためのカットオフポイントを用いて、患者のための予知を提供する、すなわち、訓練データと生存曲線との比較の間生成されるカットオフポイントに基づいて、彼らのリスクグループを分類する。
上述したように、モジュールは、プロセッサ105によって実行される論理を含む。本願明細書及びこの開示の全体にわたって用いられる「論理」とは、命令信号及び/又はプロセッサの動作に影響を及ぼすように適用されてもよいデータの形を有する任意の情報に関連する。ソフトウェアは、この種の論理の一例である。プロセッサの例は、コンピュータプロセッサ(処理ユニット)、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ及びマイクロコントローラ等である。論理は、メモリ110のようなコンピュータ可読媒体に格納される信号から形成されてもよく、メモリ110は、例示的な実施形態において、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能な/電気的に消去可能なプログラム可能な読み出し専用メモリ(EPROMS/EEPROMS)、フラッシュメモリ等でもよい。論理は、デジタル及び/又はアナログハードウェア回路、例えば、論理AND、OR、XOR、NAND、NOR及び他の論理演算を備えるハードウェア回路もまた含んでもよい。論理は、ソフトウェア及びハードウェアの組み合わせから形成されてもよい。ネットワーク上で、論理は、サーバ又はサーバの複合体においてプログラムされてもよい。特定の論理ユニットは、ネットワーク上の単一の論理位置に制限されるものではない。さらに、モジュールは、いかなる特定の順序で実行される必要はない。
図2A及び2Bは、本開示の例示的実施形態に従う、注釈がつけられかつレジストレーションされたスライド連続のための異なる視野を示す。上述したように、連続組織切片を備えるスライドに対応する連続画像における画像は、ユーザインターフェースに表示されてもよい。図2Aは、本開示の例示的実施形態に従う連続組織切片の連続画像を示す。例えば、隣接組織切片は、H&E、ER、PR及びKi−67でそれぞれ染色されてもよく、対応する画像221、222、223及び224は、視野(FOV)230の選択を可能にするために、ユーザインターフェース、例えばVIRTUOSO(商標)インターフェース又は類似のインターフェースに表示されてもよい。FOV230は、画像の1つの領域、例えば腫瘍領域を備えてもよい。病理学者は、ユーザインターフェースを用いてFOVを選択してもよいし、又は、自動FOV選択メカニズムが、特徴検出又は他の画像分析動作に基づいて用いられてもよい。本実施形態において、視野230は、全スライド又は全腫瘍領域である。FOV230は、最初に、H&E画像221上で注釈がつけられ、他の組織スライドが同一の組織塊からの連続切片に対応するので、マーカー間レジストレーションモジュールは、全腫瘍注釈を、H&Eスライド221から残りのIHCスライド222、223及び224の各々へマッピング及び移動する。
図2Bは、代表的な領域又はKi67のデジタル化された全スライド225上の「ホットスポット」231を用いるFOV選択のための代替の手段を示す。ホットスポットは、比較的高く異質な量のKi67タンパク質を含む全スライドの特定領域である。FOV231は、例えば、矩形231の形でもよい。他の実施形態は、手動によるFOV選択を提供してもよいし、又は、自動化された画像分析アルゴリズムが、Ki67スライド225上のこの種のFOV領域を強調してもよい。上述したように、マーカー間レジストレーション動作を用いて、これらの「ホットスポット」を他のIHCスライド、例えばER226、PR227及びH&Eスライド228上の等価な注釈がつけられた領域にマッピングしてもよい。図2Bの右側に、これらのホットスポットの、20倍で拡大した拡大バージョンが示される。図2B又は2Aによって表されない追加のIHCスライドは、同様に、HER2のように注釈がつけられてもよい。全腫瘍に注釈がつけられるか又は「ホットスポット」のみに注釈がつけられるかのいずれの場合でも、倍率が連続全体に一定のままであると仮定すると、残りのスライド上の対応する領域は、類似の組織タイプに必然的に対応する。
図3は、本開示の例示的実施形態に従う早期の予知システムを訓練する方法を示す。例えば、画像化システム又は他の入力手段は、1つ又は複数の連続訓練IHCスライドからの画像データを、本願明細書において記載されるシステムに提供し、システムは、訓練スライド及び画像データを受け取ることができる(S301)。画像データは、システムを訓練するために、複数の患者からの組織切片の画像を備え、カラーチャネル又は周波数チャネル、組織及びバイオマーカーデータを、組織切片に関連付けられた患者のための1つ又は複数の臨床転帰を識別する追加のデータ又はメタデータと同様に含むことができる。臨床転帰は、例えば、どの位長く患者が生存したか、癌が再発したか否か等を含む。臨床転帰は、患者生存転帰データから生存曲線を生成することを含んでもよく、患者は、特定された期間、例えば10年又は20年にわたって編集されるデータポイントを備える。例えば、カプランマイヤー生存曲線が推定されてもよい。1つの例示的実施形態において、120人の乳癌患者を表す120の連続スライドの訓練コホート、癌が再発した患者及び再発しなかった患者の代表的なプールは、連続当たりの5つのスライドで、どの位長く彼らが生存したか、及び、最初の診断日からいつ癌が再発したかについての情報とともに提供された。図5は、再発した患者グループ及び再発しなかった患者グループのための推定された典型的なカプランマイヤー生存曲線を表す。提供される追加の情報は、染色プラットフォームに関連する任意の情報を含んでもよく、染色で用いられる化学薬品の濃度、染色において組織に適用される化学薬品の反応時間、及び/又は、組織の予備的な分析条件、例えば、組織年齢、固定方法、期間、切片の埋設方法、切断等を含んでもよい。
注釈及びレジストレーション動作(S303)は、入力された訓練スライド上で実行されてもよい。本願明細書において後述するように、全腫瘍注釈又はKi−67ホットスポット注釈のような異なるワークフローに基づく視野(FOV)は、レジストレーションのために選択されてもよい。例えば、連続内の第1の画像は、第1の画像のFOV選択を可能にするために、病理学者によって、又は、特徴検出アルゴリズムを用いて自動的にユーザインターフェースに表示されてもよい。全腫瘍領域は、H&Eスライドに注釈がつけられてもよく、又は、ホットスポットは、Ki67のデジタル化された全スライドにおいて識別され、注釈がつけられてもよい。マーカー間レジストレーション動作を用いて、全腫瘍注釈を、第1のスライドから連続の残りのスライドの各々へマッピング及び移動してもよい。
各連続は、格納されてもよく、リスクは、本願明細書において記載される方法を用いて計算される(S305)。例えば、3つのマーカー(ER、PR、Ki67)のためのIHC3スコアは、計算されてもよく、異質性スコアが含まれてもよい。これらのスコアは、生存データとともにコックス比例ハザード回帰モデルにフィッティングされ(S307)、テストケースに適用される全スライドスコアリングアルゴリズムを生成する(図4参照)。例えば、モデルは、特定の訓練患者のための生存曲線におけるイベント情報にフィッティングされてもよい。フィッティング(S307)は、フィッティングされた予知モデルが再発の有無の間の区別を示すか否かを決定することを含む。全腫瘍ワークフロー又は「ホットスポット」ワークフローのいずれかのために、IHC3モデル及びIHC4モデルの両方は、実際の生存データと予測されたモデルとの比較(S307)に基づいて導出される。方程式は、IHC3_Score=a×ER10+b×PR10+c×log(1+10×Ki67_PercentPositivity)として記述可能である。係数a、b及びcは、予測が生存データに確実に整合するために、訓練データをコックスモデルにフィッティングさせることに基づいて得られてもよい(S309)。例えば、いくつかの実施形態は、IHC3=93.1×[−0.086 ER10−0.081×PR10+0.281×log(1+10×Ki67)として表される値を生成する。
この場合、93.1は、重みを縮小し、モデルのオーバーフィッティング(overfitting)を考慮するために用いられる縮小パラメータである。コックスモデル係数a、b、c等は、パラメータデータベース316に格納されてもよい(S309)。それゆえ、方程式は、最適化されて考慮され、例えば、図4にリストされるテスト動作を実行する間、臨床使用のために格納されてもよい。
表1は、本開示の実験的な実施形態に基づいて、各ワークフローのための異なる重みのための複数の最適化された係数を示す。
これらの値は、単に例示的であり、当業者は、この開示を読むとき、係数の調整が、含まれるマーカースライド及び関連付けられた測定基準の任意の組み合わせについて実行されてもよく、任意のタイプのワークフローのために適応又は「訓練」されてもよく、同一のワークフロー後の次のテストスライドのための信頼性が高い予測を提供し続けることを理解するものである。換言すれば、特定の組織サンプルデータ及びワークフローのために、既存の生存データに関してコックスモデルをフィッティングすることは、臨床関係における新規な患者のスライドに適用される予知モデルの構築を可能にする。
図4は、本開示の例示的実施形態に従う早期の予知のための方法を示す。この方法は、システム100に関して記載される構成要素又は類似の機能を実行する他の構成要素を用いてもよい。例えば、診断を受けている単一の患者に対応する画像連続は、画像化システム又は任意の他の入力から受け取られてもよい(S401)。画像連続は、さまざまなバイオマーカーで染色された組織の連続切片を表すカラーチャネル又は周波数チャネルの形で、データを含むことができる。例示的なバイオマーカーは、エストロゲン受容体(ER)、ヒト上皮成長因子受容体2(HER2)、Ki−67及びプロゲステロン受容体(PR)のためのバイオマーカーを含む。画像化システムは、出願人Ventana Medical Systems, Inc.のISCAN COREO(商標)製品を含んでもよい。画像データは、単一の患者から検索される癌切片又は著しく癌性の切片に対応する。
一旦画像データが受け取られると(S401)、連続組織切片を備えるスライドに対応する連続画像における画像は、視野(FOV)選択及び注釈のためにユーザインターフェースに表示されてもよい(S403)。いくつかの注釈メカニズム、例えば、既知又は不規則な形状を指定すること、又は、解剖的な関心領域(例えば、腫瘍領域)を定めることが提供されてもよい(S403)。一例において、視野は、全スライド、全腫瘍領域又は全組織切片である。注釈(S403)は、第1のスライド上のFOVに注釈をつけ、レジストレーション動作(S405)は、スライドの残り全体の注釈をマッピングする。本願明細書において記載されるように、注釈及びレジストレーションのためのいくつかの方法は、所定のFOVに応じて利用されてもよい。例えば、複数の連続スライドの中からヘマトキシリン・エオシン(H&E)スライド上の全腫瘍領域が定められてもよく、レジストレーション動作(S405)は、全腫瘍注釈をH&Eスライドから連続の残りのIHCスライドの各々へマッピング及び移動する。あるいは、代表的な領域又は「ホットスポット」は、Ki67のデジタル化された全スライド上で識別され、他のIHCスライド上の等価な注釈がつけられた領域にマッピングされてもよい。
FOVが与えられると、画像分析動作を用いて、各スライドのためのスコアを計算する(S407)。各スライドのためのスコアは、陽性百分率及び局所的異質性の決定に基づいてもよい。特定のバイオマーカー、例えばKi67、ER、PR、HER2等のために陽性及び陰性に染色される腫瘍核は、計数され、陽性百分率が計算される。追加のスコアリングメカニズム、例えば特定のマーカー又はタンパク質の局所的異質性を表すH−スコアが使用されてもよい。例示的実施形態において、組織スライドの自動化された分析は、出願人VENTANAのFDA認証された510(k)の承認アルゴリズムを用いる。代替的又は追加的に、他の任意の自動化されたアルゴリズムを用いて、選択領域を分析し、スコアを生成することができる。結果として生じるスライドレベルのスコアは、一緒に組み合わせられ、個々に染色されたスライドの数に応じて、スライドの連続のためのIHC3、IHC4又はIHCnスコアを生成してもよい。H&Eスライドから計算される任意のスコアもまた、IHCスライドからの情報に含められ、それに応じて異なるリスクスコアリング測定基準を特定することもできる。スコアは、例えば、全腫瘍FOV選択又は「ホットスポット」FOV選択に基づく。
次に、IHC3又はIHC4の複合スコア及び複合的な局所異質性スコアは、コックス比例ハザード回帰モデルに入力され(S409)、両方の測定値の複合予測能力を最大にしてもよい。コックス比例ハザード回帰モデルは、2つの変数をとり、2つの最高のロジスティックの組み合わせを見出し、遠隔再発までの時間を予測することによって、遠隔再発までの時間をモデル化する。選択されるFOVのタイプによって、コックスモデルのための複数の係数又はパラメータは、パラメータデータベース418から取り出されてもよい。係数は、図3について述べたように類似のワークフローのための訓練データに基づいてもよく、これによって、テストされる個々の患者のスライド連続のための生存予測を可能にする。訓練ワークフローに基づいて、最適化されたカットオフポイントは、スコアが、癌再発のためのローリスク及びハイリスクのグループに分類されることを可能にするために(S411)、データベース418から提供される。解剖又は臨床病理学、前立腺/肺癌診断等のような医療用途の他に、同一の方法は、他のタイプのサンプル、例えば地質学データ又は天文データ等の遠隔探査を分析するために実行されてもよい。本願明細書において開示される動作は、ハードウェアグラフィックス処理ユニット(GPU)に移植され、マルチスレッドの並列実装を可能にしてもよい。
コンピュータは、典型的には、周知の構成要素、例えばプロセッサ、オペレーティングシステム、システムメモリ、メモリ記憶装置、入出力コントローラ、入出力装置及び表示装置を含む。多くの可能なコンピュータの設定及び構成要素が存在し、キャッシュメモリ、データバックアップユニット及び多くの他の装置を含んでもよいということは、当業者によって理解されるものである。入力装置の例は、キーボード、カーソルコントロールデバイス(例えば、マウス)、マイクロホン、スキャナなどを含む。出力装置の例は、表示装置(例えば、モニタ又はプロジェクタ)、スピーカ、プリンタ、ネットワークカードなどを含む。表示装置は視覚情報を提供する表示装置を含んでもよく、この情報は、典型的には、ピクセルアレイとして論理的に及び/又は物理的に構成されてもよい。入出力インターフェースを提供するためのさまざまな周知又は将来のソフトウェアプログラムのいずれかを備えてもよいインターフェースコントローラが含まれてもよい。例えば、インターフェースは、1つ又は複数のグラフィック描写をユーザに提供する「グラフィカルユーザインターフェース」(しばしばGUIと称される)と一般に称されるものを含んでもよい。インターフェースは、典型的には、当業者に知られている選択又は入力の手段を用いて、ユーザ入力を受け入れることができる。インターフェースは、タッチスクリーン装置でもよい。同一又は代替実施形態において、コンピュータ上のアプリケーションは、「コマンドラインインターフェース」(しばしばCLIと称される)と称されるものを含むインターフェースを使用してもよい。CLIは、典型的には、アプリケーションとユーザとの間のテキストベースの相互作用を提供する。典型的には、コマンドラインインターフェースは、表示装置を介してテキストのラインとして出力を表示し、入力を受け取る。例えば、いくつかの実施態様は、「シェル」と称されるもの、例えば、当業者に知られているUnix Shells又はMicrosoft.NET frameworkのようなオブジェクト指向タイププログラムアーキテクチャを使用するMicrosoft Windows Powershellを含んでもよい。
当業者は、インターフェースが1つ又は複数のGUI、CLI又はそれらの組み合わせを含んでもよいということを認めるであろう。プロセッサは、市販のプロセッサ、例えば、Intel Corporation製のCeleron、Core又はPentiumプロセッサ、Sun Microsystems製のSPARCプロセッサ、AMD Corporation製のAthlon、Sempron、Phenom又はOpteronプロセッサを含んでもよいし、現在又は将来利用できる他のプロセッサの1つでもよい。プロセッサのいくつかの実施形態は、マルチコアプロセッサと呼ばれるものを含んでもよい、及び/又は、シングル又はマルチコア構成の並列処理技術を使用可能でもよい。例えば、マルチコアアーキテクチャは、典型的には、2つ以上のプロセッサ「実行コア」を備える。この例では、各実行コアは、マルチスレッドの並列実行を可能にする独立プロセッサとして実行してもよい。さらに、当業者は、プロセッサが32又は64ビットアーキテクチャと一般に称されるものにおいて構成されてもよいし、現在公知又は将来開発され得る他のアーキテクチャの構成において構成されてもよいということを認識するであろう。
プロセッサは、典型的には、オペレーティングシステムを実行し、オペレーティングシステムは、例えば、Microsoft CorporationからのWindowsタイプのオペレーティングシステム、Apple Computer Corp.からのMacOSXオペレーティングシステム、多くのベンダーから入手可能なUnix又はLinux(登録商標)−タイプオペレーティングシステム、又は、オープンソースと称されるもの、その他又は将来のオペレーティングシステム又はそれらの組み合わせでもよい。オペレーティングシステムは、ファームウェア及びハードウェアと周知の方法で連動し、プロセッサが、さまざまなプログラミング言語で記述され得るさまざまなコンピュータプログラムの機能を調整及び実行するのを支援する。オペレーティングシステムは、典型的には、プロセッサと協同し、コンピュータの他の構成要素の機能を調整及び実行する。オペレーティングシステムは、スケジューリング、入出力制御、ファイル及びデータ管理、メモリ管理及び通信制御及び関連サービス、周知の技術に従うすべてを提供する。
システムメモリは、所望の情報を格納するために使用可能であり、かつ、コンピュータによってアクセス可能なさまざまな周知又は将来のメモリ記憶装置のいずれかを含むことができる。コンピュータ可読の記憶媒体は、情報、例えばコンピュータ可読命令、データ構造、プログラムモジュール又は他のデータの記憶のための任意の方法又は技術によって実装される揮発性及び不揮発性、取り外し可能及び取り外し不可能な媒体を含むことができる。例は、任意の一般に利用できるランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、電気的消去プログラム可能読取専用メモリ(EEPROM)、デジタル多用途ディスク(DVD)、磁気媒体、例えば固有のハードディスク又はテープ、光媒体、例えば読取及び書込コンパクトディスク又は他のメモリ記憶装置を含む。メモリ記憶装置は、コンパクトディスクドライブ、テープドライブ、リムーバブルハードディスクドライブ、USB又はフラッシュドライブ又はディスケットドライブを含むさまざまな周知又は将来の装置のいずれかを含んでもよい。この種のタイプのメモリ記憶装置は、典型的には、プログラム記憶媒体、例えば、コンパクトディスク、磁気テープ、リムーバブルハードディスク、USB又はフラッシュドライブ又はフロッピーディスケットのそれぞれから読み取り及び/又は書き込みをする。これらのプログラム記憶媒体、又は、現在使用中又は将来開発され得る他のプログラム記憶媒体のいずれかは、コンピュータプログラム製品とみなされてもよい。認識されるように、これらのプログラム記憶媒体は、典型的には、コンピュータソフトウェアプログラム及び/又はデータを格納する。コンピュータ制御論理とも呼ばれるコンピュータソフトウェアプログラムは、典型的には、システムメモリ及び/又はメモリ記憶装置と連動して使用されるプログラム記憶装置に格納される。いくつかの実施形態では、コンピュータプログラム製品は、格納される制御論理(プログラムコードを含むコンピュータソフトウェアプログラム)を有するコンピュータが使用可能な媒体を含んで記載される。制御論理は、プロセッサによって実行されるとき、プロセッサに本願明細書に記載される機能を実行させる。他の実施態様では、いくつかの機能は、例えば、ハードウェア状態機械を用いるハードウェアにおいて主に実装される。本願明細書に記載される機能を実行するためのハードウェア状態機械の実装は、当業者にとって明らかである。入出力コントローラは、人間又は機械であれ、ローカル又はリモートであれ、ユーザから情報を受け取り、処理するためのさまざまな周知の装置のいずれかを含むことができる。この種の装置は、例えば、モデムカード、ワイヤレスカード、ネットワークインターフェースカード、サウンドカード又はさまざまな周知の入力装置のいずれかのための他のタイプのコントローラを含む。出力コントローラは、人間又は機械であれ、ローカル又はリモートであれ、ユーザに情報を示すためのさまざまな周知の表示装置のいずれかのためのコントローラを含むことができる。現在記載される実施形態において、コンピュータの機能要素は、システムバスを介して互いに通信する。コンピュータのいくつかの実施形態は、ネットワーク又は他のタイプの遠隔通信を用いて、いくつかの機能要素と通信することができる。当業者にとって明らかであるように、計器制御及び/又はデータ処理アプリケーションは、ソフトウェアで実装される場合、システムメモリ及び/又はメモリ記憶装置にロードされ、これから実行されてもよい。計器制御及び/又はデータ処理アプリケーションのすべて又は一部は、読み出し専用メモリ又はメモリ記憶装置の類似の装置内に存在してもよく、この種の装置では、計器制御及び/又はデータ処理アプリケーションが入出力コントローラによって最初にロードされる必要はない。計器制御及び/又はデータ処理アプリケーション又はそれの一部は、実行に有利なように、プロセッサによって、周知の方法で、システムメモリに又はキャッシュメモリに又はその両方にロードされてもよいことは、当業者によって理解されるものである。また、コンピュータは、システムメモリに格納される1つ又は複数のライブラリファイル、実験データファイル及びインターネットクライアントを含むことができる。例えば、実験データは、1つ又は複数の実験又はアッセイに関連したデータ、例えば検出された信号値又は1つ又は複数のシーケンシングバイシンセシス(sequencing by synthesis)(SBS)実験又はプロセスに関連付けられた他の値を含むことができる。さらに、インターネットクライアントは、ネットワークを用いて他のコンピュータ上のリモートサービスにアクセスできるアプリケーションを含んでもよく、例えば「ウェブブラウザ」と一般に呼ばれるものを備えてもよい。この例では、いくつかの一般に使用されたウェブブラウザは、Microsoft Corporationから入手可能なMicrosoft Internet Explorer、Mozilla CorporationからのMozilla Firefox、Apple Computer Corp.からのSafari、Google CorporationからのGoogle Chrome、又は、従来技術において現在公知の又は将来開発されるウェブブラウザの他のタイプを含む。また、同一又は他の実施形態において、インターネットクライアントは、ネットワークを介してリモート情報にアクセスできる専門ソフトウェアアプリケーション、例えば生物学的応用のためのデータ処理アプリケーションを含んでもよいし、その要素であってもよい。
ネットワークは、当業者に周知のネットワークの多くのさまざまなタイプの1つ以上を含むことができる。例えば、ネットワークは、TCP/IPプロトコル群と一般に呼ばれるものを使用して通信してもよいローカル又はワイドエリアネットワークを含むことができる。ネットワークは、インターネットと一般に呼ばれる相互接続されたコンピュータネットワークの世界的システムを備えるネットワークを含んでもよいし、あるいは、さまざまなイントラネットアーキテクチャを含むこともできる。ネットワーク環境の一部のユーザが、「ファイアウォール」(パケットフィルタ又はボーダープロテクションデバイス(Border Protection Device)と呼ばれることもある)と一般に呼ばれるものを使用し、ハードウェア及び/又はソフトウェアシステムとの情報通信を制御するのを好むことがあり得るということも当業者は認めるであろう。例えば、ファイアウォールは、ハードウェア又はソフトウェア要素又はいくつかのそれらの組み合わせを備えてもよく、典型的には、ユーザ、例えばネットワーク管理者などによって導入されるセキュリティポリシーを実施するように設計される。
例示的なスコアリングアルゴリズムは、本願明細書において記載される。例えば、「Tissue object−based machine learning system for automated scoring of digital whole slides(デジタル・ホール・スライドの自動採点のための組織物体に基づく機械学習システム)」という名称のWO2014140085A1出願から、少なくとも、開示された技術のいくつかの実施形態は、組織標本スライド、例えば、免疫組織化学(IHC)アッセイで染色される標本を自動的に解釈及びスコアリングするための画像化システムに関するものである。システムは、全スライドに関連付けられた情報及び特性に少なくとも部分的に基づいて、画像の領域又は全画像(例えば、デジタル全スライド画像)を分析し、定量分析のための特性を選択する。全スライド画像は、スライドの領域(例えば、標識、マーカー及び空白エリアを除くスライドの全領域)を含む組織のすべて又は実質的にすべての画像とみなされる。開示されたシステムは、スライドの組織を含む領域に関連付けられたデータに関する情報に少なくとも部分的に基づいて、スライドの領域(例えば、スライドの特定の組織領域)又は全スライドの細胞構造(例えば、核物体、核種)及び細胞を識別する。さらにまた、開示されたシステムは、細胞を計数し、これらの細胞のさまざまなタイプの局部特徴及び全域特徴を計算し、細胞タイプを識別し、定量分析を実行してもよい。特徴計算は、スライドの注釈がつけられた領域からの情報だけでなく、全スライド(例えば、複数の倍率で分析されるスライドの組織を含む領域)からの情報を用いることができる。システムは、細胞を自動的に計数及び分類し、全スライド(すなわち、スライドの組織を含む領域のすべて)に関連付けられた情報又はデータに少なくとも部分的に基づいて、選択された視野及び/又は全スライドに少なくとも部分的に基づいて、画像及び/又は全スライドをスコアリングすることができる。スコアは、スライド解釈のために使用可能である。例えば、システムは、核物体を正確に計数し、組織に関する情報を決定し、信頼性が高く再現可能なスライド解釈によって支援することができる。一実施形態において、システムは、陽性染色核物体及び/又は陰性染色核物体を計数し、例えば生物試料(例えば、腫瘍組織)をスコアリングする。いくつかの実施形態では、オーバーレイ画像が生成され、被験者からの標本の画像内の関心特徴に標識される。組織のスコアリングは、組織サンプルのための予知を予測及び/又は生成するために実行されてもよい。いくつかの実施形態では、病理学者は、スライドスコアを承認又は拒否することができる。スライドスコアが拒否される場合、自動化されたスコアは、手動のスコア(例えば、目視検査に少なくとも部分的に基づくスコア)によって置換可能である。システムは、各マーカー、例えばバイオマーカーのための一組の訓練又は基準スライドに少なくとも部分的に基づいて訓練されたクラシファイアを有することができる。マーカーのための一組の訓練スライドは、すべての所望のデータ可変性を表すことができる。異なる組のスライドを用いて、クラシファイアを各マーカーのために訓練することができる。したがって、単一のマーカーのために、単一のクラシファイアは、訓練後に得られる。異なるマーカーから得られる画像データの間に可変性が存在するので、異なるクラシファイアは、各異なるバイオマーカーのために訓練され、目に見えないテストデータ上のより良好な性能を確実にすることができ、テストデータのバイオマーカータイプが分かる。訓練されたクラシファイアは、例えば、組織タイプ、染色プロトコル及び他の関心特徴における、訓練データの可変性を最良に扱う方法に少なくとも部分的に基づいて、スライド解釈のために選択可能である。システムは、その領域内の情報及びその領域外の情報に少なくとも部分的に基づいて、画像の特定領域を分析することができる。いくつかの実施形態では、多段階二進クラシファイアは、陽性核及び陰性核を識別することができる。陽性核は、陰性核、リンパ球及び間質から区別可能である。さらに、陰性細胞及びリンパ球は、間質から区別可能である。次に、リンパ球は、陰性核から区別される。さらなる分類において、陽性細胞は、背景細胞から区別可能である。例えば、陽性細胞が茶色に染色された核を有する場合、背景細胞は、ろ過可能な細胞質顆粒紅潮(cytoplasmic blush)を示してもよい。陽性/陰性核の数に少なくとも部分的に基づいて、スコア(例えば、全スライドスコア)は、決定可能である。
いくつかの実施形態では、全スライド解釈のための方法は、組織に対応するデジタル化された全スライド画像の部分を識別するステップを含む。
生物試料(例えば、組織)が配置される基板(例えば、ガラス)の色特性に少なくとも部分的に基づいて、組織及び組織の関心領域は、識別される。シードポイント(seed point)は、識別された組織の関心領域のために検出され、組織核物体は、識別された領域から抽出される。抽出された組織物体の各々のために、抽出された物体の特性は、識別され、訓練されたクラシファイアを用いて、抽出された物体を分類することができる。訓練されたクラシファイアは、ユーザ、医師等によって修正可能である。異なる訓練されたクラシファイアを用いて、異なるタイプの組織及びマーカーを分析することができる。コンピュータ可読の記憶媒体は、データ(例えば、クラシファイア、アルゴリズム等)及び命令を格納することができ、命令は、プロセッサを有する計算システムによって実行される場合、計算システムにこの種の方法を実行させることができる。
さらなる実施形態において、組織データのデジタル化画像内の物体を分類するための教師付き学習システムは、グラウンドトゥルーススライドに少なくとも部分的に基づいて、クラシファイアを訓練するための手段と、入力スライドに関連付けられた組織データのデジタル化画像を受け取るための手段と、デジタル化された組織データを分析するための手段と、を含む。デジタル化された組織データを分析するための手段は、デジタル化された組織画像内の潜在的な核シードポイントを検出するための手段と、物体をデジタル化された組織画像から抽出するための手段と、を含むことができる。一実施形態において、システムは、抽出された物体の各々を分類するための手段をさらに含む。
いくつかの実施形態では、計算システムにより用いられる方法は、組織スライド、例えば、IHCスライドのデジタル化画像の解釈を提供することができる。方法は、基準訓練スライド(例えば、グラウンドトゥルース又は訓練スライド)の組織サンプルのデジタル化画像を受け取るステップを含む。いくつかの実施形態では、1組の基準スライドが用いられる。例えば、基準スライド画像は、分析される組織と同一タイプの組織の画像とすることができる。システムは、基準画像に関連付けられた既知の情報に少なくとも部分的に基づいて、組織、染色プロトコル、画像走査及びアーチファクト源のデータ可変性のために観察されるデジタル化画像内の可変性の特性について学習する。システムは、少なくとも1つの分類方法を受け取り、組織サンプルのデジタル化画像を用いてクラシファイアを訓練することができる。必要な場合又は要求される場合、クラシファイアは、追加の基準スライドを用いて修正可能である。
システムは、いくつかの実施形態において、入力スライドに関連付けられたデータのデジタル化画像を、被験者からのサンプルとともに受け取ることができる。いくつかの実施形態では、スライドのスコアリングは、例えば、2つのモード、視野(FOV)モード及び自動化モードのうちの1つで起こる。FOVモードにおいて、ユーザ、例えば病理学者は、全スライド画像内の複数の領域(例えば、3つ以上の領域)の輪郭を形成する、又は、「注釈をつけ」、分析アルゴリズムは、注釈がつけられた領域に関して実行される。最終的な複合スコアは、すべてのこれらの注釈がつけられた領域内で検出された陽性及び陰性の腫瘍核の数に少なくとも部分的に基づいて得られる。自動化モードにおいて、関心領域(AoI)検出器は、全スライド画像内の組織領域を発見又は識別する、又は、組織注釈は、いくつかの他の画像分析アルゴリズム、例えば、注釈を隣接する連続切片からIHC組織スライドにマッピングする画像レジストレーションアルゴリズムによって、自動的に生成される。次に、組織領域は、タイルにセグメント化され、分類及び核計数アルゴリズムは、組織を含む各タイルに対して実行される。さらに、組織を含む画像タイルに少なくとも部分的に基づいて、複合スコアを得ることができる。所定の画像内の細胞を検出、計数及び分類するための基礎となる方法論が、画像が、AoI検出の後の全スライド画像内のユーザ注釈がつけられた領域又は自動的に得られたタイルでもよいという点で類似しているとしても、2つのワークフローには少なくとも1つの相違が存在する。FoVモードは、FOV選択に関して手動の入力に依存し、一方、自動化モードは、依存しない。注釈がつけられたFOVモードは、図2に関してさらに述べられ、一方、自動化モードは、図3に関してさらに述べられる。識別された組織内の1つ又は複数の領域は、優勢色に少なくとも部分的に基づいて識別される。識別された領域のために、識別された領域内のシードポイントは検出され、識別された領域からの物体は抽出される。訓練されたクラシファイアが抽出された物体の計算された特徴に少なくとも部分的に基づいて、抽出された物体を分類するように、抽出された物体(1つ以上)の特徴は計算される。いくつかの実施形態では、コンピュータシステムは、1つ又は複数の選択基準に少なくとも部分的に基づいて、標本の画像内の特徴を自動的に識別するようにプログラム可能であり、選択基準は、色特性、サンプル形態(例えば、細胞成分形態、細胞形態、組織形態、解剖構造形態等)、組織特性(例えば、密度、構成等)、空間パラメータ(例えば、組織構造の配置、組織構造間の相対位置等)、画像特性パラメータ等に少なくとも部分的に基づく基準を含む。特徴が核である場合、選択基準は、色特性、核形態(例えば、形状、寸法、構成等)、空間パラメータ(例えば、細胞構造内の核の位置、核間の相対位置等)、画像特性、それらの組み合わせ等を含むが、これらに限定されるものではない。候補の核を検出した後、アルゴリズムが用いられ、全分析画像についてのスコア又は情報を自動的に提供することができる。選択基準は、基準画像に少なくとも部分的に基づいて修正又は決定可能である。例えば、染色された胸部組織の基準画像を用いて、被験者からの胸部組織の画像の核を選択するのに用いられる選択基準を決定することができる。いくつかの実施形態では、ユーザは、スライドごとに任意の関心領域を削除することができる。例えば、ユーザは、画像の1つ又は複数の領域がスコアリングに不適当であると、視覚的に決定してもよい。
いくつかの実施形態では、設備(facility)は、組織データのデジタル化画像の全スライド解釈のための方法を提供する。方法は、組織サンプルの複数のデジタル化画像を受け取るステップを含む。各組織サンプルは、グラウンドトゥルーススライドに対応し、複数のデジタル化画像の各々のために、少なくとも1つの分類は、デジタル化画像によって関連付けられる。設備は、組織サンプルの受け取られたデジタル化画像を用いて、組織−物体クラシファイアを訓練するようにさらに構成される。グラウンドトゥルーススライドではない第1のスライドに関連付けられたデータのデジタル化画像を受け取ると、設備は、1)第1のスライドに関連付けられたデータのデジタル化画像内の組織と、2)識別された組織内の優勢色と、3)識別された優勢色に少なくとも部分的に基づいて識別された組織内の領域と、を識別する。識別された領域の各々のために、設備は、識別された領域内のシードポイントを検出し、物体を識別された領域から抽出する。さらに、抽出された物体の各々のために、設備は、抽出された物体の特性を識別し、訓練されたクラシファイアを用いて、抽出された物体の識別された特性に少なくとも部分的に基づいて、抽出された物体を分類することができる。
さらに、「Image analysis for breast cancer prognosis(乳癌予知のための画像分析)」という名称のWO2014102130の出願は、乳癌予知のためのコンピュータ実装方法を提供する。例えば、方法は、バイオマーカー用の抗体で検出可能に標識された乳癌サンプルを描写する表示画像内の複数のデジタル視野間においてバイオマーカーに対して測定されたタンパク質異質性と、被験者に対する免疫組織化学複合スコアと、に少なくとも部分的に基づいて、乳癌再発予知スコアを生成するステップと、乳癌再発予知スコアに基づいて、被験者に対する乳癌再発予知の指示を出力するステップと、を含む。これらの方法に基づき、計算システムに開示された方法を実行させるコンピュータ実行可能命令を含む1つ又は複数の非一時的コンピュータ可読媒体もまた提供される。
コンピュータ実装方法もまた提供される。一例では、この種の方法は、被験者からの乳癌サンプルにおけるそれぞれのバイオマーカーに対するタンパク質発現を描写する複数のスライド画像を受け取るように動作可能なスライド画像処理ツールを含み、スライド画像処理ツールは、スライド画像内の視野をさらに受け取るように動作可能であり、スライド画像処理ツールは、スライド画像及びスライド画像内の視野に基づいて、免疫組織化学複合スコアを計算するように動作可能であり、スライド画像処理ツールは、スライド画像及びスライド画像内の視野の選択に基づいて、1つ又は複数の異質性スコアを計算するように動作可能であり、この種の方法は、免疫組織化学複合スコア及び1つ又は複数の異質性スコアを入力として受け入れ、被験者において癌が再発する可能性が高いか否かの指示を出力するように動作可能な予知ツールを含む。
この開示は、乳癌再発予知の指示を表示するステップを含むことができるコンピュータ実装方法もまた提供する。この種の方法は、免疫組織化学複合スコア及び異質性スコアを組み合わせ、乳癌再発予知スコアを求めるステップと、乳癌再発予知スコアに基づいて、乳癌再発予知の指示を表示するステップと、を含むことができる。
バイオマーカー用の抗体で検出可能に標識された乳癌サンプルを描写する表示画像内の複数のデジタル視野を受け取るステップと、デジタル視野においてバイオマーカーに対するタンパク質発現を測定するステップと、複数のデジタル視野間において、バイオマーカーに対して測定されたタンパク質発現の異質性を測定するステップと、バイオマーカーに対して測定されたタンパク質異質性を出力するステップと、を含むコンピュータ実装方法が提供される。
被験者に対する免疫組織化学複合スコアを計算するステップを含むコンピュータ実装方法が提供され、この方法は、複数のバイオマーカー用に、それぞれのバイオマーカー抗体で検出可能に標識された乳癌サンプルを描写するそれぞれの画像内のそれぞれの複数のデジタル視野を受け取るステップと、複数のバイオマーカーに対して陽性百分率を測定するステップと、免疫組織化学複合スコアを計算するステップであって、免疫組織化学複合スコア計算が、1つのバイオマーカーに対する陽性百分率を、第2のバイオマーカーに対する陽性百分率と組み合わせることを含むステップと、免疫組織化学複合スコアを出力するステップと、を含む。
ER用の抗体で検出可能に標識された乳癌サンプルを描写する画像において、ER用に複数のデジタル視野を受け取るステップと、ER用の抗体で検出可能に標識された乳癌サンプルを描写する画像において、PR用に複数のデジタル視野を受け取るステップと、ER用の抗体で検出可能に標識された乳癌サンプルを描写する画像において、Ki−67用に複数のデジタル視野を受け取るステップと、ER用の抗体で検出可能に標識された乳癌サンプルを描写する画像において、HER2用に複数のデジタル視野を受け取るステップと、ER用のデジタル視野に基づいて、ERに対するH−スコアを計算するステップと、PR用のデジタル視野に基づいて、PRに対する陽性百分率を計算するステップと、Ki−67用のデジタル視野に基づいて、Ki−67に対する陽性百分率を計算するステップと、HER2用のデジタル視野に基づいて、HER2に対する等級スコアを計算するステップと、ERに対するH−スコア、PRに対する陽性百分率、Ki−67に対する陽性百分率及びHER2に対する等級スコアを組み合わせ、免疫組織化学複合スコアを求めるステップと、を含むコンピュータ実装方法が提供される。
被験者において乳癌を予知する方法が提供される。いくつかの例において、この種の方法は、エストロゲン受容体(ER)、ヒト上皮成長因子受容体2(HER2)、Ki−67及びプロゲステロン受容体(PR)の各々用に少なくとも2つの異なる視野(FOV)を、被験者から得られた乳癌サンプルにおいて選択するステップであって、サンプルが、ER、HER2、Ki−67及びPRの各々用の抗体が検出可能に標識されるステップと、選択されたFOVの各々において、ER、HER2、Ki−67及びPRタンパク質発現を測定するステップと、免疫組織化学(IHC)複合スコアを決定するステップと、選択されたFOVの各々において、ER及びPRタンパク質異質性を測定するステップと、ER及びPRの各々に対してタンパク質異質性スコアを決定するステップと、タンパク質異質性スコア及びIHC複合スコアを組み合わせることによって、出力予知スコアを生成するステップと、出力予知スコアが閾値を満たす場合、被験者における乳癌が進行性である可能性が高いと決定し、又は出力予知スコアが閾値を満たさない場合、被験者における乳癌が進行性でありそうにないと決定するステップと、を含む。
バイオマーカー用の抗体で検出可能に標識された、被験者からの乳癌サンプルの画像内のデジタル視野を受け取り、バイオマーカーに対するタンパク質異質性を測定するために処理することができる。異質性測定値を免疫組織化学複合スコアと組み合わせて、乳癌再発予知スコアを生成することができる。この種のスコアは、免疫組織化学複合スコア単独よりも多くの情報を提供することができる。
図6は、統計モデル10、例えばコックス比例ハザードモデル(図1参照)の生成を示す。モデルは、癌患者、例えば乳癌患者のコホートからの患者データを用いてフィッティングされる。各患者から要求されるデータは、生存データ及び以下の通りに得られるリスク分類スコアを備える。
コホートからの患者の生検組織サンプル4は、隣接組織スライスにスライスされ、組織スライド、例えば、図6のステップ600に示されるように、組織スライド1、2、3を提供する。組織スライスは、マイクロメータ範囲の厚さ、例えば、1μmと10μmとの間、例えば6μmの厚さを有してもよい。
組織スライスは単一の染色、染色及び対比染色、又は、複数の染色によって染色される。このように、例えば、染色及び対比染色によって染色された画像及び/又はマルチチャネル画像が得られてもよい。
ここで考慮される例において、単一の染色画像5は、組織スライド1から得られ、単一の染色画像6は、組織スライド2から得られ、マルチチャネル画像は、組織スライド3から得られ、分解後、少なくとも2つの分解画像7及び8を提供する。これらの画像5から8は、画像処理システム、例えばシステム100(図1参照)の電子メモリに格納されてもよい。
分解画像7及び8は、ともに、同一のマルチチャネル画像から得られるので、正確に同一の座標系を共有し、画像レジストレーション又は画像整列が一組の分解画像内で要求されないということに留意されたい。しかしながら、画像レジストレーションは、好ましくは基準としての分解画像の1つを用いて、他の画像に関して実行される。
ステップ600において、画像5、6及び7/8は、画像レジストレーションアルゴリズムを用いて、レジストレーション及び整列されてもよい。例えば、マルチチャネル画像7は、画像レジストレーションアルゴリズムを実行するための基準画像として選択される。画像レジストレーションアルゴリズムは、他の画像の各々、すなわちマルチチャネル画像に対する画像5及び6の幾何学的変換を生成する。レジストレーションのための基準画像としてマルチチャネル画像7を用いることは、ここで考慮される例において2つの整列動作しか実行する必要がないという利点を有する。一方、例えば画像5が基準画像として選択されるとき、画像5との整列のための画像6、7及び8を変換するために、3つの整列動作が必要である。それゆえ、マルチチャネル画像を基準として選択することは、計算負荷を実質的に低減し、画像整列のための潜在時間を減少する。
次のステップ602において、組織サンプル4内に含まれる腫瘍の境界は、画像5〜8のそれぞれ内で検出される。これは、画像5のための腫瘍境界11、画像6のための腫瘍境界12及び分解画像7のための腫瘍境界13を提供し、画像7及び8が同一の組織スライド3から得られたので、腫瘍境界13は、分解画像8のためにも同一である。
次のステップ604において、スコアは、画像5から8のそれぞれのために個別に計算される。それぞれの腫瘍注釈がつけられた領域境界内に位置するピクセルのみが、それぞれのスコアの計算のために用いられる。例えば、スコアAは、腫瘍境界11内に位置するピクセルのみを用いて、画像5のために計算される。同様に、スコアBは、画像6の腫瘍境界12内に位置するピクセルのみを用いて、画像6のために計算される。スコアCは、腫瘍境界13内に位置するピクセルのみを用いて、画像7のために計算される。スコアDは、画像7においてと同一の境界13内の同じピクセル位置を用いて、画像8のために計算される。
個々の画像のスコアは、分析アルゴリズムを用いて計算され、その画像のそれぞれの境界内の腫瘍細胞、及び、マーカーで染色された腫瘍細胞のサブグループを識別してもよい。次に、その画像のスライドスコアは、これらの検出に基づいて生成される。
以下において、リスク分類スコアは、個々の画像スコアA、B、C及びDを用いて計算される。これらのスコアA、B、C及びDを組み合わせることにより、リスク分類スコアが得られる。
個々のスコアを計算し、それらを組み合わせて単一のスコア、すなわちリスク分類スコアに計算することは、患者のための生存転帰データ16に対する、例えば個々のスコアA、B、C、Dの統計コックスモデルフィッティングによって得られる。スコアA、B、C及びDは、患者の生存データ16とともに統計モデル10に入力される。この手順は、患者のコホートのすべての患者のために実行される。
次に、統計モデル10は、これらのデータ入力を用いてフィッティングされ、データベース(図1のデータベース116参照)に格納されてもよい一組のモデルのパラメータ17を提供する。
どのようにスコアを組み合わせ、単一のリスク分類スコアを計算するかに関する重み、すなわちパラメータ値は、訓練コホートのための生存転帰データに対して、組織スコアの統計コックスモデルフィッティングを行うことによって得られる。それゆえ、我々が見出す重みは、重みが用いられるワークフローに依存するため、従来技術で発表されるものと全く異なる。
特に、重みは、Ki67ホットスポット分析によって用いられる重みに対する全腫瘍分析と異なる。
本発明の実施形態に従って、画像5は、H&Eスライドから得られる。腫瘍境界検出は、H&Eで染色されたスライドを用いて、腫瘍境界11を検出する画像処理アルゴリズムを画像5に適用することによって、又は、手動入力によって実行される。次に、腫瘍境界12及び13は、腫瘍境界11を用いて、画像6及び7においてそれぞれ識別される。例えば、画像6及び7は、異なる染色を有し、腫瘍境界の検出がH&E画像5においてより困難な組織スライドから得られる。
画像5の腫瘍境界11を、例えば、マーカー間レジストレーションによって、それぞれの腫瘍境界12及び13の検出のための入力値として用いることは、画像6及び7内の腫瘍境界の検出を容易にし、より正確な結果を提供する。これは、「A robust method for inter−marker whole slide registration of digital pathology images using lines based features(ラインに基づく特徴を用いてデジタル病理学画像のマーカー間全スライドレジストレーションのためのロバストな方法)」、Sarkar A.、Ventana Med. Syst., Inc.、マウンテンビュー、カリフォルニア州、米国;Quan Yuan、Srinivas C.、2014年4月29日−2014年5月2日、762−765ページ、INSPEC Accession Number:15114877(http://ieeexplore.ieee.org/xpl/login.jsp?tp=&arnumber=6867982&url=http%3A%2F%2Fieeexplore.ieee.org%2Fxpls%2Fabs_all.jsp%3Farnumber%3D6867982)に従って達成されてもよい。
生存データ16を含む、入力データを用いた統計モデル10のフィッティングは、以下の従来技術から公知である。「Analysis of Survival Data under the Proportional Hazards Model(比例ハザードモデルによる生存データの分析)」、N. E. Breslow、「International Statictical Review(国際統計レビュー)」第43巻、第1号(1975年4月)、45−57ページ、国際統計協会(ISI)出版、DOI:10.2307/1402659(http://www.jstor.org/stable/1402659)参照。
図6に示される方法の実行の結果、フィッティングされた統計モデル10が得られる。
図7は、フィッティングされた統計モデル10が利用される画像処理方法を示す。図6の方法に類似して、生検組織サンプル4’は、患者のために処理される。統計モデル10を生成するように機能した、患者のコホートのために行われたのと同一の方法で、生検組織サンプル4’は、スライスされ、組織スライド1’、2’及び3’を提供する。
同様に、次のステップ600、602、604もまた、生検組織サンプル4’が得られたその患者の組織スライド1’、2’及び3’からの結果であるそれぞれの画像5’、6’、7’及び8’においてと同一の方法で実行される。
結果として生じるスコアA、B、C及びDは、フィッティングされる統計モデル10に入力される。パラメータ17は、メモリ、例えばデータベース116(図1参照)から読み出され、統計モデル10は、例えばシステム100(図1参照)によって、パラメータ17及び入力スコアA、B、C及びDを用いて、自動的に実行される。その結果、統計モデル10は、出力値18、すなわち、パーセンテージ値又は0と1との間の値でもよいリスク分類スコアを提供する。
次に、出力値18は、プログラムモジュール19の実行によって、システム100により閾値化される。モジュール19によって閾値化動作を実行するために用いられる閾値は、統計モデル10の生成のために収集された臨床データに基づいて決定されたカットオフポイントである。
閾値化モジュール19により出力される結果の出力信号20は、二進であり、これにより、例えば、論理「0」は、生検組織サンプル4’が得られた患者は、ローリスクの患者グループに属するので、その患者の癌の再発が予想されないことを示し、一方、信号20の論理値「1」は、患者がハイリスクのグループに属するので、薬の投与、例えば、補助化学療法剤が推奨されることを示してもよい。
本発明のさらなる実施形態に従って、画像5及び5’は、Ki−67で染色された組織スライドから得られる。腫瘍及び腫瘍境界の代わりに、Ki−67ホットスポット及びKi−67ホットスポット境界は、上述した手順に類似して画像内で検出される。
本開示の例示的実施形態の上述した開示は、図示及び説明のために示された。包括的であること又は本開示を開示された形のみに制限することは意図していない。本願明細書に記載される実施形態の多くの変形及び修正は、上述した開示を考慮して当業者にとって明らかである。本開示の範囲は、本願明細書に添付された請求項及びそれらの等価物のみによって定義されるものである。
さらに、本開示の代表的な実施形態を記載する際、明細書は、本開示の方法及び/又はプロセスをステップの特定の順序として提示してきたかもしれない。しかしながら、方法又はプロセスが本願明細書に記載されるステップの特定の順番に依存しない程度に、方法又は方法は、記載されるステップの特定の順序に限定されるべきではない。当業者が認識するように、ステップの他の順序も可能である。それゆえ、明細書に記載されるステップの特定の順番は、請求項に対する制限として解釈されるべきではない。さらに、本開示の方法及び/又はプロセスに関する請求項は、記載された順序でそれらのステップが実行されることに限定されるべきではなく、順序が変化してもよく、順序が変化しても、本開示の精神及び範囲内のままであることを当業者は容易に認めることができる。

Claims (13)

  1. 所定のワークフローに従って、患者の癌生検組織サンプル(4’)を分析するデジタル病理学方法であって、
    a)前記生検組織サンプルの組織病理に関する組織スライド(1’、2’、3’)から複数の画像(5’、6’、7’、8’)を取得するステップと、
    b)前記画像(5’)の1つ内の腫瘍又はホットスポットの境界(11’)を検出するステップであって、前記画像の前記1つに、画像処理アルゴリズムを実行することによって、又は、前記画像の前記1つのために、前記腫瘍もしくは前記ホットスポットの前記境界を表す注釈を手動で入力することによって、検出するステップと、
    c)前記検出された境界(11’)を用いて、例えばマーカー間レジストレーションによって、他の画像(6’、7’、8’)のそれぞれ内の前記腫瘍又は前記ホットスポットの前記境界(11’、12’、13’)を識別するステップと、
    d)前記画像のそれぞれのためのスライドスコア(A、B、C、D)を計算するステップであって、前記画像の1つのための前記スライドスコアの前記計算は、その画像の前記腫瘍又は前記ホットスポットの前記境界内の前記画像の前記1つの画像部分のみを用いて実行されるステップと、
    e)前記スライドスコアを、癌再発リスクをモデル化する統計モデル(10)に入力するステップと、
    f)前記スライドスコアを用いた前記統計モデル(10)によってリスク分類スコア(18)を計算するステップと、
    g)前記リスク分類スコアの閾値化(19)によって信号(20)を生成するステップであって、前記信号は、補助化学療法剤のような薬の投与の要件を前記患者に癌再発の回避のために表し、前記リスク分類スコアの閾値化は前記リスク分類スコアのカットオフポイントを決定することを含み、前記リスク分類スコアのカットオフポイントを決定することは、訓練患者サンプルの組を、ローリスクのグループ及びハイリスクのグループの間のカプランマイヤー生存確率推定曲線の間の分離を最大にすることによって、前記ローリスクのグループ及び前記ハイリスクのグループへと最適に分類することを含む、ステップと、
    を含み、
    前記統計モデルは、癌患者のコホートの内の各患者の各癌生検組織サンプルについてステップa)からe)を実行することに基づいて生成され、ステップe)は、前記各患者の生存データを入力することと、前記統計モデルのパラメータ値を提供するために前記入力されたスコア及びそれぞれの生存データを用いて前記統計モデルをフィッティングすることと、前記パラメータ値をメモリに格納することとをさらに含方法。
  2. 前記腫瘍が前記ステップb)において検出される前記画像の前記1つは、H&E画像であり、前記境界(11’)は、病理学者によって手動で注釈がつけられる、又は、前記H&E画像内でアルゴリズム的に検出され、さらなる境界(12’、13’)は、前記H&E画像内で検出される前記腫瘍境界(11’)を用いて、例えばマーカー間レジストレーションによって識別される、請求項1に記載の方法。
  3. 前記ホットスポットが前記ステップb)において検出される前記画像の前記1つは、Ki−67画像であり、ステップc)の前記他の画像内の前記ホットスポット境界の識別は、前記Ki−67画像内で検出される前記ホットスポット境界(11’)を用いて、例えばマーカー間レジストレーションによって実行される、請求項に記載の方法。
  4. 前記組織スライドは、生物学的特徴の前記識別のために染色によってマークされ、前記組織スライド(3’)の1つは、マルチチャネル画像の前記取得のために複数の染色によってマークされ、前記方法は、前記マルチチャネル画像を分解し、一組の分解画像(7’、8’)を提供するステップをさらに含み、前記腫瘍又はホットスポット境界検出は、前記分解画像のために一度だけ実行され、それによって、前記分解画像の1つ(7’)のために得られた前記境界検出の結果は、前記分解画像の他の1つ(8’)にマッピングされる、請求項1からのいずれか一項に記載の方法。
  5. 前記統計モデルは、比例ハザードモデルであり、前記統計モデルは、コックス比例ハザードモデルであり、前記方法は、前記コックス比例ハザードモデルのパラメータ(17)をデータベース(116)に格納するステップと、前記リスク分類スコアの入力に応答して、前記パラメータを前記データベースから読み出すステップと、癌再発リスク値を計算するために、前記パラメータを実行可能プログラムコード(114)に入力するステップと、をさらに含む、請求項1からのいずれか一項に記載の方法。
  6. ステップc)は、第1の組織スライドの前記画像の前記1つ上の注釈がつけられた1つ又は複数の腫瘍領域を、前記組織病理に関する組織スライドの前記他の画像の各々にマッピングするステップであって、前記組織スライドの前記他の画像の各々は、組織塊からの連続切片に対応するステップを含み
    ステップd)は、各組織スライド上の1つ又は複数の腫瘍マーカー又は免疫細胞又は間質細胞の発現に基づいて、前記組織病理に関する組織スライドの前記他の画像の各々について前記スライドスコア計算するステップを含み
    ステップf)は、前記リスク分類スコアを計算し、一組の係数を用いて、前記組織スライドから、前記スライドスコアを組み合わせるステップを含み、
    者は、前記リスク分類スコアの前記カットオフポイントに基づいて、前記ーリスクのグループ又は前記イリスクのグループに分類され得て、
    前記第1の組織スライドの前記画像上の視野を選択し、スライドスコアを計算するステップであって、前記一組の係数は前記視野に基づいて選択され、前記一組の係数は、前記コホートに含まれる複数の患者の前記生存データに対する、考慮された組の組織スライドについて計算される前記スライドスコアに対して、コックス比例ハザードモデルをフィッティングすることから導出され、前記一組の係数は前記パラメータ値であり、前記コックス比例ハザードモデルは前記統計モデルである、ステップ
    をさらに含む請求項1に記載の方法。
  7. 前記視野は、全腫瘍又はホットスポット選択を備える、請求項に記載の方法。
  8. 記コホートは、前記生存データを備え、特定の染色及び走査プロトコル、注釈生成、前記複数の患者に対応する画像及びデータ分析ワークフローを有する組織マーカースライドを備える、請求項に記載の方法。
  9. ステップc)は、H&E組織スライドの画像上の注釈がつけられた1つ又は複数の腫瘍領域を、IHC組織スライドの複数の画像の各々にマッピングするステップであって、IHC組織スライドの前記複数の画像は、組織塊からの連続切片に対応するステップを含み
    ステップd)は、IHC組織スライドの前記複数の画像の各々内の1つ又は複数の腫瘍マーカーの発現に基づいて、IHC組織スライドの前記複数の画像の各々について前記スライドスコア計算するステップを含み
    ステップf)は、一組の係数を用いて、IHC組織スライドの前記複数の画像のための前記リスク分類スコアを計算するステップであって、患者は、前記リスク分類スコアの前記カットオフポイントに基づいて、前記ーリスクのグループ又は前記イリスクのグループに分類され得るステップを含み
    前記リスク分類スコアを計算するための前記一組の係数は、前記コホートに含まれる複数の患者の前記生存データに対する、前記IHC組織スライドの前記スライドスコアに対して、コックス比例ハザードモデルを統計的にフィッティングすることから導出され、前記一組の係数は前記パラメータ値であり、前記コックス比例ハザードモデルは前記統計モデルである、請求項1に記載の方法。
  10. ステップc)は、ki67組織スライドの画像上の注釈がつけられた1つ又は複数のFoVを、IHC組織スライドの複数の画像の各々にマッピングするステップであって、IHC組織スライドの前記複数の画像は、組織塊からの連続切片に対応するステップを含み
    ステップd)は、IHC組織スライドの前記複数の画像の各々の1つ又は複数のFoVの発現に基づいて、IHC組織スライドの前記複数の画像について前記スライドスコアを計算するステップを含み
    ステップf)は、一組の係数を用いて、IHC組織スライドの前記複数の画像のための前記リスク分類スコアを計算するステップであって、患者は、前記リスク分類スコアの前記カットオフポイントに基づいて、前記ーリスクのグループ又は前記イリスクのグループに分類され得るステップを含み
    前記リスク分類スコアを計算するための前記一組の係数は、前記コホートに含まれる複数の患者の前記生存データに対する、前記IHC組織スライドの前記スライドスコアに対して、コックス比例ハザードモデルを統計的にフィッティングすることから導出され、前記一組の係数は前記パラメータ値であり、前記コックス比例ハザードモデルは前記統計モデルである、請求項1に記載の方法。
  11. 請求項1から10のいずれか1項に記載の方法の実行のために構成された、患者の癌生検組織サンプルを分析するための画像処理システム(100)。
  12. プロセッサと、
    前記プロセッサに接続されるメモリであって、前記プロセッサにより実行されると前記プロセッサに前記方法を実行させるコンピュータ可読命令を格納する、メモリと
    を備える、請求項11に記載のシステム。
  13. 請求項1から10のいずれか1項に記載の方法を実行するためにプロセッサにより実行されるコンピュータ可読コードを格納する、有形の非一時的コンピュータ可読媒体。
JP2017529789A 2014-12-03 2015-12-03 早期癌予知のための計算病理学システム及び方法 Active JP6650453B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462087229P 2014-12-03 2014-12-03
US62/087,229 2014-12-03
PCT/EP2015/078541 WO2016087592A1 (en) 2014-12-03 2015-12-03 Systems and methods for early-stage cancer prognosis

Publications (2)

Publication Number Publication Date
JP2018504674A JP2018504674A (ja) 2018-02-15
JP6650453B2 true JP6650453B2 (ja) 2020-02-19

Family

ID=54834807

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017529789A Active JP6650453B2 (ja) 2014-12-03 2015-12-03 早期癌予知のための計算病理学システム及び方法

Country Status (6)

Country Link
US (2) US11257209B2 (ja)
EP (1) EP3227833A1 (ja)
JP (1) JP6650453B2 (ja)
AU (1) AU2015357091A1 (ja)
CA (1) CA2965431C (ja)
WO (1) WO2016087592A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102246319B1 (ko) 2021-01-07 2021-05-03 주식회사 딥바이오 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014235494A (ja) * 2013-05-31 2014-12-15 富士ゼロックス株式会社 画像処理装置及びプログラム
WO2015069827A2 (en) * 2013-11-06 2015-05-14 H. Lee Moffitt Cancer Center And Research Institute, Inc. Pathology case review, analysis and prediction
EP3155592B1 (en) * 2014-06-10 2019-09-11 Leland Stanford Junior University Predicting breast cancer recurrence directly from image features computed from digitized immunohistopathology tissue slides
CN107924462A (zh) * 2015-08-24 2018-04-17 皇家飞利浦有限公司 数字病理学中的服务器‑客户机架构
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
SG10201911357VA (en) * 2016-03-14 2020-01-30 Somalogic Inc Compounds and methods for the synthesis of 5-(n-protected-tryptaminocarboxyamide)-2'-deoxyuridine phosphoramidate for incorporation into a nucleic sequence
RU2019100441A (ru) * 2016-06-13 2020-07-14 Конинклейке Филипс Н.В. Способ логического вывода об активности транскрипционного фактора пути сигнальной трансдукции у субъекта
US10572996B2 (en) * 2016-06-28 2020-02-25 Contextvision Ab Method and system for detecting pathological anomalies in a digital pathology image and method for annotating a tissue slide
US10846850B2 (en) 2016-07-25 2020-11-24 The Doshisha Morbidity diagnosis support system, morbidity diagnosis data-generating system, and morbidity diagnosis support method
JP2019533149A (ja) * 2016-09-23 2019-11-14 ヴェンタナ メディカル システムズ, インク. 腫瘍試料中の細胞外マトリックスバイオマーカーをスコアリングするための方法及びシステム
WO2018065434A1 (en) * 2016-10-07 2018-04-12 Ventana Medical Systems, Inc. Digital pathology system and associated workflow for providing visualized whole-slide image analysis
EP3532984B1 (en) * 2016-10-27 2024-05-08 Koninklijke Philips N.V. Apparatus for determining cellular composition information in one or more tissue samples
JP6670222B2 (ja) * 2016-11-01 2020-03-18 株式会社日立ハイテク 画像診断支援装置及びシステム、画像診断支援方法
CN110088804B (zh) 2016-12-22 2023-06-27 文塔纳医疗系统公司 基于原色和免疫组织化学图像的计算机评分
US10663711B2 (en) 2017-01-04 2020-05-26 Corista, LLC Virtual slide stage (VSS) method for viewing whole slide images
US10573003B2 (en) * 2017-02-13 2020-02-25 Amit Sethi Systems and methods for computational pathology using points-of-interest
US10108845B2 (en) 2017-03-02 2018-10-23 Hong Kong Applied Science and Technology Research Institute Company Limited Anomaly detection for medical samples under multiple settings
US10650520B1 (en) 2017-06-06 2020-05-12 PathAI, Inc. Systems and methods for training a statistical model to predict tissue characteristics for a pathology image
US11195274B2 (en) 2017-08-03 2021-12-07 Nucleai Ltd Systems and methods for analysis of tissue images
US11361868B2 (en) * 2017-08-16 2022-06-14 The Johns Hopkins University Abnormal tissue detection via modal upstream data fusion
GB2569103A (en) * 2017-11-16 2019-06-12 Univ Oslo Hf Histological image analysis
WO2019103912A2 (en) 2017-11-22 2019-05-31 Arterys Inc. Content based image retrieval for lesion analysis
EP3721406B1 (en) * 2017-12-05 2024-01-24 Ventana Medical Systems, Inc. Method of computing tumor spatial and inter-marker heterogeneity
WO2019121564A2 (en) 2017-12-24 2019-06-27 Ventana Medical Systems, Inc. Computational pathology approach for retrospective analysis of tissue-based companion diagnostic driven clinical trial studies
US11593656B2 (en) 2017-12-31 2023-02-28 Astrazeneca Computational Pathology Gmbh Using a first stain to train a model to predict the region stained by a second stain
WO2019170493A1 (en) * 2018-03-08 2019-09-12 Koninklijke Philips N.V. Interactive self-improving annotation system for high-risk plaque burden assessment
WO2019197509A1 (en) 2018-04-13 2019-10-17 Ventana Medical Systems, Inc. Systems for cell shape estimation
EP3815040A4 (en) * 2018-05-21 2022-03-02 Corista LLC MULTIPLE SAMPLE BULK SLIDE IMAGE PROCESSING USING MULTIPLE RESOLUTION REGISTRATION
US11836998B2 (en) 2018-05-24 2023-12-05 University of Pittsburgh—of the Commonwealth System of Higher Education Predicting cancer recurrence from spatial multi-parameter cellular and subcellular imaging data
EP3611695A1 (en) * 2018-08-15 2020-02-19 Koninklijke Philips N.V. Generating annotation data of tissue images
US20210358585A1 (en) * 2018-08-28 2021-11-18 Koninklijke Philips N.V. Method and system for cancer stage annotation within a medical text
CN109379762B (zh) * 2018-09-10 2021-09-14 中国联合网络通信集团有限公司 一种随机信号数据统计方法和系统
US11462325B2 (en) * 2018-09-29 2022-10-04 Roche Molecular Systems, Inc. Multimodal machine learning based clinical predictor
WO2020075172A1 (en) * 2018-10-10 2020-04-16 Ibex Medical Analytics Ltd. System and method for personalization and optimization of digital pathology analysis
WO2020081343A1 (en) 2018-10-15 2020-04-23 Ventana Medical Systems, Inc. Systems and methods for cell classification
JP7175158B2 (ja) * 2018-10-29 2022-11-18 アークレイ株式会社 情報処理装置、測定システム、及びプログラム
KR20200117222A (ko) * 2019-04-03 2020-10-14 서울대학교병원 병리 진단 지원 장치 및 방법
KR102237696B1 (ko) * 2019-04-29 2021-04-08 계명대학교 산학협력단 자궁경부암 세포 영상 자동 분석을 위한 인공지능 컴퓨터 보조 진단 시스템 및 그 제어 방법
KR102403397B1 (ko) * 2019-05-31 2022-05-31 페이지.에이아이, 인크. 디지털 병리학을 위한 슬라이드들의 처리된 이미지들을 자동으로 우선순위화하기 위해 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들
EP3761032A1 (en) * 2019-07-03 2021-01-06 Xyall B.V. Determining region(s) for tissue dissection in pathology slides
US20210027890A1 (en) * 2019-07-24 2021-01-28 ConnSante BioTech, Inc. Detecting, evaluating and predicting system for cancer risk
US12008747B2 (en) * 2019-07-29 2024-06-11 Case Western Reserve University Population-specific prediction of prostate cancer recurrence based on stromal morphology features
EP4028990A1 (en) * 2019-09-09 2022-07-20 PAIGE.AI, Inc. Systems and methods for processing images of slides to infer biomarkers
CN112712875B (zh) * 2019-10-25 2022-12-02 台湾中国医药大学附设医院 迁移学习辅助预测系统及方法
TWI726459B (zh) * 2019-10-25 2021-05-01 中國醫藥大學附設醫院 遷移學習輔助預測系統、方法及電腦程式產品
US11482335B2 (en) * 2019-12-18 2022-10-25 Pathomiq Inc. Systems and methods for predicting patient outcome to cancer therapy
CA3161179C (en) * 2020-01-28 2024-01-09 Brandon Rothrock Systems and methods for processing electronic images for computational detection methods
CN111413504B (zh) * 2020-04-03 2022-01-28 河北医科大学第四医院 一种辅助判读ki67增殖指数的标准比对卡
CN113628157A (zh) * 2020-05-06 2021-11-09 德克萨斯大学体系董事会 利用病理图像来表征肿瘤微环境的系统和方法
CN111657945B (zh) * 2020-06-16 2023-09-12 中南大学湘雅医院 一种基于增强mri影像组学的鼻咽癌预后辅助评估方法
US11721428B2 (en) * 2020-07-06 2023-08-08 Exini Diagnostics Ab Systems and methods for artificial intelligence-based image analysis for detection and characterization of lesions
AU2021325900A1 (en) * 2020-08-13 2023-04-20 PAIGE.AI, Inc. Systems and methods to process electronic images for continuous biomarker prediction
CN112289455A (zh) * 2020-10-21 2021-01-29 王智 一种人工智能神经网络学习模型构建系统、构建方法
WO2022201415A1 (ja) * 2021-03-25 2022-09-29 日本電気株式会社 検査支援装置、検査支援システム、検査支援方法、および記録媒体
TWI778718B (zh) * 2021-07-21 2022-09-21 台達電子工業股份有限公司 用於檢體玻片的刮取指引系統及其方法
CN113764101B (zh) * 2021-09-18 2023-08-25 新疆医科大学第三附属医院 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统
SE2151185A1 (en) * 2021-09-28 2023-03-29 Stratipath Ab System for cancer progression risk determination
WO2023201054A1 (en) * 2022-04-15 2023-10-19 Memorial Sloan-Kettering Cancer Center Multi-modal machine learning to determine risk stratification
CN114998348B (zh) * 2022-08-03 2022-11-01 南方医科大学南方医院 一种计算机可读存储介质及直肠癌预后预测模型构建系统
CN116862861B (zh) * 2023-07-04 2024-06-21 浙江大学 一种基于多组学的胃癌治疗疗效的预测模型训练、预测方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5663873B2 (ja) * 2007-03-01 2015-02-04 日本電気株式会社 乳癌病理画像診断支援システム、乳癌病理画像診断支援方法、乳癌病理画像診断支援プログラム、及び、乳癌病理画像診断支援プログラムを記録した記録媒体
US8787651B2 (en) * 2010-09-28 2014-07-22 Flagship Biosciences, LLC Methods for feature analysis on consecutive tissue sections
US10408846B2 (en) * 2012-05-15 2019-09-10 Novartis Ag Quantitative methods and kits for providing reproducible IHC4 scores
ES2639559T3 (es) * 2012-12-28 2017-10-27 Ventana Medical Systems, Inc. Análisis de imágenes para el pronóstico de cáncer de mama
EP2973396B1 (en) 2013-03-14 2018-10-10 Ventana Medical Systems, Inc. Whole slide image registration and cross-image annotation devices, systems and methods
WO2014140085A1 (en) 2013-03-15 2014-09-18 Ventana Medical Systems, Inc. Tissue object-based machine learning system for automated scoring of digital whole slides

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102246319B1 (ko) 2021-01-07 2021-05-03 주식회사 딥바이오 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템

Also Published As

Publication number Publication date
WO2016087592A1 (en) 2016-06-09
JP2018504674A (ja) 2018-02-15
AU2015357091A1 (en) 2017-04-27
CA2965431A1 (en) 2016-06-09
US20170270666A1 (en) 2017-09-21
US11257209B2 (en) 2022-02-22
CA2965431C (en) 2023-05-16
US20220156930A1 (en) 2022-05-19
EP3227833A1 (en) 2017-10-11

Similar Documents

Publication Publication Date Title
JP6650453B2 (ja) 早期癌予知のための計算病理学システム及び方法
US11288795B2 (en) Assessing risk of breast cancer recurrence
JP7241723B2 (ja) 免疫スコアを計算するためのシステム及び方法
JP7406745B2 (ja) コンピュータ検出方法のための電子画像を処理するためのシステムおよび方法
Viswanathan et al. The state of the art for artificial intelligence in lung digital pathology
Song et al. Artificial intelligence for digital and computational pathology
JP2017529513A (ja) 複数の染色で染色されている生物組織サンプルから取得されるマルチチャネル画像を分析するための画像処理方法及びシステム
JP7376882B2 (ja) バイオマーカ位置特定のための電子画像を処理するためのシステムおよび方法
JP2008513793A (ja) ガンの予後のためのマーカー候補を分析および最適化するための方法およびコンピュータープログラム製品
Locke et al. Companion diagnostic requirements for spatial biology using multiplex immunofluorescence and multispectral imaging
Rakha et al. Digital technology in diagnostic breast pathology and immunohistochemistry
Kårsnäs et al. A histopathological tool for quantification of biomarkers with sub-cellular resolution
Grote et al. Exploring the spatial dimension of estrogen and progesterone signaling: detection of nuclear labeling in lobular epithelial cells in normal mammary glands adjacent to breast cancer
Pilutti et al. An adaptive positivity thresholding method for automated Ki67 hotspot detection (AKHoD) in breast cancer biopsies
Sabata Digital pathology imaging-The next frontier in medical imaging
Kung Assessing a hyperspectral image analysis system to study tumor and immune cell spatial organizations within lung tumor microenvironments
US20240212146A1 (en) Method and apparatus for analyzing pathological slide images
JP2024522094A (ja) 空間分布解析に基づく腫瘍免疫表現型検査
Dubey et al. Pathology for gastrointestinal and hepatobiliary cancers using artificial intelligence

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200120

R150 Certificate of patent or registration of utility model

Ref document number: 6650453

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250