JP6745874B2 - 組織認識のための方法および装置 - Google Patents

組織認識のための方法および装置 Download PDF

Info

Publication number
JP6745874B2
JP6745874B2 JP2018514783A JP2018514783A JP6745874B2 JP 6745874 B2 JP6745874 B2 JP 6745874B2 JP 2018514783 A JP2018514783 A JP 2018514783A JP 2018514783 A JP2018514783 A JP 2018514783A JP 6745874 B2 JP6745874 B2 JP 6745874B2
Authority
JP
Japan
Prior art keywords
data
image
tissue
image data
comparator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018514783A
Other languages
English (en)
Other versions
JP2018535470A (ja
JP2018535470A5 (ja
Inventor
ハミルトン，ピーター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2018535470A publication Critical patent/JP2018535470A/ja
Publication of JP2018535470A5 publication Critical patent/JP2018535470A5/ja
Application granted granted Critical
Publication of JP6745874B2 publication Critical patent/JP6745874B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、組織試料の細胞学的および組織学的分析に関し、より詳細には、たとえば染色された組織試料の顕微鏡画像の分析方法およびそのための装置に関する。より詳細には、本開示は、デジタル病理学および全スライドグラス画像化（while slide imaging）のための顕微鏡画像のデジタル画像処理に関する。
仮想顕微鏡法または仮想病理学とも称されることのできるデジタル病理学は、デジタル情報の管理、分析、解釈に関する。本開示は、「機械視覚（machine vision）」および「電算化画像理解（computerised image understanding）」の方法の、組織分析および癌検出における応用に関する。本開示は、複数解像度での問い合わせおよびパターン駆動の分析（たとえばデータ中のパターンが処理機能を方向付ける）ならびに選択的画像処理（グローバルな処理の低減およびデジタル画像処理機能の選択的適用）にも関する。
プロセスは、スライドグラスの生成およびデジタル病理学解決策を使ってそれをデジタル病理学スライドに変換することに関わる。次いでデジタル・スライド・スキャンが生成され、それがデジタル病理学画像の高分解能での閲覧、解釈および画像分析を許容する。デジタル病理学解決策における成長により、研究施設がスライドグラスをどのように管理し、解釈するかは大きく変容し、組織学的画像の分析および解釈は今やコンピュータ画面上で実施される。
グローバルに勢いを得ているデジタル病理学は、健康および薬学セクター、教育および契約研究機関を横断して使われている。広範にわたる応用があるこの洗練された技術の実現された恩恵は、デジタル病理学解決策の市場の急成長を促した。市場規模は2020年までには57億ドルになると推定されている。
全スライド画像化およびデジタル病理学は、顕著な進行中の研究分野である。本願の方法はこの技術分野における新たな発達を寄与する。細胞核分析（cytonuclear analysis）は、ヘマトキシリンおよびエオシンで染色した組織試料内での細胞境界および核境界の自動化された認識に関わる。これは、色デコンボルーションのプロセスによって達成でき、さらに処理されて核のような生物学的オブジェクトを識別しうる。一般に、核は、ヘマトキシリンおよびエオシンで染色した組織試料において最も容易に識別できる構成要素である。この細胞核分析は、正確な診断を提供することにおける基本的なツールである。
正確な診断を提供できることは、ヘルスケアの提供にとって決定的に重要である。癌のような疾病の存在を識別するための生検はそのような診断における有用なツールである。生検は、精密医療またはパーソナル化医療のコンテキストでは、患者における疾病の将来の発達および治療に対する患者応答の両方について予測をすることも可能にしうる。正確な予後評価も、疾病のさらなる発達に対抗する行動を取ることを可能にするので、決定的に重要である。組織試料の顕微鏡画像は多年にわたってこれらの目的のために使われてきた。
多数の顕微鏡撮像システムがこの目的のために開発されており、それぞれ独自の特性がある。全スライド画像化システムは、巨視的な組織試料を横断して顕微鏡の視野を走査して一連のデジタル画像を得ることによって、顕微鏡スライド全体のデジタル画像を取得する。その際、結果として得られるデジタル画像は一緒に連結されて、顕微鏡スライド全体を記述する単一の画像または画像集合を与える。同じ手法によって、スライドの部分画像を得ることもできる。
これらの種類の画像に基づいて診断を下す病理医は定性的な判断に頼ることがある。そのような判断は、彼らの科学的知識や個人的経験に基づくことがある。これは必然的に主観的なプロセスとなる。結果として、診断、予後評価、予測評価、臨床試験のための患者の選択および新たなバイオマーカーの発見および検証は、必ずしも再現性がない――異なる病理医は組織試料の同一の画像に基づいて異なる判断をすることがあるのである。
診断上の判断をする際、大きな組織試料に関わることがあるので、病理医のタスクは一層難しくなる。そのような場合、単一の患者からの何十、またさらには何百もの顕微鏡画像が分析される必要があることがあり、場合によっては、これら多数の顕微鏡画像の諸領域を複数の解像度で吟味する必要があることがある。特に前立腺のような身体の比較的大きな領域から多数の組織生検が取られた場合はそうである。これらの問題は、再現性の問題を複雑にする。同じ患者の組織試料を評価する二人の異なる病理医が同じ組織試料の異なる画像の異なる領域の特徴を考慮することがありうるからである。
組織試料が得られた条件および当該試料が撮像される前の当該試料の処置（たとえば当該試料に加えられる染料の濃度で表わす）、画像を取得するために使われた撮像システムおよび画像アーチファクトの存在はみな、画像間の変動を引き起こしうる。骨の折れる分析が要求されるが、人間の病理医は、少なくとも、直観的にそのような混乱要因を斟酌することができる。よって、人間の病理医による評価の主観的な性質は、問題はあるが、少なくとも、画像間変動のこれらの問題に対処する一つの方法を提供する。直観的な判断に対するかかる必要性は、顕微鏡画像の診断上および予後の評価のストレートな自動化を妨げる。
克服すべきさらなる障害もある。
本発明の諸側面および例は請求項に記載され、上記で概説したような技術的課題に対処することをねらいとしている。本発明の諸側面および例は本稿でも記述される。
本開示の実施形態について、これから、単に例として、付属の図面を参照して述べる。
画像データを取得し、解析する方法を示すフローチャートである。 画像処理装置の機能的なブロック図である。 画像データを解析する方法を示すフローチャートである。 画像データを解析するさらなる方法を示すフローチャートである。 図４の方法の例を示すフローチャートである。 画像処理装置の非常に概略的な図解である。 画像処理装置の機能的なブロック図である。 図面において、同様の参照符号が同様の要素を指すために使われる。
本稿では、ヘマトキシリンおよびエオシンで染色した画像の解析を実行でき、異なる組織型をそれらの複雑なパターンに基づいて識別し、特定の組織型内での異なる型の疾病を識別し、これらの画像において捕捉された健康状態および疾病状態における異なる組織構造を解剖学的知識に基づいて認識することができ、画像の内容を数学的演算子および比較器データを使って解析することのできる画像解析および組織認識システムが開示される。
本開示の実施形態は、画像間の客観的な比較を可能にすることをねらいとし、顕微鏡画像に基づく自動化された診断ならびに予測および予後両方の評価の計算効率を改善することをねらいとする画像処理方法および装置に関する。これは、画像を解析し、画像の、関心対象でないセクションを除外し、次いで画像の、関心対象であるセクションに対してさらなる解析を実行することによってなされる。
これを達成するために、コンピュータが、画像が含んでいる画像データの型を示す記述子データを取得し、その画像データにおける構造を識別するよう構成されている画像演算子を、記述子データに基づいて選択する。たとえば、この画像演算子は、閾値処理演算または、選択された範囲内の空間的長さスケールをもつ当該画像中のデータを識別する処理を含んでいてもよい。コンピュータは、画像演算子を画像に適用して、その画像のいくつかの離散的な空間領域からなる画像データの部分集合を同定する。これらの離散的な空間領域は、当該画像のエリア全部よりも少ない部分を含む。コンピュータはまた、前記記述子データに基づいて定量的画像メトリックの集合を選択し、もとの画像のそれぞれの離散的な空間領域における画像データに基づいて、前記定量的画像メトリックについての試料領域データを決定する。この試料領域データは、選択された定量的画像メトリックの値を含む。それは次いで、それらの同じ定量的画像メトリックの比較器データ値に対して比較される。比較結果に基づいて、コンピュータは、当該画像の唯一の離散的な空間領域またはそれぞれの離散的な空間領域がさらに解析されるべきかどうかを決定する。
この解析の基礎をなす離散的な空間領域、関心領域は、ひとたび同定されたら、再び組み合わされて、複合画像――あるいは組織のどのエリアがどの型の組織構造に対応するかを同定する組織のマップ――を提供してもよい。
関心領域のさらなる解析は、画像演算子を修正すること、あるいはその領域に異なる画像演算子を適用すること、次いでその画像領域の分類を試みる（あるいは再び試みること）を含んでいてもよい。他のようなそのような実施形態が本稿で開示される。
図１は、一つのそのようなコンピュータ実装される方法を示している。この方法では、コンピュータはまず、解析のための顕微鏡画像データを取得する（２）。この顕微鏡画像データは、全スライド画像を含んでいてもよい。画像データはしばしば、ヘマトキシリンおよびエオシンで染色された組織試料の顕微鏡スライド画像を定義するが、スライドは（HES染色でのように）サフランを使って染色されてもよい。データ自身は、コンピュータのメモリ内でデータ記憶から得られてもよく、および／またはネットワークを通じて受信されてもよい。このデータは、本方法の一部として、顕微鏡撮像システムによって組織試料から得られ、直接、コンピュータに通信されてもよい。画像データは、全スライドグラス画像化システムに由来してもよい。
コンピュータのメモリは、記述子データの複数の項目を定量的画像メトリックの対応する複数の集合にリンクするルックアップテーブルのような関連付けを有する。各記述子データ項目は、組織型〔組織種別〕の機械可読識別子を有する。関連付けは、各記述子データ項目を、その組織型に関連付けられた定量的画像メトリックの集合（または複数の集合）にリンクする。これにより、（記述子データによって同定されるところの）任意の所与の組織型の解析のために、正しい画像メトリックがメモリから取り出されることができる。各記述子データ項目は、比較器データ値の少なくとも一つの対応する集合とも関連付けられる。比較器データ値の各集合は、対応する記述子によって同定される型の組織に見出されることが知られている（または予期される）組織構造から得られる定量的画像メトリックの値を示す。
たとえば、記述子データは、乳房組織、前立腺組織、肺組織、膵臓組織および他の型の組織のような組織型を同定してもよい。本開示のコンテキストにおいて、これらの組織型のそれぞれが種々の型の構造を含みうることは理解されるであろう。よって、一般には、各記述子に二つ以上の比較器データ集合が関連付けられる。これらの比較器データ集合のそれぞれは、その組織型において存在すると知られている（または予期される）異なる組織構造を記述する。
したがって、各記述子は、コンピュータ・メモリにおいて（ａ）定量的画像メトリックの集合および（ｂ）それらの画像メトリックの比較器データ値の諸集合と関連付けられることが理解されるであろう。ここで、比較器値の各集合はその組織型における異なる構造を記述する。たとえば、乳房組織についての記述子は、定量的画像メトリックの集合と、脂肪組織、血管、管（duct）、小葉（lobule）、LCIS（lobular carcinoma in situ［非浸潤性小葉癌］）、DCIS（ductal carcinoma in situ［非浸潤性乳管癌］）およびおそらくは一つまたは複数の他の型の腫瘍のそれぞれについてのそれらのメトリックの対応する比較器データ値とに関連付けられてもよい。
これにより、（１）関連する画像メトリックを計算し、（２）それらのメトリックを比較器データ値と比較してマッチを見出すことによって、特定の構造、特に組織型が識別されることができる。これは、特定の組織型における異なる構造の間で区別をすることを可能にできる。比較器データは、記述子データによって同定される組織型に依存して：壊死、炎症細胞、有糸分裂、小葉、他の解剖学的構造、PIN（prostatic intraepithelial neoplasia［前立腺上皮内腫瘍］）、結腸直腸形成異常、浸潤性癌および一つまたは複数の他の型の腫瘍の一つまたは複数についての比較器データを含みうる。前癌性細胞と癌性細胞との間でさらなる区別がなされてもよく、前癌性細胞はたとえば、前癌性および癌性細胞とは異なる比較器データを有しうる。
これらの比較器集合のそれぞれは、定量的画像メトリックの集合について諸データ値を含む。たとえば、これらは、唯一のまたはそれぞれの対応する比較器組織構造について、次のリストから選択される一つまたは複数の項目を含みうる：細胞核面積（μm2）、核形状因子（たとえば、核の面積の周長に対する比）、細胞面積（μm2）、細胞形状因子、たとえば細胞面積と細胞周長の比、同定される細胞集団（populations）の数、細胞密度（単位面積当たりの諸オブジェクトの相対的な数に基づく）、光学密度、RGBデコンボルーションされたチャネルのグレー値、核テクスチャー特徴、腺面積（μm2）、腺形状、核の層化（nuclear stratification）、ドロネー三角形分割メトリックおよび／または画像中の特定の組織オブジェクトの数。
次いで、記述子データがコンピュータによって得られる（４）。たとえば、記述子データは顕微鏡画像データと一緒に提供されてもよく、あるいはその画像データと一緒にメモリに記憶されていてもよい。
次いで、記述子データを使って、コンピュータ・メモリ内のデータ記憶から、画像演算子が選択される。画像演算子は、選択された空間特性、たとえば選択された範囲内の空間的長さスケールをもつ画像データを識別するよう構成されていてもよい。画像演算子の例は、空間フィルタおよび特徴抽出演算子、たとえば形態学的〔モルフォロジカル〕フィルタ（その例はのちにより詳細に述べる）を含む。空間フィルタの例は、周波数領域演算子、たとえば空間的帯域通過フィルタ、たとえば低域通過フィルタ、たとえばガウシアン・フィルタを含む。本開示のコンテキストでは、そのような演算子は周波数領域で適用されてもよいことが理解されるであろう。これはたとえば、画像データを周波数領域に変換し、演算子を適用し、次いでフィルタリングされた画像データを画像領域に戻す変換をすることによる。空間フィルタの例は、画像カーネル、たとえば平滑化カーネルをも含む。これは画像領域で適用されてもよい。
画像演算子は、コンピュータによって、記述子データに基づき、かつ最初に識別されるべきその記述子に関連付けられた組織型内の構造の型に基づいて選択される（６）。たとえば、各記述子データ項目に関連付けられてメモリに複数の画像演算子が記憶されていてもよい。これらの画像演算子のそれぞれは、その組織型に見出されることが知られている（または予期される）構造に対応する長さスケール／形状特性をもつ画像領域を向上させるよう構成されていてもよい。
画像演算子のいくつかの例は、特定のサイズの特徴、たとえば選択された範囲内にはいる空間的長さスケールで変動する特徴を識別するよう構成されうる。この長さスケールは、識別されるべき構造の型（たとえば乳房組織のコンテキストでは乳管か乳腺小葉）に基づいて、あるいは記述子データによって同定される組織型における細胞の型に基づいて選ばれてもよい。
この目的のために使用されうる画像演算子の一例は、形態学的フィルタである。そのような形態学的フィルタの構造化要素のサイズおよび形状は、記述子データに基づいて選択されてもよい。たとえば、各記述子データ項目は、一つまたは複数の異なる形態学的フィルタと関連付けられてもよい。形態学的フィルタは、収縮〔エロージョン〕演算、膨張〔ダイレーション〕演算を提供するよう構成されてもよく、あるいは収縮および膨張演算の組み合わせを含んでいてもよい。該組み合わせは、収縮演算に膨張演算が続く「オープニング」演算または膨張演算に収縮演算が続く「クロージング」演算などである。そのような画像演算子および演算の使用は、組織試料に存在しうる主要な組織構造の解像（resolution）および識別を可能にしうる。さらに、種々の組織および細胞構造を識別するために使用されうる一連のメトリックを提供してもよい。これらはひいては組織試料における種々の病理を区別するために使われてもよい。これらの病理は、良性、前癌および／または癌性細胞でありうる腫瘍または異常細胞を含みうる。例として、乳癌がある場合、細胞核はずっと大きく、不規則で、より密であることがある。さらに、低異型DCISはまるまった、規則的またはやや不規則な核で、赤血球の約2または3倍の大きさを示すことがある。高異型DCISは、赤血球の少なくとも3倍の大きさでありうる不規則形状の核を示しうる。DCISパターンは、「篩型」、「マクロカピラリー型」および／または「充実型」を含んでいてもよく、これらのパターンのすべてを定量的および／または数値的に記述することが可能である。
どの画像演算子が選ばれても、コンピュータは次いで画像演算子を顕微鏡画像データに適用して（８）、フィルタリングされた画像データを取得する。フィルタリングされた画像データに含まれるある領域は、画像のその領域内の構造が、画像演算子によって選択される空間的特性をもたないため、画像強度が低下していることがある。よって、フィルタリングされた画像データに強度閾値を適用することによって、顕微鏡画像データのいくつかの離散的な空間領域が同定されることができる。これらの離散的な空間領域は、組織型のコンテキストにおいて該空間領域が一つまたは複数の可能な候補構造でありうることを含意しうる空間特性（たとえばサイズおよび／または形）を有することがある。たとえば、第一の画像演算子は、乳房組織管または非浸潤性乳管癌に対応するサイズおよび形状の構造を選択し、他の構造を抑制するよう適応された構造化要素を有する形態学的フィルタを含んでいてもよい。管およびDCISへの言及は単に例であり、脂肪組織、血管、間質細胞、上皮、腺、管、小葉、腫瘍パターンおよび一つまたは複数の型の腫瘍のような異なる組織構造を識別するために異なる画像演算子が適用されてもよいことは理解されるであろう。画像演算子がそれ自身、一連の構成要素となる演算子を含んでいてもよいことも理解されるであろう。たとえば、第一の構成要素演算子は上皮細胞を含む連続的な画像領域を識別して一緒につなぐ（たとえば併合する）よう構成された形態学的フィルタを含んでいてもよく；第二の構成要素演算子はつながれた連続的な画像領域のサイズおよび／または形状を、管のような選択された既知の構造についてのサイズおよび形状の範囲と比較してもよい。これらの実施形態において、フィルタリングされた画像データは、これらの選択された既知の構造にマッチする画像の領域を含んでいてもよく、画像データの他のマッチしない領域はフィルタリングされた画像データから除外されてもよい。
第一の画像演算子の適用後、コンピュータは次いで、定量的画像メトリックの関連する集合をメモリから、たとえば記述子データと、第一の画像演算子のサイズ／形状特性とに基づいて、選択する（１０）。定量的画像メトリックのこの集合は、その組織型に見出されると知られている（または予期される）サイズ／形状の構造についてのメトリックを含む。定量的画像メトリックのこの集合は、周波数領域メトリック、テクスチャー・メトリック、グレーレベル共起行列（GLCM: Gray-Level Co-Occurrence Matrix）メトリック、光学密度、色または他の任意の好適なメトリックを含むリストから選択される一つまたは複数の項目を含みうる。これらのメトリックは、唯一のまたはそれぞれの離散的な空間領域について、どちらかというとフィンガープリントのような、シグネチャーを決定するために使われてもよい。
定量的画像メトリックの集合は、唯一のまたはそれぞれの離散的な領域における光学密度に基づくメトリックを含んでいてもよい。本開示のコンテキストにおいて理解されるであろうように、光学密度は、唯一のまたはそれぞれの離散的な領域を通じた光の透過を記述するものであり、試料を透過する入射光の割合の対数（底は10）の正負を変えたものとして定義されうる。たとえば、透過率は0から1までの間で変わりうる。比較器データ値との比較により、唯一のまたはそれぞれの離散的な領域の光の透過のレベルは（よって光学密度も）、唯一のまたはそれぞれの離散的な領域の内容に関する情報を得るために使用されうる。
定量的画像メトリックの集合は、唯一のまたはそれぞれの離散的な領域における空間周波数の選択された範囲における空間周波数データに基づくメトリックを含んでいてもよい。空間周波数データは、周波数変換（たとえばラプラスもしくはフーリエ型の変換、たとえばDFT、たとえばFFT、たとえばDCT）を実行することによって得られてもよい。結果として得られる空間周波数データは、唯一のまたはそれぞれの離散的な領域における画像データに存在する空間周波数を同定するために使われてもよい。この空間周波数データは次いで、唯一のまたはそれぞれの領域から得られた空間周波数データを（記述子データによって同定される）組織型に関連付けられている比較器データ値と比較することによって、唯一のまたはそれぞれの離散的な領域の内容に関する情報を得るために使用できる。本願の発明者は、正常細胞と癌細胞はその空間領域における幾何学的構造においては比較的微妙な差異を示すことがあるものの、そうした比較的微妙な差異は周波数領域ではより効果的に測定でき、異なる組織パターンを特徴付けるために、より精密な測定値を抽出することができることを認識するに至った。さらに、画像の周波数領域解析は、空間領域では見えない情報を検出することを可能にし、より効果的で正確な画像解析を提供する。
定量的画像メトリックの集合は、唯一のまたはそれぞれの離散的な領域のテクスチャーに基づくメトリックを含んでいてもよく、現われていることがありうる特定の特性を検出するよう、および／または反復パターンその他が検出されうるよう、解析されてもよい。例として、解析されるべき唯一のまたはそれぞれの離散的な領域を解析するために、ハラリック（Haralick）・テクスチャー特徴および／または共起行列が使われてもよい。しかしながら、唯一のまたはそれぞれの離散的な領域における根底にある組織パターンを定量的に記述するために、いかなる好適な方法が使用されてもよいことは理解されるものとする。
コンピュータは次いで、それぞれの離散的な空間領域について、前記離散的な空間領域における画像データに定量的画像メトリックを適用することによって、少なくとも一つの試料データ値を計算する（１２）。定量的画像メトリックの集合は、上記で特定したような一つのメトリックを含んでいてもよく、あるいは実際には、二つ以上のメトリックを含んでいてもよい。唯一のまたはそれぞれの定量的画像メトリックは、並列に、あるいはあらかじめ定義された序列で適用されてもよく、あるいは図２を参照してのちに説明するように階層的な（パターン駆動される）仕方で適用されてもよい。
コンピュータは、記述子データを使って（１４）、比較器データ値（たとえば、これらの定量的画像メトリックの値）の集合（または複数の集合）をコンピュータ・メモリから取得する。たとえば、コンピュータ・メモリは、記述子データをインデックスとして使った比較器データ値の選択を可能にするルックアップテーブルまたは他のメモリ参照構造を有していてもよい。そのようなデータ構造の一例は、図７において、組織データの記憶を参照してのちに説明する。そこで説明するように、比較器集合は、既知の比較器構造についての比較器データ値を含んでいてもよい。そのような構造は、たとえば、非浸潤性癌 腺、管、小葉、脂肪組織などまたは関心対象でありうる他のアーチファクトもしくは構造を含みうる。比較器データ値は、これらの既知の比較器構造の一つを含むと知られている組織の試料における定量的画像メトリックを評価することによって以前に得られていてもよい。
コンピュータは次いで、試料画像から得られたデータ値を、比較器データ値のこれらの集合のうちの少なくとも一つと比較する（１６）。これらの比較器データ集合は、たとえば種々の許容範囲を含みうるいくつかの特徴を定義しうる。試料画像から得られたデータ値がこの許容範囲または許容範囲の集合内にはいれば、その試料データは、そのデータ集合に関連付けられた比較器データ構造に一致するとして分類されうる。この比較は、比較器データ集合におけるモデルに対する各メトリックの単純な数値的比較によって達成されてもよい。代替または組み合わせにおいて、多変量セッティングで実行されてもよく、および／または類似性インデックス、たとえばジャッカール（Jaccard）係数および／またはユークリッド距離が計算されてもよい。
試料データ値が組織型における既知の型の構造からの比較器データ値と一致する場合、それらの試料データ値が計算されるもとになった領域は、その型の構造であると識別される。上記の処理に基づき、試料画像データのいくつかの部分が、比較器集合によって記述される組織構造の一つまたは複数に属するとして識別されてもよい。これらの比較器集合の一つまたは複数は、ある種の型の癌に類似して見えると、または前癌性であると知られている組織型に対応しうる。そのような組織構造の例は、乳房組織におけるLCISおよびDCISを含むが、他のそのような例も存在する。コンピュータが、離散的な空間領域の一つまたは複数においてこれらの選択された型のうちの一つの型の組織を識別した場合、コンピュータは、唯一のまたはそれぞれの離散的な空間領域をさらに解析するかどうかを決定する（１８）。
さらに解析されるべきと決定された（１８）離散的な空間領域には、その後の処理段階が適用されてもよい。さらに解析されるべきではない離散的な空間領域は、画像データのその後の解析からは除外されてもよい。これは、高解像度のまたは計算集約的な識別アルゴリズムが、それほど計算集約的でない手法による曖昧さのない識別にはなじまない画像データのみに適用されることを可能にできる。そのようなアルゴリズムの例は、図７を参照して後述する。
図２は、パターン駆動の――すなわち、組織の画像のパターンおよび特徴が処理機能を方向付ける――解析の方法を実行するよう構成された装置を示している。この目的に向け、図２に示した装置は、一連の定量的な画像メトリックを階層的な仕方で――すなわち、シーケンス中の少なくとも一つの先行するメトリックの結果に基づいて選択されるシーケンスにおいて――適用するよう構成される。これはいくらか複雑なプロセスであり、よって明確のため、ここでは単純な例が説明されるが、この原理のさらなる展開が構想されており、本願で開示されていることは理解されるであろう。
このパターン駆動の手法を説明するための第一の例として、その手法が、図１を参照して上記で説明した解析の間に識別される画像データの離散的領域に適用されうることを注意しておく。しかしながら、その手法は、その方法とは独立に、たとえば、画像の他の選択された部分にまたは画像の全体に適用されうることは理解されるであろう。
階層的手法のこの第一の例は、次のように進行する。第一の定量的画像メトリックが画像データに適用されて結果を得て、次いでその結果に基づいて第二の定量的画像メトリックが選択される。第二の定量的画像メトリックが画像データに適用されて、第二の定量的画像メトリックの適用の結果に基づき、おそらくは第一の定量的画像メトリックの結果にも基づいて、第三の定量的画像メトリックが選択される。各段階において、得られた結果は比較器データと比較されて、結果（または結果のシーケンス）が比較器データと一致するかどうかを判定する。結果が一致する場合、この一致に基づいて、画像データは、（記述子データによって同定される）その組織型において見出されると知られている（または予期される）組織構造に関連付けられることができる。このプロセスは、結果が、既知の組織構造のシグネチャーを与える比較器値に一致するまで一連のメトリックを通じて継続されることができる。
図２に示された実施形態は、画像データ記憶部１００、組織データ記憶部１０２、コントローラ１０４およびユーザー・インターフェース１０６を有する。コントローラ１０４は、画像データ記憶部１００、組織データ記憶部１０２およびユーザー・インターフェースとの間でデータを通信するよう結合されている。
画像データ記憶部１００および組織データ記憶部はいずれも、デジタル画像データの記憶および取り出しのための揮発性および／または不揮発性データ・メモリと、データがそのメモリから読み出され、そのメモリに書き込まれることを可能にするデータ・インターフェースとを有する。そのそれぞれはコントローラ１０４に結合され、それによりコントローラ１０４は画像データ記憶部１００から画像データを取得し、組織データ記憶部１０２から定量的画像メトリックおよび比較器データのような組織データを取得することができる。画像データ記憶部１００は、各画像データ項目について、その画像が由来するもとの組織型の対応する記述子を記憶するようにも構成される。記述子はそれぞれ、組織型を示すラベルを含む。そのような組織型の例は、乳房組織、前立腺組織、肺組織、膵臓組織および他の型の組織を含む。
組織データ記憶部１０２は、各記述子１１０について、多項組〔タプル〕の集合１０８を記憶する。各多項組は、（ａ）記述子によって同定される組織型に見出されると知られている（または予期される）構造、（ｂ）定量的な画像メトリックの集合および（ｃ）その構造における画像メトリックの期待される値を示す比較器データ値の集合の間の関連付けを提供する。組織データ記憶部１０２は、コントローラ１０４に、適応的な選択されたシーケンス――パターン駆動のシーケンス――において定量的画像メトリックを適用させるよう構成された規則１１２、１１４の集合をも記憶する。規則１１２、１１４はそれぞれ、各記述子について、その記述子をもつ画像データに適用される第一の定量的画像メトリックを定義する。それらの規則はまた、その画像メトリックの少なくとも二つの記憶されている結果値（または結果値の範囲）のそれぞれと、少なくとも二つのさらなる定量的画像メトリックのそれぞれとの間の関連付けをも定義する。図２では二つの規則が示されているだけだが、これが単に例示であり、より多数の規則が提供されてもよいことは理解されるであろう。
コントローラ１０４は、画像データ記憶部１００および組織データ記憶部１０２における記憶からデータを読み出し、それらにデータを書き込むよう構成された処理論理を有する。コントローラ１０４は、画像データ記憶部１００から得られた画像データに定量的画像メトリックを適用するよう構成される。これらの定量的画像メトリックを適用するためのプロセスは、コントローラ１０４中にロードされるファームウェアにおいて表現されてもよく、あるいはコントローラ１０４の論理回路に固定的に組み込まれていてもよく、あるいはファームウェア、ハードウェアおよびソフトウェア構成の混合によって提供されてもよい。コントローラ１０４は、組織データ記憶部１０２に記憶される規則によって定義されるシーケンスに従ってこれらの定量的な画像メトリックを適用するようにも構成される。特に、コントローラ１０４は、記述子を使って組織データ記憶部１０２から規則を選択し、次いで、その規則によって与えられる定量的画像メトリックを画像データに適用するよう構成される。コントローラ１０４は次いで、定量的画像メトリックを画像データに適用することから得られた結果を、その規則における記憶されている結果値（または値の範囲）と比較して、規則によって定義されるその比較に基づいて――たとえば記憶されている結果値と規則をなす前記少なくとも二つのさらなる定量的画像メトリックとの間の関連付けに基づいて――適用されるべき次のメトリックを選択することができる。したがって、コントローラ１０４は、（たとえば部分領域またはより大きな画像の一部に対応する）画像データについて、一連の結果値を得るよう動作可能であり、それぞれの結果値は異なる定量的画像メトリックに関連付けられている。この一連の値は、多項組に格納されているもののような比較器データに対して比較されることができるシグネチャーを与えることができる。コントローラ１０４は、この比較の結果を使って、画像データに示されている構造（単数または複数）の素性〔何であるか〕を予測するよう構成される。
動作では、画像データおよびその付随する記述子は、コントローラ１０４によって画像データ記憶部１００から読み込まれる。コントローラ１０４は次いで、その記述子を使って、組織データ記憶部１０２から関連する規則を選択し、当該画像データについて、その規則によって指定される定量的画像メトリックを評価する。コントローラ１０４は次いで、その定量的画像メトリックを評価した結果を、規則において指定されている記憶された結果値（または範囲）と比較する。よって、この比較に基づいて、次の定量的画像メトリックが同定される。
コントローラ１０４は次いで、該次の定量的画像メトリックと画像データに付随していた記述子とに関連付けられている組織データ記憶部１０２からの規則を選ぶことによって、次の規則を得る。該次の規則によって指定される定量的画像メトリックは画像データについて評価され、このメトリックの評価の結果（単数または複数）が次いで、規則において指定されている記憶されている結果値（または範囲）と比較される。
次のメトリックを選択し、次の関連する規則を同定し、該次のメトリックを評価し、その規則およびそのメトリックの結果値を使ってさらにもう一つの次のメトリックを選択するこのプロセスは、繰り返されることができる。各反復工程において（たとえば各メトリックの評価後に）結果または一連の結果が、組織データ記憶部１０２の多項組に格納されている比較器データのような比較器データと比較されることができる。結果または一連の結果が所与の多項組における比較器データの集合と一致する場合、コントローラ１０４は、画像データがその多項組において同定されている構造と関連していることを示すことができる。
図３は、離散的な空間領域をさらに解析するために用いられてもよいさらなる方法段階を示している。この解析方法は、特に、細胞核特徴――すなわち、細胞核および細胞境界（たとえば細胞膜）のサイズおよび形状特性に関係した特徴――の識別に向けられてもよい。
図３に示される方法では、コンピュータは、さらなる解析が望ましいと同定されたそれぞれの離散的な空間領域における画像データに、さらなる画像演算子を適用する（２２）。このさらなる画像演算子は、細胞核を識別するよう構成された構造化要素を有する形態学的フィルタを有していてもよい――たとえば、細胞核を識別するよう選択された形状をもつ構造化要素を有していてもよい。たとえば、構造化要素は丸まっていてもよく、たとえば楕円形、たとえば円形であってもよい。構造化要素のサイズは細胞核を識別するために選択されてもよい。たとえば、20ミクロン未満、たとえば10ミクロン未満の幅を有していてもよい。この構造化要素の具体的な形状およびサイズは、記述子データに基づいていてもよい。たとえば、その記述子によって同定される画像データにおいて存在すると知られている（または予期される）型の細胞核のサイズおよび形状特性に基づいていてもよい。選択は、図１を参照して上記した方法において唯一のまたはそれぞれの離散的領域に一致すると見出された比較器データに関連付けられている構造に基づいていてもよい。このさらなる画像演算子はここでは形態学的フィルタを含むものとして記述されるが、他の画像演算が使われてもよく、このさらなる画像演算子はそれ自身、空間フィルタリング、閾値処理および他の演算のような一連の演算を含んでいてもよいことは理解されるであろう。この演算または一連の演算は大きく変わることがあるが、この実施形態において、主要な要請は、このさらなる画像演算子が、画像データにおける細胞核の位置を同定する細胞核データを、それらの核のサイズおよび／または形状特性に基づいて提供するよう適応されているということである。
コンピュータは次いで、細胞核データによって識別される細胞核の幅を決定する（２４）。コンピュータはまた、これらの細胞核によって示される面積をも決定し、また、その境界の長さをも決定してもよい。これにより、コンピュータは、核形状、その面積、その形状因子（たとえば、その境界長さ（またはその長さの二乗）のその面積に対する比）のうちの少なくとも一つのメトリックを決定できる。これらのメトリックは単に例であり、他のメトリックが使われてもよい。
コンピュータはまた、細胞核データを使って、密度、染色質テクスチャーおよび核小体特徴のうちの少なくとも一つのメトリックを決定してもよい。これらのメトリックは単に例であり、他のメトリックが使われてもよい。このメトリックは次いで、比較器データと比較されて（２６）、前記少なくとも一つの離散的領域が癌細胞を含みうる可能性が高いかどうかを判定する（２８）ことができる。たとえば、きわめて不規則な形状の細胞核が識別された場合には、このことは、解析される離散的領域における組織についてたとえば人間のオペレーターによるさらなる検査が妥当でありうることの指標として使われてもよい。
決定段階２４への追加または代替として、コンピュータは、画像データにおける細胞境界の形状および／またはサイズを決定してもよい。これを達成するために、細胞境界を識別するよう構成されたさらなる画像演算子が画像データに適用される。細胞境界を識別するよう構成された画像演算子の例は、分水嶺アルゴリズムを含む。このさらなる画像演算子の出力は、細胞境界の位置を同定する細胞境界データである。コンピュータは次いで、画像データ中の細胞境界の位置を使って、これらの細胞境界の長さと、それが囲むエリアのサイズを決定できる。形状因子など、他の細胞特性もある。
コンピュータは次いで、この方法で解析される画像データの細胞核特徴を記述するデータを、既知の組織型および構造の特性と比較する（２６）ことができる。たとえば、コンピュータは、細胞面積、細胞形状因子、細胞面積と核面積の比、核形状因子および核面積のうちの一つまたは複数のものの期待される範囲を示す細胞核比較器データの一つまたは複数の集合を記憶していてもよい。コンピュータはまた、細胞比較器データおよび健康な組織構造および前癌性組織構造および／または癌性構造のような特定の組織構造に見出される細胞のこれらの集合の間の関連付けを記憶してもよい。これにより、コンピュータは、この比較に基づいて、画像データにおける細胞の型の一つまたは複数を識別（２８）できてもよい。
さらに、コンピュータは、上記の方法を複数の画像およびそれらの画像のいくつかの個別領域に適用することができる。これらの実施形態において、コンピュータは、画像のそれぞれおよび／またはそれらの領域のそれぞれと、（ａ）組織試料が由来したもとの組織型を示す記述子データおよび／または（ｂ）それらの画像または領域と比較器データ集合の間の一致に基づくスコア（たとえば、そのような一致の統計的信頼レベル）との間の関連付けをメモリに記憶する。コンピュータは次いで、そのスコアに基づいて、人間のオペレーターにスライド画像を呈示するシーケンスを選択する。コンピュータはまた、画像の特定の領域を、それらの画像領域に関連付けられたスコアに基づいてハイライトしてもよい。
画像データ内に含まれる組織試料は、いくつかの病理を含むことがある。たとえば、同じ画像における良性細胞、前癌細胞および／または癌性細胞を含む、またはこれらからなるまたは完全にこれらからなることがありうる。
これらの病理を解析して含まれる病理を識別するために、コンピュータは、一例では、当該画像データにわたって諸画像処理方法を適用して腺を同定し、それらの腺を測定し、（そのメトリックに基づいて）それらの腺をたとえばDCISとして識別してもよく、その後、それらの腺領域を将来の解析から除外してもよい。画像データは次いで、画像の残りの部分を解析するために、画像処理方法の別個の集合を用いてさらに処理されてもよい。
画像データは、多数の正常な構成要素および／または構造、たとえば細胞、管および／またはその他と、前癌性および／または癌性細胞を含みうるいくつかの正常でない構成要素および／または構造とを含むことがある。これらの正常な構成要素および／または構造と非正常な構成要素および／または構造は、幅広い複雑で可変のパターンにおいて組み合わされうる。本稿に記載される画像解析技法は、そのような構成要素および／または構造の効果的かつ効率的な組み合わせ解除および混合解除ならびにその後のその解析を可能にしうる。
これらの正常および非正常な構成要素および／または構造の解析は、当該画像にわたるこれらの領域の「マップ」が生成されることを許容する。そのようなマップは、より正確で多様な診断および解析が実行されることを可能にでき、画像データ内に含まれる、さらなる解析を必要とすることがありうる組織のエリアの識別を、一目で許容しうる。
図４は、画像データをさらに解析するために用いられうるさらなる方法段階を示している。この方法では、第一の画像データ・セットがデジタル顕微鏡画像から取得される（２０２）。
次いで、画像変換がその第一の画像データに適用されて（２０６）、第二の画像データが得られる。この第二の画像データにおける構造が次いで分類される。これは、それらの構造を比較器データと比較して前記組織型内に見出されると知られている（または予期される）いくつかの構造のうちの一つに属するものとして識別することによる。
第二の画像データにおいて分類されていない構造が残っている場合には、画像変換は修正され、画像データの、少なくとも、分類されていない構造を含む部分に再び適用される（２０８）。これは、第三の画像データ・セットを与える。この第三の画像データにおける構造が、次いで、前記比較器データと比較することによって分類されることができる。
分類試行、次いで画像変換の修正、次いで新たに変換された（分類されていない）画像構造の分類再試行というこのプロセスは、画像中のすべての構造（またはそれらの構造の受け入れ可能な割合）が適正に分類されるまで、繰り返されることができる。上記の画像処理方法との関連で述べたように、この手法は、単独で、組み合わせでおよび／または階層式に適用されうる。さらなる画像解析技法は、記述子データに格納されている組織型に基づいて選択されてもよく、組み合わせでおよび／または階層式に適用されるとき、これらのさらなる画像解析技法は、記述子データに格納されている組織型に基づいていてもよいあらかじめ決定された順序で適用されてもよい。さらに、上記で述べたように、これらのさらなる画像解析技法の階層式の適用は、いくつかの解像度での諸画像にわたって適用されてもよい。
上記の方法と同様に、コンピュータは、解析のための顕微鏡画像データを取得し（２０２）、次いで、組織試料が由来するもとの組織の型を示す、顕微鏡画像データと一緒に提供されうる記述子データを取得する（２０４）。
記述子データは次いで、コンピュータ・メモリにおけるデータ記憶から、画像変換を選択する（２０６）ために使われてもよい。そのような画像変換の例の記述は下記で与える。画像変換が適用されて（２０８）第一の変換された画像データが得られる。
コンピュータは次いで、記述子データを使って、コンピュータ・メモリから比較器データ値（たとえばこれらの定量的画像メトリックの値）の集合（または複数の集合）を得る。次いで、第一の変換された画像データがこの比較器データと比較され（２１０）、第一の変換された画像データにおける構造が識別される。コンピュータは次いで、十分な数の構造が識別されたかどうか（たとえば、閾値数または閾値割合より多くの構造が識別されずに残っているかどうか）を判定する（２１２）。識別された構造の数が不十分である場合には、コンピュータは段階２０６に戻り、（ａ）新たな画像変換を選択するか、（ｂ）以前の変換を修正する。この新たな変換が次いで適用され（２０８）、まださらなる変換が適用される必要があるかどうかを判定するために段階２１０および２１２が繰り返されることができる。
図４は、ヘマトキシリンおよびエオシンで染色された組織試料の顕微鏡スライド画像のマップを提供するために適用されることのできる方法の例である。そのような方法の他の例が使われてもよい。
そのような方法は、画像データを変換するよう構成された画像処理を選択し、選択された画像処理を画像データに適用して、画像のいくつかの離散的な空間領域を識別することを含む。これらの関心領域（ROI）を識別するために、定量的画像メトリック（たとえば本稿に記載されるメトリックの任意の一つまたは複数）がROIに適用されることができる。これは、各ROI（離散的な空間領域）についての試料領域データ値を提供し、これがその領域を識別する試行において、比較器データの少なくとも一つの集合と比較されることができる。
試料領域データ値が比較器集合に一致する場合、次の領域が、それを比較器データに対して照合しようとすることによって、試験されることができる。画像の各エリアをこのようにして扱うことによって、画像の各エリア（または少なくともいくつかのエリア）が特定の組織構造に属しているとしてラベル付けされている画像のマップがまとめられることができる。これは、組織の複合デジタル画像を提供するために使用できる。
図５は、上記のようなコンピュータ実装される画像処理方法の一例を示している。この方法は、特定の組織型において見出されると知られているまたは予期される組織構造を識別するために適用できる。たとえば、本方法が乳房組織に適用される場合、乳腺、乳管、乳腺小葉またはかかる組織に見出される他の構造といった構造を識別するために使用されうる。もちろん、他の組織型に適用されてもよく、その場合、異なる型の構造についての比較器データが使われてもよい。
図５に示されるように、コンピュータは、解析のために顕微鏡画像データを取得する（１２０２）。この顕微鏡画像データには、該顕微鏡画像データが得られた組織の型を示す記述子データが付随していてもよい。顕微鏡画像データは、全スライド・スキャンから捕捉されたデータを、たとえば32ビット・カラー画像において含んでいてもよい。そのような画像データは、さらなる処理の前に、光学密度画像データに変換されてもよい。
コンピュータは次いで、画像データに閾値、たとえば光学密度閾値を適用して（１２０４）、第一の変換された画像データを得る。この第一の変換された画像データが閾値の適用によって変換されるというのは、前景（閾値より上）と背景（閾値より下）のピクセルの二状態画像であるという意味においてである。たとえば、第一の変換された画像データは二値データであってもよい。
この第一の変換された画像データにおける構造が次いで、比較器データと比較することによって分類される。この実施形態では、構造（つながっている、閾値より上の領域）を分類するために、コンピュータはまず閾値より上のピクセルのそれぞれの連続的な群を識別する（１２０６）。これは、連結成分ラベリング（connected component labelling）のようないわゆる「ブロブ抽出」方法によってなされてもよい。たとえば、コンピュータは、閾値より上の各ピクセルを順に扱ってもよく、そのような各ピクセルについて、やはり閾値より上である当該ピクセルの近傍ピクセルを識別して、それらのピクセルを当該ピクセルと同じ連続的群の一部であると同定（ラベル付け）してもよい。このプロセスは、ピクセルの各連続的群がラベル付けされるまで逐次反復的に繰り返されてもよい。ピクセルのこれらの連続的群はそれぞれ、画像データが得られるもとになった根底にある組織における構造（または構造の一部）を表わしうる。
これらの別個の関心領域（ROI）のそれぞれは、次いで、根底にある組織のその領域を分類しようとして、比較器データと比較される。この分類を実行するために、これらのROIの第一のものが選択され（１２０８）、コンピュータは次の定量的画像メトリックのうちの少なくとも一つを決定する（１２１０）；
・ROIのサイズ、
・ROIの形状、
・ROIの光学密度、
・ROIの境界、
・ROIが何らかの識別可能な部分ROI構成要素を含んでいるか。
他のメトリックが使われてもよい。ROIのサイズを決定するために、コンピュータは、ROIを構成するピクセルの数を数えてもよい。ROIの形状を決定するために、コンピュータは、多様な異なる技法の任意のものを使ってもよい。たとえば、テンプレート・ベースの照合方法が使われてもよく、および／または（１）ROIの面積と（２）その境界の長さの二乗との比を使ってROIの円形性についての情報を得てもよい。テンプレート・ベースの照合方法は、コンピュータが、それぞれ異なる形状をもつ一連の畳み込みカーネルをROIに適用することを含んでいてもよい。これらの場合において、ROIの形状は、最大の全強度をもつ出力を生じる畳み込みカーネルを同定することによって、決定されてもよい。ROIの形状を同定する他の方法が使われてもよい。
コンピュータは、次いで、比較器データ値の集合（または複数の集合）をコンピュータ・メモリから取得する。たとえば、コンピュータは、記述子を使って、そのメモリから、画像データが得られるもとになった組織型において見出されると知られているまたは予期される構造に関連する比較器データを取り出してもよい。たとえば、記述子が乳房組織を示す場合、コンピュータは、乳房組織に見出される構造、たとえば腺に関連する比較器データを取得してもよい。本開示のコンテキストにおいて腺が構造の一つの型を表わすだけであり、ここで腺を使うことは単に例であることは理解されるであろう。核、間質、血管、管腔、筋肉および他の構造について同様のプロセスが実行されてもよい。
選択されたROIについての定量的画像メトリック（たとえばサイズ、形状、密度など）の値が次いで、比較器データと比較される（１２１２）。そのROIについてのこれらのメトリックの測定された値が（たとえば指定された許容差の範囲内で）ある型の構造についての比較器データに一致する場合、そのROIはその型の構造に属するとして分類される。コンピュータは、そのROIの画像ピクセルに、その型の構造に属するとしてラベル付けする（１２１４）。
ROIが比較器データに一致しない場合は、未解決のROIとして分類される。コンピュータは次いで、未解決のROIに適用されるべき処理を選択する（１２１６）。適用されるべき処理は、そのROIの特性に基づいて選択されてもよい。次いで選択された処理が未解決のROIに適用され（１２１８）、修正されたROIが得られる。たとえば、ROIがあるサイズより大きい場合、そのROIを修正するために収縮演算が適用される。これは、少なくともそのROIに関する限り、初期の閾値処理演算によって与えられる変換を修正する効果をもつ。未解決のROIに適用される変換を修正する他の方法が使われてもよい。
コンピュータは次いで、この修正されたROIについて、以下の定量的画像メトリックの少なくとも一つを計算することによって、この新たに修正されたROIを分類する（１２１０）よう再び試みる：
・修正されたROIのサイズ、
・修正されたROIの形状、
・修正されたROIの光学密度、
・修正されたROIの境界、
・修正されたROIが何らかの識別可能な部分ROI構成要素を含んでいるか。
上記のように、他のメトリックが使われてもよい。修正されたROIにおけるこれらのメトリックから得られるデータ値が比較器データに対して再び比較される。その修正されたROIについてのそれらのメトリックの測定された値が（たとえば指定された許容差の範囲内で）ある型の構造についての比較器データに一致する場合、その修正されたROIはその型の構造に属するとして分類される。コンピュータは、その修正されたROIの画像ピクセルを、その型の構造に属するとしてラベル付けする（１２１４）。
修正された未解決のROIも比較器データに一致しない場合は、コンピュータは、それを部分構造として扱うかどうかを決定（１２２０）してもよい。これは、もとのデータにおいてもとの未解決のROIに隣接していた（たとえばもとの未解決のROIの境界から選択された距離以内にあった）画像ピクセルを同定し（１２２２）、それらのピクセルに改訂された閾値を適用することによってなされてもよい。これは、ROIのまわりのピクセルのさらなる閾値上〔閾値より上〕群を同定しうる。コンピュータは次いで、これらさらなる閾値上領域をもとの未解決のROI（たとえば上記の収縮演算の前のROI）とマージし（１２２６）、マージされたROIを生成する。
コンピュータは次いで、このマージされたROIについて、以下の定量的画像メトリックの少なくとも一つを計算することによって、このマージされたROIを分類する（１２１０）よう再び試みる：
・修正されたROIのサイズ、
・修正されたROIの形状、
・修正されたROIの光学密度、
・修正されたROIの境界、
・修正されたROIが何らかの識別可能な部分ROI構成要素を含んでいるか。
上記のように、他のメトリックが使われてもよい。修正されたROIにおけるこれらのメトリックから得られるデータ値が比較器データに対して再び比較される。そのマージされたROIについてのそれらのメトリックの測定された値が（たとえば指定された許容差の範囲内で）ある型の構造についての比較器データに一致する場合、その修正されたROIはその型の構造に属するとして分類される。コンピュータは、そのマージされたROIの画像ピクセルを、その型の構造に属するとしてラベル付けする。
ひとたびすべてのROIがこのようにしてラベル付けされたら、結果として得られるラベル付けされたピクセル・データは、種々の型の構造に組織のどの領域が関連付けられるかを同定する組織のマップを提供するために使用されることができる。
本開示のコンテキストにおいて、これは図４を参照して述べたような方法を使って構造を識別するために使用されうる処理のシーケンスのほんの一例であることは理解されるであろう。この実施形態は、光学密度データを閾値処理することに基づいていてもよい閾値処理を使う画像変換を参照して記載された。他の種類の変換が使われてもよい。
たとえば、図４または図５の実施形態で使われる画像変換は、強度変換を含んでいてもよい。これは、一つまたは複数の空間周波数帯域における画像データの変動を減らしうる。たとえば、これは、帯域通過フィルタ処理、たとえば平滑化（低域通過フィルタ）またはエッジ強調（高域通過フィルタ）を含んでいてもよい。これらの実施形態において、ROIが比較器データに一致しないときに変換を修正することは、フィルタの通過帯域を変えること、たとえば異なる空間周波数カットオフを使うこと、たとえばより広い平滑化カーネルを使うことを含んでいてもよい。強度変換は、画像データにおける強度レベルの数を減らすよう構成されてもよい。たとえば、強度変換は、ある閾値より下のすべての値をフロア値、たとえば背景値（0のような一定の基準値）に設定することを含んでいてもよい。強度変換は、閾値より下のピクセルは第一の値（たとえば論理的な「偽」の値、たとえば0）に設定され、閾値より上のピクセルは第二の値に設定される（たとえば論理的な「真」、たとえば1）二分閾値処理を含んでいてもよい。これらの実施形態において、変換を修正することは、閾値を変えることを含む。強度変換は、選択された諸画像構造を、そのサイズおよび形状の少なくとも一方に基づいて、強調および抑制するよう適応された形態学的フィルタを含んでいてもよい。本開示のコンテキストにおいて、形態学的フィルタは、選択されたサイズおよび形状の構造化要素を含むことは理解されるであろう。これらの実施形態において、変換を修正することは、該構造化要素のサイズおよび形状の少なくとも一方を変えることを含んでいてもよい。形態学的フィルタの型は、収縮、膨張、オープニング、クロージングを含む。変換を修正することは、構造化要素を一定に保って、適用されるべき形態学的フィルタの型を変えることを含んでいてもよい。
画像変換は、ヒストグラム等化を含んでいてもよい。ヒストグラム等化は、画像の強度ヒストグラムが所望される形をもつよう画像を変更することによって画像のダイナミックレンジおよびコントラストを修正するための方法を提供しうる。そのような方法は、入力画像と出力画像におけるピクセル強度値の間でマッピングするための非線形かつ非単調な伝達関数のようなマッピング関数を用いてもよい。よって、出力画像は、強度の修正された分布（たとえば、より一様な、たとえば平坦なヒストグラム）を含む。そうすることにより、知覚される詳細さのレベルが高められてもよく、よって、構造を識別するのがより容易でありうる画像データを提供しうる。これらの場合、変換を修正することは、画像データを変換するために使われるマッピング関数を修正することを含んでいてもよい。図７を参照して後述するように、他の画像変換が適用されてもよい。
さらに、画像データ内であらかじめ決定された閾値数の構造が識別されるまで、これらのさらなる画像解析方法が、上記の諸方法に従って得られる画像データに適用されてもよいことが構想されている。
そのようなさらなる技法の適用は、デジタル病理学における複数解像度での逐次反復的な画像処理を可能にすることがあり、さらに、離散的な組織モデルおよび／または知識ファイルが構築されることを可能にでき、それに含まれる組織アーキテクチャーに関する情報に対して、新たな画像が比べられることができる。さらに、これらのプロセスは、逐次反復的に適用されてもよく、各反復工程とともに、結果として得られる出力データは洗練され、追加的な情報が画像データにおいて識別される。そのような逐次反復プロセスは、特定の信頼レベルが達成されるときに終止されてもよく、および／または特定の間隔閾値で停止されてもよい。一例では、逐次反復プロセスは、組織の識別について、10%未満、たとえば5%未満のp値に達したときに停止されてもよい。さらに、上記で言及した組織モデルおよび／または知識ファイルは、逐次反復的な学習プロセスを通じて構築されてもよい。上記で論じた技法の一部または全部の使用によって得られるデータは、ヘマトキシリンおよびエオシンで染色した組織試料を含むもとの画像データと組み合わされてもよく、それにより画像データと導出されたデータの組み合わせが、スライドおよび／または組織試料の内容の詳細な表現を提供するよう組み合わされる。この情報は、修正された画像の形を取ってもよく、ユーザーがスライドの組織試料または画像の「補強された視覚化」を得られるよう呈示されてもよい。
図６は、コンピュータ実装される画像処理方法を実行するよう構成された画像処理装置４０を示している。同じ方法および同様の諸方法を実行するためにハードウェアの他の構成が使われてもよい。
装置４０はさらに、（ａ）前記比較する諸段階のうち少なくとも一つの段階の結果の指示を含む補強された画像および（ｂ）前記比較する諸段階のうち少なくとも一つの段階の結果に基づく、組織における癌性細胞の存在の診断的な指示の少なくとも一方を提供するようさらに構成されてもよい。
図４の装置４０は、画像取得器４２およびプロセッサ４３を有する。プロセッサ４３は画像データ記憶部４４、記述子データ取得器４６、空間フィルタ記憶部４７、空間フィルタ選択器４８、空間フィルタ適用器５０、定量的画像記憶部５１、定量的画像メトリック選択器５２、データ値領域決定器５４、比較器選択器５６および比較器５８を有する。
図面には示していないが、これらの要素のそれぞれは一般に、コンピュータ可読記憶および論理モジュールを有し、これらは論理ゲートおよび／またはプログラム可能な論理、たとえばフィールドプログラマブルゲートアレイFPGAおよび／または特定用途向け集積回路の組み合わせのようなハードウェアにおいて、およびまたは適切に構成されたファームウェアおよびソフトウェアと組み合わせた汎用のプログラム可能型プロセッサによって、実現されてもよい。これらの要素の一つまたは複数は、データおよび／または行列の効率的な処理を提供するよう構成されてもよい。
データ取得器４２は、ヘマトキシリンおよびエオシンで染色した組織試料の顕微鏡スライド画像を定義する顕微鏡画像データを取得するためのデータ通信インターフェースを有する。データ通信インターフェースの例はイーサネット（登録商標）およびシリアル・インターフェース、たとえばユニバーサル・シリアル・バス・インターフェースを含む。データ通信インターフェースの他の例が使われてもよい。
図４に示した装置４０の要素のそれぞれは、データおよび／またはコマンドを他の要素のうちの一つまたは複数に通信するよう結合される。特に、データ取得器４２はプロセッサ４３に、よって画像データ記憶部４４、空間フィルタ適用器５０およびデータ値領域決定器５４に結合される。空間フィルタ選択器４８および定量的画像メトリック選択器５２は画像データ記憶部４４に接続される。
データ取得器４２は、ヘマトキシリンおよびエオシンで染色した組織試料の顕微鏡スライド画像を定義する顕微鏡画像データを取得するためのデータ通信インターフェースを有する。データ通信インターフェースの例はイーサネット（登録商標）およびシリアル・インターフェース、たとえばユニバーサル・シリアル・バス・インターフェースを含む。データ通信インターフェースの他の例が使われてもよい。
画像データ記憶部４４は、画像データを記憶するためのデータ記憶メモリを有する。画像データは、各画像の全体的な色を表わすグレースケールまたは三色成分のデータ要素を含んでいてもよい。この、および本稿に記載される他のコンピュータ・メモリは、揮発性および／または不揮発性メモリ、たとえばランダムアクセスメモリRAMまたはオンチップ・キャッシュメモリ、ハードディスクドライブHDDまたは半導体ドライブSSDを含んでいてもよい。
記述子データ取得器４６は、画像データ記憶部４４から記述子データを取得するよう適応される。記述子データは、上記のように、組織試料が由来するもとになった組織の型を示してもよい。
空間フィルタ選択器４８は、空間フィルタ記憶部４７から、空間フィルタ（単数または複数）を選択するよう適応される。該空間フィルタは、上記のように、選択された範囲内の空間長さスケールをもつ構造を記述する構造化された撮像データを識別するよう構成されてもよい。空間フィルタ選択器４８は、空間フィルタの選択において、記述子データ取得器４６によって取得された記述子データを使ってもよい。
空間フィルタ適用器５０は、選択された空間フィルタを画像データに適用するよう構成され、さらに、画像のエリアの全部より少ない部分を含む、画像のいくつかの離散的な空間領域を識別するよう構成される。
定量的画像メトリック選択器５２は、画像データ記憶部４４から得られる記述子データに基づいて、定量的画像メトリック記憶部５１から定量的画像メトリックを選択するよう構成される。
データ値決定器５４は、選択器５２によって選択された定量的画像メトリック（単数または複数）を適用して、上記で定義したように、画像の唯一のまたはそれぞれの離散的な空間領域から試料領域データ値を得るよう構成される。
比較器選択器５６は、画像データ記憶部４４から組織モデル・データの比較器集合を選択するよう構成され、比較器５８は、前記、試料領域データを、組織モデル・データの前記比較器集合に対して比較するよう構成される。
動作では、データ取得器４２が、ヘマトキシリンおよびエオシンで染色した組織試料を担持する顕微鏡スライドのデジタル画像を画像データ記憶部４４から取得する。デジタル画像スライドは、染色された組織試料のカラー画像を含んでいてもよく、あるいは染色された組織試料のグレースケール画像を含んでいてもよい。
記述子データ取得器４６は、次いで、画像データ記憶部４４から記述子データを取得する。記述子データは、組織試料が由来するもとになった組織の型を示しうる。次いで、記述子データは、空間フィルタ記憶部４７から空間フィルタ（単数または複数）を選択するために空間フィルタ選択器４８によって使用される。空間フィルタは、選択された範囲内の空間的長さスケールをもつ構造を記述する構造化された撮像データを同定するよう構成されていてもよい。
空間フィルタ適用器５０が次いで、選択されたフィルタを画像データに適用して、画像のいくつかの離散的な空間領域を定義する画像データの部分集合を同定する。ここで、それらの離散的な空間領域は、画像のエリアの全部よりも少ない部分を含む。次いで、定量的画像メトリック選択器５２が、定量的画像メトリック記憶部５１から、記述子データに基づいて定量的画像メトリックの集合を選択する。
データ値決定器５４は、唯一のまたはそれぞれの定量的画像メトリックを、それぞれの離散的空間領域について適用して、唯一のまたはそれぞれの離散的な空間領域に関連付けられた画像データの前記部分集合に基づいて、唯一のまたはそれぞれの定量的画像メトリックについての試料領域データ値を得る。
次いで、比較器選択器５６は、画像データ記憶部４４から組織モデル・データの少なくとも一つの比較器集合を得る。それぞれの比較器集合は、異なる対応する比較器組織構造に関連付けられており、それぞれの比較器集合は、対応する比較器組織構造についての定量的画像メトリックの集合のデータ値を含む。
次いで、比較器５８は、それぞれの離散的領域についての試料領域データ値を、前記少なくとも一つの比較器集合と比較し、唯一のまたはそれぞれの離散的領域についての試料領域データ値が比較器集合に一致する場合には、プロセッサは、対応する比較器組織構造の素性に基づいて、唯一のまたはそれぞれの離散的領域をさらに解析するかどうかを決定する。
図７は、デジタル顕微鏡画像における構造を識別するためのコンピュータ実装される顕微鏡画像処理方法を実行するよう構成された装置に関する。この方法では、第一の画像データ・セットがデジタル顕微鏡画像から取得される。
次いで、画像変換がその第一の画像データに適用されて、第二の画像データが得られる。この第二の画像データにおける構造が次いで分類される。これは、それらの構造を比較器データと比較して前記組織型内に見出されると知られている（または予期される）いくつかの構造のうちの一つに属するものとして識別することによる。
第二の画像データにおいて分類されていない構造が残っている場合には、画像変換は修正され、画像データの、少なくとも、分類されていない構造を含む部分に再び適用される。これは、第三の画像データ・セットを与える。この第三の画像データにおける構造が、次いで、前記比較器データと比較することによって分類されることができる。
分類試行、次いで画像変換の修正、次いで新たに変換された（分類されていない）画像構造の分類再試行というこのプロセスは、画像中のすべての構造（またはそれらの構造の受け入れ可能な割合）が適正に分類されるまで、繰り返されることができる。
この方法において使用される画像変換は、コントラスト拡張、空間フィルタリング（たとえば形態学的フィルタリング）、ヒストグラム等化、色チャネル・デコンボルーションおよび他の変換を含みうる。ここでは、画像変換が形態学的フィルタを含む、この方法の特定の実施形態が記述されるが、これらの他の変換処理の任意のものが使用されうることは理解されるであろう。
図７に示される実施形態は、画像データ記憶部１００、組織データ記憶部１０２、コントローラ１０４およびユーザー・インターフェースを有する。コントローラ１０４は、画像データ記憶部１００、組織データ記憶部１０２およびユーザー・インターフェース１０６との間でデータを通信するよう結合されている。
画像データ記憶部１００および組織データ記憶部はいずれも、デジタル画像データの記憶および取り出しのための揮発性および／または不揮発性データ・メモリと、データがそのメモリから読み出され、そのメモリに書き込まれることを可能にするデータ・インターフェースとを有する。そのそれぞれはコントローラ１０４に結合され、それによりコントローラ１０４は画像データ記憶部１００から画像データを取得し、組織データ記憶部１０２から定量的画像メトリックおよび比較器データのような組織データを取得することができる。画像データ記憶部１００は、各画像データ項目について、その画像が由来するもとの組織型の対応する記述子を記憶するようにも構成される。組織データ記憶部１０２は、それぞれ異なる組織型に対応するいくつかの記述子、ラベルを記憶している。そのような組織型の例は、乳房組織、前立腺組織、肺組織、膵臓組織および他の型の組織を含む。組織データ記憶部１０２は、各記述子について、多項組〔タプル〕の集合を記憶する。各多項組は、（ａ）記述子によって同定される組織型に見出されると知られている（または予期される）構造、（ｂ）定量的な画像メトリックの集合および（ｃ）その構造におけるそれらの画像メトリックの期待される値を示す比較器データ値の集合の間の関連付けを提供する。
コントローラ１０４は、画像データ記憶部１００および組織データ記憶部１０２における記憶からデータを読み出し、それらにデータを書き込むよう構成された処理論理を有する。コントローラ１０４は、画像データ記憶部１００から得られた画像データに画像変換を適用するよう動作可能である。その画像変換は、選択された形状およびサイズの構造化要素をもつ形態学的フィルタを含むが、上記で説明したように、これは変換の型の一つの例にすぎない。コントローラ１０４は、その構造化要素のサイズおよび／または形状を変えるよう動作可能である。コントローラ１０４は、画像データ記憶部１００から画像データおよびその画像の記述子を取得するようにも構成される。コントローラ１０４は、その記述子を使って、組織データ記憶部１０２から、多項組の関連する集合を選択するよう構成される。コントローラ１０４はさらに、それらの多項組のうちの一つ（たとえば、組織型において見出されると知られているまたは予期される特定の構造に関連するもの）を選択し、それにより定量的画像メトリックの集合を得るよう動作可能である。コントローラ１０４は、これらの定量的画像メトリックを画像データに適用し、それらのメトリックを評価することによって、画像データを特徴付ける試料データ値の集合を得るよう動作可能である。これらの試料データ値は、画像データまたはその画像データの一部が由来するもとになった構造を推定するために使用できるフィンガープリントの一つの型と考えることができる。よって、コントローラ１０４は、試料データ値を、その画像構造のための多項組に格納されている比較器データ値と比較するよう構成される。これにより、コントローラ１０４は、画像データのフィンガープリントが、その多項組に関連付けられた構造のフィンガープリントに一致しうる度合いを決定できる。画像メトリックの性質に依存して、その比較は、それらのメトリックのいずれか特定のものを評価することによって得られるデータが、関連する比較器データによって定義されるそのメトリックについての値の選択された範囲内にはいるかどうかを判定することによって実行されうる。
動作では、コントローラ１０４は、画像データおよび対応する記述子を画像データ記憶部１００から読み込む。コントローラ１０４は次いで、この第一の画像データに形態学的フィルタを適用して、該データを第二の画像データに変換する。コントローラ１０４は次いで、組織データ記憶部１０２において、画像データの記述子に関連付けられた多項組の集合を同定する。たとえば、記述子をインデックスとして使って、多項組の関連する集合を検索する。
コントローラ１０４は次いで、多項組のその集合によって同定される構造の集合のうちから、第一の構造を選択する。コントローラ１０４は次いで、定量的画像メトリック（その第一の構造についての多項組においてリストされている）を、それらのメトリックを第二の画像データに適用することによって、評価する。コントローラ１０４は次いで、（第二の画像データについてこれらのメトリックを評価することによって得られる）データ値を、第一の構造についての多項組に格納されている比較器データと比較する。第二の画像データの一つまたは複数の部分に関連付けられたデータ値が所与の構造についての比較器データに一致する場合、コントローラ１０４は、それら一つまたは複数の部分を、その構造に属するものとして分類できる。コントローラ１０４は次いで、画像データの全部が分類されるまで、あるいはその記述子に関連付けられた構造全部が検査されるまで、同じプロセスを、その記述子に関連付けられた各構造について実行することができる。
この手順後に、第二の画像データの一つまたは複数のエリアが未分類のままである場合、コントローラ１０４は、たとえばフィルタの構造化要素のサイズおよびまたは形状を変えることによって形態学的フィルタを修正し、修正されたフィルタを、第一の画像データの未分類のエリアに適用する。この修正された画像変換を適用することによって、コントローラ１０４は第三の画像データを取得する。コントローラ１０４は次いで、そのデータを分類するプロセスを進めていく。これは、上記で説明したように、各構造に関連付けられた定量的画像メトリックを評価し、比較を実行することによる。この手順の終わりに画像データの一部が未分類のまま残る場合には、コントローラ１０４は、形態学的フィルタをさらに修正し、プロセスを繰り返すことができる。これは、データの受け入れ可能な量を除く全部が分類されるまで、逐次反復的に行なうことができる。
本開示のコンテキストにおいて、上記のプロセスは単に例示的であり、いくつもの仕方で変更されうることは理解されるであろう。たとえば、各組織型記述子に単一の構造が関連付けられていてもよく、多項組の集合は単一の多項組を含んでいてもよい。さらに、各構造は、単一の定量的画像メトリックと関連付けられているだけであってもよい。
好適な定量的画像メトリックの例は、次のリストから選択される一つまたは複数の項目である：周波数領域メトリック、テクスチャー・メトリック、たとえばグレーレベル共起行列（GLCM）メトリック、光学密度、色および他の任意の好適なメトリック。これらのメトリックは、上記で説明したような特徴をもち、適用されることができる。
組織データは、多項組に格納されるとして記述されているが、データの要素間の関連付けを格納することのできるいかなるデータ構造が使われてもよい。例は、リスト、連結リスト〔リンク・リスト〕、配列、ルックアップテーブルなどを含む。
他の変形が考えられている。たとえば、いくつかの実施形態では、画像変換は、形態学的フィルタによって提供されるのではなくてもよい。たとえば、平滑化または鮮鋭化フィルタのような画像変換が使われてもよい。この種の変換は、画像の選択された空間周波数成分を強調および／または減衰させうる。これらの実施形態において、画像変換を修正することは、それらの空間周波数成分のうち一つまたは複数に適用される減衰または強調の度合いを修正することおよび／またはフィルタに異なる選択された空間周波数成分を減衰または強調させることを含んでいてもよい。これは、フィルタの伝達関数を変えることによって達成されうる。
もう一つの例として、コントローラ１０４は、複数の異なる型の画像変換を適用するよう構成されてもよい。たとえば、まず形態学的フィルタが適用され、次いで、そのフィルタを適用することによって得られたフィルタ処理されたデータを使ってすべてのデータが分類できない場合には、異なる型の画像変換が適用されてもよい。画像変換は、（ａ）画像データの少なくとも一つの定量的画像メトリックおよび（ｂ）顕微鏡画像が由来するもとになった組織の型を示す記述子データの少なくとも一方に基づいて選択されうる。たとえば、記述子データが組織が乳房組織であることを示し、データの空間周波数メトリックが管および小葉に対応する帯域内の長さスケールをもつ構造の存在を示す場合には、コントローラ１０４は、これらの構造を識別するために形態学的フィルタ（または他の画像変換）を選択してもよい。たとえば、形態学的フィルタの構造化要素のサイズおよび形状が、管または小葉の形状および／またはサイズに合うよう選択されてもよい。これはもちろん、単に例示的であって、画像変換は、記述子によって同定される組織に存在していると知られている（または予期される）構造の他のいかなる既知の特性に基づいて選択されてもよい。
すでに述べたように、多くの異なる型の画像変換が、図７を参照して説明した方法のために使用されうる。たとえば、画像変換は、それが適用される画像データの少なくとも一つの色チャネルの強度を修正するよう適応された強度変換を含んでいてもよい。
画像変換は、ヒストグラム変換、たとえば画像ピクセル値の頻度分布を修正するよう構成された処理を含んでいてもよい。たとえば、これはヒストグラム等化、すなわち画像ピクセル値の頻度分布の一様性を増す処理であってもよい。そのような処理は、それが適用される画像データの少なくとも一つの色チャネルの強度にマッピング関数を適用することを含んでいてもよい。これらの例において、画像変換を修正することは、このマッピング関数を修正することを含んでいてもよい。同様に、画像変換は、コントラスト拡張処理を含んでいてもよい。コントラスト拡張処理の例は、それが適用される画像データの少なくとも一つの色チャネルの強度に線形変換を適用することを含む。理解されるであろうが、線形変換は、加法的な項および線形スケーリングを含んでいてもよい。そのような変換を修正することは、加法的な項の値（または符号）を変えることおよび／または線形スケーリングの値（または符号）を変えることを含んでいてもよい。
本開示のコンテキストにおいて、本稿で言及される画像データは、複数の異なるクラスの撮像システムのいずれに由来してもよいことも理解されるであろう。これらのシステムはそれぞれ異なる画像取得プロトコルおよび異なる型の光学系を含んでいてもよい。たとえば、いくつかのシステムは、一連のモノクローム画像を、それぞれ一連の異なる色フィルタのうちの異なるものを使って、取得する。サンプルが離散的な、よく定義された色帯域にあれば、結果として得られるモノクローム画像は次いで、組み合わされて、カラー画像を提供することができる。他のシステムは、複数帯域フィルタと組み合わせたカラー・カメラを使う。そのようなフィルタはたとえば、三つのあらかじめ定義された色通過帯域を有していてもよく、それにより単一のショットでカラー画像を生成しうる。それらの通過帯域は、試料または解析技法の特性に基づいて選択されてもよい。全スライド画像化システムのいくつかの例は、Aperia ScanScope FL（米国カリフォルニア州ヴィスタのAperioから入手可能）、Leica SCN400F（米国イリノイ州リッチモンドのLeica Biosystemsから入手可能）を含む。3DHistech P250（ハンガリー国ブダペストの3DHistechから入手可能）はこの種のスキャナの例である。全スライド画像化システムの他の例はOmnyx VL140（米国ペンシルヴェニア州ピッツバーグのOmnyxから入手可能）、Olympus VS120（東京のOlympus Corporationから入手可能）およびPhilips UFS System（オランダ王国ベストのPhilips Digital Pathologyから入手可能）を含む。さらなるシステムが存在し、将来も開発されるであろう。本発明の実施形態は、そのようなシステムの任意の一つまたは複数に由来する画像データの処理およびそのような画像データの間の比較を許容しうる。
全スライド顕微鏡画像は、数百ナノメートル、たとえば250nmの解像度を有していてもよい。組織試料自身は、それぞれさしわたし10ミリメートル以上、たとえば約15mmかける15mmであってもよい。そのような試料の全スライド画像は、少なくとも108個のピクセル、たとえば少なくとも109個のピクセルを含みうる。いくつかの実施形態では、全スライド画像は108ないし1010個のピクセルを含む。
ある種の方法が生きている人間または動物の体に適用されうる限りにおいて、そのような方法はいかなる外科的または治療的効果も与えなくてもよいことが理解されるであろう。さらに、そのような方法は、生きている人間や動物の体の一部ではない組織試料に対して、生体外で適用されうることが理解されるであろう。
図面一般を参照するに、本稿に記載されるシステムおよび装置の機能を示すために、概略的な機能ブロック図が使われていることが理解されるであろう。しかしながら、機能はこのように分割される必要はないことが理解されるであろう。記載され、請求項に記載される以外のハードウェアの特定の構造を含意するものと解釈されるべきではない。図面に示される要素のうち一つまたは複数の要素の機能がさらに細分されたり、および／または本開示の装置を通じて分配されたりしてもよい。いくつかの実施形態では、図面に示される一つまたは複数の要素の機能が単一の機能ユニットに統合されてもよい。
上記の実施形態は、例示的な例として理解されるべきである。さらなる実施形態が構想される。任意の一つの実施形態との関係で記述される任意の特徴が単独で、あるいは記載される他の特徴との組み合わせで使われてもよく、他の任意の実施形態もしくは他の任意の実施形態の組み合わせの一つまたは複数の特徴との組み合わせで使われてもよいことが理解される。さらに、付属の請求項において定義される本発明の範囲から外れることなく、上記に記載されない等価物および修正が用いられてもよい。
たとえば、いくつかの実施形態では、本稿に記載される方法は、画像データの一つまたは複数の離散的な領域がさらに解析されるべきであると判定された場合に、その画像データに形態学的フィルタを適用することを含む。たとえば、そのような形態学的フィルタは、さらに解析されるべく選択された領域に適用されるだけであってもよい。そのような形態学的フィルタは、細胞核を識別する細胞核データを提供するよう選択された構造化要素を有していてもよい。たとえば、構造化要素は円形であってもよく、20ミクロン未満、たとえば10ミクロン未満の直径を有していてもよい。この細胞核データは、前記少なくとも一つの離散的な領域が癌性細胞を含むかどうかが判定できるようにしうる。たとえば、そのような方法は、細胞核データから核形状および核サイズの少なくとも一方のメトリックを決定し、核形状および核サイズの前記少なくとも一方を比較器データと比較して、前記少なくとも一つの離散的領域が癌性細胞を含むかどうかを判定することを含んでいてもよい。そのような方法はさらに、唯一のまたはそれぞれの離散的領域における細胞境界を同定する細胞境界データを取得することおよび／または前記少なくとも一つの離散的領域が癌性細胞を含むかどうかを、細胞境界データに基づいて判定することを含んでいてもよい。たとえば、これは、細胞境界データから細胞形状および細胞サイズの少なくとも一方を決定し、細胞形状および細胞サイズの前記少なくとも一方を比較器データと比較して、前記少なくとも一つの離散的領域が癌性細胞を含むかどうかを判定することを含んでいてもよい。
いくつかの例では、一つまたは複数のメモリ要素が、本稿に記載される動作を実装するために使用されるデータおよび／またはプログラム命令を記憶することができる。本開示の実施形態は、本願に記載されるおよび／または特許請求される方法の任意の一つまたは複数を実行するおよび／または本願に記載されるおよび／または特許請求されるデータ処理装置を提供するよう、プロセッサをプログラムするよう機能できるプログラム命令を含む有体の非一時的な記憶媒体を提供する。
本稿で概説した活動および装置は、論理ゲートの集合体のような固定論理またはプログラム可能な論理、たとえばプロセッサによって実行されるソフトウェアおよび／またはコンピュータプログラム命令を用いて実装されうる。他の種類のプログラム可能な論理は、プログラム可能なプロセッサ、プログラム可能なデジタル論理（たとえばフィールドプログラマブルゲートアレイ（FPGA）、消去可能なプログラム可能型読み出し専用メモリ（EPROM）、電気的に消去可能なプログラム可能型読み出し専用メモリ（EEPROM）、特定用途向け集積回路ASICまたは他の任意の種類のデジタル論理、ソフトウェア・コード、電子命令、フラッシュメモリ、光ディスク、CD-ROM、DVD-ROM、磁気もしくは光カード、電子的な命令を記憶するのに好適な他の型の機械可読媒体またはそれらの任意の好適な組み合わせを含む。
いくつかの例では、コンピュータおよび／またはプロセッサの機能は、デジタル論理、たとえばフィールドプログラマブルゲートアレイFPGA、特定用途向け集積回路ASIC、デジタル信号プロセッサDSPによって、あるいはプログラム可能なプロセッサにロードされたソフトウェアによって提供されてもよい。プロセッサおよびそのプログラムの機能は、単一の統合されたユニットにおいて提供されてもよく、あるいは「クラウド」コンピューティングのようにネットワークを通じて通信するよう構成されうるいくつかのプロセッサの間で分散されてもよい。これはたとえば、方法の処理段階が、画像補足および画像解析からリモートなデバイス（単数または複数）において実行されることを可能にしうる。
本開示のコンテキストにおいて、本稿で記載されるデバイスおよび方法の他の例および変形が当業者には明白であろう。付属の請求項に記載されるように、他の例および変形が本開示の範囲内である。
いくつかの態様を記載しておく。
〔態様１〕
ヘマトキシリンおよびエオシンで染色した組織試料の顕微鏡スライド画像を定義する顕微鏡画像データを取得する段階であって、前記顕微鏡スライド画像データは複数の画像ピクセルを含む、段階と；
前記組織試料が由来するもとになった組織の型を示す記述子データを取得する段階と；
前記記述子データに基づいて、選択された範囲内の空間的長さスケールをもつ構造を記述する構造化された画像データを識別するよう構成された空間フィルタを選択する段階と；
選択されたフィルタを前記画像データに適用して、前記画像のいくつかの離散的な空間領域を定義する画像データの部分集合を識別する段階であって、前記離散的な空間領域は前記画像のエリアの全部より少ない部分を含む、段階と；
定量的画像メトリックの集合をデータ記憶部から選択する段階であって、前記定量的画像メトリックは前記記述子データに基づいて選択される、段階と；
それぞれの離散的な空間領域について、そのまたはそれぞれの離散的な空間領域に関連付けられた画像データの部分集合に基づいて、前記集合の各定量的な画像メトリックについての試料領域データ値を決定する段階と；
前記記述子データを使って、前記データ記憶部から、組織モデル・データ値の少なくとも一つの比較器集合を選択する段階であって、各比較器集合は異なる対応する比較器組織構造に関連付けられており、各比較器集合は、対応する比較器組織構造についての前記集合の定量的画像メトリックのデータ値を含む、段階と；
それぞれの離散的な領域についての前記試料領域データ値を、前記少なくとも一つの比較器集合と比較する段階と；
そのまたはそれぞれの離散的な領域についての前記試料領域データ値が前記比較器集合にマッチする場合、対応する比較器組織構造が何であるかに基づいて、そのまたはそれぞれの離散的な領域をさらに解析するかどうかを決定する段階とを含む、
コンピュータ実装される画像処理方法。
〔態様２〕
前記空間フィルタが、前記記述子データに基づいて選択された構造化要素をもつ形態学的フィルタを含む、態様１記載の方法。
〔態様３〕
前記構造化要素のサイズおよび形状の少なくとも一方が前記記述子データに基づいて選択される、態様２記載の方法。
〔態様４〕
定量的画像メトリックの前記集合が、唯一のまたはそれぞれの離散的領域における光学密度に基づくメトリックを含む、態様１ないし３のうちいずれか一項記載の方法。
〔態様５〕
定量的画像メトリックの前記集合が、唯一のまたはそれぞれの離散的領域における空間周波数の選択された範囲内の空間周波数データに基づくメトリックを含む、態様１ないし４のうちいずれか一項記載の方法。
〔態様６〕
前記定量的画像メトリックが、唯一のまたはそれぞれの離散的領域におけるテクスチャー・データに基づくメトリックを含む、態様１ないし５のうちいずれか一項記載の方法。
〔態様７〕
前記比較器構造が非浸潤性癌を含む、態様１ないし６のうちいずれか一項記載の方法。
〔態様８〕
唯一のまたはそれぞれの離散的な領域がさらに解析されるのではない場合には、唯一のまたはそれぞれの離散的な領域は前記画像データのその後の解析からは除外される、態様１ないし７のうちいずれか一項記載の方法。
〔態様９〕
唯一のまたはそれぞれの離散的な領域がさらに解析される場合、唯一のまたはそれぞれの離散的な領域における前記画像データに対して第一の形態学的フィルタを適用することを含み、前記形態学的フィルタは、細胞核を識別する細胞核データを与えるよう選択された構造化要素をもつ、態様１ないし８のうちいずれか一項記載の方法。
〔態様１０〕
定量的画像メトリックの前記集合が、前記記述子データに基づいて選択された長さスケールでの組織形態の少なくとも一つのメトリックを含む、態様１ないし９のうちいずれか一項記載の方法。
〔態様１１〕
複数の顕微鏡スライド画像から定量的画像メトリックの前記集合のデータ値を取得し、定量的画像メトリックの前記複数の集合のうちの前記少なくとも一つのメトリックのデータ値に基づいて、前記複数の顕微鏡スライド画像のシーケンスを選択することを含む、態様１ないし１０のうちいずれか一項記載の方法。
〔態様１２〕
前記複数の顕微鏡スライド画像を選択されたシーケンスで人間のオペレーターに対して呈示することを含む、態様１１記載の方法。
〔態様１３〕
前記画像データが光学密度データを含む、態様１ないし１２のうちいずれか一項記載の方法。
〔態様１４〕
態様１ないし１３のうちいずれか一項記載の方法を実行するよう構成された診断装置。
〔態様１５〕
（ａ）前記比較する諸段階のうちの少なくとも一つの段階の結果の指示を含む補強された画像および（ｂ）前記比較する諸段階のうち少なくとも一つの段階の結果に基づく、前記組織における癌性細胞の存在の診断的な指示、の少なくとも一方を提供するよう構成されている、態様１４記載の診断装置。
〔態様１６〕
顕微鏡画像データを取得して該データを前記画像プロセッサに提供するよう構成された画像取得器であって、前記画像データはヘマトキシリンおよびエオシンで染色した組織試料の顕微鏡スライド画像を定義し、前記顕微鏡スライド画像データは複数の画像ピクセルを含む、画像取得器と；
前記画像データに対して処理を実行するためのプロセッサとを有する装置であって、前記プロセッサは：
前記組織試料が由来するもとになった組織の型を示す記述子データを取得する段階と；
前記記述子データに基づいて、選択された範囲内の空間的長さスケールをもつ構造を記述する構造化された画像データを識別するよう構成された空間フィルタを選択する段階と；
選択されたフィルタを前記画像データに適用して、前記画像のいくつかの離散的な空間領域を定義する画像データの部分集合を識別する段階であって、前記離散的な空間領域は前記画像のエリアの全部よりも少ない部分を含む、段階と；
定量的画像メトリックの集合を前記記述子データに基づいて選択する段階と；
それぞれの離散的な空間領域について、そのまたはそれぞれの離散的な空間領域に関連付けられた画像データの前記部分集合に基づいて、前記集合の各定量的な画像メトリックについての試料領域データ値を決定する段階と；
組織モデル・データ値の少なくとも一つの比較器集合を取得する段階であって、各比較器集合は異なる対応する比較器組織構造に関連付けられており、各比較器集合は、対応する比較器組織構造についての前記集合の定量的画像メトリックのデータ値を含む、段階と；
それぞれの離散的な領域についての前記試料領域データ値を、前記少なくとも一つの比較器集合と比較する段階とを実行するよう構成されており、
前記プロセッサは、そのまたはそれぞれの離散的な領域についての前記試料領域データ値が前記比較器集合にマッチする場合、前記プロセッサが、対応する比較器組織構造が何であるかに基づいて、そのまたはそれぞれの離散的な領域をさらに解析するかどうかを決定するよう構成されている、
装置。
〔態様１７〕
前記プロセッサが、唯一のまたはそれぞれの離散的な領域がさらに解析される場合、唯一のまたはそれぞれの離散的な領域における前記画像データに対して第一の形態学的フィルタを適用するよう構成されており、前記形態学的フィルタは、細胞核を識別する細胞核データを与えるよう選択された構造化要素をもつ、態様１６記載の装置。
〔態様１８〕
前記第一の形態学的フィルタの構造化要素が円形であり、20ミクロン未満、たとえば10ミクロン未満の直径をもつ、態様１７記載の装置。
〔態様１９〕
前記プロセッサが、前記細胞核データに基づいて前記画像データを補強するよう構成されており、補強された画像データを、前記組織試料における癌性組織の存在の診断を支援するために提供するよう構成されている、態様１７または１８記載の装置。
〔態様２０〕
前記プロセッサが、前記細胞核データから決定される核形状または核サイズの少なくとも一方のメトリックに基づいて前記画像データを補強するよう構成されている、態様１９記載の装置。
〔態様２１〕
前記プロセッサが、核形状または核サイズの前記少なくとも一方を比較器データと比較することに基づいて、前記少なくとも一つの離散的な領域が癌性細胞を含むかどうかを示すよう、前記画像データを補強するよう構成されている、態様２０記載の装置。
〔態様２２〕
前記プロセッサが、唯一のまたはそれぞれの離散的な領域における細胞境界を同定する細胞境界データに基づいて前記画像データを補強するよう構成されている、態様１８ないし２１のうちいずれか一項記載の装置。
〔態様２３〕
前記プロセッサが、そのまたはそれぞれの離散的な領域の勾配画像データから、たとえば分水嶺法に基づいて前記細胞境界データを決定するよう構成されている、態様２２記載の装置。
〔態様２４〕
前記細胞境界データが、細胞形状および細胞サイズの少なくとも一方を含む、態様２２または２３記載の装置。
〔態様２５〕
前記プロセッサが、複数の顕微鏡スライド画像から定量的画像メトリックの前記集合のデータ値を取得するよう構成されており、前記画像データを補強することが、定量的画像メトリックの前記複数の集合のうちの前記少なくとも一つのメトリックのデータ値に基づいて、前記複数の顕微鏡スライド画像のシーケンスを選択することを含む、態様１４ないし２４のうちいずれか一項記載の装置。
〔態様２６〕
前記プロセッサが、前記複数の顕微鏡スライド画像を選択されたシーケンスで人間のオペレーターに対して呈示するよう構成されている、態様２５記載の装置。
〔態様２７〕
前記プロセッサが、唯一のまたはそれぞれの離散的な領域をハイライトすることによって前記画像データを補強するよう構成されている、態様１９ないし２６のうちいずれか一項記載の装置。
〔態様２８〕
（ａ）前記比較する諸段階のうちの少なくとも一つの段階の結果の指示を含む補強された画像および（ｂ）前記比較する諸段階のうち少なくとも一つの段階の結果に基づく、前記組織における癌性細胞の存在の診断的な指示、の少なくとも一方を提供するよう構成されている、態様１６ないし２７のうちいずれか一項記載の装置。
〔態様２９〕
構造を識別するためのコンピュータ実装される顕微鏡検査方法であって：
デジタル顕微鏡画像から第一の画像データを取得する段階と；
前記第一の画像データに画像変換を適用して第二の画像データを得る段階であって、前記第二の画像データの少なくともいくつかのピクセル・データ値が、前記第一の画像データの対応するピクセル・データ値とは異なる、段階と；
前記第二の画像データを少なくとも一つの比較器と比較して、該比較に基づいて前記顕微鏡画像における構造を分類する段階と；
前記第二の画像データにおける少なくとも一つの未分類の構造を同定する段階と；
前記画像変換を修正する段階と；
修正された画像変換を前記デジタル顕微鏡画像から得られた前記画像データに適用して第三の画像データを得る段階と；
前記第三の画像データを、前記少なくとも一つの未分類の構造を識別するために前記少なくとも一つの比較器と比較する段階とを含む、
方法。
〔態様３０〕
構造を識別するためのコンピュータ実装される顕微鏡検査方法であって：
デジタル顕微鏡画像から第一の画像データを取得する段階と；
前記第一の画像データに画像変換を適用して第二の画像データを得る段階であって、前記第二の画像データの少なくともいくつかのピクセル・データ値が、前記第一の画像データの対応するピクセル・データ値とは異なる、段階と；
前記第二の画像データを少なくとも一つの比較器と比較して、該比較に基づいて前記顕微鏡画像における構造を分類する段階とを含む、
方法。
〔態様３１〕
前記画像変換がコントラスト拡張処理を含み、当該方法は：
前記コントラスト拡張処理を修正する段階と；
修正されたコントラスト拡張処理を、前記デジタル顕微鏡画像から得られた前記画像データに適用して第三の強度データを得る段階と；
前記第三の強度データを、前記少なくとも一つの未分類の構造を識別するために前記少なくとも一つの比較器と比較する段階とを含む、
態様３０記載の方法。
〔態様３２〕
前記画像変換が、前記画像変換が適用される前記画像データにおける一つまたは複数の選択された空間周波数帯域を減衰させるまたは強調するよう構成された処理を含む、態様２９ないし３１のうちいずれか一項記載の方法。
〔態様３３〕
前記画像変換を修正することが、前記一つまたは複数の空間周波数帯域のうちの一つまたは複数の帯域の減衰または強調を修正することを含む、態様３２記載の方法。
〔態様３４〕
（ａ）前記画像データの少なくとも一つの定量的画像メトリック；および
（ｂ）前記顕微鏡画像が由来するもとになった組織の型を示す記述子データ
のうちの少なくとも一方に基づいて前記画像変換を選択することを含む、態様２９ないし３３のうちいずれか一項記載の方法。
〔態様３５〕
前記画像変換は、前記画像変換が適用される前記画像データの少なくとも一つの色チャネルの強度を修正するよう適応された強度変換を含む、態様２９ないし３４のうちいずれか一項記載の方法。
〔態様３６〕
前記画像変換がヒストグラム等化を含む、態様３５記載の方法。
〔態様３７〕
前記ヒストグラム等化が、前記画像変換が適用される前記画像データの少なくとも一つの色チャネルの強度に対してマッピング関数を適用することを含み、前記画像変換を修正することが前記マッピング関数を修正することを含む、態様３６記載の方法。
〔態様３８〕
前記画像変換がコントラスト拡張処理を含む、態様２９ないし３７のうちいずれか一項記載の方法。
〔態様３９〕
前記コントラスト拡張処理が、前記画像変換が適用される前記画像データの少なくとも一つの色チャネルの強度に対して線形スケーリングを適用することを含み、前記画像変換を修正することが前記線形スケーリングを修正することを含む、態様３８記載の方法。
〔態様４０〕
前記修正された画像変換が、前記画像データの、少なくとも一つの未分類の構造を含む部分集合に適用される、態様２９または３１ないし３９のうちいずれか一項記載の方法。
〔態様４１〕
前記修正された画像変換が、前記画像データの、少なくとも一つの分類済みの構造を除外する部分集合に適用される、態様２９または３１ないし４０のうちいずれか一項記載の方法。
〔態様４２〕
未分類のまま残っているオブジェクトが選択された数未満になるまで修正する段階、比較する段階および分類する段階を逐次反復することを含む、態様３１ないし３９のうちいずれか一項記載の方法。

Claims (15)

  1. ヘマトキシリンおよびエオシンで染色した組織試料の顕微鏡スライド画像を定義する顕微鏡画像データを取得する段階であって、前記顕微鏡スライド画像データは複数の画像ピクセルを含む、段階と；
    前記組織試料が由来するもとになった組織の型を示す記述子データを取得する段階と；
    前記記述子データに基づいて、選択された範囲内の空間的長さスケールをもつ構造を記述する構造化された画像データを識別するよう構成された空間フィルタを選択する段階と；
    選択されたフィルタを前記画像データに適用して、前記画像のいくつかの離散的な空間領域を定義する画像データの部分集合を識別する段階であって、前記離散的な空間領域は前記画像のエリアの全部より少ない部分を含む、段階と；
    定量的画像メトリックの集合をデータ記憶部から選択する段階であって、前記定量的画像メトリックは前記記述子データに基づいて選択される、段階と；
    それぞれの離散的な空間領域について、そのまたはそれぞれの離散的な空間領域に関連付けられた画像データの部分集合に基づいて、前記集合の各定量的な画像メトリックについての試料領域データ値を決定する段階と；
    前記記述子データを使って、前記データ記憶部から、組織モデル・データ値の少なくとも一つの比較器集合を選択する段階であって、各比較器集合は異なる対応する比較器組織構造に関連付けられており、各比較器集合は、対応する比較器組織構造についての前記集合の定量的画像メトリックのデータ値を含む、段階と；
    それぞれの離散的な領域についての前記試料領域データ値を、前記少なくとも一つの比較器集合と比較する段階と；
    そのまたはそれぞれの離散的な領域についての前記試料領域データ値が前記比較器集合にマッチする場合、対応する比較器組織構造が何であるかに基づいて、そのまたはそれぞれの離散的な領域をさらに解析するかどうかを決定する段階と；
    そのまたはそれぞれの離散的な領域がさらに解析される場合、そのまたはそれぞれの離散的な領域における前記画像データに対して第一の形態学的フィルタを適用する段階であって、前記形態学的フィルタは、細胞核を識別する細胞核データを与えるよう選択された構造化要素をもつ、段階と；
    前記細胞核データに基づいて、核形状、核面積および形状因子のうちの少なくとも一つのメトリックを決定して、該メトリックを比較器データと比較して、そのまたはそれぞれの少なくとも一つの離散的な領域が癌性細胞を含む可能性が高いかどうかを判定する段階とを含む、
    コンピュータ実装される画像処理方法。
  2. 前記空間フィルタが、前記記述子データに基づいて選択された構造化要素をもつ形態学的フィルタを含む、請求項１記載の方法。
  3. 定量的画像メトリックの前記集合が、
    （ａ）唯一のまたはそれぞれの離散的領域における光学密度；
    （ｂ）唯一のまたはそれぞれの離散的領域における空間周波数の選択された範囲内の空間周波数データ；
    （ｃ）唯一のまたはそれぞれの離散的領域におけるテクスチャー・データ；
    （ｄ）前記記述子データに基づいて選択された長さスケールでの組織形態の少なくとも一つのメトリック、
    のうちの少なくとも一つに基づくメトリックを含む、請求項１記載の方法。
  4. 前記比較器構造が非浸潤性癌を含む、請求項１記載の方法。
  5. 唯一のまたはそれぞれの離散的な領域がさらに解析されるのではない場合には、唯一のまたはそれぞれの離散的な領域は前記画像データのその後の解析からは除外される、請求項４記載の方法。
  6. 複数の顕微鏡スライド画像から定量的画像メトリックの前記集合のデータ値を取得し、定量的画像メトリックの前記複数の集合のうちの前記少なくとも一つのメトリックのデータ値に基づいて、前記複数の顕微鏡スライド画像のシーケンスを選択することを含み、
    たとえば、前記複数の顕微鏡スライド画像を選択されたシーケンスで人間のオペレーターに対して呈示することを含む、請求項５記載の方法。
  7. 前記画像データが光学密度データを含む、請求項６記載の方法。
  8. 請求項６記載の方法を実行するよう構成された診断装置であって、
    たとえば、（ａ）前記比較する諸段階のうちの少なくとも一つの段階の結果の指示を含む補強された画像および（ｂ）前記比較する諸段階のうち少なくとも一つの段階の結果に基づく、前記組織における癌性細胞の存在の診断的な指示、の少なくとも一方を提供するよう構成されている、診断装置。
  9. 画像取得器およびプロセッサを有する装置であって、
    前記画像取得器は、顕微鏡画像データを取得して該データを前記プロセッサに提供するよう構成されており、前記画像データはヘマトキシリンおよびエオシンで染色した組織試料の顕微鏡スライド画像を定義し、前記顕微鏡スライド画像データは複数の画像ピクセルを含み；
    前記プロセッサは、前記画像データに対して処理を実行するよう構成されており、前記プロセッサは：
    前記組織試料が由来するもとになった組織の型を示す記述子データを取得する段階と；
    前記記述子データに基づいて、選択された範囲内の空間的長さスケールをもつ構造を記述する構造化された画像データを識別するよう構成された空間フィルタを選択する段階と；
    選択されたフィルタを前記画像データに適用して、前記画像のいくつかの離散的な空間領域を定義する画像データの部分集合を識別する段階であって、前記離散的な空間領域は前記画像のエリアの全部よりも少ない部分を含む、段階と；
    定量的画像メトリックの集合を前記記述子データに基づいて選択する段階と；
    それぞれの離散的な空間領域について、そのまたはそれぞれの離散的な空間領域に関連付けられた画像データの前記部分集合に基づいて、前記集合の各定量的な画像メトリックについての試料領域データ値を決定する段階と；
    組織モデル・データ値の少なくとも一つの比較器集合を取得する段階であって、各比較器集合は異なる対応する比較器組織構造に関連付けられており、各比較器集合は、対応する比較器組織構造についての前記集合の定量的画像メトリックのデータ値を含む、段階と；
    それぞれの離散的な領域についての前記試料領域データ値を、前記少なくとも一つの比較器集合と比較する段階とを実行するよう構成されており、
    前記プロセッサは、そのまたはそれぞれの離散的な領域についての前記試料領域データ値が前記比較器集合にマッチする場合、前記プロセッサが、対応する比較器組織構造が何であるかに基づいて、そのまたはそれぞれの離散的な領域をさらに解析するかどうかを決定するよう構成されており、
    前記プロセッサは：
    そのまたはそれぞれの離散的な領域がさらに解析される場合、そのまたはそれぞれの離散的な領域における前記画像データに対して第一の形態学的フィルタを適用する段階であって、前記第一の形態学的フィルタは、細胞核を識別する細胞核データを与えるよう選択された構造化要素をもつ、段階と；
    前記細胞核データに基づいて、核形状、核面積および形状因子のうちの少なくとも一つのメトリックを決定して、該メトリックを比較器データと比較して、そのまたはそれぞれの少なくとも一つの離散的な領域が癌性細胞を含む可能性が高いかどうかを判定する段階とを実行するよう構成されている、
    装置。
  10. 前記第一の形態学的フィルタの構造化要素が円形であり、たとえば20ミクロン未満の直径をもつ、請求項９記載の装置。
  11. 前記プロセッサが、唯一のまたはそれぞれの離散的な領域における細胞境界を同定する細胞境界データに基づいて前記画像データを補強するよう構成されており、
    たとえば、前記プロセッサが、そのまたはそれぞれの離散的な領域の勾配画像データから、たとえば分水嶺法に基づいて前記細胞境界データを決定するよう構成されている、
    請求項９記載の装置。
  12. 前記細胞境界データが、細胞形状および細胞サイズの少なくとも一方を含む、請求項１１記載の装置。
  13. 前記プロセッサが、複数の顕微鏡スライド画像から定量的画像メトリックの前記集合のデータ値を取得するよう構成されており、前記画像データを補強することが、定量的画像メトリックの前記複数の集合のうちの前記少なくとも一つのメトリックのデータ値に基づいて、前記複数の顕微鏡スライド画像のシーケンスを選択することを含み、
    たとえば、前記プロセッサが、前記複数の顕微鏡スライド画像を選択されたシーケンスで人間のオペレーターに対して呈示するよう構成されている、
    請求項９記載の装置。
  14. 前記プロセッサが、唯一のまたはそれぞれの離散的な領域をハイライトすることによって前記画像データを補強するよう構成されている、請求項９記載の装置。
  15. （ａ）前記比較する諸段階のうちの少なくとも一つの段階の結果の指示を含む補強された画像および（ｂ）前記比較する諸段階のうち少なくとも一つの段階の結果に基づく、前記組織における癌性細胞の存在の診断的な指示、の少なくとも一方を提供するよう構成されている、請求項９記載の装置。
JP2018514783A 2015-09-23 2016-09-23 組織認識のための方法および装置 Expired - Fee Related JP6745874B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1516871.9A GB2543029A (en) 2015-09-23 2015-09-23 Method and apparatus for tissue recognition
GB1516871.9 2015-09-23
PCT/GB2016/052973 WO2017051190A1 (en) 2015-09-23 2016-09-23 Method and apparatus for tissue recognition

Publications (3)

Publication Number Publication Date
JP2018535470A JP2018535470A (ja) 2018-11-29
JP2018535470A5 JP2018535470A5 (ja) 2020-01-09
JP6745874B2 true JP6745874B2 (ja) 2020-08-26

Family

ID=54544704

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018514783A Expired - Fee Related JP6745874B2 (ja) 2015-09-23 2016-09-23 組織認識のための方法および装置

Country Status (6)

Country Link
US (1) US10565706B2 (ja)
EP (1) EP3353742A1 (ja)
JP (1) JP6745874B2 (ja)
CN (1) CN108352062A (ja)
GB (1) GB2543029A (ja)
WO (1) WO2017051190A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769501B1 (en) 2017-02-15 2020-09-08 Google Llc Analysis of perturbed subjects using semantic embeddings
US10467754B1 (en) * 2017-02-15 2019-11-05 Google Llc Phenotype analysis of cellular image data using a deep metric network
ES2684373B2 (es) * 2017-12-19 2019-05-27 Univ Leon Procedimiento y sistema de vision artificial para la descripcion y clasificacion automatica de tejidos no patologicos del sistema cardiovascular humano
US11126649B2 (en) 2018-07-11 2021-09-21 Google Llc Similar image search for radiology
CN109213031A (zh) * 2018-08-13 2019-01-15 祝爱莲 窗体加固控制平台
CN111307249A (zh) * 2018-11-27 2020-06-19 宁波旭磊电子科技有限公司 水沿高度报警平台
CN115439445A (zh) * 2022-09-05 2022-12-06 青岛埃米博创医疗科技有限公司 一种肝血管及肝肿瘤识别系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2574181B2 (ja) * 1989-10-19 1997-01-22 富士写真フイルム株式会社 異常陰影検出装置
US7864380B2 (en) * 2001-03-19 2011-01-04 Dmetrix, Inc. Slide-borne imaging instructions
JP2005530138A (ja) * 2002-06-18 2005-10-06 ライフスパン バイオサイエンス，インク． 組織標本の中の重要な構造のコンピュータを利用した画像捕捉
US7283652B2 (en) * 2002-11-27 2007-10-16 General Electric Company Method and system for measuring disease relevant tissue changes
WO2005027015A2 (en) * 2003-09-10 2005-03-24 Bioimagene, Inc. Method and system for quantitatively analyzing biological samples
EP1789923A1 (en) * 2004-08-11 2007-05-30 Aureon Laboratories, Inc. Systems and methods for automated diagnosis and grading of tissue images
US20060127880A1 (en) * 2004-12-15 2006-06-15 Walter Harris Computerized image capture of structures of interest within a tissue sample
EP1975875A3 (en) * 2005-05-13 2008-10-08 Tripath Imaging, Inc. Methods of chromogen separation-based image analysis
JP5648479B2 (ja) * 2008-10-09 2015-01-07 日本電気株式会社 病理組織診断支援システム、病理組織診断支援プログラム、病理組織診断支援方法
JPWO2010123043A1 (ja) * 2009-04-21 2012-10-25 日本電気株式会社 癌の評価方法
JP5547597B2 (ja) * 2010-09-29 2014-07-16 大日本スクリーン製造株式会社 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
CN102044069B (zh) * 2010-12-01 2012-05-09 华中科技大学 一种白细胞图像分割方法
CN102297873A (zh) * 2011-05-03 2011-12-28 杭州一二八医院 利用软x射线显微成像进行癌细胞图形识别的方法
US20140233826A1 (en) * 2011-09-27 2014-08-21 Board Of Regents Of The University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
WO2013181127A1 (en) * 2012-05-30 2013-12-05 Clarient Diagnostic Services, Inc. Multiplexed assay method for lung cancer classification
CN103489188A (zh) * 2013-09-23 2014-01-01 华南理工大学 一种宫颈lct图像的异常细胞核定位方法
EP3053138B1 (en) * 2013-09-30 2018-08-22 Ventana Medical Systems, Inc. Systems and methods for adaptive histopathology image unmixing
JP2016541039A (ja) * 2013-10-07 2016-12-28 ベンタナ メディカル システムズ， インコーポレイテッド 包括的なマルチアッセイ組織分析のためのシステムおよび方法
US9558394B2 (en) * 2014-03-10 2017-01-31 Case Western Reserve University Histogram of hosoya index (HoH) features for quantitative histomorphometry
US9424460B2 (en) * 2014-03-10 2016-08-23 Case Western Reserve University Tumor plus adjacent benign signature (TABS) for quantitative histomorphometry
US9298968B1 (en) * 2014-09-12 2016-03-29 Flagship Biosciences, Inc. Digital image analysis of inflammatory cells and mediators of inflammation

Also Published As

Publication number Publication date
CN108352062A (zh) 2018-07-31
US20180350067A1 (en) 2018-12-06
JP2018535470A (ja) 2018-11-29
WO2017051190A1 (en) 2017-03-30
EP3353742A1 (en) 2018-08-01
US10565706B2 (en) 2020-02-18
GB2543029A (en) 2017-04-12
GB201516871D0 (en) 2015-11-04

Similar Documents

Publication Publication Date Title
JP6745874B2 (ja) 組織認識のための方法および装置
Silva-Rodríguez et al. Going deeper through the Gleason scoring scale: An automatic end-to-end system for histology prostate grading and cribriform pattern detection
US10671832B2 (en) Method and apparatus for tissue recognition
US9946953B2 (en) Apparatus and method for processing images of tissue samples
AU2015307296B2 (en) Method and device for analysing an image
US9842391B2 (en) Method and apparatus for processing an image of a tissue sample
Bhattacharjee et al. Review on histopathological slide analysis using digital microscopy
Goceri et al. Quantitative validation of anti‐PTBP1 antibody for diagnostic neuropathology use: Image analysis approach
JP6659832B2 (ja) 正規化及びアーチファクト補正のための画像処理方法及び画像処理装置
WO2017051195A1 (en) Pattern driven image processing method & apparatus for tissue recognition
Anari et al. Computer-aided detection of proliferative cells and mitosis index in immunohistichemically images of meningioma
Somasundaram et al. Automatic segmentation of nuclei from pap smear cell images: A step toward cervical cancer screening
Oswal et al. An Entropy‐Based Automated Cell Nuclei Segmentation and Quantification: Application in Analysis of Wound Healing Process
Dooley et al. Prediction of heart transplant rejection using histopathological whole-slide imaging
Alomari et al. Iterative randomized irregular circular algorithm for proliferation rate estimation in brain tumor Ki-67 histology images
Saghir et al. Skin cancer detection and classification based on differential analyzer algorithm
Oprisescu et al. Automatic pap smear nuclei detection using mean-shift and region growing
Mazo et al. Automatic recognition of fundamental tissues on histology images of the human cardiovascular system
Guatemala-Sanchez et al. Nuclei segmentation on histopathology images of breast carcinoma
Irshad Automated mitosis detection in color and multi-spectral high-content images in histopathology: application to breast cancer grading in digital pathology
Alomari et al. Adaptive Localization of Focus Point Regions via Random Patch Probabilistic Density from Whole‐Slide, Ki‐67‐Stained Brain Tumor Tissue
Gramacki et al. Automatic breast cancer diagnostics based on statistical analysis of shape and texture features of individual cell nuclei
Gramacki et al. Automatic Breast Cancer Diagnostics Based on Statistical Analysis of Shape and Texture Features of Individual Cell
Alomari et al. Research Article Adaptive Localization of Focus Point Regions via Random Patch Probabilistic Density from Whole-Slide, Ki-67-Stained Brain Tumor Tissue
PUECH et al. Automated Mitosis Detection in Color and Multi-spectral High-Content Images in Histopathology: Application to Breast Cancer Grad-ing in Digital Pathology

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180326

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191122

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191122

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200804

R150 Certificate of patent or registration of utility model

Ref document number: 6745874

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees