JP6559353B2 - 自動核セグメンテーション - Google Patents

自動核セグメンテーション Download PDF

Info

Publication number
JP6559353B2
JP6559353B2 JP2018531090A JP2018531090A JP6559353B2 JP 6559353 B2 JP6559353 B2 JP 6559353B2 JP 2018531090 A JP2018531090 A JP 2018531090A JP 2018531090 A JP2018531090 A JP 2018531090A JP 6559353 B2 JP6559353 B2 JP 6559353B2
Authority
JP
Japan
Prior art keywords
local
superpixel
superpixels
global
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018531090A
Other languages
English (en)
Other versions
JP2019502994A (ja
Inventor
ジョージェスク ウォルター
ジョージェスク ウォルター
サリグラマ キラン
サリグラマ キラン
オルソン アレン
オルソン アレン
アンナルダス バラット
アンナルダス バラット
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Biosystems Imaging Inc
Original Assignee
Leica Biosystems Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Biosystems Imaging Inc filed Critical Leica Biosystems Imaging Inc
Publication of JP2019502994A publication Critical patent/JP2019502994A/ja
Application granted granted Critical
Publication of JP6559353B2 publication Critical patent/JP6559353B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16BBIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16BBIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • G16B40/20Supervised data analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759Region-based matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Bioethics (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Biotechnology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Description

関連出願の相互参照
本出願は、2015年12月15日出願の米国仮特許出願番号第62/267,775号「Automatic Nuclear Segmentation」の優先権を主張し、その全体を参照により本明細書に組み込む。
本明細書に記載の実施形態は、一般的に、デジタル画像の自動セグメンテーションに関し、一実施形態においては、デジタル病理学における自動核セグメンテーションに関する。
デジタル画像のオブジェクトを識別するセグメンテーションタスクにおいて、個々のピクセルのレベルよりも高いレベルで操作することが有利なことが多い。これは、相似則に従って、「スーパーピクセル」と呼ばれるエンティティに個々のピクセルをクラスタリングすることによって達成できる。スーパーピクセルの数は、画像の元のピクセルの数よりずっと少なくなるので、スーパーピクセルに対するその後の操作は、個々のピクセルに対する操作よりも速く行うことができ、必要なメモリも少なくなる。
このクラスタリングタスクは、専用スーパーピクセルアルゴリズムを用いて、または、通常のセグメンテーションアルゴリズムをオーバーセグメントに設定することによって、様々な成功度で達成し得る。専用スーパーピクセルアルゴリズムの例は、以下を含む:
・「Quick shift and kernel methods for mode seeking」Vedaldi et al.著、Lecture Notes in Computer Science(サブシリーズのLecture Notes Artificial Intelligence and Lecture Notes in Bioinformaticsを含む)、vol.5305 LNCS,no.PART4,pp.705−718(2008)に記載されたQuick Shift、その内容を参照により本明細書に組み込む。
・「SEEDS:Superpixels Extracted via Energy−Driven Sampling」Van Den Bergh et al.著(2013)に記載されたSuperpixels Extracted via Energy−Driven Sampling(SEEDS)、その内容を参照により本明細書に組み込む。
・「SLIC Superpixels compared to state−of−the−art Superpixel methods」Achanta et al.著、IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.34,no.11,pp.2274−81(2012)に記載されたSimple Linear Iterative Clustering(SLIC)Superpixels、その内容を参照により本明細書に組み込む。
通常のセグメンテーションアルゴリズムの例は、「Watersheds in digital spaces:an efficient algorithm based on immersion simulations」Vincent et al.著、IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.13(1991)に記載の流域アルゴリズムであり、その内容を参照により本明細書に組み込む。
典型的に、セグメンテーションの最終的な目的は、セグメンテーションしている画像に存在するオブジェクトを識別することである。スーパーピクセルベースのセグメンテーションにおいては、この目的は、従来は、階層的クラスタリング等のクラスタリングアルゴリズムを用いて、個々のスーパーピクセルをオブジェクトにクラスタリングすることによって達成された。階層的クラスタリングは、「Learning to agglomerate Superpixel hierarchies」Jain et al.著、Advances in Neural Information Processing Systems,pp.1−9(2011)と、「Machine Learning of Hierarchical Clustering to Segment 2D and 3D images」Nunez−Iglesias et al.著、Public Library of Science (PLoS)One,vol.8,no.8(2013)と、に記載され、その内容を参照により本明細書に組み込む。階層的クラスタリングは、個々のピクセルを結合してスーパーピクセルにする方法と同じように、互いに類似したスーパーピクセルを結合してオブジェクトにする。しかしながら、このアプローチは、似ていないスーパーピクセルを結合させることによってのみ適切にクラスタリングできるオブジェクトに対しては、機能しない。
自動核セグメンテーションの実施形態を開示する。
ある実施形態において、方法を開示する。方法は、少なくとも1つのハードウェアプロセッサを使用して、デジタル画像の複数のスーパーピクセルを決定することと、複数のスーパーピクセルの各スーパーピクセルに関して、そのスーパーピクセルから検索半径内に位置する任意のスーパーピクセルを識別することと、各スーパーピクセルと、そのスーパーピクセルから検索半径内に位置する任意の識別されたスーパーピクセルとの各一意的な局所的組み合わせに関して、その局所的組み合わせの局所的スコアを決定することと、局所的組み合わせの複数の大域的集合のうち、最適な大域的スコアを有する1つの大域的集合を、決定された局所的スコアに基づいて識別することと、を含む。
別の実施形態において、システムを開示する。システムは、少なくとも1つのハードウェアプロセッサと、1つまたは複数のソフトウェアモジュールとを含み、1つまたは複数のソフトウェアモジュールは、少なくとも1つのハードウェアプロセッサによって実行されると、デジタル画像の複数のスーパーピクセルを決定し、複数のスーパーピクセルの各スーパーピクセルに関して、そのスーパーピクセルから検索半径内に位置する任意のスーパーピクセルを識別し、各スーパーピクセルと、そのスーパーピクセルから検索半径内に位置する任意の識別されたスーパーピクセルとの各一意的な局所的組み合わせに関して、局所的組み合わせの局所的スコアを決定し、局所的組み合わせの複数の大域的集合のうち、最適な大域的スコアを有する1つの大域的集合を、局所的スコアに基づいて識別する。
別の実施形態において、命令を記憶する非一時的コンピュータ可読媒体を開示する。命令は、プロセッサによって実行されると、プロセッサに、デジタル画像の複数のスーパーピクセルを決定させ、複数のスーパーピクセルの各スーパーピクセルに関して、そのスーパーピクセルから検索半径内に位置する任意のスーパーピクセルを識別させ、各スーパーピクセルと、そのスーパーピクセルから検索半径内に位置する任意の識別されたスーパーピクセルとの各一意的な局所的組み合わせに関して、局所的組み合わせの局所的スコアを決定させ、且つ、局所的組み合わせの複数の大域的集合のうち、最適な大域的スコアを有する1つの大域的集合を、決定された局所的スコアに基づいて識別させる。
本発明の詳細は、その構造と操作の両方に関して、添付図面を検討することによって部分的に学習され得る。添付図面内の類似の参照番号は、類似の部分を指す。
ある実施形態による、自動核セグメンテーションのプロセスを示す。 ある実施形態による、スーパーピクセル生成の例を示す。 ある実施形態による、スーパーピクセルの組み合わせのスコアの付け方の例を示す。 ある実施形態による、大域的最適化の例を示す。 図3Aおよび図3Bは、ある実施形態による、検索半径に従った可能なスーパーピクセルの組み合わせの選択の仕方の例を示す。 図4A〜図4Dは、ある実施形態による、局所的なスーパーピクセルの組み合わせの大域的集合の決定の仕方の簡単な例を示す。 ある実施形態による、本明細書に記載のプロセスの1つまたは複数を実行し得る処理システムを示す。
自動核セグメンテーションのシステム、方法、および、非一時的コンピュータ可読媒体の実施形態を開示する。有利なことに、一定の実施形態は、スーパーピクセルが類似しているか否かに関わらず、例えば、機械学習技術と大域的最適化を用いて、スーパーピクセルを正確に組み合わせることができる。これらの実施形態は、核セグメンテーションの文脈で開示するが、他の種類のオブジェクトセグメンテーションに適合されてよい。
以下の記載を読むと、代替実施形態および代替用途の実施の仕方は当業者に明らかとなろう。しかしながら、様々な実施形態をここに記載するが、これらの実施形態は、制限ではなく、例示および説明のためにのみ記載されていることは理解されよう。従って、この様々な実施形態の詳細な記載は、添付請求項に規定される本出願の範囲または広さを制限すると解釈すべきではない。
1.プロセスの概要
自動核セグメンテーションのプロセスの実施形態を詳細に記載する。記載のプロセスは、1つまたは複数のハードウェアプロセッサによって実行される1つまたは複数のソフトウェアモジュールで実現されてよいことは理解されたい。記載のプロセスは、ソースコード、オブジェクトコード、および/または、機械コードで表された命令として実施されてよい。これらの命令は、ハードウェアプロセッサ(複数可)によって直接、実行されてもよく、あるいは、オブジェクトコードとハードウェアプロセッサ(複数可)との間で動作する仮想マシンによって実行されてもよい。
図1は、ある実施形態による、自動核セグメンテーションのプロセス100を示す。ステップ110で開始すると、デジタル画像が受信される。デジタル画像は、任意の手段で受信されてよいことは理解されたい。例えば、デジタル画像は、ローカルメモリから読み出されてよい、もしくは、他の方法で受信されてよい、または、標準的な通信プロトコルを用いて1つまたは複数のネットワークを介してリモートシステムから読み出されてよい、もしくは、他の方法で受信されてよい。デジタル画像は、スライドスキャナ等の画像獲得装置によって、ローカルまたはリモートで、同時にまたは同時でなく、獲得されてよく、(例えば、蛍光または他の照明を用いて撮像された)病理標本等の標本の画像を含んでよい。
1.1.スーパーピクセル生成
ステップ120において、デジタル画像のスーパーピクセルが生成される。ある実施形態においては、デジタル画像の各ピクセルは、スーパーピクセルに割り当てられる。スーパーピクセルは、上記のように、オーバーセグメンテーションのために構成されたQuick Shiftアルゴリズム、SEEDSアルゴリズム、SLICスーパーピクセルアルゴリズム、または、流域アルゴリズムを用いて生成されてよい。しかしながら、核セグメンテーションの好ましい実施形態において、スーパーピクセルは、曲率セグメンテーション技術を用いて生成される。曲率セグメンテーション技術は、核セグメンテーションに適切な種類のスーパーピクセルを生成する傾向がある。
曲率セグメンテーション技術の実施形態において、曲率画像が、元の画像の平滑化されたバージョンから、次のように近似される。
ここで、
ここで、
I(x,y)は、平滑化された画像の座標x,yの強度値である。画像の高い正曲率のエリアを使用して、スーパーピクセルの境界を示す。これらの境界は、オブジェクト(例えば、核)と背景のオーバーセグメンテーションとを規定する。
デジタル画像がスーパーピクセルにセグメンテーションされると、ステップ130において、背景のスーパーピクセル(すなわち、例えば、関心オブジェクトのどの部分も表しているようではないので、関心なさそうなスーパーピクセル)は、廃棄されてよい。これらの背景のスーパーピクセルは、局所的閾値技術を用いて廃棄されてよい。
局所的閾値技術のある実施形態においては、ガウス差分(DoG)技術をブロブ検出器として使用して、オブジェクト(例えば、核)を背景のスーパーピクセルから分離する。しかしながら、任意の種類の局所的閾値技術を使用して、同一または類似の結果を達成してよい。DoG技術においては、画像のスケールダウンバージョンが、異なる幅の2つのガウス核を用いて平滑化される。差分画像の正のピクセルをマスクとして使用して、オブジェクト(例えば、核)を表すスーパーピクセルを識別する。数学的に、DoG演算は、以下のようにまとめることができる。
ここで、
は、2つのガウス関数の分散である。
閾値技術の結果、デジタル画像の関心オブジェクト内の各ピクセルが、スーパーピクセルに割り当てられ、その結果、各スーパーピクセルは、関心オブジェクトの少なくとも一部を表し、各関心オブジェクトは、1つまたは複数のスーパーピクセルからなる。ステップ130において、閾値技術以外の方法が、閾値技術の代わりに、または、閾値技術に加えて、使用されて、プロセス100のそれ以降のステップで検討しなければならないスーパーピクセルの数を減らしてよい。
図2Aは、ある実施形態による、スーパーピクセル生成の例を示す。詳細には、左端の画像の細胞核のデジタル画像は、右端の画像に示すようにスーパーピクセルにセグメンテーションされる。図に示すように、これらのスーパーピクセルは、細胞核の一部を表すものもあれば、細胞核全体を表すものもある。従って、スーパーピクセル生成後、デジタル画像の各細胞核は、ステップ130で閾値技術および/または他の技術によって廃棄されなかった1つまたは複数のスーパーピクセルによって表される。
1.2.機械学習
ある実施形態においては、機械学習アルゴリズムは、スーパーピクセルの特定の組み合わせが、関心オブジェクト(例えば、細胞核)を表していそうか否かを予測するように訓練されてよい。機械学習アルゴリズムは、注釈付きテスト画像セットを用いて訓練されてよい。例えば、専門家は、テスト画像セットにおいて、画像セットに注釈を加えることによって、例えば、セットの各テスト画像の各オブジェクトの輪郭を描くことによって、または、他の方法で各オブジェクトを画定することによって、オブジェクト(例えば、核)を識別してよい。核セグメンテーションのために設計された実施形態において、テスト画像セットは、ある濃度範囲(すなわち、複数の濃度)と、ある光学倍率範囲(すなわち、複数の光学倍率)と、で撮像された異なる種類の核(例えば、蛍光標識された核)を含んでよい。
ステップ110〜130は、テスト画像セットの各注釈付き画像に適用されて、各注釈付き画像の複数のスーパーピクセルを生成してよい。各注釈付き画像に関して、プロセス100は、ステップ130後に残っている各スーパーピクセルに対して、すなわち、全てのスーパーピクセルを検討するまで、ステップ140〜160を繰り返す。さらに、プロセス100は、検討中の現在のスーパーピクセルと、現在のスーパーピクセルの検索半径R内のスーパーピクセル(複数可)と、の可能な各組み合わせに関して、ステップ150および160を繰り返す。現在のスーパーピクセルと、現在のスーパーピクセルの検索半径R内の1つまたは複数のスーパーピクセルと、の任意の可能な組み合わせは、本明細書では、「局所的組み合わせ」と呼ばれてよい。ある実施形態においては、本明細書で使用される局所的組み合わせは、現在のスーパーピクセルを単独で、すなわち、現在のスーパーピクセルの検索半径R内のいずれのスーパーピクセルとも組み合わされないスーパーピクセルも含んでよい。
ステップ140において、検討すべきスーパーピクセルが残っているか否かを決定する。このようにして、プロセス100は、ステップ130後に残っている全てのスーパーピクセルを検討してよい。スーパーピクセルの全てを検討すると(すなわち、ステップ140が「No」になると)、プロセス100は、ステップ170に進む。そうでない場合(すなわち、ステップ140が「Yes」の場合)、プロセス100は、現在のスーパーピクセルとして検討する次のスーパーピクセルを割り当て、ステップ150に進む。
ステップ150において、現在のスーパーピクセルに関して任意の可能な局所的組み合わせが残っているか否かを決定する。このようにして、プロセス100は、ステップ130後残っている全てのスーパーピクセルに関して可能な全ての局所的組み合わせを検討してよい。しかしながら、効率を考えて、スーパーピクセルの冗長なまたは一意的でない組み合わせは廃棄してよい。例えば、スーパーピクセルAとスーパーピクセルBとの組み合わせが、スーパーピクセルAに関する繰り返し中、検討された場合、スーパーピクセルBの繰り返し中、スーパーピクセルBのスーパーピクセルAとの組み合わせはその後検討する必要はない。一意的な可能な局所的組み合わせの全て(すなわち、現在のスーパーピクセルの検索半径R内)が検討されると(すなわち、ステップ150が「No」)、プロセス100は、ステップ140に戻る。そうでない場合(すなわち、ステップ150が「Yes」)、プロセス100は、現在のスーパーピクセルに関して検討すべき次の可能な局所的組み合わせを決定して、ステップ160に進む。
ある実施形態においては、検索半径Rは、現在のスーパーピクセルの中心からの半径である。さらに、ある実施形態においては、検索半径Rは、ステップ110で受信されるデジタル画像の核の予測される半径もしくは直径、および/または、ステップ110で受信されるデジタル画像の解像度もしくはズームレベルに基づいて、設定される。例えば、検索半径Rは、デジタル画像の関心核の予測される直径の2倍に設定されてよい。これによって、たとえデジタル画像の核のサイズが大きく異なっても、核を表す可能性のあるスーパーピクセルの全ての可能な組み合わせが確実に検討される。しかしながら、これは単に一例であり、検索半径Rは、任意の特定の実施態様の設計目的に従って設定されてよいことは理解されたい。さらに、検索半径Rは、システム指定またはユーザ指定の(例えば、ユーザインタフェースを介してユーザによって入力された)値であってよい、または、(例えば、予測された核半径もしくは直径に関するシステム指定またはユーザ指定の値の倍数、または、予測された核半径もしくは直径から他の方法で導き出された)システム指定またはユーザ指定の値に基づいてよい。検索半径Rは、(ユーザ指定の設定、システム設定、デジタル画像と共に受信された、または、デジタル画像のメタデータから読み出されたパラメータ等であってよい)デジタル画像の解像度またはズームレベルに基づいて、1つのメトリック(例えば、μm)からピクセル数に変換されてもよい。このように、検索半径Rは、検討中の現在のスーパーピクセルからのピクセル数によって表されてよい。
図3Aおよび図3Bは、ある実施形態による、検索半径Rに従ったスーパーピクセルの可能な組み合わせの決定の仕方の例を示す。図3Aおよび図3Bにおいて、薄い点線は、デジタル画像のオブジェクト(例えば、核)を表し、濃い破線は、検索半径Rを表し、ラベル付きの実線の楕円のそれぞれは、スーパーピクセルを表す。図3Aにおいては、スーパーピクセルAが、検索半径Rの中心で、ステップ140で選択された現在のスーパーピクセルを表し、図3Bにおいては、スーパーピクセルDが、検索半径Rの中心で、ステップ140で選択された現在のスーパーピクセルを表す。
ある実施形態においては、少なくとも部分的に検索半径R内にある全てのスーパーピクセルを検討中の現在のスーパーピクセルとの可能な組み合わせとして検討する。このような実施形態においては、図3Aにおいて、スーパーピクセルAが、現在のスーパーピクセルであり、スーパーピクセルB、C、D、E、Gは全て、少なくとも部分的に検索半径R内にあるので、スーパーピクセルAとの可能な組み合わせとして検討される。図3Bにおいて、スーパーピクセルDが、現在のスーパーピクセルであり、スーパーピクセルA、B、C、E、G、J、Lは全て、少なくとも部分的に検索半径R内にあるので、スーパーピクセルDとの可能な組み合わせとして検討される。異なる実施態様においては、スーパーピクセルの任意の一部が検索半径R内にある場合、スーパーピクセルの一定のパーセンテージが検索半径R内にある場合、スーパーピクセルの中心が検索半径R内にある場合等、スーパーピクセルは、少なくとも部分的に検索半径R内であるとしてよい。
代替実施形態においては、全体が検索半径R内にあるスーパーピクセルのみが、検討中の現在のスーパーピクセルとの可能な組み合わせとして検討される。図3Aを参照すると、スーパーピクセルAが、現在のスーパーピクセルであり、このような実施形態においては、スーパーピクセルB、C、Dは、全体が検索半径R内にあるので、スーパーピクセルAとの可能な局所的組み合わせとして検討され、スーパーピクセルE、Gは、部分的にのみ検索半径R内にあるので、可能な局所的組み合わせとして検討されない。この実施形態においては、スーパーピクセルAに関して、A、AB、ABC、ABD、ABCD、AC、ACD、ADの一意的な局所的組み合わせが、それぞれ、検討される。さらに、図3Bを参照すると、スーパーピクセルDが、現在のスーパーピクセルであり、スーパーピクセルA、C、Gが、スーパーピクセルDとの可能な局所的組み合わせとして検討される。従って、スーパーピクセルDに関して、D、DA、DAC、DAG、DACG、DC、DCG、DGの一意的な局所的組み合わせが、それぞれ、検討されてよい。しかしながら、スーパーピクセルAが現在のスーパーピクセルであった後、スーパーピクセルDが現在のスーパーピクセルになった場合、組み合わせDA、DACは、スーパーピクセルAが現在のスーパーピクセルであった時に検討した組み合わせAD、ACDと重複するので、効率を良くするために省略されてよい。
ステップ160において、現在のスーパーピクセルに対する可能な局所的組み合わせのそれぞれ(すなわち、単独で、または、検索半径R内にある1つまたは複数の他のスーパーピクセルと共に)に対してスコアが決定される。ある実施形態においては、スコアは、スーパーピクセル(複数可)の特定の局所的組み合わせが、関心オブジェクト(例えば、核)を表す相対的尤度(確率)を表す。例えば、ある実施形態においては、スコアの低いスーパーピクセル(複数可)の局所的組み合わせは、スコアの高いスーパーピクセル(複数可)の局所的組み合わせほど関心オブジェクトを表す可能性は高くない。しかしながら、代替実施形態においては、低いスコアを使用して、スーパーピクセル(複数可)の局所的組み合わせが関心オブジェクトを表す尤度が高いことを表してもよく、高いスコアを使用して、スーパーピクセル(複数可)の局所的組み合わせが関心オブジェクトを表す尤度が低いことを表してもよいことは理解されたい。
図2Bは、核セグメンテーションのある実施形態による、スーパーピクセルの組み合わせのスコアの付け方の例を示す。図に示すように、4つのスーパーピクセルの第1の可能な組み合わせは、スコア4.07となり、3つのスーパーピクセルの第2の可能な組み合わせは、スコア2.85となる。従って、この例では、第1の可能な組み合わせが、第2の可能な組み合わせより関心核を表す可能性が高い。注目すべきことは、第1の組み合わせは、第2の組み合わせより丸く、第2の組み合わせは、間隙を含む。従って、第1の組み合わせは、典型的な核の形に非常に似ているので、第2の組み合わせよりスコアが高いはずであると直感的に分かる。
スーパーピクセル(複数可)の局所的組み合わせは、それぞれ、尤度メトリックに基づいてスコア付けされてよい。尤度メトリックは、特定の局所的組み合わせが関心オブジェクト(例えば、核)を表す尤度を数値化したものである。各局所的組み合わせの「局所的スコア」は、尤度メトリックを含んでよく、尤度メトリックからなってよく、または、尤度メトリックから導かれてよい。
ある実施形態においては、尤度メトリックは、ダイスインデックスを含む。ダイスインデックスは、次のように計算されてよい
ここで、Mは、手動で注釈を付けた核を構成するピクセル集合を表す。Aは、その核に対応する自動的に検出されたピクセル集合を表し、M∩Aは、MとAの積集合である。ダイスインデックスは、値ゼロ(AとMの間に重なりがないことを表す)から、値1(AとMが完全に重なることを表す)の範囲にある。
あるいは、ハウスドルフ距離等、形状類似性の他の測度、または、異なる測度の組み合わせを、尤度メトリックとして使用してよい。いずれの場合でも、スーパーピクセル(複数可)の任意の特定の局所的組み合わせに関する尤度メトリックが、注釈付きテスト画像セットから、最大の重なりを共有する注釈付きオブジェクト(例えば、核)に対して計算されてよい。このようなオブジェクトが存在しない場合、ゼロの局所的スコアが、特定の局所的組み合わせに割り当てられてよい。
ある実施形態においては、尤度メトリックに、特定の局所的組み合わせのスーパーピクセルの数を掛けて、スーパーピクセル(複数可)の局所的組み合わせが、注釈付きテスト画像セットから関心オブジェクト(例えば、核)を表す総合的尤度を表す局所的スコアを取得してよい。例えば、ダイスインデックスを尤度メトリックとして利用する実施形態において、ダイスインデックス4.00を有し、4つのスーパーピクセルからなる局所的組み合わせの局所的スコアは、16(すなわち、4.00×4)と計算されてよい。
ある実施形態においては、ステップ160によって計算された、注釈付きテスト画像セットにおけるスーパーピクセルの各組み合わせの局所的スコアを使用して、ランダムフォレスト回帰アルゴリズムまたは他の回帰もしくは機械学習アルゴリズムを訓練して、スーパーピクセル(複数可)の任意の局所的組み合わせに関して(例えば、ダイスインデックスまたは他の尤度メトリックに基づいて)局所的スコアを予測する。この予測は、局所的組み合わせに関して計算された一連の幾何学的特徴または数値的特徴に基づいてよい。例えば、特徴ベクトルが各局所的組み合わせに関して生成されてよい。各特徴ベクトルは、局所的組み合わせの幾何学的属性(例えば、真円度、正規化モーメント等)を表す複数の値を含んでよい。代替実施形態においては、サポートベクターマシン、ニューラルネットワーク等の他の機械学習アルゴリズムを採用してよいことは理解されたい。さらに、機械学習アルゴリズムは、幾何学的特徴または数値的特徴ではなく、スーパーピクセル(複数可)の局所的組み合わせの生ピクセルに適用されてよい。
ある実施形態においては、機械学習アルゴリズムの訓練に使用される幾何学的特徴は、並進運動可能特徴、回転可能特徴、および、スケール不変特徴である。詳細には、これらの特徴は、凸欠陥スコア、偏心度、等周商(isoperimetric quotient)、鈍角割合、凸度、直角度、および/または、7つの不変Huモーメントを含んでよい。凸欠陥スコアは、
C=e−d
と定義されてよく、ここで、dは、凸欠陥の数である。
凸欠陥は、局所的組み合わせとその凸包との間の偏差として計算されてよい。偏心度は、
として計算されてよく、ここで、aおよびbは、それぞれ、局所的組み合わせに最も適合する楕円の長半径と短半径の長さを表す。等周商(isoperimetric quotient)は、
Q=4πA/p
として定義されてよく、ここで、Aは、局所的組み合わせの面積であり、Pは、その外周である。鈍角割合は、局所的組み合わせの全ての角に対する鈍角の割合として計算されてよい。凸度は、その局所的組み合わせの面積の、凸包の面積に対する割合として定義されてよい。直角度は、
S=A/D
として計算されてよく、ここで、Aは、局所的組み合わせの面積であり、Dは、局所的組み合わせを囲む境界ボックスの最長寸法である。7つの不変Huモーメントは、ある実施形態において、「Visual pattern recognition by moment invariants」Hu著、IRE Transactions on Information Theory(1962),pp.179−87に記載のように計算されてよく、その内容を参照により本明細書に組み込む。ある実施形態においては、訓練および予測の前に、特徴の全ては、平均を引き、標準偏差で割ることにより、スケーリング、センタリングされる。
機械学習アルゴリズムは、一旦、訓練されると、ステップ160において使用されて、デジタル画像のスーパーピクセル(複数可)の任意の可能な局所的組み合わせの局所的スコアを予測してよい。従って、例えば、ステップ110で受信されたデジタル画像が、(例えば、機械学習アルゴリズムを訓練するのではなく)、ステップ150およびステップ160からなるループを介して処理するデジタル画像である場合、現在のスーパーピクセルの各可能な局所的組み合わせにスコアが付けられる。図3Aを参照すると、全体が検索半径R内にあるスーパーピクセルのみが検討される実施形態において、局所的組み合わせA、AB、ABC、ABC、ABCD、AC、ACD、ADのそれぞれにステップ160でスコアを付ける。図3Bを参照すると、全体が検索半径R内にあるスーパーピクセルのみが検討される実施形態において、D、DAG、DACG、DC、DCG、DGの局所的組み合わせのそれぞれにステップ160でスコアを付ける。この場合、スーパーピクセルAは、スーパーピクセルDの前に検討されたとみなされるので、局所的組み合わせDA、DACは、ステップ150および160の前の繰り返しで検討された局所的組み合わせAD、ACDとそれぞれ重複するので、ステップ150および160で省略されることに注意されたい。
有利なことに、上記の機械学習技術は、スーパーピクセル間の類似性の測度に依存する技術では検討されない局所的組み合わせを検討する。例えば、類似性測度ではなく、検索半径Rを用いることによって、開示した技術は、現在のスーパーピクセルと、周りのスーパーピクセル(隣り合わないスーパーピクセルも含む可能性がある)と、の間の組み合わせを、周りのスーパーピクセルが、現在のスーパーピクセルに類似しているか否かに関わらず、検討する。従って、従来のプロセスと対照的に、開示したプロセスは、1つのオブジェクト(例えば、核)を表す2つのスーパーピクセルが、それらの特徴の非類似性によって適切に組み合わされないという可能性がなくなる。
1.3.大域的最適化
上記のように、ある実施形態においては、各可能な局所的組み合わせに関してステップ160で決定された局所的スコアは、局所的組み合わせが関心オブジェクト(例えば、核)である尤度(例えば、ダイスインデックス等の尤度メトリックに組み合わせ内のスーパーピクセルの数を掛ける)を表す。プロセス100が、ステップ140からステップ170に移る時には、スーパーピクセルのこれらの局所的組み合わせのそれぞれに局所的スコアが割り当てられている。
ステップ170において、整数計画法等の最適化技術を使用して、局所的組み合わせの大域的最適集合を識別してよい。ある実施形態においては、局所的組み合わせの各大域的集合は、ステップ130後に残っているスーパーピクセルの全てからなるが、各大域的集合は、他の可能な各大域的集合と、これらのスーパーピクセルがどのようにスーパーピクセルの局所的組み合わせに結合されるかという点で異なる。
図4A〜図4Dは、ある実施形態による、スーパーピクセルの局所的組み合わせの大域的集合を簡単にした例を示す。説明を簡単にするために、図4A〜図4Dは、4つのスーパーピクセルA、B、C、Dのみを有するデジタル画像を表す。しかしながら、実際のデジタル画像に関しては、何千、何百万、または、何十億というスーパーピクセルを含む、任意の多数のスーパーピクセルがあってよいことは理解されたい。ピクセルおよびスーパーピクセルの数に関わらず、記載の実施形態は、任意の数のピクセルおよびスーパーピクセルをカバーするようにスケーリングしてよい。さらに、説明目的で、図4A〜図4Dは、少なくとも部分的に現在のスーパーピクセルの検索半径R内にある全てのスーパーピクセルが現在のスーパーピクセルとの局所的組み合わせに関して検討される実施形態に従って記載されている。
図4Aにおいて、ステップ140〜160によって形成された外側ループの第1の繰り返しが行われる。詳細には、スーパーピクセルAが、ステップ140で現在のスーパーピクセルとして選択される。ステップ150、160によって形成される内側ループの繰り返しにおいて、Aの局所的組み合わせが、ステップ150で選択され、ステップ160でスコア付けされ、次に、ACの局所的組み合わせがステップ150で選択され、ステップ160でスコア付けされ、次に、ADの局所的組み合わせがステップ150で選択され、ステップ160でスコア付けされ、次に、ACDの局所的組み合わせがステップ150で選択され、ステップ160でスコア付けされる。
図4Bにおいて、ステップ140〜160によって形成された外側ループの第2の繰り返しを行う。詳細には、スーパーピクセルBが、ステップ140で現在のスーパーピクセルとして選択される。ステップ150、160によって形成された内側ループの繰り返しにおいて、Bの局所的組み合わせが、ステップ150で選択され、ステップ160でスコア付けされ、次に、BAの局所的組み合わせが、ステップ150で選択され、ステップ160でスコア付けされ、次に、BCの局所的組み合わせが、ステップ150で選択され、ステップ160でスコア付けされ、次に、BACの局所的組み合わせが、ステップ150で選択され、ステップ160でスコア付けされる。
図4Cにおいて、ステップ140〜160によって形成された外側ループの第3の繰り返しが行われる。詳細には、スーパーピクセルCが、ステップ140で現在のスーパーピクセルとして選択される。ステップ150、160によって形成される内側ループの繰り返しにおいて、Cの局所的組み合わせが、ステップ150で選択され、ステップ160でスコア付けされ、次に、CDの局所的組み合わせが、ステップ150で選択され、ステップ160でスコア付けされ、次に、CBDの局所的組み合わせが、ステップ150で選択され、ステップ160でスコア付けされ、次にCABDの局所的組み合わせが、ステップ150で選択され、ステップ160でスコア付けされる。CA、CB、CAB、CADの局所的組み合わせは、AC、BC、BAC、ACDが、上記のように、既にスコア付けされているので、省略されてよい。
図4Dにおいて、ステップ140〜160によって形成された外側ループの第4の繰り返しが行われる。詳細には、スーパーピクセルDが、ステップ140で現在のスーパーピクセルとして選択される。全ての他の可能な局所的組み合わせ(すなわち、DA、DC、DAC)が、上記のように、(すなわち、AD、CD、ACDとして)既にスコア付けされているので、ステップ150、160によって形成される内側ループにおいて、局所的組み合わせDのみが、ステップ150で選択され、ステップ160でスコア付けされる。
次に、プロセス100は、A、B、C、D、AC、AD、ACD、BA、BC、BAC、CD、CBD、CABDの局所的組み合わせのそれぞれの局所的スコアと共にステップ170に進む。以下では、理解しやすいように、A、B、C、D、AB、AC、AD、BC、CD、ABC、ACD、BCD、ABCDと再度ラベル付けされてよい。ステップ160で決定された局所的スコアが、これらの局所的組み合わせのいずれかに関してゼロ(すなわち、局所的組み合わせが関心オブジェクトを表す可能性がないことを示す)場合、その局所的組み合わせは廃棄されてよく、結果として、ステップ170において、局所的組み合わせの大域的集合において検討されないことは、理解されたい。
ある実施形態においては、局所的組み合わせの可能な大域的集合は、各大域的集合が、任意の特定のスーパーピクセルを合計でk回以下含む局所的組み合わせからのみなるように制限される、ここで、kは、ゼロより大きい整数である。パラメータkは、システム指定または(例えば、ユーザインタフェースを介してユーザによって入力された)ユーザ指定のパラメータであってよい。デフォルトで、kは1であってよく、その場合、各大域的集合は、各スーパーピクセルを一度だけ含んでよい。
図4A〜図4Dに示す例においては、kが1の場合、可能な大域的集合は、A−B−C−D、A−BC−D、A−B−CD、A−BCD、AB−C−D、AB−CD、AC−B−D、AD−B−C、AD−BC、ABC−D、ACD−B、ABCDからなる。比較のため、kが2の場合、可能な大域的集合、例えば、A−AB−CD(k=2によって、2つの局所的組み合わせにスーパーピクセルAを含むことが可能になる)、ABC−ACD(k=2によって、2つの局所的組み合わせにスーパーピクセルA、Cを含むことが可能になる)、ACD−BC等を含むように増加する。一般的に、kは、重なり合う核の予測される最大数を表す小さい整数である。重なり合う核の検出を望まない場合、kを1に設定すべきである。
さらに、局所的組み合わせの大域的集合は、各大域的集合が、各スーパーピクセル(すなわち、ステップ130後、残っている)を合計で少なくとも一度含む局所的組み合わせを含むように制限されてよい。この場合、kが1の場合、各大域的集合は、あらゆる特定のスーパーピクセルを合計で一度だけ含む局所的組み合わせを含まなければならない。
ステップ170において、大域的スコアが、局所的組み合わせの大域的集合に関して決定されてよい。ある実施形態においては、大域的スコアは、大域的集合の局所的組み合わせ(複数可)の全てに関する局所的スコアから導かれる。例えば、A−BC−Dの大域的集合の大域的スコアは、Aの局所的組み合わせの第1の局所的スコア、BCの局所的組み合わせの第2の局所的スコア、および/または、Dの局所的組み合わせの第3の局所的スコアから導かれてよい。大域的スコアは、大域的集合内の局所的組み合わせの局所的スコアを全て、そのまま合計したものであってよい。このような場合、A−BC−Dの大域的集合の大域的スコアは、第1の局所的スコア(すなわち、Aに関する)、第2の局所的スコア(すなわち、BCに関する)、および、第3の局所的スコア(すなわち、Dに関する)の和となる。従って、第1の局所的スコアが2.91、第2の局所的スコアが0.95、第3の局所的スコアが2.11の場合、A−BC−Dの大域的スコアは、5.97となる。
ある実施形態においては、ステップ170は、整数計画法を用いて実施されてよい。整数計画法においては、ゼロまたは1の値を各局所的組み合わせに割り当てて、その局所的組み合わせが解に使用されるか否かを示し、1の値を割り当てられた局所的組み合わせの局所的スコアに基づいて(例えば、合計して)大域的スコアを計算することによって、スーパーピクセルの局所的組み合わせの関数が最大化される。結果は、最大の大域的スコアを生成する局所的組み合わせの大域的集合を表す割り当ての集合となる。分枝カット整数計画法の例が、ある実施形態において使用されてよい。分枝カット整数計画法は、「Branch−and−Cut Algorithms for Combinatorial Optimization Problems」John E.Mitchell著、Handbook of Applied Optimization(2002),pp.65−77に記載されており、その内容を、参照により本明細書に組み込む。しかしながら、他の実施形態においては、分枝限定等、他の整数計画法技術を使用してよく、また、シミュレーテッドアニーリング等の最適化技術を使用してよい。
整数計画法の使用によって、局所的組み合わせの集合が、2つの制約集合を受けて、目的関数の大域的最適解を得るように選択されることが確実になる。最大化する目的関数は、局所的組み合わせスコアの和である。第1の制約集合は、各スーパーピクセルは、少なくとも1つ、そして、最大kの局所的組み合わせに割り当てられなければならないということである。アルゴリズムのある実施形態において、k=1であり、これは、オブジェクト(例えば、核)の重なりは許されないことを意味する。しかしながら、他の実施形態においては、kは、オブジェクト(例えば、核)の重なりが許されるように、1より大きい値に設定できる。この制約は、任意のスーパーピクセルiに関して、次のように表すことができる。
ここで、bijは、2値変数であり、スーパーピクセルiが局所的組み合わせjに割り当てられる場合、1に等しく、そうでない場合、ゼロに等しい。第2の制約集合は、同じ大域的集合に属する2値変数の集合は、同時に、全てゼロに等しいか、または、全て1に等しくなければならない。これによって、局所的組み合わせの一部のみが、最終の解に割り当てられることを防ぐ。数学的に、これは、次のように表すことができる。
ij=bmj∀i,m∈combination
遺伝的プログラミングまたはシミュレーテッドアニーリング等の他の最適化方法を使用して、大域的セグメンテーションスコアの最大化という同じ目的を達成してよい。
下記の表1は、現在のスーパーピクセルが、少なくとも部分的に半径R内にある全てのスーパーピクセルと組み合わせられ、k=1、すなわち、各スーパーピクセルは、各大域的集合に少なくとも一度出現しなければならない(すなわち、各スーパーピクセルは、各大域的集合に一度だけ出現しなければならない)実施形態において、ステップ160でスコア付けされた各局所的組み合わせの局所的スコアの例を用いて、図4A〜図4Dに示すスーパーピクセルの大域的集合に対して行われる大域的スコア決定の結果の例を示す。
ステップ170において、最適な大域的スコアを有する局所的組み合わせの大域的集合を識別する。高いスコアが、特定の大域的集合内の局所的組み合わせが関心オブジェクト(複数可)を正確に表す高い尤度を示す実施形態においては、最適スコアは、最大スコアであってよい。代替実施形態においては、各局所的組み合わせの局所的スコア、および/または、大域的スコアの計算は、低い大域的スコアが、特定の大域的集合内の局所的組み合わせが関心オブジェクト(複数可)を正確に表す高い尤度を表すように修正されてもよいことを理解されたい。その場合、最小の大域的スコアを有する局所的組み合わせの大域的集合が、ステップ170において、最適な大域的スコアを有するとして決定されるべきである。いずれの場合でも、ステップ170で識別された局所的組み合わせの大域的集合が、関心オブジェクト(例えば、核)を正確に表す局所的組み合わせにデジタル画像のスーパーピクセルを正確にセグメンテーションする一番高い尤度を有する大域的集合である。結果として、ステップ170で識別された大域的集合に含まれるスーパーピクセルの各局所的組み合わせが、その後の視覚化および/または分析のために、関心オブジェクト(例えば、核)を表すとみなされてよい。
表1に示す例においては、ACD、Bの2つの局所的組み合わせを含む大域的集合ACD−Bが、ステップ170において、大域的最適集合(すなわち、14.67の大域的スコアを有する)として識別されることになる。従って、大域的集合ACD−Bが、ステップ170において、プロセス100によって、他のどの大域的集合よりも正確なオブジェクト(例えば、核)識別を表す高い尤度を有すると決定される。大域的集合ACD−Bは、スーパーピクセルA、B、C、Dを、スーパーピクセルA、C、Dを含む第1のオブジェクト(例えば、核)と、スーパーピクセルBだけを含む第2のオブジェクト(例えば、核)とに画定する。このオブジェクト(例えば、核)の画定は、このような情報を使用する任意のその後のアプリケーションに入力されてよい。例えば、以後のアプリケーションが、オブジェクトの計数(例えば、核の計数)アルゴリズムを含む場合、アルゴリズムは、2のカウントを出力することになる(すなわち、スーパーピクセルACDによって表される第1のオブジェクトとスーパーピクセルBによって表される第2のオブジェクト)。
有利なことに、プロセス100のステップ170によって表される記載した大域的最適化プロセスは、最適なセグメンテーションを行う。対照的に、最高の局所的スコアを有する局所的組み合わせを選択するだけのプロセスでは、セグメンテーションが準最適になる場合がある。例えば、表1を参照すると、ABCDの大域的組み合わせは、局所的組み合わせの間で最高のスコアを有する。しかしながら、より高い総スコアを有する大域的組み合わせ(例えば、上記ACD−B)が存在するので、ABCDが局所的組み合わせの間で最高のスコアを有することに基づいた、ABCDの大域的組み合わせを選択すると、セグメンテーションは準最適となる。
1.4.適用
最適大域的スコアを有する大域的集合が一旦、識別されると、大域的集合の各局所的組み合わせは、別個のオブジェクト(例えば、核)と決定されてよい。言い換えると、各局所的組み合わせの外周は、デジタル画像内の個々のオブジェクトの外周を表す。従って、ステップ110で受信されたデジタル画像のオブジェクトは、例えば、一意的ラベルLを各オブジェクトに割り当てることによって画定されてよい。所与のオブジェクト内の各スーパーピクセルは、同じラベルLを割り当てられてよく、その結果、スーパーピクセルは、そのスーパーピクセルが表す各オブジェクトに従ってグループ化される。ある実施形態においては、オブジェクト(例えば、核)は、例えば、境界線、ラベル、または、他の注釈を用いて、デジタル画像内で視覚的に区別されてよい。
図2Cは、ある実施形態による、大域的最適化の例を示す。図に示す実施形態においては、スーパーピクセルの局所的組み合わせのダイスインデックスの和は、デジタル画像全体にわたって最大化されている。図に示すように、最大化された大域的集合において、各局所的組み合わせに割り当てられたスーパーピクセルの組み合わせ(すなわち、予測された核を表す)は、最終的にセグメンテーションされたデジタル画像において1つの核として視覚的に注釈を付けられる。
あるいは、または、さらに、ステップ170で識別されたスーパーピクセルの局所的組み合わせの大域的集合によって表されたオブジェクト画定は、分析のためにさらなるアプリケーションに入力されてよい。例えば、同じ方法論を使用して、細胞を正常または悪性の組織の1つに割り当ててよい。この場合、スーパーピクセルは、細胞レベルとなり、オブジェクトは、組織レベルとなる。より低いスケールにおいては、方法論を使用して、蛍光標識信号を特定の細胞コンパートメントに割り当ててよい。
2.処理装置の例
図5は、本明細書に記載の様々な実施形態と関連して使用し得る有線もしくは無線のシステム500の例を示すブロック図である。例えば、システム500は、図1のプロセス100等、上記プロセスの1つまたは複数として、または、それと共に使用されてよく、図1のプロセス100等、上記プロセスの1つまたは複数を実行するシステムのコンポーネントを表してよい。システム500は、サーバもしくは任意の従来型のパーソナルコンピュータ、または、有線または無線のデータ通信が可能な任意の他のプロセッサ対応装置であってよい。当業者には明らかなように、有線または無線のデータ通信ができない装置を含む他のコンピュータシステムおよび/またはアーキテクチャも使用されてよい。
システム500は、好ましくは、プロセッサ510等、1つまたは複数のプロセッサを含む。入力/出力を管理する補助プロセッサ、浮動小数点数学演算を行う補助プロセッサ、信号処理アルゴリズムの高速実行に適したアーキテクチャを有する特殊用途マイクロプロセッサ(例えば、デジタル信号プロセッサ)、メイン処理システムに従属するスレーブプロセッサ(例えば、バックエンドプロセッサ)、デュアルもしくはマルチプルプロセッサシステムのための追加のマイクロプロセッサもしくはコントローラ、または、コプロセッサ等、追加のプロセッサを備えてよい。このような補助プロセッサは、別個のプロセッサであってもよく、または、プロセッサ510と一体化されていてもよい。システム500と共に使用されてよいプロセッサの例は、全て、カリフォルニア州サンタクララのIntel Corporation社製のPentium(登録商標)プロセッサ、Core i7(登録商標)プロセッサ、および、Xeon(登録商標)プロセッサを含むが、これらに限らない。
プロセッサ510は、好ましくは、通信バス505に接続される。通信バス505は、システム500の記憶装置と他の周辺コンポーネントとの間の情報転送を促進するデータチャネルを含んでよい。データバス、アドレスバス、および、制御バス(図示せず)を含む、通信バス505は、プロセッサ510との通信に使用される信号セットをさらに提供してよい。通信バス505は、例えば、業界標準アーキテクチャ(ISA)に準拠したバスアーキテクチャ、拡張業界標準アーキテクチャ(EISA)、マイクロチャネルアーキテクチャ(MCA)、ペリフェラルコンポーネントインターコネクト(PCI)ローカルバス、または、IEEE488汎用インタフェースバス(GPIB)、IEEE696/S−100等を含む電気電子技術者協会(IEEE)によって交付された標準等、任意の標準的または非標準のバスアーキテクチャを含んでよい。
システム500は、好ましくは、メインメモリ515を含み、二次メモリ520も含んでよい。メインメモリ515は、上記の関数および/またはモジュールの1つまたは複数等、プロセッサ510で実行するプログラムのための命令およびデータを記憶する。メモリに記憶され、プロセッサ510で実行されるプログラムは、C/C++、Java、JavaScript、Perl、Visual Basic、.NET等を含むが、これらに限らない任意の適切な言語に従って書かれてよい、および/またはコンパイルされてよいことは理解されたい。メインメモリ515は、典型的に、ダイナミックランダムアクセスメモリ(DRAM)および/またはスタティックランダムアクセスメモリ(SRAM)等、半導体ベースのメモリである。他の半導体ベースタイプのメモリは、リードオンリメモリ(ROM)を含む、例えば、同期型ダイナミックランダムアクセスメモリ(SDRAM)、ランバスダイナミックランダムアクセスメモリ(RDRAM)、強誘電体ランダムアクセスメモリ(FRAM)等を含む。
二次メモリ520は、オプションで、内部メモリ525および/またはリムーバブル媒体530を含んでよい。リムーバブル媒体530は、任意の周知の方法で読み出し、および/または、書き込まれる。リムーバブル記憶媒体530は、例えば、磁気テープドライブ、コンパクトディスク(CD)ドライブ、デジタル多用途ディスク(DVD)ドライブ、他の光学ドライブ、フラッシュメモリドライブ等であってよい。
リムーバブル記憶媒体530は、コンピュータ実行可能コード(すなわち、ソフトウェア)および/またはデータを記憶した非一時的コンピュータ可読媒体である。リムーバブル記憶媒体530に記憶されたコンピュータソフトウェアまたはデータは、プロセッサ510によって実行するためにシステム500に読み込まれる。
代替実施形態においては、二次メモリ520は、コンピュータプログラムまたは他のデータもしくは命令をシステム500にロード可能にする他の類似の手段を含んでよい。このような手段は、例えば、外部記憶媒体545および通信インタフェース540を含んでよく、それによって、ソフトウェアおよびデータを外部記憶媒体545からシステム500に転送するのを可能にする。外部記憶媒体545の例は、外部ハードディスクドライブ、外部光学ドライブ、外部磁気光学ドライブ等を含んでよい。二次メモリ520の他の例は、プログラマブルリードオンリメモリ(PROM)、消去可能プログラマブルリードオンリメモリ(EPROM)、電気的消去可能リードオンリメモリ(EEPROM)、または、フラッシュメモリ(EEPROMに類似したブロック指向メモリ)等の半導体ベースのメモリを含んでよい。
上記のように、システム500は、通信インタフェース540を含んでよい。通信インタフェース540は、システム500と、外部装置(例えば、プリンタ)、ネットワーク、または、他の情報源と、の間のソフトウェアおよびデータの転送を可能にする。例えば、コンピュータソフトウェアまたは実行可能コードは、ネットワークサーバから通信インタフェース540を介してシステム500に転送されてよい。通信インタフェース540の例は、組み込みネットワークアダプタ、ネットワークインタフェースカード(NIC)、パーソナルコンピュータメモリカード国際協会(PCMCIA)ネットワークカード、カードバスネットワークアダプタ、無線ネットワークアダプタ、ユニバーサルシリアルバス(USB)ネットワークアダプタ、モデム、ネットワークインタフェースカード(NIC)、無線データカード、通信ポート、赤外線インタフェース、IEEE1394ファイヤワイヤ、または、システム500をネットワークまたは別のコンピュータ装置とインタフェースさせることができる任意の他の装置を含む。通信インタフェース540は、好ましくは、イーサネットIEEE802標準、ファイバチャネル、デジタル加入者回線(DSL)、非対称型デジタル加入者回線(ADSL)、フレームリレー、非同期転送モード(ATM)、総合デジタル通信網(ISDN)、パーソナル通信サービス(PCS)、伝送制御プロトコル/インターネットプロトコル(TCP/IP)、シリアルラインインターネットプロトコル/ポイントツーポイントプロトコル(SLIP/PPP)等、業界が公布したプロトコル標準を実装するが、カスタマイズされた、または、非標準のプロトコルも実装してよい。
通信インタフェース540を介して転送されたソフトウェアおよびデータは、一般的に電子通信信号555の形態である。これらの信号555は通信チャネル550を介して通信インタフェース540に提供されてよい。ある実施形態においては、通信チャネル550は、有線もしくは無線ネットワークであってよく、または、任意の様々な他の通信リンクであってよい。通信チャネル550は、信号555を伝達し、いくつか例を挙げると、電線もしくはケーブル、光ファイバ、従来型の電話線、携帯電話リンク、無線データ通信リンク、ラジオ周波数(「RF」)リンク、または、赤外線リンクを含む、様々な有線または無線通信手段を用いて実装できる。
コンピュータ実行可能コード(すなわち、コンピュータプログラムまたはソフトウェア)は、メインメモリ515および/または二次メモリ520に記憶される。コンピュータプログラムは、通信インタフェース540を介しても受信でき、メインメモリ515および/または二次メモリ520に記憶できる。このようなコンピュータプログラムは、実行されると、システム500が、本明細書の他の箇所に記載の開示の実施形態の様々な機能を行うのを可能にする。
この記載において、「コンピュータ可読媒体」という語は、コンピュータ実行可能コード(例えば、ソフトウェアおよびコンピュータプログラム)をシステム500に提供するのに使用される任意の非一時的コンピュータ可読記憶媒体を指して用いられる。このような媒体の例は、メインメモリ515、二次メモリ520(内部メモリ525、リムーバブル媒体530、および、外部記憶媒体545を含む)、および、通信インタフェース540(ネットワーク情報サーバまたは他のネットワーク装置を含む)と通信可能に接続される任意の周辺装置を含む。これらの非一時的コンピュータ可読媒体は、実行可能コード、プログラム命令、および、ソフトウェアをシステム500に提供する手段である。
ソフトウェアを用いて実施されるある実施形態においては、ソフトウェアは、コンピュータ可読媒体に記憶されてよく、リムーバブル媒体530、I/Oインタフェース535、または、通信インタフェース540によってシステム500にロードされてよい。このような実施形態においては、ソフトウェアは、電子通信信号555の形でシステム500にロードされる。ソフトウェアは、プロセッサ510によって実行されると、好ましくは、プロセッサ510に、本明細書の他の箇所に記載の特徴および機能を実行させる。
ある実施形態においては、I/Oインタフェース535は、システム500の1つまたは複数のコンポーネントと、1つまたは複数の入力装置および/または出力装置と、の間にインタフェースを提供する。入力装置の例は、キーボード、タッチスクリーンもしくは他のタッチセンサ式装置、生体認証装置、コンピュータマウス、トラックボール、ペン型ポインティングデバイス等を含むが、これらに限らない。出力装置の例は、ブラウン管(CRT)、プラズマディスプレイ、発光ダイオード(LED)ディスプレイ、液晶ディスプレイ(LCD)、プリンタ、真空蛍光ディスプレイ(VFD)、表面伝導型電子放出素子ディスプレイ(SED)、電界放出ディスプレイ(FED)等を含むが、これらに限らない。
システム500は、音声ネットワークおよび/またはデータネットワークを介して無線通信を促進するオプションの無線通信コンポーネントも含む。無線通信コンポーネントは、アンテナシステム570、ラジオシステム565、および、ベースバンドシステム560を含む。システム500において、ラジオ周波数(RF)信号は、ラジオシステム565の管理の下、アンテナシステム570によって無線で送受信される。
一実施形態においては、アンテナシステム570は、1つまたは複数のアンテナと、送信信号経路と受信信号経路をアンテナシステム570に提供するスイッチ機能を行う1つまたは複数のマルチプレクサ(図示せず)とを含んでよい。受信経路においては、受信されたRF信号は、マルチプレクサから低雑音増幅器(図示せず)に結合でき、低雑音増幅器は、受信したRF信号を増幅して、増幅された信号をラジオシステム565に送信する。
代替実施形態においては、ラジオシステム565は、様々な周波数で通信するように構成された1つまたは複数のラジオを含んでよい。ある実施形態においては、ラジオシステム565は、復調器(図示せず)と変調器(図示せず)を1つの集積回路(IC)に統合してよい。復調器と変調器は、別個のコンポーネントであってもよい。受信経路において、復調器は、RF搬送波信号を取り除いて、ベースバンド受信オーディオ信号を残し、その信号は、ラジオシステム565からベースバンドシステム560に送られる。
受信した信号が、オーディオ情報を含む場合、ベースバンドシステム560は、信号を復号し、アナログ信号に変換する。その後、信号は増幅されて、スピーカに送られる。ベースバンドシステム560は、マイクロフォンからアナログオーディオ信号も受信する。これらのアナログオーディオ信号は、デジタル信号に変換され、ベースバンドシステム560によって符号化される。ベースバンドシステム560は、また、送信のためにデジタル信号をコード化し、ベースバンド送信オーディオ信号を生成し、ベースバンド送信オーディオ信号は、ラジオシステム565の変調器部分に向けられる。変調器は、ベースバンド送信オーディオ信号をRF搬送信号と混合して、RF送信信号を生成し、RF送信信号は、アンテナシステム570に向けられる、また、電力増幅器(図示せず)を通ってもよい。電力増幅器は、RF送信信号を増幅し、アンテナシステム570に向ける、アンテナシステム570において、信号は、送信用のアンテナポートに切り替えられる。
ベースバンドシステム560は、プロセッサ510にも通信可能に結合され、プロセッサ510は、中央処理装置(CPU)であってよい。プロセッサ510は、データ記憶領域515、520にアクセスできる。プロセッサ510は、好ましくは、メインメモリ515または二次メモリ520に記憶できる命令(すなわち、コンピュータプログラムまたはソフトウェア)を実行するように構成される。コンピュータプログラムは、また、ベースバンドプロセッサ560から受信でき、メインメモリ515もしくは二次メモリ520に記憶でき、または、受信時に実行できる。このようなコンピュータプログラムは、実行されると、システム500が、開示された実施形態の様々な機能を行うのを可能にする。例えば、データ記憶領域515または520は、様々なソフトウェアモジュールを含んでよい。
様々な実施形態は、特定用途向け集積回路(ASIC)またはフィールドプログラマブルゲートアレイ(FPGA)等のコンポーネントを用いて、主にハードウェアで実施されてもよい。本明細書に記載の機能を行うことができるハードウェアステートマシンの実施態様も、当業者には明らかであろう。様々な実施形態は、ハードウェアとソフトウェアとの両方の組み合わせを用いて実施されてもよい。
さらに、上記図面と本明細書に開示の実施形態との関連で記載した様々な説明に役立つ論理ブロック、モジュール、回路、および、方法のステップは、電子ハードウェア、コンピュータソフトウェア、または、その両方の組み合わせとして実施できることが多いことを、当業者は理解されよう。ハードウェアおよびソフトウェアのこの互換性を明瞭に示すために、様々な例示のコンポーネント、ブロック、モジュール、回路、および、ステップを、一般的に、その機能という観点で記載してきた。このような機能が、ハードウェアで実施されるかソフトウェアで実施されるかは、特定の適用と、システム全体に課せられた設計の制約に左右される。当業者は、各特定の適用に関して様々な方法で記載した機能を実施できるが、このような実施態様の決定は、発明の範囲からの逸脱と解釈すべきではない。さらに、モジュール、ブロック、回路、または、ステップ内の機能のグループ分けは、記載を容易にするためである。特定の機能またはステップは、発明の範囲を逸脱することなく、あるモジュール、ブロック、または、回路から別のモジュール、ブロック、または、回路に移動させることができる。
さらに、本明細書に開示の実施形態との関連で記載した様々な説明に役立つ論理ブロック、モジュール、機能、および、方法は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、ASIC、FPGA、もしくは、他のプログラマブル論理装置、個別のゲートもしくはトランジスタ論理、個別ハードウェアコンポーネント、または、本明細書に記載の機能を行うように設計されたこれらの任意の組み合わせを用いて実施または実行することができる。汎用プロセッサは、マイクロプロセッサであってよいが、代わりに、プロセッサは、任意のプロセッサ、コントローラ、マイクロコントローラ、または、ステートマシンであってよい。プロセッサは、コンピュータ装置の組み合わせとして、例えば、DSPとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアと共に1つまたは複数のマイクロプロセッサ、または、任意の他の構成としても実施できる。
さらに、本明細書に開示の実施形態と関連して記載された方法のステップまたはアルゴリズムは、直接、ハードウェアで、プロセッサによって実行されるソフトウェアモジュールで、または、2つの組み合わせで、実現されてよい。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD−ROM、または、ネットワーク記憶媒体を含む任意の他の形態の記憶媒体に常駐できる。例示の記憶媒体は、プロセッサに結合でき、それによって、プロセッサは、記憶媒体から情報を読み取ることができ、記憶媒体に情報を書き込むことができる。代わりに、記憶媒体は、プロセッサに一体化できる。プロセッサと記憶媒体も、ASICに常駐できる。
本明細書に記載のソフトウェアコンポーネントはいずれも、様々な形態を取ってよい。例えば、コンポーネントは、スタンドアロンソフトウェアパッケージであってもよく、または、より大きいソフトウェア製品に「ツール」として組み込まれたソフトウェアパッケージであってもよい。ソフトウェアコンポーネントは、スタンドアロン製品として、または、既存のソフトウェアアプリケーションにインストールするアドインパッケージとして、ネットワーク、例えば、ウェブサイトからダウンロード可能であってよい。ソフトウェアコンポーネントは、クライアントサーバソフトウェアアプリケーションとして、ウェブ対応ソフトウェアアプリケーションとして、および/または、モバイルアプリケーションとして入手可能であってもよい。
開示の実施形態の上記記載は、当業者が発明を行うまたは使用するのを可能にするために提供される。これらの実施形態への様々な修正は、当業者には容易に明らかであり、本明細書に記載の一般的原理は、発明の精神または範囲を逸脱することなく、他の実施形態に適用できる。従って、本明細書に提示した記載および図面は、発明の現在好ましい実施形態を表し、よって、本発明によって広く企図される主題を表すことが理解される。本発明の範囲は、当業者には明らかになり得る他の実施形態を全て含むこと、また、本発明の範囲は、それに従って制限されないことはさらに理解されよう。

Claims (16)

  1. 少なくとも1つのハードウェアプロセッサを用いて、
    デジタル画像の複数のスーパーピクセルを決定するステップと、
    前記複数のスーパーピクセルのそれぞれに関して、
    前記スーパーピクセルから検索半径内に位置する任意のスーパーピクセルを識別するステップと、
    前記スーパーピクセルと、前記スーパーピクセルから前記検索半径内に位置する任意の識別されたスーパーピクセルと、の各一意的な局所的組み合わせに関して、前記局所的組み合わせの局所的スコアを決定するステップと、
    局所的組み合わせの複数の大域的集合のうち、最適な大域的スコアを有する1つの大域的集合を、前記決定された局所的スコアに基づいて識別するステップと、
    を含む方法。
  2. 前記デジタル画像の前記複数のスーパーピクセルを決定するステップは、
    前記デジタル画像を受信するステップと、
    前記デジタル画像の複数のピクセルを最初のスーパーピクセル集合に組み合わせるステップと、
    前記複数のスーパーピクセルを前記最初のスーパーピクセル集合から決定するステップと、
    を含む、
    請求項1に記載の方法。
  3. 前記複数のスーパーピクセルを前記最初のスーパーピクセル集合から決定するステップは、前記複数のスーパーピクセルを前記最初のスーパーピクセル集合から閾値に基づいて選択するステップを含む、
    請求項2に記載の方法。
  4. 局所的組み合わせの前記複数の大域的集合のそれぞれは、前記スーパーピクセルのそれぞれを少なくとも一度含む、
    請求項1から3のいずれかに記載の方法。
  5. 局所的組み合わせの前記複数の大域的集合のそれぞれは、前記スーパーピクセルのそれぞれから一度だけなる、
    請求項4に記載の方法。
  6. 局所的組み合わせの前記複数の大域的集合のうち、最適な大域的スコアを有する1つの大域的集合を識別するステップは、前記複数の大域的集合の各大域的集合内の全ての局所的組み合わせの前記局所的スコアの和を最大にするステップを含む、
    請求項1から5のいずれかに記載の方法。
  7. 前記複数の大域的集合の各大域的集合内の全ての局所的組み合わせの前記局所的スコアの前記和を最大にするステップは、整数計画法によって行われる、
    請求項6に記載の方法。
  8. スーパーピクセルは、少なくとも部分的に前記検索半径内にある時、前記検索半径内に位置する、
    請求項1から7のいずれかに記載の方法。
  9. スーパーピクセルは、全体が前記検索半径内にある時のみ、前記検索半径内に位置する、
    請求項1から7のいずれかに記載の方法。
  10. 各局所的組み合わせに関する前記局所的スコアは、前記局所的組み合わせのダイスインデックスに基づく、
    請求項1から9のいずれかに記載の方法。
  11. 各局所的組み合わせに関する前記局所的スコアは、前記局所的組み合わせの前記ダイスインデックスに前記局所的組み合わせ内のスーパーピクセルの数を掛けたものを含む、
    請求項10に記載の方法。
  12. 各局所的組み合わせの前記局所的スコアは、前記局所的組み合わせが関心オブジェクトを表す尤度を表す、
    請求項1から11のいずれかに記載の方法。
  13. 前記少なくとも1つのハードウェアプロセッサを用いて、ユーザインタフェース内で、前記デジタル画像内の各関心オブジェクトを視覚的に区別することをさらに含む、
    請求項12に記載の方法。
  14. 前記関心オブジェクトは、細胞核である、
    請求項12に記載の方法。
  15. 少なくとも1つのハードウェアプロセッサと、
    1つまたは複数のソフトウェアモジュールと、
    を含むシステムであって、
    前記1つまたは複数のソフトウェアモジュールは、前記少なくとも1つのハードウェアプロセッサによって実行されると、
    デジタル画像の複数のスーパーピクセルを決定し、
    前記複数のスーパーピクセルのそれぞれに関して、前記スーパーピクセルから検索半径内に位置する任意のスーパーピクセルを識別し、前記スーパーピクセルと、前記スーパーピクセルから前記検索半径内に位置する任意の識別されたスーパーピクセルと、の各一意的な局所的組み合わせに関して、前記局所的組み合わせの局所的スコアを決定し、
    局所的組み合わせの複数の大域的集合のうち、最適な大域的スコアを有する1つの大域的集合を、前記決定された局所的スコアに基づいて識別する、
    システム。
  16. 命令を記憶する非一時的コンピュータ可読媒体であって、前記命令は、プロセッサによって実行されると、前記プロセッサに、
    デジタル画像の複数のスーパーピクセルを決定させ、
    前記複数のスーパーピクセルのそれぞれに関して、
    前記スーパーピクセルから検索半径内に位置する任意のスーパーピクセルを識別させ、
    前記スーパーピクセルと、前記スーパーピクセルから前記検索半径内に位置する任意の識別されたスーパーピクセルと、の各一意的な局所的組み合わせに関して、
    前記局所的組み合わせに関する局所的スコアを決定させ、
    局所的組み合わせの複数の大域的集合のうち、最適な大域的スコアを有する1つの大域的集合を、前記決定された局所的スコアに基づいて識別させる、
    非一時的コンピュータ可読媒体。
JP2018531090A 2015-12-15 2016-12-12 自動核セグメンテーション Active JP6559353B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562267775P 2015-12-15 2015-12-15
US62/267,775 2015-12-15
PCT/US2016/066200 WO2017106106A1 (en) 2015-12-15 2016-12-12 Automatic nuclear segmentation

Publications (2)

Publication Number Publication Date
JP2019502994A JP2019502994A (ja) 2019-01-31
JP6559353B2 true JP6559353B2 (ja) 2019-08-14

Family

ID=59057884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018531090A Active JP6559353B2 (ja) 2015-12-15 2016-12-12 自動核セグメンテーション

Country Status (5)

Country Link
US (1) US10108779B2 (ja)
EP (1) EP3391335A4 (ja)
JP (1) JP6559353B2 (ja)
CN (1) CN108352069B (ja)
WO (1) WO2017106106A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2746152C2 (ru) * 2016-06-03 2021-04-07 Конинклейке Филипс Н.В. Обнаружение биологического объекта
CN111133359B (zh) * 2017-09-29 2022-12-13 徕卡生物系统成像股份有限公司 二维和三维固定z扫描
CN110006420B (zh) * 2018-05-31 2024-04-23 上海快仓智能科技有限公司 建图方法、图像采集和处理系统和定位方法
US10853704B2 (en) * 2018-12-18 2020-12-01 Clarifai, Inc. Model-based image labeling and/or segmentation

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3010836C (en) * 2010-07-30 2020-09-08 Fundacao D. Anna Sommer Champalimaud E Dr. Carlos Montez Champalimaud Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions
EP2463821A1 (en) * 2010-12-08 2012-06-13 Alcatel Lucent Method and system for segmenting an image
AU2011265383A1 (en) * 2011-12-20 2013-07-04 Canon Kabushiki Kaisha Geodesic superpixel segmentation
US8849050B2 (en) * 2012-11-08 2014-09-30 Seiko Epson Corporation Computer vision methods and systems to recognize and locate an object or objects in one or more images
CN103353938B (zh) * 2013-06-14 2016-04-13 山东大学 一种基于层次级特征的细胞膜分割方法
TWI496112B (zh) * 2013-09-13 2015-08-11 Univ Nat Cheng Kung 細胞影像分割方法以及核質比評估方法
CN103489187A (zh) * 2013-09-23 2014-01-01 华南理工大学 基于质量检测的宫颈lct图像中细胞核的分割方法
EP2874119A1 (en) * 2013-11-19 2015-05-20 Thomson Licensing Method and apparatus for generating superpixels
US9430830B2 (en) * 2014-01-30 2016-08-30 Case Western Reserve University Spatially aware cell cluster (SPACCL) graphs
CN103927758B (zh) * 2014-04-30 2017-02-15 重庆大学 一种基于对比度与角点最小凸包的显著性检测方法
CN103984958B (zh) * 2014-05-07 2017-11-07 深圳大学 宫颈癌细胞分割方法及系统
CN104063707B (zh) * 2014-07-14 2017-05-24 南京原觉信息科技有限公司 基于人类视觉多尺度感知特性的彩色图像聚类分割方法
EP3178035B1 (en) * 2014-08-04 2020-09-23 Ventana Medical Systems, Inc. Image analysis system using context features
CA2965564C (en) * 2014-11-10 2024-01-02 Ventana Medical Systems, Inc. Classifying nuclei in histology images
CN104766324B (zh) * 2015-04-08 2016-04-13 山东大学 基于超像素和异常检测的彩色血细胞图像白细胞分割方法

Also Published As

Publication number Publication date
CN108352069B (zh) 2022-11-25
EP3391335A1 (en) 2018-10-24
JP2019502994A (ja) 2019-01-31
EP3391335A4 (en) 2019-07-17
CN108352069A (zh) 2018-07-31
US10108779B2 (en) 2018-10-23
US20170300617A1 (en) 2017-10-19
WO2017106106A1 (en) 2017-06-22

Similar Documents

Publication Publication Date Title
JP7384960B2 (ja) 腫瘍を識別するための畳み込みニューラルネットワークを用いた組織像の処理
US10957079B2 (en) Systems and methods for automated detection of an indication of malignancy in a mammographic image
Nir et al. Automatic grading of prostate cancer in digitized histopathology images: Learning from multiple experts
US11893732B2 (en) Computer supported review of tumors in histology images and post operative tumor margin assessment
Bejnordi et al. Context-aware stacked convolutional neural networks for classification of breast carcinomas in whole-slide histopathology images
Janowczyk et al. A resolution adaptive deep hierarchical (RADHicaL) learning scheme applied to nuclear segmentation of digital pathology images
Wang et al. Mitosis detection in breast cancer pathology images by combining handcrafted and convolutional neural network features
Kothari et al. Pathology imaging informatics for quantitative analysis of whole-slide images
JP6559353B2 (ja) 自動核セグメンテーション
US11682186B2 (en) Detection of annotated regions of interest in images
Salvi et al. cyto‐Knet: An instance segmentation approach for multiple myeloma plasma cells using conditional kernels
RS CoC-ResNet-classification of colorectal cancer on histopathologic images using residual networks
Qin et al. Computerized delineation of nuclei in liquid‐based pap smears stained with immunohistochemical biomarkers
Zhao et al. Improved nuclear segmentation on histopathology images using a combination of deep learning and active contour model
Shete et al. Breast cancer cell detection using digital image processing
Miranda Ruiz Automatic segmentation of epithelium in cervical whole slide images to assist diagnosis of cervical intraepithelial neoplasia

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190716

R150 Certificate of patent or registration of utility model

Ref document number: 6559353

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250