JP6859355B2 - 3次元顕微鏡画像の区分化のためのシステムおよび方法 - Google Patents

3次元顕微鏡画像の区分化のためのシステムおよび方法 Download PDF

Info

Publication number
JP6859355B2
JP6859355B2 JP2018537861A JP2018537861A JP6859355B2 JP 6859355 B2 JP6859355 B2 JP 6859355B2 JP 2018537861 A JP2018537861 A JP 2018537861A JP 2018537861 A JP2018537861 A JP 2018537861A JP 6859355 B2 JP6859355 B2 JP 6859355B2
Authority
JP
Japan
Prior art keywords
image
pixel
pixels
marker
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018537861A
Other languages
English (en)
Other versions
JP2019503012A (ja
Inventor
ディフイ ホン,
ディフイ ホン,
アブルム コーエン,
アブルム コーエン,
Original Assignee
モレキュラー デバイシーズ, エルエルシー
モレキュラー デバイシーズ, エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by モレキュラー デバイシーズ, エルエルシー, モレキュラー デバイシーズ, エルエルシー filed Critical モレキュラー デバイシーズ, エルエルシー
Publication of JP2019503012A publication Critical patent/JP2019503012A/ja
Application granted granted Critical
Publication of JP6859355B2 publication Critical patent/JP6859355B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • G06T2207/10061Microscopic image from scanning electron microscope
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

(関連出願)
本願は、米国出願第15/003,302号(2016年1月21日出願)に対する優先権を主張し、上記出願の内容は、その全体が参照により本明細書に組み込まれる。
(開示の分野)
本主題は、ハイコンテント画像システムに関し、より具体的には、そのようなシステムを使用して得られる画像を自動的に分析および区分化するためのシステムおよび方法に関する。
ハイコンテント撮像システム(HCIS)は、生物学的サンプルの顕微鏡検査画像を得るために使用され得る。そのような画像は、背景場に対していくつかの細胞を含み得る。さらに、HCISは、生物学的サンプルの一連の顕微鏡検査画像を得るために使用され得、例えば、各画像は、異なる焦点を使用して得られる。そのような一連の顕微鏡検査画像は、組み合わせられ、生物学的サンプルの3次元ビューを展開し得る。そのような一連の顕微鏡検査画像は、特定の細胞に関連付けられた各そのような画像の一部を区分化および識別するためにも分析され得る。そのような部分は、次いで、組み合わせられ、特定の細胞の3次元ビューを形成し、それは、3次元細胞体内の細胞小器官をさらに識別し、および/または、3次元細胞体および/またはその中の細胞小器官の3次元統計を展開するために分析され得る。
研究者は、顕微鏡検査画像または一連の顕微鏡検査画像内に存在する細胞の統計を得ることを欲し得る。そのような統計は、画像内に存在し得る特定の細胞タイプの細胞の総数、そのような細胞のサイズ(例えば、寸法、体積、および表面積)の範囲、そのような細胞のサイズの平均、中央値、および最頻値、細胞が特定の形状に一致する程度(例えば、真球度)等を含み得る。さらに、画像は、そのような画像内で識別された細胞中の細胞小器官を識別するために分析され得、そのような細胞小器官の統計も、展開され得る。任意のそのような統計が計算されることができる前、顕微鏡検査画像内の細胞は、背景からから分けられなければならず、顕微鏡検査画像内に存在する任意の残骸からも分けられなければならない。加えて、画像は、スフェロイド(細胞の集合)の統計を計算するために分析され得、そのようなスフェロイド内の細胞の統計を計算するためにも分析され得る。
画像内の全ての細胞の中心および境界を手動で識別することは、時間がかかり、それは、研究者の一部における疲労および誤認につながり得る。疲労および誤認のリスクは、研究者が、一連の画像を分析し、特定の細胞に関連付けられた各そのような画像の一部を手動で識別する必要がある場合、さらに悪化される。
閾値化、流域、変形可能モデル、およびグラフベースの公式は、顕微鏡画像のための最も一般に使用されている区分化技法の基礎である。自動閾値法等の単純アプローチは、比較的に低信号対雑音比および高密度に詰まったオブジェクトに起因して、不良な区分化結果をもたらし得る。流域、レベル集合、またはグラフベースのグラフカット等のより高度なアルゴリズムは、合理的結果を生成し得るが、そのようなアルゴリズムの複雑性および算出リソースの高要求により、3次元分析のために実行可能なスループットを有し得ない。
一側面によると、画像を区分化するシステムは、ハイコンテント撮像システムと、画像取得モジュールと、粗オブジェクト検出モジュールと、マーカ識別モジュールと、オブジェクト分割モジュールとを含む。画像取得モジュールは、ハイコンテント撮像システムの画像捕捉デバイスによって捕捉された画像を受信する。粗オブジェクト検出モジュールは、粗区分化画像を展開し、粗区分化画像の各ピクセルは、捕捉された画像内の対応するピクセルに関連付けられ、オブジェクトピクセルおよび背景ピクセルのうちの1つとして識別される。マーカ識別モジュールは、粗区分化画像内の各オブジェクトのうちの少なくとも1つのマーカピクセルを選択し、各マーカピクセルは、群の近隣ピクセルに対して背景ピクセルから最も遠い、粗区分化画像内の隣接したオブジェクトピクセルの群のうちの1つである。オブジェクト分割モジュールは、並行して動作する複数のプロセッサを備え、オブジェクトピクセルに対応する区分化された画像のピクセルをマーカピクセルに関連付け、オブジェクトピクセルとマーカピクセルとの間の距離ベースのメトリックは、オブジェクトピクセルと粗区分化画像内の任意の他のマーカピクセルとの間の距離ベースのメトリックより小さい。
別の側面によると、画像を区分化する方法は、顕微鏡およびハイコンテント撮像システムのうちの1つの画像捕捉デバイスを用いて画像を捕捉するステップと、粗区分化画像を展開するステップとを含む。粗区分化画像の各ピクセルは、捕捉された画像内の対応するピクセルに関連付けられ、オブジェクトピクセルおよび背景ピクセルのうちの1つとして識別される。方法は、少なくとも1つのマーカピクセルを粗区分化画像内の各オブジェクトのピクセルから選択する追加のステップを含み、各マーカピクセルは、群の近隣ピクセルに対して背景ピクセルから最も遠い、粗区分化画像内の隣接したオブジェクトピクセルの群のうちの1つである。加えて、方法は、複数のプロセッサを並行して動作させ、各オブジェクトピクセルに対応する区分化された画像のピクセルをマーカピクセルに関連付けるステップを含み、オブジェクトピクセルとマーカピクセルとの間の距離ベースのメトリックは、オブジェクトピクセルと粗区分化画像内の任意の他のマーカピクセルとの間の距離ベースのメトリックより小さい。
他の側面および利点は、同様の数字が明細書全体を通して同様の構造を指定する、以下の発明を実施するための形態および添付の図面を考慮して明白となるであろう。
本発明は、例えば、以下を提供する。
(項目1)
画像を区分化するシステムであって、前記システムは、
ハイコンテント撮像システムであって、前記ハイコンテント撮像システムは、画像捕捉デバイスを含む、ハイコンテント撮像システムと、
前記画像捕捉デバイスによって捕捉された画像を受信する画像取得モジュールと、
粗区分化画像を展開する粗オブジェクト検出モジュールであって、前記粗区分化画像の各ピクセルは、前記捕捉された画像内の対応するピクセルに関連付けられ、オブジェクトピクセルおよび背景ピクセルのうちの1つとして識別される、粗オブジェクト検出モジュールと、
少なくとも1つのマーカピクセルを前記粗区分化画像のピクセルから選択するマーカ識別モジュールであって、各マーカピクセルは、前記粗区分化画像内の隣接したオブジェクトピクセルの群のうちの1つのピクセルであり、前記1つのピクセルは、前記群の近隣ピクセルに対して背景ピクセルから最も遠い、マーカ識別モジュールと、
並行して動作する複数のプロセッサを備えているオブジェクト分割モジュールと
を備え、
前記オブジェクト分割モジュールは、オブジェクトピクセルに対応する区分化された画像のピクセルをマーカピクセルに関連付け、前記オブジェクトピクセルと前記マーカピクセルとの間の距離ベースのメトリックは、前記オブジェクトピクセルと前記粗区分化画像内の任意の他のマーカピクセルとの間の距離ベースのメトリックより小さい、システム。
(項目2)
マスクされた画像を前記捕捉された画像から生成するヒューマンインターフェースモジュールをさらに備え、前記マスクされた画像のピクセルの色値は、前記区分化された画像内の対応するピクセルが前記マーカピクセルに関連付けられている場合、前記捕捉された画像の対応するピクセルの色値と同じである、項目1に記載のシステム。
(項目3)
前記マーカピクセルに関連付けられている前記区分化された画像内のピクセルに従って統計を計算する測定モジュールをさらに備えている、項目1に記載のシステム。
(項目4)
前記マーカ識別モジュールは、距離マップ画像を算出する並行して動作する複数のプロセッサを備え、前記距離マップ画像の各ピクセルに関連付けられた値は、そのようなピクセルと背景ピクセルとの間の距離を表す、項目1に記載のシステム。
(項目5)
前記捕捉された画像は、一連の捕捉された画像のうちの1つであり、前記ハイコンテント撮像システムにおける焦点距離は、前記一連の捕捉された画像のうちの連続画像間で変化させられる、項目4に記載のシステム。
(項目6)
前記距離マップの各ピクセルの前記値は、前記一連の捕捉された画像によって表される3次元のうちのいずれかに沿ったそのようなピクセルと背景ピクセルとの間の距離を表す、項目5に記載のシステム。
(項目7)
前記一連の捕捉された画像間のピクセル分解能は、各捕捉された画像のピクセル分解能と異なり、前記距離は、そのような分解能の差異に従って計算される、項目6に記載のシステム。
(項目8)
前記マーカ識別モジュールは、展開すべき前記距離マップの一部を前記複数のプロセッサの各々に割り当てる、項目4に記載のシステム。
(項目9)
前記オブジェクト分割モジュールは、プロセッサを備え、前記プロセッサは、展開すべき前記区分化された画像の一部を各プロセッサに割り当てる、項目1に記載のシステム。
(項目10)
前記マーカ識別モジュールは、隣接したオブジェクトピクセルの群に関連付けられた複数の候補マーカピクセルを選択し、前記候補マーカピクセルのうちの1つをマーカピクセルとして選択する、項目1に記載のシステム。
(項目11)
画像を区分化する方法であって、前記方法は、
ハイコンテント撮像システムの画像捕捉デバイスを用いて前記画像を捕捉することと、
粗区分化画像を展開することであって、前記粗区分化画像の各ピクセルは、前記捕捉された画像内の対応するピクセルに関連付けられ、オブジェクトピクセルおよび背景ピクセルのうちの1つとして識別される、ことと、
少なくとも1つのマーカピクセルを前記粗区分化画像のピクセルから選択することであって、各マーカピクセルは、前記粗区分化画像内の隣接したオブジェクトピクセルの群のうちの1つのピクセルであり、前記1つのピクセルは、前記群の近隣ピクセルに対して背景ピクセルから最も遠い、ことと、
複数のプロセッサを並行して動作させ、オブジェクトピクセルに対応する区分化された画像の各オブジェクトピクセルをマーカピクセルに関連付けることと
を含み、
前記オブジェクトピクセルと前記マーカピクセルとの間の距離ベースのメトリックは、前記オブジェクトピクセルと前記粗区分化画像内の任意の他のマーカピクセルとの間の距離ベースのメトリックより小さい、方法。
(項目12)
マスクされた画像を前記捕捉された画像から生成するさらなるステップを含み、前記マスクされた画像のピクセルの色値は、前記区分化された画像内の対応するピクセルが前記マーカピクセルに関連付けられている場合、前記捕捉された画像の対応するピクセルの色値と同じである、項目11に記載の方法。
(項目13)
前記マーカピクセルに関連付けられる前記粗区分化画像内のピクセルに従って統計を計算するさらなることを含む、項目11に記載の方法。
(項目14)
前記距離マップ画像を算出することは、第2の複数のプロセッサを並行して動作させ、前記距離マップ画像を算出することを含む、項目11に記載の方法。
(項目15)
前記捕捉された画像は、一連の捕捉された画像のうちの1つであり、前記ハイコンテント撮像システムにおける焦点距離は、前記一連の捕捉された画像のうちの連続画像間で変化させられる、項目14に記載の方法。
(項目16)
前記距離マップ画像の各ピクセルの値は、前記一連の捕捉された画像によって表される3次元のうちのいずれかに沿ったそのようなピクセルとオブジェクト境界との間の距離を表す、項目15に記載の方法。
(項目17)
前記第2の複数のプロセッサを動作させることは、前記距離マップ画像の一部を前記第2の複数のプロセッサの各々に割り当て、算出することをさらに含む、項目14に記載の方法。
(項目18)
前記一連の捕捉された画像間のピクセル分解能は、各捕捉された画像のピクセル分解能と異なり、前記距離は、そのような分解能の差異に従って計算される、項目17に記載の方法。
(項目19)
前記第1の複数のプロセッサを動作させることは、展開すべき前記粗区分化画像の一部を各プロセッサに割り当てることを含む、項目11に記載の方法。
(項目20)
少なくとも1つのマーカピクセルを選択することは、複数の候補ピクセルを選択することを含み、前記少なくとも1つのマーカピクセルは、前記複数の候補ピクセルから選択される、項目11に記載の方法。
図1は、本開示による、ハイコンテントスクリーニングシステムのブロック図である。 図2は、図1のハイコンテントスクリーニングシステムを使用して取得された画像を区分化する画像区分化システムのブロック図である。 図3は、図2のシステムの粗オブジェクト検出モジュールによって行われるステップのフローチャートである。 図4は、図2のシステムのマーカ識別モジュールによって行われるステップのフローチャートである。 図5は、図2のシステムのオブジェクト分割モジュールによって行われるステップのフローチャートである。 図6は、図1のハイコンテント画像システムを使用して読み出される画像をマスクするために図2のシステムのユーザインターフェースモジュールによって行われるステップのフローチャートである。 図7は、図2のマーカ識別モジュールの並列プロセッサ実装のブロック図である。 図8は、図2のシステムのオブジェクト分割モジュールの並列プロセッサ実装のブロック図である。 図9Aは、図1のハイコンテント撮像システムを使用して捕捉された画像の実施例を示す。 図9Bは、図2のシステムの粗オブジェクト検出モジュールによって作成された閾値化画像を示す。 図9Cは、図2のマーカ識別モジュールによって作成された距離マップ画像を図示する。 図9Dは、図9Cの距離マップ画像から識別された、分類されたマーカピクセルを図示する。
図1を参照すると、当業者に明白であろうように、HCIS100は、X−Yステージ102と、1つ以上の対物レンズ104と、1つ以上の照明源106と、1つ以上のフィルタ108と、画像捕捉デバイス110と、コントローラ112とを含み得る。HCIS100は、照明源106からの光を、X−Yステージ102上に配置され得るサンプルトレイ116に向かわせ、かつ、光をそのようなサンプルトレイ116から画像捕捉デバイス110に向かわせる1つ以上のミラー114を含み得る。典型的には、サンプルトレイ116は、複数のウェル118を含み、HCIS100によって撮像されるべきサンプル(例えば、生物学的細胞)は、各そのようなウェル118内に配置され得る。
図1は、サンプルトレイ116から反射された照明源106からの光が画像捕捉デバイス110に到達することを示すが、追加のミラー(図示せず)が、照明源106からの光がサンプルトレイ116を通して伝送され、画像捕捉デバイス110に向かわせられるように使用され得ることが明白であろう。さらに、ある場合、照明源106からの照明が、サンプルトレイ116内のサンプルを撮像するために必要ない場合もあることが明白であろう(例えば、サンプルが光を放出する場合、またはサンプルが放射性成分を含む場合)。いくつかの実施形態では、照明源からの光は、サンプルトレイ116内のサンプルを通して伝送され、サンプルが、光を屈折および/または吸収し、撮像される光を生成し得る。
動作中、サンプルトレイ116は、手動またはロボットのいずれで、X−Yステージ102上に設置され得る。加えて、コントローラ112は、特定の対物レンズ104、照明源106によって生成される照明、および/またはフィルタ108の組み合わせを使用するようにHCIS100を構成し得る。例えば、コントローラ112は、選択された対物レンズ104、随意に、選択されたフィルタ108をサンプルトレイ116と画像捕捉デバイス110との間の光経路内に設置するように位置付けデバイス(図示せず)を動作させ得る。コントローラ112は、サンプルトレイ116を光の特定の波長で照明するように照明源106を向け得る。サンプルトレイ116内のサンプルは、(自然生成分子または処置に起因してサンプル内で産生もしくは存在する分子のいずれか)蛍光を発する分子(自然生成分子または処置に起因してサンプル内で産生もしくは存在する分子のいずれか)を含み得る。サンプルを照明する波長は、そのような蛍光分子に関連付けられた励起波長であり得、撮像捕捉デバイスは、そのような蛍光材料の放出スペクトルのみを捕捉するであろう。1つ以上の波長は、連続して、もしくは同時に使用され、同一サンプルを照明し、画像を生成し得る。
異なる焦点位置における一連の画像を得るために、コントローラ112は、各そのような焦点位置において画像捕捉デバイス110がサンプルトレイ116内に配置されるサンプルの焦点の合った画像を得られ得るように、焦点機構120を動作させる。
その後、コントローラ112は、ウェル118またはその一部が画像捕捉デバイス110の視野内にあるようにX−Yステージ102を動作させ、画像捕捉デバイス110を作動させ、ウェル118またはその一部の画像を捕捉し得る。コントローラ112は、着目されるサンプルトレイ116のウェル118の全ての画像が捕捉されるまで、X−Yステージ102および画像捕捉デバイス110をこのように繰り返し動作させ得る。さらに、コントローラ112は、同一ウェル118またはその一部のいくつかの画像を捕捉し得、各そのような画像は、対物レンズ104のうちの1つ、フィルタ108のうちの1つ以上のもの、および照明源106によって生成される照明の異なる組み合わせを使用して捕捉される。
図2を参照すると、画像区分化システム200は、画像捕捉デバイス112と通信する、画像取得モジュール202を含む。画像取得モジュール202は、コントローラ112に、生物学的サンプルの複数の画像を種々の焦点位置において捕捉するように指示する。一実施形態では、画像取得モジュール202は、サンプルの一連の10〜150枚の連続画像を捕捉するために、焦点機構120および画像捕捉デバイス112を動作させるようにコントローラ112に指示し得る。サンプルの低分解能3次元表現を得るために、画像取得モジュール202は、連続画像間で焦点位置を約50ミクロンずつ調節するようにコントローラ112に指示し得る。サンプルの高分解能3次元表現を得るために、画像取得モジュール202は、連続画像間で焦点位置を約3ミクロン〜5ミクロンずつ調節するようにコントローラ112に指示し得る。サンプルのさらにより高い分解能3次元表現のために、画像取得モジュール202は、連続画像間で焦点位置を0.5ミクロン〜1ミクロンずつ調節するようにコントローラ112に指示し得る。
画像取得モジュール202は、一連の連続画像を画像捕捉デバイス112から受信し、そのような画像を未加工画像データ記憶204内に記憶する。
少なくとも1つの画像が、未加工画像データ記憶204内に記憶されると、粗オブジェクト検出モジュール206は、画像を読み出し、そのような画像を分析し、オブジェクトに関連付けられたそのような画像のピクセルを識別する。
図3は、粗オブジェクト検出モジュール206の一実施形態によって行われる処理のフローチャートを示す。ステップ302では、粗オブジェクト検出モジュール206は、平滑化された画像を読み出された画像から生成する。特に、粗オブジェクト検出モジュールは、平均またはガウスフィルタ等の統計的演算子を用いて読み出された画像の畳み込みを行う。演算子カーネルサイズは、所定の予期されるオブジェクト最小および最大サイズに基づき得る。いくつかの実施形態では、オブジェクト最小および最大サイズは、ユーザによって供給され得る。
ステップ304では、粗オブジェクト検出モジュール204は、平滑化された画像を読み出された画像から減算する(すなわち、平滑化された画像内の各ピクセルの強度値が、読み出された画像内の対応するピクセルの強度値から減算される)。ステップ306では、粗オブジェクト検出モジュール204は、閾値をステップ304における減算演算から生じた画像に適用し、粗区分化画像を展開する。特に、減算後の画像の各ピクセルの強度は、所定の閾値と比較され、そのような強度が閾値を上回る場合、粗区分化画像内の対応するピクセルの強度は、「オン」ピクセルを表す強度値に設定される(例えば、ピクセルの全てのビットは、1に設定される)。そうでなければ、対応するピクセルの強度は、「オフ」ピクセルを表す強度値(例えば、ゼロ)に設定される。「オン」ピクセルに関連付けられた強度値を有する粗区分化画像のそれらのピクセルは、読み出された画像内のオブジェクトに対応するピクセルである。「オフ」ピクセルに関連付けられた強度値を有する粗区分化画像のそれらのピクセルは、読み出された画像の非オブジェクトまたは背景部分に関連付けられたピクセルである。理想的には、そのような境界ピクセルは、連続閉鎖形状を形成する。しかしながら、いくつかの実施形態では、粗オブジェクト検出モジュール206は、ステップ308において、そのような連続閉鎖形状内の任意の穴(「オフ」ピクセルによって表される)に対して粗区分化画像を分析し、そのような間隙に関連付けられたピクセルの強度を「オン」ピクセルに関連付けられた値に設定し得る。いくつかの実施形態では、粗オブジェクトモジュール206は、例えば、そのような間隙を充填するための穴埋め演算子等の形態演算子を使用し得る。
再び図2を参照すると、読み出された画像およびそこから生成された粗区分化画像は、マーカ識別モジュール208に提供される。マーカ識別モジュール218は、読み出された画像内の各オブジェクトに関連付けられたマーカ(またはシード)ピクセルを識別する。
図4は、マーカ識別モジュール218によって行われるステップのフローチャート320を示す。ステップ322では、マーカ識別モジュール208は、読み出された画像と同じ寸法を有する距離マップ画像を作成する。マーカ識別モジュール208はまた、新しい距離マップ画像の各ピクセルの値をゼロに初期化もする。ステップ324では、マーカ識別モジュール208は、距離マップ画像の各ピクセルと粗区分化画像内の最近傍「オフ」ピクセルとの座標間のユークリッド距離(すなわち、背景ピクセルまでの最短距離)を計算する。この計算された距離は、そのような座標における距離マップ画像内のピクセルの値として記憶される。すなわち、距離マップ画像内の各ピクセルの値は、そのようなピクセルと境界ピクセルを表す粗区分化画像内の別のピクセルとの座標間の最短ユークリッド距離に設定される。いくつかの実施形態では、マーカ識別モジュール208は、境界ピクセルの座標のリストを粗区分化画像から作成し、距離マップ画像の各ピクセルとそのようなリスト内の各座標との間の距離を計算し得る。いくつかの実施形態では、マーカ識別モジュール208は、ボロノイマップを粗区分化画像から生成する。一実施形態では、そのような距離マップ画像は、Felzenwalb、他、「Distance Transforms of Sampled Functions」,Theory of Computing,(Volume 8,2012)に説明される方法に従って計算される。そのような論文の全内容は、参照することによって本明細書に組み込まれる。さらに、そのような論文によって説明されるアルゴリズムは、その性能を改良するために好適に修正され得る。
距離マップ画像が作成された後、ステップ326では、距離マップ画像のピクセルの値が、分析され、距離マップ画像内のピークまたは極大値(すなわち、周囲ピクセルより大きい強度値を有するピクセル)を識別する。そのようなピークは、境界ピクセルによって包囲されそれらのピクセルであり、かつ、境界ピクセルから最も遠い。いくつかの実施形態では、ステップ326において、マーカ識別モジュール208は、追加のフィルタを局所ピークに適用し、ピークの全てがマーカピクセルとして使用される場合に生じ得る過区分化を回避し得る。
ステップ328では、距離マップ内のあるピークピクセルは、マーカ(またはシード)ピクセルとして分類される。いくつかの実施形態では、マーカ識別モジュールは、ステップ328において、識別されたピークピクセルをフィルタ処理し、余分なピークピクセルを除去し、過区分化を回避する。例えば、所定の閾値未満の強度値を有する、ピークピクセルは、候補マーカピクセルと見なされないこともある。すなわち、最も近い境界から所定の距離未満の距離にあるピークピクセルは、候補マーカピクセルとしての検討から排除され得る。別のピークピクセルに隣接しないか、または互いにピークピクセルから所定のユークリッド距離内にない各ピークピクセルは、マーカピクセルとして分類される。隣接するピクセルが、ピークピクセルとして識別される場合、1つのみのそのようなピークピクセルが、マーカピクセルとして分類され得る。いくつかの実施形態では、複数のピークピクセルが、互いから所定のユークリッド距離内にあると識別される場合(例えば、3つのピクセル)、これらのピークピクセルのうちの1つのみが、マーカピクセルとして分類される。2つ以上の局所ピークピクセルが、境界ピクセルによって包囲される読み出された画像の一部内に見出され、そのような局所ピークピクセルが、所定のユークリッド距離より互いから遠い場合、全てのそのような局所ピークピクセルは、マーカピクセルとして分類される。各マーカピクセルに関連付けられた距離値は、そのようなマーカピクセルに関連付けられたオブジェクト(または細胞)のほぼ正確な半径を表すことが明白であろう。
ステップ330では、マーカ識別モジュール208は、距離マップ画像内のマーカピクセルの座標のリストを生成する。そのような座標が、読み出された画像および粗区分化画像内の対応するマーカピクセルの位置を特定することも明白であろう。
再び図2を参照すると、オブジェクト分割モジュール212は、粗区分化画像の各1つのオブジェクトピクセルをマーカピクセルのうちの1つに関連付ける。
図5は、オブジェクト分割モジュール212によって行われるステップのフローチャート340を示す。ステップ342では、オブジェクト分割モジュール212は、読み出された画像とサイズが同じである、区画画像を作成する。加えて、ステップ342では、オブジェクト分割モジュール212は、特有の色値を各マーカピクセルに関連付ける。
ステップ343では、オブジェクト分割モジュール212は、粗区分化画像内のオブジェクト(すなわち、ピクセルの連続集合)を選択する。ステップ344では、オブジェクト分割モジュール212は、選択されたオブジェクトの座標(i,j)におけるピクセルを選択する。ステップ346では、オブジェクト分割モジュール212は、変数MINの値を最大整数値に設定する。ステップ348では、オブジェクト分割モジュール212は、検討のために、選択されたオブジェクトに関連付けられた粗区分化モジュールの座標(x1、x2)を有するマーカピクセルを選択する。ステップ350では、オブジェクト分割モジュール212は、以下のようなメトリックに従って、選択されたマーカピクセルに従って、選択されたピクセルに対する距離ベースのメトリックを表すスコアを計算する。
Figure 0006859355
座標(x1,x2)を有するマーカに対する座標(i,j)を有するピクセルのベクトルdijが、以下のように計算される。
Figure 0006859355
値γijは、座標(i,j)を有する各ピクセルにおける対応する正規化された勾配ベクトルとの各法線nijのドット積である。法線は、以下のように、ベクトルdijから計算される。
Figure 0006859355
値γijは、以下のように計算される。
Figure 0006859355
座標(i,j)におけるピクセルに関連付けられた勾配g(i,j)の値は、局所中心に向かう進行方向を示す。いくつかの実施形態では、そのような勾配は、読み出された画像の座標(i,j)において計算され得る。他の実施形態では、そのような勾配は、距離マップ画像の座標(i,j)において計算され得る。特定の座標(i,j)から座標(x1,x2)におけるマーカピクセルまでのベクトルの勾配と法線とのドット積は、進行方向がマーカピクセルを指し示すことにどれくらい近いかを示す。値αは、調整係数であり、ゼロ以上である。調整係数の値が、ゼロである場合、距離のみが、スコアγijの値に寄与し、調整係数の値が増加するにつれて、勾配の寄与は、増加する。一実施形態では、調整係数の値は、ゼロに設定される。他の実施形態では、そのような値は、捕捉されている生物学的サンプルの特性または読み出された画像の特性に従って、他の所定の値に設定され得る。
ステップ352では、オブジェクト分割モジュール212は、ステップ350において計算されたスコアi,jの値と変数MINの値を比較する。スコアi,jの値が、変数MINの値以下である場合、オブジェクト分割モジュール212は、ステップ354において、変数MINの値をスコアスコアi,jの値に設定する。
加えて、ステップ354では、オブジェクト分割モジュール212は、区分化された画像の選択されたピクセルの色値を選択されたマーカピクセルに関連付けられた色値に設定することによって、区分化された画像の選択されたピクセルを選択されたマーカピクセルに関連付ける。
いくつかの実施形態では、変数スコアi,jの値が、変数MINの値と等しい場合、それは、2つのマーカピクセルが粗区分化画像の選択されたピクセルから同一距離にある場合に生じ得、そのような選択されたピクセルは、以前に選択されたマーカピクセルに関連付けられている。そのような場合、オブジェクト分割モジュール212は、選択されたマーカピクセルの境界からの距離が、以前に選択されたマーカピクセルの境界からの距離を上回る場合のみ、区分化された画像の選択されたピクセルを選択されたマーカピクセルに関連付ける。したがって、複数のマーカピクセルが、区分化された画像の選択されたピクセルから同一距離にある場合、読み出された画像の選択されたピクセルは、最大のオブジェクトに関連付けられたマーカピクセルに関連付けられる。前述のように、境界ピクセルからのマーカピクセルの距離は、マーカピクセルおよび境界ピクセルを用いて規定されたオブジェクトのサイズと相関する。ステップ354後、オブジェクト分割モジュール212は、ステップ356に進む。
ステップ352において、オブジェクト分割モジュール212が、変数スコアi,jの値が変数MINの値以下ではないことを決定する場合、ステップ356において、オブジェクト分割モジュール212は、粗区分化画像によって規定された選択されたオブジェクトの選択されたピクセルが、そのようなオブジェクトに関連付けられたマーカピクセルの全てに対してチェックされているかどうかチェックする。該当する場合、オブジェクト分割モジュール212は、ステップ358に進む。そうでなければ、オブジェクト分割モジュール212は、ステップ348に戻り、別のマーカピクセルを選択する。
ステップ358では、オブジェクト分割モジュール212は、粗区分化画像の選択されたオブジェクトに関連付けられたピクセルの全てがマーカピクセルに関連付けられているかどうかを決定する。関連付けられるために残っているピクセルが存在する場合、オブジェクト分割モジュール212は、ステップ344に進み、区分化された画像の別のピクセルを選択し、割り当てる。そうでなければ、オブジェクト分割モジュール212は、ステップ359に進む。ステップ359では、オブジェクト分割モジュール212は、粗区分化画像のオブジェクトの全てがチェックされているかどうかを決定し、該当する場合、オブジェクト分割モジュールは、ステップ360において、区分化された画像を区分化画像データ記憶214(図2)に記憶する。そうでなければ、オブジェクト分割モジュールは、ステップ343に進み、別のオブジェクトを選択する。
再び図2を参照すると、区分化された画像がデータ記憶214内に記憶された後、ユーザインターフェースモジュール216は、そのような画像を読み出し、画像をユーザコンピュータ218上に表示し得る。例えば、ユーザインターフェースモジュール216は、利用可能な画像のリストをユーザコンピュータ218を動作させるユーザに表示し得、ユーザは、表示のために、画像をそのようなリストから選択し得る。加えて、ユーザは、上で説明される測定または統計が1つ以上の区分化された画像から計算されることを要求し得る。それに応答して、測定モジュール220は、そのような区分化された画像を読み出し、ユーザによって要求される統計を計算し、ユーザコンピュータ218上での表示のために、そのような統計をユーザインターフェースモジュール216に提供する。ユーザは、ユーザインターフェースモジュール216を介して、1つ以上の区分化された画像に関する統計が計算され、ユーザコンピュータ218上に記憶され、および/またはさらなる分析のために別のシステム(図示せず)に伝送されることも要求し得る。
いくつかの実施形態では、ユーザインターフェースモジュール216は、区分化された画像をマスクとして使用し、同じサイズの細胞に関連付けられた読み出された画像の特定の部分を分離し得る。図6は、特定の細胞サイズの細胞の画像を作成するためにユーザインターフェースモジュール216によって行われるステップのフローチャート380を示し、細胞サイズは、マーカピクセルに関連付けられた色に関連付けられる。ステップ382では、ユーザインターフェースモジュール216は、読み出された画像のそれらと同じ寸法を有するマスクされた画像を作成し、マスクされた画像の各ピクセルの値を所定の背景色に初期化する。ステップ384では、ユーザインターフェースモジュール216は、マスクされた画像のピクセルを選択する。ステップ386では、ユーザインターフェースモジュール216は、マスクされた画像の選択されたピクセルのそれらと同じ座標を有する区分化された画像のピクセルを選択する。ステップ388では、ユーザインターフェースモジュールは、マスクされた画像の選択されたピクセルの色値が、特定の細胞サイズに関連付けられた色値と同じであるかどうかを決定する。そのような色が同じである場合、ユーザインターフェースモジュールは、ステップ390に進む。そうでなければ、ユーザインターフェースモジュール216は、ステップ392に進む。
ステップ390では、ユーザインターフェースモジュール216は、マスクされた画像の選択されたピクセルの色値を、マスクされた画像の選択されたピクセルに対応する(すなわち、同一座標を有する)読み出された画像のピクセルの色値に設定する。その後、ユーザインターフェースモジュール216は、ステップ392に進む。
ステップ392では、ユーザインターフェースモジュール216は、マスクされた画像のピクセルの全てが検討されたかどうかを決定する。任意のピクセルが残っている場合、ユーザインターフェースモジュール216は、ステップ384に進み、マスクされた画像の別のピクセルを選択する。そうでなければ、ユーザインターフェースモジュール218は、ステップ394において、ユーザコンピュータ上に、マスクされた画像を記憶および/または表示する。
2次元画像内の細胞を区分化するための上で説明される処理は、生物学的サンプルの3次元表現を備えている一連の画像内の細胞を区分化するために使用されることができる。特に、粗オブジェクト検出モジュール206は、上で説明されるように、一連の読み出された画像の各画像に対して動作し、一連の粗区分化画像を作成する。
その後、マーカ識別モジュール208は、一連の粗区分化画像を読み出し、マーカピクセルのリストを作成し、そのようなリストの各要素は、そのようなマーカピクセルの3次元座標である。再び図4を参照すると、ステップ322では、マーカピクセル識別モジュールは、一連の粗区分化画像内の各画像に対して、距離マップ画像を初期化する。ステップ324では、マーカピクセル識別モジュール208は、一連の距離マップ画像内の各画像の各ピクセルと一連のエッジ検出された画像内の境界(または「オン」)ピクセルとの間のユークリッド距離を決定する。特に、ユークリッド距離は、2次元の代わりに、3次元において計算される。距離マップのために計算されるユークリッド距離は、X−、Y−、およびZ−方向における分解能の任意の差異を考慮し、3次元におけるピクセル間の差異を適切にスケーリングする。
同様に、ステップ326では、マーカ識別モジュール208は、3次元における一連の距離マップ画像の近隣ピクセルを識別および比較し、ピークまたはマーカピクセルを識別する。ステップ328におけるマーカピクセルの分類およびステップ330におけるマーカピクセル座標の生成は、2次元の代わりに、3次元においてであることを除き、上で説明されるように行われる。
3次元マーカピクセル座標のリストが展開された後、オブジェクト分割モジュール212は、そのような座標を使用して、一連の区分化された画像を作成する。図5を参照すると、オブジェクト分割モジュール212は、ステップ342において、一連の読み出された画像内の各画像に対して、一連の区分化された画像を作成する。ステップ343では、オブジェクト分割モジュール212は、一連の粗区分化画像内で識別された3次元オブジェクト(すなわち、オン値を有し、3次元において連続的である、ピクセル群)を選択する。ステップ344では、オブジェクト分割モジュール212は、例えば、一連の画像の各画像を一度に1つ検討することによって、選択されたオブジェクトの座標(i,j,k)を有するピクセルを選択する。ステップ346および348は、上で説明されるように行われる。ステップ350では、選択されたピクセルと選択されたマーカピクセルとの間のスコアが、2次元ではなく、3次元において計算される。特に、座標(i,j,k)を有するピクセルのスコアが、座標(x1,x2,x3)を有する各マーカピクセルに対して計算される。特に、スコアは、以下のように計算され得る。
Figure 0006859355
式中、ベクトルdijkは、以下である。
Figure 0006859355
法線nijkは、以下のように計算される。
Figure 0006859355
値γijkは、各ピクセルの各法線と対応する正規化された勾配ベクトルとのドット積の結果である。
Figure 0006859355
前述のように、座標(i,j,k)におけるピクセルに関連付けられた勾配g(i,j,k)の値は、局所中心に向かう進行方向を示す。いくつかの実施形態では、そのような勾配は、読み出された画像の座標(i,j,k)において計算され得る。他の実施形態では、そのような勾配は、距離マップ画像の座標(i,j,k)において計算され得る。特定の座標(i,j,k)から座標(x1,x2,x3)におけるマーカまでのベクトルの勾配と法線とのドット積は、進行方向がマーカピクセルに向かって指し示していることにどれくらい近いかを示す。値αは、調整係数であり、ゼロ以上である。調整係数の値が、ゼロである場合、距離のみが、スコアγijkの値に寄与し、調整係数の値が増加するにつれて、勾配の寄与は、増加する。一実施形態では、調整係数の値は、ゼロに設定される。他の実施形態では、そのような値は、捕捉されている生物学的サンプルの特性または読み出された画像の特性に従って、他の所定の値に設定され得る。
ステップ350におけるスコアを展開することにおいて行われる距離計算は、X−、Y−、およびZ−次元における一連の画像の分解能を考慮し得る。例えば、いくつかの実施形態では、Z−次元における分解能(すなわち、一連の画像の平面間の分解能)は、X−およびY−次元において異なり得る。ステップ352−359は、上で説明されるように行われ、ステップ360では、オブジェクト分割モジュール212は、一連の区分化された画像を区分化画像データ記憶214に記憶する。
測定モジュール220は、統計(体積および同等物等)を3次元体を表す一連の区分化された画像から計算するようにも適合される。一連の区分化された画像のうちの各1つは、上記の図6に関連して説明されるように、上で説明されるように、一連の読み出された画像のうちの対応する1つのためのマスクとして使用され、特定のサイズの細胞を分離し得る。
図7を参照すると、マーカ識別モジュール208の実施形態は、並行して動作する複数の並列プロセッサおよび/またはプロセッサの複数のコアを使用する。マスタプロセッサ402は、粗区分化画像、一連の粗区分化画像、または境界ピクセルのリストを粗オブジェクト検出モジュール206から受信する。マスタプロセッサ402は、粗区分化画像を供給し、距離マップ画像の一部(または一連の距離マップ画像)を複数のプロセッサ404−1、404−2、・・・、404−Nのうちの各1つに割り当てる。いくつかの実施形態では、各プロセッサ404に割り当てられる距離マップ画像の部分は、そのサブ画像であり、そのようなサブ画像の開始および終了座標によって表され得る。他の実施形態では、一連の距離画像が作成される場合、マスタプロセッサ402は、各プロセッサ404に、一連の距離画像のうちの1つ、またはそのような距離画像のサブ画像を割り当て得る。各プロセッサ404は、それに割り当てられた距離画像の部分に基づいて、フローチャート320(図4)のステップ322から330を行い、それによって生成されたマーカピクセル座標のリストを出力組み合わせプロセッサ406に伝送する。出力組み合わせプロセッサ406は、マーカピクセル座標を受信し、そのような座標をマーカピクセル座標のマスタリストに組み合わせる。マーカピクセル座標が、距離マップ画像全体または一連の距離マップ画像を分析することによって作成された後、マーカピクセル座標のマスタリストは、オブジェクト分割モジュール212に提供される。いくつかの実施形態では、プロセッサ402は、距離マップの一部をプロセッサ404に割り当て、プロセッサ402からそれによって展開されたマーカピクセル座標を受信し、そのようなマーカピクセル座標をマーカピクセル座標のマスタリストに組み合わせ得る。そのような実施形態では、出力組み合わせプロセッサ406は、必要とされないこともある。
図8を参照すると、マーカ識別モジュール212の実施形態は、並行して動作する複数の並列プロセッサおよび/またはプロセッサの複数のコアを使用する。配布プロセッサ422は、マーカピクセル座標のリスト(またはマーカピクセル座標のマスタリスト)を複数のプロセッサ424−1、424−2、・・・、424−Nのうちの1つに供給する。配布プロセッサ422は、区分化された画像の一部(または一連の区分化された画像)を各プロセッサに割り当て、展開する。各プロセッサは、フローチャート340(図5)のステップ342から360の処理を行い、区画画像(または一連の区分化された画像)のそのような部分を展開する。しかしながら、それによって展開された区分化された画像(または一連の区分化された画像)の部分を記憶する代わりに、ステップ360では、各プロセッサは、そのような展開された部分を出力組み合わせプロセッサ426に提供する。出力組み合わせプロセッサ426は、そのような展開された部分を区分化された画像(または一連の区分化された画像)に組み合わせ、区分化された画像(または一連の区分化された画像)を区分化画像記憶214に記憶する。
図9Aは、読み出された画像の実施例を図示する。図9Bは、ステップ306において粗オブジェクト検出モジュール206によって作成された閾値化画像を示す。そのような閾値化画像は、粗オブジェクト検出モジュール206によってさらに処理され、オンピクセルとオフピクセルとの間の境界上にあるそれらのピクセルを識別し得る。図9Cは、ステップ324においてマーカ識別モジュール208によって作成された距離マップ画像を図示し、より明るいピクセルは、境界ピクセルからのより大きい距離に関連付けられる。図9Dは、図9Cの距離マップ画像から識別された、分類されたマーカピクセルを図示する。
上で説明される画像区分化システム200は、細胞、特に、3D媒体内で成長させられた癌性細胞の群を含む、生物学的サンプルの画像内のスフェロイドを区分化および識別するために使用され得る。画像区分化システム20は、特定の組織タイプの小細胞群等の「オルガノイド」を区分化および識別するためにも使用され得る。そのようなオルガノイドは、この技法を使用して、個々の細胞を識別せずに識別され得る。システム200は、連続して使用され得、例えば、最初に、スフェロイドを識別し、次いで、各スフェロイドに属する細胞を識別し、各スフェロイド測定値を備えている細胞の集団の測定値を得る。スフェロイドを備えている各細胞に関連付けられた測定値も、このように展開され得る。
ハードウェアおよび/またはソフトウェアの任意の組み合わせが、本明細書に説明される画像区分化システムを実装するために使用され得ることが、当業者に明白であろう。図1−8に関して説明されるプロセス、サブプロセス、およびプロセスステップのうちの1つ以上のものは、1つ以上の電子またはデジタル制御式デバイス上でハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合わせによって行われ得ることを理解および認識されたい。ソフトウェアは、例えば、図1−8に図式的に描写される機能システム、コントローラ、デバイス、構成要素、モジュール、またはサブモジュールのうちの1つ以上のもの等、好適な電子処理構成要素またはシステム内のソフトウェアメモリ(図示せず)内に常駐し得る。ソフトウェアメモリは、論理機能(すなわち、デジタル回路もしくはソースコード等のデジタル形態において、またはアナログ電気、音、もしくはビデオ信号等のアナログ源等のアナログ形態において実装され得る、「論理」)を実装するための実行可能命令の順序付けられたリストを含み得る。命令は、例えば、1つ以上のマイクロプロセッサ、汎用プロセッサ、プロセッサの組み合わせ、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、または特定用途向け集積回路(ASIC)を含む処理モジュールまたはコントローラ(例えば、図3の画像取得モジュール202、粗オブジェクト検出モジュール206、マーカ識別モジュール208、オブジェクト分割モジュール212、測定モジュール220、およびユーザインターフェースモジュール216)内で実行され得る。さらに、概略図は、機能のアーキテクチャまたは物理的レイアウトによって限定されない物理的(ハードウェアおよび/またはソフトウェア)実装を有する機能の論理分割を説明する。本願に説明される例示的システムは、種々の構成で実装され、単一ハードウェア/ソフトウェアユニット内において、または別個のハードウェア/ソフトウェアユニット内において、ハードウェア/ソフトウェア構成要素として動作し得る。
実行可能命令は、電子システムの処理モジュールによって実行されると、電子システムに、命令を実施するように指示するその中に記憶される命令を有するコンピュータプログラム製品として実装され得る。コンピュータプログラム製品は、電子コンピュータベースのシステム、プロセッサを含むシステム、または命令を命令実行システム、装置、もしくはデバイスから選択的にフェッチし、命令を実行し得る他のシステム等の命令実行システム、装置、もしくはデバイスによって、またはそれと関連して使用するための任意の非一過性コンピュータ読み取り可能な記憶媒体内に選択的に具現化され得る。本書の文脈では、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置、もしくはデバイスによって、またはそれと関連して使用するためのプログラムを記憶し得る、任意の非一過性手段である。非一過性コンピュータ読み取り可能な記憶媒体は、選択的に、例えば、電子、磁気、光学、電磁、赤外線、または半導体システム、装置、もしくはデバイスであり得る。非一過性コンピュータ読み取り可能な媒体のより具体的例の非包括的リストとして、1つ以上のワイヤ(電子)を有する電気接続、ポータブルコンピュータディスケット(磁気)、ランダムアクセス、すなわち、揮発性、メモリ(電子)、読み取り専用メモリ(電子)、例えば、フラッシュメモリ(電子)等の消去可能プログラマブル読み取り専用メモリ、例えば、CD−ROM、CD−R、CD−RW(光学)等のコンパクトディスクメモリ、およびデジタル多用途ディスクメモリ、すなわち、DVD(光学)が挙げられる。
本書で使用される信号またはデータの受信および伝送は、2つ以上のシステム、デバイス、構成要素、モジュール、またはサブモジュールが、あるタイプの信号経路を経由して進行する信号を介して、互いに通信可能であることを意味することも理解されたい。信号は、情報、電力、またはエネルギーを第1のシステム、デバイス、構成要素、モジュール、またはサブモジュールから、第1および第2のシステム、デバイス、構成要素、モジュール、またはサブモジュール間の信号経路に沿って、第2のシステム、デバイス、構成要素、モジュール、またはサブモジュールに通信し得る、通信、電力、データ、またはエネルギー信号であり得る。信号経路は、物理、電気、磁気、電磁、電気化学、光学、有線、または無線接続を含み得る。信号経路はまた、第1および第2のシステム、デバイス、構成要素、モジュール、またはサブモジュール間の追加のシステム、デバイス、構成要素、モジュール、またはサブモジュールを含み得る。
(産業上の適用性)
本明細書に引用される刊行物、特許出願、および特許を含む、全ての参考文献は、各参考文献が、個々に、かつ具体的に、参照することによって組み込まれるように示され、全体として本明細書に記載される場合と同程度に、参照することによって本明細書に組み込まれる。
本発明を説明する文脈における(特に、以下の請求項の文脈における)、用語「a」、「an」、「the」、および類似指示対象の使用は、本明細書に別様に示されない限り、または文脈によって明示的に矛盾しない限り、単数形および複数形の両方を網羅すると解釈されたい。本明細書の値の範囲の列挙は、単に、本明細書に別様に示されない限り、範囲内にある各別個の値を個々に言及する簡潔な方法としての役割を果たすために意図され、各別個の値は、本明細書に個々に列挙された場合と同様に、本明細書に組み込まれる。本明細書に説明される全ての方法は、本明細書に別様に示されない限り、または別様に文脈によって明示的に矛盾しない限り、任意の好適な順序で行なわれることができる。本明細書に提供される、任意および全ての実施例または例示的用語(例えば、「such as(等)」)の使用は、単に、本開示をより明瞭にすることを意図し、別様に請求されない限り、本発明の範囲に限定を課すものではない。明細書中のいずれの用語も、本開示の実践に不可欠ないずれの未請求要素も示すものと解釈されるべきではない。
本開示に対する多数の修正は、前述の説明に照らして当業者に明白となるであろう。図示される実施形態は、例示にすぎず、本開示の範囲を限定するものと捉えられるべきではないことを理解されたい。

Claims (20)

  1. 画像を区分化するシステムであって、前記システムは、
    ハイコンテント撮像システムであって、前記ハイコンテント撮像システムは、画像捕捉デバイスを含む、ハイコンテント撮像システムと、
    前記画像捕捉デバイスによって捕捉された画像を受信する画像取得モジュールと、
    粗区分化画像を展開する粗オブジェクト検出モジュールであって、前記粗区分化画像の各ピクセルは、前記捕捉された画像内の対応するピクセルに関連付けられ、オブジェクトピクセルおよび背景ピクセルのうちの1つとして識別される、粗オブジェクト検出モジュールと、
    少なくとも1つのマーカピクセルを前記粗区分化画像のピクセルから選択するマーカ識別モジュールであって、各マーカピクセルは、前記粗区分化画像内の隣接したオブジェクトピクセルの群のうちの1つのピクセルであり、前記1つのピクセルは、前記群の近隣ピクセルに対して背景ピクセルから最も遠い、マーカ識別モジュールと、
    並行して動作する複数のプロセッサを備えているオブジェクト分割モジュールと
    を備え、
    前記オブジェクト分割モジュールは、オブジェクトピクセルに対応する区分化された画像のピクセルをマーカピクセルに関連付け、前記オブジェクトピクセルと前記マーカピクセルとの間の距離ベースのメトリックは、前記オブジェクトピクセルと前記粗区分化画像内の任意の他のマーカピクセルとの間の距離ベースのメトリックより小さい、システム。
  2. マスクされた画像を前記捕捉された画像から生成するヒューマンインターフェースモジュールをさらに備え、前記マスクされた画像のピクセルの色値は、前記区分化された画像内の対応するピクセルが前記マーカピクセルに関連付けられている場合、前記捕捉された画像の対応するピクセルの色値と同じである、請求項1に記載のシステム。
  3. 前記マーカピクセルに関連付けられている前記区分化された画像内のピクセルに従って統計を計算する測定モジュールをさらに備えている、請求項1に記載のシステム。
  4. 前記マーカ識別モジュールは、距離マップ画像を算出する並行して動作する複数のプロセッサを備え、前記距離マップ画像の各ピクセルに関連付けられた値は、そのようなピクセルと背景ピクセルとの間の距離を表す、請求項1に記載のシステム。
  5. 前記捕捉された画像は、一連の捕捉された画像のうちの1つであり、前記ハイコンテント撮像システムにおける焦点距離は、前記一連の捕捉された画像うちの連続画像間で変化させられる、請求項4に記載のシステム。
  6. 前記距離マップ画像の各ピクセルの前記値は、前記一連の捕捉された画像によって表される3次元のうちのいずれかに沿ったそのようなピクセルと背景ピクセルとの間の距離を表す、請求項5に記載のシステム。
  7. 前記一連の捕捉された画像間のピクセル分解能は、各捕捉された画像のピクセル分解能と異なり、前記距離は、そのような分解能の差異に従って計算される、請求項6に記載のシステム。
  8. 前記マーカ識別モジュールは、展開すべき前記距離マップ画像の一部を前記複数のプロセッサの各々に割り当てる、請求項4に記載のシステム。
  9. 前記オブジェクト分割モジュールは、プロセッサを備え、前記プロセッサは、展開すべき前記区分化された画像の一部を各プロセッサに割り当てる、請求項1に記載のシステム。
  10. 前記マーカ識別モジュールは、隣接したオブジェクトピクセルの群に関連付けられた複数の候補マーカピクセルを選択し、前記候補マーカピクセルのうちの1つをマーカピクセルとして選択する、請求項1に記載のシステム。
  11. 画像を区分化する方法であって、前記方法は、
    ハイコンテント撮像システムの画像捕捉デバイスを用いて前記画像を捕捉することと、
    粗区分化画像を展開することであって、前記粗区分化画像の各ピクセルは、前記捕捉された画像内の対応するピクセルに関連付けられ、オブジェクトピクセルおよび背景ピクセルのうちの1つとして識別される、ことと、
    少なくとも1つのマーカピクセルを前記粗区分化画像のピクセルから選択することであって、各マーカピクセルは、前記粗区分化画像内の隣接したオブジェクトピクセルの群のうちの1つのピクセルであり、前記1つのピクセルは、前記群の近隣ピクセルに対して背景ピクセルから最も遠い、ことと、
    複数のプロセッサを並行して動作させ、オブジェクトピクセルに対応する区分化された画像の各オブジェクトピクセルをマーカピクセルに関連付けることと
    を含み、
    前記オブジェクトピクセルと前記マーカピクセルとの間の距離ベースのメトリックは、前記オブジェクトピクセルと前記粗区分化画像内の任意の他のマーカピクセルとの間の距離ベースのメトリックより小さい、方法。
  12. マスクされた画像を前記捕捉された画像から生成するさらなるステップを含み、前記マスクされた画像のピクセルの色値は、前記区分化された画像内の対応するピクセルが前記マーカピクセルに関連付けられている場合、前記捕捉された画像の対応するピクセルの色値と同じである、請求項11に記載の方法。
  13. 前記マーカピクセルに関連付けられる前記分化された画像内のピクセルに従って統計を計算するさらなるステップを含む、請求項11に記載の方法。
  14. 離マップ画像を算出するように、第2の複数のプロセッサを並行して動作させるさらなるステップを含む、請求項11に記載の方法。
  15. 前記捕捉された画像は、一連の捕捉された画像のうちの1つであり、前記ハイコンテント撮像システムにおける焦点距離は、前記一連の捕捉された画像うちの連続画像間で変化させられる、請求項14に記載の方法。
  16. 前記距離マップ画像の各ピクセルの値は、前記一連の捕捉された画像によって表される3次元のうちのいずれかに沿ったそのようなピクセルとオブジェクト境界との間の距離を表す、請求項15に記載の方法。
  17. 前記第2の複数のプロセッサを動作させることは、前記距離マップ画像の一部を前記第2の複数のプロセッサの各々に割り当て、算出することをさらに含む、請求項14に記載の方法。
  18. 前記一連の捕捉された画像間のピクセル分解能は、各捕捉された画像のピクセル分解能と異なり、前記距離は、そのような分解能の差異に従って計算される、請求項17に記載の方法。
  19. 前記数のプロセッサを動作させることは、展開すべき前記分化された画像の一部を各プロセッサに割り当てることを含む、請求項11に記載の方法。
  20. 少なくとも1つのマーカピクセルを選択することは、複数の候補ピクセルを選択することを含み、前記少なくとも1つのマーカピクセルは、前記複数の候補ピクセルから選択される、請求項11に記載の方法。

JP2018537861A 2016-01-21 2017-01-17 3次元顕微鏡画像の区分化のためのシステムおよび方法 Active JP6859355B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/003,302 2016-01-21
US15/003,302 US9754378B2 (en) 2016-01-21 2016-01-21 System and method for segmentation of three-dimensional microscope images
PCT/US2017/013715 WO2017127345A1 (en) 2016-01-21 2017-01-17 System and method for segmentation of three-dimensional microscope images

Publications (2)

Publication Number Publication Date
JP2019503012A JP2019503012A (ja) 2019-01-31
JP6859355B2 true JP6859355B2 (ja) 2021-04-14

Family

ID=59359572

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018537861A Active JP6859355B2 (ja) 2016-01-21 2017-01-17 3次元顕微鏡画像の区分化のためのシステムおよび方法

Country Status (5)

Country Link
US (3) US9754378B2 (ja)
EP (1) EP3411743B1 (ja)
JP (1) JP6859355B2 (ja)
CN (2) CN108475429B (ja)
WO (1) WO2017127345A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9754378B2 (en) * 2016-01-21 2017-09-05 Molecular Devices, Llc System and method for segmentation of three-dimensional microscope images
US9928403B2 (en) * 2016-02-09 2018-03-27 Molecular Devices, Llc System and method for image analysis of multi-dimensional data
EP3205254B1 (en) * 2016-02-15 2020-11-18 Leica Instruments (Singapore) Pte. Ltd. Medical inspection apparatus, such as a microscope or endoscope, using pseudocolors
US10869644B2 (en) * 2016-07-30 2020-12-22 Shanghai United Imaging Healthcare Co., Ltd. Method and system for extracting lower limb vasculature
EP4068203A1 (en) * 2017-05-09 2022-10-05 HeartFlow, Inc. Systems and methods for anatomic structure segmentation in image analysis
US11443426B2 (en) * 2018-01-18 2022-09-13 Nantomics, Llc Real-time whole slide pathology image cell counting
US11314994B2 (en) * 2018-01-30 2022-04-26 Riken Mask structure optimization device, mask structure optimization method, and program

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7580556B2 (en) * 2004-01-26 2009-08-25 Drvision Technologies Llc Image region partitioning using pre-labeled regions
US7697755B2 (en) * 2004-09-29 2010-04-13 Drvision Technologies Llc Method for robust analysis of biological activity in microscopy images
US20060127881A1 (en) 2004-10-25 2006-06-15 Brigham And Women's Hospital Automated segmentation, classification, and tracking of cell nuclei in time-lapse microscopy
US7689038B2 (en) * 2005-01-10 2010-03-30 Cytyc Corporation Method for improved image segmentation
US7796815B2 (en) * 2005-06-10 2010-09-14 The Cleveland Clinic Foundation Image analysis of biological objects
US7466872B2 (en) * 2005-06-20 2008-12-16 Drvision Technologies Llc Object based boundary refinement method
US7936922B2 (en) 2006-11-22 2011-05-03 Adobe Systems Incorporated Method and apparatus for segmenting images
US8107711B2 (en) * 2008-05-12 2012-01-31 Vala Sciences, Inc. User interface method and system for management and control of automated image processing in high content screening or high throughput screening
US8488863B2 (en) * 2008-11-06 2013-07-16 Los Alamos National Security, Llc Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials
US8885926B2 (en) * 2009-04-15 2014-11-11 Massachusetts Institute Of Technology Image and data segmentation
CN101847263B (zh) * 2010-06-04 2012-02-08 西安电子科技大学 基于多目标免疫聚类集成的无监督图像分割方法
US8472718B2 (en) 2011-04-27 2013-06-25 Sony Corporation Superpixel segmentation methods and systems
CN103136722B (zh) * 2011-11-25 2016-06-29 北京大学 一种基于色域分析的图像分割方法及系统
CA2884167C (en) 2012-09-13 2020-05-12 The Regents Of The University Of California System and method for automated detection of lung nodules in medical images
TWI496112B (zh) 2013-09-13 2015-08-11 Univ Nat Cheng Kung 細胞影像分割方法以及核質比評估方法
CN104266955A (zh) * 2014-09-02 2015-01-07 上海凯度机电科技有限公司 高内涵图像流式生物显微分析系统
US9754378B2 (en) * 2016-01-21 2017-09-05 Molecular Devices, Llc System and method for segmentation of three-dimensional microscope images

Also Published As

Publication number Publication date
US20170213344A1 (en) 2017-07-27
US20180012362A1 (en) 2018-01-11
EP3411743A4 (en) 2019-09-11
CN114663446A (zh) 2022-06-24
CN108475429B (zh) 2022-04-12
EP3411743A1 (en) 2018-12-12
US10007997B2 (en) 2018-06-26
US9754378B2 (en) 2017-09-05
EP3411743B1 (en) 2023-08-16
WO2017127345A1 (en) 2017-07-27
CN108475429A (zh) 2018-08-31
US10169878B2 (en) 2019-01-01
JP2019503012A (ja) 2019-01-31
US20180276827A1 (en) 2018-09-27

Similar Documents

Publication Publication Date Title
JP6859355B2 (ja) 3次元顕微鏡画像の区分化のためのシステムおよび方法
US10540771B2 (en) System and method for image segmentation
Pham et al. An image segmentation approach for fruit defect detection using k-means clustering and graph-based algorithm
CN112614119B (zh) 医学图像感兴趣区域可视化方法、装置、存储介质和设备
CN112689756A (zh) 用于生物样品的无标记识别和分类的系统和方法
JP6300723B2 (ja) 並行処理のために顕微鏡画像を区画化するシステムおよび方法
CN113574534A (zh) 使用基于距离的相似性标签的机器学习
US11645752B2 (en) Image analysis system and method of using the image analysis system
US11334743B2 (en) System and method for image analysis of multi-dimensional data
WO2017150194A1 (ja) 画像処理装置、画像処理方法及びプログラム
EP3140778B1 (en) Method and apparatus for image scoring and analysis
CN116324879A (zh) 用于开发成像配置以优化显微镜系统的性能的方法和系统
Scherzinger et al. Automated segmentation of immunostained cell nuclei in 3D ultramicroscopy images
EP4220573A1 (en) Multi-resolution segmentation for gigapixel images
CN118570045A (zh) 荧光显微镜中基于寿命的解混的处理器
Satou et al. Automatic analysis for neuron by confocal laser scanning microscope

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210325

R150 Certificate of patent or registration of utility model

Ref document number: 6859355

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250