JP7075126B2 - 画像ベースの細胞分取システムおよび方法 - Google Patents

画像ベースの細胞分取システムおよび方法 Download PDF

Info

Publication number
JP7075126B2
JP7075126B2 JP2018564303A JP2018564303A JP7075126B2 JP 7075126 B2 JP7075126 B2 JP 7075126B2 JP 2018564303 A JP2018564303 A JP 2018564303A JP 2018564303 A JP2018564303 A JP 2018564303A JP 7075126 B2 JP7075126 B2 JP 7075126B2
Authority
JP
Japan
Prior art keywords
cell
image
cells
data
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018564303A
Other languages
English (en)
Other versions
JP2019526783A (ja
Inventor
ユ-ホァ ロー,
ユアンユアン ハン,
イー グー,
ツェ ジャン,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of California
Original Assignee
University of California
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of California filed Critical University of California
Publication of JP2019526783A publication Critical patent/JP2019526783A/ja
Priority to JP2022076473A priority Critical patent/JP2022106909A/ja
Application granted granted Critical
Publication of JP7075126B2 publication Critical patent/JP7075126B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G01N15/1433
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0229Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using masks, aperture plates, spatial light modulators or spatial filters, e.g. reflective filters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/30Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36Investigating two or more bands of a spectrum by separate detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/44Raman spectrometry; Scattering spectrometry ; Fluorescence spectrometry
    • G01J3/4406Fluorescence spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Electro-optical investigation, e.g. flow cytometers
    • G01N15/1429Electro-optical investigation, e.g. flow cytometers using an analyser being characterised by its signal processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Electro-optical investigation, e.g. flow cytometers
    • G01N15/1468Electro-optical investigation, e.g. flow cytometers with spatial resolution of the texture or inner structure of the particle
    • G01N15/147Electro-optical investigation, e.g. flow cytometers with spatial resolution of the texture or inner structure of the particle the analysis being performed on a sample stream
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Electro-optical investigation, e.g. flow cytometers
    • G01N15/1484Electro-optical investigation, e.g. flow cytometers microstructural devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G01N15/149
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1006Investigating individual particles for cytology
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Electro-optical investigation, e.g. flow cytometers
    • G01N2015/1402Data analysis by thresholding or gating operations performed on the acquired signals or stored data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Electro-optical investigation, e.g. flow cytometers
    • G01N2015/1497Particle shape
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Description

連邦政府による資金提供を受けた研究または開発に関する陳述
本発明は、国立衛生研究所(NIH)によって授与された助成金第1R43DA042636-01号の下で政府の支援を受けてなされた。政府は本発明に対して一定の権利を有する。
関連出願の相互参照
本特許文書は、2016年6月10日に出願された「FLOW CYTOMETER WITH IMAGE-BASED CELL SORTING」と題された米国仮特許出願第62/348,511号の優先権および恩恵を主張する。前述の特許出願の全内容は、本特許文書の開示の一部として参照により組み込まれる。
本特許文書は、フローサイトメトリー装置および技法、ならびに化学的または生物学的試験および診断測定における応用を含む、流体中の粒子分取のためのシステム、装置、および技法に関する。
フローサイトメトリーは、生細胞などの粒子が流体を貫流する際にそれらを検出および分析するための技法である。例えば、フローサイトメーター装置を使用して、細胞および/または生化学分子もしくは分子クラスターの物理的および生化学的特性を、それらが連続的にインテロゲーションされる際のそれらの光学的、電気的、音響的および/または磁気的応答に基づいて特徴付けることができる。典型的には、フローサイトメトリーは粒子をインテロゲーションするために外部光源を使用し、そこから前方散乱、側方散乱、および蛍光などの入力光と粒子との間の1つ以上の相互作用によって引き起こされる光信号が検出される。フローサイトメトリーによって測定される特性としては、粒子の相対サイズ、粒度、および/または蛍光強度が挙げられる。
単一細胞レベルでの細胞分取を含む細胞分取は、研究者および臨床医が例えば幹細胞、循環腫瘍細胞、および希少細菌種などの特定の細胞の研究および精製により大きな関心を寄せるにつれて、フローサイトメトリーの分野において重要な特徴となっている。細胞分取は様々な技法によって達成することができる。
フローサイトメトリー装置およびシステムは、研究用アッセイおよび診断用ならびに臨床応用用のマイクロ流体技術に基づいて実装することができる。マイクロ流体装置は、比較的小さい寸法、例えばサブミリメートル範囲の寸法を有する流路を介して非常に少量の流体(例えばnL、pL、およびfLなど)の挙動を制御することができる機器である。マイクロ流体装置は、分子拡散値、化学結合係数、pH値、流体粘度、分子反応動態などを含む様々な分析測定値を得るために実装することができる。マイクロ流体装置は、生物学的試料を検出、分離、および分析するためにマイクロチップ上に構築することができ、これはラボオンチップとも呼ばれる。例えば、マイクロ流体装置は、病気を診断するために細胞または細胞部分を含む生物学的流体または溶液を使用してもよい。例えば、マイクロ流体フローサイトメーターのマイクロ流体流路の内側では、細胞、ビーズ、および高分子を含む粒子を、フローサイトメトリー技法を使用してそれらの光学的、電気的、音響的、および/または磁気的応答に従ってインテロゲーションすることができる。
本特許文書に開示される技術は、フローシステムにおいて粒子の画像を生成するための方法、装置、およびシステムを提供するために実装することができる。特定の構成では、開示される技術は、粒子をリアルタイムで撮像し、その後細胞を含む粒子を画像からの空間情報に基づいて分取するために使用することができる。開示される技法は、フローサイトメーターにおける細胞画像の生成および細胞の分取に適用することができる。応用において、開示される技術は、蛍光の空間分布などの空間情報を考慮に入れることによって、蛍光強度および/または散乱強度に基づいて細胞を検出および分取するために使用することができる。
実装において、例えば、開示されるシステムは、フローサイトメーターの高いスループットおよび撮像サイトメーターの高い空間分解能を有し、細胞画像は、例えば単なる検出事象ではなく細胞の物理的および/または生理学的特性に基づいて、フローシステムにおけるリアルタイム細胞分取に対応するために十分速い速度で生成される。
いくつかの態様では、画像ベースの粒子分取システムは、基板と、基板上に形成された流路であって、細胞を流れ方向に沿って流路の第1の領域に流すように動作可能な流路と、流路内の第1の領域に近接した第2の領域で流路から分岐する2つ以上の出力経路とを含むように構築された粒子流装置と;粒子流装置とインターフェース接続し、細胞が流路を貫流する間に第1の領域内にあるときに細胞に関連する画像データを取得するように動作可能である撮像システムと;撮像システムと通信するデータ処理および制御ユニットであって、データ処理および制御ユニットは、撮像システムによって取得された画像データを処理して処理された画像データから細胞に関連する1つ以上の特性を判定し、判定された1つ以上の特性と分取基準との比較に基づいて制御コマンドを生成するように構成されたプロセッサを含み、制御コマンドは、細胞が流路内を流れる間に生成され、細胞に対応する画像信号データから確認された1つ以上の細胞属性に基づいて決定された分取決定を示す、データ処理および制御ユニットと;粒子流装置に作動的に連結され、アクチュエータと通信するアクチュエータであって、細胞を制御コマンドに基づいて2つ以上の出力経路のうちの1つの出力経路に方向付けるように動作可能な、アクチュエータと、を含み、システムは、撮像システムによる画像取り込みの第1の時間からアクチュエータによる粒子方向付けの第2の時間までの15ms以下の時間枠内で細胞の各々を流路内を流れる間に分取するように動作可能である。
いくつかの態様では、画像ベースの粒子分取方法は、粒子流装置の流路を貫流する細胞の画像信号データを取得することと、画像信号データを処理して細胞の画像を表す画像データセットを生成することと、生成された画像データセットを分析して、処理された画像データから細胞の1つ以上の特性を識別することと、細胞の1つ以上の識別された特性を分取基準で評価して、粒子流装置内の細胞流中の細胞に対応する画像信号データから確認された1つ以上の細胞属性に基づいて細胞を分取する制御コマンドを生成することと、制御コマンドに基づいて粒子流装置の複数の出力経路のうちの1つに細胞を方向付けることと、を含む。
いくつかの態様では、画像ベースの粒子分取システムは、基板と、基板上に形成された流路であって、粒子を流れ方向に沿って流路の第1の領域に流すように動作可能な流路と、流路内の第1の領域に近接した第2の領域で流路から分岐する2つ以上の出力経路とを含むように構築された粒子流装置と;粒子流装置とインターフェース接続し、粒子が流路を貫流する間に第1の領域内にあるときに粒子に関連する画像データを取得するように動作可能である撮像システムと;撮像システムと通信するデータ処理および制御ユニットであって、データ処理および制御ユニットは、撮像システムによって取得された画像データを処理して処理された画像データから粒子に関連する1つ以上の特性を判定し、判定された1つ以上の特性と分取基準との比較に基づいて制御コマンドを生成するように構成されたプロセッサを含む、データ処理および制御ユニットと;粒子流装置に作動的に連結され、アクチュエータと通信するアクチュエータであって、粒子を制御コマンドに基づいて2つ以上の出力経路のうちの1つの出力経路に方向付けるように動作可能な、アクチュエータと、を含み、システムは、撮像システムによる画像取り込みの第1の時間からアクチュエータによる粒子方向付けの第2の時間までの15ms以下の時間枠内で粒子の各々を流路内を流れる間に分取するように動作可能である。
いくつかの態様では、粒子の画像ベースの分取方法は、粒子流装置の流路を貫流する粒子の画像信号データを取得することと、画像信号データを処理して粒子の画像を表す画像データセットを生成することと、生成された画像データセットを分析して、処理された画像データから粒子の1つ以上の特性を識別することと、1つ以上の識別された特性を分取基準で評価することによって制御コマンドを生成することと、制御コマンドに基づいて粒子流装置の複数の出力経路のうちの1つに粒子を方向付けることと、を含む。
開示される技術ならびにその実装および応用の上記および他の態様は、図面、明細書、および特許請求の範囲においてより詳細に説明する。
開示される技術による画像ベースの粒子分取システムの例示的な実施形態の図を示す。 開示される技術による画像ベースの粒子分取システムのデータ処理および制御ユニットの例示的な実施形態のブロック図を示す。 開示される技術による画像ベースの細胞分取マイクロ流体システムの例示的な実施形態の図を示す。 開示される技術による画像ベースの細胞分取マイクロ流体システムの例示的な実施形態の図を示す。 開示される技術による画像ベースの細胞分取マイクロ流体システムの例示的な実施形態の図を示す。 開示される技術による画像ベースの粒子分取技法のための細胞画像を生成するためにPMT信号から取り込まれ処理された例示的な画像データを示す。 開示される技術による画像ベースの粒子分取技法のための細胞画像を生成するためにPMT信号から取り込まれ処理された例示的な画像データを示す。 本技術による画像ベースの粒子分取方法のプロセスの例示的な実施形態の図を示す。 本技術による画像ベースの粒子分取方法のプロセスの例示的な実施形態の図を示す。 本技術による画像ベースの粒子分取方法のプロセスの例示的な実施形態の図を示す。 本技術による例示的なシステムの照射エリアを通過する単一細胞に関連する時間領域PMT信号の処理に基づく例示的な細胞検出プロセスの実装を描いた輝度-時間プロットを示す。 画像ベースの細胞分取のために検出された細胞の識別された特徴(複数可)を判定するためのプロセスの例示的な実装の図を示す。 本技術による例示的な画像再構成技法の実装の結果を描いたデータプロットを示す。 例示的な画像再構成に基づいて細胞の蛍光強度信号を描いたデータプロットを示す。 細胞の再構成画像の例を示す。 トランスフェクトされたが薬剤処理されていない細胞およびトランスフェクトされ薬剤処理された細胞の例示的な蛍光顕微鏡画像を示す。 トランスフェクトされたが薬剤処理されていない細胞およびトランスフェクトされ薬剤処理された細胞の例示的な蛍光顕微鏡画像を示す。 トランスフェクトされたが薬物処理されていない細胞およびトランスフェクトされ薬物処理された細胞の画像ベースのセルソータシステムによって撮影された例示的な蛍光細胞画像を示す。 トランスフェクトされたが薬物処理されていない細胞およびトランスフェクトされ薬物処理された細胞の画像ベースのセルソータシステムによって撮影された例示的な蛍光細胞画像を示す。 例示的な実装からの、全てのイベントおよび分取された細胞の例示的な計算された蛍光面積のヒストグラムを示す。 開示される技術による画像ベースの細胞分取マイクロ流体システムの例示的な実施形態の図を示す。 図11に示すシステムを使用した例示的な画像処理の実装の流れ図を示す。 図12に示す例示的な画像処理ステップによる例示的なデータを描いた流れ図を示す。 細胞形態パラメータなどの抽出されたパラメータを評価するための例示的な受信者動作特性(ROC)技法を使用してサブセットの例示的な分布プロットを示す。 それぞれ、例示的なシステムによって取り込まれ、開示される技術による例示的な画像再構成技法によって再構成された、非転位細胞および転位細胞の細胞画像を示す。 それぞれ、例示的なシステムによって取り込まれ、開示される技術による例示的な画像再構成技法によって再構成された、非転位細胞および転位細胞の細胞画像を示す。 細胞分取基準の実装について、2組の細胞の分離を呈する超平面の例を示す。 それぞれ、顕微鏡を介して、例示的なシステムによって取り込まれた非転位細胞および転位細胞の細胞画像を示す。 それぞれ、顕微鏡を介して、例示的なシステムによって取り込まれた非転位細胞および転位細胞の細胞画像を示す。 それぞれ、例示的なシステムによって取り込まれ、開示される技術による例示的な画像再構成技法によって再構成された、G1相細胞およびG2/M相細胞の細胞画像を示す。 それぞれ、例示的なシステムによって取り込まれ、開示される技術による例示的な画像再構成技法によって再構成された、G1相細胞およびG2/M相細胞の細胞画像を示す。 細胞分取基準の実装について、2組の細胞の分離を呈する超平面の例を示す。 それぞれ、例示的なシステムによって取り込まれ、開示される技術による例示的な画像再構成技法によって再構成された、G1相細胞およびG2/M細胞の細胞画像を示す。 それぞれ、例示的なシステムによって取り込まれ、開示される技術による例示的な画像再構成技法によって再構成された、G1相細胞およびG2/M細胞の細胞画像を示す。 図11に示されるシステムによって実装される細胞の細胞膜上に結合したビーズの数に基づく分取のための例示的な画像処理の実装の流れ図を示す。 ビーズ数が異なる例示的な画像処理モジュールによって処理されたグレースケール細胞画像の例を示す。 ビーズ数が異なる場合のビーズ画像面積のヒストグラムを示す。
いくつかの既存のフローサイトメーター装置およびシステムは、蛍光の空間分布などの空間情報を考慮することなく、蛍光強度および/または散乱強度に基づいて細胞を検出および分取する。高いスループットおよび高い空間分解能を有するフローサイトメーター用の細胞画像を生成するための技法の開発においていくつかの進歩があった。しかしながら、細胞画像は、例えば細胞画像を生成するのに必要な計算量のために、応用、特にフローシステムにおける細胞分取に有用となるために十分に速い速度で生成されていない。そのため、細胞分取能力に関する既存の現状技術は、「検出専用」システムであり、検出された細胞を有意義かつ繊細な基準に基づいて「スクリーニング」しない。
応用において、開示される技術は、(a)FPGAおよび/またはGPUで実装された数学的アルゴリズムを利用した効率的なデータ処理技法による高速移動細胞のリアルタイム画像取得と、同時の(b)リアルタイム取得画像からの分取基準としての粒子の空間特性に基づく「ゲーティング」技法とを使用して、フローサイトメトリーにおける画像ベースの細胞分取のための方法、システム、および装置の形で具体的な方法で実装することができる。細胞分取の基準として選択されたバイオマーカーの蛍光強度を使用する従来のフローサイトメーターとは異なり、開示される技術による方法、システム、および装置は、空間的特徴を含む様々なユーザ定義のゲーティング基準を可能にする。
画像ベースのゲーティング基準の例としては、細胞輪郭、細胞サイズ、細胞形状、細胞核などの細胞内部構造のサイズおよび形状、蛍光パターン、蛍光色分布などが挙げられる。例えば、ユーザは、分離することを望む細胞を描くことができ、システムは、それに応じて動作する。このような独特の能力により、研究者などのユーザは、サイトゾル、核、または細胞膜ドメインおよびサブドメイン内の特定のタンパク質の局在化によって、多くの重要な生物学的プロセスを追跡することができる。あらゆる細胞集団がゲノムレベル(例えば、突然変異、エピジェネティクス)または環境レベル(例えば、非対称分裂、モルフォゲン勾配)である程度の不均一性を有するので、それらの独特の空間的特徴による単一細胞の識別および抽出は、免疫学、腫瘍の異質性、幹細胞の分化、およびニューロンの分析の分野に大きく貢献すると考えられる。
いくつかの実施形態では、画像ベースの粒子分取システムは、粒子分取アクチュエータと一体化されたフローセルまたはマイクロ流体装置などの粒子流装置と、高速高感度光学撮像システムと、リアルタイム細胞画像処理および分取制御電子システムとを含む。例えば、開示される方法、システム、および装置の目的は、(i)粒子(例えば、細胞)の画像取り込み、(ii)時間領域信号からの画像特徴再構成、および(iii)リアルタイム粒子分取のニーズを満たすために15ms未満のレイテンシ内に粒子分取の決定およびアクチュエータによる分取動作を行うこと、の全プロセスを遂行することである。本明細書で説明されるいくつかの実装では、総レイテンシは8ms未満(例えば7.8ms)であり、いくつかの実装では、総レイテンシは6ms未満(例えば5.8ms)であり、いくつかの実装では、総レイテンシは3.5ms未満(例えば3.3ms)である。細胞分取の実装のために、例えば、開示される方法、システム、および装置は、様々な病気または病原体に関連していることがある細胞周期、タンパク質局在化、遺伝子局在化、DNA損傷、および他の細胞特性に特有の画像特徴によって細胞を撮像、分析、および分取することができる。
図1Aは、本技術による画像ベースの粒子分取システム100の例示的な実施形態の図を示す。システム100は、粒子流装置110と、粒子流装置110とインターフェース接続された撮像システム120と、撮像システム120と通信するデータ処理および制御ユニット130と、データ処理および制御ユニット130と通信するアクチュエータ140とを含み、粒子流装置110に作動的に連結されている。粒子流装置110は、粒子が流れ方向に沿ってインテロゲーションエリア115に流れる流路111を含むように構築されており、インテロゲーションエリア115内の各粒子について画像データが撮像システム120によって取得される。データ処理および制御ユニット130は、画像データを処理し、粒子に関連する1つ以上の特性を判定して粒子の分取のための制御コマンドを生成するように構成されている。制御コマンドは、アクチュエータ140に提供され、アクチュエータ140は、アクチュエータが制御コマンドに対応する出力流路に特定の粒子を分取するように動作するように、装置110の分取エリアで粒子流装置110とインターフェース接続されている。システム100は、リアルタイムでの画像ベースの粒子分取を実装し、粒子は、インテロゲーションエリアにおいて撮像システム120によって撮像され、データ処理および制御ユニット130によって分析された判定された特性に基づいてリアルタイムで分取エリアにおいてアクチュエータ140によって分取される。
システム100は、データ処理および制御ユニット130によってリアルタイムで分析される各個々の粒子が呈する複数の特性のうちの1つ以上に関連付けることができるユーザ定義基準に基づいて各粒子を分取するようにユーザがプログラム可能である。いくつかの例示的なユーザ定義基準としては、個々の粒子の部分特徴もしくは個々の粒子上の部分特徴の量および/もしくはサイズ(例えば、細胞によって貪食されたか、または細胞に付着した粒子を含む、生細胞に付着したサブ粒子)、個々の粒子の形態、ならびに/または個々の粒子のサイズが挙げられるが、これらに限定されない。このようにして、システム100は、細胞の生理学的機能(例えば、細胞による粒子もしくは物質の取り込み、または細胞による粒子の貪食)によって、細胞損傷によって、タンパク質の局在化によって、または他の細胞特性によって分取することを含め、生細胞の特性などの特性によって粒子を評価および分取することができる。
図1Bは、データ処理および制御ユニット130の例示的な実施形態のブロック図を示す。様々な実装では、データ処理および制御ユニット130は、例えばデスクトップもしくはラップトップコンピュータを含む1つ以上のパーソナルコンピューティングデバイス、クラウド内のサーバおよび/もしくはデータベースを含むインターネットを介してアクセス可能なコンピュータシステムもしくは通信ネットワーク内の1つ以上のコンピューティングデバイス(「クラウド」と呼ばれる)、ならびに/またはスマートフォン、タブレット、もしくはスマートウォッチもしくはスマートグラスを含むウェアラブルコンピュータデバイスなどの1つ以上のモバイルコンピューティングデバイス上に具現化される。データ処理および制御ユニット130は、データを処理するためのプロセッサ131と、データを記憶および/またはバッファするためにプロセッサ131と通信するメモリ132とを含む。例えば、プロセッサ131は、中央処理装置(CPU)またはマイクロコントローラユニット(MCU)を含むことができる。いくつかの実装では、プロセス131は、フィールドプログラマブルゲートアレイ(FPGA)またはグラフィック処理装置(GPU)を含むことができる。例えば、メモリ132は、プロセッサ131によって実行されると、例えば情報、コマンド、および/またはデータを受信すること、撮像システム120からなどの情報およびデータを処理すること、ならびに処理された情報/データをアクチュエータ140などの別の装置に送信または提供すること、などの様々な動作を遂行するようにデータ処理および制御ユニット130を構成するプロセッサ実行可能コードを含み、かつ記憶することができる。データ処理および制御ユニット130の様々な機能をサポートするために、メモリ132は、命令、ソフトウェア、値、画像、およびプロセッサ131によって処理または参照される他のデータなどの情報およびデータを記憶することができる。例えば、様々な種類のランダムアクセスメモリ(RAM)デバイス、読み出し専用メモリ(ROM)デバイス、フラッシュメモリデバイス、および他の好適な記憶媒体を使用して、メモリ132の記憶機能を実装することができる。いくつかの実装では、データ処理および制御ユニット130は、プロセッサ131および/またはメモリ132を他のモジュール、ユニット、またはデバイスにインターフェース接続するための入出力(I/O)ユニット133を含む。モバイルコンピューティングデバイス用などのいくつかの実装では、データ処理および制御ユニット130は、例えば送信機(Tx)または送信機/受信機(Tx/Rx)ユニットなどの無線通信ユニットを含む。例えば、このような実施形態では、I/Oユニット133は、例えば、例えばクラウド内の1つ以上のコンピュータとユーザデバイスとの間などの、データ処理および制御ユニット130の他のデバイスとの通信において使用することができる典型的なデータ通信規格と互換性のある様々な種類の無線インターフェースを利用するために、プロセッサ131およびメモリ132を無線通信ユニットとインターフェース接続することができる。データ通信規格としては、ブルートゥース(登録商標)、ブルートゥース(登録商標)低エネルギー(BLE)、ジグビー、IEEE802.11、無線ローカルエリアネットワーク(WLAN)、無線パーソナルエリアネットワーク(WPAN)、無線広域ネットワーク(WWAN)、WiMAX、IEEE802.16(マイクロ波アクセスのための世界規模の相互運用性(WiMAX))、3G/4G/LTEセルラー通信方法、およびパラレルインターフェースが挙げられるが、これらに限定されない。いくつかの実装では、データ処理および制御ユニット130は、I/Oユニット133を介して有線接続を使用して他の装置とインターフェース接続することができる。データ処理および制御ユニット130は、他の外部インターフェース、データ記憶源、および/または視覚的もしくは音声表示装置などとインターフェース接続してデータおよび情報を検索し転送することもでき、データおよび情報は、プロセッサ131によって処理し、メモリ132に記憶し、または表示装置もしくは外部装置の出力ユニット上で呈示することができる。
図2A~図2Cは、画像ベースの粒子分取システム100のいくつかの実施形態による画像ベースの細胞分取マイクロ流体システム200の図を示す。システム200は、分取のために粒子に光学インテロゲーション流路を貫流させるためのマイクロ流体装置210と、インテロゲーション流路の照射エリア内の粒子の画像データを取得するための撮像システム220と、取得した画像データをリアルタイムで処理して分取コマンドを決定するためのデータ処理および制御システム230と、決定した分取コマンドに基づいてマイクロ流体装置210内の粒子をゲーティングするためのアクチュエータ240とを含む。
図2Aおよび図2Cに示すように、マイクロ流体試料流路211を形成する通路を有する基板213と、試料流路211上に収束するマイクロ流体シース流路212とを含むように構築されたマイクロ流体装置210。実装において、例えば、試料流路は、流れ方向に流れる流体中に懸濁した粒子(例えば、細胞)を運ぶように構成され、シース流路212は、マイクロ流体装置210の照射エリア215を貫流する前に流体中の懸濁粒子を流体力学的に集束させるように流体のシース流を提供するように構成される。いくつかの実施形態では、例えば、基板213は、ベース基板、例えばガラスベース基板または他の材料のベース基板に接合された、例えばポリジメチルシロキサン(PDMS)などのバルク材料で形成することができる。
システム200の撮像システム220は、マイクロ流体装置210の照射エリア215に入力光またはプローブ光を提供するための光源221、例えばレーザと、照射エリア215内の照射された粒子の画像を取得するための光学イメージャ222とを含む。例示的な光学イメージャ222は、図2Aに示すように、空間フィルタ(SF)224、吸収フィルタ(EF)225、および光電子増倍管(PMT)226に光結合された対物レンズ223(例えば顕微鏡または他の光学撮像装置の)を含む。いくつかの実装では、例えば、撮像システム220は、マイクロ流体装置210の照射エリア215に入力光を方向付けるための1つ以上の導光素子229を含む。図2Aに示す例では、導光素子229は、照射エリア215に入力光を方向付けるために光源221および光学イメージャ222と共に配置されたダイクロイックミラーを含む。
撮像システム220のいくつかの実装では、光源221(例えば、レーザ)は、粒子による蛍光発光を引き起こすために照射エリア215に入射する蛍光励起信号を生成するように構成される。光学イメージャ222は、粒子の画像を生成することができるように光出力蛍光発光信号を取り込む。
システム200のデータ処理および制御システム230は、撮像した粒子を迅速に処理して撮像された各粒子の処理画像に基づいて分取制御をリアルタイムで行うために、例えばPMTを介して光学イメージャ222と通信するように構成される。データ処理および制御ユニット230のいくつかの実装では、FPGA処理ユニットは、光学イメージャ222によって受信された画像信号データを迅速に処理するように構成される。このような実装の例としては、本技術のデータ処理方法に従ってアルゴリズムを実行するためにNational InstrumentのシャーシCrio-9104を介して提供され得るコンパイラXilinx 10.1と共にVirtex-II(xc2v3000)FPGAプラットフォームが挙げられる。
システム200のアクチュエータ240は、試料流路211のゲートエリア217を流れる粒子にゲートをかけてマイクロ流体装置の2つ以上の出力流路218に入れるように、リアルタイムデータ処理および制御システム230と通信するように構成される。いくつかの実施形態において、例えば、照射エリア215とゲートエリア217との間の距離は、50μm~1mmの範囲内とすることができる。実装では、撮像システム220およびデータ処理および制御システム230が照射エリア215を貫流する間の各粒子の画像を取り込み処理するように動作するように、アクチュエータ240は、リアルタイムでデータ処理および制御システム230から分取コマンドを受信する。その結果、アクチュエータ240は、各粒子に適宜ゲートをかけるための分取コマンドを受信して実行する。例えば、いくつかの実装では、アクチュエータ240は、粒子をゲートエリア217内で粒子方向に移動させて粒子を出力流路218の2つ以上のうちの1つへの軌道に沿って方向付ける偏向を生じさせるように、基板213に連結された圧電アクチュエータを含む。
システム200の実装において、例えば、懸濁した単一細胞は、シース流によってマイクロ流体流路内で流体力学的に集束され、細胞が流体流路の中心を等速度で移動することを保証する。蛍光発光は、図2Aに示す例などの広視野蛍光顕微鏡構成においてPMT226によって検出される。この例では、マイクロ流体装置の幾何学的形状に対応するために、レーザビームは、50倍対物レンズ223の前に配置された小型ダイクロイックミラー(DM)229による52度反射によって光学インテロゲーションに導入される(例えば、NA=0.55、作動距離=13mm)。
図2Bは、撮像システム220の光学イメージャ222のちょうど像面において検出経路内に挿入された空間フィルタ(SF)225の例示的な実施形態を示す。空間フィルタ設計は、離れて配置された複数のスリットを有するパターンを含む。いくつかの実施形態では、例えば、空間フィルタ225は、均一な寸法を有する開口部のパターンを含み、開口部のパターンは、光学イメージャによって受光された光の波形を符号化する。図2Bに示す例では、パターンは、すぐ前後するようなやり方で離れて配置された10個の100μm×50μmのスリットを含む。いくつかの実施形態では、例えば、空間フィルタ225は、マイクロ流体流路を横切る流れ方向に対して異なる長手方向および横方向の寸法を有する開口部のパターンを含み、その結果、マイクロ流体流路211の照射エリア215内の少なくとも2つの次元において粒子位置の光学検出を可能にするように波形が光学イメージャによって符号化される。二次元の空間的に変化する空間フィルタの例は、「マイクロ流体装置における光学的時空間符号化技法」と題した米国特許第9,074,978B2号で提供されており、その全内容は、あらゆる目的のために参照により本明細書に組み込まれる。
図2Aに戻って参照すると、撮像システム220は蛍光信号の検出のためのただ1つのPMTを示しているが、より多くのPMTを光学イメージャ222に追加することができ、必要に応じて多色蛍光細胞画像を生成するためにより多くの励起レーザビームを光源221に追加することができる。
リアルタイムデータ処理および制御システム230は、取り込んだ画像を処理して各粒子について対応する分取コマンドを生成するために、フィールドプログラマブルゲートアレイ(FPGA)を使用して実装された制御ループシステムを含む。データ処理および制御システム230は、システム200による自動化された細胞画像生成および正確な分取を提供するために、FPGAによって実行可能な画像処理および画像ベースの粒子分取アルゴリズムを含む。例えば、FPGAアルゴリズムによって分取決定がなされると、例示的なオンチップ集積圧電ジルコン酸チタン酸鉛(PZT)アクチュエータ240が、分取接合部のノズル構造に流体圧力を加えるように作動される。いくつかの実装では、例示的なPZTアクチュエータ240は、1動作あたり0.1ms以下の時間枠内で分取コマンドに応答して流体変位動作を実行するように構成される。例えば、0.1ms未満でのPZTアクチュエータによる流体変位は、高いスループットを有する単一細胞の流体力学的操作能力を呈する。
開示される技術による装置、システム、および方法の例示的な実施形態で使用することができる粒子流装置および/またはアクチュエータの特徴の他の例は、「流体フローサイトメトリー装置および信号符号化に基づく粒子感知」と題した米国特許第9,134,221B2号で提供されており、その全内容は、あらゆる目的のために参照により本開示の一部として組み込まれる。本発明による装置、システム、および方法の例示的な実施形態で使用することができる光学撮像システムの特徴の他の例は、「時空間変換を使用した撮像フローサイトメトリー」と題され、国際公開第2016/054293A1号として公開されたPCT出願第PCT/US2015/053368号に基づく米国特許法第371条の下での国内段階出願である米国特許出願第15/514,930号で提供されており、その全内容は、あらゆる目的のために参照により本開示の一部として組み込まれる。
図3Aおよび図3Bは、図4に記載の例示的なアルゴリズムを使用して例示的なデータ処理および制御システム230によって処理され、例示的なFPGAによって実行されるPMT信号およびPMT信号から構築された蛍光細胞画像の例示的な結果を示す。図3Aは、CellTrace CFSEで染色したA549細胞からの蛍光の例示的な時間領域PMT出力信号を示す。図3Bは、細胞の実サイズを描いた対応する処理済み(例えば、サイズ変更された)蛍光画像を示す。図中の破線で区分された番号付き領域は、時間領域信号と得られた画像との間の対応関係を実証する。サイズは図3Bにラベル付けされている。
x(横)方向の復元画像の空間分解能は、空間フィルタ上のスリットの数に依存し、y(細胞進行)方向ではサンプリングレートおよび細胞流速に依存する。撮像フローサイトメーター(図3Bに示す)によって復元された原画像では、有効画素サイズは、x方向に2μm、y方向に約0.4μmである。回復された画像は、マイクロ流体流路内の物体平面内の20μm×20μmの面積を表す。
図4Aは、画像ベースの粒子分取のための方法400の例示的な実施形態の図を示す。方法400の実装は、システム200およびシステム1100などの本技術による画像ベースの粒子分取システム100の様々な実施形態によって遂行することができる。
方法400は、撮像システム120によって、例えばインテロゲーションエリア115において粒子流装置110内の流路を貫流する粒子の画像データを取り込むためのプロセス405を含む。例えば、プロセス405は、流路内の粒子流速に基づいてもよい、所定の速度または変動する速度で画像を連続的に取り込むことを含むことができる。いくつかの実装では、プロセス405は、画像処理プロトコルに影響を与えて画像データを取得するために、撮像システム120のコントローラでデータ処理および制御ユニット230から画像取り込みコマンドを受信することを含む。例えば、データ処理および制御ユニット130は、システムのリアルタイム実装において撮像システム120によって実行される画像取り込みプロトコルの1つ以上のパラメータを変更することができる。
画像取り込み速度は、単一粒子のデータ量と関連付けることができる。例えば、システムは、少なくとも部分的に(a)粒子流装置110の粒子流速および(b)電子サンプリングレートに基づいて、例えばどの解像度が所望されるかに基づいて、画像取り込み速度および/または画像取り込みプロトコルの他のパラメータを決定することができ、これは、単一粒子のデータ量を決定するために使用することができる。画像取り込み速度は、データ処理および制御ユニット130ならびに/または撮像システム120のコントローラ(例えばプロセッサ)のデータ記録/計算能力と関連付けることができる。例えば、アナログ-デジタル変換(ADC)が高速であり、大きなメモリが大容量であるほど、画像取り込み速度を増大させることができる。例えばいくつかの実装では空間フィルタからの光出力がアルゴリズムの複雑さの処理に影響を及ぼし得るので、画像取り込みおよび処理パラメータを含む画像取り込みプロトコルは、少なくとも部分的に空間フィルタの設計に基づいて選択することができる。特に、倍率、光学フィルタ、撮像モードなどの光学的要因は、典型的に、画像取り込み速度に対してもしあったとしてもほとんど影響を及ぼさないが、全体的な結果、例えば分取決定または他の分析を決定するために評価される粒子特性の判定、を生成するために処理される入力データを得るために重要である。
方法400は、データ処理および制御ユニット130において、かつ撮像システム120から画像データを受信するためのプロセス410を含み、受信されたデータは、粒子流装置110の流路を流れる撮像システム120によって撮像された粒子と関連している。例えば、プロセス410のいくつかの実装では、データ処理および制御ユニット130は、粒子流装置110上の照射エリア内で撮像された各粒子について、撮像システム120の1つ以上のPMTから時間領域信号データ、例えば光強度を受信する。方法400は、データ(例えば、画像信号データ)を処理して撮像システム120によって撮像された粒子の画像を表す画像データセットを生成するためのプロセス420を含む。例えば、プロセス420のいくつかの実装では、受信された画像信号データは、データをフィルタ処理し、本技術による画像再構成アルゴリズムを使用してフィルタ処理されたデータに基づいて画像を再構成し、かつ/または再構成された画像をサイズ変更することによって前処理され、例えば、再構成された画像は、二値画像データに変換される。方法400は、生成された画像データセットを分析して、所定の基準に基づいて撮像された粒子の1つ以上の特徴を識別し、1つ以上の識別された特徴に基づいて分取コマンドを決定するためのプロセス430を含む。本方法のいくつかの実装では、方法400は、最初に、受信した画像信号データを処理して照射エリア内の粒子の存在を検出し、次いでプロセス420に従ってデータを処理して画像データセットを生成するための処理415を含み、画像データセットは、その後プロセス430に従って分析される。方法400は、分取コマンドをアクチュエータ140に提供するためのプロセス440を含む。方法400は、粒子流装置110の流路の分取エリアを流れる粒子を装置110の対応する出力流路に方向付けるための分取コマンドをアクチュエータ140によって実行するためのプロセス445を含む。例えば、方法400の実装では、撮像システム120ならびにデータ処理および制御システム230は、プロセス405および410、420、430、および440をそれぞれリアルタイムで実施し、その結果、アクチュエータ140は粒子を適宜方向付けるための分取コマンドを受信して実行し、例えば、画像取り込み(プロセス405)から粒子ゲーティングの起動(プロセス445)までの短い期間内に、各粒子が装置110の適切な出力流路に入るようにゲートをかける。例えば、プロセス445のいくつかの実装では、アクチュエータ140は、流体内に流体力学的偏向を生じさせて粒子を所望の軌道に沿って粒子方向に移動させて所望の出力流路に入らせる流動装置110に連結された圧電アクチュエータを含む。
いくつかの実施形態では、データ処理および制御ユニット130は、メモリ132に記憶された、プロセス410、420、430、および/または440を実装するためにプロセッサ131によって実行可能なプロセス410、420、430、および440のうちの1つまたは任意の組み合わせに対応するソフトウェアモジュールを含む。図4Bは、本技術によるシステムの例示的なデータ処理モジュールの図を示す。例えば、データ処理および制御ユニット130は、粒子検出モジュール461、画像処理モジュール463、および分取決定モジュール465を含むことができる。図4Bの例示的な図によって示されるように、粒子検出モジュール461によって実行可能なアルゴリズムを実装することによって粒子(例えば、細胞)が検出されると、データ処理および制御ユニット130は、粒子(例えば細胞)が検出された場合は画像処理モジュール463の実装に進む。さもなければ、データ処理および制御ユニット130は、戻って例えばPMT読み出しを介して画像を記録し続ける。例えば画像処理モジュール463によって遂行される、細胞画像からパラメータを抽出し、それらの値を事前に定義する分取基準と比較することによって、分取決定モジュール465は、アクチュエータ140をトリガするか否かを決定するために実装される。いくつかの実施形態では、データ処理および制御ユニット130は、プロセス405を実装するように撮像システム120を少なくとも部分的に制御する画像記録モジュール467を含み、これは、例えば撮像システムの画像取り込みプロトコルまたは設定を開始および/または適応させることを含み得る。例えば、イメージャ222を有するなどのいくつかの実装では、画像記録モジュール467は、PMT読み出しの記録をある長さに制御するように動作可能である。
いくつかの実装では、粒子特性(例えば、細胞特性)に関連するパラメータは、抽出されるべきパラメータ(複数可)の種類に基づいて抽出される。例えば、異なる形態パラメータについて、細胞形態特性に関連するパラメータを抽出するためのプロセスは、以下の技法のうちの少なくともいくつかを含みことができる。このプロセスは、例えば、二値画像内の値「1」を有する画素数を決定することを含む、画像面積を分析することを含むことができる。画素数は画像面積である。このプロセスは、例えば、画像の輪郭が検出される際に、画像の輪郭上の画素数を決定することを含む、周囲長を分析することを含むことができる。このプロセスは、例えば(例えば二値画像内で)x方向を表す各行の「1」の画素数を決定することを含む、x方向の直径を分析することを含むことができる。例えば、最大計数は、x方向の直径として決定することができる。このプロセスは、例えば(例えば二値画像内で)y方向を表す各列の「1」の画素数を決定することを含む、y方向の直径を分析することを含むことができる。例えば、最大計数は、y方向の直径として決定することができる。
図4Cは、画像ベースの細胞分取のために細胞を検出するためのプロセス430の例示的な実装、例えば粒子検出モジュール461の実装、の図を示す。いくつかの実装では、例えば、粒子検出モジュール461は、事前設定された閾値より大きい積分蛍光強度(本明細書で「輝度」と呼ばれる)を有する時間領域PMT信号の部分を探索する。例えば、いくつかの実施態様では、粒子分取および画像処理アルゴリズムが連続する毎500データポイントを統合して輝度値を取得するように、フローセルまたはマイクロ流体装置内の細胞移動速度は0.08m/sであり、200kHzのサンプリングレートが使用される。輝度が第1の事前設定された閾値、例えば閾値1より大きい時はいつでも、これは、細胞が像平面内の光学系の視野に入っていることを意味する。アルゴリズムは、輝度の時間微分を決定し、輝度の時間微分は、次いで第2の事前設定された閾値、例えば閾値2と比較される。時間微分が閾値2より小さい場合、アルゴリズムは、細胞が十分に視野内にあると見なし、例示的なプロセス430は、引き続いて、検出された細胞の識別された特徴(複数可)を判定し、その結果として例えば画像処理モジュール463の実装が開始される。
図4Dは、システムの照射エリアを通過する単一細胞に関連する時間領域PMT信号の処理に基づく例示的な細胞検出プロセスの実装を描いた輝度-時間プロットを示す。プロットに示されるように、細胞は、1.176sのタイムマーカー直後の閾値(例えば、輝度≧1.0)に基づいて撮像エリア(例えば、インテロゲーションエリア115)に入ったと検出され、システムは、細胞が、1.179sのタイムマーカー後の閾値(例えば、輝度≦1.0)に基づいて撮像エリアから出たと検出されるまで、画像信号データを取り込む。
図5Aは、画像ベースの細胞分取のために検出された細胞の識別された特徴(複数可)を判定するためのプロセス430の例示的な実装、例えば画像処理モジュール463の実装、の図を示す。図5Aに示す例では、プロセス420は、プロセス430のいくつかの側面の後、例えば特に画像信号データを分析して細胞が検出されたかどうかを判定した後に実装される。例えば、図5Aに示すようないくつかの実装では、受信した画像信号データを部分的に分析してセルの存在を判定した後、画像処理モジュール463は、フィルタ処理または他の信号処理技法を含む画像信号データ(例えば時間領域PMT信号)を前処理する。例えば、いくつかの実装では、受信された画像信号データは、高周波ノイズを除去するためにローパスフィルタ処理される。いくつかの例では、ローパスフィルタ処理のための10次ハミング窓が使用され、これは、適用可能な特定のローパスフィルタの一例である。プロセス画像モジュール463は、時間領域信号を細胞の蛍光の二次元空間分布を表す画像に変換するために、(例えば、式(1)を含む、本明細書で説明される例示的なアルゴリズムに基づく)画像再構成技法を含むプロセス420の他の特徴を実装することができる。その後、再構成された細胞画像は、忠実性の目的のためにサイズ変更され、二値画像に変換される。二値画像の場合、例えば、スプリアスノイズを除去するために任意選択のオープンフィルタ技法が適用され、オープンフィルタが適用された後に画像処理モジュール463が1つ以上の細胞特徴を検出する(例えば細胞壁または膜検出)。いくつかの実装では、細胞特徴(複数可)が検出された後にオープンフィルタを適用することができる。画像処理モジュール463は、細胞形態などの、細胞の側面を記述する検出された細胞特徴に基づいてパラメータを抽出し、これは、その後の分取コマンド(例えば、ゲート処理コマンド)の決定のために、ユーザの事前設定された分取基準からの値と比較することができる。
システム200を使用する方法400の例示的な実装を、画像ベースの細胞分取を実証する例示的な研究に関して、以下に説明する。例示的な研究において、撮像システム220は、コリメートされ、集束され、次いでマイクロ流体装置210上の照射エリア215から100μm(x方向)×250μm(y方向)の面積を照射するように拡大される、楕円形ビーム形状を有しガウスエネルギー分布を有する100mWの488nmレーザ(例えば、iBeam-SMART、Toptica)を含んでいた。500nmのカットオフ波長を有する小型ダイクロイックミラー(例えば、ThorLabs)を通過する蛍光および散乱光を、50倍、0.55NA対物レンズ(例えば、Mituyoyo)を介して集光した。各チャンネルの光強度信号は、PMT(例えば、H9307-02、浜松)によって獲得された。
例えば、画像処理モジュール463によって実装された画像再構成技法を、以下で数学的に定式化することができる画像データの空間-時間変換のために使用した。
Figure 0007075126000001
式中、S(t)は測定されたPMT信号、Cellは二次元の細胞の蛍光または散乱強度プロファイル、F(x、y)は空間フィルタの特性関数、I(x、y)はレーザ照射の強度プロファイルであり、yは細胞進行方向に沿っており、xは横方向に沿っており、Mはフローサイトメーターに属する光学系の倍率である。細胞がマイクロ流体流路内を速度vで移動すると、空間フィルタ上に投影された画像、例えば図2Bに示す例示的なSF224は、Mvの有効速度で移動する。式(1)において、原理を説明しCellを解くための最も簡単な場合では、F(x,y)は、近似的に式(2)で表される一連の小さいスリット(例えば100μm×50μmの長方形スリット)となるように、I(x,y)は、均一強度のレーザビームから一定になるように(すなわちトップハット型ビームプロファイル)、選択することができる。
Figure 0007075126000002
式中、x=1,2,…,Nは空間フィルタの行数、Lは蛍光を透過する2つのスリット間の距離である。その結果、例えば、細胞画像は以下の関係から構築することができる。
Figure 0007075126000003
画像処理モジュール463によって実装することができる例示的な画像再構成技法は、例えば、流れる細胞について2つの変数、すなわち各ピークにおけるサンプリング点の数、および時間領域画像信号データ(例えば、PMT信号)の開始点、を判定することを含む。例えば、細胞は完全に等速度で移動してはいないので、各ピークのサンプリング点の数はわずかに変動する。また細胞移動速度および画像面積内の細胞位置はわずかに変動するので(例えば、例示的な空間フィルタに基づいて設定された20μm×20μmの画像面積)、時間領域PMT読み出しの開始点も変動する。例示的な画像再構成技法では、mはPMT読み出しの開始点と呼ばれ、nは各ピーク内の点の数と呼ばれる。例えば、細胞の速度のばらつきに基づいて、nは46~51の範囲である。したがって、mは0~519-10nの範囲である。例示的な画像再構成技法は、細胞画像を再構成するための最良の組み合わせを保証するためにmおよびnを掃引する。例えば、各ピークの開始点における強度の合計は、掃引におけるあらゆる組み合わせについて計算される。最小の合計を有する組み合わせが、画像再構成のための正解である。mおよびnを計算した後、両方のPMTによって記録された信号が同期されるので、これらを使用して明視野および蛍光画像の両方を再構成することができる。例示的な画像再構成技法は、式(4)に基づいて値を計算する。
Figure 0007075126000004
図5Bは、画像再構成技法の実装の結果を描いた例示的なデータプロットを示し、例えば、各ピークについて開始点とサンプリング点の数との最良の組み合わせに関する探索の例示的な結果を示す。データプロットに示されている黒い「*」記号は、再構成アルゴリズムによって見出された各ピークの開始点を表す。
一般に、上述の空間フィルタ(例えば、図2Bの空間フィルタ224)が画像平面に挿入されていると、細胞の異なる部分からの蛍光は、異なる時間に異なるスリットを通過することになる。その結果、PMTからの蛍光信号の波形は、時間領域で分離された一連のパターンを含み、時間領域の信号の各部分は、細胞の各特定の状態によって発生した蛍光信号に対応する。各スリットにわたる光強度プロファイルを受信した後、細胞全体の細胞画像は、全てのプロファイルを継ぎ合わせることによって構築することができる。図2A~図2Cに示すシステム200の例示的な実施形態では、空間フィルタは、順番に配置された10個の100μm×50μmの長方形スリットを含む。例えば、50倍対物レンズ(M=50)を用いると、フィルタ設計は、式(3)を含むアルゴリズムを使用して、例えば20μm×20μm以下の移動細胞の蛍光画像または散乱画像を構築することを可能にする。これは、最小限の計算量を必要とするものであり、高いスループットかつリアルタイムの画像ベースの細胞分類および分取に好適である。例えば、50倍/0.55NAの対物レンズ、PMT信号を獲得するための500kHzのサンプリングレート、および12μL/分の試料流速および120μL/minのシース流速によって与えられる0.2m/sの細胞移動速度を使用すると、y方向の画素の有効サイズは、レイリー基準より小さい
Figure 0007075126000005
であり、このようにして、y方向の回折限界分解能が得られる。ここで、Rは、この計算におけるPMT読み出しのサンプリングレートである。各ピークが50個のサンプリング点を含むように、約8cm/sの速度で移動する細胞(例えば、流速によって与えられる)、20μm×20μmに設定された画像面積(例えば、10個のピークの蛍光画像に基づくPMT読み出し)、200k試料/sのサンプリングレート、などの他の実装パラメータを使用することができることに留意されたい。
この例示的な研究では、空間フィルタのデザインは、AutoCADで描画し、20,000ドット/インチ(dpi)で透明マスクに印刷した。ネガ型フォトレジスト層(例えば、NR9-1500PY、Futurrex,Inc.)を6インチガラスウェハ上に毎分3,000回転(rpm)で回転形成した。ウェハは、ホットプレート上で150℃で3分間加熱し、次いで透明マスクを通じてUV光(例えば、EVG620NT、EV Group)に露光した。UV露光後、ウェハを100℃でさらに3分間ベークした後、RD6(例えば、Futurrex,Inc.)で12秒間現像した。ガラスウェハ上に200nm厚のアルミニウムのフィルムをスパッタリングした。金属をリフトオフした後、空間フィルタのパターンを形成し、ガラスウェハを15mm×15mm片にダイシングした。フローサイトシステムにおいて空間フィルタを保持するのを助けるために、10個の50μm×100μmのスリットを有する空間フィルタを、3D印刷法によって製造された試料ホルダーに装着した。
この例示的な研究については、HEK293Tヒト胚性腎臓細胞試料にpEGFP-GRプラスミド(例えばAddgene)をトランスフェクトした。3日間連続培養した後、1μMのデキサメタゾン(例えば、Sigma-Aldrich)を培地に添加した。60分間インキュベートした後、HEK293T細胞を採取し、4%パラホルムアルデヒドで固定し、洗浄し、1倍のリン酸緩衝食塩水(PBS)中に再懸濁した。各撮像実験の前に、懸濁液をPBSで200細胞/μLの濃度に希釈した。
例示的な研究で使用された画像ベースの細胞分取システム200の例示的な実施例は、10個のスリットを含む空間マスクを含み、約0.08m/sの細胞流速を利用した。画像面積は、20μm×20μmに設定した。この設計では、細胞の蛍光からのPMT信号は、10個の別々のピークであるように見え、各ピークのサンプリング点の数は約50である。しかしながら、異なる細胞の速度は完全に等速ではないので、各セルのサンプリング点の数はわずかに変動し、各ピークの開始点も判定される必要がある。したがって、細胞画像を成功裡に再構成することができるように、データ処理アルゴリズムを、このような変動する細胞速度を考慮に入れるように、すなわちある範囲内の各ピークについて開始点およびサンプリング点の数を探索するように構成した。細胞流動速度のばらつきに基づいて、各ピークのサンプリング点の数は、典型的には46~51の範囲であった。そのため、細胞画像内の点の総数は、460~510である。各セルについて、粒子検出モジュール461が細胞が来ると判定すると、520個のサンプリング点の長さのPMT信号を記録した。例えば、各ピークについて開始点とサンプリング点の数との最良の組み合わせを保証するために、アルゴリズムは、46~51の数のサンプリング点と各ピークの開始点とを適宜掃引した。掃引における各組み合わせについて、全ての開始点における強度の合計を計算し、最小の合計を有する組み合わせを画像再構成のための正解として選択した。
図6は、例示的な画像再構成に基づいて細胞の蛍光強度信号を描いたデータプロットを示す。例示的な結果は、各ピークについて開始点とサンプリング点の数との最良の組み合わせを探索することを示している。
図7は、細胞の再構成画像の一例を示しており、例えば、蛍光エリアを使用して細胞の境界を判定して細胞の画像を生成する基準が使用されている。侵食とそれに続く膨張であるオープンフィルタについては、3×3の近傍を使用した。細胞壁または膜検出のステップでは、二値細胞画像中の全ての画素が走査される。非ゼロの強度を有する画素については、例示的なアルゴリズムは、その3×3の近傍内の9個の画素全てをチェックした。例えば、計数された数が0より大きく8より小さい場合、非ゼロの強度を有するその隣接画素を計数することによって、この画素を細胞壁または膜上の画素として判定した。
この例示的な技法は、少なくとも部分的にFPGAを使用して実装した。表1は、データ処理アルゴリズムの例示的な実装における各ステップの切り上げ概算レイテンシ結果を示しており、総レイテンシは十分に3.3ms以内である。例示的なデータ処理アルゴリズムは、並列を含め、複数のプラットフォーム上で実装されるように柔軟である。例えば、グラフィック処理ユニット(GPU)の並列処理能力を利用すると、アルゴリズムは、例えばNvidiaによるCUDAアーキテクチャまたはAMDによるOpenCLのいずれかによってGPUに実装することもできる。画像ソーリング(soring)アルゴリズムは、GPUの並列処理能力を組み合わせた非常に短い実行時間を有するので、分取スループットは、さらに改善される。本特許文書では、細胞画像を生成する定式化が例示的な方法の形で説明されているが、前述の10スリット空間マスクとは異なる空間フィルタ設計を使用する場合、アルゴリズムが多少異なる可能性があることは注目に値する。しかしながら、システムの全体的な作業手順は同じである。
表1は、例えばレイテンシが時間(ms)で表される、例示的なFPGA設計におけるモジュールの性能を描いた例示的なデータを示す。
Figure 0007075126000006
例示的な研究からの例示的な分取結果を記載する。例えば、例示的なリアルタイムの画像ベースのセルソータシステムの実現可能性を実証するために、蛍光細胞質を有する細胞と蛍光核を有する細胞との混合物に対して分取試験を遂行した。正常なヒト胚性腎臓細胞、HEK293T細胞は、pEGFP-GRプラスミドのトランスフェクション後、488nmのレーザにより励起することができ、その細胞質において509nmに発光ピークを有するGFPを発現している。1時間にわたる1μMデキサメタゾン処理後、蛍光は、細胞質領域から細胞核に転位する。
図8Aおよび8Bは、トランスフェクトされたが薬剤処理されていない細胞(図8A)およびトランスフェクトされ薬剤処理された細胞(図8B)の例示的な蛍光顕微鏡画像を示す。図8Aおよび図8Bの画像は、20μm×20μmの面積を表す。薬物処理なしのトランスフェクトされたHEK293T細胞の例示的かつ代表的な顕微鏡画像(図8A)および処理済み細胞の例示的かつ代表的な顕微鏡画像(図8B)により示されるように、処理済み細胞および未処理細胞の両方の蛍光強度の大きさはかなり広い範囲を有するが、薬物処理された細胞画像はより小さい蛍光面積を有する。
図8Aおよび図8Bの画像に示すように、両方の行の左列は蛍光画像を示し、中央列は明視野画像を示し、右列はオーバーレイ画像を示す。行1は、蛍光が細胞質内に分布した(例えば、デキサメタゾンで未処理の)サンプル細胞を示す。行2は、蛍光が核内に分布した(デキサメタゾンで処理された)サンプル細胞を示す。細胞は、pEGFP-GRプラスミドをトランスフェクトしたHEK293Tヒトエンブロイニック(embroynic)腎臓細胞である。
図9Aおよび9Bは、トランスフェクトされたが薬物処理されていない細胞(図9A)およびトランスフェクトされ薬物処理された細胞(図9B)の画像ベースのセルソータシステムによって撮影された例示的な蛍光細胞画像を示す。例示的な画像は、20μm×20μmの面積を表す。
図10は、例示的な研究からの、全てのイベントおよび分取された細胞の例示的な計算された蛍光面積のヒストグラムを示す。
例示的な研究では、薬物処理細胞が例示的なシステムによって分取されるように、分取基準を84μmに事前設定した。この例示的な研究では、細胞サイズ、核サイズ、および細胞による薬物の取り込みのばらつきのため、全ての薬物処理細胞が分取されたわけではないことがあり得るが、分取された細胞は全て核内にのみ蛍光を有するので、純度は確保されている。
システム200の例示的な実施形態の例示的な実装で実証されるように、開示されるシステムおよび技法は、単一細胞の蛍光画像および光散乱画像に基づく細胞分取能力を有する高スループットのフローサイトメーターを提供する。FPGAおよび/またはGPUにおいて細胞画像の取り込み、処理、および分取の作動を実現することにより、前述の設計はミリ秒レベルの全体的な処理レイテンシを提供することを例示的な結果は示している。
図11は、画像ベースの粒子分取システム100のいくつかの実施形態による、画像ベースの細胞分取マイクロ流体システム1100の図を示す。システム1100は、分取のために粒子に光学インテロゲーション流路を貫流させるためのマイクロ流体装置1110と、インテロゲーション流路の照射エリア内の粒子の画像データを取得するための撮像システム1120と、取得した画像データをリアルタイムで処理して分取コマンドを決定するためのデータ処理および制御システム1130と、決定した分取コマンドに基づいてマイクロ流体装置210内の粒子にゲートをかけるためのアクチュエータ1140とを含む。例示的なシステム1110のいくつかの実装では、マイクロ流体装置1110およびアクチュエータ1140は、それぞれマイクロ流体装置210およびアクチュエータ240を含むことができる。
システム1100の撮像システム1120は、マイクロ流体装置1110の照射エリアに入力光またはプローブ光を提供するための光源1121、例えばレーザと、照射エリア215内の照射された粒子の画像を取得するための光学イメージャ1122とを含む。例示的な光学イメージャ1122は、図11に示すように、空間フィルタ(SF)1124、吸収フィルタ(EF)1125Aおよび1125B、ならびに光電子増倍管(PMT)1126に光結合された対物レンズ1123(例えば顕微鏡または他の光学撮像装置の)を含む。図11に示す例示的な実装では、撮像システム1120は、ダイクロイックミラー(DM)1129Aおよび1129Bを含み、DM1129Aは、入力光をマイクロ流体装置1110上の照射エリアに方向付けるように光源と共に配置され、DM1129Bは、光出力信号の一部をEF1125Bを介してPMT1126Bに方向付けるように光学イメージャ1122と共に光路内に配置され、光出力信号の無向部分は、EF1125Aを介してPMT1126Aに進む。いくつかの実装では、光源1121(例えば、レーザ)は、粒子による蛍光発光を引き起こすように照射エリアに入射する蛍光励起信号を生成するように構成される。光学イメージャ1122は、粒子の画像を生成することができるように、PMT1126Aおよび1126Bで光学出力蛍光発光信号を取り込む。
システム1100の例示的な実装において、懸濁した単一細胞は、シース流によってマイクロ流体装置1110の分取流路内で流体力学的に集束され、細胞が流体流路の中心を等速度で移動することを保証する。例えば、蛍光発光と明視野信号の両方を、複数の光電子増倍管、例えばPMT1126Aおよび1126Bによって検出することができる。マイクロ流体装置の幾何学的形状に対応するために、レーザ1121からの488nmのレーザビームは、50倍対物レンズの前に配置された小型ダイクロイックミラー1129Aによる52°反射によって光学インテロゲーションに導入される(例えば、NA=0.55、作動距離=13mm)。いくつかの例示的な実施形態において、システム1100は、明視野画像を生成するために流路の反対側に配置することができる光学光源1128(例えば、図11に示される例示的な405nmのLEDなどのLED)を含み、光は、レーザ照射位置に集束させることができる。空間的に符号化されたフィルタ、例えばSF1124は、検出経路内の画像平面に挿入される。所望の発光帯域をそれらのそれぞれのPMTにルーティングするために、ダイクロイックミラー1129Bは、スペクトルに基づいて対物レンズによって集光された蛍光および明視野光を分割する。再構成画像の空間分解能は、フィルタによって決定される。x(横)方向の分解能は、フィルタのスリット数に依存し、y(細胞進行)方向の分解能は、サンプリングレートと細胞の流速に依存する。図11に示すシステム1100の例示的な実施形態では、有効画素サイズは、x方向に2μm、y方向に約0.4μmである。
図12は、システム1100の例示的な実施形態の例示的な画像処理実装の流れ図を示す。データ処理および制御ユニット1130は、撮像システム1120によって取り込まれた蛍光画像および明視野画像を処理するための画像処理モジュールを含む。例えば、方法400のプロセス420および430の態様を実装するための例示的な画像処理モジュールは、例えば複数のPMT1126Aおよび1126Bからの受信した画像信号データを前処理することを含む。このような実装では、前処理技法は、受信した画像信号データの分析に基づいて細胞の検出が判定された後に遂行することができる。図12に示す例では、蛍光画像および明視野画像のPMT信号は、高周波ノイズを除去するためにローパスフィルタ処理されている。いくつかの実装では、例えば、10次ハミング窓がローパスフィルタ処理のために使用される。例示的な画像処理モジュールは、時間領域PMT信号から明視野画像と蛍光画像の両方を例えば二次元画像に再構成するための画像再構成アルゴリズムを実行するように構成される。明視野および蛍光信号は同じスリットによって生成されるので、これらは、データ処理および制御ユニット1130によって同期される。いくつかの実装では、画像再構成アルゴリズムは、明視野画像と蛍光画像の両方に対して一度起動される。いくつかの実装では、例えば、再構成画像は50×50画素にサイズ変更される。いくつかの実装では、例えば、グレースケール画像は、強度閾値に基づいて二値画像に変換される。いくつかの実装では、例えば、二値画像は、スプリアスノイズを除去するためにオープンフィルタによってフィルタ処理される。いくつかの実装では、例えば、細胞輪郭アルゴリズムが、両方の二値画像の輪郭を検出するために起動される。いくつかの実装では、例えば、形態パラメータは処理された画像に基づいて抽出され、分取決定は抽出されたパラメータに基づいて行われる。
図13Aは、図12に示す例示的な画像処理ステップによる例示的なデータを描いた流れ図を示す。図において、例示的な画像処理モジュールは、生成された画像から細胞形態などの細胞特徴パラメータを抽出することを可能にする、画像輪郭特徴を含む検出された個々の細胞の再構成されサイズ変更された画像を生成する。
このアルゴリズムは、FPGA(National Instrument cRIO-9039)上に実装されている。表2は、データ処理および制御ユニット1130の例示的な画像処理モジュールによって実装される各ステップの例示的な切り上げ概算レイテンシ結果を示す。明視野画像および蛍光画像の画像処理は、並列して実行される。表に示すように、この例では、画像処理の総レイテンシは約5.8msである。
表2は、例えばレイテンシが時間(ms)で表される、システム1100の例示的な実装のための例示的なFPGA設計におけるモジュールの性能を描いた例示的なデータを示す。
Figure 0007075126000007
例えば、画像処理の時間レイテンシを低下させることによって、分取スループットを改善することができる。例えば、より多くの計算資源を有するより強力なFPGAを用いると、画像処理モジュールをさらに並列化して時間レイテンシを改善することができる。例示的な画像処理アルゴリズムは、例えばNvidiaによるCUDAアーキテクチャまたはAMDによるOpenCLのいずれかなどによって、代替的または追加的に(例えばFPGAとの並列処理で)GPU上に実装することもできる。例示的な画像処理アルゴリズムはデータ並列であるため、GPUの並列処理能力を利用することによって、処理速度をはるかに加速することができ、その結果、はるかに高いスループットを達成することができる。
いくつかの実装では、例えば、データ処理および制御ユニット1130は、例えば受信者動作特性(ROC)を使用して、抽出された形態パラメータを評価するように構成することができる。最上位パラメータが、リアルタイム分取用に選択される。
いくつかの実装では、抽出された形態パラメータをROC技法を使用して評価するための方法は、以下を含む。例えば、ROC技法は、システムを通るフローセル試料によって得られた画像データから処理済みデータに適用することができる。例えば、細胞画像は、例えば場合によっては手動識別により2つのサブセットに分離することができる。一例として、2つのサブセットは、転位細胞(例えば、分取された群)および非転位細胞(例えば、未分取群)とすることができる。各細胞について、形態パラメータが抽出される。ROC技法は、両方のサブセットの各パラメータの分布を生成することを含むことができる。この技法は、分布のROC曲線である曲線を生成することを含む。この技法は、曲線下面積(AUC)、すなわち曲線の積分を計算することを含む。この技法は、パラメータが分類にどのように適用されるかを評価することを含み、例えば、より大きいAUCを有するパラメータを、分類に最も好適なパラメータとして選択することができる。
図13Bは、細胞形態パラメータなどの抽出されたパラメータを評価するための例示的な受信者動作特性(ROC)技法を使用してサブセットの例示的な分布プロットを示す。示される例では、ROCは、TP、FP、FN、TNを含む(TPは真陽性、FPは偽陽性、FNは偽陰性、TNは真陰性)。例示的な曲線はROC曲線を表す。より大きいAUCを有するパラメータが、分類にはより良好である。
分取のためのパラメータが選択された後、サポートベクターマシン(SVM)を使用して、選択されたパラメータを使用してゲート処理基準として非線形超平面を生成することができる。
一例として、画像が、例えば2つの例示的なサブセットなどのサブセットに分離された後、選択されたパラメータが、各画像について計算される。各画像は、n次元ベクトルに対応する(nは選択されたパラメータの数である)。例示的なSVM技法は、サブセットを分離するn次元空間内の境界を生成するために実装される。例えば、分取決定を下す際、例えば細胞が境界のどちら側にあるか(例えば、細胞がどのサブセットに属するか)を知るために、各セルについて選択されたパラメータを計算することができる。次いで、分取決定を下すことができる。
例示的な抽出された形態パラメータを表3に示す。
Figure 0007075126000008
システム1100を使用する方法400の例示的な実装を、タンパク質転位に基づく分取、細胞周期に基づく分取、および細胞の細胞膜に結合したビーズの数に基づく分取を含む、画像ベースの細胞分取を実証する例示的な研究に関して、以下に説明する。
1つの例示的な研究は、pEGFP-GRプラスミドを転位したHEK-297Tヒト胚性腎臓細胞の分取、例えばタンパク質転位に基づく分取の実装を含んでいた。例示的な研究は、pEGFP-GRプラスミドが転位したHEK-297Tヒト胚性腎臓細胞を転位および非転位混合物から識別して分取する能力を実証した。この研究では、HEK-293Tヒト胚性腎臓細胞にGR-GFPをトランスフェクトし、2枚のプレートに分離した。細胞の一方のプレートは、蛍光が細胞質内に留まるように、未処理である。細胞の他方のプレートは、蛍光が細胞質から核に移動するように、薬物で処理した。両方の種類の細胞を混合し、システムを貫流させ、例示された方法の実装に基づいて、転位細胞のみを分取して収集した。
例示的な研究では、記録されたPMT信号は、例えばMatlabコードによって実装されたアルゴリズムを実行しているデータ処理および制御ユニットによって処理した。PMT信号に基づいて、各細胞の蛍光画像および明視野画像の両方を再構築し、各細胞の形態パラメータを抽出して記録した。抽出された形態パラメータは、リアルタイムの画像ベースの細胞分取基準を生成するための教師あり機械学習に使用した。
例示的な研究では、再構成された細胞画像を、手動識別によって2つのサブセットに分離した。細胞の一方のサブセットは、細胞質内に蛍光を有する非転位細胞であり、細胞の他方のサブセットは、核内に蛍光を有する転位細胞であった。
図14Aおよび図14Bは、例示的なシステムによって取り込まれ、Matlabコードによって再構成された非転位細胞および転位細胞の細胞画像を示す。図14Aは、非転位細胞の画像を示し、図14Bは、転位細胞の画像を示す。図14Aおよび図14Bの画像において、左側の画像は細胞の蛍光画像であり、中央の画像は細胞の明視野画像であり、右側の画像は検出された明視野輪郭を含むオーバーレイ画像である。
例示的な研究では、形態パラメータを、受信者動作特性(ROC)を使用して2つの注釈付きサブセットに基づいて評価した。リアルタイム分取用に上位3つのパラメータを選択した。例えば、この場合の上位3つのパラメータは、蛍光面積/明視野面積(例えば、面積比)、蛍光周囲長/明視野周囲長(例えば、周囲長比)、および蛍光面積であった。
例示的な研究では、3つの選択されたパラメータを使用する分取基準を、システム内の細胞のリアルタイム分取に用いた。選択された上位3つのパラメータに基づいて2つの細胞サブセットを分離する三次元非線形超平面を、サポートベクターマシン(SVM)によって形成した。
図15は、分取基準の実装について、2組の細胞(例えば、転位細胞と非転位細胞)の分離を呈する超平面の例を示す。
2種類の細胞を50:50で混合し、リン酸緩衝生理食塩水(PBS)を使用して200/μLに希釈した。混合試料に例示的な画像ベースの分取システムを貫流させ、リアルタイムモジュールに基づいて分取した。細胞は、6μL/minの試料流速および60μL/minのシース流速によって与えられる8cm/sの速度で移動した。例示的なイメージャは、収集された細胞の蛍光画像と明視野画像の両方を取り込むために使用されたCCDカメラを備えた顕微鏡を含んでいた。
図16Aおよび図16Bは、顕微鏡を介して、例示的なシステムによって取り込まれた非転位細胞および転位細胞の細胞画像を示す。図16Aは、非転位細胞の顕微鏡画像を示し、図16Bは、転位細胞の顕微鏡画像を示す。図16Aおよび図16Bの画像において、左側の画像は顕微鏡によって撮像された細胞の蛍光画像であり、中央の画像は顕微鏡による細胞の明視野画像であり、右側の画像はオーバーレイ画像である。
1つの例示的な研究は、G2/M段階でのMDCK Madin-Darbyイヌ腎臓上皮細胞の分取、例えば細胞周期に基づく分取の実装を含んでいた。この研究では、MDCK Madin-Darbyイヌ腎臓上皮細胞を固定し、細胞核をヨウ化プロピジウム(PI)で染色した。固定され染色されたMDCK細胞に例示的な画像ベースの分取システムを貫流させ、G2/M相細胞のみを分取して収集した。
タンパク質転位に基づく分取のための例示的な研究と同様に、記録されたPMT信号を処理して細胞画像を再構成し、形態パラメータを抽出した。再構成された細胞画像を、手動識別によって2つのサブセットに分離した。細胞の一方のサブセットはG1相にあった。G1相では、核の構成要素は核膜内に閉じ込められている。細胞の他方のサブセットはG2/M相にあった。G2/M相では、核膜が崩壊し、核の構成要素は細胞内に分布する。
図17Aおよび図17Bは、例示的なシステムによって取り込まれ、Matlabコードによって再構成されたG1相細胞およびG2/M相細胞の細胞画像を示す。図17Aは、G1相細胞の画像を示し、図17Bは、G2/M相細胞の画像を示す。図17Aおよび17Bの画像において、左側の画像は細胞の蛍光画像であり、中央の画像は細胞の明視野画像であり、右側の画像は検出された明視野輪郭を含むオーバーレイ画像である。
タンパク質転位に基づく分取のための例示的な研究と同様に、形態パラメータをROCを使用して評価し、三次元非線形超平面をSVMによって形成した。上位3つの形態パラメータは、蛍光面積/明視野面積(例えば、面積比)、蛍光面積、および蛍光周囲長/明視野周囲長(例えば、周囲長比)である。
図18は、分取基準の実装について、2組の細胞(例えば、G1相の細胞とG2/Mの細胞)の分離を呈する超平面の例を示す。
MDCK細胞を、PBSを使用して200/μLに希釈した。試料に例示的なシステムを貫流させ、リアルタイムモジュールに基づいて分取した。細胞は、6μL/minの試料流速および60μL/minのシース流速によって与えられる8cm/sの速度で移動した。例示的なイメージャは、収集された細胞の蛍光画像と明視野画像の両方を取り込むために使用されたCCDカメラを備えた顕微鏡を含んでいた。
図19Aおよび19Bは、顕微鏡を介して、例示的なシステムによって取り込まれたG1相細胞およびG2/M細胞の細胞画像を示す。図19Aは、G1相細胞の顕微鏡画像を示し、図19Bは、G2/M相細胞の顕微鏡画像を示す。図19Aおよび図19Bの画像において、左側の画像は顕微鏡によって撮像された細胞の蛍光画像であり、中央の画像は顕微鏡による細胞の明視野画像であり、右側の画像はオーバーレイ画像である。
1つの例示的な研究は、細胞と結合したビーズの数に基づくHEK-297Tヒト胚性腎臓細胞の分取、例えば細胞の細胞膜上に結合したビーズの数に基づく分取の実装を含んでいた。この研究では、HEK-297Tヒト胚性腎臓細胞を蛍光ビーズで結合し、CFSEキットで染色した。細胞の蛍光は520nmであり、ビーズの蛍光は645nmである。ダイクロイックミラーによってルーティングされ、2つのPMTによって検出された2つの波長の蛍光信号。細胞は、結合ビーズの数に基づいて分取した。この用途のための画像処理モジュールは、画像を処理するために適宜修正した。
図20は、システム1100の例示的な実施形態によって実装される細胞の細胞膜上に結合したビーズの数に基づいて分取するための例示的な画像処理の実装の流れ図を示す。データ処理および制御ユニット1130は、撮像システム1120によって取り込まれた蛍光画像および明視野画像を処理するための画像処理モジュールを含む。例えば、方法400のプロセス420および430の態様を実装するための例示的な画像処理モジュールは、例えば複数のPMT1126Aおよび1126Bからの受信した画像信号データを前処理することを含む。図に示すように、例えば、両方の波長の蛍光信号がローパスフィルタ処理された。この例示的な研究では、520nmの蛍光信号を画像再構成に使用した。再構成されたビーズ画像を、50×50画素にサイズ変更した。画像の背景を除去するためにトップハット型変換を実装した。この例示的な実装では、7×7画素近傍をトップハット型変換のために使用した。この例示的な実装では、グレースケール画像を二値画像に変換した。形態パラメータを抽出した。この例では、ビーズは比較的均一なサイズを有するので、画像面積を分取基準として選択した。いくつかの実装では、例えば、形態パラメータは処理された画像に基づいて抽出され、分取決定は抽出されたパラメータに基づいて行われる。
表4は、リアルタイム画像処理の総レイテンシが7.8msであることを示している。例示的なモジュールは、ビーズ計数にFPGAを使用して実装した。
Figure 0007075126000009
図21は、ビーズ数が異なる画像処理モジュールによって処理されたグレースケール細胞画像の例を示す。図21に示すように、左列の画像はビーズの蛍光画像であり、中央列の画像は細胞の蛍光画像であり、右列の画像はオーバーレイ画像である。
図22は、異なる数のビーズについてビーズ画像面積のヒストグラムを示す。
以下の実施例は、本技術によるいくつかの実施形態の例示である。本技術の他の例示的な実施形態が、以下に列挙する例の前に、または以下に列挙する例の後に提示される場合がある。
本技術によるいくつかの実施形態(実施例A1)では、画像ベースの粒子分取システムは、基板と、基板上に形成された流路であって、粒子を流れ方向に沿って流路の第1の領域に流すように動作可能な流路と、流路内の第1の領域に近接した第2の領域で流路から分岐する2つ以上の出力経路とを含むように構築された粒子流装置と;粒子流装置とインターフェース接続し、粒子が流路を貫流する間に第1の領域内にあるときに粒子に関連する画像データを取得するように動作可能である撮像システムと;撮像システムと通信するデータ処理および制御ユニットであって、データ処理および制御ユニットは、撮像システムによって取得された画像データを処理して処理された画像データから粒子に関連する1つ以上の特性を判定し、判定された1つ以上の特性と分取基準との比較に基づいて制御コマンドを生成するように構成されたプロセッサを含む、データ処理および制御ユニットと;粒子流装置に作動的に連結され、アクチュエータと通信するアクチュエータであって、粒子を制御コマンドに基づいて2つ以上の出力経路のうちの1つの出力経路に方向付けるように動作可能な、アクチュエータと、を含み、システムは、撮像システムによる画像取り込みの第1の時間からアクチュエータによる粒子方向付けの第2の時間までの15ms以下の時間枠内で粒子の各々を流路内を流れる間に分取するように動作可能である。
実施例A2は、実施例A1のシステムを含み、粒子流装置は、マイクロ流体装置またはフローセルの基板上のアクチュエータと一体化されたマイクロ流体装置またはフローセルを含む。
実施例A3は、実施例A1のシステムを含み、アクチュエータは、基板に連結され、粒子を2つ以上の出力経路のうちの1つの出力経路への軌道に沿って方向付ける第2の領域内の方向に移動させる偏向を生じさせるように動作可能である圧電アクチュエータを含む。
実施例A4は、実施例A1のシステムを含み、撮像システムは、粒子流装置の第1の領域に入力光を提供するための1つ以上の光源と、第1の領域内の入力光によって照射された粒子から画像データを取り込むための光学イメージャとを含む。
実施例A5は、実施例A4のシステムを含み、1つ以上の光源は、レーザまたは発光ダイオード(LED)のうちの少なくとも一方を含む。
実施例A6は、実施例A4のシステムを含み、光学イメージャは、空間フィルタ、吸収フィルタ、および光電子増倍管に光結合された顕微鏡の対物レンズを含む。
実施例A7は、実施例A6のシステムを含み、光学イメージャは、入力光を第1の領域に方向付けるため、粒子によって放出または散乱された光を光学イメージャの光学素子に方向付けるため、またはその両方のために1つ以上の導光素子をさらに含む。
実施例A8は、実施例A7のシステムを含み、導光素子は、ダイクロイックミラーを含む。
実施例A9は、実施例A6のシステムを含み、光学イメージャは、粒子によって放出または散乱された2つ以上の帯域または種類の光に基づいて2つ以上の対応する信号を生成するための2つ以上の光電子増倍管を含む。
実施例A10は、実施例A1のシステムを含み、データ処理および制御ユニットのプロセッサは、フィールドプログラマブルゲートアレイ(FPGA)、グラフィック処理ユニット(GPU)、または並列のFPGAおよびGPUを含む。
実施例A11は、実施例A1のシステムを含み、データ処理および制御ユニットは、粒子流装置上の第1の領域内で撮像された粒子に関連する画像データ(例えば、時間領域信号データを含む)を受信し、画像データを処理して粒子の画像を表す画像データセットを生成し、生成された画像データセットを分析して粒子の1つ以上の特性に関連する1つ以上のパラメータを画像データセットから抽出し、抽出された1つ以上のパラメータと分取基準の1つ以上の閾値との比較に基づいて制御コマンドを決定するように構成されている。
実施例A12は、実施例A11のシステムを含み、データ処理および制御ユニットは、画像データをフィルタ処理し、フィルタ処理されたデータに基づいて第1の画像を再構成し、再構成された第1の画像をサイズ変更して第2の画像を生成することによって、画像データを処理して画像データセットを生成するように構成され、第2の画像は、二値画像データを含む。
実施例A13は、実施例A1のシステムを含み、粒子は、細胞を含み、細胞に関連する1つ以上の特性は、細胞の特徴もしくは細胞上の特徴の量もしくはサイズ、細胞に付着した1つ以上のサブ粒子、または細胞もしくは細胞の一部分の特定の形態を含む。
実施例A14は、実施例A1のシステムを含み、粒子は、細胞を含み、分取基準は、細胞輪郭、細胞サイズ、細胞形状、核サイズ、核形状、蛍光パターン、または蛍光色分布を含む。
実施例A15は、実施例A1のシステムを含み、粒子は、細胞を含み、細胞に関連する1つ以上の特性は、細胞周期相、細胞によるタンパク質の発現もしくは局在化、細胞に対する損傷、または細胞による物質もしくはサブ粒子の貪食を含む細胞の生理学的特性を含む。
本技術によるいくつかの実施形態(実施例A16)では、粒子の画像ベースの分取方法は、粒子流装置の流路を貫流する粒子の画像信号データを取得することと、画像信号データを処理して粒子の画像を表す画像データセットを生成することと、生成された画像データセットを分析して、処理された画像データから粒子の1つ以上の特性を識別することと、1つ以上の識別された特性を分取基準で評価することによって制御コマンドを生成することと、制御コマンドに基づいて粒子流装置の複数の出力経路のうちの1つに粒子を方向付けることと、を含む。
実施例A17は、実施例A16の方法を含み、取得する動作、処理する動作、分析する動作、生成する動作、および方向付ける動作は、細胞が流路内を流れる間に15ms以下の時間枠内で遂行される。
実施例A18は、実施例A16の方法を含み、制御コマンドを生成することは、粒子の識別された1つ以上の特性に関連する粒子の処理された画像データから1つ以上のパラメータを抽出することと、画像からの抽出された1つ以上のパラメータと分取基準の1つ以上の閾値とを比較することとを含む。
実施例A19は実施例A16の方法を含み、画像信号データを処理して画像データセットを生成することは、画像信号データをフィルタ処理することと、フィルタ処理されたデータに基づいて第1の画像を再構成することと、再構成された第1の画像をサイズ変更して第2の画像を生成することとを含み、第2の画像は、二値画像データを含む。
実施例A20は、実施例A16の方法を含み、画像信号データを処理することは、粒子の画像を表す画像データセットを生成する前に粒子の存在を検出することを含む。
実施例A21は、実施例A20の方法を含み、粒子の存在を検出することは、画像信号データの信号強度の大きさに関連する輝度値を計算することと、その輝度値を第1の閾値で評価することと、輝度値が第1の閾値を超えたときに微分値を決定することと、微分値が第2の閾値を超えたことを評価することと、微分値が第2の閾値を超えたと判定することとを含む。
実施例A22は、実施例A16の方法を含み、流路を貫流する粒子は、細胞であり、細胞に関連する1つ以上の特性は、細胞の特徴もしくは細胞上の特徴の量もしくはサイズ、細胞に付着した1つ以上のサブ粒子、または細胞もしくは細胞の一部分の特定の形態を含む。
実施例A23は、実施例A16の方法を含み、流路を貫流する粒子は、細胞であり、分取基準は、細胞輪郭、細胞サイズ、細胞形状、核サイズ、核形状、蛍光パターン、または蛍光色分布を含む。
実施例A24は、実施例A16の方法を含み、流路を貫流する粒子は、細胞であり、細胞に関連する1つ以上の特性は、細胞周期相、細胞によるタンパク質の発現もしくは局在化、細胞に対する損傷、または細胞による物質もしくはサブ粒子の貪食を含む細胞の生理学的特性を含む。
本技術によるいくつかの実施形態(実施例A25)では、フローサイトメトリー装置において画像ベースの細胞の分取を得るための方法は、画像を記録することと、記録された画像を分析して細胞が検出されたか否かを判定することと、細胞が検出されたという判定が判定されたとき、画像を処理することと、処理の結果に基づいて、フローサイトメトリー装置内のアクチュエータをトリガするべきかどうかの決定を下すこととを含む。
実施例A26は、実施例A25の方法を含み、細胞が検出されていないと判定されると、画像の記録を再開すること。
実施例A27は、実施例A25の方法を含み、細胞が検出されたか否かを判定することは、輝度値を計算することと;輝度値が第1の閾値を超えたか否かを判定することと;輝度値が第1の閾値を超えたという判定がなされると、微分値を決定することと;微分値が第2の閾値を超えたか否かを判定することと;微分値が第2の閾値を超えたという判定がなされると、細胞が検出されたという表示を提供し、輝度値が第1の閾値を超えたまたは微分値が第2の閾値を超えたという判定がなされないと、細胞は検出されなかったという表示を提供するか、または何も表示を提供しないことと、を含む。
本技術によるいくつかの実施形態(実施例A28)では、粒子撮像およびフローシステムは、基板と、基板上に形成された流路であって、粒子を流れ方向に沿って流路の第1の領域に流すように動作可能な流路と;粒子流装置とインターフェース接続し、粒子が流路を貫流する間に第1の領域内にあるときに粒子に関連する画像データを取得するように動作可能である撮像システムと;撮像システムと通信するデータ処理および制御ユニットであって、データ処理および制御ユニットは、撮像システムによって取得された画像データを処理して粒子に関連する1つ以上の特性を判定し、粒子の判定された1つ以上の特性を示すデータを含む分析されたデータセットを生成するように構成された、データ処理および制御ユニットと、を含む。
実施例A29は、実施例A28のシステムを含み、粒子流装置は、マイクロ流体装置またはフローセルを含む。
実施例A30は、実施例A28のシステムを含み、撮像システムは、粒子流装置の第1の領域に入力光を提供するための1つ以上の光源と、第1の領域内の入力光によって照射された粒子から画像データを取り込むための光学イメージャとを含む。
実施例A31は、実施例A30のシステムを含み、1つ以上の光源は、レーザまたは発光ダイオード(LED)のうちの少なくとも一方を含む。
実施例A32は、実施例A30のシステムを含み、光学イメージャは、空間フィルタ、吸収フィルタ、および光電子増倍管に光結合された顕微鏡の対物レンズを含む。
実施例A33は、実施例A32のシステムを含み、光学イメージャは、入力光を第1の領域に方向付けるため、粒子によって放出または散乱された光を光学イメージャの光学素子に方向付けるため、またはその両方のために1つ以上の導光素子(例えば、ダイクロイックミラー)をさらに含む。
実施例A34は、実施例A30のシステムを含み、光学イメージャは、粒子によって放出または散乱された2つ以上の帯域または種類の光に基づいて2つ以上の対応する信号を生成するための2つ以上の光電子増倍管を含む。
実施例A35は、実施例A28のシステムを含み、データ処理および制御ユニットのプロセッサは、フィールドプログラマブルゲートアレイ(FPGA)、グラフィック処理ユニット(GPU)、または並列のFPGAおよびGPUを含む。
実施例A36は、実施例A28のシステムを含み、データ処理および制御ユニットは、粒子流装置上の第1の領域内で撮像された粒子に関連する画像データ(例えば、時間領域信号データを含む)を受信し、画像データを処理して粒子の画像を表す画像データセットを生成し、生成された画像データセットを分析して粒子の1つ以上の特性に関連する1つ以上のパラメータを画像データセットから抽出するように構成されている。
実施例A37は、実施例A36のシステムを含み、データ処理および制御ユニットは、画像データをフィルタ処理し、フィルタ処理されたデータに基づいて第1の画像を再構成し、再構成された第1の画像をサイズ変更して第2の画像を生成することによって、画像データを処理して画像データセットを生成するように構成され、第2の画像は、二値画像データを含む。
実施例A38は、実施例A28のシステムを含み、粒子は、細胞を含み、細胞に関連する1つ以上の特性は、細胞の特徴もしくは細胞上の特徴の量もしくはサイズ、細胞に付着した1つ以上のサブ粒子、または細胞もしくは細胞の一部分の特定の形態を含む。
実施例A39は、実施例A28のシステムを含み、粒子は、細胞を含み、分取基準は、細胞輪郭、細胞サイズ、細胞形状、核サイズ、核形状、蛍光パターン、または蛍光色分布を含む。
実施例A40は、実施例A28のシステムを含み、粒子は、細胞を含み、細胞に関連する1つ以上の特性は、細胞周期相、細胞によるタンパク質の発現もしくは局在化、細胞に対する損傷、または細胞による物質もしくはサブ粒子の貪食を含む細胞の生理学的特性を含む。
本技術によるいくつかの実施形態(実施例B1)では、システムは、オンチップ分取アクチュエータと一体化されたマイクロ流体装置と、高速高感度の撮像光学系と、リアルタイム細胞画像処理および分取制御電子システムとを含む。
実施例B2は、実施例B1のシステムを含み、リアルタイム細胞画像処理および分取制御電子システムは、1つ以上のユーザ定義のゲーティング基準を許容するように構成されている。
実施例B3は、実施例B1のシステムを含み、1つ以上のユーザ定義のゲーティング基準は、細胞輪郭、細胞サイズ、細胞形状、核のサイズおよび形状、蛍光パターン、または蛍光色分布を含む。
本技術によるいくつかの実施形態(実施例B4)では、フローサイトメトリー装置において画像ベースの細胞の分取を得るための方法は、画像を記録することと、細胞が検出されたか否かを判定することと、細胞が検出されたと判定されると、画像を処理することと、処理の結果に基づいて、フローサイトメトリー装置内のアクチュエータをトリガするべきかどうかの決定を下すこととを含む。
実施例B5は、実施例B4の方法を含み、細胞が検出されていないと判定されると、画像の記録を再開すること。
実施例B6は、実施例B4の方法を含み、細胞が検出されたか否かを判定することは、輝度値を計算することと、輝度値が第1の閾値を超えたと判定されると、微分値を計算することと、微分値が第2の閾値を超えたと判定されると、細胞が検出されたという表示を提供することとを含む。
実施例B7は、実施例B4の方法を含み、これは、FPGAまたはDSPのうちの一方で実装される。
実施例B8は、実施例B1のシステムを含み、リアルタイム細胞画像処理および分取制御電子システムは、FPGAで実装される。
本技術によるいくつかの実施形態(実施例C1)では、画像ベースの粒子分取システムは、基板と、基板上に形成された流路であって、細胞を流れ方向に沿って流路の第1の領域に流すように動作可能な流路と、流路内の第1の領域に近接した第2の領域で流路から分岐する2つ以上の出力経路とを含むように構築された粒子流装置と;粒子流装置とインターフェース接続し、細胞が流路を貫流する間に第1の領域内にあるときに細胞に関連する画像データを取得するように動作可能である撮像システムと;撮像システムと通信するデータ処理および制御ユニットであって、データ処理および制御ユニットは、撮像システムによって取得された画像データを処理して処理された画像データから細胞に関連する1つ以上の特性を判定し、判定された1つ以上の特性と分取基準との比較に基づいて制御コマンドを生成するように構成されたプロセッサを含み、制御コマンドは、細胞が流路内を流れる間に生成され、細胞に対応する画像信号データから確認された1つ以上の細胞属性に基づいて決定された分取決定を示す、データ処理および制御ユニットと;粒子流装置に作動的に連結され、アクチュエータと通信するアクチュエータであって、細胞を制御コマンドに基づいて2つ以上の出力経路のうちの1つの出力経路に方向付けるように動作可能な、アクチュエータと、を含み、システムは、撮像システムによる画像取り込みの第1の時間からアクチュエータによる粒子方向付けの第2の時間までの15ms以下の時間枠内で細胞の各々を流路内を流れる間に分取するように動作可能である。
実施例C2は、実施例C1のシステムを含み、粒子流装置は、マイクロ流体装置またはフローセルの基板上のアクチュエータと一体化されたマイクロ流体装置またはフローセルを含む。
実施例C3は、実施例C1のシステムを含み、アクチュエータは、基板に連結され、細胞を2つ以上の出力経路のうちの1つの出力経路への軌道に沿って方向付ける第2の領域内の方向に移動させる偏向を生じさせるように動作可能である圧電アクチュエータを含む。
実施例C4は、実施例C1のシステムを含み、撮像システムは、粒子流装置の第1の領域に入力光を提供するための1つ以上の光源と、第1の領域内の入力光によって照射された細胞から画像データを取り込むための光学イメージャとを含む。
実施例C5は、実施例C4のシステムを含み、1つ以上の光源は、レーザまたは発光ダイオード(LED)のうちの少なくとも一方を含む。
実施例C6は、実施例C4のシステムを含み、光学イメージャは、空間フィルタ、吸収フィルタ、および光電子増倍管に光結合された顕微鏡の対物レンズを含む。
実施例C7は、実施例C6のシステムを含み、光学イメージャは、入力光を第1の領域に方向付けるため、細胞によって放出または散乱された光を光学イメージャの光学素子に方向付けるため、またはその両方のために1つ以上の導光素子をさらに含む。
実施例C8は、実施例C7のシステムを含み、導光素子は、ダイクロイックミラーを含む。
実施例C9は、実施例C6のシステムを含み、光学イメージャは、細胞によって放出または散乱された2つ以上の帯域または種類の光に基づいて2つ以上の対応する信号を生成するための2つ以上の光電子増倍管を含む。
実施例C10は、実施例C1のシステムを含み、データ処理および制御ユニットのプロセッサは、フィールドプログラマブルゲートアレイ(FPGA)、グラフィック処理ユニット(GPU)、または並列のFPGAおよびGPUを含む。
実施例C11は、実施例C1のシステムを含み、データ処理および制御ユニットは、粒子流装置上の第1の領域内で撮像された細胞に関連する時間領域信号データを含む画像データを受信し、画像データを処理して細胞の画像を表す画像データセットを生成し、生成された画像データセットを分析して細胞の1つ以上の特性に関連する1つ以上のパラメータを画像データセットから抽出し、抽出された1つ以上のパラメータと分取基準の1つ以上の閾値との比較に基づいて制御コマンドを決定するように構成されている。
実施例C12は、実施例C11のシステムを含み、データ処理および制御ユニットは、画像データをフィルタ処理し、フィルタ処理されたデータに基づいて第1の画像を再構成し、再構成された第1の画像をサイズ変更して第2の画像を生成することによって、画像データを処理して画像データセットを生成するように構成され、第2の画像は、二値画像データを含む。
実施例C13は、実施例C1のシステムを含み、細胞に関連する1つ以上の特性は、細胞の特徴もしくは細胞上の特徴の量もしくはサイズ、細胞に付着した1つ以上の粒子、または細胞もしくは細胞の一部分の特定の形態のうちの1つ以上を含む。
実施例C14は、実施例C1のシステムを含み、分取基準は、細胞輪郭、細胞サイズ、細胞形状、核サイズ、核形状、蛍光パターン、または蛍光色分布を含む。
実施例C15は、実施例C1のシステムを含み、細胞に関連する1つ以上の特性は、細胞周期相、細胞によるタンパク質の発現もしくは局在化、細胞による遺伝子の発現もしくは局在化、細胞に対する損傷、または細胞による物質もしくは粒子の貪食を含む細胞の生理学的特性を含む。
実施例C16は、実施例C15のシステムを含み、判定された細胞に対する損傷は、DNA損傷を含む。
本技術によるいくつかの実施形態(実施例C17)では、画像ベースの粒子分取方法は、粒子流装置の流路を貫流する細胞の画像信号データを取得することと、画像信号データを処理して細胞の画像を表す画像データセットを生成することと、生成された画像データセットを分析して、処理された画像データから細胞の1つ以上の特性を識別することと、細胞の1つ以上の識別された特性を分取基準で評価して、粒子流装置内の細胞流の間の細胞に対応する画像信号データから確認された1つ以上の細胞属性に基づいて細胞を分取する制御コマンドを生成することと、制御コマンドに基づいて粒子流装置の複数の出力経路のうちの1つに細胞を方向付けることと、を含む。
実施例C18は、実施例C17の方法を含み、取得する動作、処理する動作、分析する動作、生成する動作、および方向付ける動作は、細胞が流路内を流れる間に15ms以下の時間枠内で遂行される。
実施例C19は、実施例C17の方法を含み、制御コマンドを生成することは、細胞の識別された1つ以上の特性に関連する細胞の処理された画像データから1つ以上のパラメータを抽出することと、画像からの抽出された1つ以上のパラメータと分取基準の1つ以上の閾値とを比較することとを含む。
実施例C20は、実施例C17の方法を含み、画像信号データを処理して画像データセットを生成することは、画像信号データをフィルタ処理することと、フィルタ処理されたデータに基づいて第1の画像を再構成することと、再構成された第1の画像をサイズ変更して第2の画像を生成することとを含み、第2の画像は、二値画像データを含む。
実施例C21は、実施例C17の方法を含み、画像信号データを処理することは、細胞の画像を表す画像データセットを生成する前に細胞の存在を検出することを含む。
実施例C22は、実施例C21の方法を含み、細胞の存在を検出することは、画像信号データの信号強度の大きさに関連する輝度値を計算することと、その輝度値を第1の閾値で評価することと、輝度値が第1の閾値を超えたときに微分値を決定することと、微分値が第2の閾値を超えたことを評価することと、微分値が第2の閾値を超えたと判定することとを含む。
実施例C23は、実施例C17の方法を含み、細胞に関連する1つ以上の特性は、細胞の特徴もしくは細胞上の特徴の量もしくはサイズ、細胞に付着した1つ以上の粒子、または細胞もしくは細胞の一部分の特定の形態のうちの1つ以上を含む。
実施例C24は、実施例C17の方法を含み、分取基準は、細胞輪郭、細胞サイズ、細胞形状、核サイズ、核形状、蛍光パターン、または蛍光色分布を含む。
実施例C25は、実施例C17の方法を含み、細胞に関連する1つ以上の特性は、細胞周期相、細胞によるタンパク質の発現もしくは局在化、細胞による遺伝子の発現もしくは局在化、細胞に対する損傷、または細胞による物質もしくは粒子の貪食を含む細胞の生理学的特性を含む。
実施例C26は、実施例C25の方法を含み、判定された細胞に対する損傷は、DNA損傷を含む。
本特許文書に記載の主題および機能動作の実装は、本明細書に開示された構造およびその構造上の均等物を含む、様々なシステム、デジタル電子回路、もしくはコンピュータソフトウェア、ファームウェア、もしくはハードウェア、またはそれらの1つ以上の組み合わせで実装することができる。本明細書に記載の主題の実装は、データ処理装置によって実行するためまたはデータ処理装置の動作を制御するための、1つ以上のコンピュータプログラム製品、すなわち有形の非一時的コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1つ以上のモジュールとして実装することができる。コンピュータ可読媒体は、機械可読記憶装置、機械可読記憶基板、メモリデバイス、機械可読伝搬信号を成し遂げる材料の組成物、またはそれらの1つ以上の組合せとすることができる。「データ処理ユニット」または「データ処理装置」という用語は、例としてプログラマブルプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む、データを処理するための全ての装置、デバイス、および機械を包含する。装置は、ハードウェアに加えて、当該コンピュータプログラムの実行環境を作り出すコード、例えばプロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらのうちの1つ以上の組み合わせを構成するコードを含むことができる。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる)は、コンパイル言語またはインタープリター言語を含む任意の形式のプログラミング言語で書くことができ、スタンドアローンプログラムとして、またはモジュール、コンポーネント、サブルーチン、もしくはコンピューティング環境での使用に好適な他の単位としてを含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するわけではない。プログラムは、他のプログラムまたはデータを保持するファイルの一部(例えば、マークアップ言語文書に記憶された1つ以上のスクリプト)に、当該プログラム専用の単一ファイルに、または複数の連動ファイル(例えば1つ以上のモジュール、サブプログラム、もしくはコードの一部を記憶するファイル)に、記憶することができる。コンピュータプログラムは、1つのコンピュータ上で、または1つのサイトに位置するかもしくは複数のサイトにわたって分散し、通信ネットワークによって相互接続されている複数のコンピュータ上で実行されるように展開することができる。
本明細書に記載のプロセスおよび論理フローは、入力データを操作して出力を生成することによって機能を実行する1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブルプロセッサによって遂行することができる。プロセスおよび論理フローは、特殊目的論理回路、例えばFPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって遂行することもでき、装置は、特殊目的論理回路、例えばFPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)として実装することもできる。
コンピュータプログラムの実行に好適なプロセッサとしては、例として、汎用および特殊目的の両方のマイクロプロセッサ、ならびに任意の種類のデジタルコンピュータの任意の1つ以上のプロセッサが挙げられる。一般に、プロセッサは、読み出し専用メモリ、ランダムアクセスメモリ、またはその両方から命令およびデータを受け取る。コンピュータの本質的な要素は、命令を遂行するためのプロセッサと、命令およびデータを記憶するための1つ以上のメモリデバイスである。一般に、コンピュータは、データを記憶するための1つ以上の大容量記憶装置、例えば磁気、光磁気ディスク、もしくは光ディスクを含むか、またはそれらからデータを受信し、もしくはそれらにデータを送信し、もしくはその両方を行うように作動的に連結される。しかしながら、コンピュータは、このような装置を有する必要はない。コンピュータプログラムの命令およびデータを記憶するのに好適なコンピュータ可読媒体としては、例として半導体メモリデバイス、例えばEPROM、EEPROM、およびフラッシュメモリデバイスを含む、あらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスが挙げられる。プロセッサおよびメモリは、特殊目的論理回路によって補完するか、またはその中に組み込むことができる。
本明細書は、図面と共に、例示と見なされることを意図しており、例示とは例を意味する。本明細書で使用されるとき、単数形「a」、「an」および「the」は、文脈が明らかにそうでないことを示さない限り、複数形も含むことを意図する。さらに、文脈が明らかにそうでないことを示さない限り、「または」の使用は「および/または」を含むことを意図する。
本特許文書は多くの詳細を含んでいるが、これらは、いかなる発明の範囲または特許請求の対象に対する限定として解釈されるべきではなく、むしろ特定の発明の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。本特許文書に別々の実施形態の文脈で記載されている特定の特徴は、単一実施形態で組み合わせて実装することもできる。逆に、単一実施形態の文脈で記載されている様々な特徴は、複数の実施形態で別々に、または任意の好適なサブ組み合わせで、実装することもできる。さらに、特徴は特定の組み合わせで作用するものとして上記で説明され、最初はそのようなものとして請求されるかもしれないが、場合によっては請求する組み合わせから1つ以上の特徴を削除することができ、請求する組み合わせは、サブ組み合わせまたはサブ組み合わせの変形に関してもよい。
同様に、動作は図面に特定の順序で描かれているが、このことは、望ましい結果を達成するためには、そのような動作が示された特定の順序または順番で遂行されること、または全ての例示された動作が遂行されることが必要であるとして理解されるべきではない。さらに、本特許文書に記載の実施形態中の様々なシステム構成要素の分離は、全ての実施形態においてそのような分離が必要であるとして理解されるべきではない。
本明細書に記載の様々な実施形態は、方法またはプロセスの一般的な文脈で説明されており、一実施形態では、コンピュータ可読媒体内に具現化された、ネットワーク環境内のコンピュータによって実行されるプログラムコードなどのコンピュータ実行可能命令を含むコンピュータプログラム製品によって実装されてもよい。コンピュータ可読媒体としては、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)、ブルーレイディスクなどを含むがこれらに限定されない、取り外し可能および取り外し不能な記憶装置が挙げられる。したがって、本出願に記載のコンピュータ可読媒体は、非一時的記憶媒体を含む。一般に、プログラムモジュールは、特定のタスクを遂行するかまたは特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含み得る。コンピュータ実行可能命令、関連するデータ構造、およびプログラムモジュールは、本明細書に開示した方法のステップを実行するためのプログラムコードの例を表す。このような実行可能命令または関連するデータ構造の特定のシーケンスは、そのようなステップまたはプロセスに記載の機能を実装するための対応する行為の例を表す。
例えば、開示した実施形態の一態様は、非一時的コンピュータ可読媒体上に具現化されたコンピュータプログラム製品に関する。コンピュータプログラム製品は、開示した実施形態の動作のうちのいずれか1つおよび/または全てを行うためのプログラムコードを含む。
いくつかの実装および実施例のみが説明されており、本特許文書で説明および例示したことに基づいて他の実装、拡張、および変形を行うことができる。
本発明は、以下の項目を提供する。
(項目1)
画像ベースの粒子分取システムであって、
基板と、前記基板上に形成された流路であって、細胞を流れ方向に沿って前記流路の第1の領域に流すように動作可能な流路と、前記流路内の前記第1の領域に近接した第2の領域で前記流路から分岐する2つ以上の出力経路とを含むように構築された粒子流装置と、
前記粒子流装置とインターフェース接続し、細胞が前記流路を貫流する間に前記第1の領域内にあるときに前記細胞に関連する画像データを取得するように動作可能である撮像システムと、
前記撮像システムと通信するデータ処理および制御ユニットであって、前記データ処理および制御ユニットは、前記撮像システムによって取得された前記画像データを処理して前記処理された画像データから前記細胞に関連する1つ以上の特性を判定し、前記判定された1つ以上の特性と分取基準との比較に基づいて制御コマンドを生成するように構成されたプロセッサを含み、前記制御コマンドは、前記細胞が前記流路内を流れる間に生成され、前記細胞に対応する画像信号データから確認された1つ以上の細胞属性に基づいて決定された分取決定を示す、データ処理および制御ユニットと、
前記粒子流装置に作動的に連結され、前記アクチュエータと通信するアクチュエータであって、前記細胞を前記制御コマンドに基づいて前記2つ以上の出力経路のうちの1つの出力経路に方向付けるように動作可能な、アクチュエータと、を備え、
前記システムは、前記撮像システムによる画像取り込みの第1の時間から前記アクチュエータによる粒子方向付けの第2の時間までの15ms以下の時間枠内で前記細胞の各々を、前記流路内を流れる間に分取するように動作可能である、システム。
(項目2)
前記粒子流装置は、マイクロ流体装置またはフローセルを含み、前記マイクロ流体装置またはフローセルが、前記マイクロ流体装置または前記フローセルの基板上の前記アクチュエータと一体化されている、項目1に記載のシステム。
(項目3)
前記アクチュエータは、前記基板に連結され、前記細胞を前記2つ以上の出力経路のうちの前記1つの出力経路への軌道に沿って方向付ける前記第2の領域内の方向に前記細胞を移動させる偏向を生じさせるように動作可能である圧電アクチュエータを含む、項目1に記載のシステム。
(項目4)
前記撮像システムは、前記粒子流装置の前記第1の領域に入力光を提供するための1つ以上の光源と、前記第1の領域内の前記入力光によって照射された前記細胞から前記画像データを取り込むための光学イメージャとを含む、項目1に記載のシステム。
(項目5)
前記1つ以上の光源は、レーザまたは発光ダイオード(LED)のうちの少なくとも一方を含む、項目4に記載のシステム。
(項目6)
前記光学イメージャは、空間フィルタ、吸収フィルタ、および光電子増倍管に光結合された顕微鏡の対物レンズを含む、項目4に記載のシステム。
(項目7)
前記光学イメージャは、前記入力光を前記第1の領域に方向付けるため、前記細胞によって放出または散乱された光を前記光学イメージャの光学素子に方向付けるため、またはその両方のために1つ以上の導光素子をさらに含む、項目6に記載のシステム。
(項目8)
前記導光素子はダイクロイックミラーを含む、項目7に記載のシステム。
(項目9)
前記光学イメージャは、前記細胞によって放出または散乱された2つ以上の帯域または種類の光に基づいて2つ以上の対応する信号を生成するための2つ以上の光電子増倍管を含む、項目6に記載のシステム。
(項目10)
前記データ処理および制御ユニットの前記プロセッサは、フィールドプログラマブルゲートアレイ(FPGA)、グラフィック処理ユニット(GPU)、または並列のFPGAおよびGPUを含む、項目1に記載のシステム。
(項目11)
前記データ処理および制御ユニットは、前記粒子流装置上の前記第1の領域内で撮像された前記細胞に関連する時間領域信号データを含む前記画像データを受信し、前記画像データを処理して前記細胞の画像を表す画像データセットを生成し、前記生成された画像データセットを分析して前記細胞に関連する前記1つ以上の特性に関連する1つ以上のパラメータを前記画像データセットから抽出し、前記抽出された1つ以上のパラメータと前記分取基準の1つ以上の閾値との比較に基づいて前記制御コマンドを決定するように構成されている、項目1に記載のシステム。
(項目12)
前記データ処理および制御ユニットは、前記画像データをフィルタ処理し、前記フィルタ処理されたデータに基づいて第1の画像を再構成し、前記再構成された第1の画像をサイズ変更して第2の画像を生成することによって、前記画像データを処理して前記画像データセットを生成するように構成され、前記第2の画像は、二値画像データを含む、項目11に記載のシステム。
(項目13)
前記細胞に関連する前記1つ以上の特性は、前記細胞の特徴もしくは前記細胞上の特徴の量もしくはサイズ、前記細胞に付着した1つ以上の粒子、または前記細胞もしくは前記細胞の一部分の特定の形態のうちの1つ以上を含む、項目1に記載のシステム。
(項目14)
前記分取基準は、細胞輪郭、細胞サイズ、細胞形状、核サイズ、核形状、蛍光パターン、または蛍光色分布を含む、項目1に記載のシステム。
(項目15)
前記細胞に関連する前記1つ以上の特性は、細胞周期相、前記細胞によるタンパク質の発現もしくは局在化、前記細胞による遺伝子の発現もしくは局在化、前記細胞に対する損傷、または前記細胞による物質もしくは粒子の貪食を含む前記細胞の生理学的特性を含む、項目1に記載のシステム。
(項目16)
前記判定された前記細胞に対する損傷はDNA損傷を含む、項目15に記載のシステム。
(項目17)
画像ベースの粒子分取方法であって、
粒子流装置の流路を貫流する細胞の画像信号データを取得することと、
前記画像信号データを処理して前記細胞の画像を表す画像データセットを生成することと、
前記生成された画像データセットを分析して、前記処理された画像データから前記細胞の1つ以上の特性を識別することと、
前記細胞の前記1つ以上の識別された特性を分取基準で評価して、前記粒子流装置内の細胞流の間の前記細胞に対応する前記画像信号データから確認された1つ以上の細胞属性に基づいて前記細胞を分取する制御コマンドを生成することと、
前記制御コマンドに基づいて前記粒子流装置の複数の出力経路のうちの1つに前記細胞を方向付けることと、を含む、方法。
(項目18)
前記取得する動作、前記処理する動作、前記分析する動作、前記生成する動作、および前記方向付ける動作は、前記細胞が前記流路内を流れる間に15ms以下の時間枠内で遂行される、項目17に記載の方法。
(項目19)
前記制御コマンドを生成することは、前記細胞の前記識別された1つ以上の特性に関連する前記細胞の前記処理された画像データから1つ以上のパラメータを抽出することと、前記画像から抽出された前記1つ以上のパラメータと前記分取基準の前記1つ以上の閾値とを比較することとを含む、項目17に記載の方法。
(項目20)
前記画像信号データを処理して前記画像データセットを生成することは、
前記画像信号データをフィルタ処理することと、
前記フィルタリングされたデータに基づいて第1の画像を再構成することと、
前記再構成された第1の画像をサイズ変更して第2の画像を生成することと、を含み、前記第2の画像が二値画像データを含む、項目17に記載の方法。
(項目21)
前記画像信号データを処理することは、前記細胞の前記画像を表す前記画像データセットを生成する前に前記細胞の存在を検出することを含む、項目17に記載の方法。
(項目22)
前記細胞の存在を検出することは、
前記画像信号データの信号強度の大きさに関連する輝度値を計算することと、
前記輝度値を第1の閾値で評価することと、
前記輝度値が前記第1の閾値を超えたときに微分値を決定することと、
前記微分値が第2の閾値を超えたことを評価することと、
前記微分値が前記第2の閾値を超えたと判定することと、を含む、項目21に記載の方法。
(項目23)
前記細胞に関連する前記1つ以上の特性は、前記細胞の特徴もしくは前記細胞上の特徴の量もしくはサイズ、前記細胞に付着した1つ以上の粒子、または前記細胞もしくは前記細胞の一部分の特定の形態のうちの1つ以上を含む、項目17に記載の方法。
(項目24)
前記分取基準は、細胞輪郭、細胞サイズ、細胞形状、核サイズ、核形状、蛍光パターン、または蛍光色分布を含む、項目17に記載の方法。
(項目25)
前記細胞に関連する前記1つ以上の特性は、細胞周期相、前記細胞によるタンパク質の発現もしくは局在化、前記細胞による遺伝子の発現もしくは局在化、前記細胞に対する損傷、または前記細胞による物質もしくは粒子の貪食を含む前記細胞の生理学的特性を含む、項目17に記載の方法。
(項目26)
前記判定された前記細胞に対する損傷はDNA損傷を含む、項目25に記載の方法。

Claims (25)

  1. 画像ベースの粒子分取システムであって、
    基板と、前記基板上に形成された流路であって、細胞を流れ方向に沿って前記流路の第1の領域に流すように動作可能な流路と、前記流路内の前記第1の領域に近接した第2の領域で前記流路から分岐する2つ以上の出力経路とを含むように構築された粒子流装置と、
    前記粒子流装置とインターフェース接続し、細胞が前記流路を貫流する間に前記第1の領域内にあるときに前記細胞に関連する画像データを取得するように動作可能である撮像システムと、
    前記撮像システムと通信するデータ処理および制御ユニットであって、前記データ処理および制御ユニットは、前記撮像システムによって取得された前記画像データを処理して前記処理された画像データから前記細胞に関連する1つ以上の特性を判定し、前記判定された1つ以上の特性と分取基準との比較に基づいて制御コマンドを生成するように構成されたプロセッサを含み、前記制御コマンドは、前記細胞が前記流路内を流れる間に生成され、前記細胞に対応する画像信号データから確認された1つ以上の細胞属性に基づいて決定された分取決定を示す、データ処理および制御ユニットと、
    前記粒子流装置に作動的に連結され、前記データ処理および制御ユニットと通信するアクチュエータであって、前記細胞を前記制御コマンドに基づいて前記2つ以上の出力経路のうちの1つの出力経路に方向付けるように動作可能な、アクチュエータと、を備え、
    前記システムは、前記撮像システムによる画像取り込みの第1の時間から前記アクチュエータによる粒子方向付けの第2の時間までの15ms以下の時間枠内で前記細胞の各々を、前記流路内を流れる間に分取するように動作可能である、システム。
  2. 前記粒子流装置は、マイクロ流体装置またはフローセルを含み、前記マイクロ流体装置またはフローセルが、前記マイクロ流体装置または前記フローセルの基板上の前記アクチュエータと一体化されている、請求項1に記載のシステム。
  3. 前記アクチュエータは、前記基板に連結され、前記細胞を前記2つ以上の出力経路のうちの前記1つの出力経路への軌道に沿って方向付ける前記第2の領域内の方向に前記細胞を移動させる偏向を生じさせるように動作可能である圧電アクチュエータを含む、請求項1に記載のシステム。
  4. 前記撮像システムは、前記粒子流装置の前記第1の領域に入力光を提供するための1つ以上の光源と、前記第1の領域内の前記入力光によって照射された前記細胞から前記画像データを取り込むための光学イメージャとを含む、請求項1に記載のシステム。
  5. 前記1つ以上の光源は、レーザまたは発光ダイオード(LED)のうちの少なくとも一方を含む、請求項4に記載のシステム。
  6. 前記光学イメージャは、空間フィルタ、吸収フィルタ、および光電子増倍管に光結合された顕微鏡の対物レンズを含む、請求項4に記載のシステム。
  7. 前記光学イメージャは、前記入力光を前記第1の領域に方向付けるため、前記細胞によって放出または散乱された光を前記光学イメージャの光学素子に方向付けるため、またはその両方のために1つ以上の導光素子をさらに含む、請求項6に記載のシステム。
  8. 前記導光素子はダイクロイックミラーを含む、請求項7に記載のシステム。
  9. 前記光学イメージャは、前記細胞によって放出または散乱された2つ以上の帯域または種類の光に基づいて2つ以上の対応する信号を生成するための2つ以上の光電子増倍管を含む、請求項6に記載のシステム。
  10. 前記データ処理および制御ユニットの前記プロセッサは、フィールドプログラマブルゲートアレイ(FPGA)、グラフィック処理ユニット(GPU)、または並列のFPGAおよびGPUを含む、請求項1に記載のシステム。
  11. 前記データ処理および制御ユニットは、前記粒子流装置上の前記第1の領域内で撮像された前記細胞に関連する時間領域信号データを含む前記画像データを受信し、前記画像データを処理して前記細胞の画像を表す画像データセットを生成し、前記生成された画像データセットを分析して前記細胞に関連する前記1つ以上の特性に関連する1つ以上のパラメータを前記画像データセットから抽出し、前記抽出された1つ以上のパラメータと前記分取基準の1つ以上の閾値との比較に基づいて前記制御コマンドを決定するように構成されており、前記画像データセットは再構成された画像データを含む、請求項1に記載のシステム。
  12. 前記データ処理および制御ユニットは、前記画像データをフィルタ処理し、前記フィルタ処理されたデータに基づいて第1の画像を再構成し、前記再構成された第1の画像をサイズ変更して第2の画像を生成することによって、前記画像データを処理して前記画像データセットを生成するように構成され、前記第2の画像は、二値画像データを含む、請求項11に記載のシステム。
  13. 前記細胞に関連する前記1つ以上の特性は、前記細胞の特徴もしくは前記細胞上の特徴の量もしくはサイズ、前記細胞に付着した1つ以上の粒子、または前記細胞もしくは前記細胞の一部分の特定の形態のうちの1つ以上を含む、請求項1に記載のシステム。
  14. 前記分取基準は、細胞輪郭、細胞サイズ、細胞形状、核サイズ、核形状、蛍光パターン、または蛍光色分布を含む、請求項1に記載のシステム。
  15. 前記細胞に関連する前記1つ以上の特性は、細胞周期相、前記細胞によるタンパク質の発現もしくは局在化、前記細胞による遺伝子の発現もしくは局在化、前記細胞に対する損傷、または前記細胞による物質もしくは粒子の貪食を含む前記細胞の生理学的特性を含む、請求項1に記載のシステム。
  16. 前記判定された前記細胞に対する損傷はDNA損傷を含む、請求項15に記載のシステム。
  17. 画像ベースの粒子分取方法であって、
    粒子流装置の流路を貫流する細胞の画像信号データを取得することと、
    前記画像信号データを処理して前記細胞の画像を表す画像データセットを生成することであって、前記画像データセットは再構成された画像データを含むことと、
    前記生成された画像データセットを分析して、前記処理された画像データから前記細胞の1つ以上の特性を識別することと、
    前記細胞の前記1つ以上の識別された特性を分取基準で評価して、前記粒子流装置内の細胞流の間の前記細胞に対応する前記画像信号データから確認された1つ以上の細胞属性に基づいて前記細胞を分取する制御コマンドを生成することと、
    前記制御コマンドに基づいて前記粒子流装置の複数の出力経路のうちの1つに前記細胞を方向付けることと、を含み、前記取得する動作、前記処理する動作、前記分析する動作、前記生成する動作、および前記方向付ける動作は、前記細胞が前記流路内を流れる間に15ms以下の時間枠内で遂行される、方法。
  18. 前記制御コマンドを生成することは、前記細胞の前記識別された1つ以上の特性に関連する前記細胞の前記処理された画像データから1つ以上のパラメータを抽出することと、前記画像から抽出された前記1つ以上のパラメータと前記分取基準の1つ以上の閾値とを比較することとを含む、請求項17に記載の方法。
  19. 前記画像信号データを処理して前記画像データセットを生成することは、
    前記画像信号データをフィルタ処理することと、
    前記フィルタ処理されたデータに基づいて第1の画像を再構成することと、
    前記再構成された第1の画像をサイズ変更して第2の画像を生成することと、を含み、前記第2の画像が二値画像データを含む、請求項17に記載の方法。
  20. 前記画像信号データを処理することは、前記細胞の前記画像を表す前記画像データセットを生成する前に前記細胞の存在を検出することを含む、請求項17に記載の方法。
  21. 前記細胞の存在を検出することは、
    前記画像信号データの信号強度の大きさに関連する輝度値を計算することと、
    前記輝度値を第1の閾値で評価することと、
    前記輝度値が前記第1の閾値を超えたときに微分値を決定することと、
    前記微分値が第2の閾値を超えたか否かを評価することと、
    前記微分値が前記第2の閾値を超えたと判定することと、を含む、請求項2に記載の方法。
  22. 前記細胞に関連する前記1つ以上の特性は、前記細胞の特徴もしくは前記細胞上の特徴の量もしくはサイズ、前記細胞に付着した1つ以上の粒子、または前記細胞もしくは前記細胞の一部分の特定の形態のうちの1つ以上を含む、請求項17に記載の方法。
  23. 前記分取基準は、細胞輪郭、細胞サイズ、細胞形状、核サイズ、核形状、蛍光パターン、または蛍光色分布を含む、請求項17に記載の方法。
  24. 前記細胞に関連する前記1つ以上の特性は、細胞周期相、前記細胞によるタンパク質の発現もしくは局在化、前記細胞による遺伝子の発現もしくは局在化、前記細胞に対する損傷、または前記細胞による物質もしくは粒子の貪食を含む前記細胞の生理学的特性を含む、請求項17に記載の方法。
  25. 前記細胞に関連する前記1つ以上の特性はDNA損傷を含む、請求項2に記載の方法
JP2018564303A 2016-06-10 2017-06-09 画像ベースの細胞分取システムおよび方法 Active JP7075126B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022076473A JP2022106909A (ja) 2016-06-10 2022-05-06 画像ベースの細胞分取システムおよび方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662348511P 2016-06-10 2016-06-10
US62/348,511 2016-06-10
PCT/US2017/036864 WO2017214572A1 (en) 2016-06-10 2017-06-09 Image-based cell sorting systems and methods

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022076473A Division JP2022106909A (ja) 2016-06-10 2022-05-06 画像ベースの細胞分取システムおよび方法

Publications (2)

Publication Number Publication Date
JP2019526783A JP2019526783A (ja) 2019-09-19
JP7075126B2 true JP7075126B2 (ja) 2022-05-25

Family

ID=60578995

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018564303A Active JP7075126B2 (ja) 2016-06-10 2017-06-09 画像ベースの細胞分取システムおよび方法
JP2022076473A Pending JP2022106909A (ja) 2016-06-10 2022-05-06 画像ベースの細胞分取システムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022076473A Pending JP2022106909A (ja) 2016-06-10 2022-05-06 画像ベースの細胞分取システムおよび方法

Country Status (5)

Country Link
US (3) US11016017B2 (ja)
EP (1) EP3469338A4 (ja)
JP (2) JP7075126B2 (ja)
CN (2) CN109863384B (ja)
WO (1) WO2017214572A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110579435B (zh) 2012-10-15 2023-09-26 纳诺赛莱克特生物医药股份有限公司 颗粒分选的系统、设备和方法
EP4253936A3 (en) 2014-03-18 2024-03-20 The Regents of The University of California Parallel flow cytometer using radiofrequency mulitplexing, and method
US10078045B2 (en) 2015-10-13 2018-09-18 Omega Biosystems Incorporated Multi-modal fluorescence imaging flow cytometry system
GB201615532D0 (en) * 2016-09-13 2016-10-26 Univ Swansea Computer-Implemented apparatus and method for performing a genetic toxicity assay
IL267009B (en) * 2016-12-01 2022-07-01 Berkeley Lights Inc Automatic detection and repositioning of micro-objects in micropoloidal devices
JP7125936B2 (ja) 2017-07-11 2022-08-25 浜松ホトニクス株式会社 試料観察装置及び試料観察方法
CN108362628A (zh) * 2018-01-11 2018-08-03 天津大学 基于偏振衍射成像流式细胞仪的无标记细胞流式分选方法
CN112041660A (zh) * 2018-02-16 2020-12-04 加利福尼亚大学董事会 用于移动粒子三维成像的系统、装置与方法
JP7109229B2 (ja) * 2018-03-30 2022-07-29 シスメックス株式会社 フローサイトメーター及び粒子検出方法
JP2019195304A (ja) 2018-05-10 2019-11-14 学校法人順天堂 画像解析方法、装置、コンピュータプログラム、及び深層学習アルゴリズムの生成方法
SG11202011180UA (en) * 2018-05-31 2020-12-30 Berkeley Lights Inc Automated detection and characterization of micro-objects in microfluidic devices
JP6753622B2 (ja) * 2018-06-27 2020-09-09 株式会社Cybo 表示制御装置、表示制御方法及び表示制御プログラム
LU100870B1 (de) * 2018-07-09 2020-01-09 Cytena Gmbh Verfahren zum Untersuchen einer flüssigen Probe
US10611995B2 (en) * 2018-08-15 2020-04-07 Deepcell, Inc. Systems and methods for particle analysis
CN112996900A (zh) * 2018-09-14 2021-06-18 加利福尼亚大学董事会 细胞分选装置及方法
CN113316713A (zh) 2018-10-17 2021-08-27 贝克顿·迪金森公司 颗粒分析仪的自适应分选
US11268890B2 (en) * 2019-03-29 2022-03-08 Becton, Dickinson And Company Parameters for use in particle discrimination
JP7381003B2 (ja) * 2019-04-26 2023-11-15 学校法人順天堂 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム
JP2022540601A (ja) 2019-07-10 2022-09-16 ベクトン・ディキンソン・アンド・カンパニー 細胞選別分類を調整するための再構成可能な集積回路
CN110484434A (zh) * 2019-08-09 2019-11-22 北方民族大学 微流控芯片、基于微流控的细胞分选方法及系统
EP4041310A1 (en) 2019-10-10 2022-08-17 1859, Inc. Methods and systems for microfluidic screening
WO2022021338A1 (zh) * 2020-07-31 2022-02-03 深圳先进技术研究院 一种生物样本分选方法、声表面波微流控芯片、系统、终端以及存储介质
KR20220018646A (ko) * 2020-08-07 2022-02-15 광운대학교 산학협력단 기포 제거가 가능한 인공지능 기반 미세유체 제어시스템
CN112179831A (zh) * 2020-09-26 2021-01-05 宁波大学 缺陷细胞的检测装置及方法
JPWO2022080492A1 (ja) * 2020-10-15 2022-04-21
CN113237818A (zh) * 2021-05-28 2021-08-10 上海睿钰生物科技有限公司 一种细胞分析方法和系统
CN112646701B (zh) * 2020-12-10 2023-12-26 中国科学院深圳先进技术研究院 一步式单细胞分离分配系统
WO2022240656A1 (en) * 2021-05-10 2022-11-17 The Regents Of The University Of California Methods of analyzing shaped particles containing cells using fluorescence activated cell sorting
WO2023235895A1 (en) * 2022-06-03 2023-12-07 The Regents Of The University Of California Systems and methods for image-activated particle sorting based on ai gating

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010145366A (ja) 2008-12-22 2010-07-01 Olympus Corp 細胞画像解析装置、細胞画像解析方法、及びプログラム
JP2014503195A (ja) 2010-11-16 2014-02-13 1087 システムズ インコーポレイテッド 生細胞の識別および選別用システム
US20140073000A1 (en) 2012-09-13 2014-03-13 City University Of Hong Kong Methods and means for manipulating particles
JP2015500475A (ja) 2011-12-07 2015-01-05 アイメックImec 流体中の物体の分析および選別
WO2016054293A1 (en) 2014-09-30 2016-04-07 The Regents Of The University Of California Imaging flow cytometer using spatial-temporal transformation

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5556764A (en) 1993-02-17 1996-09-17 Biometric Imaging, Inc. Method and apparatus for cell counting and cell classification
US20020186874A1 (en) * 1994-09-07 2002-12-12 Jeffrey H. Price Method and means for image segmentation in fluorescence scanning cytometry
NZ506887A (en) 1998-03-30 2003-12-19 Bioshaf Ltd Flow cytometer analysis of cells and body fluids for fertility testing
US7450229B2 (en) 1999-01-25 2008-11-11 Amnis Corporation Methods for analyzing inter-cellular phenomena
MX347048B (es) 2003-03-28 2017-04-07 Inguran Llc * Aparato de muestreo digital y métodos para separar partículas.
US20050221339A1 (en) * 2004-03-31 2005-10-06 Medical Research Council Harvard University Compartmentalised screening by microfluidic control
JP4601423B2 (ja) * 2004-12-28 2010-12-22 独立行政法人科学技術振興機構 細胞計測および分離チップ
US20060164307A1 (en) 2005-01-26 2006-07-27 Innerwireless, Inc. Low profile antenna
JP4047336B2 (ja) * 2005-02-08 2008-02-13 独立行政法人科学技術振興機構 ゲル電極付セルソーターチップ
JP4684959B2 (ja) * 2006-07-04 2011-05-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2010085194A (ja) 2008-09-30 2010-04-15 Sysmex Corp 試料分析装置
WO2011028818A2 (en) * 2009-09-01 2011-03-10 Trustees Of Boston University High throughput multichannel reader and uses thereof
AU2011222582B2 (en) 2010-03-04 2015-10-15 Massachusetts Institute Of Technology Microfluidics sorter for cell detection and isolation
CN102250825A (zh) 2011-06-22 2011-11-23 首都师范大学 一种采用流式细胞仪分选正在分裂细胞的方法
US20130074614A1 (en) * 2011-09-25 2013-03-28 Theranos, Inc., a Delaware Corporation Container configurations
US20160084863A1 (en) 2011-09-25 2016-03-24 Theranos, Inc. Systems and methods for multi-analysis
US8824768B1 (en) * 2011-11-10 2014-09-02 Blair K. Simon Fertilization test method and apparatus
CN104204768B (zh) 2012-02-09 2018-07-10 贝克曼考尔特公司 分选流式细胞仪
US9797836B1 (en) * 2012-02-29 2017-10-24 National Technology & Engineering Solutions Of Sandia, Llc Hyperspectral imaging flow cytometer
US10180398B2 (en) * 2012-02-29 2019-01-15 National Technology & Engineering Solutions Of Sandia, Llc Trajectory-based triggering system for hyperspectral imaging flow cytometer
KR20200105524A (ko) 2012-04-02 2020-09-07 버그 엘엘씨 조사적 세포 기반 분석 및 이의 사용
CN104540548B (zh) 2012-05-15 2017-02-22 皇家飞利浦有限公司 近距放射治疗装置
DK2904406T3 (en) * 2012-10-04 2018-06-18 Vertex Pharma METHOD OF DETERMINING THE ATR INHIBITION, INCREASED DNA DAMAGE
US20150247190A1 (en) * 2012-10-05 2015-09-03 California Institute Of Technology Methods and systems for microfluidics imaging and analysis
CN110579435B (zh) 2012-10-15 2023-09-26 纳诺赛莱克特生物医药股份有限公司 颗粒分选的系统、设备和方法
US9036885B2 (en) * 2012-10-28 2015-05-19 Technion Research & Development Foundation Limited Image reconstruction in computed tomography
EP2984468B1 (en) * 2013-04-12 2021-11-17 Becton, Dickinson and Company Automated set-up for cell sorting
US8820538B1 (en) * 2014-03-17 2014-09-02 Namocell LLC Method and apparatus for particle sorting
US20170122861A1 (en) * 2014-03-17 2017-05-04 Namocell Inc. Method and apparatus for particle sorting
WO2015200857A1 (en) 2014-06-27 2015-12-30 The Regents Of The University Of California Apparatus and method for label-free analysis of rare cells from bodily fluids
US10525462B2 (en) * 2016-04-21 2020-01-07 Georgia Tech Research Corporation Methods, devices, and systems for sorting particles
EP3445490B1 (en) * 2016-04-22 2022-06-29 Becton, Dickinson and Company High density deposition for array production

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010145366A (ja) 2008-12-22 2010-07-01 Olympus Corp 細胞画像解析装置、細胞画像解析方法、及びプログラム
JP2014503195A (ja) 2010-11-16 2014-02-13 1087 システムズ インコーポレイテッド 生細胞の識別および選別用システム
JP2015500475A (ja) 2011-12-07 2015-01-05 アイメックImec 流体中の物体の分析および選別
US20140073000A1 (en) 2012-09-13 2014-03-13 City University Of Hong Kong Methods and means for manipulating particles
WO2016054293A1 (en) 2014-09-30 2016-04-07 The Regents Of The University Of California Imaging flow cytometer using spatial-temporal transformation

Also Published As

Publication number Publication date
EP3469338A1 (en) 2019-04-17
JP2019526783A (ja) 2019-09-19
JP2022106909A (ja) 2022-07-20
CN109863384B (zh) 2022-10-28
US20230384208A1 (en) 2023-11-30
CN109863384A (zh) 2019-06-07
EP3469338A4 (en) 2020-01-15
US11016017B2 (en) 2021-05-25
US20190302000A1 (en) 2019-10-03
US20220011216A1 (en) 2022-01-13
CN115639134A (zh) 2023-01-24
WO2017214572A1 (en) 2017-12-14
US11668641B2 (en) 2023-06-06

Similar Documents

Publication Publication Date Title
JP7075126B2 (ja) 画像ベースの細胞分取システムおよび方法
US11861889B2 (en) Analysis device
US20240094129A1 (en) Imaging flow cytometer using spatial-temporal transformation
Anagnostidis et al. Deep learning guided image-based droplet sorting for on-demand selection and analysis of single cells and 3D cell cultures
JP4982385B2 (ja) イメージングフローサイトメータを使用した血液及び細胞の分析
Rees et al. Imaging flow cytometry
JP7176697B2 (ja) 細胞評価システム及び方法、細胞評価プログラム
CN114556084A (zh) 细胞分析装置系统及细胞分析方法
CN112996900A (zh) 细胞分选装置及方法
KR20210117796A (ko) 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 방법 및 장치
US11371929B2 (en) Systems, devices and methods for three-dimensional imaging of moving particles
CN110537089B (zh) 用于分析细胞的方法和装置
WO2023235895A1 (en) Systems and methods for image-activated particle sorting based on ai gating
Gu Image-Guided Cell Classification and Sorting

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210707

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210922

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220408

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220506

R150 Certificate of patent or registration of utility model

Ref document number: 7075126

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150