JP5873183B2 - 画像データ処理方法及びシステム - Google Patents

画像データ処理方法及びシステム Download PDF

Info

Publication number
JP5873183B2
JP5873183B2 JP2014537182A JP2014537182A JP5873183B2 JP 5873183 B2 JP5873183 B2 JP 5873183B2 JP 2014537182 A JP2014537182 A JP 2014537182A JP 2014537182 A JP2014537182 A JP 2014537182A JP 5873183 B2 JP5873183 B2 JP 5873183B2
Authority
JP
Japan
Prior art keywords
image
particles
particle
calculating
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014537182A
Other languages
English (en)
Other versions
JP2014532188A5 (ja
JP2014532188A (ja
Inventor
フィッシャー,マシュー
Original Assignee
ルミネックス コーポレーション
ルミネックス コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ルミネックス コーポレーション, ルミネックス コーポレーション filed Critical ルミネックス コーポレーション
Publication of JP2014532188A publication Critical patent/JP2014532188A/ja
Publication of JP2014532188A5 publication Critical patent/JP2014532188A5/ja
Application granted granted Critical
Publication of JP5873183B2 publication Critical patent/JP5873183B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T3/14
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Electro-optical investigation, e.g. flow cytometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P5/00Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft
    • G01P5/18Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft by measuring the time taken to traverse a fixed distance
    • G01P5/20Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft by measuring the time taken to traverse a fixed distance using particles entrained by a fluid stream
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/262Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6497Miscellaneous applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image

Description

優先権主張
本出願は、2011年10月18日出願の米国仮特許出願番号61/627,851「Methods and Systems for Image Data Processing」の優先権を主張するものである。
本発明は、概して、画像データ処理のための方法及びシステムに関する。幾つかの実施態様は、粒子の複数の画像を処理して画像間の粒子の移動量を計算するための1つ又はそれ以上のステップを実行するための方法及びシステムに関する。
以下の説明及び例は、このセクションに含まれるという理由で従来技術と認められるものではない。
電荷結合素子(CCD)検出器などの検出器を使用するイメージングは、バイオテクノロジアプリケーションにおいて現在利用可能な複数の機器で利用されている。このような応用例は、粒子の複数の画像を撮影することを必要とする場合がある。この粒子の複数の画像において、粒子は移動しているように見える場合がある。粒子の複数の画像が時間内(又はおそらく同時)に一緒に撮影された場合に、粒子は変位又は移動しているように見える場合がある。従って、粒子の画像をデータ処理して画像間の粒子の移動量を計算するための方法及びシステムを開発することが望ましい。
米国特許第5,736,330号 米国特許第5,981,180号 米国特許第6,057,107号 米国特許第6,268,222号 米国特許第6,449,562号 米国特許第6,514,295号 米国特許第6,524,793号 米国特許第6,528,165号 米国特許第6,649,414号 米国特許第6,592,822号 米国特許第6,939,720号 米国特許出願第11/534,166号 米国特許出願第11/270,786号
前述の問題は、その大部分が、粒子の画像データ処理と関連する1つ又はそれ以上のステップを実行するための、コンピュータに実装された方法、記憶媒体、及びシステムによって対処できる。以下は、コンピュータに実装された方法、記憶媒体、及びシステムの例示的な実施形態であり、特許請求の範囲の主題を限定するものと解釈すべきではない。
コンピュータに実装された方法、記憶媒体、及びシステムの実施形態は、蛍光材料と結合した粒子の、第1の画像内の粒子の位置を決定し、粒子の位置における粒子の第1の画像と粒子の第2の画像との間の推定移動量を規定する変換パラメータを計算し、変換パラメータを第1の画像内の粒子の位置に適用して、第2の画像内の粒子の移動位置を決定するように構成することができる。
方法、記憶媒体、及びシステムの幾つかの実施形態では、変換パラメータは、半径方向成分及び定数成分を含む。半径方向成分は、第1の画像内の粒子の位置と第1の画像の中心との間の距離に比例することができる。
方法、記憶媒体、及びシステムの幾つかの実施形態では、変換パラメータを計算することは、第2の画像内の粒子の推定位置を推定し、第1の画像内の粒子の位置及び第2の画像内の粒子の推定位置に基づいて可能性のある変換パラメータを計算することを含むことができる。幾つかの実施形態では、変換パラメータを計算することはさらに、可能性のある変換パラメータに基づいて最適な変換パラメータを決定することを含むことができる。
方法、記憶媒体、及びシステムの幾つかの実施形態では、第2の画像内の粒子の推定位置を推定することは、第2の画像と第1の画像内の粒子の位置とに基づいて最大積分位置を決定することを含むことができる。さらに、幾つかの実施形態では、最適な変換パラメータを決定することは、ハフ(Hough)変換を使用することを含む。
方法、記憶媒体、及びシステムの幾つかの実施形態はさらに、粒子間の力に基づいて誤差成分を計算することを含むことができる。
不定冠詞は、本開示が明示的に別の方法で必要としない限り、1つ又はそれ以上として規定される。
「実質的に」という用語及びその変更例は、大部分は、として規定され、当業者であれば理解するように、必ずしも、明確化される完全なものとは限らず、非限定的な一実施形態では、「実質的に」という用語は、明確化されたものの、10%の範囲内、好ましくは5%の範囲内、より好ましくは1%の範囲内、最も好ましくは0.5%の範囲内に言及する。
「備える」という用語(及び、「備え」及び「備えている」などの、備えることの任意の語形)、「有する」という用語(及び、「有し」及び「有している」などの、有することの任意の語形))、「含む」という用語(及び、「含み」及び「含んでいる」などの、含むことの任意の語形)、「包含する」という用語(及び、「包含し」及び「包含している」などの、包含することの任意の語形)は、非限定的な連結動詞である。結果的に、1つ又はそれ以上のステップ又は要素を、「備える」、「有する」、「含む」、又は「包含する」、方法又はデバイスは、これらの1つ又はそれ以上のステップ又は要素を保有するが、これらの1つ又はそれ以上の要素のみを保有することに限定されるものではない。同様に、1つ又はそれ以上の機能を、「備える」、「有する」、「含む」、又は「包含する」、方法のステップ又はデバイスの要素は、これらの1つ又はそれ以上の機能を保有するが、これらの1つ又はそれ以上の機能のみを保有することに限定されるものではない。さらに、特定の方法で構成されるデバイス又は構成は、少なくともその方法で構成されるが、記載されていない方法で構成することもできる。
別の機能及び関連する利点は、特定の実施形態の以下の詳細な説明を添付図面と併せて参照することにより明らかになるであろう。
以下の図面は本明細書の一部分を構成し、本発明の特定の態様をさらに示すために含まれる。これらの、1つ又はそれ以上の図面を、本明細書に示す特定の実施形態の詳細な説明と併せて参照することによって、本発明をよく理解することができる。
粒子の画像を取得及び処理するように構成されたシステムの一実施形態の断面図を示す概略図である。 粒子の画像を処理するための方法の概要を示すフローチャートである。 粒子の第1の画像と粒子の第2の画像との間での可能性のあるグリッド歪曲を示す。 粒子の自由物体図を示す。 最大積分位置を決定する特定の実施形態を示す。 最適な変換パラメータを決定することにおいて使用される投票空間を示す。 粒子の別の自由物体図を示す。
本明細書では粒子に関する実施形態を説明するが、本明細書で説明するシステム及び方法はさらに、ミクロスフィア、ポリスチレンビーズ、微粒子、金ナノ粒子、量子ドット、ナノドット、ナノ粒子、ナノシェル、ビーズ、マイクロビーズ、ラテックス粒子、ラテックスビーズ、蛍光ビーズ、蛍光粒子、カラー粒子、カラービーズ、組織、細胞、微生物、有機物、非有機物、又は当技術分野で既知の他の任意の別個の物質とともに使用することができることを理解されたい。粒子は、分子反応の媒介物として作用することができる。適切な粒子の例は、Fultonに付与された米国特許第5,736,330号、Chandler他に付与された米国特許第5,981,180号、Fultonに付与された米国特許第6,057,107号、Chandler他に付与された米国特許第6,268,222号、Chandler他に付与された米国特許第6,449,562号、Chandler他に付与された米国特許第6,514,295号、Chandler他に付与された米国特許第6,524,793号、及びChandlerに付与された米国特許第6,528,165号に示され、説明されており、それらの全体は、引用により本明細書で紹介している。本明細書で説明するシステム及び方法は、これらの特許に記載された任意の粒子とともに使用することができる。さらに、本明細書で説明する方法及びシステムの実施形態で使用される粒子は、米国テキサス州オースチンのLuminex Corporation社などの製造業者から入手することができる。「粒子」、「ミクロスフィア」、「ビーズ」という用語は、本明細書では交換可能の意味で使用される。
さらに、本明細書で説明するシステム及び方法と互換性がある種類の粒子は、粒子の表面に付着した又はそれと結合した蛍光材料を有する粒子を含む。これらの種類の粒子は、蛍光染料又は蛍光粒子が分類蛍光(classification fluorescence)(すなわち、粒子又は粒子が属するサブセットの識別情報を決定するために測定及び使用される蛍光放射)をもたらすために粒子の表面に直接結合され、Chandler他に付与された米国特許第6,268,222号及びChandler他に付与された米国特許第6,649,414号に示され説明されており、それらの内容は本明細書で引用されている。本明細書で説明する方法及びシステムで使用できる種類の粒子はさらに、粒子の核に組み込まれた1つ又はそれ以上の蛍光色素又は蛍光染料を有する粒子を含む。
本明細書で説明する方法及びシステムで使用できる粒子はさらに、1つ又はそれ以上の適切な光源に曝されたときに自発的に1つ又はそれ以上の蛍光信号を示す粒子を含む。さらに、励起時に粒子が複数の蛍光信号を示し、粒子の識別情報を決定するためにこの蛍光信号の各々を別々に又は組み合わせて使用できる粒子を製造することができる。以下に説明するように、画像データ処理は、具体的には、複数検体流体に関する粒子の分類、並びに粒子に結合した検体の量の決定を含む。報告信号は、粒子に結合した検体の量を表すことができるが、オペレーション中は通常未知であるので、分類波長又は分類波長帯域だけでなく報告波長又は報告波長帯域でも蛍光を放射するように特別に染色された粒子を、本明細書で説明するシステムと併せて使用することができる。
本明細書で説明する方法は、概して、粒子の画像を解析するステップと、画像から測定されたデータを処理して画像内の粒子の位置を決定するステップとを含む。粒子の1つ又はそれ以上の特性の後続処理は、Fultonに付与された米国特許第5,736,330号、Chandler他に付与された米国特許第5,981,180号、Chandler他に付与された米国特許第6,449,562号、Chandler他に付与された米国特許第6,524,793号、Chandlerに付与された米国特許第6,592,822号、及びChandler他に付与された米国特許第6,939,720号、並びにRoth他に付与された米国特許出願第11/534,166号に記載の方法により実行することができ、これらの先行技術は本明細書で紹介している。
ここで図面に移るが、図1は縮尺どおりに作図されたものではないことに留意されたい。具体的には、この図面の要素の一部の縮尺は、それらの要素の特性を強調するために非常に誇張されている。システムの一部の要素は、明瞭にするために図面に含まれたものではない。
本明細書で説明する方法の実施形態により粒子の画像を生成、取得、又は供給し、それらの画像を処理するように構成されたシステムの一実施形態を、図1に示す。図1に示すシステムは、粒子の複数検体測定などの応用例で使用することができる。このシステムは、光源10を含むイメージングサブシステムを含む。光源10は、発光ダイオード(LED)、レーザー、アーク灯、白熱灯、又は当技術分野で公知の他の任意の適切な光源などの、1つ又はそれ以上の光源を含むことができる。追加的に又は代替的に、光源は、各々が異なる波長又は異なる波長帯域で光を生成するように構成された1つより多い光源(図示せず)を含むことができる。図1に示すシステムでの使用に適した光源の組み合わせの一例は、2つ又はそれより多いLEDを含むが、それに限定されなるものではない。1つより多い光源からの光は、ビームスプリッタ(図示せず)又は当技術分野で公知の他の任意の適切な光学要素によって共通の照明経路に組み合わせることができ、それらの光源からの光は、粒子に同時に向けることができる。代替的に、イメージングサブシステムは、反射鏡などの光学要素(図示せず)と、どの光源が粒子を照明するのに使用されるかに応じて光学要素を照明経路の中又は外に移動させるように構成されたデバイス(図示せず)とを含むことができる。この方法で、光源を使用して、光の様々な波長又は様々な波長帯域を用いて粒子を連続的に照明することができる。さらに、光源は、基板(図示せず)の下からではなく基板の上から照明することができる(図示せず)。
光源は、粒子又はそれに結合された材料に蛍光を放射させる波長又は波長帯域で光を供給するように選択することができる。例えば、波長又は波長帯域は、粒子に組み込まれた、及び/又は粒子の表面に結合された蛍光染料又は他の蛍光材料を励起するように選択することができる。この方法で、波長又は波長帯域は、粒子が、その粒子の分類に使用される蛍光を放射するように選択することができる。さらに、波長又は波長帯域は、粒子の表面の試薬を介して粒子に結合された蛍光染料又は他の蛍光材料を励起するように選択することができる。従って、波長又は波長帯域は、粒子が、その表面で生じる反応を検出及び/又は定量化するのに使用される蛍光を放射するように選択することができる。
図1に示すように、イメージングサブシステムは、光源10からの光を粒子16が固定される基板14に向けるように構成された光学要素12を含むことができる。一実施例では、光学要素12は、コリメーティングレンズとすることができる。しかしながら、光学要素12は、光源10からの光を基板14にイメージングするのに使用できる他の任意の適切な光学要素を含むことができる。さらに、光学要素は、図1では単一の光学要素として図示されているが、光学要素12が、1つより多い屈折要素を含むことができることを理解されたい。さらに、光学要素12は、図1では屈折光学要素として示されているが、1つ又はそれ以上の反射光学要素を使用して(おそらくは1つ又はそれ以上の屈折光学要素と組み合わせて)、光源10からの光を基板14にイメージングできることを理解されたい。
粒子16は、前述した粒子のいずれをも含むことができる。基板14は、当技術分野で公知の任意の適切な基板を含むことができる。基板14上に固定された粒子は、イメージングチャンバ(図示せず)内、又はイメージングサブシステムに関する、基板14及びそれ固定された粒子16の位置を維持するための他の任意のデバイス内に配置することができる。さらに、基板14の位置を維持するためのデバイスは、イメージングの前に基板の位置を変更する(例えば、イメージングサブシステムの焦点を基板に合わせる)ように構成することができる。基板上での粒子の固定は、磁気吸引、真空フィルタプレート、又は当技術分野で公知の他の任意の適切な方法を使用して実行することができる。イメージングのためにミクロスフィアを位置決めする方法及びシステムの実施例は、2005年11月9日出願のPempsellに付与された米国特許出願第11/270,786号に示されており、その全体は、引用により本明細書に記載されているかのように組み込まれる。粒子固定方法自体は、本明細書で説明する方法及びシステムにとって特に重要ではない。しかしながら、粒子は、粒子が、複数秒間とすることができる検出器積分器間中に、知覚可能に移動しないように固定されることが好ましい。
図1に示すように、イメージングサブシステムは、光学要素18及びビームスプリッタ20を含むことができる。光学要素18は、基板14及びその上に固定された粒子16からの光の焦点をビームスプリッタ20に合わせるように構成される。光学要素18はさらに、光学要素12に関して前述したように構成することができる。ビームスプリッタ20は、当技術分野で公知の任意の適切なビームスプリッタを含むことができる。ビームスプリッタ20は、光の波長に基づいて、光学要素18からの光を種々の検出器に向けるように構成することができる。例えば、第1の波長又は波長帯域を有する光を、ビームスプリッタ20によって透過させ、第1の波長又は波長帯域と異なる第2の波長又は波長帯域を有する光を、ビームスプリッタ20によって反射させることができる。イメージングサブシステムはさらに、光学要素22及び検出器24を含むことができる。ビームスプリッタ20によって透過された光は、光学要素22に向けることができる。光学要素22は、ビームスプリッタによって透過された光の焦点を検出器24に合わせるように構成される。イメージングサブシステムはさらに、光学要素26及び検出器28を含むことができる。ビームスプリッタ20によって反射された光は、光学要素26に向けることができる。光学要素26は、ビームスプリッタによって反射された光の焦点を検出器28に合わせるように構成される。光学要素22及び26は、光学要素12に関して前述したように構成することができる。
検出器24及び28は、例えば、電荷結合素子(CCD)検出器、又は、CMOS検出器、感光要素の2次元アレイ、時間遅延積分(TDI)検出器などの当技術分野で公知の他の任意の適切なイメージング検出器を含むことができる。いくつかの実施形態では、2次元CCDイメージングアレイなどの検出器を使用して、実質的に基板全体の画像又は基板上に固定された全ての粒子の画像を同時に取得することができる。この方法で、基板の照明された領域からの全ての光子を同時に収集することができ、これによって、光電子増倍管(PMT)及びスキャニングデバイスを含む他の現在入手可能なシステムで使用されるサンプリングアパーチャに起因する誤差が排除される。さらに、このシステムに含まれる検出器の個数は、関与している波長又は波長帯域の数と等しくすることができ、各検出器は、それらの波長又は波長帯域のうちの1つで画像を生成するのに使用される。
検出器によって生成された各画像は、ビームスプリッタから検出器までの光経路内に配置された光学的バンドパス要素(図示せず)又は当技術分野で公知の他の任意の適切な光学要素を使用して、スペクトル的にフィルタリングすることができる。取り込まれる画像ごとに異なるフィルタ「帯域」を使用することができる。画像を取得する各波長又は各波長帯域に関する検出波長の中心及び幅は、それらが、粒子分類に使用されるものであれ、或いは報告信号であれ、関与している蛍光放射に一致させることができる。この方法で、図1に示すシステムのイメージングサブシステムは、異なる波長又は波長帯域で複数の画像を同時に生成するように構成することができる。図1に示すシステムは、2つの検出器を含むが、このシステムが、2つより多い検出器(例えば、3つの検出器、4つの検出器など)を含むことができることを理解されたい。前述したように、各検出器は、様々な波長又は波長帯域の光を異なる検出器に同時に及び/又は連続的に向けるための1つ又はそれ以上の光学要素を含めることによって、様々な波長又は波長帯域で同時及び/又は連続的に画像を生成するように構成することができる。
さらに、図1に示すシステムは、複数の検出器を含むが、このシステムは単一の検出器を含むことができることを理解されたい。単一の検出器は、複数の波長又は波長帯域で複数の画像を連続的に生成するために使用することができる。例えば、様々な波長又は波長帯域の光は、連続的に基板に向けることができ、種々の画像は、基板の照明中に様々な波長又は波長帯域の各々を用いて生成することができる。別の実施例では、単一の検出器に向けられる光の波長又は波長帯域を選択するための種々のフィルタを変更して(例えば、種々のフィルタをイメージング経路の中に又は外に移動させることによって)、様々な波長又は波長帯域で連続的に画像を生成することができる。
結果的に、図1に示すイメージングサブシステムは、関与している複数の波長で粒子16の蛍光放射を表す複数の画像又は一連の画像を生成するように構成される。さらに、このシステムは、粒子の蛍光放射を表す複数のディジタル画像又は一連のディジタル画像をプロセッサ(すなわち、処理エンジン)に供給するように構成することができる。このような実施例の1つでは、このシステムは、プロセッサ30を含むことができる。プロセッサ30は、検出器24及び28から画像データを取得する(例えば、受け取る)ように構成することができる。例えば、プロセッサ30は、当技術分野で公知の任意の適切な形態で検出器24及び28に連結することができる(例えば、各々が検出器のうちの1つをプロセッサに連結させる伝送媒体(図示せず)を介して、各々が検出器のうちの1つとプロセッサとの間に連結されたアナログ−ディジタル変換器などの1つ又はそれ以上の電子構成要素(図示せず)を介して、など)。好ましくは、プロセッサ30は、少なくとも、これらの画像を処理及び解析して、粒子16の分類、及び粒子の表面で生じる反応に関する情報などの、粒子16の1つ又はそれ以上の特性情報を決定するように構成される。この1つ又はそれ以上の特性情報は、粒子ごとに波長ごとに蛍光の大きさの1項目を有するデータ配列などの任意の適切な形式でプロセッサによって出力することができる。具体的には、プロセッサは、さらに(例えば、追加的に又は代替的に)、本明細書で説明する方法の実施形態の1つ又はそれ以上のステップを実行して画像を処理及び解析するように構成することができる。
プロセッサ30は、通常のパーソナルコンピュータ、メインフレームコンピュータシステム、ワークステーションなどに一般的に含まれるプロセッサなどのプロセッサとすることができる。一般的に、「コンピュータシステム」という用語は、メモリ媒体からの命令を実行する1つ又はそれ以上のプロセッサを有する全てのデバイスを含むものとして幅広く定義することができる。プロセッサは、他の任意の適切な機能的ハードウェアを使用して実装することができる。例えば、プロセッサは、ファームウェア内の固定プログラムを伴うディジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、又はvery high speed integrated circuits(VHSIC)hardware description language(VHDL)などの高水準プログラミング言語で「記述された」シーケンシャルロジックを用いる他のプログラミング可能ロジックデバイス(PLD)を含むことができる。別の実施例では、本明細書で説明するコンピュータに実装された方法の1つ又はそれ以上のステップを実行するための、プロセッサ30上で実行可能なプログラム命令(図示せず)は、必要に応じて、適宜C++で記述されたセクションを伴うC#、ActiveXコントロール、Java(登録商標)Beans、Microsoft Foundation Classes(「MFC」)などの高水準言語、或いは他の技法又は方法でコーディングすることができる。プログラム命令は、とりわけ、手続きベースの技法、コンポーネントベースの技法、及び/又はオブジェクト指向の技法を含む様々な方法のいずれかで実装することができる。
本明細書で説明するものなどの方法を実行するプログラム命令は、記憶媒体を介して伝達すること又は記憶媒体に格納することができる。記憶媒体は、読取専用メモリ、ランダムアクセスメモリ、磁気ディスク、光ディスク、又は磁気テープを含むことができるが、これらに限定されるものではない。各画像に関して、配置された全粒子情報、及び識別された粒子ごとに決定された値及び/又は統計値は、記憶媒体内のメモリ媒体に格納することができる。本明細書で説明する画像処理方法は、1つ又はそれ以上のアルゴリズムを使用して実行することができる。以下に詳細に説明するように、これらのアルゴリズムは、複雑である場合があり、従って、コンピュータ(例えば、処理デバイス)を介して最良に実装することができる。従って、本明細書で説明する方法、特に図2に関して説明する方法は、「コンピュータに実装された方法」と称する場合があり、「方法」及び「コンピュータに実装された方法」という用語は、本明細書では交換可能に用いられる場合がある。本明細書で説明するシステムのコンピュータに実装された方法及びプログラム命令は、一部の事例では、本明細書で説明する方法に関連する処理以外の処理を実行するように構成することができ、したがって、本明細書で説明するシステムのコンピュータに実装された方法及びプログラム命令は、必ずしも図面における記載に限定されるものではないことに留意されたい。
一実施形態により、画像データ処理のためのコンピュータに実装された方法は、1つ又はそれ以上の以下のステップ(すなわち、高水準オペレーション)、すなわち、第1の画像内の粒子の位置を決定するステップと、変換パラメータを計算するステップと、変換パラメータを第1の画像内の粒子の位置に適用して、第2の画像内の粒子の移動位置を決定するステップとを含む。幾つかの実施形態では、これらのステップは、前述の順番で連続的に実行することができる。
図2は、画像処理のためのステップの例示的なシーケンスを示す方法200を示す。図示のように、方法200は、蛍光材料と結合した粒子の複数の画像に関してデータを取得するステップ202を含むことができ、この複数の画像の各々は、異なる波長帯域に対応する。一部の事例では、このデータは、イメージングシステムから直接取得することができ、別の事例では、このデータは、記憶媒体から取得することができる。いずれの事例においても、データは、前述の様々な波長で撮影された複数の画像を表すことができる。使用できる例示的な波長は、限定されるものではないが、分類チャネル1に関しては赤、分類チャネル2に関しては赤(例えば、赤の波長と同じ又は異なる)、報告チャネルに関しては緑などの種々のカラーチャネルに対応することができる。さらに前述したように、各カラーチャネルに適応させるために、本明細書で説明する方法に関して使用される粒子は、関与している全ての波長又は波長帯域で放射するように特別に染色することができる。
具体的には、複数の画像内の分類信号と報告信号の両方を測定するために、本明細書で説明する方法は、分類波長又は分類波長帯域だけでなく報告波長又は報告波長帯域でも蛍光を放射するように特別に染色された粒子を使用して実行することができる。
幾つかの実施形態では、第1の波長で撮影された画像は、「第1の画像」と言及され、それと同じ又は異なる波長で撮影された後続/同時の画像は、「第2の画像」と言及される場合がある。好ましい実施形態では、第1の画像は、分類チャネル(例えば、CL1又はCL2)に関連し、第2の画像は、報告チャネル(RP)に関連することができる。前述したように、第1の画像及び第2の画像は、連続的に(任意の順番で)又は同時に撮影することができる。
図1に関して説明するサブシステムの実施形態では、粒子は、1つ又はそれ以上の画像にわたって視認される場合に、移動しているように見える場合がある。画像間の粒子の移動は、少なくともレンズの歪曲及び/又は色収差に起因することができる。このことは、粒子が複数の画像間で実際に変位又は移動していなくとも、粒子が、レンズの歪曲又は色収差に基づいて移動しているように見える場合がある。図1に関して、レンズの歪曲及び/又は色収差は、フィルタ(例えば、フィルタホイール)、光源10、及び/又は1つ又はそれ以上の光学要素12、18、22、及び26の結果とすることができる。図3(a)、(b)、及び(c)は、グリッド歪曲に起因することができる移動を示す。図3(a)は、レンズの歪曲による分類チャネル画像(例えば、第1の画像)でのグリッド歪曲を示す。図面に示すように、画像内の最大の歪曲は、角部で生じる。図3(b)は、報告チャネル画像(例えば、第2の画像)でのグリッド歪曲を示す。この図面に示すように、ここでもまた、画像内の最大の歪曲は、角部で生じる。図3(c)は、報告チャネル画像及び分類チャネル画像の1つの角部を重ね合わせた画像を示す。図示のように、図3(c)は、分類チャネル画像から報告チャネル画像への画像の中心に向けての明確な移動を示す。このように、レンズの歪曲及び色収差の結果として、粒子は、分類チャネル画像と報告チャネル画像との間で移動しているように見える場合がある。図3に示すように、レンズの歪曲は、半径方向の移動の原因である。任意のグラス(例えば、光学要素、チャンバ、及び同様のもの)を通過する光では、様々な波長が、プリズムのように様々に屈折することができる。チャンバ(例えば、上端部プレート)又は別の光学要素での分散により、さらに異なるものとなる色収差をもたらすことができる。
複数の(例えば、少なくとも2つの)画像に関するデータを取得するステップ202の後に、方法200は、引き続き、粒子の第1の画像内での粒子の位置を決定するステップに移ることができる。全体にわたって説明するように、粒子は、蛍光材料と結合させることができる。さらに、実施形態では、「第1の画像」は、具体的には分類チャネル画像に言及することができる。当業者であれば、ピーク検出及び同様の方法を含む、分類チャネル画像内の粒子の位置を決定するための様々な画像処理技術を認識するであろう。例えば、様々な方法が、Roth他に付与された米国特許出願第11/534,166号に記載されている。
幾つかの実施形態では、分類チャネル画像内の粒子の位置を決定するステップは、報告チャネル画像内の粒子の位置を決定するステップより容易なものにできる。前述したように、分類チャネル画像は、粒子自体を明らかにするように構成することができ、報告チャネル画像は、粒子に結合された物質(例えば、検体)を明らかにするように構成することができる。分類チャネル画像内のピーク検出(又は、同様のアルゴリズム)は、それ自体で、粒子の位置を精密に観察することができる。同時に、ピーク検出(又は、同様のアルゴリズム)は、検体の位置を観察することができるが、検体の位置は、粒子の位置に、相関付けることができる、或いは相関付けることができない。より正確に言えば、このようなアルゴリズムは、粒子の縁部の検体の位置又は依然として別の粒子の位置を観察することができる。
方法200の一部の実施形態では、本方法は、変換パラメータを計算するステップ206を含むことができる。変換パラメータは、粒子の第1の画像と粒子の第2の画像との間での粒子の位置の推定移動量を規定する。変換パラメータを使用することにより、第2の画像内の粒子の位置を第1の画像内の粒子の位置の関数として決定することができる。
幾つかの実施形態では、変換パラメータは、半径方向成分及び定数成分を含むことができる。例えば、図4は、変換パラメータを規定するために使用できる半径方向の移動及び一定の移動の一実施形態を示す。一定の移動は、フィルタホイールの光学的な効果によって引き起こされる場合がある。図4に示すように、p0は、第1の画像内の粒子の位置を示し、同様にp1は、第2の画像内の粒子の位置を示す。移動量は、2つの成分、すなわち、(1)一定の移動ベクトルであるsと、(2)半径方向の移動量であるaとの組み合わせとして規定することができる。半径方向成分は、第1の画像内の粒子の位置と画像の中心Oとの間の距離に比例するものとすることができる。従って、p1の位置は、数式(1)、すなわち、
を使用して決定することができる。
数式(1)及び変換パラメータ(例えば、a及びsによって規定)を使用して、第1の画像内の粒子の位置を決定することができる。前述したように、数式(1)(成分a及びsを使用)は、開示する方法の特定の実施形態を表す。変換パラメータは、単一の成分を含むこと、又は複数の成分さえも含むことができる。p0とp1との間の関係は、線形である必要はなく、非線形とすることもできる。
幾つかの実施形態では、変換パラメータを計算するステップ206は、第2の画像内の粒子の推定位置を推定するステップ208を含むことができる。前述したように、ピーク検出アルゴリズムなどのアルゴリズムは、第2の画像内の粒子の位置を、求めることができる、又は求めることができない。このようなアルゴリズムを使用して、第2の画像内の粒子の位置を推定することができる。「最大積分位置(maximal integral location)」と称される別の方法を以下により詳細に説明する。
これらの推定位置のうちの1つ又はそれ以上に基づいて、可能性のある変換パラメータを計算すること210ができる。例えば、単一ペアのポイント(例えば、p0及び推定されたp1)を使用して、1つ又はそれ以上の変換パラメータを規定することができる。しかしながら、1つより多い成分を含む変換パラメータの実施形態では、可能性のある変換パラメータを決定するために1つより多いペアのポイントが必要な場合がある。1つより多いペアのポイントを使用して、各ペアが単一の可能性のある変換パラメータを規定できるように構成して、一組の可能性のある変換パラメータを規定することができる。幾つかの実施形態では、一組の可能性のある変換パラメータを解析することによって、最適な変換パラメータを決定すること212ができる。一実施形態では、最適な変換パラメータを決定するステップは、一組の可能性のある変換パラメータの平均値、中央値、最頻値、又は同様の値を取得するステップを含むことができる。ハフ変換を用いる別の方法を以下により詳細に説明する。
幾つかの実施形態では、第2の画像内の粒子の位置を推定するステップ208は、第2の画像及び第1の画像内の粒子の位置に基づいて最大積分位置を決定するステップを含むことができる。図5(a)は、最大積分位置(例えば、推定されたp1)を求める一実施形態を示す。最大積分位置を求めるステップは、第1の画像内のp0の位置に基づいて第2の画像内のp1の位置p1を推定するステップを含む。幾つかの実施形態では、最大積分位置を求めるステップは、第2の画像内のポイントp0の位置を求めるステップを含む。粒子の元の位置p0を図5(a)に示す。最大積分位置を求めるステップはさらに、p0のまわりの特定の距離で画像を解析するステップを含むことができる。この、p0のまわりの特定の距離は、解析される領域を規定することができる。図5(a)では、正方形内に含まれる画像の部分を解析することができる。より具体的には、図面において、この正方形は、p0を起点とする各方向内の3つの画素によって規定される。様々な実施形態では、この距離は、任意の数の画素又は他の因子とすることができる。代替的に、幾つかの実施形態では、p0のまわりの特定の距離は、p0のまわりの円(例えば、半径に基づく)として規定することができる。
最大積分位置を求めるステップはさらに、領域内の1つ又はそれ以上のポイントqに関して、qに中心合わせされた積分強度を計算するステップを含むことができる。図面に示すように、解析される領域内の一組の画素(例えば、正方形のボックス)は、一組のポイントqを規定することができる。各ポイントqに関して、積分強度が計算される。図面の特定の実施形態では、積分される領域は、円(例えば、2.5画素の半径を有する)によって規定される。別の実施形態では、積分される領域は、正方形(例えば、2.5画素の半分の辺長を有する)によって規定することができる。幾つかの実施形態では、積分強度を最大化するqの値は、第2の画像内の粒子の位置(例えば、p1)であると推定される。
図5(a)に示すように、この特定の実施形態では、最大積分位置による方法は、第2の画像内の粒子の位置を正確に識別する。対照的に、図5(b)では、最大積分位置による方法は、第2の画像内の粒子の位置を正確に識別するものではない。この図面では、第2の画像内に「低輝度」粒子と「高輝度」粒子の両方が存在する。第1の画像内の低輝度粒子の位置p0が与えられると、第2の画像内の粒子の実際の位置が、図面内の「正確なビーズ中心」に識別される。しかしながら、隣接する粒子による干渉により、ポイントp1は、最大積分位置として求められる。図5(b)に示す粒子の推定位置は、異常値である。図5(a)の一対のポイント(p0及びp1)を使用して、「正確な」変換パラメータを計算することができるが、図5(b)の一対のポイントは「不正確な」変換パラメータをもたらす。
図5に関して説明する方法のステップは、数式(2)及び数式(3)に関する特定の実施形態で説明される。数式(2)は、第2の画像(例えば、RP)内で積分半径rを有するポイントpに関する画素の合計f(p)を規定する。数式(3)は、K(p0、m)を、第2の画像(例えば、RP)内でp0からの距離がmより小さい全てのポイントp1での積分強度の集合として規定する。
第1の画像内の粒子の中心p0が与えられると、この粒子の第2の画像内での最大積分位置は、f(p1)がK(p0、m)の最大値である場合の位置p1として規定することができる(この特定の実施形態において)。ここで、mは、第1の画像から第2の画像への粒子の検出可能な移動量である。
第2の画像内の粒子の位置を推定するステップ208の後に、一組の可能性のある変換パラメータを計算することができ、この一組の変換パラメータを使用して、最適な変換パラメータを決定することができる。図5に関して説明したように、1対のポイント(例えば、p0及び推定されたp1)の一部は、「正確」な場合がある。すなわち、推定されたp1は、第2の画像内の粒子の実際の位置に対応する。同様に、1対のポイントの一部は、「不正確」な場合がある。1対のポイントの多くは適切である(例えば、全てのペアのセットにおいてp1が正確に推定されないことよりも可能性が高い)ので、このセットの解析により、最適な変換パラメータを明らかにすることができる。
特定の実施形態では、可能性のある変換パラメータは、ポイントの各ペアに基づいて計算することができる。さらに、変換(例えば、ハフ変換)を使用して、ポイントの各ペアが、可能性のある変換パラメータに関して「投票」することができる。結果的に、最適な変換パラメータは、最も全体的な投票が与えられる場合の可能性のある変換パラメータである。別のアルゴリズムを使用することができ、これらのアルゴリズムは、1)p0、p1のペアのランダムサンプルコンセンサス(RANSAC)と、2)最初にOに近接するp0、p1を具体的に選択して、aの効果を排除しsに関して解決し、次にsと残りのp0、p1のペアとの両方を使用してaに関して解決することによる変数の除外と、を含むことができる。
可能性のある変換パラメータを計算するステップ210、及び最適な変換パラメータを決定するステップ212の具体的な実施形態を、数式(4)及び数式(5)に関して以下に説明する。この実施形態は、数式(1)によって規定される半径方向成分及び定数成分を有する変換パラメータを使用する。
数式(4)は、sに関して数式(1)を解決し、数式(5)は、aに関して数式(1)を解決する。
以下の疑似コードは、パラメータV(例えば、ハフ空間又は投票空間)を取り入れている。
1)配列Vを0に初期化する。
2)A内の各値aに関して、以下の処理を行う。
ペアp0、p1の各々に関して、以下の処理を行う。
s(p0,p1,a)を計算する。
sをS内の量子化された値に最も近いs‘に設定(Coerce)する。
V[s‘][a]をインクリメントする。
3)S内の各値sに関して、以下の処理を行う。
ペアp0、p1の各々に関して、以下の処理を行う。
s(p0,p1,s)を計算する。
aをA内で量子化された値に最も近いa‘に設定(Coerce)する。
V[s‘][a‘]をインクリメントする。
特定の実施形態では、ベクトルsは、Sのセット内で異なるものとすることができる。例えば、セットSは、<−3,−3>から<3,3>まで異なるものとなるように規定することができ、Sは、1/5画素ごとに量子化することができる。このようなSのセットにより、30の可能性のある変量が与えられる。当業者であれば、セットSは、Sの範囲を拡大/縮小すること又は量子化因子を変更することのいずれかによって、より多い又は少ないものに規定できることを理解するであろう。スカラーaは、Aのセット内で異なるものとすることができる。例えば、セットAは、−.0004から.0004まで異なるものとなるように規定することができ、.0001ステップごとに量子化することができる。このようなAのセットは、80のサイズを有する。画像が2048×2048画素を有する場合の実施形態では、a内の.001ごとの変化は、画像の境界線での半径方向の移動量の約1画素に対応する(Oから画像の縁部までの距離が1024画素であるので)。−.004から.004までの範囲は、半径方向の移動量の約4画素の検出を可能にする。当業者であれば、セットAは、量子化の範囲を変更することによって変更できることを理解するであろう。S又はAのいずれかの範囲の拡大により、結果的に、半径方向移動及びスカラー移動の広範囲な成分が検出される。さらに、より精密な量子化を利用することにより、結果的に、最適な変換パラメータが、より精密に決定される。
図6は、配列Vの一部分の具体的な実施例を示す。sは、2次元ベクトルであるので、x軸及びy軸上に表される。図示のように、Sは、両方の軸に沿って−3から3まで変化する。成分aは、z軸(垂直方向)上で表され、Aは、−.004から.004まで変化する。図面(a)、(b)、(c)、及び(d)の各々は、配列Vのスライスを表す。図示のように、図面6(c)は、投票空間内で最も大きいピークを表す。このピークは、量子化された位置a=0.0009、s=<−0.4,0.4>で生じる。しかしながら、量子化された位置は、「最適な変換パラメータ」でない場合がある。幾つかの実施形態では、ピーク位置に関して投票空間のボリューム内部の中心を計算することにより、最適な変換パラメータ:a*=9.07×10−4、及びs*=<−.3684,.3800>が与えられる。
幾つかの実施形態では、方法200はさらに、変換パラメータを第2の画像に適用するステップ214を含むことができる。このような実施形態では、計算された変換パラメータ(例えば、最適な変換パラメータ)を使用して、第1の画像内の粒子の位置に基づいて第2の画像内の粒子の位置を決定することができる。例えば、数式(1)を使用し、最適な変換パラメータ値a及びsを使用して、各粒子の移動量を決定することができる。
幾つかの実施形態では、変換パラメータを第2の画像に適用するステップ214の前に、誤差ベクトルを計算することができる。従って、誤差ベクトルは、変換パラメータの計算における誤差原因の少なくとも1つに関する根拠とすることができる。具体的には、誤差ベクトルは隣接する粒子の影響を考慮に入れることができる。さらに、隣接する粒子は、所与の粒子に力を加えることができ、それによりその粒子が時間とともに移動する。誤差ベクトルは、数式(6)で規定される。
図7に示すように、各粒子qは、p0に対して力を作用させることができる。より具体的には、この力は、粒子間の磁力を含むことができる。粒子qによって作用する力は、数式(7)で規定された方向(direction)を有すること、及び数式(8)で規定された大きさ(magnitude)を有することができる。粒子qによって作用する力の大きさは、qからp0までの距離の2乗に反比例する。qとp0との間の距離の2乗を計算することに加えて、数式(8)には、変数gが取り入れられている。隣接する全てのビーズqによってp0に作用する力を組み合わせた全体的な誤差ベクトルは、数式(9)において一緒に合計される。
gの最適値が求められると、数式(1)は、誤差ベクトルを計算するために変更することができる。以下の数式(10)は、半径方向成分、定数成分、及び誤差成分を計算する。
最適な変換パラメータの計算と同様に、誤差成分は、誤差成分に関する可能性のある値のセットを推定すること及び誤差成分の最適値を計算することによって決定することができる。数式(11)は、所与の半径内で粒子qによって取り囲まれた所与のポイントpに基づいてgを計算して、集合Qを生成する方法を示す。
gの最適値は、以下の疑似コードを用いて計算することができる。
1) p0、p1ペアの各々に関して、以下の処理を行う。
εを計算する。
Qを、p0に「近接する」隣接粒子と定める。
Wを計算する。
gを計算する。
gが特定の範囲(例えば、―20から0)内に含まれる場合、G内に記録する。
Gから最適値g*を選択する。
前述したように、次に、a、s、及びgの最適値を使用して、第1の画像と第2の画像との間の粒子の移動量を決定することができる。
本開示の恩恵を有する当業者であれば、本発明が、画像データ処理のための、コンピュータに実装された方法、記憶媒体、及びシステムを提供すると信じられるということを理解するであろう。さらに、本明細書を考慮すると、本発明の様々な態様の変更例及び代替的な実施形態は、当業者に明らかであろう。従って、本明細書は、例示的であると解釈されるにすぎず、本発明を実行する一般的な方法を当業者に教示することを目的としている。本明細書に示し説明した本発明の形態は、現在好ましい実施形態とみなされるものであることを理解されたい。要素及び材料は、本明細書に示し説明したものと置き換えることができ、部品及びプロセスは、入れ替えることができ、本発明の特定の機能は、別個に利用することができ、それらの全ては、本発明の説明の恩恵を得た後には当業者に明らかであろう。以下の特許請求の範囲に記載する本発明の思想及び範囲から逸脱することなく、本明細書で説明した要素での変更を行うことができる。
24、28 検出器
30 プロセッサ
12、22、26 光学要素
18、20 ビームスプリッタ
16 粒子
14 基板
10 光源
30 プロセッサ

Claims (17)

  1. 蛍光材料と結合した粒子の、第1の画像内の前記粒子の位置を決定するステップと、
    前記第1の画像内の前記粒子の位置と前記第1の画像の中心との間の距離に比例する半径方向成分、及び定数成分を含み、前記粒子の位置における前記粒子の第1の画像と前記粒子の第2の画像との間の推定移動量を規定する変換パラメータを計算するステップと、
    前記変換パラメータを前記第1の画像内の前記粒子の位置に適用して、前記第2の画像内の前記粒子の移動位置を決定するステップと、
    を含む、コンピュータに実装された方法。
  2. 前記変換パラメータを計算するステップは、
    前記第2の画像内の粒子の推定位置を推定するステップと、
    前記第1の画像内の前記粒子の位置及び前記第2の画像内の前記粒子の推定位置に基づいて可能性のある変換パラメータを計算するステップと、
    を含む、請求項1に記載のコンピュータに実装された方法。
  3. 前記変換パラメータを計算するステップはさらに、
    前記可能性のある変換パラメータに基づいて最適な変換パラメータを決定するステップを含む、請求項2に記載のコンピュータに実装された方法。
  4. 前記第2の画像内の前記粒子の推定位置を推定するステップは、
    前記第2の画像と前記第1の画像内の前記粒子の位置とに基づいて最大積分位置を決定するステップを含む、請求項2に記載のコンピュータに実装された方法。
  5. 前記最適な変換パラメータを決定するステップは、ハフ変換を計算するステップを含む、請求項3に記載のコンピュータに実装された方法。
  6. 前記粒子間の力に基づいて誤差成分を計算するステップをさらに含む、請求項1に記載のコンピュータに実装された方法。
  7. プロセッサによって実行可能なプログラム命令を含む持続性記憶媒体であって、該プログラム命令は、
    蛍光材料と結合した粒子の、第1の画像内の前記粒子の位置を決定するステップと、
    前記第1の画像内の前記粒子の位置と前記第1の画像の中心との間の距離に比例する半径方向成分、及び定数成分を含み、前記粒子の位置における前記粒子の第1の画像と前記粒子の第2の画像との間の推定移動量を規定する変換パラメータを計算するステップと、
    前記変換パラメータを前記第1の画像内の前記粒子の位置に適用して、前記第2の画像内の前記粒子の移動位置を決定するステップと、
    を実行するための命令であることを特徴とする、持続性記憶媒体。
  8. 前記変換パラメータを計算するステップは、
    前記第2の画像内の粒子の推定位置を推定するステップと、
    前記第1の画像内の前記粒子の位置、及び前記第2の画像内の前記粒子の推定位置に基づいて可能性のある変換パラメータを計算するステップと、
    を含む、請求項7に記載の持続性記憶媒体。
  9. 前記変換パラメータを計算するステップはさらに、
    前記可能性のある変換パラメータに基づいて最適な変換パラメータを決定するステップを含む、請求項8に記載の持続性記憶媒体。
  10. 前記第2の画像内の前記粒子の推定位置を推定するステップは、
    前記第2の画像と前記第1の画像内の前記粒子の位置とに基づいて最大積分位置を決定するステップを含む、請求項8に記載の持続性記憶媒体。
  11. 前記最適な変換パラメータを決定するステップは、ハフ変換を計算するステップを含む、請求項9に記載の持続性記憶媒体。
  12. 前記粒子間の力に基づいて誤差成分を計算するステップをさらに含む、請求項7に記載の持続性記憶媒体。
  13. 内部に配置された粒子を様々な波長帯域でイメージングするように構成されたイメージングサブシステムと、
    プロセッサによって実行可能なプログラム命令を含む持続性記憶媒体と、
    を備える、画像データを取得し処理するように構成されたシステムであって、
    前記プログラム命令は、
    各々が様々な波長帯域に対応する前記粒子の複数の画像に関して取得したデータを格納するステップと、
    蛍光材料と結合した前記粒子の、第1の画像内の前記粒子の位置を決定するステップと、
    前記第1の画像内の前記粒子の位置と前記第1の画像の中心との間の距離に比例する半径方向成分、及び定数成分を含み、前記粒子の位置における前記粒子の第1の画像と前記粒子の第2の画像との間の推定移動量を規定する変換パラメータを計算するステップと、
    前記変換パラメータを前記第1の画像内の前記粒子の位置に適用して、前記第2の画像内の前記粒子の移動位置を決定するステップと、
    を実行できるように構成されることを特徴とする、システム。
  14. 前記変換パラメータを計算するステップは、
    前記第2の画像内の粒子の推定位置を推定するステップと、
    前記第1の画像内の前記粒子の位置、及び前記第2の画像内の前記粒子の推定位置に基づいて可能性のある変換パラメータを計算するステップと、
    を含む、請求項13に記載のシステム。
  15. 前記変換パラメータを計算するステップはさらに、
    前記可能性のある変換パラメータに基づいて最適な変換パラメータを決定するステップを含む、請求項14に記載のシステム。
  16. 前記第2の画像内の前記粒子の推定位置を推定するステップは、
    前記第2の画像と前記第1の画像内の前記粒子の位置とに基づいて最大積分位置を決定するステップを含む、請求項14に記載のシステム。
  17. 前記最適な変換パラメータを決定するステップは、ハフ変換を計算するステップを含む、請求項15に記載のシステム。
JP2014537182A 2011-10-18 2012-10-17 画像データ処理方法及びシステム Active JP5873183B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161627851P 2011-10-18 2011-10-18
US61/627,851 2011-10-18
PCT/US2012/060639 WO2013059338A1 (en) 2011-10-18 2012-10-17 Methods and systems for image data processing

Publications (3)

Publication Number Publication Date
JP2014532188A JP2014532188A (ja) 2014-12-04
JP2014532188A5 JP2014532188A5 (ja) 2015-12-10
JP5873183B2 true JP5873183B2 (ja) 2016-03-01

Family

ID=48141311

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014537182A Active JP5873183B2 (ja) 2011-10-18 2012-10-17 画像データ処理方法及びシステム

Country Status (10)

Country Link
US (3) US8859996B2 (ja)
EP (1) EP2769198B1 (ja)
JP (1) JP5873183B2 (ja)
KR (1) KR101979287B1 (ja)
CN (2) CN103959038B (ja)
AU (1) AU2012326198B2 (ja)
BR (1) BR112014009408B1 (ja)
CA (1) CA2852915C (ja)
HK (2) HK1227526A1 (ja)
WO (1) WO2013059338A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017056130A1 (en) 2015-09-30 2017-04-06 Nec Corporation Image processing device, image processing method and storage medium

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5206699A (en) 1988-05-06 1993-04-27 Gersan Establishment Sensing a narrow frequency band of radiation and gemstones
US6610256B2 (en) 1989-04-05 2003-08-26 Wisconsin Alumni Research Foundation Image processing and analysis of individual nucleic acid molecules
US5016173A (en) 1989-04-13 1991-05-14 Vanguard Imaging Ltd. Apparatus and method for monitoring visually accessible surfaces of the body
US6040138A (en) 1995-09-15 2000-03-21 Affymetrix, Inc. Expression monitoring by hybridization to high density oligonucleotide arrays
US5107422A (en) 1989-10-02 1992-04-21 Kamentsky Louis A Method and apparatus for measuring multiple optical properties of biological specimens
US5162990A (en) 1990-06-15 1992-11-10 The United States Of America As Represented By The United States Navy System and method for quantifying macrophage phagocytosis by computer image analysis
US5579409A (en) 1991-09-27 1996-11-26 E. I. Du Pont De Nemours And Company Methods for determining the exterior points of an object in a background
JPH05164687A (ja) 1991-12-18 1993-06-29 Hamamatsu Photonics Kk レシオイメージング装置
DE69331982T2 (de) 1992-11-27 2003-01-23 Fuji Photo Film Co Ltd Verfahren zur Lageanpassung von Röntgenbildern
US6090555A (en) 1997-12-11 2000-07-18 Affymetrix, Inc. Scanned image alignment systems and methods
US5715334A (en) 1994-03-08 1998-02-03 The University Of Connecticut Digital pixel-accurate intensity processing method for image information enhancement
JP3347865B2 (ja) 1994-03-17 2002-11-20 富士写真フイルム株式会社 放射線画像の位置合せ方法
EP0713086B1 (en) 1994-11-17 1999-04-14 Chemunex Apparatus and process for the detection and counting of rarely occurring mammalian cells
US5828766A (en) 1994-12-15 1998-10-27 Anthony Gallo Acoustics, Inc. Acoustic speaker system
US5981180A (en) 1995-10-11 1999-11-09 Luminex Corporation Multiplexed analysis of clinical specimens apparatus and methods
US5736330A (en) 1995-10-11 1998-04-07 Luminex Corporation Method and compositions for flow cytometric determination of DNA sequences
CA2227895C (en) * 1995-10-11 2012-07-17 Luminex Corporation Multiplexed analysis of clinical specimens apparatus and methods
US5983120A (en) * 1995-10-23 1999-11-09 Cytometrics, Inc. Method and apparatus for reflected imaging analysis
US6165734A (en) 1995-12-12 2000-12-26 Applied Spectral Imaging Ltd. In-situ method of analyzing cells
JPH09200508A (ja) * 1996-01-16 1997-07-31 Olympus Optical Co Ltd 画像処理装置
US5841148A (en) 1996-02-02 1998-11-24 Fuji Photo Film Co., Ltd. Image processing apparatus
DE19629141A1 (de) 1996-07-19 1998-04-16 Bayer Ag Verfahren und Vorrichtung zum Screening von Molekülen bezüglich ihres individuellen Bindungsverhaltens zu mindestens einem vorgegebenen Ligand
US6506564B1 (en) 1996-07-29 2003-01-14 Nanosphere, Inc. Nanoparticles having oligonucleotides attached thereto and uses therefor
US6449562B1 (en) 1996-10-10 2002-09-10 Luminex Corporation Multiplexed analysis of clinical specimens apparatus and method
US6416959B1 (en) 1997-02-27 2002-07-09 Kenneth Giuliano System for cell-based screening
EP1439384B1 (en) * 1997-02-27 2008-05-14 Cellomics, Inc. A system for screening biological cells
JP4294740B2 (ja) 1997-05-23 2009-07-15 ソレクサ・インコーポレイテッド 分析物の系列的プロセシングのためのシステムおよび装置
WO1999019515A1 (en) 1997-10-14 1999-04-22 Luminex Corporation Precision fluorescently dyed particles and methods of making and using same
JPH11161773A (ja) * 1997-11-28 1999-06-18 Konica Corp 画像処理方法及び画像入力装置
CA2318779C (en) 1998-01-22 2009-08-25 Luminex Corporation Microparticles with multiple fluorescent signals
US6592822B1 (en) 1998-05-14 2003-07-15 Luminex Corporation Multi-analyte diagnostic system and computer implemented process for same
DE69924645T2 (de) * 1998-11-13 2006-03-02 Cellomics, Inc. Verfahren und system zum effizienten gewinnen und speichern von experimentellen daten
GB9903555D0 (en) 1999-02-16 1999-04-07 The Technology Partnership Plc Chemical and biological assay method and apparatus
JP2000299874A (ja) 1999-04-12 2000-10-24 Sony Corp 信号処理装置及び方法並びに撮像装置及び方法
US6284465B1 (en) 1999-04-15 2001-09-04 Agilent Technologies, Inc. Apparatus, systems and method for locating nucleic acids bound to surfaces
US6876760B1 (en) 2000-12-04 2005-04-05 Cytokinetics, Inc. Classifying cells based on information contained in cell images
US7151847B2 (en) 2001-02-20 2006-12-19 Cytokinetics, Inc. Image analysis of the golgi complex
EP1057462B1 (de) * 1999-05-21 2003-04-02 Waldemar Link (GmbH & Co.) Zwischenwirbel-Endoprothese mit einer gezahnten Anschlussplatte
US6307959B1 (en) 1999-07-14 2001-10-23 Sarnoff Corporation Method and apparatus for estimating scene structure and ego-motion from multiple images of a scene using correlation
US6687395B1 (en) 1999-07-21 2004-02-03 Surromed, Inc. System for microvolume laser scanning cytometry
US6986993B1 (en) 1999-08-05 2006-01-17 Cellomics, Inc. System for cell-based screening
IL147793A0 (en) * 1999-08-05 2002-08-14 Cellomics Inc Optical system analysis of cells
EP1208382B1 (en) 1999-08-17 2006-04-26 Luminex Corporation Encapsulation of fluorescent particles
EP1204869B1 (en) 1999-08-17 2008-10-22 Luminex Corporation Method for analyzing a number of samples from a variety of sources for a single analyte
JP2001103358A (ja) * 1999-09-30 2001-04-13 Mitsubishi Electric Corp 色収差補正装置
US6716588B2 (en) 1999-12-09 2004-04-06 Cellomics, Inc. System for cell-based screening
JP4193342B2 (ja) * 2000-08-11 2008-12-10 コニカミノルタホールディングス株式会社 3次元データ生成装置
US6545758B1 (en) 2000-08-17 2003-04-08 Perry Sandstrom Microarray detector and synthesizer
US6829376B2 (en) 2000-10-24 2004-12-07 Affymetrix, Inc. Computer software system, method, and product for scanned image alignment
US7050620B2 (en) 2001-03-30 2006-05-23 Heckman Carol A Method of assaying shape and structural features in cells
CA2445044C (en) 2001-04-25 2011-02-15 Amnis Corporation Method and apparatus for correcting crosstalk and spatial resolution for multichannel imaging
JP2002344978A (ja) 2001-05-17 2002-11-29 Ichikawa Soft Laboratory:Kk 画像処理装置
US6879708B2 (en) 2001-05-24 2005-04-12 Case Western Reserve University Planar particle/droplet size measurement technique using digital particle image velocimetry image data
JP4571763B2 (ja) * 2001-07-18 2010-10-27 株式会社新川 画像処理装置、およびボンディング装置
US20040071328A1 (en) 2001-09-07 2004-04-15 Vaisberg Eugeni A. Classifying cells based on information contained in cell images
AU2002367966B2 (en) 2001-11-07 2008-06-19 S3I L.L.C. System and method for detecting and classifying biological particles
KR100407821B1 (ko) * 2001-11-23 2003-12-01 한국전자통신연구원 활성이온의 상향전이를 이용한 도파로-플라즈몬 공명 센서및 이미징 시스템
JP4043925B2 (ja) 2001-12-05 2008-02-06 三菱レイヨン株式会社 生体関連物質マイクロアレイの読取装置及び方法
US7133547B2 (en) 2002-01-24 2006-11-07 Tripath Imaging, Inc. Method for quantitative video-microscopy and associated system and computer software program product
JP4568499B2 (ja) 2002-02-14 2010-10-27 ベリデックス・リミテッド・ライアビリティ・カンパニー 低コストで細胞計数するための方法およびアルゴリズム
WO2003100389A1 (en) 2002-05-28 2003-12-04 Autogenomics, Inc. Multi-reagent pack
WO2003100380A2 (en) 2002-05-28 2003-12-04 Autogenomics, Inc. Integrated sample processing platform
US7236620B1 (en) 2002-06-24 2007-06-26 Icad, Inc. Computer-aided detection methods in volumetric imagery
JP2004038728A (ja) 2002-07-05 2004-02-05 Noritsu Koki Co Ltd 画像処理方法、画像処理プログラム、および、画像処理プログラムを記録した記録媒体
EP1528380A4 (en) 2002-07-26 2009-12-09 Olympus Corp IMAGE PROCESSING SYSTEM
WO2004055505A1 (en) * 2002-12-12 2004-07-01 Aura Biosystems Inc. Dielectrophoretic particle profiling system and method
WO2005001436A1 (en) 2003-06-26 2005-01-06 The Secretary Of State For Defence Improvements to fluid borne particle analysers
US20050009032A1 (en) 2003-07-07 2005-01-13 Cytokinetics, Inc. Methods and apparatus for characterising cells and treatments
US7362920B2 (en) 2003-09-22 2008-04-22 Siemens Medical Solutions Usa, Inc. Method and system for hybrid rigid registration based on joint correspondences between scale-invariant salient region features
JP4102286B2 (ja) 2003-10-22 2008-06-18 シスメックス株式会社 粒子画像分析方法と装置およびそのプログラムと記録媒体
CN1259636C (zh) 2003-12-31 2006-06-14 厦门大学 赤潮生物图像自动识别装置与识别方法
CN101019028B (zh) * 2004-09-10 2013-05-01 皇家飞利浦电子股份有限公司 用于组合的光学-超声成像的化合物和方法
CA2587380A1 (en) 2004-11-12 2006-05-26 Luminex Corporation Methods and systems for positioning microspheres for imaging
JP2006187470A (ja) * 2005-01-06 2006-07-20 Olympus Corp 医療画像処理装置
EP2453240B1 (en) * 2005-05-23 2016-12-28 Harald F. Hess Optical microscopy with phototransformable optical labels
CN101268355A (zh) * 2005-09-21 2008-09-17 卢米尼克斯股份有限公司 图像数据处理的方法和系统
JP2008187935A (ja) * 2007-02-02 2008-08-21 Matsushita Electric Ind Co Ltd 微生物計数装置および点検用チップ
JP2009010674A (ja) * 2007-06-28 2009-01-15 Panasonic Corp 色収差測定方法
AU2008300022A1 (en) * 2007-09-07 2009-03-19 Qlt Inc. Lacrimal implant detection
GB0802084D0 (en) * 2008-02-05 2008-03-12 Univ Dublin City Microfluidic device for assessing cell surface interactions
EP2194506B1 (en) * 2008-12-02 2016-03-09 Samsung Medison Co., Ltd. Image based registration
CN102042846B (zh) * 2009-10-12 2012-07-25 中国科学院理化技术研究所 热声过程测试系统及其测试方法
CN101710131B (zh) * 2009-12-01 2011-06-01 西安交通大学 离焦数字三维微流场荧光测试仪
JP2012013804A (ja) 2010-06-29 2012-01-19 Sony Corp 画像処理装置、画像処理システム、画像処理方法及びプログラム

Also Published As

Publication number Publication date
BR112014009408B1 (pt) 2021-03-09
HK1227526A1 (zh) 2017-10-20
KR20140084206A (ko) 2014-07-04
CN105894515A (zh) 2016-08-24
WO2013059338A1 (en) 2013-04-25
US20130126758A1 (en) 2013-05-23
US8859996B2 (en) 2014-10-14
CA2852915A1 (en) 2013-04-25
AU2012326198A2 (en) 2014-05-22
AU2012326198B2 (en) 2014-12-11
EP2769198A4 (en) 2015-01-28
JP2014532188A (ja) 2014-12-04
AU2012326198A1 (en) 2014-05-01
EP2769198B1 (en) 2016-05-25
EP2769198A1 (en) 2014-08-27
US9063088B2 (en) 2015-06-23
US20150287212A1 (en) 2015-10-08
CN103959038B (zh) 2016-05-04
KR101979287B1 (ko) 2019-08-28
CA2852915C (en) 2018-05-15
US20150108368A1 (en) 2015-04-23
HK1200209A1 (zh) 2015-07-31
CN103959038A (zh) 2014-07-30
CN105894515B (zh) 2019-03-01
US9292938B2 (en) 2016-03-22
BR112014009408A2 (pt) 2017-06-13

Similar Documents

Publication Publication Date Title
US10108844B2 (en) Methods and systems for image data processing
JP6018232B2 (ja) 粒子撮像デバイスにおける測定精度を上げるための装置、システムおよび方法
US9719855B2 (en) Evaluation of focusing performance in an assay analysis system
JP5873183B2 (ja) 画像データ処理方法及びシステム
KR20220156564A (ko) 자동화된 형광 이미징 및 단일 셀 분할

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140625

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151019

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151019

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20151019

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20151019

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20151209

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160114

R150 Certificate of patent or registration of utility model

Ref document number: 5873183

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250