JP4347053B2 - ナノ粒子撮像システムおよび方法 - Google Patents

ナノ粒子撮像システムおよび方法 Download PDF

Info

Publication number
JP4347053B2
JP4347053B2 JP2003554291A JP2003554291A JP4347053B2 JP 4347053 B2 JP4347053 B2 JP 4347053B2 JP 2003554291 A JP2003554291 A JP 2003554291A JP 2003554291 A JP2003554291 A JP 2003554291A JP 4347053 B2 JP4347053 B2 JP 4347053B2
Authority
JP
Japan
Prior art keywords
spot
substrate
spots
image
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003554291A
Other languages
English (en)
Other versions
JP2005521033A (ja
Inventor
コーク、ウィリアム
パトノ、ティム
ウェーバー、マーク
モロー、デイブ
バッキンガム、ウェズリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanosphere LLC
Original Assignee
Nanosphere LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanosphere LLC filed Critical Nanosphere LLC
Publication of JP2005521033A publication Critical patent/JP2005521033A/ja
Application granted granted Critical
Publication of JP4347053B2 publication Critical patent/JP4347053B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53Immunoassay; Biospecific binding assay; Materials therefor
    • G01N33/543Immunoassay; Biospecific binding assay; Materials therefor with an insoluble carrier for immobilising immunochemicals
    • G01N33/54313Immunoassay; Biospecific binding assay; Materials therefor with an insoluble carrier for immobilising immunochemicals the carrier being characterised by its particulate form
    • G01N33/54346Nanoparticles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/251Colorimeters; Construction thereof
    • G01N21/253Colorimeters; Construction thereof for batch operation, i.e. multisample apparatus

Landscapes

  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Hematology (AREA)
  • Biochemistry (AREA)
  • Molecular Biology (AREA)
  • Urology & Nephrology (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Microbiology (AREA)
  • Cell Biology (AREA)
  • Biotechnology (AREA)
  • Nanotechnology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Materials By The Use Of Chemical Reactions (AREA)
  • Colloid Chemistry (AREA)
  • Measurement Of Radiation (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Description

本発明は、金属ナノ粒子の検出に関する。より詳細には、本発明は、金コロイド粒子を検出して操作者に正確な報告を行うための方法および装置を提供する。
本出願は、2001年8月3日に出願した「Nanoparticle Imaging System and Method」という名称の米国特許出願第60/310,102号の優先権を主張するものである。この出願は、米国特許出願第60/310,102号の全体を参照により援用する。本出願は、2002年3月22日に出願した「Method and System for Detecting Nanoparticles」という名称の米国特許出願第60/366,732号の優先権を主張するものである。この出願は、米国特許出願第60/366,732号の全体を参照により援用する。
科学者が、疾病の遺伝学的根拠を解明し、その新しい情報を使用して医学的診断および治療を改善する際、配列選択的DNA検出が重要になりつつある。溶液中に特定のDNA配列が存在するか否かを検出するため、一般に、オリゴヌクレオチドで修飾した基質上でのDNAハイブリダイゼーション試験が使用されている。遺伝情報を精査するためのコンビナトリアルDNAアレイがますます期待されていることは、これら不均一配列の評価が将来の科学に重要であることを示している。
一般にサンプルは、ハイブリダイゼーション試験を容易にする基質材料の上または内部に配置される。これらの材料として、ガラスまたはポリマーの顕微鏡用スライド、あるいはガラスまたはポリマーのマイクロタイター板が可能である。ほとんどの検出では、蛍光体で標識した目的物体と表面結合プローブとのハイブリダイゼーションを、蛍光顕微鏡検査法またはデンシトメトリーでモニタする。しかし蛍光検出は、実験機器にかかる費用と、またほとんどの一般的な基質から生じるバックグラウンド放射により、制約を受ける。さらに、完全に相補的なプローブに対する標識オリゴヌクレオチド目的物体の選択性は、1つの塩基ミスマッチがあるプローブよりも低い可能性があり、したがって1つのヌクレオチド多型を検出するために表面ハイブリダイゼーション試験を使用することが制限される。蛍光法の簡便性、感受性、および選択性を改善した検出スキームによって、組合せ配列分析の最大限の可能性を実現し得る。
そのような1つの技法は、プローブを用いたチップ・ベースのDNA検出法である。プローブには、特定の目的物体に相補的なDNAの合成鎖を使用してよい。DNAの合成鎖には、シグナル・メカニズムが取着される。シグナルが存在する(すなわちシグナル・メカニズムが存在する)場合、合成鎖はサンプル中のDNAに結合しており、したがって目的物体のDNAはサンプル中にあると結論される。同様に、シグナルの結果が存在しない(すなわちシグナル・メカニズムが存在しない)ことは、サンプル中に目的物体のDNAが存在しないことを示す。したがって、シグナルを信頼性良く検出してその結果を正確に報告するシステムが求められている。
シグナル・メカニズムの1例は、直径が比較的小さく(10〜40nm)オリゴヌクレオチドで修飾された金ナノ粒子プローブであり、これによって、3成分サンドイッチ検出フォーマットの基質上でハイブリダイズした特定のDNA配列の存在が示される(例えば、その全体を参照により本明細書に援用する特許文献1、および非特許文献1参照)。ミスマッチDNA配列の相補性に対するこれらハイブリダイズしたナノ粒子プローブの選択
性は、アレイの表面からナノ粒子が比類なく急激に解離(または「融解」)するので、蛍光体標識プローブの場合よりも本質的に高かった。さらに、金で促進される銀(I)の還元によってアレイ結合ナノ粒子が増大すると、蛍光標識した遺伝子チップの共焦点蛍光撮像によって一般に観察されるよりも感度の高いフラットベッド・スキャナにより、そのアレイの黒白での撮像が可能になった。DNAミスマッチの認識には、スキャン法をうまく利用した。
しかし現行のシステムおよび方法は、複雑であり、シグナルを確実に検出すること、およびその結果を正確に報告することに関し、いくつかの問題点がある。従来技術のシステムは、しばしば大型の光学パッケージを含む。例えば一般的な撮像システムは、物体平面(標本を置く)から76.2cm(2・(1/2)フィート)を超える場所にカメラを有する。カメラと物体平面との距離が大きいと、非常に大きい撮像機器になる。残念なことに、大型撮像システムは、実験室内の限られた場所の相当な部分を占める可能性がある。このサイズの小型化の要求を満たすために、その他の従来技術の撮像機器では、カメラと物体平面との距離を短くしている。このようにするとシステムのサイズが縮小するが、カメラと物体平面との距離が小さくなることによって、取得された画像の歪みの量が大きくなり、すなわちレンズの中心での歪みはほとんどないが、取得した画像の外側の部分での歪みが大きくなる可能性がある。著しい歪みを回避し、かつ取得した画像の解像度を増すために、カメラのレンズの中心が基質とは異なる部分になるようカメラを移動させる(あるいは基質を移動させる。)。これら基質の異なる部分で画像を取得し、その後、歪んでいる画像の外側領域を切り取る。基質の画像全体を再構築するために、切り取った画像を継ぎ合わせて、基質全体を表す1つの複合画像を形成する。例えば、基質を100個の異なるセクションに分割し、レンズの中心が100個の異なるセクションそれぞれの中心に位置するようにカメラまたは基質を移動させて、100の画像を取得する。次いで特定のセクションの画像のみ保存されるように、100の画像それぞれの切り取り処理を行う。その後、100の画像のそれぞれを貼り付けて、基質全体を表す1つの複合画像を形成することにより、画像全体を再構築する。このタイプの従来技術のシステムは、操作および設計が非常に複雑である。カメラまたは基質を移動させるモータが必要であり、コストが増大し複雑さも増す。さらに、基質またはカメラが移動するので、このシステムにはアライメント上の問題がある。最後に、一連の画像を取得するので、1つの複合画像を取得するのに数分かかる。
さらに撮像システムは、パーソナル・コンピュータと組み合わせた撮像モジュールを必要とする。パーソナル・コンピュータには、プロセッサ、メモリ、モニタなどを備えた標準のデスクトップ・パーソナル・コンピュータ機器が含まれる。撮像モジュールは、カメラ、基質ホルダ、コントローラ、およびメモリを含む。パーソナル・コンピュータは、撮像モジュールのコントローラに制御命令を送信し、処理用の画像を受信する。残念ながらこの分散システムは、パーソナル・コンピュータに追加のコストがかかるので費用がかかり、またパーソナル・コンピュータが個別の空間を必要とするので大きくなる。
さらに、基質の画像を取得した後は、基質上のスポットまたはウェルを識別する際にいくつかの問題が生じる。「ウェル」は、基質上または基質内での個別の試験または実験を識別するのに使用する用語である。各ウェルには、異なるサンプルを入れてよく、または同じサンプルの異なる試験を含んでよい。スポットに関し、従来技術のシステムには、基質のバックグラウンドと基質上のスポットとを区別するのが難しいという問題がある。ウェルの識別に関し、従来技術のシステムおよび方法では、撮像システムが分析を行うウェルを識別するために、操作者がスライドの領域を識別する必要がある。しかし、スライド上のウェルを識別するのに操作者が入力するというこの要求は、非効率的で誤りが生じ易い。
さらに、現行のシステムおよび方法は、50nm未満という小さなナノ粒子プローブ(および特に金ナノ粒子プローブ)の集合を検出することができない。したがって従来技術では、50nmよりも大きいプローブの使用を強いられている。しかしこのように50nmよりも大きいプローブは、処理の観点から、使用することがより難しい。あるいは従来技術の方法は、より小さいナノ粒子を検出することができない点を補うため、銀粒子を使用するなどして50nm未満のナノ粒子を増幅しようと試みてきた。しかし、このようなナノ粒子を増幅しようとする試みは、実行不可能であることがわかった。例えば銀増幅の場合、光および温度に応答し易く(保管および包装上の問題が生じる)、非常に費用がかかり、結果を正確に再現することが非常に難しいので、この増幅法を使用することが困難であることがわかった。このため従来技術では、銀増幅の使用を拒絶されてきた。
したがって従来技術の解決策は、実用的な手法でナノ粒子を検出するという問題を解決していない。
“Nanoparticles having oligonucleotides attached thereto and uses therefore”という名称の、米国特許第6,361,944号 T.A.タートン(T.A.Taton)、C.A.ミルキン(C.A.Mirkin)、R.L.レッツインガー(R.L.Letsinger)、Science、289、1757(2000) PCT/US01/10071(ナノスフィアインコーポレイテッド社(Nanosphere,Inc.)) PCT/US01/01190(ナノスフィアインコーポレイテッド社(Nanosphere,Inc.)) クリセイ(Chrisey)他、Nucleic Acids Res.、24、3031〜3039(1996) クリセイ(Chrisey)他、Nucleic Acids Res.、24、3040〜3047(1996) ムシック(Mucic)他、Chem.Commun.、555(1996) ツィマーマン(Zimmermann)およびコックス(Cox)、Nucleic Acids Res.、22、492(1994) ボトムレー(Bottomley)他、J.Vac.Sci.Technol.A、10、591(1992) ヘグナー(Hegner)他、FEBS Lett.、336、452(1993) バッセル(Bassell)他、J.Cell Biol.、126、863〜876(1994) ブラウン−ホウランド(Braun−Howland)他、Biotechniques、13、928〜931(1992) ブラウン(Braun)他、Nature、391、775(1998) PCT/US01/21846(ノースウェスタン大学(Northwestern University))
本発明は、基質上の金属ナノ粒子を検出することに関する。基質は、1つまたは複数の目的の検体に対する特定の結合補体を含んだ複数のスポットを有する。基質上のスポットの1つは、1つまたは複数の目的の検体が存在している中で、それと複合した金属ナノ粒子を試験するためのスポット(試験サンプルが入っている)でよい。これらスポットの別
のスポットは、対照スポットまたは第2の試験スポットでよい。試験課題のタイプに応じて、対照スポットまたは第2の試験スポットを使用することができる。例えば感染症の試験をする場合は、試験サンプル中の核酸配列の存否を検出するために、対照スポット(優先的には対照陽性スポットおよび対照陰性スポット)を使用して試験スポットと比較することができる。この核酸配列は、特定の細菌またはウイルスを表すと考えられる。対照陽性スポットは、核酸捕捉鎖を介して基質に直接結合した金属ナノ粒子、基質に直接プリントされた金属ナノ粒子、または別のウェルに入っている既知の検体に複合した金属ナノ粒子の肯定的な結果である。第2の試験スポットは、遺伝的素因を試験する場合に使用することができる(例えばどの遺伝子配列が存在するか)。例えば単一ヌクレオチド多型などの遺伝子配列を比較するには、2つの試験スポットを使用する。
一態様では、金属ナノ粒子の化学シグナル増幅を用いまたはこの増幅を用いない、金属ナノ粒子を検出するための装置が提供される。この装置は、基質を保持するための基質ホルダと、プロセッサおよびメモリ・デバイスと、撮像モジュールと、照明モジュールと、電源モジュールと、入力モジュールと、出力モジュールとからなる。一実施形態では、この装置は定置式基質ホルダと撮像モジュールを有してよい。この形態では、基質または撮像モジュール、あるいはこれら両方を移動させるモータを必要とすることなく、撮像モジュールによって基質の撮像を行うことができる。さらにこの装置は、基質ホルダに最も近い場所に撮像モジュールを有してよい。撮像装置のサイズを縮小するために、撮像モジュール(光センサなど)は、基質ホルダ(基質を保持する)の近くに配置する。例えば撮像モジュールは、基質から30mm〜356mmの範囲内にあればよい。この密接した配置により、取得した画像は、特にその取得した画像の縁部に歪みが生じる。取得した画像をより良好に処理するために、装置はこの歪みを補償する。例えばこの装置は、グレースケール歪みモデルを使用して、グレースケールの歪みを補償する。別の実施例として、装置は、空間歪みモデルを使用して空間的な歪みを補償する。このように、取得した画像の歪みの影響が軽減される。
本発明の別の態様では、基質上のスポットの少なくともいくつかを自動的に検出するための方法が提供される。画像は、基質表面の、シグナル増幅を行いまたはシグナル増幅を行わない金属ナノ粒子からなる複数のスポットのものが取得される。一実施形態では、金属ナノ粒子の化学シグナル増幅(銀増幅など)を行う。あるいは、金属ナノ粒子の化学シグナル増幅を行わない。任意選択で、光学画像は、反復工程に基づいて得られる。得られた画像について、そのグレースケールの歪みや空間的歪みなどの歪みを補正する。グレースケール歪みの補正は、画像の輝度劣化を補償するモデルを基にしてよい。空間的歪みの補正は、画像の空間的変形を補償するモデルを基にしてよい。補償された画像を基にして、基質上のスポットの少なくとも一部を、取得された補償画像内で検出している。任意選択で、画像内のスポットを区別するためにしきい値化(好ましくは適応しきい値化)を行ってよい。
本発明のさらに別の態様では、基質上の複数のウェルの少なくとも1つを自動的に検出するための方法が提供される。この方法は、基質上スポットの少なくとも一部を自動的に検出する工程と、これらスポットの少なくとも一部の自動的な検出に基づいてウェルを自動的に決定する工程を含む。検出されたスポットを分析して、これら検出したスポットの無秩序な集合体から、スポットがどのようにウェルへと構成されるかを決定する。分析の1つの手法は、スポット同士の空間的相違を検出することである。この空間的相違に基づいて、スポットをウェルへと構成する。さらに、スポットの特徴(間隔の相違に起因する特徴など)のパターンを分析して、スポットがどのようにウェルへと構成されるのか検出することができる。
本発明のさらに別の態様では、基質上の試験スポット中の目的の検体の、1つまたは複数の存否を検出するための方法が提供される。基質は、1つまたは複数の目的の検体に対する特定の結合捕体を含有する複数のスポットを有する。これらスポットの1つは、1つまたは複数の目的の検体の存在下でそのスポットに複合形成された、シグナル増幅しまたはシグナル増幅しない金属ナノ粒子の、試験スポットである。別のスポットは対照スポットであり、または第2のまたはそれ以上の目的の検体の存在下でそのスポットに複合形成された金属ナノ粒子の第2の試験スポットである。この方法は、異なる露出で得られた試験スポットおよび対照スポットまたは第2の試験スポットの多数の画像を取得する工程と、取得した多数のスポット画像に基づいて、目的の検体の1つまたは複数の存在を示すものとして試験スポット内での前記金属ナノ粒子複合体の存在を決定する工程とからなる。多数の露出は、画像の一部に「最適な」(好ましくは基質上の1つのウェルに最適な)露出時間、および最適な露出時間よりも短い露出時間を基にして得られる。
したがって本発明の利点は、小型のハウジングに入った撮像システムを提供することである。
本発明の別の利点は、カメラを基質の端から端まで移動させるために複雑なモータ駆動式システムを使用する必要がないことである。
本発明のさらに別の利点は、費用がかかりまたは複雑な器具装備なしで、基質上のスポットおよび/またはウェルを検出できることである。
前述およびその他の目的で、以下に明らかにされる本発明の利点および特徴、本発明の性質は、下記の本発明の詳細な説明、添付の特許請求の範囲、および図面に例示されるいくつかの概観を参照することによって、より明確に理解されよう。
本発明の方法および装置は、金属ナノ粒子の検出に関する。好ましい実施形態で、本発明は、金コロイド粒子を検出して操作者に正確な報告を行うための方法および装置を提供する。
本発明で述べる実施例は、ナノ粒子、特に金属ナノ粒子を検出するための撮像システムおよび方法に関する。好ましい実施形態では、ナノ粒子は金ナノ粒子(全体が金からなり、または少なくとも一部(外側の殻のような)が金からなる)であり、金ナノ粒子の表面に、ハイブリダイゼーション後に銀または金を堆積することにより増幅される。本発明は、銀または金の堆積を行わずに金ナノ粒子を検出することを含むが、これに限定することのないその他の適用例に利用してもよい。
本発明の背景で論じたように、基質上でナノ粒子を検出する場合、例えば、実験室内の貴重なスペースを占有する大型のシステムであること、カメラを基質の端から端まで移動させるために複雑なモータ駆動式システムになること、基質上のスポットおよび/またはウェルを検出する際に、一般に費用がかかり複雑な機器装備を必要とすることなどを含めたいつかの問題がある。本発明は、ナノ粒子を検出する際のこれらおよびその他の問題を、現行のシステムよりも著しく低いコスト(10,000米国ドル未満)でかつ46cm×30cm×30cm(18”×12”×12”)以下の機器設置面積で実施することが可能な方法により、解決するものである。
定義
本明細書で使用する「検体」または「目的の検体」は、本発明を使用して試験サンプル中で検出される物質である。検体は、天然に生ずる特定の結合メンバ(例えば抗体やポリペプチド、DNA、RNA、細胞、ウイルスなど)が存在しまたは特定の結合メンバを調
製することが可能な任意の物質でよく、また検体は、検出において1つまたは複数の特定の結合メンバに結合することが可能である。「検体」には、任意の抗原性物質、ハプテン、抗体、およびこれらの組合せも含まれる。検体には、タンパク質、ペプチド、アミノ酸、炭水化物、ホルモン、ステロイド、ビタミン、治療目的で投与されるものならびに非合法的に投与されるものを含めた薬物、細菌、ウイルス、上記物質のいずれかの代謝産物または抗体を含めることが可能である。
本明細書で使用する「捕捉プローブ」は、基質に直接または間接に取着した検体に結合することが可能な特定の結合メンバである。捕捉プローブの1例は、目的の核酸の少なくとも一部に相補的な配列を有するオリゴヌクレオチドを含み、さらにこのオリゴヌクレオチドを支持体に取着させるスペーサ(例えばポリAテール)および官能基を含んでよい。捕捉プローブの別の例は、共有結合を介してまたは支持体表面への吸着によって支持体に結合した抗体を含む。捕捉プローブの例は、例えばその全体が参照により援用される(特許文献2)に記載されている。
本明細書で使用する「特定の結合メンバ」は、特定の結合対のメンバであり、すなわち一方の分子が化学的または物理的な手段によって第2の分子に特定の結合している2個の異なる分子である。抗原および抗体に特定の結合対に加え、その他の特定の結合対には、ビオチンおよびアビジン、炭水化物およびレクチン、相補的ヌクレオチド配列(目的物体核酸配列を検出するためにDNAハイブリダイゼーション・検出で使用されるプローブおよび捕捉核酸配列を含む)、相補的ペプチド配列、エフェクターおよびレセプター分子、酵素補助因子および酵素、酵素阻害剤および酵素、細胞、ウイルスなどが含まれる。さらに特定の結合対には、当初の特定の結合メンバの類似体であるメンバを含めることが可能である。例えば検体の誘導体や断片、すなわち検体類似体は、検体と同じように少なくとも1つのエピトープを有する限り、使用することが可能である。免疫反応性の特定の結合メンバには、抗原、ハプテン、抗体、および組換えDNA法またはペプチド合成によって形成されたものも含めたこれらの複合体が含まれる。
本明細書で使用する「試験サンプル」は、本発明を使用して検出されかつ検出にかけられる検体を含有するサンプルを意味する。試験サンプルは、検体の他にその他の成分を含有することが可能であり、液体または固体の物理的特性を有することが可能であり、また、例えば液体の移動流も含めた任意のサイズまたは体積のものであることが可能である。試験サンプルは、検体以外のその他の物質が特定の結合メンバの特定の結合または検体を妨げない限り、検体以外の任意の物質を含有することが可能である。試験サンプルの例には、血清、血漿、痰、精液、尿、その他の体液、および地下水や廃水、土壌抽出物、空気、残留農薬などの環境サンプルが含まれるが、これらに限定されない。
「オリゴヌクレオチドのタイプ」は、同じ配列を有する複数のオリゴヌクレオチド分子を指す。オリゴヌクレオチドが結合しているナノ粒子や結合体「のタイプ」は、同じタイプのオリゴヌクレオチドが結合している複数のナノ粒子や結合体を指す。
「オリゴヌクレオチドが結合しているナノ粒子」は、「ナノ粒子−オリゴヌクレオチド結合体」を指す場合もあり、または本発明の検出方法の場合は、「ナノ粒子−オリゴヌクレオチド・プローブ」、「ナノ粒子プローブ」、「検出プローブ」、または単に「プローブ」を指すこともある。ナノ粒子に結合したオリゴヌクレオチドは認識性を有してよく、例えば目的物体核酸に相補的でよく、あるいはつなぎ鎖またはスペーサとして使用することができ、さらに、リガンドなど特定の目的の検体に対するレセプターなどの特定の結合対メンバに結合することができる。目的の検体に対して広範囲にわたる特定の結合対メンバを有するナノ粒子ベースの検出プローブの例が、その全体を参照により援用する(特許文献2)に記載されている。
基質およびナノ粒子
本発明の方法および装置は、検出可能な変化を観察することができる任意の基質から、銀または金の濃度を高めた溶液で増幅した金属ナノ粒子を検出することができる。適切な基質には、透明または不透明な固体表面(例えばガラス、石英、プラスチックおよびその他のポリマーTLCシリカ・プレート、濾紙、ガラス繊維フィルタ、硝酸セルロース膜、ナイロン膜)と、導電性固体表面(例えばインジウムスズ酸化物(ITO)、二酸化ケイ素(SiO)、酸化ケイ素(SiO)、窒化ケイ素など)が含まれる。基質は、任意の形状または厚さでよいが、一般には顕微鏡用スライドのように平らで薄くなり、またはマイクロタイター・プレートのようにウェル・チャンバ状に形成される。本発明を実施するにあたり、一般に、目的の分子に結合する1つまたは複数の異なるタイプの捕捉プローブを基質の表面に固定する。捕捉プローブおよび目的の分子は、抗体−抗原やレセプタ−リガンド、相補的核酸分子などの特定の結合対でよい。その全体を参照により援用する(特許文献2)を参照されたい。次いで基質に結合した、任意の目的の分子−捕捉プローブ複合体の存在を、ナノ粒子プローブを使用して検出する。ナノ粒子およびオリゴヌクレオチドを作製し、そのオリゴヌクレオチドをナノ粒子に結合させる方法は、その全体を参照により援用する(特許文献2)および(特許文献3)に記載されている。ハイブリダイゼーションの条件は当技術分野で周知であり、使用される特定のシステムに合わせて容易に最適化することが可能である。
捕捉プローブは、捕捉プローブと表面との間の1つ以上の結合部を含めた任意の従来の手段によって、または吸着によって、基質に結合させることができる。一実施形態では、捕捉プローブとしてのオリゴヌクレオチドを基質に結合させる。オリゴヌクレオチドは、例えば(非特許文献2)、(非特許文献3)、(非特許文献4)、(非特許文献5)、(非特許文献6)、および(非特許文献7)に記載されているように、基質に結合することが可能である。複数の異なるタイプの捕捉プローブは、表面でアレイの形をとる別々の領域またはスポットに配置することができ、このようにすることで、多数の異なる目的の分子の検出が可能になり、または同じ目的の分子の異なる部分の検出が可能になる。
基質の表面に結合した捕捉プローブは、その目的の分子に特定の結合をして複合体を形成する。目的の分子は核酸でよく、捕捉プローブは、検出される核酸の配列の第1の部分に相補的な配列を有する基質に結合したオリゴヌクレオチドでよい。ナノ粒子−オリゴヌクレオチド結合体は、核酸の配列の第2の部分に相補的な配列を有する。核酸は、基質上で核酸とオリゴヌクレオチドのハイブリダイゼーションを行うのに有効な、あるいは核酸とナノ粒子−オリゴヌクレオチド結合体とのハイブリダイゼーションを行うのに有効な条件下で基質に接触させる。さらに別の方法では、基質上での核酸とオリゴヌクレオチドとのハイブリダイゼーションと、核酸とナノ粒子−オリゴヌクレオチド結合体とのハイブリダイゼーションが、同時に行われるように調整することが可能である。これらの手法の1つでは、核酸が基質に結合するようになる。結合していない核酸と結合していないナノ粒子−オリゴヌクレオチド結合体の全ては、DNAハイブリダイゼーション試験の結果を測定する前に、基質から洗い出される。
検出可能な変化は、銀染色法によって大きくすることができる。銀染色法は、銀の還元を触媒する任意のタイプのナノ粒子と共に使用することが可能である。貴金属(例えば金や銀)で作製されたナノ粒子が好ましい(例えば、非特許文献8および9参照)。核酸の検出に使用するナノ粒子が銀の還元を触媒しない場合、銀イオンは、核酸と複合して還元を触媒することが可能である(例えば、非特許文献10参照)。また、核酸上のリン酸基と反応することが可能な銀染色法が知られている。
銀染色法は、上述したものも含めた基質上で実施される金属ナノ粒子を含めた検出で、
検出可能な変化を生成しまたは大きくするのに使用することが可能である。特に銀染色法は、単一タイプのナノ粒子を使用する検出で、その感度を大きく増大させることがわかった。検出可能な変化をより大きくするには、(特許文献4)に記載されている銀染色法でそれぞれ処理した1つ以上のナノ粒子層を使用してもよい。
第1のタイプのナノ粒子上のオリゴヌクレオチドは、全て同じ配列か、または異なる配列であって検出される核酸の異なる部分にハイブリダイズする配列を有してよい。異なる配列を有するオリゴヌクレオチドを使用する場合、各ナノ粒子は、そこに結合する異なるオリゴヌクレオチドの全てを有してもよく、または好ましくは、異なるオリゴヌクレオチドが異なるナノ粒子に結合する。(特許文献2)の図17は、核酸の多数の部分にハイブリダイズするように設計されたナノ粒子−オリゴヌクレオチド結合体の使用を示す。あるいは、第1のタイプのナノ粒子のそれぞれにあるオリゴヌクレオチドは、複数の異なる配列を有してよく、その配列の少なくとも1つは、検出される核酸の一部にハイブリダイズされなければならないものである(例えば、(特許文献2)の図25も参照)。
あるいは、基質に結合した第1のタイプのナノ粒子−オリゴヌクレオチド結合体を、オリゴヌクレオチドが結合している第2のタイプのナノ粒子に接触させる。これらのオリゴヌクレオチドは、第1のタイプのナノ粒子に結合したオリゴヌクレオチドの配列の少なくとも一部に相補的な配列を有し、接触は、第1のタイプのナノ粒子表面のオリゴヌクレオチドと第2のタイプのナノ粒子表面のオリゴヌクレオチドとのハイブリダイゼーションを行うのに有効な条件下で行われる。ナノ粒子が結合した後、基質を洗浄して、結合していないナノ粒子−オリゴヌクレオチド結合体を全て除去することが好ましい。次いで銀染色法による処理が行われる。
ハイブリダイゼーションとその後に行われる銀染色法との組合せによって、検出可能な変化が大きくなる。検出可能な変化は、多数のハイブリダイゼーションによって検出可能な変化のシグナルが増幅される他は、上述したものと同じである。特に、第1のタイプのナノ粒子のそれぞれはそこに結合した多数のオリゴヌクレオチド(同じかまたは異なる配列を有する)を有するので、第1のタイプのナノ粒子−オリゴヌクレオチド結合体のそれぞれは、複数の第2のタイプのナノ粒子−オリゴヌクレオチド結合体とハイブリダイズすることが可能である。また、第1のタイプのナノ粒子−オリゴヌクレオチド結合体は、検出される核酸の複数の部分にハイブリダイズされることができる。多数のハイブリダイゼーションによって増幅が行われるので、その変化を最初に検出可能にすることができ、または検出可能な変化の大きさを増大させることができる。この増幅によって検出の感度が増し、少量の核酸を検出することが可能になる。
必要ならば、第1および第2のタイプのナノ粒子−オリゴヌクレオチド結合体を順次付加することによって、追加のナノ粒子層を積層することが可能である。このように、目的の核酸の分子当たり固定されるナノ粒子の数を、シグナル強度の増大に合わせてさらに増加させることが可能である。
また、互いに直接ハイブリダイズするよう設計された第1および第2のタイプのナノ粒子−オリゴヌクレオチド結合体を使用する代わりに、結合するオリゴヌクレオチドとのハイブリダイゼーションの結果、ナノ粒子を一緒に結合する役目を果たすオリゴヌクレオチドを持ったナノ粒子を使用してもよい。
撮像システム
本発明の、好ましい実施形態について、添付図面を参照しながら述べるが、これらの図面では、同様の要素を同様の符号で示している。図1aを参照すると、撮像システムの一実施形態の斜視図が示されている。撮像システム50は、ディスプレイ52と、撮像中に
基質を保持するトレイにアクセスするためのハンドル54とを含む。撮像システム全体は、幅約30cm(12”)、高さ約30cm(12”)、深さ約46cm(18”)である(図1aの撮像システム50のディスプレイ付近に配置された12”ルーラで示される)。本発明の背景で論じたように、従来技術のシステムはそのサイズが大きく、実験室内のスペースのかなりの部分を占める。これとは対照的に、本発明の撮像システムは、いくつかの要因により小型である。以下により詳細に論じるそれらの要因の例には、センサ(光センサなど)が基質/基質・ホルダの近くにまたは最も近接して配置されること、このセンサによって取得された画像の歪みを補償するためのソフトウェアがあること、撮像システム50内にはプロセッサ/メモリおよび全ての制御機能が存在していることが含まれる。
図1bを参照すると、図1aに示した撮像システムの、前面カバーを外した状態の正面図が示されている。基質は、少なくとも1つの側壁60(好ましくは2つの側壁)のベース58を備えた基質ホルダ内に配置される。典型的な場合、基質は、標準的な顕微鏡用スライドの寸法(25mm×75mm)を有している。より大きい、またはより小さい基質を使用してもよい。基質には、図2に関して詳細に論じるように、照明モジュールで照射する。あるタイプの照明モジュールでは、基質に側面から光が当たるように、光ファイバ線を使用する。図1bに示すように、複数の光ファイバ線62は、側壁60の少なくとも1つ(好ましくは図1bに示すように両方の側壁)に送り込まれている。したがって、基質を側壁60の間のベース58に配置する場合、光は、光ファイバ線62を介して基質の側面に送られる。基質が照射されて、基質上のナノ粒子が光を散乱するようになり、この光が、図2に関して詳細に論じるように、センサに捕捉される。
センサの1つのタイプは、光センサ(図1bには不図示)および少なくとも1個のレンズ54である。光センサは、好ましい実施形態では定置式である。さらに光センサは、Silicon Video型番2112によるCMOS光センサでもよい。Silicon Video型番2112によるCMOS光センサの寸法は、対角線12.3mmの長方形である(1288画素×1032画素)。レンズ54は、焦点距離が8.5mmのレンズである。光センサは、後で引き続き述べるように、ケーブル56を介して撮像データをプロセッサに送信する。図1bに示すように、レンズ54は、基質/基質・ホルダの極めて近くにある。一実施形態では、センサ/レンズを、基質/基質ホルダから356mmの距離に配置する。好ましい実施形態では、光センサのハウジングを、基質/基質ホルダから約68mmの場所に配置する。対象と画像との距離である作動距離は、基質の寸法の関数である。薬理ゲノム学や臨床上の探索、アグリビジネスゲノム学など種々のビジネスへの適用例に応じて、様々な基質寸法を使用することが予想される。好ましい実施形態は、様々な視野が得られるように、30mmから356mmまで工場で作動距離を容易に変更することが可能なものである。レンズ・スペーサを使用することによって、作動距離の範囲を大きくすることが可能である。さらに図1bに示すように、センサおよびレンズは、撮像される基質に対して定置した状態にある。センサと基質との距離が近いので、またセンサ/基質が定置式であるので、特に視野の縁部で大量の歪みが生じる。後で論じるように、センサによって取得された画像は、歪みが補償されるように修正される。これは、背景のセクションで論じたように、ある特定の従来技術の機器とは対照的であり、カメラまたは基質、あるいはこれら両方を移動させて歪みを補償する。一実施形態では、撮像システム50はさらに、回転式システムなどの搬送システムからなるものでもよく、機器を用いた高速大量処理の実施を目的として多数の基質の一括処理が可能になるように、視野内または視野外で基質を回転させまたは並進させることができる。例えば、複数の基質を回転式コンベヤ上に配置してよい。この回転式コンベヤは、基質をセンサの視野内または視野外に移動させることができるように、モータ(ステッピング・モータなど)を介して回転させることが可能である。しかし基質は、撮像中に必ずしも移動させる必要はない。
図1cを参照すると、図1aに示した撮像システムの、カバーを外した状態での側面斜視図が示されている。一実施形態では、撮像システムは、図2に関して詳細に論じるように、撮像モジュールのハウジング内に入ったマイクロプロセッサおよびメモリを含む。図1cに示すように、撮像システム内には、シングル・ボード・コンピュータ(マイクロプロセッサ、メモリ、およびいくつかの電子I/Oを収容)と、光センサ捕捉ボード(センサからの画像を捕捉し、プロセッサがアクセスできるように画像をバッファに入れる)と、カスタム入力/出力ボード(センサ・データを受信し、ユーザの入力/出力および電子入力/出力を制御する)とを含めた様々な回路基板64がある。
図2を参照すると、図1a〜cのシステムのブロック図が示されている。撮像システム50は、コンピュータ66を含む。コンピュータは、撮像モジュール50のハウジング内に、プリント回路基板上に位置付けられたプロセッサおよびメモリ・デバイスを含む(図1cに示すように)。従来技術のシステムは、独立型デスクトップ・コンピュータとインタフェイスする撮像モジュールを使用する。このタイプの分散型システムは、多くの機能を備えるように設計された完全なパーソナル・コンピュータの費用が追加されるので高価になり、またそのパーソナル・コンピュータは別にスペースを必要とするので非効率的である。これとは対照的に、本発明の一態様は、プロセッサ68/メモリ70の機能が撮像モジュールに組み込まれ、コストおよび複雑さを著しく低減し得るその特定の機能が発揮されるよう設計される。プロセッサ68は、マイクロプロセッサ、マイクロコントローラ、または算術演算、論理演算、または制御操作を行う任意のデバイスからなるものでよい。メモリ70は、ROMなどの不揮発性メモリ・デバイスおよび/またはRAMなどの揮発性メモリ・デバイスを含んでよい。メモリ70は、数多くのDNAハイブリダイゼーション試験の結果と同様に後で論じるように、スポット検出/ウェル識別用および/または画像解析用のプログラムを記憶することができる。プロセッサ68は、プログラムを実行するために、メモリ70にアクセスすることができる。このように、図1a〜cに示した撮像モジュールは、独立型でコンパクトなデバイスである。
撮像システムは、照明モジュール76も含む。照明モジュール76は、電磁放射線をサンプルに照射する。一実施形態で、照明モジュールは、可視光スペクトル内の電磁放射線をサンプルに照射する。あるいは赤外線や紫外線などその他の波長の光を使用してもよい。さらに照明モジュールは、レーザの発生に起因した特定波長の光、または白色光など広範囲にわたる波長の光を生成することができる。
側方照明、前方照明、後方正面など、様々な照明モジュールを使用してよい。入射光を変化させるために、偏光子およびフィルタを使用することも可能である。側方照明の場合、この照明モジュールは、光を基質の少なくとも1面に結合して、ガラスまたは別の適切な基質の導波能力が利用されるようにする。照明モジュールと支持媒体との結合は、光ファイバ束や固体導波路、レーザ・ビーム、LEDなど、基質に沿って入射させるような、様々な方法で実現することができる。図1bは、光を基質の側面に結合するために、光ファイバ線を使用することによって側方照明を行う一例を示す。別の例として、照明モジュールは前方照明を使用してよい。前方照明の場合、センサは一般に基質の直上に位置決めされ、照明モジュールは、鏡面反射が光センサから逸れるように、しかし金属ナノ粒子から散乱する光を光センサが検出するような位置に配置される。システムの適用例に応じ、照明モジュールは、基質の表面に対して様々な角度で配置される。さらに別の例として、照明モジュールは、後方照明を使用してよい。センサは、基質の直上に配置され(前方照明の場合と同様に)、照明モジュールは、基質の背後に配置される(好ましくは基質のすぐ後ろ側)。ナノ粒子は、その内部を通して光を伝える(すなわち光を後方散乱させる)べきではないので、ナノ粒子を含んだ基質の部分は暗く、または基質上のその他のセクションに比べて暗いスポットとして見えることになる。さらに別の例では、照明モジュールは偏光子を使用してよい。前方または後方照明と組み合わせて、互いに対しほぼ90°に
位置決めされた2個の偏光子を使用することができ、それによって、偏光角の変化も引き起こす、金属ナノ粒子によって散乱した光の屈折率の変化を検出する。この実施形態では、基質内を透過する光または基質で鏡面反射した光を偏光子でフィルタリングするが、金属ナノ粒子によって散乱した光は容易に検出可能である。拡散性軸方向照明を使用する実施形態は、偏光子と共に、また偏光子なしで利用可能であることが示されている。この方法では、光を基質に対して完全に直角に向け、ナノ粒子のスポットから得られた反射光を検出する。偏光子または反射防止膜を付けた不透明な基質材料を必要に応じて使用して、基質からの鏡面反射を抑制することが可能である。
撮像モジュールは、少なくとも1個の光センサ74をさらに含む。しばしば使用される光センサは、CCDまたはCMOSをベースとしたセンサである。光センサは電磁放射線を感知し、感知した電磁放射線をデータ・フォーマットに変換して、そのデータをプロセッサ68に送信する。好ましい実施形態で、センサは、可視光スペクトルの光を感知する。あるいはセンサは、赤外線や紫外線帯域など、電磁スペクトルの他の帯域の光を感知することができる。光センサは複数の画素(例えば120万画素)からなるが、その他のサイズのフォーマットを使用することが可能である。各画素に衝突する可視光の量は、データ・フォーマットに変換される。そのような1つのデータ・フォーマットは、画素に衝突した光の量に割り当てられた数値である。例えば、画素のデータ出力の数値範囲が0から1023(画素当たりのデータ210ビット)の場合、0は、画素に衝突する光がないことを表し、1023は、画素が飽和状態であることを表す。このように、飽和後に光が画素に衝突する場合は、割り当てられた数値に変化がない。例えば、飽和後にさらに光が画素に衝突した場合であっても、数値は1023のままになる。後で論じるように、センサが示す光の量を変化させるため、プロセッサ68はセンサの動作を制御することができる(露出時間を制御することなどによって)。
さらに、1個のレンズまたは一連のレンズをセンサに接続しまたは結合して、散乱しまたは反射したより多くの光を捕捉することができる。好ましい実施形態では、センサは、図1bに示すように単一の定置レンズと共に動作する。あるいは多数のレンズおよびミラーを使用して、画像表面で入射光を屈折させ反射させると共に、光をナノ粒子スポットから散乱させまたは反射させることが可能である。
撮像システム50は、ユーザ入力/出力(I/O)78を含んでもよい。ユーザI/O
78は、ディスプレイおよびタッチ・スクリーン・モジュール、ならびにバー・コード読取り棒などの入力スキャナを含む。あるいは、または追加として、ユーザI/Oはキーボードを含んでよい。撮像モジュール50はさらに、電子I/O 80を含む。電子I/O 80は、LANなどのネットワークとのインタフェイスをとるデータ・ポート55を含んでよく、またはプリンタなどの電子機器とのインタフェイスをとることができる。撮像システムは、ブロック72で示される電源モジュールを含む。電源モジュール72は、コンピュータ、光センサ74、照明モジュール76、ユーザI/O 78、および電子I/O 80を含んだ撮像システム内の様々なモジュールに電力を供給する。
図3を参照すると、システムの別の実施形態による、撮像システムの別の図が示されている。図1bと同様に、サンプルは基質82上に配置されている。基質82には、トランスミッタ84を使用して照明を行う。トランスミッタ84は、電力を供給しビームの位置に関するコマンドを送信するプロセッサ68で制御される(一実施形態で、プロセッサ68は、トランスミッタ84の並進アライメントおよび/またはトランスミッタ84のミラー86の回転アライメントに関するコマンドを送信することによって、トランスミッタを制御する)。次いでビームを基質82に送るが、そこでは、光またはIR放射線が金粒子のスポットに衝突して散乱する。トランスミッタからのビームは、基質82の任意の部分に向けてよい。一実施形態では、ミラー86を使用してビームが回転するよう調整し、可
動式プラットフォーム88を使用してビームが並進するよう調整する。トランスミッタ84を3次元のいずれか1つの方向に移動させるには、任意の手段を使用することができる。あるいはトランスミッタ84を移動させるのではなく、基質82を3次元のいずれか1つの方向に移動させてよい。次いで散乱光は、少なくとも1個のセンサによって感知される。図3に示すように、センサは、スライドの両側に配置された受光器90の形をとる。より多くの、またはより少ない受光器を使用してもよい。次いで、後で論じるように、受光器90からの信号92をプロセッサ68に送信して分析を行う。
図1a〜cの撮像システムは、基質上のスポット/ウェルを自動的に検出し、基質上のスポットを自動的に定量し、決定統計に基づいてスポットを自動的に解読する。図4を参照すると、図1a〜cの撮像システムに関するフロー・チャートが示されている。基質を撮像システム50に配置した後、ブロック94に示すように、基質上のスポットの少なくともいくつかを検出する。このスポット検出工程については、図5のフロー・チャートでより詳細に論じる。検出されたいくつかまたは全てのスポットに基づき、ブロック96に示すように、ウェルのいくつかまたは全てを識別する。このウェル識別工程は、図6のフロー・チャートでより詳細に論じる。ブロック98に示すように、様々なスポット/ウェルには試験およびサンプルの識別コードを付する。試験識別コードは、特定のスポットが目的物体スポットであるか対照スポットであるかを示すことができ、目的物体のスポットである場合は、試験の機能を特定する。サンプル識別コードは、スポットの出所を示すことができる(例えば特定の患者であることの確認)。これらの試験およびサンプル識別データは、操作者などによって手動で入力することができ、または基質のキャプションを使用するなどして自動的に入力することができる。キャプションは、基質上のコード(例えばバー・コード)を使用することからなるものでよい。既に論じたように、ユーザI/O
78は、バー・コード読取り棒を含んでよい。バー・コード読取り器は、撮像システム50内または撮像システム50に隣接して配置される。バー・コード読取り器は、基質上に付されたバー・コードを読み取ることができる。あるいは、または追加として、試験および/またはサンプル識別コードを識別するためのコードをスライド表面に配置して、処理することができる。以下にさらに詳細に論じるように、基質は複数のスポットからなるものでよい。一連のスポット(好ましくは1列に)は、試験および/またはサンプル識別データを指示するためのデータを表すことができる。例えば一連のスポットのデータは、特定の数を表すためのバイナリ・フォーマット(ナノ粒子が存在=1、ナノ粒子がない=0)でよい。
さらに、試験およびサンプルの識別コードを割り当てる工程は、スポット検出、ウェル識別、および/またはスポット定量の工程の前に、またはこれらの工程と並行して実施してよい。あるいは、試験およびサンプル識別コードを割り当てる工程は、スポット検出、ウェル識別、および/またはスポット定量の工程の後に実施してよい。ブロック100で示すように、スポットを定量する。このスポット定量工程については、図7のフロー・チャートでより詳細に論じる。ブロック102に示すように、決定統計工程を実施する。スポット定量工程と、試験およびサンプルの識別コードを割り当てる工程の出力を解析し、その結果を統計的分析に基づいて解明する。この決定統計工程については、図8のフロー・チャートでより詳細に論じる。ブロック104で示すように、決定統計の結果を報告する。この結果は、図2のブロック78で示すように、ユーザI/Oを使用して出力することができる。
上記論じたように、本発明の一態様は、支持媒体上のスポット/ウェルを自動的に検出することである。好ましい実施形態では、ソフトウェアが自動的に画像内のウェルの位置を検出し、DNAのスポットが付着してハイブリダイズしたウェル内の特定領域の位置を特定する。ウェルを検出する1つの方法は、最初に画像内で推定されるスポットのいくつかまたは全てを抽出するために、一連の画像処理技法を使用することである。次いで幾何
学的解析などのスポット位置の解析によって、ウェルの位置の決定を試みる。
スポット検出
基質上のスポットの1つ、またはいくつか、または全ての検出を行うことは難しい。スポットの表面積は、画像全体の非常に小さい部分になる可能性があり、それがスポット検出を困難にする原因となる。例えば複数画素からなる画像では、画素領域全体が120万画素である場合、スポットはおよそ100画素かまたはそれ以下になる可能性がある。さらに、汚れや塵埃などによって、取得画像にノイズが生じる可能性がある。任意選択で、基質上にハイブリダイズしたスポットの少なくともいくつか(好ましくは全て)の「最適」画像を取得する。この「最適」画像は、画像の歪みが補正されるように、任意選択で修正することができる。その後、しきい値を使用して画像を解析し、それによってバックグラウンド(例えば画像の黒色部分)対フォアグラウンドのオブジェクト(例えば画像の白色部分)を決定する。このバックグラウンド/フォアグラウンド解析の1例として、適応しきい値化では、画像データ値の局所近傍に基づいてフォアグラウンド/バックグラウンドの分離を計算する。この結果は一般に、黒色バックグラウンドに対して白色領域を集めたものになる。しかし、比較的白色のバックグラウンドに対する暗色スポットのフォアグラウンドでもよい。次いでしきい値解析によって導かれた画像のフォアグラウンド領域を解析して、これら領域が所定のスポット領域に一致するかどうかを決定することができる。例えばフォアグラウンド領域の面積や質量、形状、周縁などの、フォアグラウンド領域の特徴を、スポットの面積や質量、形状、周縁などの、所定の特徴と比較することができる。フォアグラウンド領域の特徴がスポットの特徴と同等である場合、そのフォアグラウンド領域は、ウェル検出を行うためのスポットと見なされる。
画素に基づいて光を測定するセンサでは、画素の画像(好ましくは「最適な」画素の画像)をしきい値解析にかけて、フォアグラウンド画素とバックグラウンド画素とを分離する。その後、画像をスキャンして、オブジェクトを画定する画素クラスタを特定する。次いでこれらのオブジェクトを「ブラブ(blobs)」に配列し、このブラブを解析して、その面積や質量、形状、周縁などの特徴を決定することができる。次いでこのブラブの特徴を、予測されるDNAスポットの特徴と比較して、ノイズをフィルタ除去する。図14を参照すると、記述されるスポット検出法を使用して典型的なDNAハイブリダイゼーション・スポットを特定した画像の例が示されている。
図5を参照すると、図4で論じた基質上のスポットを検出する一実施形態のフロー・チャートが示されている。本発明の一態様では、基質の少なくとも一部の画像を取得する。好ましい実施形態では、取得した画像が、基質上のスポット全てを含む。あるいは、取得した画像は、基質上のスポットの一部のみを含んでよい(例えばスポット全ての画像を得て、画像の一部のみを処理することなどによって)。スポット検出用の画像を解析する前に、「最適」画像が決定されるよう反復適用することができる。「最適」とは、センサの特性に基づいて基質上のスポット検出を最も良く行うことが可能なセンサによって示される、電磁放射線の量と定義することができる。例えば「最適」画像は、センサの飽和のパーセンテージと定義することができる。上記論じたように、センサ(またはセンサの一部)に衝突した追加の光によって追加のデータが得られなくなった場合、センサは飽和する可能性がある。画素を使用する光センサでは、画素値がその最大になったときに飽和が生じる。最適画像として、0.5%や1%、5%、10%など、種々の飽和パーセンテージが選択される。「最適」画像の別の定義は、最大数の識別されたスポットを復帰させた画像である。この定義では、最大数のスポットが検出されるまで、センサの読取り時間または露出時間を調節することができる。
センサに向かう光の量を変更するには、以下により詳細に論じるいくつかの方法がある。一態様では、センサの動作を制御するパラメータを変化させることによって、センサが
示す光の量を制御することができる。このセンサに関するパラメータの例には、露出時間およびセンサ利得が含まれるが、これらに限定されない。露出時間の場合、センサを入射光に当てる時間の長さが、センサによって示される光の量に直接影響を与える。露出時間を短縮/延長することによって、光の量を減少/増加させる。センサが光センサの場合、光センサの画素を読み取る時間を調節することによって、露出時間を変更する。典型的な場合、デジタル・センサでは、露出時間によって積分時間が制御される。センサ要素の値、すなわち画素は、積分時間の終わりに読み取る。例えば、露出時間60ミリ秒が望ましい場合、光センサを初期化し、初期化後60ミリ秒で画素値を読み取る。別の態様では、照明モジュールを制御するパラメータを変化させることによって、センサが示す光の量を制御することができる。センサと同様に、各照明モジュールは、その動作を制御するパラメータを有する。照明モジュールに関するパラメータの例には、照明モジュールが作動している時間や照明モジュールの強度などが含まれるが、これらに限定されない。
ブロック106、108、および110を参照すると、フロー・チャートは、「最適」画像が得られるまで繰り返される。センサに関する露出時間の初期値を選択する。この初期露出時間に基づいて、光センサは、ブロック106に示すように画像を読み取る。汚れや塵埃などが原因でシステム内にはノイズがあるので、ブロック108に示すように、任意選択で画像のノイズを除去してよい。ノイズ除去は、画像のノイズ除去をしてシャープなシグナル・スパイクを除去するために、構成可能なメジアン・フィルタや平均値フィルタなどのフィルタを利用することによって行うことができる。メジアン・フィルタは、画像内の各画素を順々に検討し、その近傍を見て、その周囲を表しているか否かを決定する。メジアン・フィルタは、画素値の代わりに近接画素値のメジアンを使用する。これとは対照的に、平均フィルタは、画素値の代わりに近接画素値の平均を使用する。メジアンは、まず周辺近傍から画素値の全てを番号順に選り分け、次いで問題となっている画素値の代わりに中間画素値を使用することによって計算される(問題となっている近傍が偶数の画素を含む場合、2つの中間画素値の平均を使用する)。
画像がノイズ除去を行った後、ブロック110で示すように画素を読み取る。読み取った画素に基づいて、プロセッサ68は画素を解析し、画像が「最適」か否かを決定する。「最適」の定義が画像内の画素の飽和パーセンテージに基づく場合、プロセッサ68は画像内の飽和量を合計する(例えば、飽和している画像内の画素の数を求める)。計算したパーセンテージが「最適」な量より少ない場合(すなわち「最適」な場合よりも飽和している画素が少ない場合)は、露出時間を長くする。あるいは、計算したパーセンテージが「最適」な量より大きい場合(すなわち「最適」な場合よりも飽和している画素が多い場合)は、露出時間を短くする。この工程を、最適な画像が得られるまで、露出時間を変化させることによって繰り返す。
最適画像が得られたら、その画像を解析して、基質上のスポットの1つ、またはいくつか、または全ての位置を決定する。機器の設置面積が非常に小さい撮像システムを実現するには、撮像システムを、短い光学的作動距離で作動させる(すなわちセンサを基質にかなり近付ける)。しかしこの光学的作動距離が短いと、取得された画像に、特にその視野の縁部に歪みが生じる。本発明の背景で論じたように、視野が制限されると、対象画像の端から端までカメラを移動させて一連の画像を切り取り継ぎ合わせるという望ましくない要件が生じるので、望ましくない。好ましくは、かつ任意選択で、取得した画像の補償を行う。歪みの例にはグレースケールの歪みおよび空間的歪みが含まれるが、これらに限定されない。
光学システムでは、所与のセンサのサイズおよび視野に望ましい作動距離よりも短い作動距離を使用しなければならない場合に歪みが生じる。在庫品で容積の大きい部品を使用しなければならない低コストのシステムに対する市場からの要求と、機器の設置面積が小
さいというもう1つの市場からの要求とが一緒になった場合、上述のような機器装備であることが強いられる。好ましい機器装備では、水平方向に9.7mmという低コストで容積の大きい光センサを用い、およそ30mmから356mmの間の作動距離で水平視野65mmを撮像することが強いられる。その結果生じる歪みは、作動距離が短くなるほど大きくなる。
好ましい実施形態での歪みは、画像の空間的な変形と画像の輝度の劣化の両方に現れる。空間的に生じかつ輝度に生じる歪みは、レンズの中心からの距離に応じて増大する。図9aに、グレースケールの歪みの1例を示す。図9bには、グレースケールの歪みを補正した画像の別の例を示す。一態様で、グレースケールの歪みは、ブロック112に示すように、グレースケール補正モデルを使用して補正することができる。このモデルは、必要な補償の量を決定するある特定の入力因子を含んでよい。そのような因子の例には、画像の中心からの距離と画像の輝度が含まれるが、これらに限定されない。図10を参照すると、グレースケールの歪みを補正するための、視野の端から端までの輝度に関する補償モデルのグラフが示されている。そのようなモデルの1例は、視野全体にわたる輝度に関して図10に示す補償方程式が導かれるように、撮像システムの光学部品で構成される。このモデルは、むらのない光源と、校正済みの一組のフィルタ(3%透過フィルタ(光の3%が通過する)、10.13%、17.25%、24.38%、31.50%、38.63%など)とを使用して構成し、種々の輝度の値に関する曲線になるようにする。センサは、光センサ・アレイ全体のデータ・ポイントが得られるように、x−y並進ステージを使用して移動させた。
図10に9本の曲線が示されるように、蓄積されたデータ・ポイントは、1つの曲線に当てはめることができる。2次多項式を十分な精度で使用し、それによって、レンズの中心においてレンズの歪みが最小限である場合の画素値が何であったかを示す方程式を得る。これらの方程式を用い、センサ上のそれぞれの位置でのそれぞれの画素値を調節することができる。
データに示されるように、これらの曲線は輝度の関数である。信号の輝度が高くなるほど、グレースケールの歪みが輝度に及ぼす影響がより明白になる。一実施形態では、輝度の値の範囲全体(例えば216で65,536)にわたる曲線を集めることができる。好ましい実施形態では、輝度の範囲全体にわたって2次多項式をモデル化することによって、2次定数および1次定数が線形でありかつ0次定数が対数に関係していることを決定することができる。図11a〜cは、図10の補償モデルに関する2次多項式の定数のグラフであり、図11aは2次定数のグラフを示し、図11bは1次定数のグラフを示し、図11cは0次定数のグラフを示す。これらの関係を知ることによって、任意の所与のa、b、およびcに関し、基質上の初期の位置および初期の輝度の値を解くことができる。図10に示されるモデルの曲線は、因子として歪みをx方向に盛り込むだけであるが、グレースケール歪みモデルは、その歪みをy軸にも同様に盛り込むことができる。さらに、グレースケールの歪みを補償するその他のモデルも同様に構成することができる。
レンズによって生じる歪みにより、画像と対象との間にも空間的な歪みが生じる。この歪みは極めて大きいので、画像を確実に解析することができない。一態様では、図9aおよび図12aに示すように、空間的歪みが、画像の縁部を圧縮する負の(バレル)歪みを有する。縁部のスポットは、不自然な状態で小さくなっており、したがって見つけることがより難しい。モデルは、空間的歪みを補償するよう生成することができる。このモデルを使用して、ブロック114に示すように、空間的歪みを補正することができる。このようなモデルの1例は、垂直な線が1mm間隔で配置された校正済みのグリッドを基にしている。このグリッドを撮像システムで撮像すると、歪んだ画像が得られる。画像の中心が歪んでいないとすると、垂直なグリッド線が呈する外観の、歪んでいない空間的画像を生
成することが可能である。
図12aの画像から、歪んだ点から歪んでいない点まで移動するのに必要なxおよびyの平行移動を有するデータ・ファイルを作成する。ほとんどの画素はグリッドのノード間にあるので、歪み補正手順では双線形補間を使用し、それによって所与の歪み画像から非歪み画像を構成する。アルゴリズムへの入力は、ノードのマトリックスであり、その各ノードは、歪み画像と非歪み画像の両方の、直線的に範囲が定められた領域を表す。各ノードの範囲を定める既知の座標点を使用して、係数を計算することができ、それによって、歪んでいない点同士の補間が可能になる。f(x,y)が当初の歪み画像であり、g(x’,y’)が補正画像であるとすると、以下の関係式が得られる。
各ノードの範囲を定める8個の既知の座標があるとすると、8個の既知の係数を求めることが可能である。補正座標は整数値ではないので、補正座標を計算する他に、グレースケール値を補間することができる。デジタル画像は個別的なので、非整数座標は存在しない。最近接整数付近のグレースケールを選択するようなこの問題の簡単な解法では、望ましくないアーチファクト(不自然な結果)の数を、結果的に得られる画像に導入する。一方、双3次補間などの最適な解法では、許容されない計算要件が導入される。したがって推算を使用することにより、下記の関係式に見られるように、4個の最近接数のグレースケール値を使用して別の双線形補間を実施する。
上式で、vは、歪み画像の理論上のグレースケール値である。4個の既知の座標および4個の既知のグレースケール値を使用して、4個の係数を求めることができる。ソフトウェアが4個の係数を持った後、4個の整数画素値同士の間で補間された画素値を計算することが可能である。
取得した画像の歪みを補正した後、その補正画像内の形状を解析すべきである。形状解析は2値画像上で行い、その場合、フォアグラウンドのオブジェクトは白色で、バックグラウンドは黒色である。しかしその逆も、異なる照明技法の下では利用可能である。一実施形態では、形状の検出および解析に適した2値画像を生成するために、しきい値化モデルを使用して、グレースケール画像内のフォアグラウンド・オブジェクトとバックグラウンド・オブジェクトを差別化する。しきい値化モデルは、形状の検出および解析に適した単純な2値画像を生成するために、すべてに利用可能なフォアグラウンド・オブジェクトとバックグラウンド・オブジェクトの分離を見出そうとするものである。
しかし基質の画像は、照明のむらと同様に、塵埃や傷などに起因する不均一なバックグラウンドおよびノイズむらをしばしば含むので、好ましい実施形態ではブロック116に
示すように、適応しきい値化アルゴリズムを使用する。適応しきい値化では、ヒストグラム解析に基づいてすべてに利用可能な分離点を見出そうとするのではなく、画素値の局所近傍に基づいて、フォアグラウンド/バックグラウンド分離を計算する。
適応しきい値化は、様々な方法でモデル化することが可能である。そのような1つの方法は、下記の方程式によるものであり、ただしforiginal(x,y)はgbinary(x,y)に変換される。
適応しきい値化モデルを使用してフォアグラウンドの画素をバックグラウンドの画素から分離した後、画像を走査して、オブジェクトを画定する画素クラスタを識別することが可能である。フォアグラウンド・オブジェクト間の望ましくない関係を除去するため、ブロック118に示すように、1つにまとまった画素クラスタのブラブを分離することによって画素侵食膨張処理を行う。
画素クラスタを検出して単一の構成要素であると定義した後、ブロック120に示すように、ブラブ検出によって、フォアグラウンドの画素が接続された各クラスタを「ブラブ」とするデータ構造を構築する。ブラブ検出アルゴリズムは、画素クラスタ・データ構造
を通過して、2つの追加のデータ構造を構築し、次いで新しいデータ構造に基づいてブラブ・メトリックスを計算する。
次いでブロック122に示すように、ブラブ特性を計算することができる。これらのオブジェクト(すなわちスポットに関係する画像部分)を「ブラブ」に配置するが、このようにすると、空間決定によって、ノイズおよびDNAスポットに関して予測した特徴を持たないブラブをフィルタ除去することが可能になる。したがってブラブの種々の特徴は、有効なDNAスポットを受け入れて無効なノイズを受け付けないように計算することができる。種々の特徴には、ブラブの統計形状モーメント、ブラブの画素面積、ブラブの画素質量(画素値の合計)、ブラブのセントロイド座標、ブラブの周縁、およびブラブの真円率が含まれるが、これらに限定されない。
ブラブの統計形状モーメントは、ブラブの形状が2つの変数の関数を表すものと考え、次いで統計モーメントを計算することによって、求めることができる。モーメントは、その次のブラブ・メトリックスの多くの基礎となる。連続関数f(x,y)に関するモーメントは下記の通りである。
しかしデジタル画像の場合、これらは個々に合計される。
基本モーメントを計算したら、中心モーメントを計算することが可能である。中心モーメントは、ブラブ位置によって正規化される。
モーメントを計算する場合、ブラブの走査セグメント・リストの縦断を使用して、関数fbinary(x,y)の範囲および分域を表す。
別のブラブの特徴は、画素面積である。ブラブの画素面積とは、ブラブ内の画素数である。これは、ブラブの走査セグメント・リストによって表される画素の数を数えることにより計算する。この値はモーメントm00である。
さらに別の特徴は、ブラブの画素質量(画素値の合計)である。ブラブの画素質量は、ブラブ内の画素値の合計である。
上式で、foriginalは、当初の16ビットのグレースケール画像であり、しきい値化したgbinary画像ではない。
別の特徴は、ブラブのセントロイド座標である。ブラブの座標位置は、x軸およびy軸のモーメントを使用することによって計算し、それによってブラブの平均位置を決定する。
得られる座標は、ブラブの総面積によって正規化された、ブラブのx軸およびy軸である。これは、ブラブの平均位置、または中心を表す。
さらに別の特徴は、ブラブの周縁である。ブラブの周縁は、(x,y)によって表される、ブラブの周辺ポイント・リスト内の画素間の距離を合計することによって計算する。
Nは周辺ポイント・リストの長さである。
最後のブラブの特徴は、ブラブの真円率である。周縁および全体の面積がわかったら、真円率を計算することが可能である。
上式で、完全に円形のブラブはC=1.0である。許容される真円は、構成可能なパラメータであり、ブラブがある特定の最小面積を有する場合のみ有効である。
これらブラブの特徴の1つ、またはいくつか、または全てに基づいて、ブロック124に示すように画像に組み込まれたブラブを解析しフィルタリングし、どれが有効なDNAスポットでどれがノイズであるかを決定することができる。
ウェルの識別
スポット検出工程は、検出されたスポットと、検出されたスポットの特徴(面積や周縁など)を提供する。これに基づき、検出されたスポットの少なくともいくつかを分析(好ましくは幾何学的分析)して、検出したスポットの無秩序な集合体から、これらスポットをどのようにウェルにまたは行に編成するかを決定する。
ウェルの識別では、検出されたスポットの無秩序な集合体を得て(前述のセクションで論じたように)、ウェルを構成するスポットの自動的特定を試みる。この自動的な特定は、従来技術の機器で必要であったように、人による操作介入を必要としない。むしろウェルの特定は、検出されたスポットの特性(例えば間隔やパターンなど)に基づいている。
上記で論じたように、基質は複数のウェルからなるものでよい。ウェルのそれぞれは、少なくとも2個のスポット(好ましくは複数のスポット)を含むことができる。ある特定のウェル内のスポットは、典型的な場合、これらのスポットが特定の目的物体または一連の目的物体の試験に関連付けられるように、1つの実験を構成する。ウェルの識別では、ウェル内のスポットの数や、取得された画像内のスポットの位置(例えば画素の場合は、どの画素グループが特定のスポットに対応するか)、ウェルの幾何形状などの、ウェルの特性を得ようとするために、これら検出されたスポットのいくつかまたは全ての間隔や検出されたスポットのパターンなど、検出されたスポットのある特定の特徴について分析する。ウェルの典型的な例は、マトリックス状のスポットである。このマトリックスは、特定の基質に応じて、3×3のスポット(ウェル内に、合計で9個のスポット)や4×4のスポット(ウェル内に、合計で16個のスポット)などを含んでよい。例えば図14には、10個のウェルがあり、各ウェルがスポットを含んでいる基質が示されている。
ウェルの特性は、検出されたスポットの分析によって、かつ/または特徴がわかっているウェルとの比較によって得ることができる。一態様では、無秩序なスポットを分析して、ウェル内の陽性対照スポットを決定する。第2の態様では、スポット間の距離の動的測定を使用して、1つのウェル内の複数スポットを差別化し、種々のウェル内の複数スポットを差別化する。
図6を参照すると、基質上のウェルを識別するための一実施形態のフロー・チャートが示されている。好ましい実施形態では、検出されたスポットの少なくとも一部について分析する。例えば、実験で陽性対照スポットを使用する場合、検出されたスポットは、その陽性対照スポットを決定するために分析する。陽性対照スポットの位置に関する所定の知識に基づいて、ソフトウェアは、ウェルを識別する際にこれらスポットに関する探索を行うことができる。好ましい実施形態で、陽性対照スポットは、各ウェルの上段に位置付けられている。例えば図14に示すように、各ウェルの上段のスポット全ては、検出されたスポットである。したがって、ブロック126に示すように、上段に配列されたスポットが最初に決定される。1列に並ぶウェルの、各ウェルの最上段のスポットを見出すには、幾何学的分析を使用してよい。この段のスポットは、左から右に大まかにラインを形成する。各ウェルの最上段のスポット以外のスポットを目視できるか否かは、その他の要件によって決められるので、好ましい実施形態でのソフトウェアは、最上段に関して探索を行うだけである。各ウェルの最上段は、存在しかつ目視できることが保証されるのでアライメント列と呼ばれ、目視できまたは目視できないウェル内のその他スポットの幾何学的仮定を行うのに使用することが可能である。ウェルが1列に横に並ぶ列において、各ウェルのアライメント列の全ては、ソフトウェアが目的物体とすることが可能な1列のスポット・パターンを大まかに形成する。このラインは、例えば図14の上段の端から端まで引かれる。したがって、異なるウェル内で検出されたスポットを分析することにより、ウェルの自動検出は、左から右に至る交線に沿って区別可能なパターンを形成する、異なるウェル内の非ランダム・スポット群を位置付けることに基づいて行われる。
アライメント列などのウェルの一態様に関する探索は、ウェルの態様が画像処理よりも高度な抽象化のオブジェクトを取り扱うこと以外は、上述の画像解析に従って行う。スポットを、画像内で検出された「ブラブ」と定義する場合、検出された全てのブラブの現行の組は、ブラブの面積やブラブの真円などブラブの特徴に基づいてフィルタリングすることができる。所定の特徴に基づいて、ブラブの許容される値の範囲を構成することが可能である。このフィルタリングでは、ハイブリダイズした有効なスポットになりそうもないブラブが除去される。これは、意図しないパターンをランダムに生成する可能性のある無関係のオブジェクトがデータ・セットにあまり存在しないので、後続の処理に効率的で効果的である。
ハイブリダイズしたスポットに関する所定のフィルタリング基準を満たすブラブを、現行の可能性あるハイブリダイズ・スポット集合を表す新しいデータ・セットにまとめ、これをトータル・スポット集合と呼ぶ。トータル・スポット集合を求めたら、インデックス・インターセクション・イメージ(I)と呼ばれる人工画像を構成する。ソフトウェアは、構成画素値として各スポットのインデックス値を使用することにより、スポット形状を人為的にI画像にする。このI画像により、ソフトウェアは、スポットとラインの間の交点集合を効率的に計算することができる。
取得した画像の任意の態様で、順方向の列スキャンを開始してよい。好ましい実施形態では、順方向列スキャンを画像の最上段から開始し、下に向かって画像の下部へと進める。この列スキャンは、まずウェルの上段にアライメント・スポット列を位置付けようとするものであり、次いでウェルの下段にアライメント・スポット列を位置付けようとするも
のである。
上段アライメント列を適正に位置付けた後、下段アライメントに関する探索は、上段アライメント列の特徴に基づいて実施することが可能な発見的計算によって十分に支援される。順方向列スキャンでの計算の基本単位はスポット集合である。スポット集合は、I画像の左縁部から右縁部に至る仮想線を横断し、交差したスポットを収集することによって最初に画定する。順方向列スキャンは、得られたスポット集合が空である限り、指定された数の画素列だけ順方向に移動する。初期スポット集合が空ではなくなったら、スポット集合の線形交点の質を純化し上昇させる反復収束を実施することができる。
いくつかのスポット集合収束法を使用することができる。2つの例示的方法には、静的方法とライン適合法が含まれる。ライン適合法は、入力画像において高度な可変性を許容することができる。しかし、収束に関するライン適合法は、それだけで不安定になる可能性がある。静的収束法は、高度な可変性を許容しないが、非常に安定している。したがって、スポット集合の静的収束を使用し、次いでライン適合収束でスポット集合を純化することが好ましい。この組合せによって、可変性の許容度と安定性とがうまく折り合うようにすることができる。
静的収束では、ソフトウェアが、方程式y=mx+bによりスポットがラインと交差するとみなすが、mを変更しようとはせず、bのみ変更する。さらにbは、決して減少することなく、増加するように変更されるだけである。静的収束を行うため、現行スポット集合の平均yセントロイドを計算し、次いで新たなb項を下記の式に従って割り当てる。
上式でIwidthは、画素におけるスライド画像の幅である。新たなスポット集合は、新しいラインの交差によって画定する。この工程を、2回の近接する繰り返しによって同一のスポット集合が生成されるまで繰り返す。
ライン適合収束では、ソフトウェアが、方程式y=mx+bによりスポットがラインと交差するとみなし、スポット集合が適正に収束するようにmとbの両方を調節する。ライン適合収束を実施するため、ソフトウェアは、現行スポット集合のセントロイド座標上で最小2乗ライン適合を実行する。得られたラインを使用して、新しいスポット集合を画定する。この工程は、2回の近接する繰り返しによって同一のスポット集合が生成されるまで繰り返す。ライン適合収束を行おうとする場合、ソフトウェアは、有効なラインの傾きの構成可能な範囲を考慮に入れる。この傾きの範囲を超えた場合に収束を打ち切る。ライン適合収束を打ち切った場合、静的適合によって生成されたスポット集合をフォールバックとして選択し、処理を通常通り継続させる。
収束反復によってスポット集合を純化し安定させた後、スポット集合内に存在するパターンの定量分析を行う。スポット・パターンを分析するために、ソフトウェアは、スポット集合が無秩序ではなくむしろ左から右に至るラインに沿って交差するスポットを表しているとみなす。上記論じたように、ウェルの既知の特徴を分析して、無秩序なスポットに関する結論を出すことができる。この線形スポット・パターンの2つの特徴的要素とは、
スポット間の空のギャップとスポットそのものである。特徴的要素の分析は、様々な形態をとることができる。そのような1つの形態は、記号パターン照合を容易にする抽象記号形式に、スポット集合を変換することである。
ブロック128に示すように、スポットとウェルのギャップを計算する。スポット集合パターンの基本的要素の1つは、ラインに沿ったスポット間のギャップである。ソフトウェアにより、ギャップの距離の少なくとも一部(好ましくは全て)を収集し、それらをギャップ・クラスに分類することができる。ギャップ・クラスとは、同じと見なすことが可能になるように、統計的には同様の、個々に異なる測定済みのスポット間ギャップを収集したものである。
計算されたギャップに基づいて、ブロック130に示されるように、ウェル内のスポットの数および/またはウェル・パターンを求める。例えば、計算されたギャップに基づいて、特定のウェルのレイアウト(スポット数、ウェル内のスポット分布、レイアウトなど)を求めることができる。これを実現するために、ギャップを収集し、発見的方法を使用して各クラスにまとめ、分類し、次いでラインに沿った各ギャップ・クラスの出現度数に従って記号を割り当てる。このスポット間ギャップそのものに記号が割り当てられるのではなく、各ギャップ・クラスに記号が割り当てられる。記号は、aからfまでの文字で表される。
最も頻繁に出現するギャップ・クラスにはaを割り当て、次に頻繁に出現するギャップ・クラスにはbをと、続けて割り当てるようにする。誤ったスポット集合を防止するため、ギャップ・クラスに記号を割り当てる間、いくつかの発見的方法を使用してよい。
適正に形成されたアライメント列では、ウェルのアライメント列におけるスポット間のギャップが、記号aで表される最も頻繁に出現するギャップ・クラスであるべきである。
ギャップ・クラス記号を割り当てた後、これらの記号を、線形スポット・パターンのその他の基本的要素、スポットそのものと組み合わせることが可能である。スポットは、記号Sで表すことができる。実際の各スポット間ギャップは、実際のギャップが属しているギャップ・クラスに対応した記号で表すことができる。
記号形式に変換した線形スポット・パターンは、この例と同様に見える。
cSaSaSaSbScSdScSaSaSaScSaSbScSaSaSaSb
上記例示的な記号形式は、横断する4個のスポットからなるウェルを3個含む群を表す。この形式は、線形スポット集合内で生じる様々な無関係のスポット、すなわちノイズも示す。
スポットを記号形式に変換した後、ソフトウェアは、現行スポット集合が有効なアライメント列を表すか否かを決定するために、正規表現に基づいて、パターン照合メカニズムを使用することができる。アライメント列の照合に使用される正規表現は、構成可能であり、各ウェルを画定する記号サブセットを正確に描くのに使用するサブグループの定義を含む。
スポット、スポット集合、ギャップ・クラス、および線形スポット集合の記号形式を表すデータ構造を構築する間、ソフトウェアは、様々な抽象化間のリンクを維持する。このようなリンクがあるので、正規表現照合によって見出されたサブストリングから、ソフトウェアが各記号のストリング・インデックスに基づいてサブストリングにより表される実際のスポットの集合を求めることができるように、後方走査が可能になる。
下記の正規表現を仮定すると、
(SaSaS)(aS)+
パターン照合は、下記の例示的な記号スポット集合の構成解除を行うことになる。
C(SaSaSaS)bScSdSc(SaSaSaS)cSaSbSc(SaSaSaS)b
括弧付きのサブグループはそれぞれ、検出されたウェルを表す。
有効なアライメント列では、ソフトウェアが、抽象化間で維持されたリンクを使用し、それによってスポット・クラスタを表すデータ構造を構築する。各スポット・クラスタは、1つのウェルに関するアライメント列を作成する左から右へのラインに沿って水平なスポットの群を表す。検出されたウェルは、ウェルのスポット・クラスタから導き出すことが可能な特徴によって明らかにされる。
スポット集合が有効なアライメント列ではない場合、ソフトウェアは現行の順方向列スキャンを前進させて現行スポット集合を通過し、別のスポット集合で収束が行われるよう継続再開する。現行の順方向列スキャンを前進させて現行スポット集合を通過することは、m項を調節することなく線形方程式のb項を上げることによって行われる。b項は、2回の近接する繰り返しによって異なるスポット集合が生成されるまで、増大させる。
ウェル内のスポット数の決定に基づき、ブロック132に示すように、ウェル・マスクを構成する。アライメント列を見出した場合、ソフトウェアは、アライメント列の実際のスポットからのメトリック・データを使用して、各ウェルに関して予測されるスポットのマスクを構成する。例えば、ウェルの幾何形状を四角形とすることが予め決められている場合、アライメント列を横断するスポットと同程度に多くのスポットが、下向きにも存在する。特に、パターン照合に基づいてウェルが3×3ウェルであると決定された場合、また、アライメント列(上段の3個のスポット)が見出された場合は、その下の2列を見出すことができるが、これはソフトウェアが、上段アライメント列の下に、3個のスポットをそれぞれ有する下部2段が並んでいることを理解しているからである。
アライメント列の各スポットでは、その下に、1列のスポット・マスクを内挿する。縦列に並ぶスポット・マスクを計算する場合、ソフトウェアは、スライドの端から端までのアライメント列全体を表す線形方程式を考慮に入れる。内挿したスポット・マスクの円の直径は、スライド全体のアライメント列のスポットに平均直径に基づく。
各内挿スポットの位置は、以下のように計算する。
上式で(x’,y’)は、各内挿マスク・スポットのセントロイド座標であり、Dは、アライメント列全体でのスポット間の平均距離である。(x’,y’)は、アライメント列のスポットのセントロイド座標であることに留意されたい。したがって、アライメント列の発見に基づき、かつパターン照合に基づいて、ソフトウェアはウェル内のスポ
ットのそれぞれを決定する。例えば図14は、上段アライメント列に関して描かれた円によってウェル内に検出されたスポットと、やはりこのアライメント列に基づいて決定されたスポットに関して描かれた円を示している。
スポット定量
ウェルを識別した後、ウェル内の個々のスポットを定量する。例えば、ナノ粒子の検出に使用される光センサが飽和状態になり、画像から得られる情報の量が制限される。この問題の1例を図15に示すが、この図は、光センサの特定の露出時間による、一組のサンプルの写真を示している。図15は、光センサに固有の制約を示している。光センサは、一組の固定パラメータ(すなわち1つの露出時間)を使用して、この試験の「スナップショット」を得た。このため、異なる組のサンプルから抽出されるデータは限られる。例えば、図15の左上のサンプルから抽出したデータは、光センサが完全に飽和状態にあるので限定される。同様に、図15の右下および左下領域のサンプルは、光がまだ当たっていないので、限られたデータを提供する。図15の右上のサンプルだけが、最適なデータ抽出を示している。これは、光センサが、センサのダイナミック・レンジ内にあることに起因する(すなわち、光が当たるが著しい飽和点には至らない)。したがって、図15に示されるこの「スナップショット」は限られたデータしか提供せず、DNAハイブリダイゼーション・スポットを撮像するときに頻繁に出現する可能性のある反射光の大きなばらつきにより、撮像する能力がひどく損なわれる。
サンプルから使用可能な情報を抽出するために、センサのダイナミック・レンジを高めることにより、画像内の問題となっている領域でより有用な情報が得られるようにしなければならない。このダイナミック・レンジの増大は、センサによって示される電磁放射線の量を制御することによって実現される。既に述べたように、好ましい実施形態では、センサによって示される電磁放射線の量の制御を、露出時間やアパーチャ・サイズなど、センサに入射する光を制御するパラメータを変更することによって実現することができる。さらに、センサに当たる光の量に影響を及ぼすその他のパラメータも使用してよい。次いで、引き続きより詳細に論じるように、センサの修正パラメータ(例えば異なる露出時間)に基づいてデータを得る。その後、以下のセクションで論じるように、ナノ粒子のレジストレーションを検出するためにデータを分析する。
サンプルに照射される光の量を変更することによって得られたデータの例を、図16a〜16dに示す。図16aを参照すると、ウェル内に3個のスポットが示されている(例えば、1個の陽性対照試験スポット164、1個の陰性対照試験スポット166、および1個の目的物体試験スポット168)。上記論じたように、ウェルは組織的方法であり、1群の実験を一まとめにすることができ、ウェル内の情報の一部または全てを読み取ることによって決定に達することができる。図16a内のウェルを記録するセンサの露出時間は短く、したがってセンサは、強度を記録せずまたは最小限の強度しか記録しない(スポットは黒色)。図16b〜16dではセンサの露出時間を長くし、それによって、より多くの光がセンサを透過することが可能になる。図16bに示すように、陽性対照試験スポットおよび目的物体試験スポットは記録を開始し(灰色である)、一方、陰性対照試験スポットは黒色のままである。図16cでは露出時間を再び延ばし、したがって陽性対照試験スポットおよび目的物体試験スポットが飽和状態にあり(白色である)、一方、陰性対照試験スポットは強度を記録し始める。図16dでは露出時間を再び長くし、したがって3個のスポット全てが飽和状態になる。これら一連の図は、センサの限界と、有用な情報を抽出する可能性の両方を示している。図16a〜16dに示す例では、図16bまたは16cを検討することによって、目的物体試験スポットと陽性対照試験スポットまたは陰性対照試験スポットとの比較に基づき、目的物体試験スポットが陽性試験スポットであると結論付けることができる。
あるいは図17に示すように、目的物体試験スポットの分析を、異なる手法で行うことができる。5個の対照スポット170と、目的物体試験スポット172が示されている。サンプルに照射される光に影響を及ぼすパラメータは、目的物体試験スポットがセンサのダイナミック・レンジ内に入るように変更することができる。例えば、目的物体試験スポットがセンサの飽和状態付近または飽和状態の初めになるように、露出を変更してよい。次いで目的物体試験スポットを対照試験スポットと比較し、その比較に基づいて決定を行う。図17は、合計で5個の対照スポットを示すが、より少ないかまたはより多い対照スポットを使用してもよい。図17に示すように、目的物体試験スポットは、一番上から2番目の対照スポットに最も良く似ている。
図16および17に示すように、センサのダイナミック・レンジは、露出時間などのセンサのパラメータを調節することによって、自動的に調節することができる。好ましい実施形態では、ウェルなどの、画像内の問題となっている領域を、異なる露出時間を使用して分析することができる。例えば図14は、特定のウェル内のスポットを囲む四角形として描かれた、問題となっている領域を示す。問題となっている領域のダーク・レベルから飽和レベル(またはちょうど飽和した状態)までの間で、様々な露出時間を用いることができる。このようにセンサは、その線形範囲で動作し、それによって、ウェル内のスポットおよび/またはウェル間のスポットも分析するための有用なデータを増大させることができる。
図7を参照すると、基質上でのスポット定量の一実施形態のフロー・チャートが示されている。一実施形態では、画像を異なる領域(例えば、ウェル識別工程で識別された種々のウェル)に分割する。次いで異なる領域ごとに異なる露出時間で画像を得る。ブロック134に示すように、光センサ画像を読み取ることによって、画像を取得する。ブロック136に示すように、画像から汚れや塵埃などを除去するため、任意選択で、ノイズ除去(despeckle)などによって画像をフィルタリングしてよい。この工程は、図5に示すノイズ除去工程(ブロック108)と同様である。
次いでブロック138に示すように、画像を読み取る。この工程では、問題となっている現行領域である画像の一部を読み取る。例えば、ウェル#1が問題となっている第1の領域である場合、ウェル#1に関する画素値(ウェル識別工程で求めた)を読み取る。図14に示すように、基質上のウェルの強度および透明度は、ウェルが位置付けられている場所に基づいて変化する。例えばウェル2の強度/透明度は、ウェル5の強度/透明度とは異なる。したがって、特定のウェルなど問題となっている領域に焦点を合わせることにより、処理を支援することができる。
次いでブロック140に示されるように、最適な露出が得られたか否かを判断する。基質の特定領域に関して多数の露出を得る前に、「最適な」露出時間が得られることが好ましい。上記論じた「最適な」露出時間は、センサ特性に基づいて基質上のスポット検出を最も良く行うことができるセンサによって示される、電磁放射線の量と定義される。この例で、「最適な」露出時間はさらに、センサのリニア・レンジの外部境界にあり、または外部境界付近にあると定義される。好ましい実施形態で、センサのリニア・レンジの外部境界は、画像の飽和パーセンテージとして定量される。例えばブロック142に示すように、読み取った画素を分析して、最適な露出時間が得られたかどうかを判断することができる。具体的には、読み取った画素を分析して、画素値のある特定のパーセンテージ(1%など)が飽和値であるかどうかを判断する。求められたパーセンテージに基づいて、露出時間を延長し(所望量よりも少ない画素が飽和している場合)または短縮する(所望量よりも多い画素が飽和している場合)。最適な露出時間がわかったら、ブロック144および146に示すように、グレースケールおよび空間的な歪みにより、画像を任意選択で補正にかける。これらの補正モデルは、図5のブロック112および114に関連して既
に論じた。その後、ブロック148に示すように、問題となっているある特定領域のスポット内部の補正済み画素値を出力する。
センサのリニア・レンジ内で多数の露出が求められたので、ブロック150に示すように、特定領域(ウェルなど)に関する追加の露出を求めるか否か問い合わせる。例えばリニア・レンジ内で4つの露出が求められ、「最適な」露出が100ミリ秒である場合、問題となっている領域に関し、25ミリ秒、50ミリ秒、および75ミリ秒という3つの追加の露出が得られる。したがって露出時間は、0から最適な露出時間までのレンジ内で均等に分布していることが好ましい。あるいは、0から最適な露出時間までのレンジ内で異なる露出時間を選択することができる。次いでこのシステムは、問題となっている特定領域ごとに異なる露出時間で反復を行う。ブロック150に示すように、問題となっているある特定領域に関して露出の全てが得られたら、ブロック152に示すように、問題となっている任意のその他の領域(すなわち分析をする任意のその他のウェル)があるか否かを問い合わせる。別の領域がある場合は、まず問題となっている領域に関して最適の露出が得られ、次いで異なる露出時間で画像を得るまで、プログラムを繰り返す。
図18を参照すると、スライド上のウェル内の様々なスポットに関する画素値対多数の露出時間に関する実験データのグラフが示されている。x座標は時間をミリ秒で示し、y座標は画素値の合計である。例えば、スライド上の10個のウェルそれぞれに関して横1列に並んだスポットの結果を示す。この図に示すように、画像から意味のあるデータを得るには、広範囲にわたる露出時間(10〜100ミリ秒)が必要である。したがって、問題となっている特定領域に焦点を合わせ、問題となっている領域内で異なる露出の画像を取得することによって、スポットの定量が支援される。
決定統計
決定統計は、スポット定量の結果を分析して結論を出す。
様々なスポットに関して出力された画素値に基づき、回帰分析によって、所定の露出時間で「導き出された」画素値を求めることができる。好ましい実施形態では、「所定の」露出時間を、最長の「最適」露出時間として選択する。所定の露出時間に関してその他の露出時間を選択してもよい。この最長の「最適」露出時間に基づいて、ウェル内の各画素ごとに「導き出された」画素値を求めることができる。
導き出された画素値の1例を図19に示すが、この図は、x軸が露出時間(t)を示し、y軸が画素強度値(I)を示す。このグラフに示すように、グラフの第1の部分174があり、この部分では露出時間が非常に短く、画素値強度が小さい。このような露出時間は、サンプルが、センサ上にまだ十分示されないことを示している。グラフには第2の部分176があり、強度が増大し始めて、有用なデータを得ることができる。第3の部分178があり、強度は横ばいになり始める。この第3のセクション178では、センサが飽和状態になり、有用なデータが制限される。
図19に示される値は、特定のウェル内のスポットに対応する。上記論じたように、最適な露出時間は、画像の1つのセクション(ウェル全体に関する画像の一部や、図14のウェルの回りに描かれたボックスなど)に基づいて優先的に決定される。最適な画像が決定したら、最適な露出よりもさらに短い種々の露出を優先的に得る。例えば最適な露出が100ミリ秒の場合、4つの異なる露出、20ミリ秒、40ミリ秒、60ミリ秒、および80ミリ秒を得る。曲線「A」は、5つの露出に対し、特定ウェル内の陽性対照試験サンプル中の1画素について、読み取ったものである。曲線「B」は、5つの露出に対し、特定ウェル内の目的物体試験サンプル中の1画素について、読み取ったものである。曲線「C」は、5つの露出に対し、特定ウェル内の陰性対照試験サンプル中の1画素について、読み取ったものである。曲線「A」に関する露出時間(t=100ミリ秒)での画素強度
値(I)は、目的物体ウェルの第3のセクション178内にあり、その値は1023である。飽和領域での値(図19の1023)は、センサがさらに強度を記録することを停止するので、比較する価値がない。データを比較するため、飽和領域内の画素強度値を変更すべきである。一実施形態では、この変更は、ブロック154に示すように、スポット内の各画素値の回帰分析によって行い、次いでブロック156に示すように、同じ露出値で全画素を表す曲線の外挿または内挿を行う。
一実施形態で、露出時間に対する強度は、第2の領域176内のデータ・ポイントに当てはめた曲線の関数に基づいて求める。例えば対照サンプルの強度を求めるには、グラフの第2の部分の値に基づいて、値を外挿する。これは、強度を修正した値(図19で約2000)を示す図19の破線によって示される。この外挿は、図19に示すように、線形外挿の形態をとる。あるいは、曲線をグラフの第2の部分に当てはめることができ、その後、種々の強度を求めるために、この曲線を問題となっている露出時間まで延長することができる。曲線「B」および「C」に関するt=100ミリ秒での値は、深い飽和がまだ生じていないので、外挿する必要はない。したがって値は、読取りから直接読み取ることができ(曲線「B」および「C」に関してそれぞれ750および740)、または内挿することができる。このため、所定の露出時間に対する画素強度値は、ある領域内の各画素ごとに導き出すことができる(外挿によって、またはデータ・ポイントの解明によって)。
ウェル内のスポット群は、ブロック158に示されるように、試験およびサンプルの識別などの提供される情報に基づいて、目的物体、陽性対照、または陰性対照であると決定することができる。スポット群を決定するこの工程は、ブロック154の回帰分析、ブロック156の外挿/内挿、および/またはブロック160の計算の前または後に実施することができる。
これら導き出された画素値から統計的分析を行って、目的物体スポットが対照陽性スポットと同様であるかまたは対照陰性スポットと同様であるかを判断することができる。結果が陽性または陰性になる感染症に関する試験では、そのような実施形態を使用してよい。あるいは、目的物体スポットを互いに直接比較することが可能である。結果が野生型、変異体、またはヘテロ接合体になる遺伝的素因に関する試験では、様々な目的物体スポットの直接比較を使用してよい。複数のスポットは、ブロック160に示すように、1つのスポットで導き出された画素の全ての合計、1つのスポットで導き出された画素の平均値、および1つのスポットで導き出された画素の標準偏差に基づいて比較することができる。これらの値から、ブロック162に示すように、平均同士の差など(例えばt−試験やz−試験など)の統計的試験を実施して、スポットおよびスポット群を比較することができる。あるいはスポット同士を、パーセンテージの差の計算または比の計算と共に互いに比較することができる。
本発明の好ましい実施形態について本明細書で述べてきた。当然ながら、添付の特許請求の範囲によって定義されるように、本発明の真の範囲から逸脱することなく、これら実施形態に変更および修正を加えることができることが理解されよう。本発明の実施形態は、一組のコンピュータで実行可能なソフトウェア命令として、ソフトウェア・モジュールに、記述した方法を実施するための論理を含むことが好ましい。プロセッサは、照明モジュール、電源モジュール、撮像モジュール、および入力/出力モジュールを含めたシステム内のモジュールの、少なくとも1つの動作を制御する論理を実行する。プロセッサは、記述した機能が提供されるように当業者によってプログラムすることが可能なソフトウェアを実行する。
ソフトウェアは、例えば図2のメモリ・デバイス70のように、上述のコンピュータ可読媒体上に維持される一連のバイナリ・ビットとして表すことが可能である。コンピュータ可読媒体には、磁気ディスク、光ディスク、およびプロセッサで読取り可能な任意のその他の揮発性または(例えばランダム・アクセス・メモリ(「RAM」))不揮発性ファームウェア(例えば読み出し専用メモリ(「ROM」))記憶システムを含めることができる。データ・ビットが維持されるメモリの位置は、記憶されたデータ・ビットに対応する特定の電気、磁気、光、または有機特性を有する物理的な位置も含む。ソフトウェア命令は、メモリ・システムを備えたプロセッサによってデータ・ビットとして実行され、電気信号表示の変換を行い、メモリ・システム内のメモリ位置でデータ・ビットを維持し、それによってユニットの動作を再構成しまたは別の方法で変更する。実行可能なソフトウェア・コードは、例えば上述の方法を実施することができる。
ハードウェアの実施形態は、様々な種々の形をとることができることを理解されたい。ハードウェアは、カスタム・ゲート・アレイを備えた集積回路または特定用途向け集積回路(「ASIC」)として実装することができる。実施形態は、個別のハードウェア構成要素および回路で実施してもよい。特に、流れ図に示した論理構造および方法の工程は、ASICなどの専用ハードウェアで、あるいはマイクロプロセッサまたはその他のコンピュタ・デバイスによって実行されるプログラム命令として実施できることを理解されたい。
特許請求の範囲は、その効果を特に示さない限り、記述されたオーダの要素に限定するものと読み取るべきではない。さらに、任意の請求項での「手段」という用語の使用は、米国特許法第112条第6項に基づくものであり、「手段」という単語を用いない任意の請求項は、その条項に基づくものではない。したがって、以下の特許請求の範囲および精神に包含される全ての実施形態とその均等物は、本発明として請求される。この開示は、本発明が関係する技術分野において、一般に本発明の原理に従う本発明の全ての変形例、使用、または適用を包含するものである。
撮像システムの一実施形態の斜視図。 フロント・カバーを外した状態の、図1aに示す撮像システムの正面図。 フロント・カバーを外した状態の、図1aに示す撮像システムの側面斜視図。 図1a〜cのシステムのブロック図。 本システムの代替の実施形態による撮像システムの別の図。 図1a〜cの撮像システムに関するフロー・チャート。 図4で論じた基質上のスポットを検出する一実施形態のフロー・チャート。 図4で論じた基質上のウェルを識別する一実施形態のフロー・チャート。 図4で論じた基質上のスポットを定量する一実施形態のフロー・チャート。 図4で論じた決定統計の一実施形態のフロー・チャート。 グレースケール補正前のスライドの画像。 グレースケール補正後のスライドの画像。 グレースケールの歪みを補正するための、視野全体にわたる輝度に関する1次元での補償モデルのグラフ。 図10の補償モデルに関する2次多項式の、2次定数のグラフ。 図10の補償モデルに関する2次多項式の、1次定数のグラフ。 図10の補償モデルに関する2次多項式の、0次定数のグラフ。 空間的歪みのあるスライドの画像。 データ・ファイル内のデータの画像/プリントアウトであり、歪んだ点から歪んでいない点まで移動するのに必要なxおよびyの平行移動の視覚的表示を有するデータ・ファイルが直上の画像から生成された図。 グレースケールおよび空間的歪みを補正する前のスライドの画像。 グレースケールおよび空間的歪みを補正した後のスライドの画像。 画像内に鮮明なスポットが検出された、スポット検出法の画像の1例を示す図。 光センサの特定の露出時間での1組のサンプルの写真。 サンプルに位置合わせした光の量を変更することによって得られるデータの例。 サンプルに位置合わせした光の量を変更することによって得られるデータの例。 サンプルに位置合わせした光の量を変更することによって得られるデータの例。 サンプルに位置合わせした光の量を変更することによって得られるデータの例。 一連の対照スポットと目的物体試験スポットを示す図。 スライド上の様々なウェルに関する画素の値に対し、多数の露出時間に関する実験データを示したグラフ。 基質上の1つのウェル内のスポットに関し、センサによって示された画素強度の値に対する露出時間を示したグラフ。

Claims (5)

  1. 基質ホルダと、
    プロセッサと、
    該プロセッサに接続されたメモリと、
    該プロセッサに接続され、該基質ホルダに対して固定された位置を有する撮像モジュールと、
    基質を照明するための照明モジュールと、からなり、
    該メモリは、該撮像モジュールからの入力を受信して粒子が検出された否かを示す出力が提供されるための、該プロセッサにより実行可能な一組のプログラムを有し、
    プログラムは、
    (1)該撮像モジュールによって、該基質ホルダ中の基質上の1つ以上のスポットの複数の画像を撮像する工程と、
    2 該1つ以上のスポットの複数の画像に基づいて、該1つ以上のスポットのいずれかに、1つ以上の目的検体が存在することを示す、金属ナノ粒子複合体の存在を判定する工程と、
    該複数の画像は、複数の異なる露出時間を用いて得られる工程と、
    を実行するように構成されており、
    該1つ以上のスポットは少なくとも、試験サンプルを含む第1の試験スポットとして配置され、第2のスポットは、対照スポットまたは第2の試験スポットとして配置される、基質上の粒子を検出するための装置。
  2. 前記メモリは補償モジュールを含み、前記プロセッサが該補償モジュールにアクセスして、前記撮像モジュールによって取得された画像の歪みを補償する請求項1に記載の装置。
  3. 前記補償モジュールがグレースケールの歪みを補償する請求項2に記載の装置。
  4. 前記試験サンプルが入っているスポット内に前記金属ナノ粒子複合体の存在を判定する工程が、
    前記1つの試験スポットおよび前記対照または第2の試験スポットを含んだ複数の画像の一部について回帰分析を実行して、各スポットに関する強度対露出時間の関数を作製する工程と、
    露出時間を選択する工程と、
    作製した関数に基づいて、選択された露出時間に対する1つの試験スポットおよび対照または第2の試験スポットの強度を決定する工程と、
    選択された露出時間での、1つの試験スポットの強度と対照または第2の試験スポットの強度との比較に基づいて、試験サンプルが入っている1つの試験スポットが金属ナノ粒子複合体を含んでいるか否かを判定する工程と、
    からなる請求項1に記載の装置。
  5. 基質ホルダと、
    プロセッサと、
    該プロセッサに接続されたメモリと、
    該プロセッサに接続され、該基質ホルダに対して固定された位置を有する撮像モジュールと、
    基質を照明するための照明モジュールと、からなり、
    該メモリは、該撮像モジュールからの入力を受信して粒子が検出された否かを示す出力が提供されるための、該プロセッサにより実行可能な一組のプログラムを有し、
    プログラムは、
    (1)該撮像モジュールによって、該基質ホルダ中の基質上の1つ以上のスポットの複数の画像を撮像する工程と
    (2)該複数のスポットの複数の画像に基づいて、複数のスポットのいずれかに、1つ以上の目的検体が存在することを示す、金属ナノ粒子複合体の存在を判定する工程と、を実行するように構成されており、
    検体を含む1つの試験スポット中に該金属ナノ粒子複合体の存在を判定する工程が、
    (3)前記1つの試験スポットおよび対照または第2の試験スポットを含んだ多数の画像の一部について回帰分析を実行して、各スポットに関する強度対露出時間の関数を作製する工程と、
    (4)露出時間を選択する工程と、
    (5)作製した関数に基づいて、選択された露出時間に対する1つの試験スポットおよび対照または第2の試験スポットの強度を決定する工程と、
    (6)選択された露出時間での、1つの試験スポットの強度と対照または第2の試験スポットの強度との比較に基づいて、試験サンプルが入っている1つの試験スポットが金属ナノ粒子複合体を含んでいるか否かを判定する工程と、
    からなる、基質上の粒子を検出するための装置。
JP2003554291A 2001-08-03 2002-08-02 ナノ粒子撮像システムおよび方法 Expired - Lifetime JP4347053B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US31010201P 2001-08-03 2001-08-03
US36673202P 2002-03-22 2002-03-22
PCT/US2002/024604 WO2003053535A2 (en) 2001-08-03 2002-08-02 Nanoparticle imaging system and method

Publications (2)

Publication Number Publication Date
JP2005521033A JP2005521033A (ja) 2005-07-14
JP4347053B2 true JP4347053B2 (ja) 2009-10-21

Family

ID=26977210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003554291A Expired - Lifetime JP4347053B2 (ja) 2001-08-03 2002-08-02 ナノ粒子撮像システムおよび方法

Country Status (9)

Country Link
US (4) US7110585B2 (ja)
EP (1) EP1412536B1 (ja)
JP (1) JP4347053B2 (ja)
AT (1) ATE423975T1 (ja)
AU (1) AU2002365247B2 (ja)
CA (1) CA2455118C (ja)
DE (1) DE60231309D1 (ja)
NZ (1) NZ531212A (ja)
WO (1) WO2003053535A2 (ja)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7098320B1 (en) 1996-07-29 2006-08-29 Nanosphere, Inc. Nanoparticles having oligonucleotides attached thereto and uses therefor
US6506564B1 (en) * 1996-07-29 2003-01-14 Nanosphere, Inc. Nanoparticles having oligonucleotides attached thereto and uses therefor
US6750016B2 (en) * 1996-07-29 2004-06-15 Nanosphere, Inc. Nanoparticles having oligonucleotides attached thereto and uses therefor
US6984491B2 (en) * 1996-07-29 2006-01-10 Nanosphere, Inc. Nanoparticles having oligonucleotides attached thereto and uses therefor
US7169556B2 (en) * 1996-07-29 2007-01-30 Nanosphere, Inc. Nanoparticles having oligonucleotides attached thereto and uses therefor
US6582921B2 (en) 1996-07-29 2003-06-24 Nanosphere, Inc. Nanoparticles having oligonucleotides attached thereto and uses thereof
US20050037397A1 (en) * 2001-03-28 2005-02-17 Nanosphere, Inc. Bio-barcode based detection of target analytes
US6974669B2 (en) * 2000-03-28 2005-12-13 Nanosphere, Inc. Bio-barcodes based on oligonucleotide-modified nanoparticles
US20030096321A1 (en) * 1999-05-19 2003-05-22 Jose Remacle Method for the identification and/or the quantification of a target compound obtained from a biological sample upon chips
CA2396113C (en) * 2000-01-13 2009-04-07 Nanosphere, Inc. Nanoparticles having oligonucleotides attached thereto and uses therefor
ATE324465T1 (de) * 2000-07-11 2006-05-15 Univ Northwestern Nachweismethode mittels verstärkter silberfärbung
US20060040286A1 (en) * 2001-03-28 2006-02-23 Nanosphere, Inc. Bio-barcode based detection of target analytes
US20030113740A1 (en) * 2001-04-26 2003-06-19 Mirkin Chad A. Oligonucleotide-modified ROMP polymers and co-polymers
US7147687B2 (en) * 2001-05-25 2006-12-12 Nanosphere, Inc. Non-alloying core shell nanoparticles
US7238472B2 (en) * 2001-05-25 2007-07-03 Nanosphere, Inc. Non-alloying core shell nanoparticles
US20040146917A1 (en) * 2001-08-03 2004-07-29 Nanosphere, Inc. Nanoparticle imaging system and method
US7110585B2 (en) 2001-08-03 2006-09-19 Nanosphere, Inc. Nanoparticle imaging system and method
AU2002323649A1 (en) 2001-09-06 2003-03-24 Genomic Profiling Systems, Inc. Rapid detection of replicating cells
WO2003081202A2 (en) 2001-11-09 2003-10-02 Nanosphere, Inc. Bioconjugate-nanoparticle probes
US7361310B1 (en) * 2001-11-30 2008-04-22 Northwestern University Direct write nanolithographic deposition of nucleic acids from nanoscopic tips
EP1461596B1 (en) * 2001-11-30 2013-07-17 Northwestern University Direct write nanolithographic deposition of nucleic acids from nanoscopic tips
US20030211488A1 (en) 2002-05-07 2003-11-13 Northwestern University Nanoparticle probs with Raman spectrocopic fingerprints for analyte detection
US7227988B2 (en) * 2002-07-01 2007-06-05 Xerox Corporation Prioritized PDL segmentation producing two bit selector
US7253277B2 (en) * 2002-07-02 2007-08-07 Nanosphere, Inc. Nanoparticle polyanion conjugates and methods of use thereof in detecting analytes
WO2005001143A2 (en) * 2003-02-27 2005-01-06 Nanosphere, Inc. Label-free gene expression profiling with universal nanoparticle probes in microarray assay format
US20050250094A1 (en) * 2003-05-30 2005-11-10 Nanosphere, Inc. Method for detecting analytes based on evanescent illumination and scatter-based detection of nanoparticle probe complexes
WO2005066613A1 (en) 2003-12-31 2005-07-21 President And Fellows Of Harvard College Assay device and method
US7555154B2 (en) * 2004-03-10 2009-06-30 Biomedical Photometrics Inc. Fully automated segmentation of genetic micro-array images
DE102004013052A1 (de) * 2004-03-10 2005-09-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur Charakterisierung von technischen Oberflächen
WO2006028601A2 (en) * 2004-07-26 2006-03-16 Nanosphere, Inc. Method for distinguishing methicillin resistant s. aureus from methicillin sensitive s. aureus in a mixed culture
US7612769B2 (en) * 2004-09-14 2009-11-03 E.I. Du Pont De Nemours And Company Computer-implemented methods for organizing image data produced by resonant Mie scattering of light from microparticles and resulting data structures
WO2007002567A2 (en) * 2005-06-23 2007-01-04 Nanosphere, Inc. Selective isolation and concentration of nucleic acids from complex samples
EP1748030B1 (en) * 2005-07-07 2016-04-20 Fei Company Method and apparatus for statistical characterization of nano-particles
US20090111094A1 (en) * 2005-08-19 2009-04-30 Nanosphere, Inc. Methods for preparing hybrid substrates comprising DNA and antibodies and uses thereof
US20070105125A1 (en) * 2005-11-08 2007-05-10 Tsai George P Chemical array housing having a gas delivery element and methods of using the same
JP4991252B2 (ja) * 2006-11-10 2012-08-01 株式会社日立ハイテクノロジーズ 電気泳動装置、及び電気泳動分析方法
US8040959B2 (en) * 2006-12-11 2011-10-18 Texas Instruments Incorporated Dynamic resource allocation to improve MIMO detection performance
US8194920B2 (en) * 2007-02-16 2012-06-05 Ford Global Technologies, Llc Method and system for detecting objects using far infrared images
US7692785B2 (en) * 2007-03-29 2010-04-06 General Electric Company System and method for optical power management
US20090116696A1 (en) * 2007-05-29 2009-05-07 Mckernan Steffen System, method and machine-readable medium for characterizing nanotube materials
TWI384214B (zh) * 2008-01-18 2013-02-01 Nat Univ Chung Cheng Biological sensing device and its system
KR101435522B1 (ko) 2008-01-23 2014-09-02 삼성전자 주식회사 바이오 칩
NZ587179A (en) 2008-01-25 2012-07-27 Theranostics Lab Detection of polymorphisms CYP2C19*17 and CYP2C19*3 in CYP2C19 gene related to antiplatelet drug metabolism (e.g. for clopidogrel metabolism)
JP2009229103A (ja) * 2008-03-19 2009-10-08 Toshiba Corp 金属コロイドの定量方法
CN102224260B (zh) 2008-09-24 2015-11-25 施特劳斯控股公司 用于检测分析物的试剂盒和装置
GB2464747B (en) * 2008-10-10 2013-05-15 Hai Kang Life Corp Ltd Method for detection of analyte in microarray of samples and apparatus for performing such method
US8306780B2 (en) * 2009-01-26 2012-11-06 Exelis Inc. Data quality and ancillary data checking for Raman sensor
WO2010111656A2 (en) * 2009-03-27 2010-09-30 Life Technologies Corporation Systems and methods for assessing images
JP5288634B2 (ja) 2010-03-31 2013-09-11 富士フイルム株式会社 呈色測定装置および方法
ES2614181T3 (es) 2010-08-14 2017-05-30 University Of Massachusetts Partícula de pared celular de levadura para suministro de nanopartículas direccionadas al receptor
CN102297965A (zh) * 2011-05-23 2011-12-28 无锡安迪生物工程有限公司 一种氯吡脲快速检测卡及其检测方法
JP5914992B2 (ja) * 2011-06-02 2016-05-11 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US20140072959A1 (en) 2012-09-12 2014-03-13 Force Diagnostics, Inc. Rapid tests for insurance underwriting
EP2909613B1 (en) * 2012-10-17 2020-09-02 Bio-rad Laboratories, Inc. Image capture for large analyte arrays
US10254279B2 (en) 2013-03-29 2019-04-09 Nima Labs, Inc. System and method for detection of target substances
US9939431B2 (en) 2013-03-29 2018-04-10 Nima Labs, Inc. Portable device for detection of harmful substances
US10466236B2 (en) 2013-03-29 2019-11-05 Nima Labs, Inc. System and method for detecting target substances
US8736685B1 (en) * 2013-12-11 2014-05-27 Anritsu Company Systems and methods for measuring brightness response of a camera operating in automatic exposure mode
WO2017059103A1 (en) * 2015-09-30 2017-04-06 Nima Labs, Inc. System and method for detecting target substances
US9835842B2 (en) * 2015-12-04 2017-12-05 Omnivision Technologies, Inc. Microscope attachment
EP3387617B1 (en) * 2015-12-10 2020-05-27 Qiagen GmbH Method for determining the overall brightness of at least one object in a digital image
CN105738294B (zh) * 2016-03-01 2018-11-06 江苏大学 基于单目多视成像的穗状水果自动检测装置及方法
CN106442238B (zh) * 2016-07-22 2023-06-23 华北电力大学 一种检测空气中颗粒浓度的装置
JP6317003B2 (ja) * 2017-02-27 2018-04-25 株式会社Screenホールディングス 撮像装置および撮像方法
CN107167478A (zh) * 2017-04-25 2017-09-15 明基材料有限公司 片材面内标记检测方法及装置
CN109061797B (zh) * 2017-06-13 2020-03-27 京东方科技集团股份有限公司 导光结构、显示装置及视角调节方法
CN112740017A (zh) 2018-04-19 2021-04-30 曙光诊断学公司 靶标检测
US11459604B2 (en) 2018-07-12 2022-10-04 Luminex Corporation Systems and methods for performing variable sample preparation and analysis processes
GB2594813A (en) * 2019-01-09 2021-11-10 Hitachi High Tech Corp Substrate for nucleic acid analysis, flow cell for nucleic acid analysis, and image analysis method
CN110177280A (zh) * 2019-04-02 2019-08-27 苏州摩比信通智能系统有限公司 二维解码器的曝光调节方法
US20220276235A1 (en) * 2019-07-18 2022-09-01 Essenlix Corporation Imaging based homogeneous assay

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4202037A (en) * 1977-04-22 1980-05-06 Der Loos Hendrik Van Computer microscope apparatus and method for superimposing an electronically-produced image from the computer memory upon the image in the microscope's field of view
GB2196219A (en) * 1986-10-11 1988-04-20 Astromed Ltd Imaging of light-opaque specimens by transmission of radiation therethrough
JPH07104943B2 (ja) * 1988-02-29 1995-11-13 株式会社日立製作所 物体認識装置
US5428690A (en) * 1991-09-23 1995-06-27 Becton Dickinson And Company Method and apparatus for automated assay of biological specimens
US5654006A (en) * 1993-02-12 1997-08-05 Mayo Foundation For Medical Education And Research Condensed-phase microparticle composition and method
US5820879A (en) * 1993-02-12 1998-10-13 Access Pharmaceuticals, Inc. Method of delivering a lipid-coated condensed-phase microparticle composition
US5753261A (en) * 1993-02-12 1998-05-19 Access Pharmaceuticals, Inc. Lipid-coated condensed-phase microparticle composition
US5599668A (en) * 1994-09-22 1997-02-04 Abbott Laboratories Light scattering optical waveguide method for detecting specific binding events
BR9710836A (pt) * 1996-04-25 2000-10-24 Spectrametrix Inc Ensaio de analitos usando marcas em partìculas
HUP9902418A3 (en) * 1996-05-09 2001-10-29 Dimensional Pharm Inc Microplate thermal shift assay and apparatus for ligand development and multi-variable protein chemistry optimization
US6361944B1 (en) * 1996-07-29 2002-03-26 Nanosphere, Inc. Nanoparticles having oligonucleotides attached thereto and uses therefor
US6396941B1 (en) * 1996-08-23 2002-05-28 Bacus Research Laboratories, Inc. Method and apparatus for internet, intranet, and local viewing of virtual microscope slides
AU5895898A (en) * 1996-12-20 1998-07-17 Gamera Bioscience Corporation An affinity binding-based system for detecting particulates in a fluid
US6587581B1 (en) * 1997-01-10 2003-07-01 Hitachi, Ltd. Visual inspection method and apparatus therefor
WO1998037417A1 (en) * 1997-02-20 1998-08-27 The Regents Of The University Of California Plasmon resonant particles, methods and apparatus
JPH10241625A (ja) 1997-02-24 1998-09-11 Hitachi Ltd プラズマイオン源質量分析装置及び方法
US5909276A (en) * 1997-03-31 1999-06-01 Microtherm, Llc Optical inspection module and method for detecting particles and defects on substrates in integrated process tools
US6294327B1 (en) 1997-09-08 2001-09-25 Affymetrix, Inc. Apparatus and method for detecting samples labeled with material having strong light scattering properties, using reflection mode light and diffuse scattering
US6294223B1 (en) * 1997-12-23 2001-09-25 Georgia Tech Research Corp. Method for ion implantation induced embedded particle formation via reduction
US6248988B1 (en) * 1998-05-05 2001-06-19 Kla-Tencor Corporation Conventional and confocal multi-spot scanning optical microscope
US6212292B1 (en) * 1998-07-08 2001-04-03 California Institute Of Technology Creating an image of an object with an optical microscope
US6219137B1 (en) * 1998-12-03 2001-04-17 Lockheed Martin Energy Research Corporation Nanoprobe for surface-enhanced Raman spectroscopy in medical diagnostic and drug screening
US6221579B1 (en) * 1998-12-11 2001-04-24 Kimberly-Clark Worldwide, Inc. Patterned binding of functionalized microspheres for optical diffraction-based biosensors
JP2000241120A (ja) * 1999-02-23 2000-09-08 Fanuc Ltd 計測装置
ES2185592T5 (es) * 1999-05-19 2009-03-01 Eppendorf Array Technologies Procedimiento para la identificacion y/o cuantificacion de un compuesto diana.
US6286763B1 (en) * 1999-09-21 2001-09-11 Intermac Ip Corp. Method and apparatus to automatically search data carriers, such as RFID tags and machine-readable symbols
JP2001168159A (ja) * 1999-12-03 2001-06-22 Sony Corp 検査装置及び検査方法
US6649403B1 (en) * 2000-01-31 2003-11-18 Board Of Regents, The University Of Texas Systems Method of preparing a sensor array
US20020107640A1 (en) * 2000-11-14 2002-08-08 Ideker Trey E. Methods for determining the true signal of an analyte
AU2002249994A1 (en) 2001-04-19 2002-11-05 Maven Technologies Llc. Imaging apparatus and method
US7110585B2 (en) 2001-08-03 2006-09-19 Nanosphere, Inc. Nanoparticle imaging system and method
US6707958B2 (en) 2001-11-20 2004-03-16 Agilent Technologies, Inc. Biochemical assay device using frustrated total internal reflection modulator with an imaging optical waveguide
AU2003202980A1 (en) 2002-01-12 2003-07-30 Maven Technologies, Llc Apparatus and method for imaging
AU2003217261B2 (en) * 2002-01-28 2007-03-22 Nanosphere, Inc. Hybridization device and method
EP1511862A4 (en) * 2002-05-14 2006-01-18 Nanosphere Inc ELECTRICAL DETECTION OF DNA HYBRIDIZATION AND SPECIFIC BINDING EVENTS

Also Published As

Publication number Publication date
NZ531212A (en) 2006-01-27
WO2003053535B1 (en) 2003-11-06
DE60231309D1 (de) 2009-04-09
CA2455118A1 (en) 2003-07-03
US20070148665A1 (en) 2007-06-28
WO2003053535A9 (en) 2003-12-24
EP1412536A2 (en) 2004-04-28
EP1412536B1 (en) 2009-02-25
WO2003053535A2 (en) 2003-07-03
US20120063653A1 (en) 2012-03-15
EP1412536A4 (en) 2005-12-28
AU2002365247B2 (en) 2006-06-08
JP2005521033A (ja) 2005-07-14
AU2002365247A1 (en) 2003-07-09
US7773790B2 (en) 2010-08-10
ATE423975T1 (de) 2009-03-15
WO2003053535A3 (en) 2003-09-12
CA2455118C (en) 2012-01-17
US7110585B2 (en) 2006-09-19
US20030068638A1 (en) 2003-04-10
US20070041624A1 (en) 2007-02-22

Similar Documents

Publication Publication Date Title
JP4347053B2 (ja) ナノ粒子撮像システムおよび方法
JP2007520701A (ja) ナノ粒子撮像システムおよび方法
US20040136576A1 (en) User interface for molecular array feature analysis
US7680316B2 (en) Imaging device and methods to derive an image on a solid phase
JP2020514775A (ja) ディジタル分子アッセイ
EP3719461A1 (en) Biosensor platform and method for the simultaneous, multiplexed, ultra-sensitive and high throughput optical detection of biomarkers
KR20220166305A (ko) 향상된 감도를 위한 유도 응집을 사용한 분석
CN1215334C (zh) 成像方法
AU2006220414A1 (en) Nanoparticle imaging system and method
US20050203708A1 (en) Method and system for microarray gradient detection and characterization
JP2005291795A (ja) 蛍光検出装置および画像処理システム
AU2004215328B2 (en) Imaging device

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070213

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070511

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080304

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080604

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080611

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080703

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081007

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090107

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090310

R155 Notification before disposition of declining of application

Free format text: JAPANESE INTERMEDIATE CODE: R155

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090715

R150 Certificate of patent or registration of utility model

Ref document number: 4347053

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130724

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term