JP3734769B2 - 蛍光強度測定方法および装置 - Google Patents
蛍光強度測定方法および装置 Download PDFInfo
- Publication number
- JP3734769B2 JP3734769B2 JP2002159179A JP2002159179A JP3734769B2 JP 3734769 B2 JP3734769 B2 JP 3734769B2 JP 2002159179 A JP2002159179 A JP 2002159179A JP 2002159179 A JP2002159179 A JP 2002159179A JP 3734769 B2 JP3734769 B2 JP 3734769B2
- Authority
- JP
- Japan
- Prior art keywords
- fluorescence intensity
- image
- optical system
- observation image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、蛍光強度測定方法および装置に関し、詳しくは、マイクロチップ泳動路（キャピラリ）上で泳動された試料（サンプル）に励起光を照射してサンプルからの蛍光を受光してその強度を測定する際に、サンプルの泳動状態をより広い視野範囲で画像として観察でき、かつ、効率よく蛍光強度測定ができ、装置の小型化が可能な蛍光強度測定方法および装置に関する。
【０００２】
【従来の技術】
従来のマイクロチップは、板状で実質的に透明体であり、特開平１０−２４６７２１号等に記載されているように、数十μｍ〜百μｍ程度の十字の泳動路溝が透明なプラスチップ基板の内部に基板の面に沿って設けられ、溝の各端部には上部が開口したポッド（２ｍｍφ程度の穴）がリザーバとして設けられている。
このポッドの１つあるいはいくつかから電気泳動液（GEL）が溝に注入されて充填された後に、ポッドの１つにサンプルが充填される。そして、そのポッドに対して同じ溝の対向する側のポッドに＋Ｖの高電圧が印加されてサンプルを導入溝に沿って電気泳動させる（導入処理）。所定の時間経過後に泳動の途中で導入溝の十字路のクロスポイントに目的のものが泳動してきたタイミングを見計らって、ポッドの電圧印加を切り換えて泳動溝を分画溝側に切り換える。さらに、目標のポッドに向けてサンプルを所定の一定時間泳動させる（分画処理）。これにより、例えば、ＤＮＡ解析などでは泳動路で分画され分離されたサンプル（例えば目的のＤＮＡバンド部分）を光学的なレーザ光等を用いた検出装置で検出し、その鎖長解析などが行われる。あるいは、一定時間経過後に目的の位置に到達した分画されたサンプル、例えば、分画された目的のＤＮＡバンド部分に励起光を照射してその蛍光強度を測定するとともに、目的とするＤＮＡを切り出してポッドに回収する。
【０００３】
【発明が解決しようとする課題】
ＤＮＡ塩基配列の長いものはその長さに応じて泳動速度も遅くなり、発光幅も広がって、連続塩基による波形の重なりが起こる。この場合の検出波形信号は、単独塩基による正規波形の信号とならずに、検出波形が隣接波形信号と重なって連接波形信号となってしまう。
また、泳動の際に発生する各塩基のスマイリングやピッチ変動によっても波形信号の重なりが発生して連接波形信号を発生させる原因になる。さらに、本来のＤＮＡ塩基配列と同時にデオキシ状態で反応が停止したＤＮＡ塩基が検出されるので、それが各完全結合のＤＮＡ塩基の検出信号に対してゴースト信号となって現れてくる。このような信号波形も波形の連接を発生させる原因になる。
しかも、対象となる目的のＤＮＡ自体がポッドに注入されていないのに、あるいは分画されていない状態で検査や測定が行われることも多々ある。
【０００４】
このような問題を解決するために泳動状態をより広い視野で観察して、蛍光強度測定を行うことが提案されている。この場合に、広い視野の観察のために、また、蛍光強度を測定するために、それぞれに対象となるＤＮＡを含む電気泳動液に励起光が照射されることになる。この場合、それぞれの励起光を同時に照射することができないために、例えば、蛍光顕微鏡で画像をＣＣＤカメラで採取してその画像をコンピュータを介して画像表示することで、広い視野の観察系で観察した後に蛍光強度測定系に切り換えて蛍光強度測定を行う必要がある。そのために、蛍光強度の測定効率がその分低下し、切換装置等を設けなければならず、装置が大型化する問題がある。
切換装置等を設けないで、観測画像を採取する観測画像撮像部と蛍光強度を検出する蛍光強度測定部とを同時に動作させた場合には、たとえ、蛍光光の波長を通過させるフィルタを設けていても、励起光の強度が蛍光光よりはるかに強いので、フィルタでは励起光を除ききれず、もれが生じる。そのため、観測画像撮像部のマイクロチップへの照射光が蛍光強度測定部の検出光に影響を与えて、あるいは逆に蛍光強度測定部のマイクロチップへの照射光が観測画像撮像部に影響を与えて、それぞれの測定結果に狂いが生じ、特に蛍光強度測定は、事実上不可能になる。
この発明の目的は、このような従来技術の問題点を解決するものであって、サンプルの泳動状態をより広い視野範囲で画像として観察でき、かつ、効率よく蛍光強度測定ができ、装置の小型化が可能な蛍光強度測定方法および装置を提供することにある。
【０００５】
【課題を解決するための手段】
このような目的を達成するためのこの第１の発明の蛍光強度測定方法および装置の特徴は、観測画像撮像部の撮像光学系と蛍光強度測定部の蛍光強度の検出光学系とがマイクロチップを挟んで対向して配置され、所定の周期で撮像光学系の照射光と検出光学系の照射光とが時分割で交互にマイクロチップに照射されて観測画像の採取と蛍光強度の測定とがそれぞれの照射光の照射タイミングに合わせて時分割で並行して行われるものである。
さらに、第２の発明の蛍光強度測定方法および装置の特徴は、前記の構成に加えて、前記の撮像光学系がイメージセンサを有していて、このイメージセンサの撮像感度が蛍光強度測定部で測定した蛍光強度に応じて設定されあるいは制御されるものである。
【０００６】
【発明の実施の形態】
このように、第１の発明にあっては、観測画像撮像部の撮像光学系と蛍光強度測定部の蛍光強度の検出光学系とがマイクロチップを挟んで対向して配置され、所定の周期で撮像光学系の照射光と検出光学系の照射光とが交互に照射され、それぞれの照射光の照射タイミングに合わせてそれぞれに観測画像の採取と蛍光強度の測定とが時分割で並行して行われる。
したがって、観測画像撮像部の撮像光学系の照射光と蛍光強度測定部の蛍光強度の検出光学系の照射光とが同時に発生することはないので相互に影響されることはない。
さらに第２の発明にあっては、イメージセンサの撮像感度が蛍光強度測定部で測定した蛍光強度に応じて設定されあるいは制御されることにより観測画像撮像部における撮像対象に対する明暗のダイナミックレンジを拡大することができる。
その結果、サンプルの泳動状態をより広い視野範囲で画像として観察でき、かつ、効率よく蛍光強度測定ができ、装置の小型化が可能な蛍光強度測定方法および装置を容易に実現できる。
【０００７】
【実施例】
図１は、この発明の蛍光強度測定方法を適用したＤＮＡ蛍光強度測定装置の一実施例のブロック図、図２は、その測定処理のタイミングチャート、図３は、その外観説明図、図４は、蛍光強度の測定波形の説明図、図５は、観測画像の説明図、図６は、観測画像における領域設定と泳動時間対蛍光特性の説明図、図７は、この発明の蛍光強度測定方法を適用したＤＮＡ蛍光強度測定装置の他の実施例のブロック図、そして図８は、図７における観察画像撮像部における撮像できる画像のダイナミックレンジを拡大するための蛍光強度検出の説明図である。
図１において、１は、ＤＮＡ蛍光強度測定装置であって、図３に示すように、マイクロチップ２を挟んで、上部に観察画像撮像部３が設けられ、下部に一点蛍光強度の蛍光強度測定部４が設けられている。観察画像撮像部３により生成されたビデオ信号は、画像処理・制御装置５とＶＴＲ６とに入力され、蛍光強度測定部４により検出された信号は、画像処理・制御装置５に入力されて所定の処理（後述）が行われる。
【０００８】
観測画像撮像部３は、図１に示すように、励起光照射系３１と受光系３２、ビデオ信号処理回路３３、そしてシャッタ駆動回路３４とが内蔵されていて、励起光照射系３１は、冷陰極放電灯(例えば、水銀放電灯、メタルハライドランプなどの蛍光励起波長を有する白色光源)の光源３１１からの光をシャッター３１２、バンドパスフィルタ３１３を経て波長λ＝５１０〜５６０ｎｍの光を通過させて、これをマイクロチップ２に対して垂直な受光系の光軸Ｌ1に対して波長分離面が４５°の角度で配置されたダイクロイックミラー３１４に照射する。このダイクロイックミラー３１４により照射光は、落射方向に反射されて、マイクロチップ２の表面に対峙する形でこれの垂直上部に設けられた対物レンズ３２１を経てマイクロチップ２の表面にキャピラリを含む広い視野範囲で照射される。
この波長λ＝５１０〜５６０ｎｍの光の照射により、マイクロチップ２のキャピラリ（泳動路）上を泳動する蛍光強度測定途上のサンプルは、励起されて蛍光を発生する。その蛍光光は、受光系３２の対物レンズ３２１を経てダイクロイックミラー３１４に至り、上部へと抜けて蛍光光の波長に対応するλ＝５９０ｎｍの通過帯域を持つロングパスフィルタ３２２を通り、ＣＣＤイメージセンサ３２３により受光される。
これによる受光光は、電気信号に変換され、その検出信号は、ＣＣＤイメージセンサ３２３からビデオ信号処理回路３３のビデオ信号生成回路３２４に入力される。ここで検出信号は、ビデオ信号として生成され、ビデオ信号処理回路３３に内蔵されたＡ／Ｄ変換器（Ａ／Ｄ）３２５によりＡ／Ｄ変換されてデジタル値として画像処理・制御装置５の画像メモリ（フレームメモリ）５１に転送される。
なお、Ａ／Ｄ３２５は、コントローラ３２６からの制御によりＡ／Ｄ変換処理をする。
ところで、励起光は、ショートパスフィルタあるいはバンドパスフィルタを通して試料に照射されるので、ここでのショートパスフィルタはバンドパスフィルタが用いられてもよい。また、試料からの蛍光は、ロングパスフィルタあるいはバンドパスフィルタを通して受光されるので、ここでのロングパスフィルタはバンドパスフィルタが用いられてもよい。これらのことは、後述する蛍光強度測定部４においても同様である。
【０００９】
ビデオ信号生成回路３２４は、ビデオ信号処理回路３３のコントローラ３２６の制御下でＡ／Ｄ変換前のビデオ信号をＶＴＲ６に転送して観測画像としてＶＴＲ６に記録する。ビデオ信号生成回路３２４は、ビデオ信号生成回路３２４でビデオ信号を生成する際に偶数番目のフレームコマ落とし制御をするコントローラ３２６を有していて、奇数番目のフレームのビデオ信号のみ、ＶＴＲ６と画像メモリ５１に送出する。このとき、奇数番目のフレームのビデオ信号を次の偶数番目のフレームに差し込んで送出する。また、このとき同時にコマ落としタイミング信号ＦＳを画像処理・制御装置５に送出する。さらに、ビデオ信号生成回路３２４は、このコマ落としタイミング信号ＦＳをシャッタ駆動回路３４にも送出する。シャッタ駆動回路３４は、この信号ＦＳを受けて奇数番目のフレームの期間（タイミング信号ＦＳがＨＩＧＨレベル（以下“Ｈ”），図２（ａ）参照）の間にシャッター３１２をＯＮにして開き、偶数番目のフレームの期間の間（タイミング信号ＦＳがＬＯＷレベル（以下““Ｌ”））、シャッター３１２をＯＦＦにして閉じる。なお、タイミング信号ＦＳは、垂直同期信号Ｖsync信号をフリップフロップ等を介して１／２分周することで得ることができる。
コントローラ３２６は、画像処理・制御装置５からの制御信号ＳＲを受けたときには、これに応じてＶＴＲ６から記録されたビデオ信号を読出してＡ／Ｄ変換器３２５によりＡ／Ｄ変換してそれを画像メモリ５１に順次転送して記録する処理を行う。なお、画像処理・制御装置５からの制御信号は、前記の制御信号ＳＲのほか、ＶＴＲ６に対する録画、再生、巻き戻し、早送りなど、通常のＶＴＲ６の操作のための制御信号が送出される。コントローラ３２６は、これら制御信号を画像処理・制御装置５から受けて、これらに応じてＶＴＲ６に対して指定された操作する。
【００１０】
蛍光強度測定部４は、図１に示すように、励起光照射系４１と受光系４２とが内蔵されていて、励起光照射系４１は、青色ＬＥＤの光源４１１からの光をバンドパスフィルタ４１２を経て波長λ＝５１０〜５６０ｎｍの光を通過させて、これをマイクロチップ２に対して垂直な受光系の光軸Ｌ2に対して波長分離面が４５°の角度で配置されたダイクロイックミラー４１３に照射する。ダイクロイックミラー４１３により照射光は、ここで垂直上方に反射されて、マイクロチップ２の裏面に対峙する形でこれの垂直上部に設けられた対物レンズ４２１を経てマイクロチップ２の裏面から測定位置にピンポイントで照射される。
マイクロチップ２の測定位置の泳動路にこの波長λ＝５１０〜５６０ｎｍの光がピンポイント照射されると、マイクロチップ２の泳動路を泳動する測定対象のサンプルは、蛍光を発し、その蛍光光は、受光系４２の対物レンズ４２１を経てダイクロイックミラー４１３に至り、蛍光光の波長に対応するλ＝５９０ｎｍを下方に通過させ、ロングパスフィルタ４２２を通って、ＡＰＤ（アバランシー・ホト・ダイオード）センサ４２３により受光される。
これによる受光光の検出信号は、ＡＰＤセンサ４２３からバッファアンプ４２４に入力されてここで増幅され、Ａ／Ｄ変換回路（Ａ／Ｄ）４２５に入力されてＡ／Ｄ変換回路４２５によりＡ／Ｄ変換されてデジタル値として画像処理・制御装置５に転送される。なお、Ａ／Ｄ４２５の制御信号は、図示していないが、画像処理・制御装置５から変換制御のタイミング信号を受けてもよい。
【００１１】
画像処理・制御装置５は、マイクロプロセッサ（ＭＰＵ）５０と、画像メモリ５１、波形メモリ５２、メモリ５３、ＣＲＴディスプレイ（ＣＲＴ）５４、キーボード５５、マウス５５ａ、プリンタ（図示せず）、そしてインタフェース５６等からなり、バス５７を介してこれら回路がＭＰＵ５０と相互に接続されている。
ＡＰＤセンサ４２３で受光した蛍光強度を示す信号は、インタフェース５６を介して受けて時間対蛍光強度の波形データ（図４参照）として波形データメモリ５２に記憶され、ＣＲＴディスプレイ５４あるいはプリンタに出力される。さらに、バス５７を介して接続されたＨＤＤ（ハードディスク装置）等の記憶装置５８には測定した画像データ（画像メモリ５１に記憶されたもの）がファイルとして記憶され、また、測定に必要な各種データファイル、プログラムなどがこれに格納されている。
【００１２】
ＭＰＵ５０は、バス５７を介してコマ落としタイミング信号ＦＳの立下がり信号（図２（ａ）参照、タイミング信号ＦＳが“Ｈ”から“Ｌ”の時点）を割込み信号として受けて、このタイミング信号ＦＳに同期してインタフェース５６を介して青色ＬＥＤの光源４１１を駆動する。そのための駆動信号ＤＳを光源４１１に送出する（図２（ｃ）参照）。これにより、この信号ＤＳを受けて奇数番目のフレームの期間の間光源４１１がＯＦＦし、偶数番目のフレームの期間の間、光源４１１がＯＮになって、サンプルを励起して蛍光を発生させる。発生した蛍光は、透明なマイクロチップ２から外部へと放射される。
その結果、図２に示すように、シャッター３１２が閉じているとき、言い換えれば、マイクロチップ２に光源３１１からの光が照射されていないときに光源４１１からの光がマイクロチップ２（そのキャピラリ部分）に照射されて、これによりサンプルの蛍光強度を測定することができる。逆に、シャッター３１２が開いているときには、言い換えれば、マイクロチップ２に光源４１１からの光が照射されていないときには光源３１１からの光がマイクロチップ２に照射されて、蛍光による映像を観測画像として採取することができる。
なお、シャッター３１２は、インタフェース５６、シャッタ駆動回路３４を介してＭＰＵ５０により開閉制御される。
【００１３】
ＡＰＤセンサ４２３により検出された蛍光強度は、バッファアンプ４２３，Ａ／Ｄ変換回路４２４を経てデジタル値としてインタフェース５６に入力される。そして、コマ落としタイミング信号ＦＳに同期して、ＭＰＵ５０は、インタフェース５６，バス５８を介してこのデジタル値を受けて、これをＭＰＵ５０が波形メモリ５２に順次測定データとして記憶する。
その結果、波形メモリ５２には、タイミング信号ＦＳをサンプルタイミングとして時間対蛍光強度のデータがデジタル値でそれぞれの測定時点（１／３０秒間隔）においてそれぞれ検出された蛍光強度が順次記憶されていき、結果として、例えば、図４に示すような波形信号が記憶される。なお、横軸は時間（秒）であり、縦軸は蛍光強度である。また、コマ落としタイミング信号ＦＳは、ビデオ信号の各フレームに対応して発生するので、インターレースをしない場合には、その周期は１／３０秒となる。そこで、図２に示すようなタイミングで、観測画像データと測定データ（蛍光強度の時間的な変化）とが採取されることになる。
一方、画像メモリ５１には、図５に示すような蛍光による画像が記憶される。
【００１４】
さて、メモリ５３には、観測画像表示処理プログラム５３ａ、領域設定・データ抽出プログラム５３ｂと、蛍光強度特性表示プログラム５３ｃ、作業領域５３ｄ、パラメータ領域５３ｅ、そして各種の処理プログラム（図示せず）が格納されている。
観測画像表示処理プログラム５３ａは、ＭＰＵ５０により実行されて、ＭＰＵ５０は、ＶＴＲ６から記録されたビデオ信号を読出す制御信号ＳＲを発生して画像メモリ５１に各フレームの画像データを順次受けてそれを表示データに展開して観測画像としてＣＲＴ５４に表示する処理をする（図５参照）。
領域設定・データ抽出プログラム５３ｂは、領域設定の機能キー入力に応じてＭＰＵ５０により実行されて、ＭＰＵ５０は、シャッター３１２を開き、バンドパスフィルタ３１３と、ロングパスフィルタ３２２を光路から外して（これらフィルタの移動機構は図示せず）、マイクロチップ２の視野範囲の画像を画像メモリ５１に採取し、それを画像メモリ５１から読出して、表示データに展開し、ＣＲＴ５４の画面上に表示する。このとき白色光がマイクロチップ２に照射されて、図６（ａ）に示すようなキャピラリ画像が表示され、これに加えて矩形の設定領域６０を測定画面上に重ね表示する。そして、重ね表示された設定領域６０の大きさをマウス操作に応じて変更する制御をする。このとき、マウス５５ａの操作で決定された矩形枠の大きさのデータをパラメータ領域５３ｄに領域設定データとして記憶する。なお、このときには蛍光強度測定部４は動作していない。
また、領域設定・データ抽出プログラム５３ｂは、所定測定開始機能キーに応じてメインプログラムからコールされて、パラメータ領域５３ｄに記憶されている、観測画像データにおいて図６（ａ）に示す領域６０の範囲を示す領域設定データを読出してこれに従って、タイミング信号ＦＳ（１／３０秒）に同期して動作して１／３０秒ごとに画像メモリ５１に記憶された観測画像データ（ビデオ信号処理回路３３から得られるビデオ信号のＡ／Ｄ変換データからなる画像データ）から指定された設定領域６０内のデータのみを抽出する。そして、その設定領域６０内のデータ値の平均値（蛍光強度の平均値）を明るさの平均値として算出して作業領域５３ｃに時間経過（１／３０秒ごと）に対応して順次記憶していく。さらに、作業領域５３ｃに記憶された新規の平均値を時間経過対応の測定データとしてＨＤＤ５８に転送して特定データの所定の領域に順次記憶する。そして、蛍光強度特性表示プログラム５３ｃをコールする。
【００１５】
蛍光強度特性表示プログラム５３ｃは、ＭＰＵ５０により実行されて、所定の機能キー入力により、波形データメモリ５５のデータを読出して表示データを生成して、ＣＲＴ５４の画面上に表示する。これにより図４に示すような波形信号を表示する。
また、領域設定・データ抽出プログラム５３ｂの実行後にコールされて、このプログラムがＭＰＵ５０に実行されたときには、ＭＰＵ５０は、ＨＤＤ５８から前記の記憶された測定データを所定の領域から読出して、リアルタイムで平均値のデータを追加したグラフとして縦軸と横軸を加えた形でＣＲＴ５４に表示する。その結果、図６（ｂ）に示すような蛍光強度の時間に対する明るさのグラフがＣＲＴ５４の画面上に表示される。
なお、全体的なプログラム処理については、所定の機能キーの押下に応じて前記した各プログラムがメインプログラムからコールされて順次実行されていくだけでの単純な流れとなるので、その説明は割愛する。
【００１６】
図７は、観察画像撮像部３が撮像できる画像のダイナミックレンジを拡大した実施例である。蛍光物質、特に蛍光染色されたＤＮＡの発光強度は、弱いものが多いでの、十分な画像が得られない場合がある。これに対して、ＣＣＤイメージセンサ３２３の感度（絞りとシャッタ速度の調整を含めた感度）の調整によりある程度暗い映像を採取することも可能であるが、それには限界がある。その上に、強い蛍光を発生する物質の場合には、過大入力となってしまい、カメラ側の安全装置が作動して撮影ができなくなる問題がある。
このようなことから、ロングパスフィルタ３２２を介してＣＣＤイメージセンサ３２３により受光しても撮像対象の明暗に対するダイナミックレンジは、あまり広く採れない。
【００１７】
そこで、図７においては、ロングパスフィルタ３２２とＣＣＤイメージセンサ３２３との間にイメージインテンシファイア（ＩＩＦ，これは映像増倍管，マイクロチャネルプレート型映像増倍装置など）３２４が設けられている。また、画像処理・制御装置５のメモリ５３には撮像感度制御プログラム５３ｆが設けられている。これらにより、画像処理・制御装置５がコントローラ３２６を制御し、さらにイメージインテンシファイア３２４の増倍率をコントローラ３２６からの制御信号で制御することで、撮像感度の制御をして撮像できる画像のダイナミックレンジを拡大する。
なお、このような撮像感度の制御をコントローラ３２６からの制御信号ではなく、これとは別にコントローラを設けて行ってもよいが、回路を簡単にするために、ここでは、コントローラ３２６を用いている。また、画像処理・制御装置５の内部は、図１の実施例ほど詳細に説明していないが、図７では、図１に示す構成要素と同一のものは同一の符号で示してある。したがって、それらの説明はここでは割愛する。
ところで、３μｍ〜１０μｍ角程度のピンポイント測定点を持つＡＰＤセンサ４２３を備える蛍光強度測定部４は、例えば、１．２ｍｍ×１．０ｍｍ程度の所定の視野を持つＣＣＤイメージセンサ３２３等のいわゆるＣＣＤカメラよりも撮像対象の明暗に対する検出ダイナミックレンジが広い。そこで、この蛍光強度測定部４の広いダイナミックレンジの蛍光強度検出を利用して観察画像撮像部３が撮像できる画像の明暗の範囲を広げる撮像感度制御をイメージインテンシファイア３２４の制御で行う。そのための蛍光強度検出の一例を図８に示す。
【００１８】
図８において、点線枠で示す７は、マイクロチップ２のキャピラリ２ａ上に設定されたイメージセンサ３２３の視野であり、８は、蛍光強度測定部４の検出点、９は、蛍光染色されたＤＮＡである。このように、キャピラリ２ａを流れてくるＤＮＡ９に対して蛍光強度測定部４の検出点８の位置をイメージセンサ３２３の視野７の手前（キャピラリ２ａの上流側）に設定する。
この検出点の蛍光強度は、１／３０秒ごとに蛍光強度測定部４により検出されて波形メモリ５２に順次記憶されていく。
そこで、新しく検出された蛍光強度が波形メモリ５２に記憶される都度、画像処理・制御装置５のメモリ５３に設けられた撮像感度制御プログラム５３ｆがＭＰＵ５０にコールされて実行される。撮像感度制御プログラム５３ｆがＭＰＵ５０により実行されると、ＭＰＵ５０は、蛍光強度測定部４で検出した現在から過去に受けた蛍光強度の値、数個を抽出してそれらの平均値を算出する。そして、この平均値に対応する値の制御信号Ｓiをインタフェース５６を介してコントローラ３２６に送出する。なお、撮像感度制御プログラム５３ｆの処理は、単純な流れであり、前記の説明で十分で理解できると考えられるので、その処理のフローチャートは割愛する。
【００１９】
コントローラ３２６は、制御信号Ｓiの値に応じてイメージインテンシファイア３２４の増倍率を制御する。このときの制御信号Ｓiの値は、蛍光強度測定部４で検出したそのときどきの蛍光強度に応じて適正な映像を撮影できる増幅率にイメージインテンシファイア３２４を設定するものである。これにより、暗い発光強度の蛍光物質から明るい蛍光を発生する物質まで撮像できる範囲を広げて、広いダイナミックレンジを確保することができる。なお、制御信号Ｓiの値は、１／３０秒ごとに発生することなく、ある検査対象やある検査条件に対応して設定値として１回発生するだけであってもよい。もちろん、検査対象や検査条件が変更されたときには制御信号Ｓiをその都度発生する。
この制御信号Ｓiは、さらに点線で示すように、ＣＣＤイメージセンサ３２３側に送出されて、ＣＣＤイメージセンサ３２３の絞りとシャッタ速度を調整して感度調整する構成を加えるようにしてもよい。
さらに、ＣＣＤイメージセンサ３２３として撮像画像の明暗に応じた感度調整がＣＣＤイメージセンサ３２３の映像増幅率等で多少広い範囲で調整できるものであれば、必ずしもイメージインテンシファイア３２４を設ける必要はない。あるいは、前記の調整は、点線で示すＣＣＤイメージセンサ３２３側だけの調整であってもよい。この場合には、実線で示す制御信号Ｓiは不要となり、点線で示す制御信号Ｓiにより、ＣＣＤカメラの撮像感度を制御することになる。それは、例えば、ＣＣＤ素子の印加電圧やＣＣＤ素子に結合されたプリアンプの増幅率等の制御で可能である。
なお、以上の場合、制御信号Ｓiは、必ずしも過去に受けた蛍光強度の値、数個の平均値を採る必要はなく、現在の１／３０秒の蛍光強度の測定値で次の１／３０秒の撮像画像を適正に採取するための制御してもよい。しかし、前記のように平均値を採ってその都度制御するようにすれば、ノイズに影響されずに適正な感度制御をすることができる。
【００２０】
以上説明してきたが、実施例においては、観測画像は、蛍光光をロングパスフィルタ３２２を通して観測しているが、ロングパスフィルタ３２２を削除して直接蛍光光をＣＣＤにより受光して蛍光光の観測画像を採取してもよい。
また、領域設定・データ抽出プログラム５３ｂをＭＰＵ５０が実行したときには、シャッター３１２を開き、バンドパスフィルタ３１３と、ロングパスフィルタ３２２を光路から外すことができ、このときには、マイクロチップ２の視野範囲の画像を白色光を照射した形で画像メモリ５１に採取することができる。
これによりキャピラリ内にゲルが正常に入っているかどうか、キャピラリ内にあわが入っていないかどうかなどの観察映像を蛍光強度測定系の励起光に影響されることなく、判定することができる。さらに、一点蛍光測定系の位置が適正な位置にあるか否かの判定も可能である。このような観測をする場合には白色照射が非常に有効になるが、白色照射ではなく、励起光を照射して領域設定等をすることができることはもちろんである。
また、実施例では、ＣＣＤ３２３にシャッタがある場合に言及していないが、ＣＣＤ３２３にシャッタがある場合には、このシャッタをタイミング信号ＦＳに同期させて、シャッタ３１２の開閉動作とは逆になるように開閉動作をさせるとよい。さらに、蛍光映像をＣＣＤイメージセンサ３２３（撮像するカメラ）は、ＣＣＤのイメージセンサに限定されるものではなく、ＭＯＳ型ＢＢＤ等のイメージセンサ等を用いることができることはもちろんである。
またさらに、実施例では、領域設定６０の選択設定の後に蛍光強度測定に入り、設定領域の蛍光強度の平均値を得て、時間−蛍光強度特性を画面上に表示しているが、領域設定６０の設定と蛍光強度の測定とは、切り離して、それぞれ独立に行ってもよいことはもちろんである。
【００２１】
実施例では、波形メモリ、画像メモリをプログラムを格納したメモリと独立に設けているが、波形メモリ、画像メモリをプログラムを格納したメモリに領域として確保し、これらメモリを一体的に形成してもよい。
実施例において、観測画像の採取と蛍光強度の測定を切換える周期は、ビデオ信号の各フレームに対応して発生するようにしているが、インターレースをする場合には、１フィールドが１／６０秒となるので、採取画像がインターレースとなように、奇数番目のフィールドと次の偶数番目のフィールドとの連続する２フィールドを１／３０秒で採取し、次の奇数番目のフィールドと次の偶数番目のフィールドとの連続する２フィールドをコマ落としするようにすればよい。採取画像や一点蛍光測定の期間は、１／３０秒のうちのある一定期間で行われてもよいことはもちろんである。
また、１フレームの画像をより高速に採取する場合には、切換える周期は、１／３０秒に限定されないことはもちろんである。さらに、実施例でのコマ落としは、１フレームおきにしているが、泳動速度が遅いサンプルの場合には、コマ落としフレームを数フレームとして観測画像を数フレームおきに採取してもよい。逆に、泳動速度が速いサンプルの場合には、コマ落としフレームを数フレームに１回として観測画像のフレームを増加させてもよい。
さらに、ＶＴＲ６は、ＨＤＤを内蔵するデジタルの録画再生装置であってもよく、ビデオテープに記憶するものに限定されない。
また、実施例では、設定領域６０を矩形として説明しているが、これは、矩形に限定されるものではなく、例えば、キャピラリの泳動路が湾曲している場合などにはそれに併せて湾曲させてもよい。
【００２２】
【発明の効果】
以上の説明のとおり、この発明にあっては、観測画像撮像部の撮像光学系と蛍光強度測定部の蛍光強度の検出光学系とがマイクロチップを挟んで対向して配置され、所定の周期で撮像光学系の照射光と検出光学系の照射光とが交互に照射され、それぞれの照射光の照射タイミングに合わせてそれぞれに観測画像の採取と蛍光強度の測定とが時分割で並行して行われる。
したがって、観測画像撮像部の撮像光学系の照射光と蛍光強度測定部の蛍光強度の検出光学系の照射光とが同時に発生することはないので相互に影響されることはない。
その結果、サンプルの泳動状態をより広い視野範囲で画像として観察でき、かつ、効率よく蛍光強度測定ができ、装置の小型化が可能な蛍光強度測定方法および装置を容易に実現できる。
【図面の簡単な説明】
【図１】図１は、この発明の蛍光強度測定方法を適用したＤＮＡ蛍光強度測定装置の一実施例のブロック図である。
【図２】図２は、その処理のタイミングチャートである。
【図３】図３は、その外観説明図である。
【図４】図４は、蛍光強度の測定波形の説明図である。
【図５】図５は、観測画像の説明図である。
【図６】図６（ａ）は、観測画像における領域設定の説明図、図６（ｂ）は、泳動時間対蛍光特性の説明図である。
【図７】図７は、この発明の蛍光強度測定方法を適用したＤＮＡ蛍光強度測定装置の他の実施例のブロック図である。
【図８】図８は、図７における観察画像撮像部における撮像できる画像のダイナミックレンジを拡大するための蛍光強度検出の説明図である。
【符号の説明】
１…ＤＮＡ蛍光強度測定装置、
２…マイクロチップ、
３…観察画像撮像部、４…一点蛍光強度測定部、
５…画像処理・制御装置、６…ＶＴＲ、
３１，４１…励起光照射系、３２，４２…受光系、
３３…ビデオ信号処理回路、
３４…シャッタ駆動回路、
５０…マイクロプロセッサ（ＭＰＵ）、
５１…画像メモリ（フレームメモリ）、
５２…波形メモリ、５３…メモリ、５４…ＣＲＴディスプレイ（ＣＲＴ）、
５５…キーボード、５６…インタフェース、５７…バス、
５８…外部記憶装置、
５３ａ…観測画像表示処理プログラム、
５３ｂ…領域設定・データ抽出プログラム、
５３ｃ…蛍光強度特性表示プログラム、
５３ｄ…作業領域、５３ｅ…パラメータ領域、
５３ｆ…撮像感度制御プログラム５３、
３１２…シャッター、３１３，４１２…ショートパスフィルタ、
３１４，４１３…ダイクロイックミラー、３２１，４２１…対物レンズ、
３２２，４２２…ロングパスフィルタ、３２３…ＣＣＤイメージセンサ、
３２４…ビデオ信号生成回路、３２５…Ａ／Ｄ変換器、
３２６…制御回路、４１１…青色ＬＥＤの光源、
４２３…ＡＰＤセンサ、４２４…バッファアンプ、
４２５…Ａ／Ｄ変換回路（Ａ／Ｄ）。
【発明の属する技術分野】
この発明は、蛍光強度測定方法および装置に関し、詳しくは、マイクロチップ泳動路（キャピラリ）上で泳動された試料（サンプル）に励起光を照射してサンプルからの蛍光を受光してその強度を測定する際に、サンプルの泳動状態をより広い視野範囲で画像として観察でき、かつ、効率よく蛍光強度測定ができ、装置の小型化が可能な蛍光強度測定方法および装置に関する。
【０００２】
【従来の技術】
従来のマイクロチップは、板状で実質的に透明体であり、特開平１０−２４６７２１号等に記載されているように、数十μｍ〜百μｍ程度の十字の泳動路溝が透明なプラスチップ基板の内部に基板の面に沿って設けられ、溝の各端部には上部が開口したポッド（２ｍｍφ程度の穴）がリザーバとして設けられている。
このポッドの１つあるいはいくつかから電気泳動液（GEL）が溝に注入されて充填された後に、ポッドの１つにサンプルが充填される。そして、そのポッドに対して同じ溝の対向する側のポッドに＋Ｖの高電圧が印加されてサンプルを導入溝に沿って電気泳動させる（導入処理）。所定の時間経過後に泳動の途中で導入溝の十字路のクロスポイントに目的のものが泳動してきたタイミングを見計らって、ポッドの電圧印加を切り換えて泳動溝を分画溝側に切り換える。さらに、目標のポッドに向けてサンプルを所定の一定時間泳動させる（分画処理）。これにより、例えば、ＤＮＡ解析などでは泳動路で分画され分離されたサンプル（例えば目的のＤＮＡバンド部分）を光学的なレーザ光等を用いた検出装置で検出し、その鎖長解析などが行われる。あるいは、一定時間経過後に目的の位置に到達した分画されたサンプル、例えば、分画された目的のＤＮＡバンド部分に励起光を照射してその蛍光強度を測定するとともに、目的とするＤＮＡを切り出してポッドに回収する。
【０００３】
【発明が解決しようとする課題】
ＤＮＡ塩基配列の長いものはその長さに応じて泳動速度も遅くなり、発光幅も広がって、連続塩基による波形の重なりが起こる。この場合の検出波形信号は、単独塩基による正規波形の信号とならずに、検出波形が隣接波形信号と重なって連接波形信号となってしまう。
また、泳動の際に発生する各塩基のスマイリングやピッチ変動によっても波形信号の重なりが発生して連接波形信号を発生させる原因になる。さらに、本来のＤＮＡ塩基配列と同時にデオキシ状態で反応が停止したＤＮＡ塩基が検出されるので、それが各完全結合のＤＮＡ塩基の検出信号に対してゴースト信号となって現れてくる。このような信号波形も波形の連接を発生させる原因になる。
しかも、対象となる目的のＤＮＡ自体がポッドに注入されていないのに、あるいは分画されていない状態で検査や測定が行われることも多々ある。
【０００４】
このような問題を解決するために泳動状態をより広い視野で観察して、蛍光強度測定を行うことが提案されている。この場合に、広い視野の観察のために、また、蛍光強度を測定するために、それぞれに対象となるＤＮＡを含む電気泳動液に励起光が照射されることになる。この場合、それぞれの励起光を同時に照射することができないために、例えば、蛍光顕微鏡で画像をＣＣＤカメラで採取してその画像をコンピュータを介して画像表示することで、広い視野の観察系で観察した後に蛍光強度測定系に切り換えて蛍光強度測定を行う必要がある。そのために、蛍光強度の測定効率がその分低下し、切換装置等を設けなければならず、装置が大型化する問題がある。
切換装置等を設けないで、観測画像を採取する観測画像撮像部と蛍光強度を検出する蛍光強度測定部とを同時に動作させた場合には、たとえ、蛍光光の波長を通過させるフィルタを設けていても、励起光の強度が蛍光光よりはるかに強いので、フィルタでは励起光を除ききれず、もれが生じる。そのため、観測画像撮像部のマイクロチップへの照射光が蛍光強度測定部の検出光に影響を与えて、あるいは逆に蛍光強度測定部のマイクロチップへの照射光が観測画像撮像部に影響を与えて、それぞれの測定結果に狂いが生じ、特に蛍光強度測定は、事実上不可能になる。
この発明の目的は、このような従来技術の問題点を解決するものであって、サンプルの泳動状態をより広い視野範囲で画像として観察でき、かつ、効率よく蛍光強度測定ができ、装置の小型化が可能な蛍光強度測定方法および装置を提供することにある。
【０００５】
【課題を解決するための手段】
このような目的を達成するためのこの第１の発明の蛍光強度測定方法および装置の特徴は、観測画像撮像部の撮像光学系と蛍光強度測定部の蛍光強度の検出光学系とがマイクロチップを挟んで対向して配置され、所定の周期で撮像光学系の照射光と検出光学系の照射光とが時分割で交互にマイクロチップに照射されて観測画像の採取と蛍光強度の測定とがそれぞれの照射光の照射タイミングに合わせて時分割で並行して行われるものである。
さらに、第２の発明の蛍光強度測定方法および装置の特徴は、前記の構成に加えて、前記の撮像光学系がイメージセンサを有していて、このイメージセンサの撮像感度が蛍光強度測定部で測定した蛍光強度に応じて設定されあるいは制御されるものである。
【０００６】
【発明の実施の形態】
このように、第１の発明にあっては、観測画像撮像部の撮像光学系と蛍光強度測定部の蛍光強度の検出光学系とがマイクロチップを挟んで対向して配置され、所定の周期で撮像光学系の照射光と検出光学系の照射光とが交互に照射され、それぞれの照射光の照射タイミングに合わせてそれぞれに観測画像の採取と蛍光強度の測定とが時分割で並行して行われる。
したがって、観測画像撮像部の撮像光学系の照射光と蛍光強度測定部の蛍光強度の検出光学系の照射光とが同時に発生することはないので相互に影響されることはない。
さらに第２の発明にあっては、イメージセンサの撮像感度が蛍光強度測定部で測定した蛍光強度に応じて設定されあるいは制御されることにより観測画像撮像部における撮像対象に対する明暗のダイナミックレンジを拡大することができる。
その結果、サンプルの泳動状態をより広い視野範囲で画像として観察でき、かつ、効率よく蛍光強度測定ができ、装置の小型化が可能な蛍光強度測定方法および装置を容易に実現できる。
【０００７】
【実施例】
図１は、この発明の蛍光強度測定方法を適用したＤＮＡ蛍光強度測定装置の一実施例のブロック図、図２は、その測定処理のタイミングチャート、図３は、その外観説明図、図４は、蛍光強度の測定波形の説明図、図５は、観測画像の説明図、図６は、観測画像における領域設定と泳動時間対蛍光特性の説明図、図７は、この発明の蛍光強度測定方法を適用したＤＮＡ蛍光強度測定装置の他の実施例のブロック図、そして図８は、図７における観察画像撮像部における撮像できる画像のダイナミックレンジを拡大するための蛍光強度検出の説明図である。
図１において、１は、ＤＮＡ蛍光強度測定装置であって、図３に示すように、マイクロチップ２を挟んで、上部に観察画像撮像部３が設けられ、下部に一点蛍光強度の蛍光強度測定部４が設けられている。観察画像撮像部３により生成されたビデオ信号は、画像処理・制御装置５とＶＴＲ６とに入力され、蛍光強度測定部４により検出された信号は、画像処理・制御装置５に入力されて所定の処理（後述）が行われる。
【０００８】
観測画像撮像部３は、図１に示すように、励起光照射系３１と受光系３２、ビデオ信号処理回路３３、そしてシャッタ駆動回路３４とが内蔵されていて、励起光照射系３１は、冷陰極放電灯(例えば、水銀放電灯、メタルハライドランプなどの蛍光励起波長を有する白色光源)の光源３１１からの光をシャッター３１２、バンドパスフィルタ３１３を経て波長λ＝５１０〜５６０ｎｍの光を通過させて、これをマイクロチップ２に対して垂直な受光系の光軸Ｌ1に対して波長分離面が４５°の角度で配置されたダイクロイックミラー３１４に照射する。このダイクロイックミラー３１４により照射光は、落射方向に反射されて、マイクロチップ２の表面に対峙する形でこれの垂直上部に設けられた対物レンズ３２１を経てマイクロチップ２の表面にキャピラリを含む広い視野範囲で照射される。
この波長λ＝５１０〜５６０ｎｍの光の照射により、マイクロチップ２のキャピラリ（泳動路）上を泳動する蛍光強度測定途上のサンプルは、励起されて蛍光を発生する。その蛍光光は、受光系３２の対物レンズ３２１を経てダイクロイックミラー３１４に至り、上部へと抜けて蛍光光の波長に対応するλ＝５９０ｎｍの通過帯域を持つロングパスフィルタ３２２を通り、ＣＣＤイメージセンサ３２３により受光される。
これによる受光光は、電気信号に変換され、その検出信号は、ＣＣＤイメージセンサ３２３からビデオ信号処理回路３３のビデオ信号生成回路３２４に入力される。ここで検出信号は、ビデオ信号として生成され、ビデオ信号処理回路３３に内蔵されたＡ／Ｄ変換器（Ａ／Ｄ）３２５によりＡ／Ｄ変換されてデジタル値として画像処理・制御装置５の画像メモリ（フレームメモリ）５１に転送される。
なお、Ａ／Ｄ３２５は、コントローラ３２６からの制御によりＡ／Ｄ変換処理をする。
ところで、励起光は、ショートパスフィルタあるいはバンドパスフィルタを通して試料に照射されるので、ここでのショートパスフィルタはバンドパスフィルタが用いられてもよい。また、試料からの蛍光は、ロングパスフィルタあるいはバンドパスフィルタを通して受光されるので、ここでのロングパスフィルタはバンドパスフィルタが用いられてもよい。これらのことは、後述する蛍光強度測定部４においても同様である。
【０００９】
ビデオ信号生成回路３２４は、ビデオ信号処理回路３３のコントローラ３２６の制御下でＡ／Ｄ変換前のビデオ信号をＶＴＲ６に転送して観測画像としてＶＴＲ６に記録する。ビデオ信号生成回路３２４は、ビデオ信号生成回路３２４でビデオ信号を生成する際に偶数番目のフレームコマ落とし制御をするコントローラ３２６を有していて、奇数番目のフレームのビデオ信号のみ、ＶＴＲ６と画像メモリ５１に送出する。このとき、奇数番目のフレームのビデオ信号を次の偶数番目のフレームに差し込んで送出する。また、このとき同時にコマ落としタイミング信号ＦＳを画像処理・制御装置５に送出する。さらに、ビデオ信号生成回路３２４は、このコマ落としタイミング信号ＦＳをシャッタ駆動回路３４にも送出する。シャッタ駆動回路３４は、この信号ＦＳを受けて奇数番目のフレームの期間（タイミング信号ＦＳがＨＩＧＨレベル（以下“Ｈ”），図２（ａ）参照）の間にシャッター３１２をＯＮにして開き、偶数番目のフレームの期間の間（タイミング信号ＦＳがＬＯＷレベル（以下““Ｌ”））、シャッター３１２をＯＦＦにして閉じる。なお、タイミング信号ＦＳは、垂直同期信号Ｖsync信号をフリップフロップ等を介して１／２分周することで得ることができる。
コントローラ３２６は、画像処理・制御装置５からの制御信号ＳＲを受けたときには、これに応じてＶＴＲ６から記録されたビデオ信号を読出してＡ／Ｄ変換器３２５によりＡ／Ｄ変換してそれを画像メモリ５１に順次転送して記録する処理を行う。なお、画像処理・制御装置５からの制御信号は、前記の制御信号ＳＲのほか、ＶＴＲ６に対する録画、再生、巻き戻し、早送りなど、通常のＶＴＲ６の操作のための制御信号が送出される。コントローラ３２６は、これら制御信号を画像処理・制御装置５から受けて、これらに応じてＶＴＲ６に対して指定された操作する。
【００１０】
蛍光強度測定部４は、図１に示すように、励起光照射系４１と受光系４２とが内蔵されていて、励起光照射系４１は、青色ＬＥＤの光源４１１からの光をバンドパスフィルタ４１２を経て波長λ＝５１０〜５６０ｎｍの光を通過させて、これをマイクロチップ２に対して垂直な受光系の光軸Ｌ2に対して波長分離面が４５°の角度で配置されたダイクロイックミラー４１３に照射する。ダイクロイックミラー４１３により照射光は、ここで垂直上方に反射されて、マイクロチップ２の裏面に対峙する形でこれの垂直上部に設けられた対物レンズ４２１を経てマイクロチップ２の裏面から測定位置にピンポイントで照射される。
マイクロチップ２の測定位置の泳動路にこの波長λ＝５１０〜５６０ｎｍの光がピンポイント照射されると、マイクロチップ２の泳動路を泳動する測定対象のサンプルは、蛍光を発し、その蛍光光は、受光系４２の対物レンズ４２１を経てダイクロイックミラー４１３に至り、蛍光光の波長に対応するλ＝５９０ｎｍを下方に通過させ、ロングパスフィルタ４２２を通って、ＡＰＤ（アバランシー・ホト・ダイオード）センサ４２３により受光される。
これによる受光光の検出信号は、ＡＰＤセンサ４２３からバッファアンプ４２４に入力されてここで増幅され、Ａ／Ｄ変換回路（Ａ／Ｄ）４２５に入力されてＡ／Ｄ変換回路４２５によりＡ／Ｄ変換されてデジタル値として画像処理・制御装置５に転送される。なお、Ａ／Ｄ４２５の制御信号は、図示していないが、画像処理・制御装置５から変換制御のタイミング信号を受けてもよい。
【００１１】
画像処理・制御装置５は、マイクロプロセッサ（ＭＰＵ）５０と、画像メモリ５１、波形メモリ５２、メモリ５３、ＣＲＴディスプレイ（ＣＲＴ）５４、キーボード５５、マウス５５ａ、プリンタ（図示せず）、そしてインタフェース５６等からなり、バス５７を介してこれら回路がＭＰＵ５０と相互に接続されている。
ＡＰＤセンサ４２３で受光した蛍光強度を示す信号は、インタフェース５６を介して受けて時間対蛍光強度の波形データ（図４参照）として波形データメモリ５２に記憶され、ＣＲＴディスプレイ５４あるいはプリンタに出力される。さらに、バス５７を介して接続されたＨＤＤ（ハードディスク装置）等の記憶装置５８には測定した画像データ（画像メモリ５１に記憶されたもの）がファイルとして記憶され、また、測定に必要な各種データファイル、プログラムなどがこれに格納されている。
【００１２】
ＭＰＵ５０は、バス５７を介してコマ落としタイミング信号ＦＳの立下がり信号（図２（ａ）参照、タイミング信号ＦＳが“Ｈ”から“Ｌ”の時点）を割込み信号として受けて、このタイミング信号ＦＳに同期してインタフェース５６を介して青色ＬＥＤの光源４１１を駆動する。そのための駆動信号ＤＳを光源４１１に送出する（図２（ｃ）参照）。これにより、この信号ＤＳを受けて奇数番目のフレームの期間の間光源４１１がＯＦＦし、偶数番目のフレームの期間の間、光源４１１がＯＮになって、サンプルを励起して蛍光を発生させる。発生した蛍光は、透明なマイクロチップ２から外部へと放射される。
その結果、図２に示すように、シャッター３１２が閉じているとき、言い換えれば、マイクロチップ２に光源３１１からの光が照射されていないときに光源４１１からの光がマイクロチップ２（そのキャピラリ部分）に照射されて、これによりサンプルの蛍光強度を測定することができる。逆に、シャッター３１２が開いているときには、言い換えれば、マイクロチップ２に光源４１１からの光が照射されていないときには光源３１１からの光がマイクロチップ２に照射されて、蛍光による映像を観測画像として採取することができる。
なお、シャッター３１２は、インタフェース５６、シャッタ駆動回路３４を介してＭＰＵ５０により開閉制御される。
【００１３】
ＡＰＤセンサ４２３により検出された蛍光強度は、バッファアンプ４２３，Ａ／Ｄ変換回路４２４を経てデジタル値としてインタフェース５６に入力される。そして、コマ落としタイミング信号ＦＳに同期して、ＭＰＵ５０は、インタフェース５６，バス５８を介してこのデジタル値を受けて、これをＭＰＵ５０が波形メモリ５２に順次測定データとして記憶する。
その結果、波形メモリ５２には、タイミング信号ＦＳをサンプルタイミングとして時間対蛍光強度のデータがデジタル値でそれぞれの測定時点（１／３０秒間隔）においてそれぞれ検出された蛍光強度が順次記憶されていき、結果として、例えば、図４に示すような波形信号が記憶される。なお、横軸は時間（秒）であり、縦軸は蛍光強度である。また、コマ落としタイミング信号ＦＳは、ビデオ信号の各フレームに対応して発生するので、インターレースをしない場合には、その周期は１／３０秒となる。そこで、図２に示すようなタイミングで、観測画像データと測定データ（蛍光強度の時間的な変化）とが採取されることになる。
一方、画像メモリ５１には、図５に示すような蛍光による画像が記憶される。
【００１４】
さて、メモリ５３には、観測画像表示処理プログラム５３ａ、領域設定・データ抽出プログラム５３ｂと、蛍光強度特性表示プログラム５３ｃ、作業領域５３ｄ、パラメータ領域５３ｅ、そして各種の処理プログラム（図示せず）が格納されている。
観測画像表示処理プログラム５３ａは、ＭＰＵ５０により実行されて、ＭＰＵ５０は、ＶＴＲ６から記録されたビデオ信号を読出す制御信号ＳＲを発生して画像メモリ５１に各フレームの画像データを順次受けてそれを表示データに展開して観測画像としてＣＲＴ５４に表示する処理をする（図５参照）。
領域設定・データ抽出プログラム５３ｂは、領域設定の機能キー入力に応じてＭＰＵ５０により実行されて、ＭＰＵ５０は、シャッター３１２を開き、バンドパスフィルタ３１３と、ロングパスフィルタ３２２を光路から外して（これらフィルタの移動機構は図示せず）、マイクロチップ２の視野範囲の画像を画像メモリ５１に採取し、それを画像メモリ５１から読出して、表示データに展開し、ＣＲＴ５４の画面上に表示する。このとき白色光がマイクロチップ２に照射されて、図６（ａ）に示すようなキャピラリ画像が表示され、これに加えて矩形の設定領域６０を測定画面上に重ね表示する。そして、重ね表示された設定領域６０の大きさをマウス操作に応じて変更する制御をする。このとき、マウス５５ａの操作で決定された矩形枠の大きさのデータをパラメータ領域５３ｄに領域設定データとして記憶する。なお、このときには蛍光強度測定部４は動作していない。
また、領域設定・データ抽出プログラム５３ｂは、所定測定開始機能キーに応じてメインプログラムからコールされて、パラメータ領域５３ｄに記憶されている、観測画像データにおいて図６（ａ）に示す領域６０の範囲を示す領域設定データを読出してこれに従って、タイミング信号ＦＳ（１／３０秒）に同期して動作して１／３０秒ごとに画像メモリ５１に記憶された観測画像データ（ビデオ信号処理回路３３から得られるビデオ信号のＡ／Ｄ変換データからなる画像データ）から指定された設定領域６０内のデータのみを抽出する。そして、その設定領域６０内のデータ値の平均値（蛍光強度の平均値）を明るさの平均値として算出して作業領域５３ｃに時間経過（１／３０秒ごと）に対応して順次記憶していく。さらに、作業領域５３ｃに記憶された新規の平均値を時間経過対応の測定データとしてＨＤＤ５８に転送して特定データの所定の領域に順次記憶する。そして、蛍光強度特性表示プログラム５３ｃをコールする。
【００１５】
蛍光強度特性表示プログラム５３ｃは、ＭＰＵ５０により実行されて、所定の機能キー入力により、波形データメモリ５５のデータを読出して表示データを生成して、ＣＲＴ５４の画面上に表示する。これにより図４に示すような波形信号を表示する。
また、領域設定・データ抽出プログラム５３ｂの実行後にコールされて、このプログラムがＭＰＵ５０に実行されたときには、ＭＰＵ５０は、ＨＤＤ５８から前記の記憶された測定データを所定の領域から読出して、リアルタイムで平均値のデータを追加したグラフとして縦軸と横軸を加えた形でＣＲＴ５４に表示する。その結果、図６（ｂ）に示すような蛍光強度の時間に対する明るさのグラフがＣＲＴ５４の画面上に表示される。
なお、全体的なプログラム処理については、所定の機能キーの押下に応じて前記した各プログラムがメインプログラムからコールされて順次実行されていくだけでの単純な流れとなるので、その説明は割愛する。
【００１６】
図７は、観察画像撮像部３が撮像できる画像のダイナミックレンジを拡大した実施例である。蛍光物質、特に蛍光染色されたＤＮＡの発光強度は、弱いものが多いでの、十分な画像が得られない場合がある。これに対して、ＣＣＤイメージセンサ３２３の感度（絞りとシャッタ速度の調整を含めた感度）の調整によりある程度暗い映像を採取することも可能であるが、それには限界がある。その上に、強い蛍光を発生する物質の場合には、過大入力となってしまい、カメラ側の安全装置が作動して撮影ができなくなる問題がある。
このようなことから、ロングパスフィルタ３２２を介してＣＣＤイメージセンサ３２３により受光しても撮像対象の明暗に対するダイナミックレンジは、あまり広く採れない。
【００１７】
そこで、図７においては、ロングパスフィルタ３２２とＣＣＤイメージセンサ３２３との間にイメージインテンシファイア（ＩＩＦ，これは映像増倍管，マイクロチャネルプレート型映像増倍装置など）３２４が設けられている。また、画像処理・制御装置５のメモリ５３には撮像感度制御プログラム５３ｆが設けられている。これらにより、画像処理・制御装置５がコントローラ３２６を制御し、さらにイメージインテンシファイア３２４の増倍率をコントローラ３２６からの制御信号で制御することで、撮像感度の制御をして撮像できる画像のダイナミックレンジを拡大する。
なお、このような撮像感度の制御をコントローラ３２６からの制御信号ではなく、これとは別にコントローラを設けて行ってもよいが、回路を簡単にするために、ここでは、コントローラ３２６を用いている。また、画像処理・制御装置５の内部は、図１の実施例ほど詳細に説明していないが、図７では、図１に示す構成要素と同一のものは同一の符号で示してある。したがって、それらの説明はここでは割愛する。
ところで、３μｍ〜１０μｍ角程度のピンポイント測定点を持つＡＰＤセンサ４２３を備える蛍光強度測定部４は、例えば、１．２ｍｍ×１．０ｍｍ程度の所定の視野を持つＣＣＤイメージセンサ３２３等のいわゆるＣＣＤカメラよりも撮像対象の明暗に対する検出ダイナミックレンジが広い。そこで、この蛍光強度測定部４の広いダイナミックレンジの蛍光強度検出を利用して観察画像撮像部３が撮像できる画像の明暗の範囲を広げる撮像感度制御をイメージインテンシファイア３２４の制御で行う。そのための蛍光強度検出の一例を図８に示す。
【００１８】
図８において、点線枠で示す７は、マイクロチップ２のキャピラリ２ａ上に設定されたイメージセンサ３２３の視野であり、８は、蛍光強度測定部４の検出点、９は、蛍光染色されたＤＮＡである。このように、キャピラリ２ａを流れてくるＤＮＡ９に対して蛍光強度測定部４の検出点８の位置をイメージセンサ３２３の視野７の手前（キャピラリ２ａの上流側）に設定する。
この検出点の蛍光強度は、１／３０秒ごとに蛍光強度測定部４により検出されて波形メモリ５２に順次記憶されていく。
そこで、新しく検出された蛍光強度が波形メモリ５２に記憶される都度、画像処理・制御装置５のメモリ５３に設けられた撮像感度制御プログラム５３ｆがＭＰＵ５０にコールされて実行される。撮像感度制御プログラム５３ｆがＭＰＵ５０により実行されると、ＭＰＵ５０は、蛍光強度測定部４で検出した現在から過去に受けた蛍光強度の値、数個を抽出してそれらの平均値を算出する。そして、この平均値に対応する値の制御信号Ｓiをインタフェース５６を介してコントローラ３２６に送出する。なお、撮像感度制御プログラム５３ｆの処理は、単純な流れであり、前記の説明で十分で理解できると考えられるので、その処理のフローチャートは割愛する。
【００１９】
コントローラ３２６は、制御信号Ｓiの値に応じてイメージインテンシファイア３２４の増倍率を制御する。このときの制御信号Ｓiの値は、蛍光強度測定部４で検出したそのときどきの蛍光強度に応じて適正な映像を撮影できる増幅率にイメージインテンシファイア３２４を設定するものである。これにより、暗い発光強度の蛍光物質から明るい蛍光を発生する物質まで撮像できる範囲を広げて、広いダイナミックレンジを確保することができる。なお、制御信号Ｓiの値は、１／３０秒ごとに発生することなく、ある検査対象やある検査条件に対応して設定値として１回発生するだけであってもよい。もちろん、検査対象や検査条件が変更されたときには制御信号Ｓiをその都度発生する。
この制御信号Ｓiは、さらに点線で示すように、ＣＣＤイメージセンサ３２３側に送出されて、ＣＣＤイメージセンサ３２３の絞りとシャッタ速度を調整して感度調整する構成を加えるようにしてもよい。
さらに、ＣＣＤイメージセンサ３２３として撮像画像の明暗に応じた感度調整がＣＣＤイメージセンサ３２３の映像増幅率等で多少広い範囲で調整できるものであれば、必ずしもイメージインテンシファイア３２４を設ける必要はない。あるいは、前記の調整は、点線で示すＣＣＤイメージセンサ３２３側だけの調整であってもよい。この場合には、実線で示す制御信号Ｓiは不要となり、点線で示す制御信号Ｓiにより、ＣＣＤカメラの撮像感度を制御することになる。それは、例えば、ＣＣＤ素子の印加電圧やＣＣＤ素子に結合されたプリアンプの増幅率等の制御で可能である。
なお、以上の場合、制御信号Ｓiは、必ずしも過去に受けた蛍光強度の値、数個の平均値を採る必要はなく、現在の１／３０秒の蛍光強度の測定値で次の１／３０秒の撮像画像を適正に採取するための制御してもよい。しかし、前記のように平均値を採ってその都度制御するようにすれば、ノイズに影響されずに適正な感度制御をすることができる。
【００２０】
以上説明してきたが、実施例においては、観測画像は、蛍光光をロングパスフィルタ３２２を通して観測しているが、ロングパスフィルタ３２２を削除して直接蛍光光をＣＣＤにより受光して蛍光光の観測画像を採取してもよい。
また、領域設定・データ抽出プログラム５３ｂをＭＰＵ５０が実行したときには、シャッター３１２を開き、バンドパスフィルタ３１３と、ロングパスフィルタ３２２を光路から外すことができ、このときには、マイクロチップ２の視野範囲の画像を白色光を照射した形で画像メモリ５１に採取することができる。
これによりキャピラリ内にゲルが正常に入っているかどうか、キャピラリ内にあわが入っていないかどうかなどの観察映像を蛍光強度測定系の励起光に影響されることなく、判定することができる。さらに、一点蛍光測定系の位置が適正な位置にあるか否かの判定も可能である。このような観測をする場合には白色照射が非常に有効になるが、白色照射ではなく、励起光を照射して領域設定等をすることができることはもちろんである。
また、実施例では、ＣＣＤ３２３にシャッタがある場合に言及していないが、ＣＣＤ３２３にシャッタがある場合には、このシャッタをタイミング信号ＦＳに同期させて、シャッタ３１２の開閉動作とは逆になるように開閉動作をさせるとよい。さらに、蛍光映像をＣＣＤイメージセンサ３２３（撮像するカメラ）は、ＣＣＤのイメージセンサに限定されるものではなく、ＭＯＳ型ＢＢＤ等のイメージセンサ等を用いることができることはもちろんである。
またさらに、実施例では、領域設定６０の選択設定の後に蛍光強度測定に入り、設定領域の蛍光強度の平均値を得て、時間−蛍光強度特性を画面上に表示しているが、領域設定６０の設定と蛍光強度の測定とは、切り離して、それぞれ独立に行ってもよいことはもちろんである。
【００２１】
実施例では、波形メモリ、画像メモリをプログラムを格納したメモリと独立に設けているが、波形メモリ、画像メモリをプログラムを格納したメモリに領域として確保し、これらメモリを一体的に形成してもよい。
実施例において、観測画像の採取と蛍光強度の測定を切換える周期は、ビデオ信号の各フレームに対応して発生するようにしているが、インターレースをする場合には、１フィールドが１／６０秒となるので、採取画像がインターレースとなように、奇数番目のフィールドと次の偶数番目のフィールドとの連続する２フィールドを１／３０秒で採取し、次の奇数番目のフィールドと次の偶数番目のフィールドとの連続する２フィールドをコマ落としするようにすればよい。採取画像や一点蛍光測定の期間は、１／３０秒のうちのある一定期間で行われてもよいことはもちろんである。
また、１フレームの画像をより高速に採取する場合には、切換える周期は、１／３０秒に限定されないことはもちろんである。さらに、実施例でのコマ落としは、１フレームおきにしているが、泳動速度が遅いサンプルの場合には、コマ落としフレームを数フレームとして観測画像を数フレームおきに採取してもよい。逆に、泳動速度が速いサンプルの場合には、コマ落としフレームを数フレームに１回として観測画像のフレームを増加させてもよい。
さらに、ＶＴＲ６は、ＨＤＤを内蔵するデジタルの録画再生装置であってもよく、ビデオテープに記憶するものに限定されない。
また、実施例では、設定領域６０を矩形として説明しているが、これは、矩形に限定されるものではなく、例えば、キャピラリの泳動路が湾曲している場合などにはそれに併せて湾曲させてもよい。
【００２２】
【発明の効果】
以上の説明のとおり、この発明にあっては、観測画像撮像部の撮像光学系と蛍光強度測定部の蛍光強度の検出光学系とがマイクロチップを挟んで対向して配置され、所定の周期で撮像光学系の照射光と検出光学系の照射光とが交互に照射され、それぞれの照射光の照射タイミングに合わせてそれぞれに観測画像の採取と蛍光強度の測定とが時分割で並行して行われる。
したがって、観測画像撮像部の撮像光学系の照射光と蛍光強度測定部の蛍光強度の検出光学系の照射光とが同時に発生することはないので相互に影響されることはない。
その結果、サンプルの泳動状態をより広い視野範囲で画像として観察でき、かつ、効率よく蛍光強度測定ができ、装置の小型化が可能な蛍光強度測定方法および装置を容易に実現できる。
【図面の簡単な説明】
【図１】図１は、この発明の蛍光強度測定方法を適用したＤＮＡ蛍光強度測定装置の一実施例のブロック図である。
【図２】図２は、その処理のタイミングチャートである。
【図３】図３は、その外観説明図である。
【図４】図４は、蛍光強度の測定波形の説明図である。
【図５】図５は、観測画像の説明図である。
【図６】図６（ａ）は、観測画像における領域設定の説明図、図６（ｂ）は、泳動時間対蛍光特性の説明図である。
【図７】図７は、この発明の蛍光強度測定方法を適用したＤＮＡ蛍光強度測定装置の他の実施例のブロック図である。
【図８】図８は、図７における観察画像撮像部における撮像できる画像のダイナミックレンジを拡大するための蛍光強度検出の説明図である。
【符号の説明】
１…ＤＮＡ蛍光強度測定装置、
２…マイクロチップ、
３…観察画像撮像部、４…一点蛍光強度測定部、
５…画像処理・制御装置、６…ＶＴＲ、
３１，４１…励起光照射系、３２，４２…受光系、
３３…ビデオ信号処理回路、
３４…シャッタ駆動回路、
５０…マイクロプロセッサ（ＭＰＵ）、
５１…画像メモリ（フレームメモリ）、
５２…波形メモリ、５３…メモリ、５４…ＣＲＴディスプレイ（ＣＲＴ）、
５５…キーボード、５６…インタフェース、５７…バス、
５８…外部記憶装置、
５３ａ…観測画像表示処理プログラム、
５３ｂ…領域設定・データ抽出プログラム、
５３ｃ…蛍光強度特性表示プログラム、
５３ｄ…作業領域、５３ｅ…パラメータ領域、
５３ｆ…撮像感度制御プログラム５３、
３１２…シャッター、３１３，４１２…ショートパスフィルタ、
３１４，４１３…ダイクロイックミラー、３２１，４２１…対物レンズ、
３２２，４２２…ロングパスフィルタ、３２３…ＣＣＤイメージセンサ、
３２４…ビデオ信号生成回路、３２５…Ａ／Ｄ変換器、
３２６…制御回路、４１１…青色ＬＥＤの光源、
４２３…ＡＰＤセンサ、４２４…バッファアンプ、
４２５…Ａ／Ｄ変換回路（Ａ／Ｄ）。
Claims (10)
- 観測画像撮像部で観測画像を採取するとともに蛍光強度測定部で蛍光強度を検出する蛍光強度測定方法において、
前記観測画像撮像部の撮像光学系と前記蛍光強度測定部の前記蛍光強度の検出光学系とがマイクロチップを挟んで対向して配置され、
所定の周期で前記撮像光学系の照射光と前記検出光学系の照射光とが時分割で交互に前記マイクロチップに照射されて前記観測画像の採取と前記蛍光強度の測定とがそれぞれの前記照射光の照射タイミングに合わせて時分割で並行して行われることを特徴とする蛍光強度測定方法。 - 前記照射光は、前記マイクロチップのキャピラリ内を泳動する試料に照射されるものであって、前記試料に蛍光を発生させる励起光であり、前記観測画像撮像部は、前記蛍光強度測定部の測定範囲に対してより広い視野を有するものである請求項１記載の蛍光強度測定方法。
- さらに、ビデオ信号録画再生装置を有し、前記所定の周期は、１／３０秒であり、前記観測画像撮像部は、１／３０秒で１フレームの画像を採取して１／３０秒おきにそれを生成して前記ビデオ信号録画再生装置に記憶する請求項１記載の蛍光強度測定方法。
- 前記撮像光学系は、イメージセンサを有していて、このイメージセンサの撮像感度が前記蛍光強度測定部で測定した蛍光強度に応じて設定されあるいは制御される請求項１記載の蛍光強度測定方法。
- さらに、前記イメージセンサの手前にイメージインテンシファイアが設けられ、前記イメージセンサの撮像感度の設定あるいは制御に換えてあるいはこの撮像感度の設定あるいは制御に加えて前記イメージインテンシファイアの映像増幅率が制御される請求項４記載の蛍光強度測定方法。
- 観測画像を採取する観測画像撮像部と蛍光強度を検出する蛍光強度測定部とを有する蛍光強度測定装置において、
前記観測画像撮像部の撮像光学系と前記蛍光強度測定部の前記蛍光強度の検出光学系とがマイクロチップを挟んで対向して配置され、
所定の周期で前記撮像光学系の照射光と前記検出光学系の照射光とを時分割で交互に前記マイクロチップに照射する制御回路を備え、前記観測画像の採取と前記蛍光強度の測定とがそれぞれの前記照射光の照射タイミングに合わせて時分割で並行して行われることを特徴とする蛍光強度測定装置。 - 前記照射光は、前記マイクロチップのキャピラリ内を泳動する試料に照射されるものであって、前記試料に蛍光を発生させる励起光であり、前記観測画像撮像部は、前記蛍光強度測定部の測定範囲に対してより広い視野を有するものである請求項６記載の蛍光強度測定装置。
- さらに、ビデオ信号録画再生装置を有し、前記所定の周期は、１／３０秒であり、前記観測画像撮像部は、１／３０秒で１フレームの画像を採取して１／３０秒おきにそれを生成して前記ビデオ信号録画再生装置に記憶する請求項６記載の蛍光強度測定装置。
- 前記撮像光学系は、イメージセンサを有していて、このイメージセンサの撮像感度が前記蛍光強度測定部で測定した蛍光強度に応じて設定されあるいは制御される請求項６記載の蛍光強度測定装置。
- さらに、前記イメージセンサの手前にイメージインテンシファイアが設けられ、前記イメージセンサの撮像感度の設定あるいは制御に換えてあるいはこの撮像感度の設定あるいは制御に加えて前記イメージインテンシファイアの映像増幅率が制御される請求項９記載の蛍光強度測定装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002159179A JP3734769B2 (ja) | 2001-11-09 | 2002-05-31 | 蛍光強度測定方法および装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001344445 | 2001-11-09 | ||
| JP2001-344445 | 2001-11-09 | ||
| JP2002159179A JP3734769B2 (ja) | 2001-11-09 | 2002-05-31 | 蛍光強度測定方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003207452A JP2003207452A (ja) | 2003-07-25 |
| JP3734769B2 true JP3734769B2 (ja) | 2006-01-11 |
Family
ID=27667043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002159179A Expired - Fee Related JP3734769B2 (ja) | 2001-11-09 | 2002-05-31 | 蛍光強度測定方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3734769B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4262559B2 (ja) * | 2003-09-19 | 2009-05-13 | 株式会社日立ハイテクノロジーズ | 電気泳動分析装置 |
| WO2006024819A2 (en) * | 2004-09-01 | 2006-03-09 | Perkinelmer Singapore Pte Ltd. | A method of analysing a sample and apparatus therefor |
| JP4720290B2 (ja) * | 2005-05-26 | 2011-07-13 | カシオ計算機株式会社 | 有機エレクトロルミネッセンス層検査装置 |
-
2002
- 2002-05-31 JP JP2002159179A patent/JP3734769B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003207452A (ja) | 2003-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3084296B2 (ja) | フローイメージサイトメータ | |
| EP0501007B1 (en) | Flow imaging cytometer | |
| US7689113B2 (en) | Photographing apparatus and method | |
| JP3121849B2 (ja) | フローイメージサイトメータ | |
| US5159397A (en) | Flow imaging cytometer | |
| KR20050000346A (ko) | 엑스선 촬영장치 및 촬영방법 | |
| EP2455891A1 (en) | Methods and systems for automatic capture of an image of a faint pattern of light emitted by a specimen | |
| EP1417924B1 (en) | Ophthalmologic image taking apparatus | |
| JP3734769B2 (ja) | 蛍光強度測定方法および装置 | |
| JP3731882B2 (ja) | 蛍光強度測定方法および装置 | |
| JP3218108B2 (ja) | イメージングフローサイトメータ | |
| US7319486B2 (en) | High-speed event imaging device | |
| JP3861396B2 (ja) | 顕微鏡用画像取得装置 | |
| JPS5817792A (ja) | 焦電撮像装置の画像処理方法および装置 | |
| JP4033746B2 (ja) | 顕微鏡撮影装置 | |
| JPH11164191A (ja) | ディジタルカメラ | |
| JP2001292371A (ja) | 撮像制御装置および方法、並びに記録媒体 | |
| JP4869837B2 (ja) | 顕微鏡用撮像装置、顕微鏡用撮像プログラムおよび顕微鏡用撮像方法 | |
| JPH0670614B2 (ja) | 細胞内イオンの測定方法 | |
| JP3375413B2 (ja) | 変位量測定装置 | |
| JPH036444A (ja) | 蛍光検査装置 | |
| JP2008219712A (ja) | カメラ | |
| JP2018014658A (ja) | 撮像装置、撮像装置の制御方法 | |
| JP2004289766A (ja) | 高速度ビデオカメラ装置 | |
| JPS5823796B2 (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040331 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050627 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050705 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050831 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050831 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051011 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051019 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091028 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101028 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101028 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111028 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111028 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121028 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |