JPWO2003067230A1 - 蛍光画像計測方法および装置 - Google Patents
蛍光画像計測方法および装置 Download PDFInfo
- Publication number
- JPWO2003067230A1 JPWO2003067230A1 JP2003566530A JP2003566530A JPWO2003067230A1 JP WO2003067230 A1 JPWO2003067230 A1 JP WO2003067230A1 JP 2003566530 A JP2003566530 A JP 2003566530A JP 2003566530 A JP2003566530 A JP 2003566530A JP WO2003067230 A1 JPWO2003067230 A1 JP WO2003067230A1
- Authority
- JP
- Japan
- Prior art keywords
- light
- autofocus
- specimen
- fluorescence image
- fluorescence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002073 fluorescence micrograph Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims description 24
- 238000005259 measurement Methods 0.000 claims abstract description 55
- 230000005284 excitation Effects 0.000 claims abstract description 51
- 230000003287 optical effect Effects 0.000 claims abstract description 22
- 238000000691 measurement method Methods 0.000 claims abstract description 13
- 238000003384 imaging method Methods 0.000 claims abstract description 12
- 230000001678 irradiating effect Effects 0.000 claims abstract description 12
- 244000005700 microbiome Species 0.000 claims description 26
- 239000011521 glass Substances 0.000 claims description 7
- 239000004065 semiconductor Substances 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 238000010791 quenching Methods 0.000 abstract description 2
- 230000000171 quenching effect Effects 0.000 abstract description 2
- 239000000523 sample Substances 0.000 description 41
- 210000004027 cell Anatomy 0.000 description 25
- 210000001519 tissue Anatomy 0.000 description 13
- 239000012528 membrane Substances 0.000 description 11
- 238000010186 staining Methods 0.000 description 11
- 241000894006 Bacteria Species 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 239000012192 staining solution Substances 0.000 description 6
- 238000002834 transmittance Methods 0.000 description 5
- 239000003153 chemical reaction reagent Substances 0.000 description 4
- 239000010419 fine particle Substances 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 239000012128 staining reagent Substances 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 238000003556 assay Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 229910052500 inorganic mineral Inorganic materials 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 3
- 229910052753 mercury Inorganic materials 0.000 description 3
- 239000011707 mineral Substances 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 102000004169 proteins and genes Human genes 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 108090000371 Esterases Proteins 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000006059 cover glass Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000007850 fluorescent dye Substances 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 102000039446 nucleic acids Human genes 0.000 description 2
- 108020004707 nucleic acids Proteins 0.000 description 2
- 150000007523 nucleic acids Chemical class 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000008685 targeting Effects 0.000 description 2
- 238000007740 vapor deposition Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000186361 Actinobacteria <class> Species 0.000 description 1
- 241000218645 Cedrus Species 0.000 description 1
- 241000195493 Cryptophyta Species 0.000 description 1
- 241000218691 Cupressaceae Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241000206602 Eukaryota Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 108091005461 Nucleic proteins Proteins 0.000 description 1
- 240000004808 Saccharomyces cerevisiae Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 241001148470 aerobic bacillus Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000004102 animal cell Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000000170 cell membrane Anatomy 0.000 description 1
- 210000003850 cellular structure Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 210000004748 cultured cell Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 238000000295 emission spectrum Methods 0.000 description 1
- 210000002472 endoplasmic reticulum Anatomy 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 210000002288 golgi apparatus Anatomy 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000003470 mitochondria Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000010865 sewage Substances 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/244—Devices for focusing using image analysis techniques
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
撮像手段を介して得た画像情報に基づきオートフォーカス（ＡＦ）を行なう蛍光画像計測方法および装置において、計測試料としての標本に対して、まず蛍光画像計測波長帯域で発光するオートフォーカス用光を照射し、その結果得た画像情報に基づいて合焦度を判定し、その合焦度に応じて受光光学系または標本の少なくとも一方を駆動して合焦点位置をサーチし、合焦点位置に到達した後オートフォーカス用光の照射を止め、その後に、前記標本に対して励起光を照射し、試料が発する蛍光画像を計測するようにすることにより、構成要素の少ないシンプルな構成で、蛍光強度の低い標本についても消光を起こさせることなく、画像情報に基づいてＡＦを可能とする。
Description
技術分野
この発明は、微生物や組織細胞等の細胞や鉱物粒子などの微粒子を蛍光標識（蛍光試薬で染色）し、試薬を励起することで蛍光を発生させ、あるいは、微生物や組織細胞等の細胞や鉱物粒子などの微粒子が元々有する蛍光性分子を励起することで蛍光を発生させ、その蛍光画像を計測する蛍光画像計測方法および装置に関する。
背景技術
微生物や組織細胞などの蛍光画像計測は、生物を扱う多くの分野で用いられている。このような画像計測においても、近年の撮像素子や画像処理技術の進展に伴い、オートフォーカス（ＡＦ）の技術が汎用されるようになってきた。一般的なオートフォーカスは、画像信号に含まれる高周波成分量（コントラスト）を求め、コントラストが最大になる位置を合焦点位置とするものである。
本発明において、前記微生物には、細菌や放線菌などの原核生物、酵母やカビなどの真核生物、下等藻類、ウイルスなどが含まれ、前記組織細胞には、動植物由来の培養細胞及びスギやヒノキなどの花粉などが含まれる。なお、死菌を計測するなど、生きている物のみに限定されない。
また、本発明の計測方法においては、検出対象（例えば、微生物）を染色し得る１種以上の発色性物質にて染色を施すことができる。発色性物質としては、微生物に含まれる細胞成分と作用して発色するものであれば特に限定されないが、その代表的なものとして、核酸やタンパク質を染色する蛍光染色液が挙げられる。さらに具体的な発色性染料としては、微生物一般を対象とする場合は、蛍光性核酸塩基類似体、核酸を染色する蛍光染色剤、タンパク質を染色する染色液、タンパク質などの構造解析に用いられる環境性蛍光プローブ、細胞膜や膜電位の解析に用いられる染色液、蛍光抗体の標識に用いられる染色液などが、好気性細菌を対象とする場合は細胞の呼吸によって発色する染色液などが、真核微生物を対象とする場合はミトコンドリアを染色する染色液、ゴルジ体を染色する染色液、小胞体を染色する染色液、細胞内エステラーゼと反応する染色液及びその修飾化合物などが、高等動物細胞を対象とする場合は骨組織の観察に用いられる染色液、神経細胞トレーサである染色液などが挙げられる。
前記染色試薬で微生物等を染色後、試薬を励起することで蛍光を発生させ、その蛍光画像を撮像素子（例えば、ＣＣＤカメラ素子）で計測することにより、微生物等を計数することができる。なお、発生する蛍光の色（緑色、赤色等）あるいは蛍光の波長帯域は、微生物と染色試薬の種類によって異なる。
前記発色性物質の種類を選択することによって、すべての微生物を検出する全菌数測定、呼吸活性を持つ微生物のみを染色し計数する検定、エステラーゼ活性を持つ微生物のみを染色し計数する検定、あるいは複数の発色性物質を組み合わせた多重染色法を用いることによる特定の属や種の微生物を染色し計数する検定など、幅広い分野への適用が可能となる。
ところで、微生物や組織細胞の計測においては、蛍光試薬によって標本を標識する手法が広く用いられているが、この場合、下記のような問題がある。まず、計測対象の蛍光量が小さい場合が多いので、蛍光画像でＡＦを行おうとすると、ＡＦ用の撮像素子で検知可能な入射光量を得るのに長い蓄積時間が必要となり、その結果、ＡＦに要する時間が長くなる。また、ＡＦの間に励起光の照射によって標本が消光し輝度が低下、極端な場合には計測不能となる。
上記のような問題を解決し、オートフォーカスの効率向上を目的とした顕微鏡用焦点検出装置が提案されている（例えば、後記の特許文献１参照）。
特許文献１に開示された顕微鏡用焦点検出装置は、同公報の記載によれば、「特定波長の励起光を標本に照射し、該励起光より波長の長い光を対物レンズで集める落射蛍光観察手段と、透過照明手段の中にあって、蛍光より長い波長の光を透過するフィルタと、フィルタを透過した光のうち一方を透過し、他方を反射するダイクロイックミラーと、ダイクロイックミラーにより分離された短波長側及び長波長側に夫々配され、標本の観察光像を撮像するカメラ及び標本の観察光像の蓄積を行うイメージセンサと、イメージセンサの出力に基づいて標本の観察光像の焦点状態を検出する焦点検出手段と、焦点検出手段の合焦度に応じて対物レンズ、標本側の少なくとも一方を駆動して合焦点サーチを行うサーボ手段及びイメージセンサ、焦点検出手段を制御するＣＰＵを備えたもの」である。
即ち、上記特許文献１に開示されたものは、対物レンズと対向する側に透過照明手段を設け、この透過照明によって蛍光観察波長よりも長波長の光を標本に照射し、それによって得られる観察像に基づいてＡＦを行なうものであり、蛍光画像とＡＦ用画像とを分離するために波長分離手段を有し、各画像を得るために２系統の撮像手段を備えている。また、蛍光画像計測波長を切り替えて複数の波長帯域で蛍光画像計測を行なう場合は、光路長補正ユニットを組み合せて合焦位置を調節するようにしている。
しかしながら、上記特許文献１に開示されたものは、下記のような種々の問題がある。即ち、
１）光学フィルタやミラーが多いだけでなく、複数の撮像素子や光路長補正ユニットを必要とするため、構成が複雑でコスト高になる。
２）光学素子が多く受光効率が低下するため、輝度の低い標本の計測が困難である。
３）透過照明による計測画像をＡＦに用いているため、光を透過しないメンブレンフィルタ（標本のろ過，補足用フィルタ）などの表面に補足された標本にはフォーカスが行なえない。
４）コントラストが不鮮明でフォーカスのターゲットが明瞭でない標本に対してはＡＦが難しい。
また、上記特許文献１のように、標本の観察光像の焦点状態を検出するものではないが、光学系の焦点合わせを正確に行なう光計測方法に関して、後記の特許文献２には、下記の方法が記載されている。
特許文献２に開示された光計測方法は、同公報の記載によれば、「異なる波長領域を備えた複数の励起光源を備え、該複数の励起光源の中の第１の励起光源から発生した第１の励起光を試料に照射し、該照射により前記試料から発生した蛍光をレンズを通して検出する光計測方法において、前記複数の励起光源の中から前記蛍光の波長とほぼ等しい波長領域を備えた第２の励起光源を選択し、該第２の励起光源から発生した第２の励起光を前記試料に照射し、該試料で反射した第２の励起光を前記レンズを通して検出し、該検出される値が最大となるように前記レンズの位置を調節してフォーカシングを行うことを特徴とする光計測方法」である。
上記特許文献２に開示された光計測方法は、主として、ＤＮＡアレイ試験片の読み取りを対象とし、反射光量最大の位置をフォーカス位置と判断しており、前述のように、標本の観察光像の焦点状態を検出することにより、もしくは画像情報に基づいてオートフォーカスするものではない。また、反射光量を検量するために、オートフォーカス用の光を励起光と同じ光路で照射する必要があり、そのために同軸落射光学系で入射させなくてはならない。さらに、同公報の図４および当該部の説明から明らかなように、複数種類のダイクロイックミラーをモータにより回転させる必要がある等、装置構成が複雑で高コストとなる問題がある。
〔特許文献１〕
特開２００１−９１８２２号公報（第１−４頁、図１）
〔特許文献２］
特開２００１−７４６５８号公報（第２−４頁、図１、図４）
本発明は上記のような点に鑑みなされたもので、構成要素の少ないシンプルな構成で、蛍光強度の低い標本についても消光を起こさせることなく、さらに、メンブレンフィルタ表面に補足した標本やコントラストが不鮮明な標本についても、画像情報に基づいてＡＦを可能とする蛍光画像計測方法および蛍光画像計測装置を提供することを目的とする。
発明の開示
上記のような課題を解決するため、請求の範囲第１項の発明では、撮像手段を介して得た画像情報に基づきオートフォーカスを行なう蛍光画像計測方法において、計測試料としての標本に対して、まず蛍光画像計測波長帯域で発光するオートフォーカス用光を照射し、その結果得た画像情報に基づいて合焦度を判定し、その合焦度に応じて受光光学系または標本の少なくとも一方を駆動して合焦点位置をサーチし、合焦点位置に到達した後オートフォーカス用光の照射を止め、その後に、前記標本に対して励起光を照射し、試料が発する蛍光画像を計測することを特徴とする。これにより、標本に励起光を照射せずにオートフォーカスが可能であり、また、構成要素の少ないシンプルな構成によりオートフォーカスが可能となるので、受光効率低下が最小限に抑えられ、特に、蛍光強度の低い標本の計測が可能となる。
前記請求の範囲第１項の発明の実施態様としては、下記請求の範囲第２項ないし第８項の発明が好ましい。即ち、前記計測試料は、微生物や組織細胞等の細胞とする（請求の範囲第２項の発明）。
また、請求の範囲第１項または第２項記載の蛍光画像計測方法において、前記オートフォーカス用光は、前記標本に対して励起光照射側と同じ側であって、かつ励起光照射軸と所定の傾斜角を有する照射軸方向から照射する（請求の範囲第３項の発明）。これにより、装置構成がシンプルとなり、また、メンブレンフィルタ表面に補足した標本についても、オートフォーカスが可能である。
さらにまた、請求の範囲第２項記載の蛍光画像計測方法において、前記計測試料は複数種の細胞を含み、この複数種の細胞を計測する場合に、計測する細胞に応じて予め設定された複数の蛍光画像計測波長帯域のオートフォーカス用光を、順次切り替えて照射して前記合焦度を判定し、各細胞の蛍光画像を計測する（請求の範囲第４項の発明）。これによれば、オートフォーカス用の光を切り替えることにより、複数の励起−蛍光特性で画像計測を行なうシステムに対しても、この発明を適用することができる。
また、請求の範囲第１項ないし第４項のいずれかの発明においては、前記標本に近接する模様を設け、この模様の画像情報に基づいてオートフォーカスを行なうようにすることができる（請求の範囲第５項の発明）。ＡＦのためには、コントラストの評価を行なうが、標本保持位置以外にフォーカスしてしまうといった誤動作を防ぎ、コントラスト評価を簡便かつ正確に行なうには、模様を用いる方法が有効である。
この請求の範囲第５項の発明において、前記模様は、標本を保持するスライドガラス表面に設けることができる（請求の範囲第６項の発明）。また、請求の範囲第５項の発明において、前記模様は、前記標本をろ過，補足するフィルタの表面に設けることができる（請求の範囲第７項の発明）。さらに、前記請求の範囲第５項ないし第７項の発明において、前記模様は、数字や図形を含み、これらを識別することで標本の位置情報を得ることを可能とすることができる（請求の範囲第８項の発明）。
また、前記蛍光画像計測方法を実施するための装置としては、下記請求の範囲第９項ないし第１１項の発明が好ましい。即ち、撮像手段を介して得た画像情報に基づきオートフォーカスを行なう蛍光画像計測装置において、標本に対して蛍光画像計測波長帯域の光を照射するオートフォーカス用光照射手段と、標本に対する励起光照射手段と、オートフォーカス用および蛍光画像計測用の撮像手段と、蛍光および励起用のフィルタおよびダイクロイックミラーを有する蛍光フィルタブロックと、合焦度に応じて受光光学系または標本の少なくとも一方を駆動する合焦用駆動手段と、演算制御手段とを備え、前記演算制御手段は、オートフォーカス用光を照射して得た画像情報に基づいて合焦度を判定し、その合焦度に応じて受光光学系または標本の少なくとも一方を駆動して合焦点位置をサーチし、合焦点位置に到達した後オートフォーカス用光の照射を止め、その後に、前記標本に対して励起光を照射し、試料が発する蛍光画像を計測する制御機能を備えることを特徴とする（請求の範囲第９項の発明）。
また、前記請求の範囲第９項の発明において、前記オートフォーカス用光照射手段および／または励起光照射手段における光源は、発光ダイオードもしくは半導体レーザとする（請求の範囲第１０項の発明）。
さらに、前記請求の範囲第９項の発明において、複数の蛍光画像計測波長帯域の光を切り替えてオートフォーカスを行なうために、前記オートフォーカス用光照射手段は複数のオートフォーカス用光源を有し、かつ前記蛍光フィルタブロックを複数個設けてなり、さらに、前記演算制御手段は、複数種の細胞にそれぞれ対応する予め設定された複数の蛍光画像計測波長帯域の光源を、順次切り替えてオートフォーカスを行なう機能を備えることを特徴とする（請求の範囲第１１項の発明）。
発明を実施するための最良の形態
以下、本発明について、図面に基づき詳細に説明する。図１は本発明の第１の実施の形態を示す蛍光画像計測装置の概略構成図である。
図１において、１は標本、２はＡＦ用光源、３はダイクロイックミラー、４はフィルタ、５は対物レンズ、６は結像レンズ、７は撮像素子、８は演算部、９はステージ移動機構、１０は励起用光源、１１は集光レンズ、１３は蛍光フィルタブロックを示す。
図１の計測装置においては、標本１に対して斜め上の方向から照射される光でＡＦを行ない、落射光学系によって蛍光画像計測を行なう方法を示すが、これに限定されるものではなく、例えば励起光，ＡＦ用光ともに斜め方向から照射する変形例、場合によってはＡＦ用光を透過光とする例も含むものとするが、構造的には、図１に示す形態が最もシンプルで、かつ低コスト化が図れる。また、ＡＦは従来と同様、画素間のコントラストを利用する一般的な方法を用いることとする。
図１において、まず、標本１に対して、ＡＦ用光源２から蛍光画像計測波長帯域の波長を含む光を照射することで、標本の退色を抑えるようにする。蛍光画像計測波長帯域は、ダイクロイックミラー３の分光透過特性と蛍光受光側フィルタ４の分光透過特性とで決まる。
ＡＦ用光源２としては、発光ダイオード（ＬＥＤ）や半導体レーザが好適である。その理由は、素子の選択によって発光スペクトルを様々に選ぶことができ、また、ＯＮ／ＯＦＦを繰り返しても特性が悪化し難いからである。さらに、これらの素子は小形軽量であるため、ＡＦ用光源として組み付けることも容易であることにもよる。
蛍光画像計測波長帯域でＡＦ用画像を得られるので、前記特許文献１に開示された装置のように波長分離手段や２系統の撮像素子が不要となり、前記特許文献１や２の装置に比べて、装置構成が簡素化できる。なお、ＡＦ用光源として白色ランプを用い、光学フィルタを組み合わせることで所望の波長を得、照射，非照射をシャッタの開閉によって行なうことも可能である。また、ＡＦ用光の照射の角度は、試料面に対する傾斜角が５〜４５°程度が好ましい。
ＡＦ用光照射時の標本の画像は、対物レンズ５，ダイクロイックミラー３，蛍光受光側フィルタ４および結像レンズ６を介して、撮像素子７で捉える。撮像素子としては、ＣＣＤカメラ用素子やＣＭＯＳカメラ用素子が好適である。撮像素子７で得た画像は、前記演算制御手段としての演算部８に送り、ここでコントラストの評価を行なう。コントラストの評価は、例えば隣り合う画素間の輝度差として算出し、コントラストが最大になる位置を合焦点位置とする、一般的なＡＦ手法により行なう。
合焦点位置に至るまでの処理は、概ね以下のようになる。
１）ステージ移動機構９によって標本を移動
２）画像取込み
３）コントラスト評価
４）前画面とコントラストを比較
５）コントラストが増大していれば同方向にさらに移動
６）コントラストが減少していれば逆方向に移動
実際にＡＦを行なう際は、上記に加えて、始めに全域を粗くスキャンして概略フォーカス位置を把握したり、フォーカス位置に近づくにつれて移動距離を徐々に小さくしたり、同じ位置を所定回数往復したら合焦点位置と判断するなどのアルゴリズムが必要である。なお、ステージ移動機構９は必須要件ではなく、標本１と受光系の少なくとも一方を駆動して合焦点をサーチできれば良い。
合焦点位置に到達した後にＡＦ用光を消灯し、それに続いて励起用光源１０を点灯する。励起用光源１０からの光は集光レンズ１１，励起側フィルタ１２，ダイクロイックミラー３および対物レンズ５を介して標本１に照射されるので、これにより蛍光画像計測が可能となる。
上記励起用光源としては、従来は高圧水銀ランプを用いることが多かったが、高圧水銀ランプは短時間でＯＮ／ＯＦＦを繰り返すと特性が著しく悪化するため、照射，非照射の切り替えにはシャッタが必要となる。従って、波長特性および光量が満足できれば、励起用光源としてもＡＦ用光源と同様に、発光ダイオード（ＬＥＤ）や半導体レーザを用いることが望ましい。
図１に示す装置における各種主要部材の、好適な具体的諸元の一例（励起青色光−蛍光観察緑色光−ＡＦ緑色光の例）について、以下に示す。
１）励起用光源：中心波長４７０ｎｍの青色ＬＥＤ
２）励起光側光学フィルタの透過波長帯域：４５０〜４７０ｎｍ
３）ダイクロイックミラーの特性：反射率と透過率の分岐点波長が５０５ｎｍ（即ち、５０５ｎｍで透過率が約５０％であって、５０５ｎｍより短波長側では透過率が低下（反射率が高上）し、５０５ｎｍより長波長側では透過率が高上（反射率が低下）するミラー特性を備える）
４）蛍光観察側光学フィルタの透過波長帯域：５１０〜５６０ｎｍ
５）ＡＦ用光源：中心波長５３５ｎｍの緑色ＬＥＤ
次に、図２に示す本発明の第２の実施の形態を示す蛍光画像計測装置について述べる。図２において、図１に示す部材と同一機能部材には同一番号を付して、その詳細説明を省略する。
図２は、複数の生細胞、例えば複数の細菌を同時に計測する場合や同一の細菌であっても生菌と死菌とを含む場合であって、前記請求の範囲第４項や第１１項の発明に関わる装置を示す。例えば複数の細菌を同時に計測する場合には、細菌の種類に応じて、複数の染色試薬が使用され、蛍光色は、細菌の種類や染色剤によって異なる。
そこで、上記のような複数の生細胞を計測する蛍光画像計測システムの場合には通常、前述の励起側フィルタ１２，ダイクロイックミラー３および画像計測側フィルタ４の３要素を１つのユニットとする蛍光フィルタブロック１３が、図２に示すように、複数個設けられる。そして、これらを切り替えることで、高圧水銀ランプから発せられる白色光を利用した複数の励起−蛍光特性で画像計測を可能としている。このような画像計測条件切り替え機構を有する蛍光画像計測システムに、この発明を適用する例について、図２に基づき以下に説明する。
図２においては、例えば５個の蛍光フィルタブロック１３に対し位置認識機構１４を設け、ブロックを切り替えたときその出力を取り込むことで、ブロックの設定状況を演算部８により自動認識するようにする。さらに、演算部８は設定された蛍光フィルタブロック１３の蛍光画像計測波長を判断し、それに適合するＡＦ用光を標本１に照射する。ＡＦ用光源１５としては、複数種類の発光ダイオードや半導体レーザを切り替えて使用しても良いし、白色光源に所定の分光透過性を持った光学フィルタの切り替え機構とシャッタ機構を組み合わせて用いても良い。
合焦点位置に到達した後、ＡＦ用光を消灯する。それに続いて、励起光源１０を点灯するか、あらかじめ励起光源は点灯しておき、励起光を遮っていたシャッタを開けることで、励起光を標本１に照射し、蛍光画像計測を行なう。なお、励起光源としては、前記白色光以外に、測定試料に応じた励起光を発する複数のＬＥＤとすることもできる。
次に、図３ないし図５に基づき、ＡＦ用の模様を設けた例について説明する。前記図１および図２に示す蛍光画像計測装置においては、ＡＦのためにコントラストの評価を行なっている。このとき、標本保持位置以外にフォーカスしてしまうといった誤動作を防ぎ、コントラスト評価を簡便かつ正確に行なうには、前述のように、模様を用いる方法が有効である。まず、標本を保持するスライドガラスの表面に模様をつける例について、図３を参照して説明する。
図示のように、スライドガラスＧの表面に予め模様を描いておく。模様は、無蛍光性塗料や蛍光を発しない金属の蒸着などにより描く。模様の太さおよび密度は、画像を取り込んだとき視野中に少なくとも一部の境界が映るように設定することとする。
蛍光標識した微生物や組織細胞などの標本をスライドガラス上に滴下し、カバーガラスをかけて計測可能なサンプルとする。このとき、標本はカバーガラスで押えつけられ、スライドガラス表面の模様と近接あるいは密着した状態になる。サンプルを蛍光画像計測システムにセットし、ＡＦ用光を照射する。ＡＦ用画像の中には少なくとも模様の一部が映っているので、その部分をターゲットとしてオートフォーカスを行なう。それに続いて、励起光源を点灯し、蛍光画像計測を行なうのは、図１および図２に示した実施の形態と同様である。
なお、以上のような計測を行なうには、オートフォーカスの基準である模様と標本とが近接あるいは密着していることが前提である。実際には、対物レンズ，鏡筒，結像レンズおよび撮像素子で構成される受光系の焦点深度に比べ、模様と標本との距離が短ければ良い。
次に、図４について説明する。微生物や組織細胞を計測する際、メンブレンフィルタのろ過によって標本を補足し、それを計測する操作は極めて一般的な操作である。以下では、そのメンブレンフィルタ表面に模様を設ける蛍光画像計測方法について、図４を参照して説明する。
模様は図３の場合と同様、メンブレンフィルタＦの表面に、無蛍光性塗料や蛍光を発しない金属の蒸着などにより描く。模様の太さおよび密度は、画像を取り込んだとき視野中に少なくとも一部の境界が映るように設定する。
蛍光標識した微生物や組織細胞などのサンプルを、メンブレンフィルタでろ過する。このメンブレンフィルタ上に補足された標本を、計測に用いるサンプルとする。このとき、標本はメンブレンフィルタ表面の模様と近接した状態になる。
サンプルを蛍光画像計測システムにセットし、ＡＦ用光を照射する。ＡＦ用画像の中には少なくとも模様の一部が映っているので、その部分をターゲットとしてオートフォーカスを行なう。合焦点位置到達後、ＡＦ用光を消灯する。それに続いて、励起光源を点灯し蛍光画像計測を行なう。
前記特許文献１の公報に開示された装置のように、透過光像に基づいてオートフォーカスを行なうものでは、特に、呈色がなく屈折率が水に近い標本に対しては、微分干渉法を用いる画像計測が事実上必須の要件となっている。上述したように、微生物を計測する際フィルタろ過によって標本を補足し、それを計測する操作は極めて良く行なわれる操作であるが、この状態では微分干渉像を得るのは困難である。つまり、特許文献１の公報に開示されたものは、フィルタ上に補足した標本については適用できないことになる。
次に、図５について説明する。微生物や組織細胞といった標本を計測する場合、統計的なバラツキを低減するためにサンプルを蛍光画像計測方向と直交する平面でスキャンし、複数の画面について画像計測を行なうことは少なくない。こうした場合、模様を単純な線などではなく、位置情報を得られる形態、例えば図５に示すように、例えばメンブレンフィルタＦの表面に、区画と通し番号の組み合わせで描いておけば、微生物や組織細胞など標本の存在位置を把握することができる。
微生物や組織細胞が経時的に変化するような場合は、この方法を用いることで、個々の標本を個別に認識しつつ、その変化を追跡することができる。その典型例としては、微生物の増殖を捉える用途や、組織細胞に対する薬剤の影響を評価するようなケースが挙げられる。このような位置情報は、スライドガラスの表面に形成するようにしても良い。
産業上の利用の可能性
この発明は、前述のように、微生物や組織細胞等の細胞や鉱物粒子などの微粒子を含む試料を、染色試薬により標識し、試料が発する蛍光画像を計測する計測方法および装置に利用できる。本計測方法および装置の利用分野としては、医療，食品製造，上下水道などがある。
この発明によれば、標本に励起光を照射せずにオートフォーカスが可能であり、また、構成要素の少ないシンプルな機構を実現したことで受光効率低下が最小限に抑えられることから、特に、蛍光強度の低い標本の計測が可能である。
また、励起光照射方向と同じ側であって励起光照射軸と所定の傾斜角を有する照射軸方向からＡＦ用光を照射するため、メンブレンフィルタ表面に補足した標本についても、オートフォーカスが可能である。
さらに、複数のＡＦ用光源を備える方法によれば、蛍光フィルタブロックを切り替えながら複数の励起−蛍光特性で画像計測を行なうシステムに対しても、この発明を適用することができる。さらにまた、コントラストが不鮮明な標本についても、標本に近接して設ける模様を利用してオートフォーカスを行なうことができる。
【図面の簡単な説明】
図１は、本発明の第１の実施の形態を示す蛍光画像計測装置の概略構成図である。
図２は、本発明の第２の実施の形態を示す蛍光画像計測装置の概略構成図である。
図３は、ＡＦ用の模様を設けた例を説明する説明図である。
図４は、ＡＦ用の模様を設けた異なる例を説明する説明図である。
図５は、ＡＦ用の模様に位置情報を設けたさらに異なる例を説明する説明図である。
この発明は、微生物や組織細胞等の細胞や鉱物粒子などの微粒子を蛍光標識（蛍光試薬で染色）し、試薬を励起することで蛍光を発生させ、あるいは、微生物や組織細胞等の細胞や鉱物粒子などの微粒子が元々有する蛍光性分子を励起することで蛍光を発生させ、その蛍光画像を計測する蛍光画像計測方法および装置に関する。
背景技術
微生物や組織細胞などの蛍光画像計測は、生物を扱う多くの分野で用いられている。このような画像計測においても、近年の撮像素子や画像処理技術の進展に伴い、オートフォーカス（ＡＦ）の技術が汎用されるようになってきた。一般的なオートフォーカスは、画像信号に含まれる高周波成分量（コントラスト）を求め、コントラストが最大になる位置を合焦点位置とするものである。
本発明において、前記微生物には、細菌や放線菌などの原核生物、酵母やカビなどの真核生物、下等藻類、ウイルスなどが含まれ、前記組織細胞には、動植物由来の培養細胞及びスギやヒノキなどの花粉などが含まれる。なお、死菌を計測するなど、生きている物のみに限定されない。
また、本発明の計測方法においては、検出対象（例えば、微生物）を染色し得る１種以上の発色性物質にて染色を施すことができる。発色性物質としては、微生物に含まれる細胞成分と作用して発色するものであれば特に限定されないが、その代表的なものとして、核酸やタンパク質を染色する蛍光染色液が挙げられる。さらに具体的な発色性染料としては、微生物一般を対象とする場合は、蛍光性核酸塩基類似体、核酸を染色する蛍光染色剤、タンパク質を染色する染色液、タンパク質などの構造解析に用いられる環境性蛍光プローブ、細胞膜や膜電位の解析に用いられる染色液、蛍光抗体の標識に用いられる染色液などが、好気性細菌を対象とする場合は細胞の呼吸によって発色する染色液などが、真核微生物を対象とする場合はミトコンドリアを染色する染色液、ゴルジ体を染色する染色液、小胞体を染色する染色液、細胞内エステラーゼと反応する染色液及びその修飾化合物などが、高等動物細胞を対象とする場合は骨組織の観察に用いられる染色液、神経細胞トレーサである染色液などが挙げられる。
前記染色試薬で微生物等を染色後、試薬を励起することで蛍光を発生させ、その蛍光画像を撮像素子（例えば、ＣＣＤカメラ素子）で計測することにより、微生物等を計数することができる。なお、発生する蛍光の色（緑色、赤色等）あるいは蛍光の波長帯域は、微生物と染色試薬の種類によって異なる。
前記発色性物質の種類を選択することによって、すべての微生物を検出する全菌数測定、呼吸活性を持つ微生物のみを染色し計数する検定、エステラーゼ活性を持つ微生物のみを染色し計数する検定、あるいは複数の発色性物質を組み合わせた多重染色法を用いることによる特定の属や種の微生物を染色し計数する検定など、幅広い分野への適用が可能となる。
ところで、微生物や組織細胞の計測においては、蛍光試薬によって標本を標識する手法が広く用いられているが、この場合、下記のような問題がある。まず、計測対象の蛍光量が小さい場合が多いので、蛍光画像でＡＦを行おうとすると、ＡＦ用の撮像素子で検知可能な入射光量を得るのに長い蓄積時間が必要となり、その結果、ＡＦに要する時間が長くなる。また、ＡＦの間に励起光の照射によって標本が消光し輝度が低下、極端な場合には計測不能となる。
上記のような問題を解決し、オートフォーカスの効率向上を目的とした顕微鏡用焦点検出装置が提案されている（例えば、後記の特許文献１参照）。
特許文献１に開示された顕微鏡用焦点検出装置は、同公報の記載によれば、「特定波長の励起光を標本に照射し、該励起光より波長の長い光を対物レンズで集める落射蛍光観察手段と、透過照明手段の中にあって、蛍光より長い波長の光を透過するフィルタと、フィルタを透過した光のうち一方を透過し、他方を反射するダイクロイックミラーと、ダイクロイックミラーにより分離された短波長側及び長波長側に夫々配され、標本の観察光像を撮像するカメラ及び標本の観察光像の蓄積を行うイメージセンサと、イメージセンサの出力に基づいて標本の観察光像の焦点状態を検出する焦点検出手段と、焦点検出手段の合焦度に応じて対物レンズ、標本側の少なくとも一方を駆動して合焦点サーチを行うサーボ手段及びイメージセンサ、焦点検出手段を制御するＣＰＵを備えたもの」である。
即ち、上記特許文献１に開示されたものは、対物レンズと対向する側に透過照明手段を設け、この透過照明によって蛍光観察波長よりも長波長の光を標本に照射し、それによって得られる観察像に基づいてＡＦを行なうものであり、蛍光画像とＡＦ用画像とを分離するために波長分離手段を有し、各画像を得るために２系統の撮像手段を備えている。また、蛍光画像計測波長を切り替えて複数の波長帯域で蛍光画像計測を行なう場合は、光路長補正ユニットを組み合せて合焦位置を調節するようにしている。
しかしながら、上記特許文献１に開示されたものは、下記のような種々の問題がある。即ち、
１）光学フィルタやミラーが多いだけでなく、複数の撮像素子や光路長補正ユニットを必要とするため、構成が複雑でコスト高になる。
２）光学素子が多く受光効率が低下するため、輝度の低い標本の計測が困難である。
３）透過照明による計測画像をＡＦに用いているため、光を透過しないメンブレンフィルタ（標本のろ過，補足用フィルタ）などの表面に補足された標本にはフォーカスが行なえない。
４）コントラストが不鮮明でフォーカスのターゲットが明瞭でない標本に対してはＡＦが難しい。
また、上記特許文献１のように、標本の観察光像の焦点状態を検出するものではないが、光学系の焦点合わせを正確に行なう光計測方法に関して、後記の特許文献２には、下記の方法が記載されている。
特許文献２に開示された光計測方法は、同公報の記載によれば、「異なる波長領域を備えた複数の励起光源を備え、該複数の励起光源の中の第１の励起光源から発生した第１の励起光を試料に照射し、該照射により前記試料から発生した蛍光をレンズを通して検出する光計測方法において、前記複数の励起光源の中から前記蛍光の波長とほぼ等しい波長領域を備えた第２の励起光源を選択し、該第２の励起光源から発生した第２の励起光を前記試料に照射し、該試料で反射した第２の励起光を前記レンズを通して検出し、該検出される値が最大となるように前記レンズの位置を調節してフォーカシングを行うことを特徴とする光計測方法」である。
上記特許文献２に開示された光計測方法は、主として、ＤＮＡアレイ試験片の読み取りを対象とし、反射光量最大の位置をフォーカス位置と判断しており、前述のように、標本の観察光像の焦点状態を検出することにより、もしくは画像情報に基づいてオートフォーカスするものではない。また、反射光量を検量するために、オートフォーカス用の光を励起光と同じ光路で照射する必要があり、そのために同軸落射光学系で入射させなくてはならない。さらに、同公報の図４および当該部の説明から明らかなように、複数種類のダイクロイックミラーをモータにより回転させる必要がある等、装置構成が複雑で高コストとなる問題がある。
〔特許文献１〕
特開２００１−９１８２２号公報（第１−４頁、図１）
〔特許文献２］
特開２００１−７４６５８号公報（第２−４頁、図１、図４）
本発明は上記のような点に鑑みなされたもので、構成要素の少ないシンプルな構成で、蛍光強度の低い標本についても消光を起こさせることなく、さらに、メンブレンフィルタ表面に補足した標本やコントラストが不鮮明な標本についても、画像情報に基づいてＡＦを可能とする蛍光画像計測方法および蛍光画像計測装置を提供することを目的とする。
発明の開示
上記のような課題を解決するため、請求の範囲第１項の発明では、撮像手段を介して得た画像情報に基づきオートフォーカスを行なう蛍光画像計測方法において、計測試料としての標本に対して、まず蛍光画像計測波長帯域で発光するオートフォーカス用光を照射し、その結果得た画像情報に基づいて合焦度を判定し、その合焦度に応じて受光光学系または標本の少なくとも一方を駆動して合焦点位置をサーチし、合焦点位置に到達した後オートフォーカス用光の照射を止め、その後に、前記標本に対して励起光を照射し、試料が発する蛍光画像を計測することを特徴とする。これにより、標本に励起光を照射せずにオートフォーカスが可能であり、また、構成要素の少ないシンプルな構成によりオートフォーカスが可能となるので、受光効率低下が最小限に抑えられ、特に、蛍光強度の低い標本の計測が可能となる。
前記請求の範囲第１項の発明の実施態様としては、下記請求の範囲第２項ないし第８項の発明が好ましい。即ち、前記計測試料は、微生物や組織細胞等の細胞とする（請求の範囲第２項の発明）。
また、請求の範囲第１項または第２項記載の蛍光画像計測方法において、前記オートフォーカス用光は、前記標本に対して励起光照射側と同じ側であって、かつ励起光照射軸と所定の傾斜角を有する照射軸方向から照射する（請求の範囲第３項の発明）。これにより、装置構成がシンプルとなり、また、メンブレンフィルタ表面に補足した標本についても、オートフォーカスが可能である。
さらにまた、請求の範囲第２項記載の蛍光画像計測方法において、前記計測試料は複数種の細胞を含み、この複数種の細胞を計測する場合に、計測する細胞に応じて予め設定された複数の蛍光画像計測波長帯域のオートフォーカス用光を、順次切り替えて照射して前記合焦度を判定し、各細胞の蛍光画像を計測する（請求の範囲第４項の発明）。これによれば、オートフォーカス用の光を切り替えることにより、複数の励起−蛍光特性で画像計測を行なうシステムに対しても、この発明を適用することができる。
また、請求の範囲第１項ないし第４項のいずれかの発明においては、前記標本に近接する模様を設け、この模様の画像情報に基づいてオートフォーカスを行なうようにすることができる（請求の範囲第５項の発明）。ＡＦのためには、コントラストの評価を行なうが、標本保持位置以外にフォーカスしてしまうといった誤動作を防ぎ、コントラスト評価を簡便かつ正確に行なうには、模様を用いる方法が有効である。
この請求の範囲第５項の発明において、前記模様は、標本を保持するスライドガラス表面に設けることができる（請求の範囲第６項の発明）。また、請求の範囲第５項の発明において、前記模様は、前記標本をろ過，補足するフィルタの表面に設けることができる（請求の範囲第７項の発明）。さらに、前記請求の範囲第５項ないし第７項の発明において、前記模様は、数字や図形を含み、これらを識別することで標本の位置情報を得ることを可能とすることができる（請求の範囲第８項の発明）。
また、前記蛍光画像計測方法を実施するための装置としては、下記請求の範囲第９項ないし第１１項の発明が好ましい。即ち、撮像手段を介して得た画像情報に基づきオートフォーカスを行なう蛍光画像計測装置において、標本に対して蛍光画像計測波長帯域の光を照射するオートフォーカス用光照射手段と、標本に対する励起光照射手段と、オートフォーカス用および蛍光画像計測用の撮像手段と、蛍光および励起用のフィルタおよびダイクロイックミラーを有する蛍光フィルタブロックと、合焦度に応じて受光光学系または標本の少なくとも一方を駆動する合焦用駆動手段と、演算制御手段とを備え、前記演算制御手段は、オートフォーカス用光を照射して得た画像情報に基づいて合焦度を判定し、その合焦度に応じて受光光学系または標本の少なくとも一方を駆動して合焦点位置をサーチし、合焦点位置に到達した後オートフォーカス用光の照射を止め、その後に、前記標本に対して励起光を照射し、試料が発する蛍光画像を計測する制御機能を備えることを特徴とする（請求の範囲第９項の発明）。
また、前記請求の範囲第９項の発明において、前記オートフォーカス用光照射手段および／または励起光照射手段における光源は、発光ダイオードもしくは半導体レーザとする（請求の範囲第１０項の発明）。
さらに、前記請求の範囲第９項の発明において、複数の蛍光画像計測波長帯域の光を切り替えてオートフォーカスを行なうために、前記オートフォーカス用光照射手段は複数のオートフォーカス用光源を有し、かつ前記蛍光フィルタブロックを複数個設けてなり、さらに、前記演算制御手段は、複数種の細胞にそれぞれ対応する予め設定された複数の蛍光画像計測波長帯域の光源を、順次切り替えてオートフォーカスを行なう機能を備えることを特徴とする（請求の範囲第１１項の発明）。
発明を実施するための最良の形態
以下、本発明について、図面に基づき詳細に説明する。図１は本発明の第１の実施の形態を示す蛍光画像計測装置の概略構成図である。
図１において、１は標本、２はＡＦ用光源、３はダイクロイックミラー、４はフィルタ、５は対物レンズ、６は結像レンズ、７は撮像素子、８は演算部、９はステージ移動機構、１０は励起用光源、１１は集光レンズ、１３は蛍光フィルタブロックを示す。
図１の計測装置においては、標本１に対して斜め上の方向から照射される光でＡＦを行ない、落射光学系によって蛍光画像計測を行なう方法を示すが、これに限定されるものではなく、例えば励起光，ＡＦ用光ともに斜め方向から照射する変形例、場合によってはＡＦ用光を透過光とする例も含むものとするが、構造的には、図１に示す形態が最もシンプルで、かつ低コスト化が図れる。また、ＡＦは従来と同様、画素間のコントラストを利用する一般的な方法を用いることとする。
図１において、まず、標本１に対して、ＡＦ用光源２から蛍光画像計測波長帯域の波長を含む光を照射することで、標本の退色を抑えるようにする。蛍光画像計測波長帯域は、ダイクロイックミラー３の分光透過特性と蛍光受光側フィルタ４の分光透過特性とで決まる。
ＡＦ用光源２としては、発光ダイオード（ＬＥＤ）や半導体レーザが好適である。その理由は、素子の選択によって発光スペクトルを様々に選ぶことができ、また、ＯＮ／ＯＦＦを繰り返しても特性が悪化し難いからである。さらに、これらの素子は小形軽量であるため、ＡＦ用光源として組み付けることも容易であることにもよる。
蛍光画像計測波長帯域でＡＦ用画像を得られるので、前記特許文献１に開示された装置のように波長分離手段や２系統の撮像素子が不要となり、前記特許文献１や２の装置に比べて、装置構成が簡素化できる。なお、ＡＦ用光源として白色ランプを用い、光学フィルタを組み合わせることで所望の波長を得、照射，非照射をシャッタの開閉によって行なうことも可能である。また、ＡＦ用光の照射の角度は、試料面に対する傾斜角が５〜４５°程度が好ましい。
ＡＦ用光照射時の標本の画像は、対物レンズ５，ダイクロイックミラー３，蛍光受光側フィルタ４および結像レンズ６を介して、撮像素子７で捉える。撮像素子としては、ＣＣＤカメラ用素子やＣＭＯＳカメラ用素子が好適である。撮像素子７で得た画像は、前記演算制御手段としての演算部８に送り、ここでコントラストの評価を行なう。コントラストの評価は、例えば隣り合う画素間の輝度差として算出し、コントラストが最大になる位置を合焦点位置とする、一般的なＡＦ手法により行なう。
合焦点位置に至るまでの処理は、概ね以下のようになる。
１）ステージ移動機構９によって標本を移動
２）画像取込み
３）コントラスト評価
４）前画面とコントラストを比較
５）コントラストが増大していれば同方向にさらに移動
６）コントラストが減少していれば逆方向に移動
実際にＡＦを行なう際は、上記に加えて、始めに全域を粗くスキャンして概略フォーカス位置を把握したり、フォーカス位置に近づくにつれて移動距離を徐々に小さくしたり、同じ位置を所定回数往復したら合焦点位置と判断するなどのアルゴリズムが必要である。なお、ステージ移動機構９は必須要件ではなく、標本１と受光系の少なくとも一方を駆動して合焦点をサーチできれば良い。
合焦点位置に到達した後にＡＦ用光を消灯し、それに続いて励起用光源１０を点灯する。励起用光源１０からの光は集光レンズ１１，励起側フィルタ１２，ダイクロイックミラー３および対物レンズ５を介して標本１に照射されるので、これにより蛍光画像計測が可能となる。
上記励起用光源としては、従来は高圧水銀ランプを用いることが多かったが、高圧水銀ランプは短時間でＯＮ／ＯＦＦを繰り返すと特性が著しく悪化するため、照射，非照射の切り替えにはシャッタが必要となる。従って、波長特性および光量が満足できれば、励起用光源としてもＡＦ用光源と同様に、発光ダイオード（ＬＥＤ）や半導体レーザを用いることが望ましい。
図１に示す装置における各種主要部材の、好適な具体的諸元の一例（励起青色光−蛍光観察緑色光−ＡＦ緑色光の例）について、以下に示す。
１）励起用光源：中心波長４７０ｎｍの青色ＬＥＤ
２）励起光側光学フィルタの透過波長帯域：４５０〜４７０ｎｍ
３）ダイクロイックミラーの特性：反射率と透過率の分岐点波長が５０５ｎｍ（即ち、５０５ｎｍで透過率が約５０％であって、５０５ｎｍより短波長側では透過率が低下（反射率が高上）し、５０５ｎｍより長波長側では透過率が高上（反射率が低下）するミラー特性を備える）
４）蛍光観察側光学フィルタの透過波長帯域：５１０〜５６０ｎｍ
５）ＡＦ用光源：中心波長５３５ｎｍの緑色ＬＥＤ
次に、図２に示す本発明の第２の実施の形態を示す蛍光画像計測装置について述べる。図２において、図１に示す部材と同一機能部材には同一番号を付して、その詳細説明を省略する。
図２は、複数の生細胞、例えば複数の細菌を同時に計測する場合や同一の細菌であっても生菌と死菌とを含む場合であって、前記請求の範囲第４項や第１１項の発明に関わる装置を示す。例えば複数の細菌を同時に計測する場合には、細菌の種類に応じて、複数の染色試薬が使用され、蛍光色は、細菌の種類や染色剤によって異なる。
そこで、上記のような複数の生細胞を計測する蛍光画像計測システムの場合には通常、前述の励起側フィルタ１２，ダイクロイックミラー３および画像計測側フィルタ４の３要素を１つのユニットとする蛍光フィルタブロック１３が、図２に示すように、複数個設けられる。そして、これらを切り替えることで、高圧水銀ランプから発せられる白色光を利用した複数の励起−蛍光特性で画像計測を可能としている。このような画像計測条件切り替え機構を有する蛍光画像計測システムに、この発明を適用する例について、図２に基づき以下に説明する。
図２においては、例えば５個の蛍光フィルタブロック１３に対し位置認識機構１４を設け、ブロックを切り替えたときその出力を取り込むことで、ブロックの設定状況を演算部８により自動認識するようにする。さらに、演算部８は設定された蛍光フィルタブロック１３の蛍光画像計測波長を判断し、それに適合するＡＦ用光を標本１に照射する。ＡＦ用光源１５としては、複数種類の発光ダイオードや半導体レーザを切り替えて使用しても良いし、白色光源に所定の分光透過性を持った光学フィルタの切り替え機構とシャッタ機構を組み合わせて用いても良い。
合焦点位置に到達した後、ＡＦ用光を消灯する。それに続いて、励起光源１０を点灯するか、あらかじめ励起光源は点灯しておき、励起光を遮っていたシャッタを開けることで、励起光を標本１に照射し、蛍光画像計測を行なう。なお、励起光源としては、前記白色光以外に、測定試料に応じた励起光を発する複数のＬＥＤとすることもできる。
次に、図３ないし図５に基づき、ＡＦ用の模様を設けた例について説明する。前記図１および図２に示す蛍光画像計測装置においては、ＡＦのためにコントラストの評価を行なっている。このとき、標本保持位置以外にフォーカスしてしまうといった誤動作を防ぎ、コントラスト評価を簡便かつ正確に行なうには、前述のように、模様を用いる方法が有効である。まず、標本を保持するスライドガラスの表面に模様をつける例について、図３を参照して説明する。
図示のように、スライドガラスＧの表面に予め模様を描いておく。模様は、無蛍光性塗料や蛍光を発しない金属の蒸着などにより描く。模様の太さおよび密度は、画像を取り込んだとき視野中に少なくとも一部の境界が映るように設定することとする。
蛍光標識した微生物や組織細胞などの標本をスライドガラス上に滴下し、カバーガラスをかけて計測可能なサンプルとする。このとき、標本はカバーガラスで押えつけられ、スライドガラス表面の模様と近接あるいは密着した状態になる。サンプルを蛍光画像計測システムにセットし、ＡＦ用光を照射する。ＡＦ用画像の中には少なくとも模様の一部が映っているので、その部分をターゲットとしてオートフォーカスを行なう。それに続いて、励起光源を点灯し、蛍光画像計測を行なうのは、図１および図２に示した実施の形態と同様である。
なお、以上のような計測を行なうには、オートフォーカスの基準である模様と標本とが近接あるいは密着していることが前提である。実際には、対物レンズ，鏡筒，結像レンズおよび撮像素子で構成される受光系の焦点深度に比べ、模様と標本との距離が短ければ良い。
次に、図４について説明する。微生物や組織細胞を計測する際、メンブレンフィルタのろ過によって標本を補足し、それを計測する操作は極めて一般的な操作である。以下では、そのメンブレンフィルタ表面に模様を設ける蛍光画像計測方法について、図４を参照して説明する。
模様は図３の場合と同様、メンブレンフィルタＦの表面に、無蛍光性塗料や蛍光を発しない金属の蒸着などにより描く。模様の太さおよび密度は、画像を取り込んだとき視野中に少なくとも一部の境界が映るように設定する。
蛍光標識した微生物や組織細胞などのサンプルを、メンブレンフィルタでろ過する。このメンブレンフィルタ上に補足された標本を、計測に用いるサンプルとする。このとき、標本はメンブレンフィルタ表面の模様と近接した状態になる。
サンプルを蛍光画像計測システムにセットし、ＡＦ用光を照射する。ＡＦ用画像の中には少なくとも模様の一部が映っているので、その部分をターゲットとしてオートフォーカスを行なう。合焦点位置到達後、ＡＦ用光を消灯する。それに続いて、励起光源を点灯し蛍光画像計測を行なう。
前記特許文献１の公報に開示された装置のように、透過光像に基づいてオートフォーカスを行なうものでは、特に、呈色がなく屈折率が水に近い標本に対しては、微分干渉法を用いる画像計測が事実上必須の要件となっている。上述したように、微生物を計測する際フィルタろ過によって標本を補足し、それを計測する操作は極めて良く行なわれる操作であるが、この状態では微分干渉像を得るのは困難である。つまり、特許文献１の公報に開示されたものは、フィルタ上に補足した標本については適用できないことになる。
次に、図５について説明する。微生物や組織細胞といった標本を計測する場合、統計的なバラツキを低減するためにサンプルを蛍光画像計測方向と直交する平面でスキャンし、複数の画面について画像計測を行なうことは少なくない。こうした場合、模様を単純な線などではなく、位置情報を得られる形態、例えば図５に示すように、例えばメンブレンフィルタＦの表面に、区画と通し番号の組み合わせで描いておけば、微生物や組織細胞など標本の存在位置を把握することができる。
微生物や組織細胞が経時的に変化するような場合は、この方法を用いることで、個々の標本を個別に認識しつつ、その変化を追跡することができる。その典型例としては、微生物の増殖を捉える用途や、組織細胞に対する薬剤の影響を評価するようなケースが挙げられる。このような位置情報は、スライドガラスの表面に形成するようにしても良い。
産業上の利用の可能性
この発明は、前述のように、微生物や組織細胞等の細胞や鉱物粒子などの微粒子を含む試料を、染色試薬により標識し、試料が発する蛍光画像を計測する計測方法および装置に利用できる。本計測方法および装置の利用分野としては、医療，食品製造，上下水道などがある。
この発明によれば、標本に励起光を照射せずにオートフォーカスが可能であり、また、構成要素の少ないシンプルな機構を実現したことで受光効率低下が最小限に抑えられることから、特に、蛍光強度の低い標本の計測が可能である。
また、励起光照射方向と同じ側であって励起光照射軸と所定の傾斜角を有する照射軸方向からＡＦ用光を照射するため、メンブレンフィルタ表面に補足した標本についても、オートフォーカスが可能である。
さらに、複数のＡＦ用光源を備える方法によれば、蛍光フィルタブロックを切り替えながら複数の励起−蛍光特性で画像計測を行なうシステムに対しても、この発明を適用することができる。さらにまた、コントラストが不鮮明な標本についても、標本に近接して設ける模様を利用してオートフォーカスを行なうことができる。
【図面の簡単な説明】
図１は、本発明の第１の実施の形態を示す蛍光画像計測装置の概略構成図である。
図２は、本発明の第２の実施の形態を示す蛍光画像計測装置の概略構成図である。
図３は、ＡＦ用の模様を設けた例を説明する説明図である。
図４は、ＡＦ用の模様を設けた異なる例を説明する説明図である。
図５は、ＡＦ用の模様に位置情報を設けたさらに異なる例を説明する説明図である。
Claims (11)
- 撮像手段を介して得た画像情報に基づきオートフォーカスを行なう蛍光画像計測方法において、
計測試料としての標本に対して、まず蛍光画像計測波長帯域で発光するオートフォーカス用光を照射し、その結果得た画像情報に基づいて合焦度を判定し、その合焦度に応じて受光光学系または標本の少なくとも一方を駆動して合焦点位置をサーチし、合焦点位置に到達した後オートフォーカス用光の照射を止め、その後に、前記標本に対して励起光を照射し、試料が発する蛍光画像を計測することを特徴とする蛍光画像計測方法。 - 前記計測試料は、微生物や組織細胞等の細胞とすることを特徴とする請求の範囲第１項記載の蛍光画像計測方法。
- 前記オートフォーカス用光は、前記標本に対して励起光照射側と同じ側であって、かつ励起光照射軸と所定の傾斜角を有する照射軸方向から照射することを特徴とする請求の範囲第１項または第２項記載の蛍光画像計測方法。
- 前記計測試料は複数種の細胞を含み、この複数種の細胞を計測する場合に、計測する細胞に応じて予め設定された複数の蛍光画像計測波長帯域のオートフォーカス用光を、順次切り替えて照射して前記合焦度を判定し、各細胞の蛍光画像を計測することを特徴とする請求の範囲第２項記載の蛍光画像計測方法。
- 前記標本に近接する模様を設け、この模様の画像情報に基づいてオートフォーカスを行なうことを特徴とする請求の範囲第１項ないし第４項のいずれか１項に記載の蛍光画像計測方法。
- 前記模様は、前記標本を保持するスライドガラス表面に設けることを特徴とする請求の範囲第５項に記載の蛍光画像計測方法。
- 前記模様は、前記標本をろ過，補足するフィルタの表面に設けることを特徴とする請求の範囲第５項に記載の蛍光画像計測方法。
- 前記模様は、数字や図形を含み、これらを識別することで標本の位置情報を得ることを可能とすることを特徴とする請求の範囲第５項ないし第７項のいずれか１項に記載の蛍光画像計測方法。
- 撮像手段を介して得た画像情報に基づきオートフォーカスを行なう蛍光画像計測装置において、
標本に対して蛍光画像計測波長帯域の光を照射するオートフォーカス用光照射手段と、標本に対する励起光照射手段と、オートフォーカス用および蛍光画像計測用の撮像手段と、蛍光および励起用のフィルタおよびダイクロイックミラーを有する蛍光フィルタブロックと、合焦度に応じて受光光学系または標本の少なくとも一方を駆動する合焦用駆動手段と、演算制御手段とを備え、
前記演算制御手段は、オートフォーカス用光を照射して得た画像情報に基づいて合焦度を判定し、その合焦度に応じて受光光学系または標本の少なくとも一方を駆動して合焦点位置をサーチし、合焦点位置に到達した後オートフォーカス用光の照射を止め、その後に、前記標本に対して励起光を照射し、試料が発する蛍光画像を計測する制御機能を備えることを特徴とする蛍光画像計測装置。 - 前記オートフォーカス用光照射手段および／または励起光照射手段における光源は、発光ダイオードもしくは半導体レーザとすることを特徴とする請求の範囲第９項記載の蛍光画像計測装置。
- 複数の蛍光画像計測波長帯域の光を切り替えてオートフォーカスを行なうために、前記オートフォーカス用光照射手段は複数のオートフォーカス用光源を有し、かつ前記蛍光フィルタブロックを複数個設けてなり、さらに、前記演算制御手段は、複数種の細胞にそれぞれ対応する予め設定された複数の蛍光画像計測波長帯域の光源を、順次切り替えてオートフォーカスを行なう機能を備えることを特徴とする請求の範囲第９項記載の蛍光画像計測装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002030648 | 2002-02-07 | ||
| JP2002030648 | 2002-02-07 | ||
| PCT/JP2003/001224 WO2003067230A1 (fr) | 2002-02-07 | 2003-02-06 | Procede et dispositif de mesure d'une image fluorescente |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2003067230A1 true JPWO2003067230A1 (ja) | 2005-06-02 |
| JP4106626B2 JP4106626B2 (ja) | 2008-06-25 |
Family
ID=27677908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003566530A Expired - Lifetime JP4106626B2 (ja) | 2002-02-07 | 2003-02-06 | 蛍光画像計測方法および装置 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP4106626B2 (ja) |
| AU (1) | AU2003207248A1 (ja) |
| WO (1) | WO2003067230A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210199587A1 (en) * | 2019-12-31 | 2021-07-01 | Illumina, Inc. | Autofocus functionality in optical sample analysis. |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7295316B2 (en) * | 2004-01-14 | 2007-11-13 | Applera Corporation | Fluorescent detector with automatic changing filters |
| JP2005284136A (ja) * | 2004-03-30 | 2005-10-13 | Olympus Corp | 観察装置および観察装置の焦点合わせ方法 |
| JP4631324B2 (ja) * | 2004-06-28 | 2011-02-16 | 株式会社ニコン | 蛍光顕微鏡 |
| JP4955244B2 (ja) * | 2005-09-27 | 2012-06-20 | 横河電機株式会社 | バイオチップ読み取り装置およびバイオチップ読み取り方法 |
| JP2007108223A (ja) * | 2005-10-11 | 2007-04-26 | Olympus Corp | 顕微鏡システム |
| CN101438147B (zh) * | 2006-05-31 | 2011-09-28 | 奥林巴斯株式会社 | 生物试样摄像方法及生物试样摄像装置 |
| JP5296686B2 (ja) * | 2006-08-14 | 2013-09-25 | ウエストオーバー サイエンティフィック，インコーポレイテッド | 半導体蛍光アセンブリ及び顕微鏡 |
| JP5499732B2 (ja) * | 2009-06-23 | 2014-05-21 | ソニー株式会社 | 生体サンプル像取得装置、生体サンプル像取得方法及び生体サンプル像取得プログラム |
| JP2011133366A (ja) * | 2009-12-24 | 2011-07-07 | Ihi Corp | 微生物検出方法、フィルタ及び蛍光印配置板 |
| JP5201185B2 (ja) * | 2010-09-14 | 2013-06-05 | オムロン株式会社 | 観察光学系およびレーザ加工装置 |
| KR101799518B1 (ko) | 2011-05-03 | 2017-11-21 | 삼성전자 주식회사 | 형광 검출 광학계 및 이를 포함하는 다채널 형광 검출 장치 |
| EP3466335A1 (en) * | 2011-12-21 | 2019-04-10 | Catherine M. Shachaf | Fluorescence imaging autofocus method |
| WO2016157458A1 (ja) * | 2015-03-31 | 2016-10-06 | 株式会社ニコン | 測定装置、測定システム、信号列処理方法、プログラム |
| KR20240022443A (ko) * | 2021-06-18 | 2024-02-20 | 하마마츠 포토닉스 가부시키가이샤 | 측정 장치 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0344608A (ja) * | 1989-07-12 | 1991-02-26 | Brother Ind Ltd | 自動焦点合わせ方法 |
| GB9125603D0 (en) * | 1991-12-02 | 1992-01-29 | Gec-Marconi Limited | Optical analysis system and positioning apparatus therefor |
| JPH09243921A (ja) * | 1996-03-12 | 1997-09-19 | Nikon Corp | レーザ走査型蛍光顕微鏡 |
| JP4166297B2 (ja) * | 1997-05-14 | 2008-10-15 | オリンパス株式会社 | 顕微鏡用自動焦点検出装置 |
| JP4608043B2 (ja) * | 1999-09-24 | 2011-01-05 | オリンパス株式会社 | 顕微鏡用焦点検出装置 |
| JP2001154104A (ja) * | 1999-11-25 | 2001-06-08 | Olympus Optical Co Ltd | 顕微鏡装置 |
| JP3736278B2 (ja) * | 2000-04-12 | 2006-01-18 | 松下電器産業株式会社 | 生化学物質の観察方法 |
-
2003
- 2003-02-06 JP JP2003566530A patent/JP4106626B2/ja not_active Expired - Lifetime
- 2003-02-06 WO PCT/JP2003/001224 patent/WO2003067230A1/ja active Application Filing
- 2003-02-06 AU AU2003207248A patent/AU2003207248A1/en not_active Abandoned
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210199587A1 (en) * | 2019-12-31 | 2021-07-01 | Illumina, Inc. | Autofocus functionality in optical sample analysis. |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2003207248A1 (en) | 2003-09-02 |
| JP4106626B2 (ja) | 2008-06-25 |
| WO2003067230A1 (fr) | 2003-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4106626B2 (ja) | 蛍光画像計測方法および装置 | |
| JP4288323B1 (ja) | 顕微鏡装置及びそれを用いた蛍光観察方法 | |
| EP3446170B1 (en) | lMAGING SYSTEM WITH ANCILLARY lMAGE DETECTOR FOR SAMPLE LOCATION | |
| WO2007037439A1 (ja) | 焦点位置決定方法、焦点位置決定装置、微弱光検出装置及び微弱光検出方法 | |
| US20070196815A1 (en) | Positive Selection Procedure for Optically Directed Selection of Cells | |
| JP2009537021A (ja) | 蛍光顕微鏡法におけるレーザー照射システム | |
| CN101821608A (zh) | 用于对样本成像的方法和系统 | |
| US7645971B2 (en) | Image scanning apparatus and method | |
| JP4779518B2 (ja) | 蛍光読取装置および微生物計数装置 | |
| US11041756B2 (en) | Method and apparatus of filtering light using a spectrometer enhanced with additional spectral filters with optical analysis of fluorescence and scattered light from particles suspended in a liquid medium using confocal and non confocal illumination and imaging | |
| JP2007003323A (ja) | 撮影システム | |
| JP4474655B2 (ja) | 顕微鏡装置 | |
| CN108780216B (zh) | 利用散射以降低源自发荧光并改善均匀性的成像系统和方法 | |
| US11199500B2 (en) | Method and microscopy system for recording a microscopic fluorescence image of a sample region containing a biological sample | |
| CN111220590A (zh) | 病原微生物药敏的快速检测仪器及检测方法 | |
| US20200379227A1 (en) | Method For Analyzing Fluorescent Particles in an Immunoassay | |
| JP7260127B2 (ja) | 細菌検出方法及び細菌検出装置 | |
| JP4792880B2 (ja) | 微生物計数方法および微生物計数装置 | |
| CN116802463A (zh) | 具有共焦成像的用于微孔板的通用多功能检测系统 | |
| CN209961688U (zh) | 病原微生物药敏的快速检测仪器 | |
| WO2021070259A1 (ja) | 分析装置及び分析方法 | |
| KR101188233B1 (ko) | 바이오칩을 위한 진단장치 | |
| JP2007097582A (ja) | 微生物計数装置 | |
| JP2005091134A (ja) | 蛍光読み取り装置及び蛍光読み取り装置の合焦点方法 | |
| KR102441156B1 (ko) | 다파장 광원을 이용한 다중 분석장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050603 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071023 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20071219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080306 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080319 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110411 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4106626 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120411 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120411 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120411 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130411 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140411 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |