JP4020893B2 - 顕微鏡撮像装置および生体試料観察システム - Google Patents

顕微鏡撮像装置および生体試料観察システム Download PDF

Info

Publication number
JP4020893B2
JP4020893B2 JP2004200914A JP2004200914A JP4020893B2 JP 4020893 B2 JP4020893 B2 JP 4020893B2 JP 2004200914 A JP2004200914 A JP 2004200914A JP 2004200914 A JP2004200914 A JP 2004200914A JP 4020893 B2 JP4020893 B2 JP 4020893B2
Authority
JP
Japan
Prior art keywords
measurement
stage
imaging
exposure time
culture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004200914A
Other languages
English (en)
Other versions
JP2006023496A (ja
Inventor
良政 鈴木
香由 村木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2004200914A priority Critical patent/JP4020893B2/ja
Priority to US11/173,020 priority patent/US20060018013A1/en
Publication of JP2006023496A publication Critical patent/JP2006023496A/ja
Priority to US11/655,793 priority patent/US20070121200A1/en
Priority to US11/655,512 priority patent/US7271952B2/en
Priority to US11/655,507 priority patent/US20070121198A1/en
Application granted granted Critical
Publication of JP4020893B2 publication Critical patent/JP4020893B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、顕微鏡において使用される撮像装置およびそれを用いた生体試料観察システムに関する。
生体試料の蛍光などを測定する装置として、マイクロプレートを使用するものが知られている。この生体試料の蛍光強度は極めて暗いため、蛍光の撮影には長時間露出が必要となっている。また、マイクロプレートは、顕微鏡の視野よりも大きな外形を有している。したがって、マイクロプレートの全体を観察するには、時間がかかる。
サイズの大きな試料を長時間露出で観察するとともに、高速で観察する撮像方式として、タイム・ディレイ・インテグレーション(TDI)方式が知られている。
この撮像方式は、次のようなものである。TDI方式で使用する撮像素子は、複数の光電素子で構成されている。この光電素子に、生体試料からの蛍光を入射させる。光電素子では、光電変換によって上記蛍光に対応した電荷が発生する。ここで、この電荷は、試料ステージの移動に応じて光電素子間で転送される。電荷の移動と試料ステージの移動が対応しているので、移動後の光電素子に、生体試料の同じ場所からの蛍光が、再び入射する。この結果、電荷が加算されることになる。このように、TDI方式では、順次電荷が累積されることになる。
このTDI方式の特徴は、上記蛍光に対応した電荷を転送しながら積算している点である。そのため、1次元ラインセンサで撮影しているときに比べて、同じ露出時間の撮影をする場合、電荷転送ライン数に比例した速度でステージを動かすことができる。したがって、試料の測定に要する測定時間を短くすることができる(例えば、特許文献1参照。)。
国際公開第03/014400号パンフレット (第1図等)
しかしながら、上述の特許文献1に開示されている技術では、次のような問題があった。例えば、生体試料からの蛍光のように、経時的に輝度の変化する試料を測定したとする。この場合、蛍光の輝度(明るさ)を正確に測定できない恐れがあった。
具体的には、試料から発生する蛍光の輝度が、経時的に強くなることがある。このような場合、同じ撮像条件で撮像を続けていると、撮像素子内に蓄積される電荷が飽和してしまう。その結果、測定を開始してからある時点で、明暗を検出できなくなってしまう。
また、試料の輝度が経時的に弱くなる低輝度部分では、撮像素子内に蓄積される電荷が十分に蓄積されないため、低輝度部分を検出できないという問題があった。
本発明は、上記の課題を解決するためになされたものであって、経時的に輝度が変化する試料を正確に測定することができる顕微鏡撮像装置を提供することを目的とする。
上記目的を達成するために、本発明は、以下の手段を提供する。
請求項1に係る発明は、被検査物を保持するステージと、前記被検査物を照明する照明手段と、前記被検査物の像を撮影する撮像手段と、前記ステージと前記撮像手段とを相対的に移動させる移動手段と、を備え、前記撮像手段が、前記被検査物の輝度に対応した蓄積電荷を発生させるとともに、前記ステージと撮像手段との相対移動に対応して前記蓄積電荷を転送し、順次前記蓄積電荷を加算して累積するタイム・ディレイ・インテグレーション方式での撮像が可能な撮像素子を備え、前記被検査物の撮像の前に行われる前記被検査物のプレスキャンにより求められた前記被検査物の輝度に対応した蓄積電荷から、前記撮像の露出時間を決定する計算手段を有する顕微鏡撮像装置を提供する。
本発明によれば、被検査物の撮像(測定)前に行われるプレスキャンの結果に基づき、計算手段によって被検査物の測定に適した露出時間を求めることができる。すなわち、経時的に輝度が変化する試料を測定する場合でも、測定前のプレスキャンにより、適正な露出時間を求められる。そのため、試料を正確に測定することができる。
具体的には、例えば、測定開始時の露出時間が長い場合、露光時間を短くすることにより、蓄積電荷の飽和を防止することができる。また、測定開始時の露出時間が短い場合、露光時間を長くすることにより、蓄積電荷の不足を防止することができる。
また、上記発明においては、前記照明手段が、前記被検査物に光を集光させる対物レンズを有し、前記プレスキャンに用いる前記対物レンズの倍率が、前記被検査物の測定に用いる前記対物レンズの倍率よりも低いことが望ましい。
本発明によれば、プレスキャンにおいては、被検査物の測定時と比較して、広視野撮影ができる。そのため、プレスキャンに要する時間を短縮することができる。その結果、プレスキャンから本測定開始までの時間間隔を、短くすることができる。
さらに、上記発明においては、前記プレスキャンに際して前記対物レンズと前記撮像手段との間に挿入され、倍率を変更して広視野撮影を可能にする変倍レンズを備えることが望ましい。
本発明によれば、プレスキャンにおいては、被検査物の測定時と比較して、広視野撮影ができる。そのため、プレスキャンに要する時間を短縮することができる。その結果、プレスキャンから本測定開始までの時間間隔を短くすることができる。
上記発明においては、前記被検査物の測定における最長露出時間を入力する最長露出時間入力手段と、入力された前記最長露出時間および前記プレスキャンで決定された前記露出時間を比較して、より短い方を前記被検査物の測定の露出時間とする選択手段と、
を有することが望ましい。
本発明によれば、入力された最長露出時間とプレスキャンで決定された露出時間を比較して、より短い方を被検査物の測定の露出時間とすることができる。そのため、本測定において、露出時間が無制限に長くなることを防止することができる。
例えば、被検査物の輝度が低い場合には、プレスキャンで決定された露出時間が最長露出時間よりも長くなる。この場合、プレスキャンで決定された露出時間で撮像を行えば、最適な輝度情報で画像が得られる。しかしながら、最適でなくとも、ある程度の質の画像で十分な場合もある。そこで、上記のようにすれば、最長露出時間が被検査物の測定の露出時間となる。その結果、短い測定時間で、ある程度の質の画像を得ることができる。
ここで、最長露出時間入力手段に最長露出時間を入力するのは、例えばユーザーを挙げることができる。
上記発明においては、前記被検査物に複数の標本配置部が形成され、輝度が略等しい前記標本配置部が、隣接して配置されていることが望ましい。
本発明によれば、被検査物上の一部領域に輝度の略等しい標本配置部が配置されている。そのため、輝度の略等しい標本配置部の一部を用いて、プレスキャンすることができる。すなわち、全ての標本配置部をプレスキャンしないため、プレスキャンに要する時間を短縮することができる。その結果、プレスキャンから本測定開始までの時間間隔を短くすることができる。
なお、プレスキャンは標本配置部の輝度を測定して、測定時の露出時間を決定している。そのため、輝度の略等しいことが判っている標本配置部については、その一部の標本配置部から決定された露出時間を、残りの標本配置部に適用することができる。
また、請求項6に係る発明は、上記の顕微鏡撮像装置を備えた生体試料観察システムである。
本発明によれば、蛍光を発することが可能なように操作を行った生体試料の観察時、経時的に生体試料の輝度が変化しても、確実に時間を追って生体試料の変化を捉えることが可能である。また、輝度の低い生体試料から高い生体試料まで、正確に撮像できる。
本発明の顕微鏡撮像装置によれば、被検査物の測定前に行われるプレスキャンにより、被検査物の測定に最適な露出時間を求めることができる。そのため、経時的に輝度が変化する試料を正確に測定できるという効果を奏する。
本発明の生体試料観察システムによれば、経時的に生体試料の輝度が変化しても、確実に時間を追って生体試料の変化を捉えることができるという効果を奏する。また、輝度の低い生体試料から高い生体試料まで、正確に撮像できるという効果を奏する。
〔第1の実施の形態〕
以下、本発明に係る顕微鏡撮像装置の第1の実施形態について図1から図10を参照して説明する。
まず、TDI方式による撮像動作について図1を用いて説明する。
図1(a)、(b)、(c)は、TDI方式の撮像動作を説明する図である。図2(a)、(b)、(c)は、TDI方式の信号電荷の転送を説明する図である。図3(a)は、水平ラインLAに蓄積された信号電荷の強度を示す図であり、図3(b)は、水平ラインLBに蓄積された信号電荷の強度を示す図であり、図3(c)は、水平ラインLCに蓄積された信号電荷の強度を示す図である。
ここでは、説明の容易化のため、星型状の試料を用いている。しかしながら、試料の形状は、特にこの形状に限定されるものではない。
試料(被検査物)20と撮像素子63の撮像エリアSとの配置関係を、図1(a)に示す。このように、撮像は、試料20の上方と撮像エリアSの下方とが重なる位置関係から始まる。そのため、最初に、上向き凸部の先端領域のみが、撮像素子63上に投影される。このとき、上向き凸部の先端領域の像は、図2(a)に示すように、撮像素子63の水平ラインLAによって撮影される。そして、水平ラインLAには、図3(a)に示すように、試料20からの光量(輝度)に対応した強度の信号電荷が蓄積される。
次に、所定のタイミングで、ステージ30を移動させる。ここでは、図1(b)に示すように、Y軸の正方向に撮像素子63の1水平ライン分だけ移動させる。すると、試料20の上向き凸部全体が撮像される。
このとき、図2(b)に示すように、ステージ30の移動と同時に、水平ラインLAに蓄積された信号電荷は、水平ラインLBに転送される。そして、試料20の像が、撮像素子63の水平ラインLAと水平ラインLBとによって撮影される。
したがって、水平ラインLBには、図3(b)に示すように、前回時に蓄積された信号電荷と今回の撮影時に蓄積された信号電荷が加算されることになる。つまり、水平ラインLBには、前回及び今回の撮影で得られた信号電荷が累積される。その結果、1ラインで測定された時と比較して、2倍の強度の信号電荷になる。
このように、図2(a)に示す状態から、図2(b)に示す状態のように電荷転送が行われる。この電荷が転送される時間間隔のことを、TDIライン転送レートと呼ぶことにする。
さらに、所定のタイミングで、ステージ30を移動させる。すなわち、図1(c)に示すように、Y軸の正方向に撮像素子63の1水平ライン分だけ移動させる。これにより、試料20の撮像が続行される。
このとき、図2(c)に示すように、ステージ30の移動と同時に、水平ラインLBに蓄積された信号電荷が、水平ラインLCに転送される。また、水平ラインLAに蓄積された信号電荷が、水平ラインLBに転送される。そして、試料20の像が、水平ラインLA、水平ラインLB、水平ラインLCによって撮影される。
したがって、水平ラインLCには、図3(c)に示すように、今回の撮影時に得られた信号電荷が、加算されることになる。よって、水平ラインLCには、前々回、前回及び今回の撮影で得られた信号電荷が、蓄積される。つまり、1ラインで測定された時と比較して、3倍の強度の信号電荷になる。なお、水平ラインLBには、前回及び今回の撮影時に得られた信号電荷が蓄積される。
以上の動作を続けることで、水平走査ラインの本数と同じ回数の撮影が行われる。これにより、試料20の同一箇所に対応する信号電荷が、撮影回数だけ蓄積されることになる。このように、TDI方式では、撮像面に投影される試料20の像が、ステージ30の移動に伴ってシフトするが、それに同期して撮像素子63に蓄積される信号電荷をシフトさせている。
次に、TDI方式における撮影時の露出時間について説明する。
TDI方式における露出時間は、試料20から戻ってきた信号光が、信号電荷として蓄積される時間である。つまり、TDI方式における露出時間は、TDIライン転送レートと累積画素数の積として表すことができる。したがって、露出時間を変更するには、TDIライン転送レートを早くして露出時間を長くするか、ライン転送レートを遅くして露出時間を短くすればよい。
例えば、撮像素子63として、Y軸方向に1000画素あるCCDカメラを用いたとする。この場合、露出時間0.2(s)で撮影するには、下記に示す計算により、転送レートを5kHz(0.2ms)にすればよい。
0.2(s)/1000=0.2(ms)
次に、TDI方式におけるステージ走査速度について説明する。
ステージ30の移動は、信号電荷の転送と同期させて行われている。したがって、ステージ30移動速度は、ステージ30上における画素サイズを、TDIライン転送レートで割った値で表すことができる。ここで、ステージ30上における画素サイズは、撮像素子63(例えばCCD)の画素サイズと投影倍率から求めることができる。
例えば、投影倍率10倍、撮像素子63の画素サイズを6.45(μm)、TDIライン転送レートを5kHzとする。このときのステージ速度は、下記に示す計算式により、3.23(mm/s)になる。
6.45×10−3(mm)/10×5×10(Hz)=3.23(mm/s)
次に、本実施形態における顕微鏡撮像装置の構成について説明する。
図4は、本実施形態における顕微鏡撮像装置の全体構成を示す図である。
顕微鏡撮像装置10は、図4に示すように、ステージ30と、照明装置(照明手段)40と撮像装置(撮像手段)60と、から概略構成されている。ステージ30は、試料(被検査物)20を保持するとともに、移動可能になっている。照明装置40は、試料20に照明を照射する。撮像装置60は、照明の照射領域から発生する信号光を撮影・測定する。
照明装置40は、ケーラー照明が可能なコンポーネントを有している。具体的には、ランプ41、コレクタレンズ42、反射鏡43、視野絞り44及びレンズ45である。光源用のランプ41としては、ガス放電ランプなどが用いられる。ガス放電ランプとしては、ハロゲンランプやキセノンランプ、水銀ランプなどがある。コレクタレンズ42は、ランプ41から放出された光を集める。反射鏡43は、ランプ41から後方に放射された光を、ランプ41に帰還的に反射する。また、コレクタレンズ42の後方には、視野絞り44が配置されている。この視野絞り44は、後述する対物レンズ49の焦点面と共役位置に配置されている。また、この視野絞り44は、開口の直径が調整可能になっている。視野絞り44の後方には、レンズ45が配置されている。レンズ45は、視野絞り44を無限遠に結像する。
レンズ45後方のレンズ45の焦点面には、開口絞り46が配置されている。この開口絞り45は、開口の直径を変化させることが可能となっている。これにより、対物レンズ49の射出瞳位置における光束径の大きさを調整する。開口絞り46の後方には、ミラー47が配置されている。このミラー47としては、ランプ41からの光は反射し、試料20からの戻り光(蛍光)を透過する、ダイクロイックミラーが用いられている。なお、ダイクロイックミラーの代わりに、ハーフミラーを用いても良い。
ミラー47の後方には、対物レンズ49が配置されている。そして、対物レンズ49と対向する位置に、ステージ30が配置されている。
ステージ30には、ステージ駆動機構(移動手段)31が配置されている。ステージ駆動機構(移動手段)31は、後述するコンピュータの出力に基づき、ステージ30をXY方向に駆動制御する。ステージ駆動機構31としては、公知の技術、例えば、スライド移動機構を用いることができる。ただし、特に、スライド移動機構に限定するものではない。
撮像装置60には、結像レンズ61と検出器62とが配置されている。結像レンズ61には、試料20からの戻り光(蛍光)が入射する。結像レンズ61は、入射した光を所定の位置に集光(結像)する。検出器62は、所定の位置に配置されている。検出器62は、試料20からの戻り光を検知する。検出器62には、TDI方式による撮像が可能な撮像素子63が配置されている。撮像素子63は、前述のように、ステージ30の移動に対応して、各水平ラインに蓄積された信号電荷を素子内で蓄積する。
検出器62の出力は、検出器62から信号の出力を処理する画像処理ユニット64に接続されている。画像処理ユニット64には、処理された信号を表示するモニタ65が接続している。また画像処理ユニット64は、コンピュータ66に接続している。なお、コンピュータ66には、ステージ駆動機構31も接続されている。
また、コンピュータ(計算手段)66は、本測定での露出時間の計算を行っている。この計算は、後述するように、プレスキャンにおいて取得した情報に基づいて行われる。この情報は、各標本配置部における輝度である。
図5(a)は、試料20の形状を説明する図である。図5(b)は、試料20の標本配置部22を示す拡大図である。
試料20は、図5(a)に示すように、透明基板21を有する。この透明基板21は、例えばガラス板やプラスチック板などの材料で形成されている。そして、透明基板21には、標本配置部22がマトリクス状に形成されている。すなわち、複数の標本配置部22により、二次元パターン部23が形成されている。
標本配置部22は、平面視においては直径が略数mmの略円形状、断面視においては凹形状に形成されている。そして、標本配置部22内には、図5(b)に示すように、測定対象である細胞が配置されている。また、細胞は、標本配置部22内において培養される。
次に、TDI方式におけるステージの走査について説明する。
図6は、TDI方式における走査を説明する図である。なお、本実施形態においてはステージ30を動かして走査させている。しかしながら、図6においては、図示の容易化のため、撮像素子63を動かす形態で説明している。
TDI方式で試料20を測定する場合は、図6に示すように、二次元パターン部23全面を走査する。この走査は、標本配置部22の有無に関わらず行われる。
ここでは、Y軸方向にステージ30を走査させると、ステージ30は−Y軸方向に等速に動く。一方、撮像素子63は、一方向のみに電荷転送が可能である。そのため、図6に示すように、ステージ30が−Y軸方向に進んでいるときのみ測定を行う。なお、+Y軸方向にステージ30が進んでいるときは測定をしない。+Y軸方向への移動は、ステージが初期位置に戻るための移動になる。初期位置に戻るまでの時間は、例えば取得したデータを、コンピュータ66のハードディスクに記録する時間に当てることができる。
次に、測定の手順について図7を用いて説明する。
図7は、本実施形態における測定手順を示すフローチャートである。
まず、測定が開始されると、プレスキャンの準備が行われる(S1)。ここではステージ30は測定開始点(撮像素子63と試料20とが、図6に示すような配置関係となる位置)に移動する。
次に、プレスキャンが行われる(S2)。各標本配置部22からは、例えば、蛍光が放出されている。このプレスキャンは、この蛍光などの輝度分布情報を取得するために行う。プレスキャンにおける露出時間は、十分短い時間に設定されている。この時間は、例えば、撮像素子63に蓄積される信号電荷が飽和しないような時間である。また、ステージ30の移動速度は、上述したように、TDIのライン転送レートに合わせた速度に設定されている。
図8は、プレスキャン時の輝度と本測定の露出時間との関係を示す図である。
プレスキャンが終了すると、試料20の本測定準備が行われる(S3)。ここでは、ステージ30を再び測定開始点に移動させる。
また、プレスキャン(S2)において、各標本配置部22における輝度情報を、既に取得している。そこで、取得された輝度情報の中から、最大値、つまり最大強度値(カウント)を求める。この最大強度値は、撮像素子63から出力されたデジタル出力値である。
そして、求められた最大強度値から、本測定における各標本配置部22における露出時間を決定する。なお、露出時間の決定は、図8に示すような、プレスキャン時の輝度情報と本測定での露出時間の関係に基づいて行われる。また、図8に示す関係は、測定の前にあらかじめ作成されているものである。
露出時間が決定されると、試料20の本測定(撮像)が行われる(S4)。ここでは、本測定準備(S3)で求められた露出時間に基づいて、各標本配置部22の画像が取得される。前述したように、露出時間は、TDIのライン転送レートと電荷の累積画素数で表される。また、ステージ30は、TDIのライン転送レートに同期した速度で動かされる。
また、上述した撮像素子63の他に、電子シャッタを持つ撮像素子63aを用いてもよい。この撮像素子63aを用いると、露出時間の短時間化を図ることができるため好ましい。
電子シャッタは、CCDを使ったデジタルカメラやカメラ付き携帯電話に用いられているシャッタである。この電子シャッタは、光に晒されていてもCCDが動作をしていなければ、電荷を蓄積しないという現象を利用している。そのため、CCDの働き自体が一種のシャッタとなっている。
一方、塩銀カメラで用いられているメカニカルシャッタは、レンズとフィルムとの間に光を遮る板を置いて、その板の開閉(移動)によって露光を行っている。よって、電子シャッタは、メカニカルシャッタとは異なる。このように、電子シャッタでは、メカニカルシャッタを用いることなく、露出時間の制御を行っている。
図9は、TDI方式における電子シャッタのタイムチャートである。
例えば、図9に示すように、TDI方式における最速転送レートをt1秒とすると、t1秒ごとに電荷を隣の水平ラインに転送している。なお、転送のタイミングは図中の矢印で示してある。
また、電子シャッタは各電荷転送タイミングからt2秒間だけOpenになり、電荷の蓄積を行っている。つまり、CCDの電荷蓄積は、1電荷転送タイミングあたり、t2秒となる。一方、電子シャッタを用いない場合の露出時間はt1である。よって、電子シャッタを用いた時の露出時間は、電子シャッタを用いないときのt2/t1倍になる。
例えば、撮像素子63aが、Y軸方向の画素数が1000画素で、最速転送レート(t1)が10kHz(0.1ms)の撮像素子だとする。この撮像素子63aを用いて、露出時間1msで撮影するには、以下の計算により、電子シャッタOpen時間(t2)を0.001msにすればよいことになる。
1000×0.1(ms)×(t2/0.1)=1(ms)
t2=0.001(ms)
電子シャッタを使わないと、最短露出時間は、TDIの最速転送レートと積算画素数の積で決まる。これに対して、上記のように電子シャッタを使うことによって、測定可能な露出時間のレンジを広げることができる。したがって、高輝度の試料20も正確に測定することができる。
上記の構成によれば、試料20の測定前に行われるプレスキャンにより、試料20の測定に最適な露出時間を求めることができる。そのため、経時的に輝度が変化する試料20を測定する場合でも、測定前のプレスキャンにより最適な露出時間を求められる。その結果、試料を正確に測定することができる。
具体的には、例えば、最適な時間よりも長い露出時間が設定されために、蓄積電荷の飽和が生じてしまった、ということを防止することができる。また、最適な時間よりも短い露出時間が設定されために、電荷の蓄積が不足してしまった(ノイズレベル程度しか蓄積されない)、ということを防止することができる。
なお、本発明の撮像装置60では、図10に示すように、結像レンズ61と検出器62との間に調光部材70を配置してもよい。調光部材70としては、例えばNDフィルタや、電圧印加によって透過率が変わるエレクトロクロミック素子を用いることができる。
このような構成にすれば、調光部材70の透過率を、プレスキャンにより求められた露出時間に合わせて変化させることができる。よって、測定可能な露出時間のレンジを広げることができる。その結果、高輝度もしくは低輝度の試料20も正確に測定することができる。
〔第2の実施の形態〕
次に、本発明の第2の実施形態について図11を参照して説明する。
本実施の形態の顕微鏡撮像装置の基本構成は、第1の実施の形態と同様である。ただし、第1の実施の形態とは、プレスキャンの方法が異なっている。よって、本実施の形態においては、図11を用いてプレスキャンの方法のみを説明し、本測定の方法等の説明は省略する。
図11は、本実施形態における顕微鏡撮像装置の全体構成を示す図である。
顕微鏡撮像装置110は、図11に示すように、ステージ30と、照明装置(照明手段)140と撮像装置60と、から概略構成されている。ステージ30は、試料20を保持するとともに、移動可能になっている。照明装置140は、試料20に照明光を照射する。撮像装置60は、照明の照射領域から発生する信号光を撮影・測定する。
照明装置140には、光源用のランプ41と、コレクタレンズ42と、反射鏡43と、視野絞り44と、レンズ45と、開口絞り46と、ミラー47が配置されている。ここで、コレクタレンズ42は、ランプ41から放出された光を集める。反射鏡43は、後方に放射された光を、ランプ41に帰還的に反射する。視野絞り44は、開口の直径を調整可能となっている。レンズ45は、視野絞り44を無限遠に結像する。開口絞り46は、開口の直径を調整可能になっている。ミラー47は、光を選択的に透過する。なお、対物レンズ149は、試料20の像を形成するものである。ただし、ランプ41からの光を試料20に集光するので、照明装置の一部と見なすこともできる。
対物レンズ149としては、プレスキャン時に用いる低倍率対物レンズ(対物レンズ)149Aと、本測定時に用いる高倍率対物レンズ(対物レンズ)149Bとが用いられる。これら対物レンズ149A、149Bは、レボルバーなどの公知の交換機構により保持される。そして、必要に応じて、対物レンズを交換することができる。
上記の構成によれば、プレスキャン時において、広視野撮影が可能になるため、プレスキャン時間を短縮できる。
例えば、本測定で20倍の高倍率対物レンズ149Bを使用し、プレスキャンに4倍の低倍率対物レンズ149Aを用いる。このようにすると、ステージ30上の画素ピッチが5倍大きくなることから、ステージ速度を5倍速めることができる。さらに、視野が一辺5倍に広がることから、ライン走査回数を5分の1に減らすことができる。したがって、同じ倍率でプレスキャンと本測定を行う場合に比べて、試料20一面のプレスキャン時間を25分の1に短くすることができる。
また、試料によっては、試料からの光(輝度)が経時的に変化する場合がある。このような場合には、適切な露出時間も経時的に変化する。そのため、本実施の形態のように、プレスキャンに要する時間を短縮できれば、プレスキャンから本測定までの時間間隔を短くすることができる。その結果、適切な露出時間での測定が可能になる。
〔第3の実施の形態〕
次に、本発明の第3の実施形態について、図12を参照して説明する。
本実施の形態の顕微鏡撮像装置の基本構成は、第1の実施の形態と同様である。ただし、第1の実施の形態とは、撮像装置が異なっている。よって、本実施の形態においては、図12を用いて撮像装置周辺のみを説明し、照明装置等の説明を省略する。
図12は、本実施形態における顕微鏡撮像装置の全体構成を示す図である。
顕微鏡撮像装置210は、図12に示すように、ステージ30と、照明装置40と撮像装置(撮像手段)260と、から概略構成されている。ステージ30は、試料20を保持するとともに、移動可能になっている。照明装置40は、試料20に照明光を照射する。撮像装置260は、照明の照射領域から発生する信号光を撮影・測定する。
撮像装置260には、結像レンズ61と、検出器62と変倍レンズ261と、が配置されている。結像レンズ61には、試料20からの戻り光が入射する。検出器62は、試料20からの戻り光を検知する。変倍レンズ261は、広視野撮影を可能にする。
変倍レンズ261は、対物レンズ49と検出器62との間の光路に挿入されている。なお、光路中に挿脱可能にしてもよい。また、変倍レンズ261は、レボルバーなどの公知の交換機構により保持してもよい。このようにすれば、必要に応じて、異なる倍率の変倍レンズに交換することができる。
上記の構成によれば、プレスキャン時において、変倍レンズ261を対物レンズ49と検出器62との間の光路に挿入することで、広視野撮影が可能になる。そのため、プレスキャン時間を短縮できる。
また、経時的に輝度の変化する試料20であっても、プレスキャンから本測定までの時間間隔を短くすることができるので、適切な露出時間での測定が可能になる。
〔第4の実施の形態〕
次に、本発明の第4の実施形態について、図13および図14を参照して説明する。
本実施の形態の顕微鏡撮像装置の基本構成は、第1の実施の形態と同様である。ただし、第1の実施の形態とは、露出時間の制御方法が異なっている。よって、本実施の形態においては、図13および図14を用いて露出時間の制御方法のみを説明し、構成等の説明を省略する。
図13は、本実施形態における顕微鏡撮像装置の全体構成を示す図である。図14は、本実施形態における測定手順を示すフローチャートである。
顕微鏡撮像装置310は、図13に示すように、ステージ30と、照明装置40と撮像装置(撮像手段)360と、から概略構成されている。ステージ30は、試料20を保持するとともに、移動可能となっている。照明装置40は、試料20に照明光を照射する。撮像装置360は、照明の照射領域から発生する信号光を撮影・測定する。
撮像装置360には、結像レンズ61と検出器62とが配置されている。結像レンズ61には、試料20からの戻り光が入射する。検出器62は、試料20からの戻り光を検知する。
また、検出器62は、検出器62の出力を処理する画像処理ユニット64に接続している。画像処理ユニット64には、処理された信号を表示するモニタ65が接続されている。また、ステージ駆動機構31は、コンピュータ366に接続されている。
コンピュータ366は、最長露出時間入力部(最長露出時間入力手段)367と、計算部368と、選択部(選択手段)369とを有している。最長露出時間入力部367には、試料20の測定における最長露出時間Tmaxが入力される。この最長露出時間Tmaxは、ユーザーが設定する。計算部368は、プレスキャンにより得られた情報に基づいて、露出時間Tpreを計算する。選択部369は、露出時間Tpreおよび最長露出時間Tmaxの比較及び選択を行う。
次に、測定手順について説明する。
図14に示すように、まず、本測定における最長露出時間Tmaxをユーザーが入力する(S11)。その後、測定が開始される。
次に、プレスキャンの準備が行われる(S12)。ここでは、ステージ30が測定開始点(撮像素子63と試料20とが、図6に示すような配置関係となる位置)に移動される。
次に、プレスキャンが行われる(S13)。各標本配置部22からは、例えば、蛍光が放出されている。このプレスキャンは、この蛍光などの輝度分布情報を取得するために行う。プレスキャンにおける露出時間は、十分短い時間に設定されている。この時間は、例えば、撮像素子63に蓄積される信号電荷が飽和しないような時間である。また、ステージ30の移動速度は、上述したように、TDIのライン転送レートに合わせた速度に設定されている。
プレスキャンが終了すると、試料20の本測定準備が行われる(S14)。ここでは、ステージ30を再び測定開始点に移動させる。
また、プレスキャン(S13)において、各標本配置部22における輝度情報を、既に取得している。そこで、取得された輝度情報の中から、最大値、つまり最大強度値(カウント)を求める。この最大強度値は、撮像素子63から出力されたデジタル出力値である。
そして、求められた最大強度値から、各標本配置部22における露出時間Tpreを決定する。なお、露出時間Tpreの決定は、図8に示すような、プレスキャン時の輝度情報と本測定での露出時間の関係に基づいて行われる。また、図8に示す関係は、測定の前にあらかじめ作成されているものである。
ここで、最長露出時間Tmaxと露出時間Tpreとが比較される。比較の結果、露出時間Tpreが最長露出時間Tmaxよりも短ければ、露出時間Tpreを本測定の露出時間に用いる。露出時間Tpreが最長露出時間Tmaxよりも長ければ、最長露出時間Tmaxを本測定の露出時間に用いる。
露出時間が決定されると、試料20の本測定(撮像)が行われる(S15)。ここでは、本測定準備(S3)で求められた露出時間に基づいて、各標本配置部22の画像が取得される。前述したように、露出時間はTDIのライン転送レートと電荷の累積画素数で表される。また、ステージ30は、TDIのライン転送レートに同期した速度で動かされる。
上記によって露出時間を決定することにより、輝度の低い試料20を本測定する際に、露出時間が長くなりすぎることを防止できる。また、経時的に輝度の変化する試料20を、適切な露出時間で測定することができる。
〔第5の実施の形態〕
次に、本発明の第5の実施形態について、図15を参照して説明する。
本実施の形態の顕微鏡撮像装置の基本構成は、第1の実施の形態と同様である。ただし、第1の実施の形態とは、試料が異なっている。よって、本実施の形態においては、図15を用いて試料周辺のみを説明し、照明装置等の説明を省略する。
図15(a)、(b)は、本実施形態における試料の構成を説明する図である。
試料20は、図15(a)に示すように、X軸方向に配列された標本配置部22(図15(a)中の楕円に囲まれた標本配置部22)における輝度が略同一となるように配置されている。
上記の構成によれば、プレスキャンを、図15(a)中のY軸方向に1列行うことで、適切な露出時間を求めることができる。そのため、プレスキャンに要する時間を短縮することができる。
なお、試料20の配置は、図15(a)に示すような配置であってもよい。また、図15(b)に示すように、輝度が略同一となる標本配置部22が、X軸方向に3から2列、Y軸方向に2列からなる各領域(図15(b)における楕円に囲まれた領域)に集まって配置されていてもよい。
このような配置を採用することにより、図15(b)に示すように、プレスキャンを2列行うことで、適切な露出時間を求めることができる。そのため、プレスキャンに要する時間を短縮することができる。
なお、輝度が略同一となる標本配置部22の配置は、特に限定されるものでなく、プレスキャンの回数を減らすことができれば、どのような配置であってもよい。
〔第の実施の形態〕
次に、本発明の第の実施の形態について図16から図29を参照して説明する。第4の実施の形態は、上述の第1の実施の形態から第3の実施の形態に係る顕微鏡撮像装置のいずれかを適用した生体試料観察システムである。
図16は、本実施の形態に係る生体試料観察システムの概略を示す斜視図である。図17は、同じく生体試料観察システムのシステム構成を示す概略図である。
生体試料観察システム410は、図16および図17に示すように、検出ユニット420と培養ユニット470とから概略構成されている。これら検出ユニット420および培養ユニット470は、接近して配置されることが望ましく、より好ましくは両ユニット420、470が接して配置されることが望ましい。
検出ユニット420は、図16および図17に示すように、生体試料を内部に収納する保温箱421と、試料(生体試料)としての細胞CEを測定する検出部(顕微鏡撮像装置)440とから概略構成されている。
保温箱421には、保温箱421内を所定の温度に保温するヒータ421Hと、後述するインキュベータボックス500を保持するステージ422と、細胞CEに光を照射する透過光源(照明手段)423と、保温箱421内の温度を均一にするファン424と、保温箱421内を殺菌するUVランプ425と、後述する培養液循環配管477や培養ガス供給配管497などを保護するキャリア426と、インキュベータボックス500などを保温箱421から出し入れする際に用いる開閉扉427と、検出ユニット420の主電源をON・OFFする主電源スイッチ428が備えられている。
ステージ422は、互いに直交方向に相対移動するX軸動作ステージ(ステージ)422Xと、Y軸動作ステージ(ステージ)422Yと、を有し、ステージ走査部(移動手段)429により走査制御されている。
ステージ走査部429は、X軸動作ステージ422XのX軸座標値を検出するX軸座標検出部430と、X軸動作ステージ422Xの動作(走査)を制御するX軸走査制御部431と、Y軸動作ステージ422YのY軸座標値を検出するY軸座標検出部432と、Y軸動作ステージ422Yの動作(走査)を制御するY軸走査制御部433と、から構成されている。
X軸座標検出部430およびY軸座標検出部432は、それぞれ検出したX軸動作ステージ422XのX座標と、Y軸動作ステージ422YのY座標と、をコンピュータPCに出力するように配置されている。X軸走査制御部431およびY軸走査制御部433は、それぞれコンピュータPCからの指示に基づきX軸動作ステージ422Xの走査と、Y軸動作ステージ422Yの走査とを制御するように配置されている。
なお、X軸動作ステージ422XおよびY軸動作ステージ422Yを駆動する機構としては、例えばモータおよびボールネジの組み合わせを挙げることができる。
コンピュータPCは、上述のように、X軸動作ステージ422X、Y軸動作ステージ422Yの走査と、を制御するとともに、後述するように、細胞CEの検出系の制御、撮像した細胞CEの画像の解析なども行い、X軸動作ステージ422X、Y軸動作ステージ422Yと検出系と解析系とを連動して制御している。
透過光源423とインキュベータボックス500との間に、透過光源423から射出された光を細胞CEに集光するコンデンサレンズ434が配置されている。
なお、コンデンサレンズ434とインキュベータボックス500との間には、シャッタ435を設けなくても良いし、シャッタ435を設けても良い。
ファン424は保温箱421の壁面に配置されている。このファン424を動作させることにより、保温箱421内の空気を対流させ、保温箱421内の温度を均一かつ一定に保ちやすくすることができる。
UVランプ425は、検出ユニット420の壁面に配置されたUVランプスイッチ436と接続され、UVランプ425とUVランプスイッチ436との間には、UVランプ425の動作を時間的に制御するタイマ437が配置されている。さらに、UVランプ425の点灯を表示する滅菌中表示ランプ(図示せず)が配置されている。
例えば、細胞CEの非測定時にUVランプスイッチ436が押されると、タイマ437のカウントが開始されるとともに、UVランプ425に電力が供給され、UV光(紫外線光)が保温箱421内に照射される。これと同時に滅菌中表示ランプも点灯する。そして、所定の時間(例えば30分)が経過して、タイマ437のカウントが終了すると、タイマ437はUVランプ425への電力供給を停止し、UV光の照射が終了される。また、滅菌中表示ランプも消灯される。
なお、UVランプ425は、主電源スイッチ428とは別個に制御されており、主電源がOFFされていても動作することができる。
なお、UVランプ425の点灯時間は、上述した30分でも良いし、保温箱421内の雑菌類などを死滅させることができる時間であれば、30分未満でも良いし、30分よりも長くても良い。
開閉扉427はアルマイト処理を施されたアルミなどの金属、または遮光性の高い半透明の樹脂により構成されている。
開閉扉427の構造としては、中空の二重構造としたものや、さらには、内側が上記金属とされ外側が樹脂とされるものが考えられる。開閉扉427の外側に樹脂を用いることにより、開閉扉427から保温箱421内の熱が外部に逃げることを防止することができる。また、開閉扉427の内側をアルマイト処理された金属とすることにより、UVランプ425により開閉扉427の寿命が損なわれることを防止することができる。
なお、開閉扉427が金属または金属と樹脂との二重構造とされたときには、完全に遮光されるため、インキュベータボックス500を覗く位置に覗き窓を設けることが望ましい。覗き窓には透明樹脂またはガラスがはめ込まれ、外側には、開閉可能なカバーが配置されていることが望ましい。
検出部440には、図16および図17に示すように、検出部440内を所定の温度に保温するヒータ440Hと、検出部440側から細胞CEを照射する落射光源441A、441Bと、落射光源441A、441Bからの光路を切り替える光路切替部442と、照射光の光量を調節する光量調整機構443と、照射光を細胞CEに向けて集光するレンズ系444と、照射光の波長および検出光の波長を制御するフィルタユニット445と、細胞CEに対して合焦動作を行うオートフォーカス(AF)ユニット446と、複数の倍率や性質の異なる対物レンズ448を備えたレボルバ447と、細胞CEからの検出光を検出する検出器(撮像手段)449と、検出光の光量を測定する光量モニタ450と、検出部440内の温度を均一にするファン451と、検出部440内を冷却する冷却ファン452と、が備えられている。
落射光源(照明手段)441A、441Bは、例えば水銀ランプなどからなり、検出部440の外部に配置されており、それぞれ電力を供給する電源453に接続されている。
また、通常は1つの落射光源、例えば落射光源441Aを用いるが、落射光源441Aの光量が所定の規定値以下に減少した場合には、落射光源441Bから照明光が照射され、落射光源441Aの電源はOFFされる。
光路切替部442は、落射光源441Aまたは落射光源441Bどちらか一方の照明光を光量調整機構443に導くように形成されている。また、光路切替部442には、後述のコンピュータPCに接続され、コンピュータPCの指示に基づき光路切替部442を制御する光路制御部454が配置されている。
光路切替部442の照明光射出側にはシャッタ442Sが配置され、照明光の透過・遮断制御を行っている。
シャッタ442Sの照明光射出側には光量調整機構443が配置され、シャッタ442Sを透過した照明光の光量を調整している。その機構としては、例えば公知の絞り機構などを用いても良いし、その他の光量を調節できる公知の機構、技術を用いても良い。
また、光量調整機構443には、後述のコンピュータPCに接続され、コンピュータPCの指示に基づき光量調整機構443を制御する光量制御部455が配置されている。
光量調整機構443の照明光射出側にはレンズ系444が配置されている。レンズ系444は、一対のレンズ444A、444Bと、レンズ444Aおよびレンズ444Bの間に配置された絞り444Cと、から構成されている。
フィルタユニット445は、励起フィルタ456と、ダイクロイックミラー457と、吸収フィルタ458とから構成されている。励起フィルタ456は、照明光の中から細胞CEの蛍光発光に寄与する波長(励起光)を透過するフィルタであり、レンズ系444から射出された照明光が励起フィルタ456に入射するように配置されている。ダイクロイックミラー457は、励起光と蛍光とを分離する光学素子であり、励起フィルタ456を透過した励起光を、細胞CEに向けて反射するとともに、細胞CEからの蛍光を透過するように配置されている。吸収フィルタ458は、細胞CEからの蛍光とその他の不要な散乱光とを分離する光学素子であり、ダイクロイックミラー457を透過した光が入射するように配置されている。
フィルタユニット445には、後述するコンピュータPCの指示に基づき、フィルタユニット445から射出される励起光や検出光(蛍光)の波長を制御するフィルタ制御部446Cが配置されている。
なお、励起フィルタ456、ダイクロイックミラー457、吸収フィルタ458は1枚ずつ用いられてもよいし、複数枚用いられてもよい。
AFユニット446はフィルタユニット445の励起光射出側に配置されていて、後述するコンピュータPCの指示に基づき、励起光を、対物レンズ448を介して細胞CEに集光させるように配置されている。
レボルバ447は、AFユニット446の励起光射出光側に配置されていて、倍率の異なる複数の対物レンズ448が配置されている。レボルバ447には、後述するコンピュータPCの指示に基づき、励起光が入射される対物レンズ448を選択・制御する対物レンズ制御部459が配置されている。
なお、対物レンズ448は、検出部440からX軸動作ステージ422X、Y軸動作ステージ422Yにそれぞれ設けられた孔を通して保温箱421内のインキュベータボックス内部が観察可能な構造になっている。
X軸動作ステージ422X、Y軸動作ステージ422Yには、ステージが動作する範囲を見込んで孔の大きさは多少余裕を見込んである。
そのため、保温箱421内において雰囲気を細胞の培養に適した湿度に保っていても、前記孔を通じて雰囲気が検出部440に対して抜けてしまい、細胞の培養に適した温度を維持できなくなり、細胞の活性低下を引き起こす可能性がある。
そこで、このような細胞培養に適した温度の雰囲気が保温箱421と検出部440との間で導通することを抑制する抑制手段499を設けてもよい。
その抑制手段499は、レボルバ447や対物レンズ448の動きを妨害しないように空気の流れを抑制できればよく、例えばフィルムや透明シートなど柔軟な材料からなるシートを保温箱421と検出部440との境目に設けられた孔の周囲に貼り付け、レボルバの周囲に垂らした状態で取り付ける幕状のものが考えられる。
フィルタユニット445の検出光射出側には、検出光を検出器449および光量モニタ450に集光する集光レンズ460が配置されている。
集光レンズ460の検出光射出側には、検出光の一部を検出器449に向けて反射し、残りの検出光を光量モニタ450に向けて透過するハーフミラー461が配置されている。
検出器449は、ハーフミラー461から反射された検出光が入射される位置に配置されている。また、検出器449には、検出器449からの検出信号を演算して後述するコンピュータPCに出力する検出器演算部462が接続されている。
なお、検出器449はラインセンサを用いても良いし、エリアセンサを用いても良いし、ラインセンサとエリアセンサとを共用してもよく、特に限定するものではない。
光量モニタ450は、ハーフミラー461を透過した検出光を測定し、測定した値をコンピュータPCに出力するように配置されている。
なお、上述のように、光量モニタ450を用いて検出光の光量を測定しても良いし、照度計やパワーメータなどを用いて検出光の光量を測定しても良い。
ヒータ440Hは、検出部440内を例えば30℃から37℃となるように保温制御している。ファン451は、検出部440内の空気を対流させ、検出部440内の温度を均一化するように配置されている。そのため、検出部440内の温度が保温箱421と近い温度に維持され、保温箱421の温度をより安定化させやすくなる。
冷却ファン452は、検出部440内に配置された温度センサ(図示せず)の出力に基づき、検出部440内の温度を下げるように駆動される。そのため、例えばモータなどの発熱による異常な検出部440内の温度上昇を防止することができる。
図18は、本実施の形態に係るインキュベータボックスを示す斜視図であり、図19は、本実施の形態に係るチャンバの断面図である。
インキュベータボックス500は、図18および図19に示すように、チャンバ(被検査物)510と格納する筐体501と、筐体501とともに密閉空間を形成するカバー502とから概略構成されている。筐体501およびカバー502には、外界からの磁場を遮断する防磁処理や、インキュベータボックス500に発生した静電気を除去する静電除去処理が施されている。
筐体501は、底板503と側壁504とから形成されていて、底板503の測定エリアに対応する領域は、ガラスのような透光性を有する材料で形成されている。底板503の他の領域および側壁504は、例えば、アルマイト処理されたアルミニウムやSUS316のようなステンレススチールなど防食性の高い遮光性の材料で制作するのが好ましく、より好ましくは、保温性の観点から熱伝導率の低い材料を選択するとよい。
また、底板503には、チャンバ510を保持するためのアダプタ505と、チャンバ510の温度を測定する温度センサ506と、が配置されている。なお、上述のようにアダプタ505を用いてチャンバ510を保持しても良いし、アダプタ505を用いないでチャンバ510を保持しても良い。
温度センサ506の出力は、インキュベータ温度検知部506Sを介してコンピュータPCに入力されるとともに、検出ユニット420の壁面に配置された温度表示部507にも入力されている。コンピュータPCは、図17に示すインキュベータ温度制御部506Cを介してヒータ421Hなどを制御して、インキュベータボックス500内の温度が一定に保たれるように制御するようになっている。
カバー502は、照明光を透過するガラス板517と、ガラス板517を支持する支持部517Aと、から構成されている。ガラス板517には、測定エリアに対応する領域に反射防止膜が両面に形成されていても良い。反射防止膜を両面に形成することにより、透過観察・落射観察におけるガラス板517による反射を防止するようになっている。
なお、ガラス板517の面積は、インキュベータボックス500の底板503と略同じ面積であっても良いし、測定を問題なく行うために必要最小限の面積であっても良い。
チャンバ510は、図19に示すように、対物レンズ448により観察するための下部ガラス部材511と、透過光源423からの光を透過するための上部ガラス部材512と、下部ガラス部材511および上部ガラス部材512を支持する枠部材513とから概略形成されている。
枠部材513の対向する辺には、培養液を循環させる流路が形成された継ぎ手514が形成されている。継ぎ手514には、後述する培養液循環配管477が接続され、培養ユニット470との間で培養液が循環されるようになっている。
また、枠部材513には、培養液の流れを均一化する整流子515が一対、培養液の流れに対して略垂直に配置されている。整流子515は、例えば小孔がマトリクス状に形成された板部材からなり、培養液が分散して複数形成された小孔を流れることにより、その流れを均一化している。そして、両整流子515の間には、細胞CEが播種されたスライドガラス516が配置されている。
なお、上述のように、インキュベータボックス500は内部にチャンバ510が配置されるものでも良いし、図20(a)に示すように、内部にマイクロプレート(被検査物)520(またはウェルプレート)が配置されるものでもよい。
この構成の場合には、図20(a)に示すように、インキュベータボックス500aの筐体501には、マイクロプレート520を口の字状に囲む水槽521と、水槽521の内側に配置された内部ファン522と、培養ガスを供給するコネクタ523と、培養ガス中の二酸化炭素ガス濃度を検出する培養ガス濃度センサ524とが配置されている。
温度センサ506は、マイクロプレート520の温度を測定するように配置されている。温度センサ506からコンピュータPCに入力されたマイクロプレート温度は、メモリにテキストデータとして蓄積されるとともに、コンピュータPCにおいてデータ処理が可能とされる。
培養ガス濃度センサ524は、コンピュータPCおよび培養ガス濃度表示部524Dに二酸化炭素ガス濃度を出力している。
水槽521の側壁521Wは筐体501の側壁の高さよりも低く形成されている。また、コネクタ523とは、供給された培養ガスが側壁521Wに当たるように、配置関係が調節されている。水槽521には殺菌された滅菌水が貯えられ、インキュベータボックス500a内の湿度を略100%に調節している。
内部ファン522は、その送風方向にマイクロプレート520が配置されないよう、水槽521の側壁521Wに沿って送風するように配置されている。
なお、培養ガス濃度センサ524は、水槽521の側壁521W内面に配置されていても良いし、インキュベータボックス500aから配管を外部へ配置し、吸引ポンプによりインキュベータボックス500a内の培養ガスを吸引して培養ガス濃度センサ524でその濃度を検出しても良い。
このようなインキュベータボックス500aを用いる場合には、後述する培養ガス混合槽491の培養ガス供給先を、培養液瓶472からインキュベータボックス500aに変更するとともに、培養ユニット470から培養液を供給する必要がなくなるため、培養液ポンプ480などのポンプ類の動作を停止させている。
このような構成をとることにより、インキュベータボックス500aによって、温度環境と比較して、その変化や不均一が細胞CEへのダメージの少ない湿度環境および培養ガス濃度を維持するため、細胞CEへのダメージを低減することができる。
また、検出部440と直接接触しないインキュベータボックス500aにおいて湿度および培養ガス濃度を維持しているため、観察の際におけるコンタミネーションを防止することができる。
さらに、保温箱421内は細胞CEの培養に適した湿度および培養ガス濃度に維持する必要がないため、保温箱421内に配置される対物レンズ448などが、湿度により機能を損なうことを防止することができる。また、対物レンズ448などの寿命が短縮することも防止することができる。
なお、上述のように、チャンバ510は密閉されているものでも良いし、密閉されていない開放型チャンバでも良い。開放型チャンバは、上部ガラス部材512を備えない以外はチャンバ510と同一構成として形成されている。
また、開放型チャンバを用いる場合には、上述したインキュベータボックス500を用いて、インキュベータボックス500a内を培養ガスで満たし、開放型チャンバには、培養液を供給している。
なお、インキュベータボックス500aに対して、図20(b)に示すように、上述したチャンバ510を用いてもよい。この場合には、培養ガスを供給するコネクタ523を塞ぐとともに、培養ガス濃度センサ524を使用しない。また、チャンバ510の大きさがマイクロプレート520と異なる場合には、アダプタ505を用いてインキュベータボックス500aにチャンバ510を配置してもよい。また、水槽521に滅菌水を入れなくてもよく、水槽521自体をインキュベータボックス500aから取り外しても良い。また、温度センサ506は、チャンバ510の温度を測定している。
なお、コネクタ523は上述のように塞いでもよいし、培養ガス供給配管497を接続したまま、インキュベータボックス500aへの培養ガスの供給を止めるだけでも良い。
培養ユニット470は、図16および図17に示すように、培養液を内部に収納する滅菌箱471と、培養ガスを生成する混合部490とから概略構成されている。
滅菌箱471には、滅菌箱471内を所定の温度に保温するヒータ471Hと、培養液を内部に蓄える培養液瓶472と、予備の培養液を内部に蓄える予備タンク473と、使用済みの培養液を入れる廃液タンク474と、滅菌箱471内を殺菌するUVランプ425と、培養液瓶472などを滅菌箱471から出し入れする際に用いる開閉扉475と、培養ユニット470の主電源をON・OFFする主電源スイッチ476が備えられている。
培養液瓶472には、インキュベータボックス500との間で培養液を循環させる培養液循環配管477と、予備タンク473から予備の培養液を供給する補給配管478と、培養液瓶472から使用済みの培養液を廃液タンク474に排出する廃液配管479とが配置されている。
また、培養液循環配管477には、培養液を培養液瓶472からインキュベータボックス500に送り出し、培養液を循環させる培養液ポンプ480が配置されている。培養液ポンプ480によりチャンバ510内の培養液を新しいものに交換することができるので、培養液を交換できないものと比較して、細胞CEの培養できる期間をより長くすることができる。
補給配管478には、予備タンク473から培養液を培養液瓶472に送る補給ポンプ481が配置され、廃液配管479には、培養液瓶472から使用済みの培養液を廃液タンク474に送る廃液ポンプ482が配置されている。
なお、上述のように、使用済みの培養液を貯める廃液タンク474を用いても良いし、廃液タンク474を用いないで、直接使用済みの培養液を外部に排出する排出ポートを設けても良い。
培養液瓶472には、内部の培養液温度を検出する培養液温度センサ(図示せず)が配置され、培養液温度センサの出力は培養液温度検出部483を介してコンピュータPCに入力されるように配置されている。また、コンピュータPCに入力された培養液温度のデータは、テキストデータなどとしてメモリに蓄積され、細胞CEの検出結果との比較・検証などに用いることができる。
ヒータ471Hには、コンピュータPCからの指示に基づき、滅菌箱471内の温度を介して培養液の温度を制御する培養液温度制御部484が配置されている。培養液温度制御部484により、培養液瓶472から供給される培養液の温度は、ほぼ37℃に保たれ、培養液の温度変化による細胞CEの活性低下が防がれている。また、培養ユニット470の壁面には、前述の培養液温度センサにより検出された培養液温度を表示する温度表示部485が配置されている。
培養液ポンプ480には、コンピュータPCの指示に基づき、培養液の循環を制御する培養液ポンプ制御部486が配置されている。また、補給ポンプ481および廃液ポンプ482もコンピュータPCの指示に基づき、その動作が制御されるように配置されている。
UVランプ425は、培養ユニット470の壁面に配置されたUVランプスイッチ436と接続され、UVランプ425とUVランプスイッチ436との間には、UVランプ425の動作を時間的に制御するタイマ437が配置されている。さらに、UVランプ425の点灯を表示する滅菌中表示ランプ(図示せず)が配置されている。
なお、UVランプ425は、主電源スイッチ476とは別個に制御されており、主電源がOFFされていても動作することができるようになっている。
混合部490には、図16および図17に示すように、混合部490内を所定の温度に保温するヒータ(図示せず)と、インキュベータボックス500に供給する培養ガス中の二酸化炭素ガス濃度を調節する培養ガス混合槽491と、培養ガス混合槽491に培養ユニット470の外部に配置されたCO2タンク492から二酸化炭素ガスを供給するCO2ポンプ493とが配置されている。
培養ガス混合槽491には、内部の二酸化炭素ガス濃度を検出するCO2濃度検出部494が配置され、CO2濃度検出部494の出力がコンピュータPCに入力されるように配置されている。CO2ポンプ493には、コンピュータPCの指示に基づいて、培養ガス混合槽491に供給する二酸化炭素ガス量を制御するCO2濃度制御部495が配置されている。また、培養ユニット470の壁面には、CO2濃度検出部494により検出された培養ガス混合槽491内の二酸化炭素ガス濃度を表示するCO2濃度表示部496が配置されている。
さらには、培養ガス混合槽491と培養液瓶472との間に培養ガス供給配管497が配置されている。そのため、培養ガス供給配管497を介して培養液に培養ガスが供給され、培養液中に培養ガスを十分に溶け込ませることができる。このように、培養液瓶472内で二酸化炭素ガスの濃度が5%の培養ガスが溶解された培養液を生成することにより、培養気体および細胞CEの育成に必要な栄養素が含まれた培養液が、後述するチャンバ510に供給される。また、培養ガスを培養液に溶解させることにより、培養液のpHなどを調整することができる。
CO2濃度検出部494からコンピュータPCに入力された二酸化炭素ガス濃度は、メモリにデータとして蓄積されるとともに、コンピュータPCにおいてデータ処理が可能とされている。
次に、上記の構成からなる生体試料観察システム410における観察方法について説明する。
まず、本実施の形態における走査方法および検出範囲の選択について図21(a)、(b)、(c)、(d)を参照して説明する。
図21(a)、(b)、(c)、(d)は、本実施の形態における走査方法および検出範囲の選択例を示す図である。
図21(a)に示す例では、表示された画像上において測定対象範囲Mの左上の点aと右下の点bとを指定することにより、測定対象範囲M(図中の破線で囲まれた範囲)を設定している。具体的には、点a−点b間をマウスのような機器を用いてドラッグして測定対象範囲Mを設定しても良いし、点aおよび点bの座標値を入力して指示しても良い。
検出器449による測定部分は、図中の矢印で示すように、設定された測定対象範囲M内を左右方向に走査される。つまり、図中の左から右へ走査される際には、X軸方向と平行に走査され、右から左へ走査される際には、左斜め下方向に走査される。このうち、左から右へ走査される時に細胞CEの撮像が行われる。
図21(b)は、上述した方法で設定される測定対象範囲Mが2つの例である。まず、上述した方法で2つの測定対象範囲MA、MBが設定される。測定対象範囲MAと測定対象範囲MBとは、図中のX軸方向に所定間隔を空けて並ぶとともに、Y軸方向において、その全てが重複するように設定されている。
この例における検出器449による測定部分は、図中の矢印で示すように、測定対象範囲MA、MBを並列に測定するように走査される。つまり、図中の左から右へ走査される際に、測定対象範囲MAから測定対象範囲MBへ走査され、右から左へ走査される際には、測定対象範囲MBから測定対象範囲MAへ走査される。
図21(c)は、上述した方法で設定される測定対象範囲が2つの例であって、2つの測定対象範囲MA、MBの配置が異なっている例である。ここでは、測定対象範囲MAと測定対象範囲MBとは、図中のX軸方向に所定間隔を空けて並ぶとともに、図中のY軸方向において、その一部分が重複するように設定されている。
この例における検出器449による測定部分は、図中の矢印で示すように、測定対象範囲MA、MBのY軸方向に重複する部分のみが連続して走査されている。つまり、まず、測定対象範囲MAの重複していない部分の走査が行われる。次に、測定対象範囲MA、MBの重複している部分の走査が連続して行われる。そして、測定対象範囲MBの重複していない部分の走査が行われる。
図21(d)は、上述した方法で設定される測定対象範囲Mが2つの例であって、2つの測定対象範囲MA、MBの配置が図21(b)と同様であるが、走査方法が異なる例である。
この例における検出器449による測定部分は、図中の矢印で示すように、測定対象範囲MA、MBが別個に走査されている。つまり、まず測定対象範囲MAの全範囲の走査が行われた後に、測定対象範囲MBの全範囲の走査が行われる。
また、上述した図21(a)、(b)、(c)、(d)に示す走査方法のうち、トータルの移動距離または走査時間が最短になる走査方法が、後述する設定されたパラメータおよび測定モードに基づいて、コンピュータPCにより自動的に選択される。
なお、細胞を培養する範囲を撮像するとき、このように測定対象範囲Mを設定するなど複数の領域(検出範囲)に分けて撮像できる構成であれば、必要に応じて必要な部分だけの撮像を行うことが可能となる。
例えば、コンピュータPCの設定を変更して、走査対象となる全範囲の走査と、所定の一部の領域の走査とが交互に行われるようにしておけば、短い期間しか起こらない生体試料特有の現象を捉えることができる。一例として、走査対象となる全範囲の走査を30分ごとに行う場合、その合間に注目すべき細胞が存在する所定の測定対象範囲Mの走査が行われるようにしておけば、15分程度しか発現しない特有の現象が注目すべき細胞に起こったことを捉えることも可能となる。
また、必要なときに必要な測定対象範囲Mだけを走査するため、走査時間が短縮できるとともに、他の細胞に対する光の照射時間を短くすることができる。
次に、細胞CEの測定にかかる手順にについて、各フローチャートを用いながら説明する。
まず、細胞CEの測定の前に、測定パラメータの設定が行われる。そこで、測定パラメータの設定の流れを、図22を参照しながら説明する。
図22は、測定パラメータの設定の流れを説明するフローチャートである。
まず、測定パラメータの設定が行われる(STEP21)。
その後、デフォルトの条件設定が行われる(STEP22)。ここで設定される条件は、例えばCO2濃度5%、温度37℃などの培養条件および測定条件であり、これらの設定条件はユーザーによって所定の条件に変更することができる。
次に、測定対象の選択を行う(STEP23)。測定対象とは、例えばマイクロプレート520や、スライドガラス516など、細胞CEの容器である。
次に、測定モードの選択を行う(STEP24)。測定モードには、エリア撮像モードや、ライン撮像モードや、自動モード等がある。自動モードとは他の測定モードの中から測定時間の短い測定モードを自動的に選択するモードである。
次に、測定倍率を選択し(STEP25)、その後、検出波長を選択する(STEP26)。測定倍率の選択、および検出波長の選択は、それぞれ2種類以上の選択肢の中から選択することも可能である。
ここで、検出波長の選択方法としては、使用する蛍光タンパク、例えば、GFP、HC‐Red等のリストをコンピュータPCに予め記憶させておき、記憶させたリストの中から選択する。コンピュータPCは、選択された蛍光タンパクに基づいて自動的に観測に最適な励起フィルタ456や吸収フィルタ458などを選択する。このようにして、細胞CEから所定の蛍光を検出することができる。
なお、測定中の励起フィルタ456や吸収フィルタ458、対物レンズ448等の変更は、X軸動作ステージ422X、Y軸動作ステージ422Yの駆動に同期して自動的に行なわれる。
次に、測定間隔が設定される(STEP27)。
そして、プレビュー画面が取り込まれ(STEP28)、プレビュー画像がモニタに表示される(STEP29)。ここでは、ユーザーがプレビュー画像のモニタへの表示を指示するプレビューボタンなどを用いて指示を出すことにより、プレビュー画像がモニタに表示される。そして、ユーザーがモニタに表示されたプレビュー画像を確認することができる。
次に、測定範囲の選択が行われる(STEP30)。測定範囲の選択後、再度プレビュー画像をモニタに表示させて、測定範囲が所定の範囲であるか確認してもよい。
次に、設定された複数の測定間隔から所定の測定間隔を選択する(STEP31)。
そして、測定開始スイッチ(図示せず)が押されたら(STEP32)、細胞CEの測定が開始される(STEP33)。測定開始スイッチが押されない場合には、測定開始スイッチが押されるまで待機している(STEP32)。
なお、STEP32において、測定開始スイッチが押されない場合には、各種設定を再設定できるように、種々所定のSTEPに戻ることが可能な設定にしてもよい。
測定パラメータの設定が完了したら、次に、細胞CEの測定が行われる。そこで、細胞CEの測定の流れを、図23を参照しながら説明する。
図23は、測定の流れを説明するフローチャートである。
まず、測定が開始されると、測定対象範囲が読み込まれる(STEP41)。その後、倍率が読み込まれ(STEP42)、検出波長が読み込まれる(STEP43)。
次に、測定モードが読み込まれる(STEP44)。ここでは、読み込まれた測定対象範囲、倍率、検出波長(蛍光波長)などに基づき、最適なステージ走査方法が決定される。測定モードが自動モードに設定されている場合には、撮像モードもここで決定される。
次に、決定されたステージ走査方法に応じたX軸動作ステージ422X、Y軸動作ステージ422Y等の動作方法が解析され(STEP45)、解析された動作方法のデータ(動作データ)は、コンピュータPCのテーブルに保存される(STEP46)。
その後、エリアセンサモードが選択されているか否かにより、異なる測定方法で測定が行われる(STEP47)。
まず、エリアセンサモードが選択されている場合について説明する。
測定開始スイッチが押されると、X軸動作ステージ422XおよびY軸動作ステージ422Yを測定開始位置へ移動させる(STEP50)。ここでは、コンピュータPCが入力された測定開始位置を読み込み、X軸動作ステージ422XおよびY軸動作ステージ422Yを測定開始位置に移動させるとともに、細胞CEが対物レンズ448の撮影視野内に位置するように移動される。
そして、シャッタ435がOPENにされて(STEP51)、対物レンズ448が選択される(STEP52)。ここでは、コンピュータPCが設定された測定倍率に基づいて、レボルバ447を駆動して所定の倍率の対物レンズ448を選択する。
次に、フィルタユニット445が選択される(STEP53)。ここでは、コンピュータPCが設定された蛍光タンパクに基づいて、フィルタ制御部446Cが測定に最適な励起フィルタ456、吸収フィルタ458などを選択する。
以上の測定開始スイッチが押されてからここまで(STEP50からSTEP53まで)の動作は、測定モードに併せて自動で選択され、実行される。
その後、フォーカス位置が検出され(STEP54)、画像の取り込みおよびコンピュータPCの画像メモリ部への画像データ出力が行われる(STEP55)。
そして、必要な画像の取得が完了していなければ、再び対物レンズ448の選択(STEP52)から画像の取り込みおよびコンピュータPCの画像メモリ部への画像データ出力(STEP55)までの動作が、必要な画像の取得が完了するまで繰り返される(STEP56)。
必要な画像の取得が完了すると、X軸動作ステージ422XまたはY軸動作ステージ422Yが1ステップ駆動される(STEP57)。そして、X軸動作ステージ422XまたはY軸動作ステージ422Yが移動した位置が測定対象範囲内であれば、再び対物レンズ448の選択(STEP52)から1ステップステージ駆動(STEP57)までの動作が繰り返される。この繰り返し作業は、ステージ422の移動した位置が測定対象範囲外になるまで繰り返される(STEP58)。
X軸動作ステージ422XまたはY軸動作ステージ422Yの移動先が測定対象範囲外となると、シャッタ435がOFFされる(STEP59)。
その後、所定の測定時間間隔になると、再びシャッタ435がOPEN(STEP51)にされてからシャッタ435がCloseされる(STEP59)までの動作が、測定時間が終了するまで繰り返される(STEP60)。
次に、エリアセンサモードが選択されていない場合について説明する。
測定開始スイッチが押されると、X軸動作ステージ422XおよびY軸動作ステージ422Yを測定開始位置へ移動させる(STEP70)。ここでは、コンピュータPCが入力された測定開始位置を読み込み、X軸動作ステージ422XおよびY軸動作ステージ422Yを測定開始位置に移動させるとともに、細胞CEが対物レンズ448の撮影視野内に位置するように移動される。
そして、シャッタ435がOPENにされて(STEP71)、フォーカス位置が検出される(STEP72)。
次に、対物レンズ448が選択される(STEP73)。ここでは、コンピュータPCが設定された測定倍率に基づいて、レボルバ447を駆動して所定の倍率の対物レンズ448を選択する。
そして、フィルタユニット445が選択される(STEP74)。ここでは、コンピュータPCが設定された蛍光タンパクに基づいて、フィルタ制御部446Cが測定に最適な励起フィルタ456や吸収フィルタ458などを選択する。これら測定開始スイッチが押されてからここまで(STEP70からSTEP74まで)の動作は、測定モードに併せて自動で選択され、実行される。
その後、X軸動作ステージ422XおよびY軸動作ステージ422Yの駆動が開始され(STEP75)、画像の取り込みおよびコンピュータPCのメモリ部への画像データ出力が行われる(STEP76)。
そして、必要な画像の取得が完了していなければ、再び対物レンズ448の選択(STEP73)から画像の取り込みおよびコンピュータPCのメモリ部への画像データ出力(STEP76)までの動作が繰り返され、必要な画像の取得が完了するまで繰り返される(STEP77)。
必要な画像の取得が完了すると、シャッタ435がCloseされる(STEP78)。
その後、所定の測定時間間隔になると、再びシャッタ435がOPEN(STEP71)にされてからシャッタ435がCloseされる(STEP78)までの動作が、測定時間が終了するまで繰り返される(STEP79)。
細胞CEの撮像が終了すると、次には撮像された画像の処理が行われる。そこで、撮像された画像の処理方法について、図24を参照しながら説明する。
図24は、画像の処理方法を説明するフローチャートである。
まず、コンピュータPCの画像処理部は、メモリ部に蓄積された撮像画像から、背景画像を抽出する(STEP91)と共に、撮像画像から背景画像(バックグラウンド)を除去する(STEP92)。
次に、強調できる画像の最大輝度範囲を読み込み(STEP93)、最大輝度範囲に応じて、例えば所定係数を掛けて画像を強調する(STEP94)。これらの処理により、バックグラウンドを除去した画像から1つ1つの細胞CEを粒状に認識し易いように画像が強調される。
そして、強調された画像から、例えば所定の閾値以上の輝度情報を有する部分を抽出することで、細胞CEの1つ1つの輝度を明確な粒状として認識する(STEP95)。
次に、細胞CEの重心位置や面積等の幾何学的特徴量や、化学的特徴量や、蛍光輝度等の光学的特徴量をより正確に認識するとともに、細胞CEの位置情報とも関連付けて抽出する(STEP96)。これら特徴量を抽出することにより、1つ1つの細胞CEを識別することができる。
細胞CEの特徴量を抽出した後、細胞CEを認識するために行った強調作業(STEP94)の補正を行う(STEP97)。この補正により、画像の強調のために用いられた所定係数の影響が除去される。
次に、補正後の特徴量を、例えばファイルに出力するとともにそのファイルに蓄積する(STEP98)。
そのため、コンピュータPCの画像処理部は、スライドガラス、マイクロプレートなどの全面の各位置における細胞CEの蛍光量分布等を画像化することができる。また、画像処理部は、1つ1つの細胞CEを正確に追跡可能であるので、例えば、所定の数の細胞CEだけに注目し、培養を行いながら細胞CE内部の蛍光分布を局所的に長時間測定することも可能である。更に、細胞CEを培養しながら、例えば、一定時間毎にスライドガラスや、マイクロプレートなどの全面を測定し、時間経過に対する細胞CEの蛍光量を自動測定することも可能である。
次に、撮像画像から細胞CEの特徴量などのデータが抽出された後に行われるデータ処理について、図25を参照しながら説明する。
図25は、データ処理の流れを説明するフローチャートである。
ここでは、コンピュータPCのデータ処理部によって、ファイル内に蓄積された細胞CEのデータ(特徴量)の処理が行われる。
まず、データ処理部は、ファイル内に蓄積された細胞CEの生データ(特徴量)を読み込む(STEP101)とともに、細胞CEごとに時系列に並ぶようにデータの並べ替えが行われる(STEP102)。データが並べ替えられると、データ処理部は、細胞CEごとに輝度、すなわち発現量の経時的変化をグラフ化する(STEP103)。
グラフ化が完了すると、データ処理部は、グラフをプレビュー表示し(STEP104)、グラフ化データをファイルに出力する(STEP105)。
この処理を行うことにより、細胞CEを長期間培養した場合における1つの細胞の経時的変化を容易に観察することができる。従って、培養中の時間経過に伴う細胞CEの発現量の変化等を正確、かつ容易に測定することができる。
次に、細胞CEの測定時に行われる照射光量の調整について、図26を参照しながら説明する。
図26は、光量の調整の流れを説明するフローチャートである。
まず、細胞CEに照射される照射光量が測定される(STEP111)。照射光量は、光量モニタ450の出力から算出されてもよいし、照度計を設けて測定しても良いし、パワーメータを設けてパワーメータの出力から算出してもよい。
測定された照射光量が許容範囲内であれば、再び照射光量の測定(STEP111)に戻り、照射光量が許容範囲外になるまで繰り返される(STEP112)。
照射光量が許容範囲外になると、光量調整機構443に含まれるNDフィルタ(図示せず)が交換され(STEP113)、照射光量が許容範囲内になるように調節される。その後、再び照射光量の測定(STEP111)に戻り、照射光量の調節が繰り返される。
次に、チャンバ510への培養液の補給・交換の制御方法を、図27を参照しながら説明する。
図27は、培養液の補給・交換方法を説明するフローチャートである。
まず、撮像された画像のバックグラウンド(背景)値が解析される(STEP121)。撮像された画像のバックグラウンドには培養溶液の自家蛍光が撮像されており、この培養溶液の自家蛍光の輝度が解析される。
ここで、培養液は古くなるほど自家蛍光の輝度が高くなるため、自家蛍光の輝度を測定することにより、培養液の交換時期を検出することができる。
そして、解析されたバックグラウンド値の経時的変動が所定の規定値以内であれば、再びバックグラウンド値の解析(STEP121)に戻り、バックグラウンド値の経時的変動が所定の規定値より大きくなるまで繰り返される(STEP122)。
バックグラウンド値の経時的変動が所定の規定値より大きくなると、培養液の廃液ポンプ482が駆動され(STEP123)、次いで培養液の補給ポンプ481が駆動される(STEP124)。
なお、培養液の補給・交換の時期は、上述のように、培養液の自家蛍光により決定しても良いし、連続して行ってもよいし、予めユーザーが指定した時間間隔で自動的に補給・交換を行っても良いし、予め登録されているテーブルから細胞CEを選択することにより、適宜、培養液の交換時期を指定できるようにしてもよい。また、交換する量もユーザーが設定しても良いし、培養液の自家蛍光により決定してもよいし、チャンバ510内の培養液を一括して全て交換してもよいし、予め登録されているテーブルから細胞CEを選択することにより、適宜、培養液の交換量を指定できるようにしてもよい。
重量などで換算して自動で設定しても良い。
なお、本実施の形態においては、撮像された画像を用いてバックグラウンドの自家蛍光の値を検出しているが、この検出は細胞CEが存在しない場所を撮像した画像から検出しても良いし、培養液瓶472近傍に、例えば光学的検出器を設けて検出してもよい。
上述したような測定手順により、図28に示すような、1つ1つの細胞の経時的位置変化を表した細胞追跡画像を取得できる。
次に、マイクロプレート520を用いて培養・測定する場合の手順を、図29を参照しながら説明する。
図29は、マイクロプレート520を用いて培養・測定する手順を説明するフローチャートである。
まず、インキュベータボックス500aの水槽521に滅菌水を供給する(STEP131)。
次に、コンピュータPCを起動(STEP132)してから、検出ユニット420および培養ユニット470の主電源をONにする(STEP133)。
その後、インキュベータボックス500a内の内部ファン522を駆動(STEP134)して、インキュベータボックス500a内の空気を循環させる。そして、CO2濃度制御部495を起動(STEP135)して、インキュベータボックス500aに供給される培養ガスの二酸化炭素ガス濃度を5%に制御する。その後、各温度制御部を起動(STEP136)して、培養液温度、培養ガス温度、保温箱421内の温度などを略37℃に制御する。
その後、検出ユニット420の開閉扉427を開けて(STEP137)、インキュベータボックス500aをステージ422にセット(STEP138)し、開閉扉427を閉じる(STEP139)。
次に、透過光源423をONにして(STEP140)、細胞CEに透過光を照射し、測定条件を設定する(STEP141)。
そして、測定開始ボタンをONにする(STEP142)ことで、細胞CEの測定が開始される。
まず、所定の細胞CEへ事前に走査を行ってオートフォーカス(STEP143)が行われ、各部の焦点位置が決定されたところで、シャッタ435がOpenされる(STEP144)。
次に、細胞CEの画像の取り込み・出力が行われる(STEP145)。ここでは、取り込まれた画像データがコンピュータPCのメモリ部へ出力される。
そして、必要な画像の取得が完了していなければ、再びオートフォーカス(STEP143)から画像の取り込みおよび出力(STEP145)までの動作が、必要な画像の取得が完了するまで繰り返される(STEP146)。ここで、必要な画像とは、例えば、選択された波長により撮影された画像や、選択された倍率により撮影された画像などのことである。
必要な画像の取得が完了すると、X軸動作ステージ422XまたはY軸動作ステージ422Yが1ステップ駆動される(STEP147)。そして、X軸動作ステージ422XまたはY軸動作ステージ422Yが移動した位置が測定対象範囲内であれば、再びオートフォーカス(STEP143)から1ステップステージ駆動(STEP147)までの動作が繰り返される。この繰り返し作業は、ステージ422の移動した位置が測定対象範囲外になるまで繰り返される(STEP148)。
X軸動作ステージ422XまたはY軸動作ステージ422Yの移動先が測定対象範囲外となると、シャッタ435がCloseされ(STEP149)、X軸動作ステージ422XおよびY軸動作ステージ422Yがホームポジションに移動される(STEP150)。
その後、所定の測定時間間隔になると、再びオートフォーカス(STEP143)からホームポジションへステージを移動させる(STEP150)までの動作が、測定時間が終了するまで繰り返される(STEP151)。
測定時間が終了(STEP152)すると、開閉扉427を開けて(STEP153)、マイクロプレート520をインキュベータボックス500aから取り外す(STEP154)。そして、水槽521から滅菌水を取り除き(STEP155)、開閉扉427を閉じる(STEP156)。
その後、保温箱421内のUVランプ425を点灯させ(STEP157)、保温箱421内の滅菌を行い、測定を終了する。
なお、上述のように、保温箱421内の滅菌を測定手順の最後に入れてもよいし、測定手順の最初に入れて、測定前に保温箱421の滅菌を行っても良い。
なお、上述のように、細胞CEの測定ごとにオートフォーカスを行っても良いし、測定ごとの行わなくても良い。
上記の構成によれば、保温箱421により温度環境が維持されるとともに、保温箱421内に配置されたチャンバ510により湿度環境および培養液環境が維持されているので、湿度環境および培養液環境は温度環境の影響を受け、チャンバ510内においても温度環境が維持されている。
そのため、細胞CEにダメージを与えるような温度環境の急激な変化や不均一等は、湿度環境および培養液環境を介することで上記変化等が緩和されるため、細胞CEへのダメージを低減することができる。
また、チャンバ510は、保温箱421と比較して、容積が小さいため、湿度環境および培養液環境を維持・制御しやすくなり、細胞CEへダメージを与えにくくすることができる。
また、保温箱421、インキュベータボックス500、チャンバ510を介して細胞CEを観察することができるため、細胞CEにダメージを与えることなく培養しながら観察することができる。そのため、培養過程で起きる細胞CE内の挙動を正確、かつ経時的に測定することができる。
例えば、培養条件を変化させながら観察対象の細胞CEの反応をリアルタイムで測定することができ、タンパク質の発現の有無や発現量の測定、時間経過に伴う発現量の変化等を正確に測定することができる。
さらに、1回の観察における諸操作により細胞CEの活性が損なわれることを防止することでき、同じ細胞CEを複数回観察することができる。また、同じ細胞CEを、時間間隔を空けて複数回観察することができるため、実験プロトコルを制限する必要がない。
また、検出部440は、保温箱421、インキュベータボックス500、を介してチャンバ510内の細胞CEを観察するため、観察の際に細胞CEをチャンバ510から出し入れする必要がなく、観察している間中チャンバ510内に固定することができる。そのため、測定のたびに正確に同じ位置を観察することができる。また、観察する際のコンタミネーションを防止することができるとともに、細胞CEに対して負荷をかけることを防止することができる。
さらには、チャンバ510内の環境条件(例えば、二酸化炭素ガスおよび湿度の組み合わせ)により検出部440の機能が損なわれることを防止することができる。
さらには、細胞CEが保温箱421、インキュベータボックス500内に配置されたチャンバ510内に収納されているので、チャンバ510を配置していない場合と比較して、細胞CEとインキュベータボックス500外の環境との距離を確保できる。そのため、細胞CEが受けるインキュベータボックス500外のステージ422の駆動モータおよび開閉扉427に設けた磁石による電界や磁界などの影響を緩和することができる。
〔第5の実施の形態〕
次に、本発明の第5の実施形態について図30から図32を参照して説明する。
本実施の形態の生体試料観察システムの基本構成は、第4の実施の形態と同様であるが、第4の実施の形態とは、検出ユニットおよび培養ユニットの構成が異なっている。よって、本実施の形態においては、図30から図32を用いて検出ユニットおよび培養ユニット周辺のみを説明し、チャンバ等の説明を省略する。
図30(a)は、本実施の形態における生体試料観察システムの正面図であり、図30(b)は、本実施の形態における生体試料観察システムの側面図である。
生体試料観察システム600は、図30に示すように、倒立型顕微鏡(顕微鏡撮像装置)610と、培養ステージ620とから概略構成されている。倒立型顕微鏡610と培養ステージ620とは一体的に固定されていても良いし、着脱ができるように構成されていてもよい。
倒立型顕微鏡610に対して培養ステージ620が着脱できると、既存の倒立型顕微鏡を使用することもできる。この場合、例えば培養ステージ620の取り付けに係る形状・構造上の制約により、細胞CEの近傍にステージの駆動モータが配置されても、細胞CEに対する量電気や磁気の影響を緩和することができる。
また、例えば、倒立型顕微鏡610を用いて細胞CEを観察する際には、培養ステージ620を倒立型顕微鏡610に取り付けることができ、それ以外の時(例えば細胞CEの培養時)には、倒立型顕微鏡610を顕微鏡から取り外すことができる。
図31は、培養ステージ620の平面図であり、図32は、培養ステージ620の斜視図である。
培養ステージ620は、図30および図31に示すように、筐体621と、筐体621の上面に設けられた開閉蓋622と、X軸動作ステージ422Xと、Y軸動作ステージ422Yと、小型または帯状のヒータ620Hと、放熱板623と、ファン624と、培養ガス供給コネクタ625とから概略構成されている。
筐体621は、例えば、アルマイト処理されたアルミニウムやSUS316のようなステンレススチールなど防食性の高い遮光性の材料で制作するのが好ましく、より好ましくは、保温性の観点から熱伝導率の低い材料を選択するとよい。
筐体621の内部は、培養した細胞の観察を行うための測定エリア626と、細胞の培養のみを行う非測定エリア627とに分割されている。そして、培養ステージ620では、細胞の培養を行うとともに、細胞を保持するマイクロプレート520を内部に収納し、培養ステージ620の外部からマイクロプレート520内の細胞を観察することが可能な構成とされる。ここでは、図31および図32に示すように、培養容器としてマイクロプレート520を使用する場合について説明するが、ディッシュやフラスコを使用することも可能である。
筐体621の非測定エリア627における側壁には、ファン624および培養ガス供給コネクタ625が配置されている。また、ファン624および培養ガス供給コネクタ625が配置されていない領域(測定エリア626も含む)には、ヒータ620Hとヒータ620Hの熱を拡散させる放熱板623が配置されている。
ファン624は、培養ステージ620内の空気を対流させるとともに、インキュベータボックス500aに直接風が当たらないようになっている。
培養ステージ620内の温度は、ヒータ620Hにより昇温され、36.5℃±0.5℃に制御される。
筐体621の底面には、図31および図32に示すように、X軸動作ステージ422X及びY軸動作ステージ422Yが設置されている。X軸動作ステージ422XおよびY軸動作ステージ422Yは、例えばモータとボールネジにより駆動される。
Y軸動作ステージ422Yには、小型もしくは帯状のヒータ(図示せず)が取り付けられている。ヒータは、マイクロプレート520が均等に温められる位置に配置されている。
測定エリア626および非測定エリア627は、筐体621に固定された天板628および一対の仕切り受け629により、培養ステージ620内がX軸方向に分割されたものである。すなわち、図31において仕切り受け629の左側領域が測定エリア626とされ、右側の領域が非測定エリア627とされている。
また、X軸動作ステージ422Xには、筐体621の断面形状と略一致する形状に形成された仕切り板629aが取り付けられている。
この仕切り板629aは、X軸動作ステージ422Xを非測定エリア627側へ移動させることにより、仕切り板629aの両端部(Y軸方向の端部)の側面が仕切り受け629と接触して筐体621の内部空間を左右(X軸)方向に2分割するように配置されている。
さらに、仕切り板629aの天板628側の端部が天板628の下面と接触するように配置されているため、測定エリア626および非測定エリア627を、互いに分割された2つの空間とすることができる。
測定エリア626の上部開口領域には、ガラス上蓋630が筐体621に着脱可能に取り付けられ、測定エリア626の上部開口領域を覆うように配置されている。ガラス上蓋630の取り付け方法としては、例えば、ガラス上蓋630を筐体621にビス止め固定する方法や、ロック機構、ツメ、磁石などで取り付ける方法を挙げることができる。
ガラス上蓋630は、全面あるいは周囲の枠部分を除いた略全面がガラス板631で構成されていてもよいし、測定に支障のない範囲内であれば最小限の面積としてもよい。ガラス板631には、透過観察および落射観察の際の光の反射を抑えるために、両面に反射防止膜(ARコート)をコーティングした光学ガラス材を使用するのが好ましい。
なお、反射防止膜は、上述のようにガラス板631の両面にコーティングしても良いし、ガラス板631の片面にコーティングしてもよい。
ガラス上蓋630は、例えば倒立型顕微鏡610の対物レンズ交換や、測定エリア626の内部クリーニングなど、各種の作業を行う際に必要に応じて取り外すことができる。
なお、ガラス上蓋630には、倒立型顕微鏡610の対物レンズを差し込む観察孔を設けても良い。また、観察孔にはゴム製のシートを配置し、対物レンズと観察孔との間の隙間を塞いでも良い。シートは対物レンズと培養ステージ620との相対移動を阻害しないように配置されることが望ましい。
非測定エリア627の上部開口領域には、開閉蓋622がヒンジなどを用いて開閉可能に取り付けられている。開閉蓋622が閉じた状態では、開閉蓋622の一端が天板628と接触し、支持されている。
開閉蓋622は、全体が遮光性の材料(例えば筐体621と同じ材料)で構成されており、必要に応じて覗き穴を塞ぐ覗き穴カバー632やUV照射穴を塞ぐUV照射穴カバー633が設けられている。
覗き穴は開閉蓋622に形成した開口部(窓)であって、覗き穴カバー632は、例えば透過率の低いガラス板や樹脂板などから形成され、覗き穴に嵌め込まれている。また、覗き穴カバー632は、開閉蓋622と同じ遮光性材料などから形成され、着脱可能または開閉可能に取り付けられていても良い。
UV照射穴は開閉蓋622に形成した開口部(窓)であって、UV照射穴カバー633は、例えば開閉蓋622と同じ遮光性部材などから形成され、UV照射穴に対して、着脱可能または開閉可能に取り付けられている。
UV照射穴カバー633は、非測定エリア627内に紫外線を照射して殺菌する場合に取り外される。また、UV光の照射には、ハンディタイプのUVランプを用いることができる。
Y軸動作ステージ422Yの上には、マイクロプレート520を収納したインキュベータボックス500aが保持されている。インキュベータボックス500aは、第4の実施形態で説明したものと同一であるので、同一の構成要素に同一の符号を付し、その説明を省略する。
インキュベータボックス500aのコネクタ523には、培養ステージ620の培養ガス供給コネクタ625から培養ガス供給チューブ634を介して培養ガスが供給されている。
上記の構成によれば、本発明に係る生体試料観察システム600は、倒立型顕微鏡610が一体に設けられているため、倒立型顕微鏡610を用いて生体試料を観察することができる。そのため、倒立型顕微鏡610が設けられていない場合と比較して、より微細な観察を行うことができる。
なお、細胞の測定、培養時には、細胞が環境光の影響を受けないようにするため、生体試料観察システム600全体を暗幕などで覆っても良い。
また、測定を行う生体試料としては、細胞のほかに、細菌類や微生物、卵などの種々の生体試料を用いることができる。
TDI方式の撮像動作を説明する図である。 TDI方式の信号電荷の転送を説明する図である。 水平ラインに蓄積された信号電荷の強度を示す図である。 第1の実施形態における顕微鏡撮像装置の全体構成を示す図である。 試料の構成を説明する図である。 TDI方式における走査を説明する図である。 測定手順を示すフローチャートである。 プレスキャン時の輝度と本測定の露出時間との関係を示す図である。 TDI方式における電子シャッタのタイムチャートである。 第1の実施形態における顕微鏡撮像装置の別の例を示す図である。 第2の実施形態における顕微鏡撮像装置の全体構成を示す図である。 第3の実施形態における顕微鏡撮像装置の全体構成を示す図である。 第4の実施形態における顕微鏡撮像装置の全体構成を示す図である。 第4の実施形態における測定手順を示すフローチャートである。 第5の実施形態における試料の構成を説明する図である。 第4の実施形態における顕微鏡撮像装置を備えた生体試料観察システムを示す斜視図である。 図16に示した生体試料観察システムのシステム構成を示す概略図である。 図16に示した生体試料観察システムのインキュベータボックスを示す斜視図である。 図18に示したインキュベータボックスのチャンバの断面図である。 図19に示したインキュベータボックスの別の例を示す斜視図である。 生体試料観察システムにおける走査方法および検出範囲の選択例を示す図である。 生体試料観察システムにおける測定パラメータの設定の流れを示すフローチャートである。 生体試料観察システムにおける測定の流れを示すフローチャートである。 生体試料観察システムにおける画像の処理方法を示すフローチャートである。 生体試料観察システムにおけるデータ処理の流れを示すフローチャートである。 生体試料観察システムにおける光量の調整の流れを示すフローチャートである。 生体試料観察システムにおける培養液の補給・交換方法を示すフローチャートである。 細胞の経時変化を表した細胞追跡画像を示す図である。 マイクロプレートを用いた培養・測定を示すフローチャートである。 第5の実施形態における顕微鏡撮像装置を備えた生体試料観察システムを示す正面図および側面図である。 図30に示した生体試料観察システムの培養ステージの平面図である。 図30に示した生体試料観察システムの培養ステージの斜視図である。
符号の説明
10、110、210、360 顕微鏡撮像装置
20 試料(被検査物)
22 標本配置部
30、422 ステージ
31 ステージ駆動機構(移動手段)
40、140 照明装置(照明手段)
49、149、448 対物レンズ
60、260、360 撮像装置(撮像手段)
63 撮像素子
66 コンピュータ(計算手段)
149A 低倍率対物レンズ(対物レンズ)
149B 高倍率対物レンズ(対物レンズ)
261 変倍レンズ
367 最長露出時間入力部(最長露出時間入力手段)
369 選択部(選択手段)
410、600 生体試料観察システム
440 検出部(顕微鏡撮像装置)
422X X軸動作ステージ(ステージ)
422Y Y軸動作ステージ(ステージ)
423 透過光源(照明手段)
429 ステージ走査部(移動手段)
441X、441Y 落射光源(照明手段)
449 検出器(撮像手段)
510 チャンバ(被検査物)
520 マイクロプレート(被検査物)
610 倒立型顕微鏡(顕微鏡撮像装置)
S2、S13 プレスキャン
S4、S15 本測定(撮像)

Claims (6)

  1. 被検査物を保持するステージと、前記被検査物を照明する照明手段と、前記被検査物の像を撮影する撮像手段と、前記ステージと前記撮像手段とを相対的に移動させる移動手段と、を備え、
    前記撮像手段が、前記被検査物の輝度に対応した蓄積電荷を発生させるとともに、前記ステージと撮像手段との相対移動に対応して前記蓄積電荷を転送し、順次前記蓄積電荷を加算して累積するタイム・ディレイ・インテグレーション方式での撮像が可能な撮像手段を備え、
    前記被検査物の撮像の前に行われる前記被検査物のプレスキャンにより求められた前記被検査物の輝度に対応した蓄積電荷から、前記撮像の露出時間を決定する計算手段を有する顕微鏡撮像装置。
  2. 前記照明手段が、前記被検査物に光を集光させる対物レンズを有し、
    前記プレスキャンに用いる前記対物レンズの倍率が、前記被検査物の測定に用いる前記対物レンズの倍率よりも低い請求項1記載の顕微鏡撮像装置。
  3. 前記プレスキャンに際して前記対物レンズと前記撮像手段との間に挿入され、倍率を変更して広視野撮影を可能にする変倍レンズを備える請求項1または2に記載の顕微鏡撮像装置。
  4. 前記被検査物の測定における最長露出時間を入力する最長露出時間入力手段と、
    入力された前記最長露出時間および前記プレスキャンで決定された前記露出時間を比較して、より短い方を前記被検査物の測定の露出時間とする選択手段と、
    を有する請求項1から3のいずれかに記載の顕微鏡撮像装置。
  5. 前記被検査物に複数の標本配置部が形成され、
    輝度が略等しい前記標本配置部が、隣接して配置されている請求項1から4のいずれかに記載の顕微鏡撮像装置。
  6. 請求項1に記載の顕微鏡撮像装置を備えた生体試料観察システム。
JP2004200914A 2004-07-07 2004-07-07 顕微鏡撮像装置および生体試料観察システム Expired - Fee Related JP4020893B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2004200914A JP4020893B2 (ja) 2004-07-07 2004-07-07 顕微鏡撮像装置および生体試料観察システム
US11/173,020 US20060018013A1 (en) 2004-07-07 2005-07-05 Microscope imaging apparatus and biological-specimen examination system
US11/655,793 US20070121200A1 (en) 2004-07-07 2007-01-18 Microscope imaging apparatus and biological-specimen examination system
US11/655,512 US7271952B2 (en) 2004-07-07 2007-01-18 Microscope imaging apparatus and biological-specimen examination system
US11/655,507 US20070121198A1 (en) 2004-07-07 2007-01-18 Microscope imaging apparatus and biological-specimen examination system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004200914A JP4020893B2 (ja) 2004-07-07 2004-07-07 顕微鏡撮像装置および生体試料観察システム

Publications (2)

Publication Number Publication Date
JP2006023496A JP2006023496A (ja) 2006-01-26
JP4020893B2 true JP4020893B2 (ja) 2007-12-12

Family

ID=35796801

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004200914A Expired - Fee Related JP4020893B2 (ja) 2004-07-07 2004-07-07 顕微鏡撮像装置および生体試料観察システム

Country Status (1)

Country Link
JP (1) JP4020893B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007195426A (ja) * 2006-01-25 2007-08-09 Matsushita Electric Ind Co Ltd 微生物数測定装置及び微生物数測定方法
WO2009125547A1 (ja) * 2008-04-09 2009-10-15 株式会社ニコン 培養装置の制御装置及び制御プログラム
EP3764085A3 (en) 2008-10-24 2021-03-24 Leica Biosystems Imaging Inc. Whole slide fluorescence scanner
JP5821206B2 (ja) * 2011-02-09 2015-11-24 株式会社ニコン 観察装置、画像観察方法、及び被検体
DE102012101377B4 (de) 2012-02-21 2017-02-09 Leica Biosystems Nussloch Gmbh Verfahren bei der Vorbereitung von Proben zum Mikroskopieren und Vorrichtung zum Überprüfen der Eindeckqualität von Proben
FR3002715B1 (fr) * 2013-02-28 2016-06-03 E2V Semiconductors Procede de production d'images et camera a capteur lineaire
JP2015192636A (ja) * 2014-03-31 2015-11-05 株式会社ニコン 測定装置、スクリーニング装置、測定方法及びスクリーニング方法
JP6640610B2 (ja) * 2016-03-03 2020-02-05 オリンパス株式会社 観察装置、測定システム及び観察方法
CN114354621B (zh) * 2021-12-29 2024-04-19 广州德志金属制品有限公司 一种自动检测产品外观的方法及系统

Also Published As

Publication number Publication date
JP2006023496A (ja) 2006-01-26

Similar Documents

Publication Publication Date Title
US7271952B2 (en) Microscope imaging apparatus and biological-specimen examination system
JP2006025789A (ja) 生体試料観察システムおよび生体試料の観察方法
JP2006003653A (ja) 生体試料観察システム
JP6044941B2 (ja) 光学顕微鏡、および、光学顕微鏡のオートフォーカス装置
JP2011141444A (ja) 顕微鏡システム
JP4397993B2 (ja) 顕微鏡写真撮影装置
JP3585753B2 (ja) 撮影システム
JP6514832B2 (ja) 観察装置
JP3837145B2 (ja) 顕微鏡撮像装置
US8917347B2 (en) Focus control method and culture observation apparatus
JP6126693B2 (ja) 光学レンズを用いることなく試料の光学的分析を行う容器及びシステム
WO2009081498A1 (ja) 生体画像取得装置
JP4930508B2 (ja) 顕微鏡装置
JP2006023491A (ja) 顕微鏡撮像装置および生体試料観察システム
JP4020893B2 (ja) 顕微鏡撮像装置および生体試料観察システム
WO2018062215A1 (ja) 観察装置
JP2007209219A (ja) 生体試料観察計測システムおよび生体試料観察計測方法
CN105319695B (zh) 透射光显微镜和用于透射光显微镜检查的方法
US11977214B2 (en) Phase difference observation apparatus and cell treatment apparatus
JP2012019748A (ja) 細胞観察装置および観察方法
CN111164487B (zh) 相位差观察装置及细胞处理装置
JP2006000057A (ja) 培養容器および生体試料観察システム
KR20170017680A (ko) 세포 배양장치
JP2006000052A (ja) 生体試料観察システム
JP2006000054A (ja) 培養容器および生体試料観察システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070925

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101005

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4020893

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101005

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101005

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111005

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111005

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121005

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131005

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees