JP4007854B2 - Sampling clock generator - Google Patents
Sampling clock generator Download PDFInfo
- Publication number
- JP4007854B2 JP4007854B2 JP2002149227A JP2002149227A JP4007854B2 JP 4007854 B2 JP4007854 B2 JP 4007854B2 JP 2002149227 A JP2002149227 A JP 2002149227A JP 2002149227 A JP2002149227 A JP 2002149227A JP 4007854 B2 JP4007854 B2 JP 4007854B2
- Authority
- JP
- Japan
- Prior art keywords
- scanning
- sampling clock
- signal
- clock generator
- speed information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Microscoopes, Condenser (AREA)
- Manipulation Of Pulses (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、試料に光を走査して試料の情報を取得する光走査型サンプリングシステムに適用されるサンプリングクロック発生装置に関する。
【0002】
【従来の技術】
試料に光を走査させると共に走査に同期したサンプリングクロックを発生し、光検出器で検出される前記試料からの反射光や、蛍光又は透過光をサンプリングすることによって試料の情報を取得する光走査型サンプリングシステムとして、例えば走査型共焦点レーザ顕微鏡が知られている。
【0003】
走査型共焦点レーザ顕微鏡には、光走査のために主にガルバノスキャナや共振スキャナが用いられている。共振スキャナは、その動作原理から正弦波状にミラーが振動している。一方、ガルバノスキャナも画面の更新速度を早めるために正弦波状に駆動することがある。
【0004】
ミラーの角度が時間と共に正弦波状に変化すると、光走査による試料への光照射位置が時間と共に正弦波状に変化する。このように、光走査による試料への光照射位置が時間と共に正弦波状に変化する場合に、例えば、前記試料からの反射光、蛍光又は透過光を検出した光検出器の検出信号をシステムのタイミングを管理する水晶発振器などにより等しい時間間隔(一定の時間間隔)でサンプリングすると、図14(a)に示すように、試料上でのサンプリング位置が等間隔にならない。このため、画面の両端と中央で著しく歪みのある画像を取得することになってしまう。
【0005】
このような場合において、歪のない画像を得るためには、図14(b)に示すように、走査に合わせてサンプリングする時間を一定ではないような時間間隔(以下、「不等時間間隔」と称する)にすることで、最終的に得られる画像において試料上の位置関係(画素の位置関係)が等間隔になるようにすることが考えられる。
【0006】
上記のように、正弦波状の走査に合わせて不等時間間隔でサンプリングクロックを発生させる方法として、次のような提案がある。
【0007】
米国特許No.527,131号(特許第3121037号)では、正弦波状の速度信号パターンをROMに記憶させておき、スキャナの1周期に同期させてROMパターンを出力し、乗算型D/Aコンバータによって制御信号としてVCOに与え、VCO出力をサンプリングクロックとして得ている。ROMパターンはサンプリングクロックにより順次アドレスされ、その出力の1周期がスキャナ周期に合致するように乗算型D/Aコンバータでゲイン調整され、VCOは自身の生成するサンプリングクロックからF−Vコンバータを通してROMパターンとの偏差をフィードバックしている。
【0008】
特開平7−154544号公報では、スキャナの1周期にPLLにより同期した逓倍クロックを発生させて、これにより速度パターンの記憶されたROMをアドレスする。そして、ROMの出力を乗算器とD/Aコンバータにより制御信号に変換して、V−Fコンバータによりサンプリングクロックを得ている。なお、ROMパターン出力に対して乗算器で行われるゲイン調整は、ROMパターン(速度信号)を積分することで位置情報に変換し画像有効範囲長に合致するように行われる。
【0009】
特開2001―21829号公報では、上記と同様にスキャナの1周期にPLLにより同期した逓倍クロックを発生させて、これにより速度パターンの記憶されたROMをアドレスする。ROM出力の1周期がスキャナ周期に合致するように乗算型D/Aコンバータでゲイン調整され、制御信号としてVCOに与えることでサンプリングクロックが得られる。
【0010】
一方、ガルバノスキャナは位置の制御が可能であり、ガルバノスキャナを鋸歯状波で駆動する場合においては、図14(c)に示すように、その走査位置が時間的に等間隔に変化していく。従って、例えば前記試料の反射光、蛍光又は透過光を検出した光検出器の検出信号をシステムのタイミングを管理する水晶発振器などにより一定の時間間隔でサンプリングしても、試料上でのサンプリング位置が等間隔になるので直ちに画面内で著しく歪みのある画像を取得することにはならない。
【0011】
そのため、スキャナを駆動する鋸歯状波はその目標位置波形をメモリなどに記憶させ、システムのタイミングを管理する水晶発振器などにより順次データをデジタル−アナログ変換して駆動回路に供給し、同時にそのクロックでサンプリングする方式が一般的である。
【0012】
【発明が解決しようとする課題】
上記のように、正弦波駆動の場合には、いずれもROMに速度パターンをあらかじめ記憶させ、スキャナの1周期に同期するように動作させながら電圧制御発振手段によって不等時間間隔のサンプリングクロックを得ている。
【0013】
このような方法はスキャナの動作が理想的な正弦波状に動作していることを前提としており、かつ数学的な考察からパターンデータを生成している。しかし、実際にスキャナを装置内へ搭載して使用すると様々な誤差要因が重畳し、最終的に得られる画像の線形性は必ずしも最良の状態になるとは限らない。この歪みをデータの補正で相殺することも可能ではあるが、数千点に及ぶデータの一部を修正することになり長時間に亘る試行錯誤を要する。また、この作業でプログラムによってデータ生成を行うようにしたとしても、クロック発生装置の開発以外にその治具開発にも多大な苦労を強いられることとなる。
【0014】
米国特許No.527,131号(特許第3121037号)では、VCO部分でROMパターンとの比較によるフィードバック制御で精度向上を図っている。ところが、ROM側回路の遅延時間とF−Vコンバータ側回路の遅延時間が一致していないため、かえってサンプリングクロックの周波数変化に歪みが生じるおそれがある。
【0015】
特開平7−154544号公報も同様にVCOへ与える最低周波数と最高周波数の間の関係はROMパターンとして数学的に正弦波で規定されてしまっているので、そのROMパターンが装置内での様々な誤差要因を吸収する上での制限となってしまう可能性がある。そのため、画像の両端において歪みを取りきれないおそれが考えられる。
【0016】
特開2001―21829号公報においても、スキャナの動作に同期した信号入力によって後段でPLLをかけているものの、そもそもスキャナ周期に対する管理しかされていないことから、スキャナ振幅を変化させて光学的なズームをかけるとスキャナに対する同期信号の位相がずれて、回路全体の動作点がずれる可能性がある。この理由は、次のように考えられる。コンパレータで動作検出コイルの正弦波信号のゼロクロスを検出するので、ズームによってスキャナ振り角が小さくなると動作検出コイルの信号振幅も小さくなりゼロクロスの検出位置が遅れてくる。即ち、ズームを掛けると視野が右(画像が左)に移動する現象が発生する。そして、ROMに記憶されている速度パターンはスキャナ動作と位相遅れなく完全に合致していることを前提とするので、ズームによって位相ずれが生じると画像の歪み具合に変化が生じることになる。
【0017】
一方、ガルバノスキャナの鋸歯状波駆動においては、駆動波形入力にサーボをかけてスキャナの位置(姿勢)を管理しているが、スキャナの周波数応答に応じて駆動回路の調整を最適化しているので折り返し点での急激な入力変化に追従するには限界がある。そのため、整定するための時間を考慮すると、直線駆動していながらスキャナの1周期に対する画像化できる範囲の効率は走査速度の上昇に応じて劣化してくる。スキャナの応答する領域内で走査速度を上げていくと、画像化できる範囲が減少すると共に無効期間を大きく取ることになり、走査型共焦点レーザ顕微鏡において蛍光などを観察している場合は、試料の観察対象範囲以外の不必要な領域まで蛍光の退色を与える割合が多くなり、好ましい状態ではない。
【0018】
【発明が解決しようとする課題】
本発明の目的は、光走査型サンプリングシステムで画像劣化の無いサンプリングを行うために、走査手段の動作に忠実にサンプリング可能であり、画像の線形性を自動補正可能であり、ズームによる位相ずれを起こさない、走査手段の走査範囲を任意の有効画素数で有効に画像期間に割り当てることができるサンプリングクロック発生装置を提供することである。
【0019】
【課題を解決するための手段】
本発明は、上記の課題を解決するために次のような手段を講じた。
【0020】
本発明の一局面に係るサンプリングクロック発生装置は、試料に光を走査させ、この走査に同期したサンプリングクロックに基づいて光検出器で検出される前記試料からの光をサンプリングすることによって前記試料の情報を取得する光走査型サンプリングシステムに適用されるサンプリングクロック発生装置において、光源からの光を振動しながら反射または屈折して、前記試料に光を照射する走査手段と、前記走査手段の速度情報を得るための速度情報生成手段と、前記走査光の前記試料への照射からサンプリングクロック発生までの間の時間的遅延を吸収する移相手段と、前記速度情報を絶対値化して絶対値速度情報を生成する手段と、前記絶対値速度情報を所定の振幅に調整する第1の可変ゲイン手段と、前記走査手段の走査状況に関連した量でその振幅を補正する第2の可変ゲイン手段と、レベルを補正するオフセット調整手段と、前記補正された前記絶対値速度情報に対応する周波数のサンプリングクロックを生成する電圧制御発振手段と、前記走査手段の走査に対応するサンプリングクロック数と前記試料の画像化期間を管理する同期手段とを具備することを特徴とする。
【0021】
本発明の一局面によれば、走査手段から得られる速度情報を絶対値化し、電圧制御発振手段に与えることでサンプリングクロックを得る。このとき、走査手段の1周期中に所定数のサンプリングクロックが包含されるように速度情報の振幅調整を行うが、速度情報の形状をそのままクロック周波数制御に用いるため、周期だけでなく走査手段の動作パターンに常に追従しサンプリング位置ずれが生じない。一方で、画像線形性補正をかけるための周波数調整も可能であり、画像歪みの生じないサンプリングクロックが得られる。
【0022】
上記のサンプリングクロック発生装置の好ましい実施態様は以下のとおりである。なお、以下の各実施態様は、単独で適用しても良いし、適宜組み合わせて適用しても良い。
(1) 前記電圧制御発振手段に出力される前記制御信号は、前記速度情報生成手段で生成される前記走査手段の速度波形に基づくものであること。速度情報の形状をそのままクロック周波数制御に用いるため、正確に走査手段の動作パターンに常に追従しサンプリング位置ずれが生じない。
【0023】
(2) 前記第1及び第2の可変ゲイン手段及び前記オフセット調整手段に与えられる前記走査手段の走査状況に関連した補正は、前記走査手段の走査振幅によらず一定の振幅の前記速度情報を出力するようにしたものであって、前記電圧制御発振手段の出力であるサンプリングクロックを所定数カウントして、このカウント周期と前記走査手段からの走査周期との位相差を低減するように前記絶対速度情報の振幅を微調整するものであり、前記振幅調整とは別に前記電圧制御発振手段に与える前記絶対値速度情報のレベルを決定するものであること。スキャナの走査振幅(即ち光学ズーム)によらず一一定の振幅の速度情報を出力できるため、後に続く周期管理のための回路動作においてスキャナとの時間的動作点のずれが生じない。一方、スキャナの周期とサンプリングクロックの計数の周期が合致するように前記絶対値速度情報のゲインを微調整するが、これとは別に電圧制御発振手段に与える最低周波数を調節できるため、周期だけでなく画像線形性補正をかけることも可能であり、画像歪みの生じないサンプリングクロックが得られる。
【0024】
(3) 前記走査手段による前記試料上の走査位置を検出する走査位置検出手段と、画像の線形性を検出し補正する線形性補正手段とを更に具備すること。走査手段から得られる速度情報を絶対値化し、電圧制御発振手段に与えることでサンプリングクロックを得る。このとき、走査手段の1周期中に所定数のサンプリングクロックが包含されるように速度情報の振幅調整を行うが、速度情報の形状をそのままクロック周波数制御に用いるため、周期だけでなく走査手段の動作パターンに常に追従しサンプリング位置ずれが生じない。一方で、画像線形性補正をかけながら周波数調整も行い、画像歪みの生じないサンプリングクロックが得られる。
【0025】
(4) 前記線形性補正手段は、前記走査位置検出手段により得られる前記走査手段の走査位置を表す走査位置信号を、前記電圧制御発振手段にて生成されるサンプリングクロックのタイミングで取得し、n画素ごとの走査位置の変化量が一定になるように前記第2のゲイン可変手段における前記絶対値速度情報のレベルを決定するものであること。任意量離れたサンプリングポイントで実際の走査手段の変位量を確認しながら常に電圧制御発振手段に与える最低周波数を調節できるため、画像線形性補正をかけながらサンプリングクロックが生成される。
【0026】
(5) 速度情報生成手段は、前記走査手段の少なくとも1つの速度情報を生成し、前記生成された少なくとも1つの速度情報を選択する選択手段を更に具備すること。サンプリングクロックを発生させるための回路に入力する速度情報に精度とコストを考慮した適当な組み合わせを実現できる。
【0027】
(6) 前記同期手段は、前記電圧制御発振手段から出力された前記サンプリングクロックに基づいて画像化有効の開始点と期間を決定するものであること。走査手段の走査開始点から画像期間の開始点までのクロック数と画像の有効画素数とから走査手段の1周期中に含まれるサンプリングクロック数が決定されるので、走査手段の走査範囲に対して任意の有効画素数を効率的に画像期間として割り当てることができる。
【0028】
【発明の実施の形態】
図面を参照して本発明の実施の形態を説明する。
【0029】
(第1の実施形態)
図1は、本発明の第1の実施形態に係るサンプリングクロック発生装置が適用される走査型共焦点レーザ顕微鏡のブロック図である。本実施形態に係るサンプリングクロック発生装置が適用される走査型共焦点レーザ顕微鏡の顕微鏡本体1は次のように構成されている。
【0030】
レーザ光源6からは、試料11の焦点面(表面)を走査するスポット光としてのレーザ光が出射される。レーザ光源6から出射されたレーザ光は、ミラー7に導かれ、このミラー7で反射されたレーザ光は、ハーフミラー8を透過して、2次元走査機構5に導かれる。2次元走査機構5は、ミラー7を介して得たレーザ光源6からのレーザ光を2次元走査するための機構であって、次のような構成を有している。2次元走査機構5は、2次元走査駆動制御回路4の制御下において、レーザ光をXY走査する。例えば、2次元走査機構5は、X軸方向走査用の共振スキャナとY軸方向走査用のガルバノスキャナとを有しており、これらのスキャナのミラーをそれぞれX軸方向、Y軸方向に振る(振動させる)ことによって、対物レンズ10に対するレーザ光の光路をXY方向に振らせることができる。
【0031】
レボルバ9には、倍率の異なる複数の対物レンズ10が保持されており、レボルバ9の切り替えにより、複数の対物レンズ10の中で所望の倍率を持つ対物レンズ10を顕微鏡の観察光路中に配置することができる。また、レボルバ9は、Z軸駆動制御回路16により光軸方向(上下方向)に移動させることができるようになっている。2次元走査機構5からのレーザ光が、光軸上に配置された対物レンズ10を介してステージ12上の試料11を2次元走査しながら照射する。なお、ステージ12は、試料11を載置するために使用される。
【0032】
試料11からの反射光は、入射光とは逆の経路で、対物レンズ10及び2次元走査機構5を介してハーフミラー8へ至る。ハーフミラー8に入射した反射光は、ハーフミラー8で反射されて検出系に導かれる。検出系は、レンズ13と、ピンホール板14と、光検出器15とからなる。レンズ13は、ハーフミラー8を介して得られた2次元走査機構5からの反射光を集光する。ピンホール板14は、所要の径のピンホールを有し、光検出器15の受光面の前面におけるレンズ13の焦点位置にそのピンホールがくるように配置される。光検出器15は、ピンホールを介して得られる光を、その光量に対応する電気信号に変換する光検出素子である。
【0033】
なお、光検出器15、2次元走査駆動制御回路4、Z軸駆動制御回路16は、それぞれ顕微鏡入出力回路17に接続されている。顕微鏡入出力回路17は、共焦点走査型レーザ顕微鏡の顕微鏡本体1と外部機器(本実施形態では、コンピュータ2)とについてデータ(信号)の授受を行う。すなわち、顕微鏡入出力回路17は、光検出器15で光電変換された信号を2次元走査駆動制御回路4からのタイミング信号と共にコンピュータ2へ送り、また、コンピュータ2からの各種制御信号を2次元走査駆動制御回路4、Z軸駆動制御回路16、その他図示しない顕微鏡内部機能などへ送る機能を有している。
【0034】
コンピュータ2は、制御回路18と画像入力回路19を備えている。制御回路18は、図示しない入力手段でオペレータによって入力された命令を、コンピュータ2が適切に実行するように制御する。画像入力回路19は、光検出器15で光電変換された信号と2次元走査駆動制御回路4からのタイミング信号を入力する。コンピュータ2はこれらの入力信号に基づいて、モニタ3に光検出器15で検出した画像を表示することで試料11の表面情報を得ることができる。
【0035】
第1の実施形態におけるサンプリングクロック発生装置は、上記の走査型共焦点レーザ顕微鏡において、2次元走査機構5と2次元走査駆動制御回路4の一部(X軸方向走査用の共振スキャナとタイミング信号の生成部)を構成し、例えば、図2に示すような構成を備えている。
【0036】
共振スキャナ21は駆動回路22からの信号により正弦波状にミラーを振動させる。駆動回路22は共振スキャナ21に内蔵される速度ピックアップコイルによるミラーの速度信号に基づいて自励発振し、フィードバック制御により、その駆動振幅が制御される。
【0037】
速度入力選択回路23は、駆動回路22からの出力信号の種類(例えば、駆動回路22は、速度信号を出力するのではなく、位置信号や同期信号を出力する場合もあり)に応じて自由に本実施形態に係るサンプリングクロック発生装置への入力を選ぶための回路であって、この速度入力選択回路23によって、サンプリングクロック発生装置を走査手段や駆動回路によらず使用できる。例えば、駆動回路22から位置信号が出力される場合には、その信号を速度信号に変換すれば良い。本実施形態では、駆動回路22から、例えば、ピックアップコイル信号(センス信号:Sens)とその方向を示す信号(SYNC)が与えられている。これらの信号の関係を図3(a)に示す。図3(b)は、速度入力選択回路23の回路例を示す図である。図3(b)に示す速度入力選択回路23は、バンドパスフィルタ33(BPF)と、マルチプレクサ34とを備えている。バンドパスフィルタ33は、共振スキャナ21の共振周波数に中心周波数を有する。これにより、SYNC信号が通過すると正弦波状の信号が生成される。そして、マルチプレクサ34で選択された信号は、速度信号(Velocity)として出力される。そして、移相回路60によって、前記走査光の前記試料への照射からサンプリングクロック発生までの時間(すなわち、時間遅延)を吸収する。その後、AGC回路24で所定の振幅に調節されて、絶対値回路25と比較器26に入力される。
【0038】
比較器26は、Velocity信号のゼロクロス位置(+と−が入れ替わる位置)でHレベルとLレベルとが切り替わるCYCLE信号を生成する。絶対値回路25を通ったVelocity信号は可変ゲインアンプ27でゲイン調節され、バイアス回路28によって与えられるオフセット電圧が加算器61で加算された後に、Control信号として電圧制御発振器29(以下、「VCO」と称する)に与えられる。VCO29は、サンプリングクロック(以下、「SCLK」と称する)を出力する。同期回路30は、VCOからのSCLKを入力して、画像有効期間信号(以下、「DE」と称する)とタイミング信号(以下、「CLR」と称する)を生成する。
【0039】
位相比較器31は、CYCLE信号とCLRを入力して、それらの位相を比較して、その位相差に応じた出力信号をローパスフィルタ32(以下、「LPF」と称する)に出力する。ローパスフィルタ32を通過した信号は、可変ゲインアンプ27のゲイン制御信号(gain)となる。
【0040】
上記のように構成された第1の実施形態に係るサンプリングクロック発生装置の動作を、図2から図5を参照して説明する。
【0041】
まず、駆動回路22によって共振スキャナ21が動作を開始すると、図4(a)に示すように、ミラー位置は正弦波状の振動軌跡になる。そして、この場合には、ミラー位置(図4(a))、Sens信号(図4(b))、SYNC信号(図4(c))は、図示のような関係になっている。ここで、速度入力選択回路23において、サンプリングの精度を高めるためにSens信号を図示しない設定手段によって選択したとする。Sens信号はマルチプレクサ34によってVelocity信号(図4(d))として出力される。
【0042】
続いて、速度入力選択回路23から出力されたVelocity信号が移相回路60に入力される。サンプリングクロック発生には、回路の時間的遅延があるので、共振スキャナ21が指示した位置に即座に対応して出力されず、実際にサンプリングされた画像は本来希望する位置よりずれた位置になってしまう。不等間隔のサンプリングクロックが出力されるため、このずれは画像の歪みを生じさせる。そのため、移相回路60は、この時間的遅延を吸収し、光照射位置とサンプリングクロック発生が揃うようにVelocity信号の位相を調整する。このように位相が調整されたVelocity信号は、AGC回路24に入力されて、共振スキャナ21の光学ズームに伴うVelocity信号の振幅変化を相殺して常に一定の振幅の信号となるように調整される。次に、Velocity信号は、絶対値回路25を通過することで図4(e)に示すように正の振幅のみを有する信号に変換され、一方、比較器26に入力したVelocity信号は、比較器26でゼロレベルと比較されて(すなわち、Velocity信号の正負が判定されて)、図4(f)に示すCYCLE信号となる。Velocity信号が、先のAGC回路24で一定振幅に調整されているので、ズームによるゼロクロス点を横切る傾斜角が変化しないのでCYCLE信号に位相ずれが生じない。
【0043】
絶対値回路25で絶対値化されたVelocity信号は可変ゲインアンプ27でゲイン調節され、バイアス回路28から出力された所定のオフセット電圧が加算器61で加算された後に、Control信号(図4(g))としてVCO29に与えられる。VCO出力がSCLK(図4(h))となる。
【0044】
この場合において、可変ゲインアンプ27によるゲイン調整は、以下に詳述するようなフィードバック制御により行なわれる。
図5に示すように画像の有効期間NENを1024画素とし、走査に対する画像化効率95%とすると、共振スキャナ21の1周期に対し全クロック数は2156、前側無効期間NLは27画素、後側無効期間NT(=NL)は27画素となる。これを図示しない入力手段によって同期回路30へ設定すると、同期回路30はVCO29から出力されたSCLKを、上記の所定数(=2156)だけ計数しながら、DEとCLRを出力する。
【0045】
位相比較器31は前記CYCLE信号(図4(f))とCLR(図4(i))との位相を比較し、その位相差に応じた誤差信号を出力する(図4(j))。この誤差信号をLPF32で平滑化することでgain信号(図4(k))を得て、可変ゲインアンプ27のゲインが調節される。
【0046】
バイアス回路28から出力されるVelocity信号の直流レベルは、最終的に画像の線形性が最良になるようなレベルに調整されるが、このレベルはVCO29の出力の最低周波数を決定している。そして、VCO29ではこの周波数を基準にVelocity信号の形状に応じてSCLKの周波数が上昇及び下降する。例えば、ゲインが高めでVelocity信号の電圧差が大きく与えられている場合には、SCLKの周波数が高めになる。このため、共振スキャナ21の走査1周期に対し、2156個のSCLK計数時間の方が速くなる。逆に、ゲインが低めでVelocity信号の電圧差が小さく与えられている場合には、SCLKの周波数が低めになる。このため、2156個のSCLKの計数時間の方が遅くなる。このように、位相比較器31は、CYCLE信号とCLRとのずれが無くなるようにgain信号を常に制御している。
【0047】
従って、上記のような制御により、共振スキャナ21の1周期に対しVelocity信号の形状に応じて加減速する2156個のSCLKが出る時間が一致するように、VCO29へ与えられるVelocity信号の振幅が調整されることになる。最終的にVCO29の出力であるSCLKは共振スキャナ21の速度波形を反映した周波数変化を伴うクロックとなり、ミラー位置の変化量が等間隔となる位置及び時間でサンプリングクロックが発生することになる。
【0048】
以上に説明したように、VCO29から出力されるSCLKの周波数変化は、共振スキャナ21の速度波形そのものから生成されているので、周期内の加減速変化も直接反映していることになる。このため、本実施形態によれば、近似波形では得ることのできない変動まで吸収することができる。即ち、本実施形態による構成では、サンプリング位置ずれが起きないことを意味する。また、AGC回路24により、位相比較の基準になるCYCLE信号はズームによる共振スキャナ21の動作との位相ずれが生じないので、ズームの有無に関わらず常に安定したサンプリングクロックが得られる。
【0049】
上記の第1の実施形態では、往復サンプリングを例に取って説明したが、同期回路30における有効画素期間信号の半周期側をマスクすれば片側サンプリングももちろん可能である。加えて、更に画像期間、有効画素数も可変、特にスキャナの動作の数学的近似などの考察をしなくても条件設定が可能である
(第2の実施形態)
第2の実施形態に係るサンプリングクロック発生装置の概略構成を、図6に示す。図6において、図1と同じ部分には、同じ符号を付し、詳細な説明を省略する。第2の実施形態においては、共振スキャナ21のミラー位置を直接検出できるようにするために、レーザ光源35から出力されてミラー21で反射されたレーザ光は位置検出素子37(以下「PSD」と称する)で検出される。なお、レーザ光源35は、例えば、図1のレーザ光源6と同じものであって、走査型共焦点レーザ顕微鏡内のレーザ光をX走査用共振スキャナの後で光学的に分岐したものであっても良いし、別途、共振スキャナ21のミラー位置を直接検出するために設けられた半導体レーザなどであっても良い。PSD37の出力はアンプ38で増幅されて、共振スキャナ21のミラー位置に対応した正弦波状の位置信号として出力される。移相回路60は、第1の実施形態と同様に、走査光の試料の照射からサンプリングクロック発生までの遅延を吸収する。
【0050】
速度入力選択回路36は、第1の実施形態と同様に自由に本発明のサンプリングクロック発生装置への入力を選べるようにしたものであり、走査手段や駆動回路によらず、本発明の第2の実施形態に係るサンプリングクロックが走査型共焦点レーザ顕微鏡に適用できるように設けられたものである。本実施形態では、共振スキャナ21のミラー位置を示すPosition信号と、駆動回路22から出力されたピックアップコイル信号(Sens)及びその方向を示す信号(SYNC)が与えられている。これらの信号の関係を図7(a)に示す。図7(b)は、速度入力選択回路36の構成の一例であり、SYNC信号は共振スキャナ21の共振周波数に中心周波数をもつバンドパスフィルタ43を通過し、Position信号は微分回路44を通過する。バンドパスフィルタ43と微分回路44は、それぞれ正弦波状の信号を生成し、マルチプレクサ45で選択された信号が速度信号(Velocity)として出力される。
【0051】
位相比較器42は、その動作が安定すると、線形性補正回路41への通知信号としてLOCK信号を出力する。
【0052】
一方、共振スキャナ21のPosition信号はAGC回路39で適当な振幅に調節された後に、A/D変換器40によりデジタルデータに変換され線形性補正回路41に与えられる。線形性補正回路41は、SCLK、DE、LOCKの各信号からA/D変換のタイミング信号Convertを生成して、それらをA/D変換器40へ出力する。線形性補正回路41は、VCO29へ与えるControl信号をオフセットさせるOFFSET信号を発生する。例えば、線形性補正回路41は、図8に示すように、分周器46と、メモリ47と、CPU48と、D/A変換器49と、スイッチ50と、固定バイアス51からなっている。ここで、D/A変換器49の初期値は固定バイアス51のレベルと同じ値が設定されているものとする。VCO29へ与えられるControl信号のオフセット量はスイッチ50によって固定値からD/A変換器49の発生するOFFSET信号へ切り換えられるようになっている。スイッチ50は位相比較器42からのLOCK信号に従って動作する。
【0053】
上記のような構成において、本第2の実施形態において、サンプリングの精度を最も高めるために速度入力選択回路36においてPosition信号を図示しない設定手段によって選択したものとして説明する。Position信号は図7(b)に示す微分回路44によってVelocity信号に変換され、出力される。
【0054】
これ以降のSCLK発生の基本的な動作は第1の実施形態と同様であり、これにより安定なサンプリングクロックが得られる。しかし、走査型共焦点レーザ顕微鏡などに共振スキャナ21が搭載されると様々な誤差要因が重畳し、最終的に得られる画像の線形性は必ずしも最良の状態になるとは限らない。これは、共振スキャナ21の1周期に対し、所定数のクロックが出る時間が一致していても、特にX方向の画面内位置で図9に示すような非線型性が残る場合があるからである。すなわち、基準スケールなどを観察したとき、スケール上を走査するレーザ光の画面両端部と中央部での実際の速度比とVelocity信号における画面両端部と中央部での速度比とが、光学系や回路の歪みなどで完全に一致していない状態が起こり得る。
【0055】
例えば、図9(a)は画面両端の寸法が中央に比べて広がって見える場合であって、走査に対して両端部でクロックが速すぎで、中央部で遅すぎの状態である。図9(b)はこの逆の場合であって、画面両端の寸法が中央に比べて縮んで見える場合で、走査に対して両端部でクロックが遅すぎで、中央部で速すぎの状態である。
【0056】
以下、第2の実施形態における上記のような歪に対する補正作用を説明する。位相比較器42において位相比較が定常状態に入り、共振スキャナ21の動作にSCLKの発生タイミングが一致すると、位相比較器42から、その通知(LOCK信号)を受けた線形性補正回路41はその補正動作を開始する。すなわち、共振スキャナ21のミラー位置に対応した正弦波状のPosition信号はAGC回路39で適当な振幅に調節された後に、A/D変換器40によりデジタルデータに変換され線形性補正回路41に与えられる。この変換タイミングは画像有効期間中のn画素おきのSCLKのタイミングとする。ここではn=4とする。分周器46は図示しない設定手段によってこのn=4が設定されると、DE中のSCLKを分周し、4画素に1回Convert信号としてA/D変換器40に変換パルスを送出し、その瞬間のPosition信号(共振スキャナ21のミラー位置)データがA/D変換器40から出力されてメモリ47に蓄積される。A/D変換器40でのサンプリングによって得られる共振スキャナ21の位置データは、本来のSCLKの生成目的から考えると一定の値で増加(または減少)するデータとなるはずである。これは、スキャナの走査位置が時間的に不等時間間隔に変化していくので等間隔位置でサンプリングされるように時間間隔が不等なSCLKを生成したからである。
【0057】
1ラインの有効画素数を1024画素とすると、CPU48は共振スキャナ21の1ライン分の走査で256個の位置データをメモリ47から得ることになる。このサンプリングされた位置データ間の変化量は取得順に見ると、図9(a)や図9(b)のようなサンプリングの線形性を反映していることになる。
【0058】
ここで、例えば、図9(a)に示すように画面両端部の寸法が伸びて見えるようなサンプリング状態であった場合を考慮する。この場合には、位置データの変化量が両端部で小さく、中央部で大きいような位置データ群が得られているはずである。このことは、例えば、位相比較器42からのLOCK信号を受けてスイッチ50が切り替わる前に固定バイアス51によって与えられているVCO29のControl信号の直流分が大きくて、全体的にSCLKの周波数が高めに動作していることを意味する。それでも共振スキャナ21の1周期と所定数(第1の実施形態と同じとすると2156個)のSCLKが出る時間は合致しているので、周期でのつじつまが合うように可変ゲインアンプ27でのゲイン設定が低めに設定されており、SCLKの周波数変調比が小さくなっている状態で安定していることになる。これは、走査に対して両端部でクロックが速すぎで、中央部で遅すぎるという状態である。
【0059】
続いて、CPU48は得られたデータ群から線形性を判断し、これに関連する補正値をD/A変換器49に設定することで、VCO29のControl信号をオフセットするOFFSET信号を発生する。この場合には、上述の理由からCPU48はVCO29のControl信号のオフセットを下げなくてはならない。CPU48は固定バイアス51のレベルよりも低くなる補正値をD/A変換器49に設定する。これにより、VCO29のControl信号のレベルが下がる。VCO29のControl信号のレベルが下がるとVCO29の動作点が変わり、全体的にSCLKの周波数が低くなって出力される。この場合には、画像両端部でのクロックが遅くなるように作用している。そのままでは1周期のクロック数が減ってしまうので、2156個のSCLKがカウントされるようにゲインループの働きでVelocity信号に与えるゲインが上がり、中央部のクロック周波数比が高くなる。本実施形態では、線形性補正回路41でのサンプリングによって、走査するレーザ光の画面両端部と中央部での実際の速度比とサンプリングクロックにおける画面両端部と中央部での周波数比とが一致するまでループが回り、図9(c)にように最終的に線形性が向上する。但し、Velocity信号のオフセットを変化させることでゲインループの動作点を変化させているので、線形性補正ループ時定数をゲインループ時定数より十分下げておく必要がある。
【0060】
なお、線形性が図9(b)のような分布を示している場合は、上記の説明と反対にオフセットを上げる方向へ補正が働くことにより、図9(c)のように線形性が向上する。
【0061】
以上に説明したように、第2の実施形態によれば、第1の実施形態と同様に、サンプリング位置ずれが起きず、ズームに関わらず常に安定したサンプリングクロックが得られることに加えて、実際の共振スキャナ21の走査位置をサンプリングクロックのタイミングで検出し、その変化率からVCO29で生成されるサンプリングクロックの周波数変調比を調節するようにしたので、得られる画像の線形性をも補正可能としている。ここでは位置データの取得を4画素おきに行う例で説明したが、もちろんこれ以外の画素数おきに取得しても問題ない。
【0062】
また、第1の実施形態と同様に、同期回路30における有効画素期間信号の半周期側をマスクすれば片側サンプリングももちろん可能であり、更に画像期間、有効画素数も可変、特にスキャナの動作の数学的近似などの考察をしなくても条件設定が可能である。
【0063】
(第3の実施形態)
第3の実施形態に係るサンプリングクロック発生装置の概略構成を、図10に示す。図10において、図1又は図6と同じ部分には、同じ符号を付し、詳細な説明を省略する。図10において、X軸方向走査用のスキャナにはガルバノスキャナ52を使用したものとしている。ガルバノスキャナ52は通常その内部に位置検出用のセンサを内蔵しているので、そのPosition信号が直接得られる。駆動回路53はガルバノスキャナ52に内蔵された位置センサによりフィードバック制御で位置の指示入力に追従するようガルバノスキャナ52の動作を制御する。移相回路60は、第1の実施形態と同様に、走査光の試料の照射からサンプリングクロック発生までの遅延を吸収する。
【0064】
微分回路54は、Position信号を微分し、Velocity信号に変換する。Velocity信号は、AGC回路24へ入力されて所定の振幅に調節され、絶対値回路25と比較器26に入力する。比較器26は、Velocity信号のゼロクロス位置でHレベルとLレベルとが切り替わるCYCLE信号を生成する。絶対値回路25で絶対値化されたVelocity信号は可変ゲインアンプ27でゲイン調節されて、線形性補正回路41から出力されるオフセット電圧が加算器61で加算された後に、Control信号としてVCO29に与えられる。そして、VCO出力がサンプリングクロック(SCLK)となる。
【0065】
同期回路55はSCLKを入力して、画像有効期間信号(DE)とタイミング信号(CLR)を生成する。
【0066】
位相比較器42は、CYCLE信号とCLRの位相を比較し、その位相差に応じた信号を出力する。位相比較器42からの出力信号はローパスフィルタ32を通過して可変ゲインアンプ27のゲイン制御信号(gain)となる。また、位相比較器42はその動作が安定すると、線形性補正回路41へ通知信号としてのLOCK信号を生成する。
【0067】
一方、ガルバノスキャナ52のPosition信号はAGC回路39で適当な振幅に調節された後に、A/D変換器40によりデジタルデータに変換されて線形性補正回路41に与えられる。第2の実施形態と同様に、線形性補正回路41は、SCLK、DE、LOCKの各信号からA/D変換のタイミング信号Convertを生成して、それらをA/D変換器40へ出力する。線形性補正回路41は、VCO29へ与えるControl信号をオフセットさせるOFFSET信号を発生する。なお、線形性補正回路41の構成は、第2の実施形態と同様で良い。
【0068】
続いて以上のように構成された本発明の動作を説明する。ガルバノスキャナ52の駆動回路53に鋸歯状波を与えるとガルバノスキャナ52が動作を開始し、ガルバノスキャナ52は図11(a)の鋸歯状波状の振動軌跡で動作する。そのため、位置の変化は時間に対して等間隔であり、図11(b)のようなVelocity信号が得られる。
【0069】
続いて、Velocity信号はAGC回路24に入力され、ガルバノスキャナ52の光学ズームに伴うVelocity信号の振幅変化を相殺して常に一定の振幅の信号となるように調整される。次に、Velocity信号は、絶対値回路25を通過することで図11(c)に示すように正の振幅のみを有する信号に変換される。一方、比較器26に入力したVelocity信号は、比較器26でゼロレベルと比較されて(すなわち、Velocity信号の正負が判定されて)、図11(d)に示すCYCLE信号となる。このCYCLE信号は、先のAGC回路24で一定振幅に調整されているので、ズームによってゼロクロス点を横切る傾斜角が変化しないのでCYCLE信号に位相ずれが生じない。
【0070】
絶対値回路25を通ったVelocity信号は可変ゲインアンプ27でゲイン調節され、線形性補正回路41によって適当なオフセット電圧を加算された後に、Control信号(図11(e))としてVCO29に与えられる。VCOの出力がSCLK(図11(f))となる。
【0071】
第3の実施形態では、位置信号が鋸歯状波駆動であるのでVelocity信号は走査の期間中ある一定レベルを示し、動作が急峻な帰線期間ではそれよりも大きなレベルを示す。ところがガルバノスキャナ52の帯域は有限であるので波形の折り返し点では応答できず、画像両端部分に対応するVelocity信号に曲線部分が発生する。ガルバノスキャナ52の個別の帯域ばらつきなども考慮しながら従来の一般的なサンプリング回路においてはこの曲線部分を避けて画像化するため、どうしても走査範囲に対する画像化期間の割合が限定される。しかし、本実施形態ではVCO29によってSCLKのタイミングが調節されるので特に気にする必要がない。
【0072】
そして、可変ゲインアンプ27によるゲイン調整は、以下に詳述するようなフィードバック制御により行なわれる。
図12に示すように画像の有効期間NENを1024画素とし、走査に対する画像化効率95%(従来は、80%以下である)とする。帰線期間の速度を画像取得する方向の走査速度の4倍となるように鋸歯状波形が作られているとすると、ガルバノスキャナ52の1周期に対し全クロック数は1348、前側無効期間NLは27画素、後側無効期間NT(=NL)は27画素、帰線期間NRは270画素となる。これを図示しない入力手段によって同期回路55へ設定すると、同期回路55はVCO29によって得られたSCLKを上記の所定数だけ計数しながら、DEとCLRを出力する。位相比較器42は前記CYCLE信号(図11(d))とCLR(図11(g))を位相比較し、その差に応じた誤差信号を出力する。(図11(h))これをLPF32で平滑化することでgain信号(図11(i))を得て、可変ゲインアンプ27のゲインが調節される。これにより、ガルバノスキャナ52の1周期に対し、Velocity信号の形状に応じて加減速する1348個のSCLKが出る時間が一致するように、VCO29へ与えられるVelocity信号の振幅が調整されることになる。
【0073】
ところで、第2の実施形態で説明したように、ゲインループ安定直後に固定バイアス51で与えられるオフセット量が適切でない場合は、やはり画像の線形性は完全にならない。Velocity信号がガルバノスキャナ52の周期に渡ってほぼ一定レベルであるので、第2の実施形態の場合とは異なり、線形性の分布は図13(a)や図13(b)のような画像両端部、つまりVelocity信号の曲線部分でのみ少々劣化することが考えられる。しかし、このような問題点も第2の実施形態と同様に、線形性補正回路41によって自動的に図13(c)に示すように解消される。
【0074】
以上に説明したように、本実施形態においては、VCO29で生成されるSCLKの周波数変化は、ガルバノスキャナ52の速度波形そのものから作られており、周期内の加減速変化も直接反映しているのでサンプリング位置ずれが起きない。また、従来では画像化出来ない波形の折り返し点近傍まで効率良く利用できることになる。即ち、試料への無駄な範囲のレーザ照射も抑えられることを意味する。また、前述したAGC回路24の作用のため、位相比較の基準になるCYCLE信号はズームによってガルバノスキャナ52の動作との位相ずれが生じないので、ズームに関わらず常に安定したサンプリングクロックが得られる。
【0075】
更に、実際のガルバノスキャナ52の走査位置をサンプリングクロックのタイミングで検出し、その変化率からVCO29で生成されたサンプリングクロックの周波数変調比を調節するようにしたので、得られる画像の線形性をも補正可能としている。
【0076】
また、三角波を使うことで両側サンプリングももちろん可能であり、更に画像期間、有効画素数も可変、特にスキャナの動作の数学的近似などの考察をしなくても条件設定が可能である。
【0077】
本発明は、上記の発明の実施の形態に限定されるものではない。本発明の要旨を変更しない範囲で種々変形して実施できるのは勿論である。
【0078】
【発明の効果】
本発明の各実施形態によれば、試料に光を走査させると共に走査に同期したサンプリングクロックを発生し、光検出器で検出される前記試料の反射光、蛍光又は透過光をサンプリングすることによって試料の情報を取得する光走査型サンプリングシステムに適用されるサンプリングクロック発生装置において、本実施形態で得られる全ての効果ではないが、例えば、下記のような効果が得られる。
(1) 走査手段の動作パターンに常に追従しサンプリング位置ずれが生じない。
(2) 走査手段における光学ズームによる位相ずれも起きない。
(3) スキャナの走査範囲に対して任意の有効画素数を効率的に画像期間に割り当てることができる。
(4) 画像歪みが生じない。
(5) サンプリングクロック発生回路に与える速度情報に精度とコストを考慮した適当な組み合わせが選択できる。
【図面の簡単な説明】
【図1】 本発明の第1の実施形態を搭載する走査型共焦点レーザ顕微鏡の構成図。
【図2】 本発明の第1の実施形態の構成図。
【図3】 第1の実施形態に使用される速度入力選択回路の説明図。
【図4】 第1の実施形態の動作を説明するためのタイミング図。
【図5】 第1の実施形態の走査と画像化期間の対応を示した図。
【図6】 本発明の第2実施形態の構成図。
【図7】 第2実施形態に使用される速度入力選択回路の説明図。
【図8】 第2実施形態に使用される線形性補正回路の構成図。
【図9】 第2実施形態での画像に残る非線形性を示した図。
【図10】 本発明の第3実施形態の構成図。
【図11】 第3実施形態の動作を説明するためのタイミング図。
【図12】 第3実施形態の走査と画像化期間の対応を示した図。
【図13】 第3実施形態での画像に残る非線形性を示した図。
【図14】 走査位置とサンプリングクロックのタイミングの説明図。
【符号の説明】
1…顕微鏡本体
2…コンピュータ
3…モニタ
4…2次元走査駆動制御回路
5…2次元走査機構
6…レーザ光源
7…ミラー
8…ハーフミラー
9…レボルバ
10…対物レンズ
11…試料
12…ステージ
13…レンズ
14…ピンホール板
15…光検出器
16…Z軸駆動制御回路
17…顕微鏡入出力回路
18…制御回路
19…画像入力回路
21…共振スキャナ
22…駆動回路
23…速度入力選択回路
24…AGC回路
25…絶対値回路
26…比較器
27…可変ゲインアンプ
28…バイアス回路
29…電圧制御発振器(VCO)
30…同期回路
31…位相比較器
32…ローパスフィルタ(LPF)
33…バンドパスフィルタ
34…マルチプレクサ
35…レーザ光源
36…速度入力選択回路
37…位置検出素子(PSD)
38…アンプ
39…AGC回路
40…A/D変換器
41…線形性補正回路
42…位相比較器
43…バンドパスフィルタ
44…微分回路
45…マルチプレクサ
46…分周器
47…メモリ
48…CPU
49…D/A変換器
50…スイッチ
51…固定バイアス
52…ガルバノスキャナ
53…駆動回路
54…微分回路
55…同期回路
60…移相回路
61…加算器[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a sampling clock generator applied to an optical scanning sampling system that scans a sample with light to acquire information on the sample.
[0002]
[Prior art]
Optical scanning type that scans the sample with light and generates a sampling clock synchronized with the scanning, and obtains sample information by sampling reflected light, fluorescence or transmitted light from the sample detected by a photodetector For example, a scanning confocal laser microscope is known as a sampling system.
[0003]
In the scanning confocal laser microscope, a galvano scanner or a resonant scanner is mainly used for optical scanning. In the resonant scanner, the mirror vibrates in a sinusoidal shape due to its operating principle. On the other hand, the galvano scanner may be driven in a sine wave shape to increase the screen update speed.
[0004]
When the angle of the mirror changes in a sine wave shape with time, the light irradiation position on the sample by optical scanning changes in a sine wave shape with time. In this way, when the light irradiation position on the sample by optical scanning changes in a sinusoidal shape with time, for example, the detection signal of the photodetector that detects reflected light, fluorescence or transmitted light from the sample is used as the system timing. When sampling is performed at equal time intervals (constant time intervals) by a crystal oscillator or the like that manages the sampling, the sampling positions on the sample are not evenly spaced as shown in FIG. For this reason, images with significant distortion are acquired at both ends and the center of the screen.
[0005]
In such a case, in order to obtain a distortion-free image, as shown in FIG. 14B, a time interval (hereinafter referred to as “unequal time interval”) in which the time for sampling in accordance with scanning is not constant. It is conceivable that the positional relationship (pixel positional relationship) on the sample is equally spaced in the finally obtained image.
[0006]
As described above, as a method for generating the sampling clock at unequal time intervals in accordance with the sinusoidal scanning, there are the following proposals.
[0007]
U.S. Pat. No. 527,131 (Japanese Patent No. 3121037) stores a sinusoidal velocity signal pattern in a ROM, outputs the ROM pattern in synchronization with one period of the scanner, and outputs it as a control signal by a multiplying D / A converter. A VCO output is obtained as a sampling clock. The ROM pattern is sequentially addressed by the sampling clock, the gain is adjusted by the multiplying D / A converter so that one cycle of the output matches the scanner cycle, and the VCO is read from the sampling clock generated by the VCO through the FV converter. The deviation is fed back.
[0008]
In Japanese Patent Laid-Open No. 7-154544, a multiplied clock synchronized with a PLL in one period of the scanner is generated, thereby addressing a ROM in which a speed pattern is stored. The ROM output is converted into a control signal by a multiplier and a D / A converter, and a sampling clock is obtained by a VF converter. The gain adjustment performed by the multiplier for the ROM pattern output is performed so that the ROM pattern (speed signal) is integrated to be converted into position information to match the effective image length.
[0009]
In Japanese Patent Application Laid-Open No. 2001-21829, a multiplication clock synchronized with a PLL is generated in one period of the scanner in the same manner as described above, thereby addressing a ROM in which a speed pattern is stored. The gain is adjusted by the multiplication type D / A converter so that one period of the ROM output coincides with the scanner period, and a sampling clock is obtained by giving it to the VCO as a control signal.
[0010]
On the other hand, the position of the galvano scanner can be controlled, and when the galvano scanner is driven by a sawtooth wave, as shown in FIG. 14C, the scanning position changes at regular intervals over time. . Therefore, for example, even if the detection signal of the photodetector that detects reflected light, fluorescence, or transmitted light of the sample is sampled at a constant time interval by a crystal oscillator that manages the timing of the system, the sampling position on the sample is not changed. Since the intervals are equal, an image having a significant distortion in the screen is not immediately acquired.
[0011]
Therefore, the sawtooth wave that drives the scanner stores the target position waveform in a memory, etc., and sequentially converts the data from digital to analog by a crystal oscillator or the like that manages the system timing, and supplies it to the drive circuit. A sampling method is common.
[0012]
[Problems to be solved by the invention]
As described above, in the case of sine wave drive, in all cases, a speed pattern is stored in the ROM in advance, and sampling clocks with unequal time intervals are obtained by the voltage controlled oscillation means while operating in synchronization with one period of the scanner. ing.
[0013]
Such a method is based on the premise that the scanner operates in an ideal sine wave shape, and pattern data is generated from mathematical considerations. However, when the scanner is actually mounted in the apparatus and used, various error factors are superimposed, and the linearity of the finally obtained image is not always in the best state. Although it is possible to cancel this distortion by correcting the data, a part of the data of several thousand points is corrected, and a long trial and error is required. Even if data is generated by a program in this work, a great deal of effort is required not only for the clock generator but also for the jig development.
[0014]
U.S. Pat. No. 527,131 (Japanese Patent No. 3121037) attempts to improve accuracy by feedback control based on comparison with the ROM pattern in the VCO portion. However, since the delay time of the ROM side circuit and the delay time of the FV converter side circuit do not match, there is a possibility that the frequency change of the sampling clock may be distorted.
[0015]
Similarly, in Japanese Patent Laid-Open No. 7-154544, the relationship between the lowest frequency and the highest frequency given to the VCO is mathematically defined as a sine wave as a ROM pattern. There is a possibility that it becomes a limit in absorbing the error factor. Therefore, there is a possibility that distortion cannot be completely removed at both ends of the image.
[0016]
In Japanese Patent Laid-Open No. 2001-21829, although the PLL is applied in the latter stage by the signal input synchronized with the operation of the scanner, since only the management of the scanner cycle is performed in the first place, the optical zoom can be changed by changing the scanner amplitude. If applied, the phase of the synchronizing signal for the scanner may shift, and the operating point of the entire circuit may be shifted. The reason is considered as follows. Since the comparator detects the zero cross of the sine wave signal of the motion detection coil, if the scanner swing angle is reduced by zooming, the signal amplitude of the motion detection coil is also reduced and the zero cross detection position is delayed. That is, when zooming is applied, a phenomenon occurs in which the field of view moves to the right (image is left). Since it is assumed that the speed pattern stored in the ROM completely matches the scanner operation without any phase delay, if a phase shift occurs due to zooming, the degree of image distortion will change.
[0017]
On the other hand, in the sawtooth wave drive of the galvano scanner, the servo is applied to the drive waveform input to manage the position (posture) of the scanner, but the adjustment of the drive circuit is optimized according to the frequency response of the scanner. There is a limit to following a sudden input change at the turning point. For this reason, considering the time for settling, the efficiency of the range that can be imaged for one cycle of the scanner while linearly driving deteriorates as the scanning speed increases. Increasing the scanning speed in the area where the scanner responds reduces the range that can be imaged and increases the ineffective period. If you are observing fluorescence with a scanning confocal laser microscope, The ratio of giving fluorescence fading to an unnecessary area other than the observation target range increases, which is not a preferable state.
[0018]
[Problems to be solved by the invention]
An object of the present invention is to perform sampling without image degradation in an optical scanning sampling system, so that sampling can be performed faithfully to the operation of the scanning means, linearity of the image can be automatically corrected, and phase shift due to zoom can be corrected. It is an object of the present invention to provide a sampling clock generator capable of effectively allocating a scanning range of a scanning means that does not occur to an image period with an arbitrary number of effective pixels.
[0019]
[Means for Solving the Problems]
In order to solve the above-mentioned problems, the present invention has taken the following measures.
[0020]
A sampling clock generator according to an aspect of the present invention scans light from a sample and samples light from the sample detected by a photodetector based on a sampling clock synchronized with the scanning. In a sampling clock generator applied to an optical scanning sampling system for acquiring information, scanning means for reflecting or refracting light from a light source while vibrating and irradiating the sample with light, and speed information of the scanning means Speed information generating means for obtaining the phase, a phase shift means for absorbing a time delay from irradiation of the scanning light to the sample until generation of a sampling clock, and absolute value speed information by converting the speed information into an absolute value Generating means, first variable gain means for adjusting the absolute velocity information to a predetermined amplitude, and the scanning status of the scanning means A second variable gain means for correcting the amplitude by a continuous amount; an offset adjustment means for correcting the level; a voltage controlled oscillation means for generating a sampling clock having a frequency corresponding to the corrected absolute value speed information; And a sampling means corresponding to the scanning of the scanning means and a synchronizing means for managing the imaging period of the sample.
[0021]
According to one aspect of the present invention, the speed information obtained from the scanning unit is converted into an absolute value and supplied to the voltage controlled oscillation unit to obtain a sampling clock. At this time, the amplitude of the speed information is adjusted so that a predetermined number of sampling clocks are included in one cycle of the scanning means. However, since the shape of the speed information is used as it is for the clock frequency control, Sampling position deviation does not occur by always following the operation pattern. On the other hand, frequency adjustment for applying image linearity correction is also possible, and a sampling clock free from image distortion can be obtained.
[0022]
A preferred embodiment of the sampling clock generator described above is as follows. In addition, each following embodiment may be applied independently and may be applied in combination as appropriate.
(1) The control signal output to the voltage controlled oscillating means is based on a speed waveform of the scanning means generated by the speed information generating means. Since the shape of the speed information is used as it is for the clock frequency control, the operation pattern of the scanning means is always followed accurately and no sampling position deviation occurs.
[0023]
(2) The correction related to the scanning state of the scanning unit given to the first and second variable gain units and the offset adjusting unit is performed by using the velocity information having a constant amplitude regardless of the scanning amplitude of the scanning unit. A predetermined number of sampling clocks that are output from the voltage controlled oscillating means, and the absolute value so as to reduce the phase difference between this count cycle and the scanning cycle from the scanning means. The amplitude of the speed information is finely adjusted, and the level of the absolute value speed information to be given to the voltage controlled oscillation means is determined separately from the amplitude adjustment. Since speed information with a constant amplitude can be output regardless of the scanning amplitude of the scanner (that is, optical zoom), there is no time operating point deviation from the scanner in the subsequent circuit operation for cycle management. On the other hand, the absolute value speed information gain is finely adjusted so that the scanner period and the sampling clock counting period coincide with each other. However, since the minimum frequency given to the voltage controlled oscillation means can be adjusted separately, only the period can be adjusted. Therefore, it is possible to perform image linearity correction and obtain a sampling clock without image distortion.
[0024]
(3) A scanning position detecting unit that detects a scanning position on the sample by the scanning unit and a linearity correcting unit that detects and corrects the linearity of the image. Sampling clocks are obtained by converting velocity information obtained from the scanning means into absolute values and supplying them to the voltage controlled oscillation means. At this time, the amplitude of the speed information is adjusted so that a predetermined number of sampling clocks are included in one cycle of the scanning means. However, since the shape of the speed information is used as it is for the clock frequency control, Sampling position deviation does not occur by always following the operation pattern. On the other hand, a frequency adjustment is also performed while performing image linearity correction, and a sampling clock free from image distortion can be obtained.
[0025]
(4) The linearity correction unit acquires a scanning position signal representing the scanning position of the scanning unit obtained by the scanning position detection unit at the timing of the sampling clock generated by the voltage controlled oscillation unit, and n The level of the absolute value speed information in the second gain variable means is determined so that the change amount of the scanning position for each pixel becomes constant. Since the minimum frequency given to the voltage-controlled oscillation means can always be adjusted while confirming the actual displacement amount of the scanning means at sampling points separated by an arbitrary amount, the sampling clock is generated while image linearity correction is performed.
[0026]
(5) The speed information generation means further includes selection means for generating at least one speed information of the scanning means and selecting the generated at least one speed information. An appropriate combination of accuracy and cost can be realized in the speed information input to the circuit for generating the sampling clock.
[0027]
(6) The synchronization means determines an imaging effective start point and period based on the sampling clock output from the voltage controlled oscillation means. Since the number of sampling clocks included in one period of the scanning unit is determined from the number of clocks from the scanning start point of the scanning unit to the start point of the image period and the number of effective pixels of the image, the number of sampling clocks included in one cycle of the scanning unit is determined. Any number of effective pixels can be efficiently allocated as an image period.
[0028]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described with reference to the drawings.
[0029]
(First embodiment)
FIG. 1 is a block diagram of a scanning confocal laser microscope to which a sampling clock generator according to a first embodiment of the present invention is applied. The
[0030]
Laser light as a spot light for scanning the focal plane (surface) of the sample 11 is emitted from the
[0031]
The
[0032]
The reflected light from the sample 11 reaches the
[0033]
Note that the
[0034]
The
[0035]
The sampling clock generator in the first embodiment is the same as the scanning confocal laser microscope described above, except for the two-dimensional scanning mechanism 5 and a part of the two-dimensional scanning drive control circuit 4 (resonant scanner for X-axis direction scanning and timing signal). For example, a configuration as shown in FIG. 2 is provided.
[0036]
The
[0037]
The speed
[0038]
The
[0039]
The
[0040]
The operation of the sampling clock generator according to the first embodiment configured as described above will be described with reference to FIGS.
[0041]
First, when the
[0042]
Subsequently, the Velocity signal output from the speed
[0043]
The Velocity signal converted to an absolute value by the
[0044]
In this case, gain adjustment by the
As shown in FIG. 5, the effective period N of the image EN Is 1024 pixels and the imaging efficiency for scanning is 95%, the total number of clocks is 2156 for one period of the
[0045]
The
[0046]
The DC level of the Velocity signal output from the
[0047]
Therefore, the amplitude of the Velocity signal given to the
[0048]
As described above, since the frequency change of SCLK output from the
[0049]
In the first embodiment described above, the reciprocal sampling has been described as an example. However, if the half cycle side of the effective pixel period signal in the
(Second Embodiment)
FIG. 6 shows a schematic configuration of the sampling clock generator according to the second embodiment. 6, the same parts as those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted. In the second embodiment, in order to directly detect the mirror position of the
[0050]
The speed input selection circuit 36 can freely select the input to the sampling clock generator of the present invention as in the first embodiment. The speed input selection circuit 36 does not depend on the scanning means or the drive circuit, and the second input of the present invention. The sampling clock according to the embodiment is provided so as to be applicable to a scanning confocal laser microscope. In the present embodiment, a Position signal indicating the mirror position of the
[0051]
When the operation of the
[0052]
On the other hand, the Position signal of the
[0053]
In the configuration as described above, the second embodiment will be described on the assumption that the position signal is selected by the setting means (not shown) in the speed input selection circuit 36 in order to maximize the sampling accuracy. The Position signal is converted into a Velocity signal by the differentiating
[0054]
Subsequent basic operations for generating SCLK are the same as those in the first embodiment, and a stable sampling clock can be obtained. However, when the
[0055]
For example, FIG. 9A shows a case where the dimensions at both ends of the screen appear to be wider than the center, and the clock is too fast at both ends and too slow at the center with respect to scanning. FIG. 9B shows the opposite case where the dimensions of both ends of the screen appear to be smaller than the center. The clock is too slow at both ends and too fast at the center. is there.
[0056]
Hereinafter, the correction action for the above-described distortion in the second embodiment will be described. When the phase comparison enters the steady state in the
[0057]
When the number of effective pixels in one line is 1024 pixels, the
[0058]
Here, for example, consider the case where the sampling state is such that the dimensions at both ends of the screen appear to expand as shown in FIG. In this case, a position data group in which the change amount of the position data is small at both ends and large at the center should be obtained. This is because, for example, the DC component of the control signal of the
[0059]
Subsequently, the
[0060]
In addition, when the linearity shows a distribution as shown in FIG. 9B, the linearity is improved as shown in FIG. 9C by correcting the offset in the direction opposite to the above description. To do.
[0061]
As described above, according to the second embodiment, as in the first embodiment, the sampling position is not shifted, and a stable sampling clock is always obtained regardless of the zoom. Since the scanning position of the
[0062]
Similarly to the first embodiment, if the half cycle side of the effective pixel period signal in the synchronizing
[0063]
(Third embodiment)
FIG. 10 shows a schematic configuration of a sampling clock generator according to the third embodiment. 10, the same parts as those in FIG. 1 or FIG. 6 are denoted by the same reference numerals, and detailed description thereof is omitted. In FIG. 10, a
[0064]
The differentiating
[0065]
The synchronization circuit 55 receives SCLK and generates an image valid period signal (DE) and a timing signal (CLR).
[0066]
The
[0067]
On the other hand, the Position signal of the
[0068]
Next, the operation of the present invention configured as described above will be described. When a sawtooth wave is applied to the
[0069]
Subsequently, the Velocity signal is input to the
[0070]
The Velocity signal that has passed through the
[0071]
In the third embodiment, since the position signal is sawtooth wave drive, the Velocity signal shows a certain level during the scanning period, and shows a higher level in the retrace period where the operation is steep. However, since the band of the
[0072]
The gain adjustment by the
As shown in FIG. 12, the effective period N of the image EN Is 1024 pixels, and the imaging efficiency for scanning is 95% (conventionally 80% or less). Assuming that the sawtooth waveform is formed so that the speed of the blanking period is four times the scanning speed in the image acquisition direction, the total number of clocks is 1348 for one cycle of the
[0073]
By the way, as described in the second embodiment, when the offset amount given by the fixed
[0074]
As described above, in this embodiment, the frequency change of SCLK generated by the
[0075]
Furthermore, the actual scanning position of the
[0076]
In addition, by using a triangular wave, it is possible to perform both-side sampling, and the image period and the number of effective pixels are also variable. In particular, conditions can be set without considering the mathematical approximation of the operation of the scanner.
[0077]
The present invention is not limited to the above-described embodiments. Of course, various modifications can be made without departing from the scope of the present invention.
[0078]
【The invention's effect】
According to each embodiment of the present invention, a sample is generated by causing the sample to scan with light, generating a sampling clock synchronized with the scan, and sampling the reflected light, fluorescence, or transmitted light of the sample detected by the photodetector. In the sampling clock generator applied to the optical scanning sampling system that acquires the above information, for example, the following effects can be obtained, although not all the effects obtained in the present embodiment.
(1) The operation pattern of the scanning means is always followed and no sampling position deviation occurs.
(2) No phase shift due to optical zoom in the scanning means occurs.
(3) Any number of effective pixels can be efficiently allocated to the image period with respect to the scanning range of the scanner.
(4) No image distortion occurs.
(5) An appropriate combination of accuracy and cost can be selected for the speed information given to the sampling clock generation circuit.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a scanning confocal laser microscope equipped with a first embodiment of the present invention.
FIG. 2 is a configuration diagram of the first embodiment of the present invention.
FIG. 3 is an explanatory diagram of a speed input selection circuit used in the first embodiment.
FIG. 4 is a timing chart for explaining the operation of the first embodiment.
FIG. 5 is a diagram showing a correspondence between scanning and an imaging period according to the first embodiment.
FIG. 6 is a configuration diagram of a second embodiment of the present invention.
FIG. 7 is an explanatory diagram of a speed input selection circuit used in the second embodiment.
FIG. 8 is a configuration diagram of a linearity correction circuit used in the second embodiment.
FIG. 9 is a diagram illustrating nonlinearity remaining in an image in the second embodiment.
FIG. 10 is a configuration diagram of a third embodiment of the present invention.
FIG. 11 is a timing chart for explaining the operation of the third embodiment.
FIG. 12 is a diagram illustrating a correspondence between scanning and an imaging period according to the third embodiment.
FIG. 13 is a diagram illustrating nonlinearity remaining in an image according to the third embodiment.
FIG. 14 is an explanatory diagram of the scanning position and the timing of the sampling clock.
[Explanation of symbols]
1 ... Microscope body
2 ... Computer
3 ... Monitor
4 ... Two-dimensional scanning drive control circuit
5 ... Two-dimensional scanning mechanism
6 ... Laser light source
7 ... Mirror
8 ... Half mirror
9 ... Revolver
10 ... Objective lens
11 ... Sample
12 ... Stage
13 ... Lens
14 ... Pinhole plate
15 ... Photodetector
16 ... Z-axis drive control circuit
17 ... Microscope input / output circuit
18 ... Control circuit
19. Image input circuit
21 ... Resonant scanner
22 ... Drive circuit
23 ... Speed input selection circuit
24 ... AGC circuit
25. Absolute value circuit
26 ... Comparator
27 ... Variable gain amplifier
28 ... Bias circuit
29 ... Voltage controlled oscillator (VCO)
30 ... Synchronous circuit
31 ... Phase comparator
32 ... Low-pass filter (LPF)
33 ... Bandpass filter
34 ... Multiplexer
35 ... Laser light source
36 ... Speed input selection circuit
37 ... Position detecting element (PSD)
38 ... Amplifier
39 ... AGC circuit
40 ... A / D converter
41. Linearity correction circuit
42 ... Phase comparator
43 ... Band pass filter
44. Differentiation circuit
45. Multiplexer
46 ... frequency divider
47 ... Memory
48 ... CPU
49 ... D / A converter
50 ... Switch
51: Fixed bias
52 ... Galvano scanner
53 ... Drive circuit
54. Differentiation circuit
55. Synchronous circuit
60: Phase shift circuit
61 ... Adder
Claims (7)
光源からの光を振動しながら反射または屈折して、前記試料に光を照射する走査手段と、
前記走査手段の速度情報を得るための速度情報生成手段と、
前記走査光の前記試料への照射からサンプリングクロック発生までの間の時間的遅延を吸収する移相手段と、
前記走査手段の走査状況に関連した量でその振幅を補正する第1の可変ゲイン手段と、
前記速度情報を絶対値化して絶対値速度情報を生成する手段と、
前記絶対値速度情報を所定の振幅に調整する第2の可変ゲイン手段と、
レベルを補正するオフセット調整手段と、
前記補正された前記絶対値速度情報に対応する周波数のサンプリングクロックを生成する電圧制御発振手段と、
前記走査手段の走査に対応するサンプリングクロック数と前記試料の画像化期間を管理する同期手段と、を具備することを特徴とするサンプリングクロック発生装置。Applied to an optical scanning type sampling system that scans light with a sample and obtains information of the sample by sampling light from the sample detected by a photodetector based on a sampling clock synchronized with the scanning In the sampling clock generator,
Scanning means for reflecting or refracting light from a light source while oscillating, and irradiating the sample with light;
Speed information generating means for obtaining speed information of the scanning means;
A phase shift means for absorbing a time delay between irradiation of the scanning light to the sample and generation of a sampling clock;
First variable gain means for correcting its amplitude by an amount related to the scanning status of the scanning means;
Means for generating absolute value speed information by converting the speed information into an absolute value;
Second variable gain means for adjusting the absolute value speed information to a predetermined amplitude;
Offset adjusting means for correcting the level;
Voltage-controlled oscillation means for generating a sampling clock having a frequency corresponding to the corrected absolute value speed information;
A sampling clock generator comprising: a sampling clock corresponding to scanning of the scanning means; and a synchronizing means for managing an imaging period of the sample.
前記第1及び第2の可変ゲイン手段及び前記オフセット調整手段に与えられる前記走査手段の走査状況に関連した補正は、
前記走査手段の走査振幅によらず一定の振幅の前記速度情報を出力するようにしたものであって、
前記電圧制御発振手段の出力であるサンプリングクロックを所定数カウントして、このカウント周期と前記走査手段からの走査周期との位相差を低減するように前記絶対速度情報の振幅を微調整するものであり、
前記振幅調整とは別に前記電圧制御発振手段に与える前記絶対値速度情報のレベルを決定するものであることを特徴とするサンプリングクロック発生装置。The sampling clock generator according to claim 1,
The correction related to the scanning status of the scanning means given to the first and second variable gain means and the offset adjusting means is:
The speed information having a constant amplitude is output regardless of the scanning amplitude of the scanning means,
A predetermined number of sampling clocks that are output from the voltage controlled oscillation means are counted, and the amplitude of the absolute velocity information is finely adjusted so as to reduce the phase difference between this count cycle and the scanning cycle from the scanning means. Yes,
A sampling clock generator for determining the level of the absolute speed information to be given to the voltage controlled oscillation means separately from the amplitude adjustment.
前記走査手段による前記試料上の走査位置を検出する走査位置検出手段と、
画像の線形性を検出し補正する線形性補正手段とを更に具備することを特徴とするサンプリングクロック発生装置。The sampling clock generator according to claim 1,
Scanning position detecting means for detecting a scanning position on the sample by the scanning means;
A sampling clock generator further comprising linearity correction means for detecting and correcting linearity of an image.
前記生成された少なくとも1つの速度情報を選択する選択手段を更に具備することを特徴とするサンプリングクロック発生装置。6. The sampling clock generator according to claim 1, wherein the speed information generation unit generates at least one speed information of the scanning unit,
A sampling clock generator, further comprising selection means for selecting the generated at least one speed information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002149227A JP4007854B2 (en) | 2002-05-23 | 2002-05-23 | Sampling clock generator |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002149227A JP4007854B2 (en) | 2002-05-23 | 2002-05-23 | Sampling clock generator |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003344781A JP2003344781A (en) | 2003-12-03 |
JP4007854B2 true JP4007854B2 (en) | 2007-11-14 |
Family
ID=29767461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002149227A Expired - Fee Related JP4007854B2 (en) | 2002-05-23 | 2002-05-23 | Sampling clock generator |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4007854B2 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012002893A1 (en) * | 2010-06-30 | 2012-01-05 | Ge Healthcare Bio-Sciences Corp | A system for synchronization in a line scanning imaging microscope |
JP5598740B2 (en) | 2010-08-12 | 2014-10-01 | 株式会社ニコン | Scanning microscope |
JP5695508B2 (en) * | 2011-06-10 | 2015-04-08 | オリンパス株式会社 | Sampling clock generation device and sampling clock generation system |
JP2014068704A (en) * | 2012-09-28 | 2014-04-21 | Nidek Co Ltd | Ophthalmic photographing apparatus |
JP6011970B2 (en) * | 2013-01-11 | 2016-10-25 | 日本電信電話株式会社 | Optical coherence tomography device |
GB201409202D0 (en) | 2014-05-23 | 2014-07-09 | Ffei Ltd | Improvements in imaging microscope samples |
GB201409203D0 (en) | 2014-05-23 | 2014-07-09 | Ffei Ltd | Improvements in digitising slides |
JP6712429B2 (en) | 2015-06-02 | 2020-06-24 | ライフ テクノロジーズ コーポレーション | System and method for securing a sample stage in a structured illumination imaging system |
JP6350496B2 (en) * | 2015-11-30 | 2018-07-04 | 京セラドキュメントソリューションズ株式会社 | Image forming apparatus |
-
2002
- 2002-05-23 JP JP2002149227A patent/JP4007854B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003344781A (en) | 2003-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5221965B2 (en) | Two-dimensional scanning device and projection-type image display device | |
JPS62209978A (en) | Image pickup device | |
JP3229914B2 (en) | Scanning probe microscope | |
JP4007854B2 (en) | Sampling clock generator | |
CN101495834A (en) | Dynamic image acquisition with imaging sensors | |
JP5242148B2 (en) | Scanning microscope equipment | |
JP5598740B2 (en) | Scanning microscope | |
JP2000266995A (en) | Microscope focusing point detecting method | |
JP4115755B2 (en) | Sampling clock generation apparatus and sampling clock generation method | |
JP6812149B2 (en) | Scanning microscope and control method of scanning microscope | |
JP4216925B2 (en) | Scanning microscope | |
JP5695508B2 (en) | Sampling clock generation device and sampling clock generation system | |
JPH11271626A (en) | Scanning type laser microscope | |
JPH1010449A (en) | Scanner drive unit | |
US20030063367A1 (en) | Method for ascertaining position values, and scanning microscope | |
JP2004184699A (en) | Confocal microscope | |
JP4337346B2 (en) | Laser scanning microscope | |
JP2004053922A (en) | Method for correcting scanned image and program therefor, and laser scanning type microscope | |
JP4792239B2 (en) | Scanning confocal laser microscope | |
WO2022249607A1 (en) | Optical scanning device and optical scanning method | |
JPH11271621A (en) | Sampling clock generator for optical scanning mechanism | |
JP2004212622A (en) | Confocal microscope | |
JP7390216B2 (en) | Sampling circuit and laser scanning microscope | |
US20220307825A1 (en) | Modulation Of Scanning Velocity During Overlay Metrology | |
JPH07159711A (en) | Amplitude controller |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050413 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070802 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070821 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070828 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100907 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4007854 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100907 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110907 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120907 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130907 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |