JP4429431B2 - 光学装置 - Google Patents
光学装置 Download PDFInfo
- Publication number
- JP4429431B2 JP4429431B2 JP29977199A JP29977199A JP4429431B2 JP 4429431 B2 JP4429431 B2 JP 4429431B2 JP 29977199 A JP29977199 A JP 29977199A JP 29977199 A JP29977199 A JP 29977199A JP 4429431 B2 JP4429431 B2 JP 4429431B2
- Authority
- JP
- Japan
- Prior art keywords
- modulation pattern
- spatial modulation
- image
- sample
- spatial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Microscoopes, Condenser (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、光学装置に関し、特に、空間変調パターンを投影して試料のセクショニング像を観測する光学装置に関するものである。
【０００２】
【従来の技術】
試料の内部を選択的に観察するための手法として、共焦点観察法が知られている。図７は、共焦点観察法を行うための光学系を示している。共焦点観察法では、照明光学系３３における試料４の観察面３８と共役な位置にピンホール３２を配置し、結像光学系３５の同じく観察面３８と共役な位置にもピンホール３６を配置する。観察面３８から外れた位置からの光は、結像光学系３５のピンホール３６を通過しないため、ほとんど検出されない。したがって、観察面３８のみの像を選択的に観察することができる。
【０００３】
しかしながら、ピンホールを通しての照明及び結像となるため、照明光及び検出光の光量が少なく、明るい観察像を得ることは困難であった。
【０００４】
この問題を解決するものとして、ＷＯ９８／４５７４５に開示された手法があげられる。
【０００５】
この手法では、図８にそのための光学系を示すように、照明光学系４３における試料４の観察面４８と共役な位置に、移動可能な周期的な空間変調パターン４２を配置し、このパターンの空間位相を変化させて３枚以上の画像を撮像し、この複数の画像間の演算により試料内部の断層像を得るというものである。観察面４８の像においては空間変調パターンの像が重なって観測されるが、観察面４８から外れた位置では空間変調パターンの像はぼける。したがって、空間変調パターンの像が含まれていない面からの情報を取り除き、残りの情報から空間変調パターンの像の情報を取り除くような画像演算を行うことにより、目的とする深さ位置の観察面のみの情報、すなわち、セクショニング像を得ることができる。
【０００６】
この手法によれば、空間変調パターン４２を例えばスリット状とすることにより、ピンホールを用いた共焦点観察法よりも明るい観察像を得ることができる。
【０００７】
【発明が解決しようとする課題】
上記の手法において、空間変調パターンを投影し、この空間変調パターンの空間位相を変化させるには、試料に対して空間変調パターンを相対的に移動させる必要がある。最も簡易的にこれを実現するには、平板状の基板等に作成された空間変調パターンを、ピエゾ素子等により機械的に駆動させることが考えられる。
【０００８】
一方、時間変化に対する試料の観測や、リアルタイムでの画像計測等の要求にも応えるためには、空間変調パターンの移動を非常に高速に行う必要がある。したがって、具体的には、空間変調パターンの移動と静止を高速に繰り返す必要がある。空間変調パターンを静止させる際、空間変調パターンに急激に静止するための加速度が加わり、それにより空間変調パターン自体がわずかに振動してしまう等、ただちに静止させることはできず、完全な静止までにある程度の時間を要することになる。したがって、空間変調パターンを移動した後、変調像を撮像するまでの間に待ち時間が発生してしまう。このため、空間変調パターンの移動と静止を繰り返す方法では高速化に限界がある。
【０００９】
本発明は従来技術のこのような問題点に鑑みてなされたものであり、その目的は、空間変調パターンを投影して試料のセクショニング像を観測する光学装置において、空間変調パターンの相対的な移動に伴う機械的な振動等の影響を考慮する必要がなく、高速、かつ、効率的な観察を行うことができる手法を提供することである。
【００１０】
【課題を解決するための手段】
上記の目的を達成するため、本発明の光学装置は、
（１） 時間的に発光強度が変化する光源装置と、
空間変調パターンと、
前記空間変調パターンを試料に投影する投影光学系と、
前記空間変調パターンにより変調を受けた前記試料の像を変調像として結像するための結像光学系と、
前記試料に対する前記空間変調パターンの相対的な空間位相を制御するための位相制御手段と、
前記空間位相がそれぞれ異なる複数の前記変調像を、前記光源装置の発光強度の時間的変化に同期して撮像する撮像手段と、
前記撮像手段により撮像された複数の前記変調像から前記試料の像を形成する画像処理手段と、
を有することを特徴とするものである。
【００１１】
図１に、本発明による光学装置の構成を示し、本発明の手段と作用を説明する。本発明の光学装置は、光源装置１、空間変調パターン２、投影光学系３、結像光学系５、位相制御手段８、撮像手段６、画像処理手段７、から構成されている。光源装置１からの光は、まず、空間変調パターン２に照射される。空間変調パターン２は、投影光学系３により試料４に投影される。空間変調パターン２が投影された試料４の像は結像光学系５により結像され、撮像手段６により撮像される。撮像された変調像は画像処理手段７によって画像処理される。
【００１２】
試料４に対する空間変調パターン２の相対的な空間位相は位相制御手段８によって制御される。ある空間位相の空間変調パターンにより試料４の変調像を撮像した後、位相制御手段８により空間変調パターン２の空間位相を変化させて再び試料４の変調像を撮像する。この動作を複数回繰り返し、得られた複数の変調像を画像処理することにより、試料４の像が形成される。複数の変調像から試料４の像を求める復調方法については、ＷＯ９８／４５７４５や、本出願人による特願平１０−１１１６４４号に記述された方法を用いることができる。それらの手法を用いることにより、試料４内の目的とする深さ位置のセクショニング像を得ることができる。
【００１３】
なお、空間変調パターン２の位相は、試料４に対して相対的に変位させられればよいため、空間変調パターン２自身を固定し、その他の光学系、例えば投影光学系３の一部を変位させる等によっても、空間位相を変位させることは可能である。
【００１４】
本発明の光学装置における光源装置１は、その発光強度が時間的に変化する。例えば、非常に短時間の間に発光強度の上昇と低下を繰り返すような光源を用いた場合、空間変調パターン２に光が照射されている時間は短時間であり、この短時間における変調像が撮像されるため、発光時間が十分短ければ空間変調パターン２の移動・静止に伴う機械的振動等による観測像への影響をなくすことができる。
【００１５】
（２） また、上記（１）において、前記位相制御手段は、前記光源装置の時間的な発光強度の変化に同期して動作するように構成することができる。
【００１６】
したがって、光源装置１の発光のタイミングに合わせて、空間変調パターン２の空間位相を変位させることができる。これにより、複数の変調像をより効率良く取得することができる。
【００１７】
（３） （１）あるいは（２）において、前記位相制御手段は、前記空間位相を時間的に連続に変化させるように構成することができる。
【００１８】
この場合、空間変調パターン２を静止させる機構は必要ないという利点がある。光源装置１の発光強度の変化に要する時間が、空間変調パターン２の空間位相の変化に要する時間に対して十分短いように構成することで、実現可能である。なお、前述のＷＯ９８／４５７４５にも、空間変調パターンの空間位相を連続的に変化させる構成についての記述があるが、光源については全く言及されていない。本発明のように、光源装置１からの発光強度が時間的に変化し、これに同期して、変調像を撮像する構成と、空間位相を時間的に連続して変化させる構成とを組み合わせることにより、高速で簡便なセクショニング像の観測を行うことができる。
【００１９】
（４） さらに、（１）〜（３）の何れかにおいて、前記光源装置からの光が周期的に明滅を繰り返すようにすることができる。
【００２０】
例えば、ある一定の時間間隔でフラッシュ状に発光する光源を用いることができる。これにより、光源装置１、位相制御手段８、撮像手段６のそれぞれを同一の周波数で同期させ、高速、かつ、効率良く観測を行うことができる。
【００２１】
（５） また、（１）〜（３）の何れかにおいて、時間的に制御可能なシャッターを有することができる。
【００２２】
前述のフラッシュ光源を用いない場合でも、周期的に高速動作するシャッターを光源装置１の射出部等に設けることで、１回の発光時間が短く周期的な光源装置を実現することができる。
【００２３】
（６） （４）又は（５）において、前記試料に対する前記空間位相の相対速度が一定であり、前記位相制御手段により前記空間位相が２π変化する時間内に前記光源装置の明滅がｍ回繰り返され（ただし、ｍは２以上の整数）、これに伴い撮像されたｍ枚の変調像から試料の像を形成するように構成することができる。 つまり、空間変調パターン２の空間位相が一定の速度で変位するようにし、空間変調パターン２の丁度１周期の時間で画像処理に必要な数の変調像を撮像するように構成することができる。これにより、位相制御手段８の構成が簡素化され、光源装置１の明滅のタイミングを適切に設定することで、効率良く観察像を得ることができる。
【００２４】
（７） また、（１）〜（６）の何れかにおいて、前記空間変調パターンが縞状の透過率分布を有するパターンとするのが最も簡易的で好ましい。これらにより、画像処理手段７による画像演算が比較的簡単なものになることが予想される。
【００２５】
（８） また、（６）において、前記試料の像を形成するために必要な画像の枚数が３枚であり、前記空間変調パターンが等間隔の平行な縞状の透過率分布を有するパターンであって、前記光源装置の１回の発光時間をｔ、前記空間変調パターンの縞間隔をｄ、前記空間変調パターンの縞に垂直な方向の相対的な移動速度をｖとしたとき、以下の式が成り立つように構成することができる。
【００２６】
ｔ＜ｄ／３０ｖ ・・・（１）
３枚の変調像から試料４の像を求める場合、各変調像における空間変調パターン２のそれぞれの空間位相は、おおよそ０°、１２０°、２４０°となるように設定することができる。ただし、空間変調パターン２の縞が試料４に対して相対的に一定速度で移動している場合、光源装置１の発光時間内も縞は移動しているため、各変調像における空間位相はある程度の広がりを持つ。つまり、変調像に投影されている縞の幅が実質上広がることになる。この空間位相の広がりによる影響を少なくするための条件として式（１）が成り立つように構成すると、この場合の各変調像における空間位相の広がりを±６°未満に抑えることができる。
【００２７】
（９） さらに、（８）において、 前記移動速度ｖが調整可能であるように構成することができる。
【００２８】
これにより、光源装置１の発光時間や発光周期に合わせて空間変調パターン２の相対的な移動速度を変更したり、観測の時間分解や信号強度の程度に応じて移動速度を調整することができる。
【００２９】
（１０） また、（４）〜（９）何れかにおいて、前記光源装置の１回の発光時間又は発光の周期が調整可能であるように構成することができる。
【００３０】
これにより、例えば上記（８）で述べた縞の広がりを可能な限り抑えたい場合には、１回の発光の発光時間を短くしたり、一方で１枚の変調像に対する照明光量を多くしたい場合には、発光時間を長くしたりすることができる。また、観測の時間分解の程度に応じて、発光周期を調整することも可能である。したがって、様々な観測条件に最も適した発光時間及び発光周期を選択することができる。
【００３１】
【発明の実施の形態】
以下、本発明の光学装置の実施例について説明する。
【００３２】
図２には、本発明による光学装置の例として、落射型光学顕微鏡装置が示されている。以下に、この光学装置の構成と作用について述べる。
【００３３】
図２において、光源装置１からの光は、コレクタレンズ１３により空間変調パターン１２を照射し、このパターンが投影レンズ１４を通過し、ビームスプリッター１６により反射され、対物レンズ１５により試料４に照射される。変調を受けた試料４の像は、対物レンズ１５を通過し、ビームスプリッター１６を透過して、結像レンズ１７によりＣＣＤカメラ１８に達する。ＣＣＤカメラ１８で撮像された複数の変調像は、一時的にコンピュータ２２で記憶される。
【００３４】
一方、空間変調パターン１２は、本実施例では図３に示すように等間隔ｄで並んだ縞模様が用いられる。この縞模様はガラスや樹脂等の透明な部材上に形成されている。そして、縞の透過率分布は、図４で示されるような正弦波関数で与えることができる。具体的には、透過率をＴｒ、縞と垂直のな方向の座標をｘとしたとき、
Ｔｒ＝｛１＋ｃｏｓ（２πｘ／ｄ）｝／２ ・・・（２）
で表されるように構成できる。この空間変調パターン１２は、コンピュータ２２で制御されるピエゾ素子１９によって、その空間位相が制御される。ここで、空間位相とは、試料４と試料４上に投影される空間変調パターン１２の像の相対的な位置関係のことである。また、空間位相が制御されるとは、試料４と空間変調パターン１２の像が予め決められた関係を持って相対的に移動することをいう。
【００３５】
ピエゾ素子１９は、空間変調パターン１２をその縞と垂直な方向（図３のｘ方向）に等速度で移動させる。そして、後述する方法に従い、パターンが距離ｄだけ移動する間に３枚の変調像が撮像される。撮像された３枚の変調像を用いて、コンピュータ２２で復調のための画像処理が行われる。復調の方法としては、ＷＯ９８／４５７４５や、本出願人による特願平１０−１１１６４４号に開示された方法を用いることができる。画像処理の結果形成された像は、表示装置２１において表示される。
【００３６】
本実施例における光源装置１には、フラッシュランプ１１が組み込まれている。図５（ａ）には、このフラッシュランプ１１の発光タイミングが示されている。図５（ａ）の縦軸は発光強度、横軸は時刻を表している。
【００３７】
フラッシュランプの１回の発光における発光時間ｔは、発光ピークにおける半値全幅で定義することにする。図５（ａ）においては、例えば時刻ｔ３からｔ４までの間が１回の発光時間、
ｔ＝ｔ４−ｔ３ ・・・（３）
となる。また、発光周期Ｔは、
Ｔ＝ｔ３−ｔ１＝ｔ６−ｔ３＝ｔ７−ｔ６ ・・・（４）
で表される。本実施例では、
ｔ＝５μｓ
Ｔ＝０．０１ｓ
と設定されている。
【００３８】
さらに、図５（ｂ）には、ＣＣＤカメラ１８の電子シャッターの動作タイミングが示されている。電子シャッターの開閉は、フラッシュランプ１１と同一の周期Ｔで動作する。ＣＣＤカメラ１８の電子シャッターは、フラッシュランプ１１の１回の発光時間よりやや長い時間開けておくことができる。例えば、時刻ｔ３からｔ４までの発光に対する撮像においては、電子シャッターはｔ３よりも早い時刻ｔ２に開く動作を行い、ｔ４よりも遅い時刻ｔ５に閉じる動作を行う構成にすることができる。
【００３９】
一方、空間変調パターン１２は、縞と垂直な方向に等速度で移動し、３枚の変調像が等しい時間間隔で撮像される。すなわち、それぞれの変調像における空間位相はそれぞれ約０°、１２０°、２４０°と表すことができる。つまり、各変調像において、空間変調パターン１２の縞の位置はｄ／３ずつ変化している。したがって、空間変調パターン１２の空間位相の移動速度をｖとすると、
ｖ＝ｄ／３Ｔ
となる。フラッシュの１回の発光時間内に空間変調パターン１２はｖｔだけ移動することになる。このとき、
ｖｔ＝ｄｔ／３Ｔ≒１．６７×１０-4ｄ
したがって、式（１）を満たしている。また、この式は１回の発光時間の間に動く縞の量が、縞間隔の０．０１６７％程度であることを示している。空間位相で表すと、０．０６°程度である。これは、１枚の変調像を撮像している間の縞の移動が十分無視できる程度であることを示している。
【００４０】
なお、光源装置１、ＣＣＤカメラ１８、空間変調パターン１２は全てコンピュータ２２により制御され、それぞれを最適なタイミングで動作させることが可能である。例えば、試料４からの信号が微弱な場合に、光源装置１の発光時間を長くし、これに伴い空間変調パターン１２の移動速度を抑えてＳ／Ｎを向上させるようなことが可能である。
【００４１】
また、本実施例で用いるフラッシュランプ１１には１回の発光で放射されるエネルギが連続光光源よりも大きく、高周波で動作するものを用いることができる。本実施例で用いたフラッシュランプ１１の周期も、０．０１秒、つまり周波数が１００Ｈｚであるので、変調像３枚一組で１枚の復調像を得るとしたときに、およそ３３Ｈｚという略リアルタイムでの観察が可能である。
【００４２】
なお、本実施例では、表面に縞模様が形成された透明な部材を光路中に配置して、投影レンズ１４を介して空間変調パターン１２を試料４に投影しているが、図６に示すように、干渉計１００で干渉縞１０４を形成し、この干渉縞１０４を空間変調パターン１２として用いることもできる。この場合、空間変調パターンは、直接試料４に形成されるので、図２に示すような投影レンズ１４は不要となる。また、試料４に対して空間変調パターンを移動させる場合は、干渉計の参照ミラー１０３を移動させればよい。なお、図６中、１０１は光源、１０２はハーフミラー、１０５はシャッター、１０６はミラーである。
【００４３】
以上の本発明の光学装置は例えば次のように構成することができる。
【００４４】
〔１〕 時間的に発光強度が変化する光源装置と、
空間変調パターンと、
前記空間変調パターンを試料に投影する投影光学系と、
前記空間変調パターンにより変調を受けた前記試料の像を変調像として結像するための結像光学系と、
前記試料に対する前記空間変調パターンの相対的な空間位相を制御するための位相制御手段と、
前記空間位相がそれぞれ異なる複数の前記変調像を、前記光源装置の発光強度の時間的変化に同期して撮像する撮像手段と、
前記撮像手段により撮像された複数の前記変調像から前記試料の像を形成する画像処理手段と、
を有することを特徴とする光学装置。
【００４５】
〔２〕 前記位相制御手段は、前記光源装置の時間的な発光強度の変化に同期して動作することを特徴とする上記１記載の光学装置。
【００４６】
〔３〕 前記位相制御手段は、前記空間位相を時間的に連続して変化させることを特徴とする上記１又は２記載の光学装置。
【００４７】
〔４〕 前記光源装置からの光が周期的に明滅を繰り返すことを特徴とする上記１〜３の何れか１項記載の光学装置。
【００４８】
〔５〕 前記光源装置は、時間的に制御可能なシャッターを有することを特徴とする１〜３の何れか１項記載の光学装置。
【００４９】
〔６〕 前記試料に対する前記空間位相の相対速度が一定であり、前記位相制御手段により前記空間位相が２π変化する時間内に前記光源装置の明滅がｍ回繰り返され（ただし、ｍは２以上の整数）、これに伴い撮像されたｍ枚の変調像から試料の像を形成することを特徴とする上記４又は５記載の光学装置。
【００５０】
〔７〕 前記空間変調パターンが縞状の透過率分布を有するパターンであることを特徴とする上記１〜６の何れか１項記載の光学装置。
【００５１】
〔８〕 前記試料の像を形成するために必要な画像の枚数が３枚であり、前記空間変調パターンが等間隔の平行な縞状の透過率分布を有するパターンであって、前記光源装置の１回の発光時間をｔ、前記空間変調パターンの縞間隔をｄ、前記空間変調パターンの縞に垂直な方向の相対的な移動速度をｖとしたとき、以下の式が成り立つことを特徴とする上記６記載の光学装置。
【００５２】
ｔ＜ｄ／３０ｖ ・・・（１）
〔９〕 前記移動速度ｖが調整可能であることを特徴とする上記８記載の光学装置。
【００５３】
〔１０〕 前記光源装置の１回の発光時間又は発光の周期が調整可能であることを特徴とする上記４〜９の何れか１項記載の光学装置。
【００５４】
〔１１〕 時間的に発光強度が変化する光源装置と、
空間変調パターンを直接試料に形成する光学系と、
前記空間変調パターンにより変調を受けた前記試料の像を変調像として結像するための結像光学系と、
前記試料に対する前記空間変調パターンの相対的な空間位相を制御するための位相制御手段と、
前記空間位相がそれぞれ異なる複数の前記変調像を、前記光源装置の発光強度の時間的変化に同期して撮像する撮像手段と、
前記撮像手段により撮像された複数の前記変調像から前記試料の像を形成する画像処理手段と、
を有することを特徴とする光学装置。
【００５５】
【発明の効果】
以上の説明から明らかなように、本発明の光学装置によれば、空間変調パターンを投影して試料のセクショニング像を観測する光学装置において、時間的に発光強度が変化する光源装置を用い、その発光強度の時間的変化に同期して試料の変調像を撮像することにより、空間変調パターンの相対的な移動に伴う機械的な振動等の影響を考慮する必要がなく、高速、かつ、効率的な観察を行うことができる。
【図面の簡単な説明】
【図１】本発明による光学装置の構成を示す図である。
【図２】本発明による１実施例の落射型光学顕微鏡装置の構成を示す図である。
【図３】空間変調パターンの例を示す図である。
【図４】図３の空間変調パターンの透過率分布を示す図である。
【図５】本発明の実施例における光源装置の発光とＣＣＤカメラのシャッターの動作タイミングを示す図である。
【図６】図２の実施例の変形例の構成を示す図である。
【図７】従来の共焦点観察法を行うための光学系の構成を示す図である。
【図８】従来の空間変調パターンを投影して試料セクショニング像を観察する光学装置の構成を示す図である。
【符号の説明】
１…光源装置
２…空間変調パターン
３…投影光学系
４…試料
５…結像光学系
６…撮像手段
７…画像処理手段
８…位相制御手段
１１…フラッシュランプ
１２…空間変調パターン
１３…コレクタレンズ
１４…投影レンズ
１５…対物レンズ
１６…ビームスプリッター
１７…結像レンズ
１８…ＣＣＤカメラ
１９…ピエゾ素子
２１…表示装置
２２…コンピュータ
３１…光源
３２…ピンホール
３３…照明光学系
３５…結像光学系
３６…ピンホール
３７…検出器
３８…観察面
４１…光源
４２…空間変調パターン
４３…照明光学系
４５…結像光学系
４７…撮像手段
４８…観察面
【発明の属する技術分野】
本発明は、光学装置に関し、特に、空間変調パターンを投影して試料のセクショニング像を観測する光学装置に関するものである。
【０００２】
【従来の技術】
試料の内部を選択的に観察するための手法として、共焦点観察法が知られている。図７は、共焦点観察法を行うための光学系を示している。共焦点観察法では、照明光学系３３における試料４の観察面３８と共役な位置にピンホール３２を配置し、結像光学系３５の同じく観察面３８と共役な位置にもピンホール３６を配置する。観察面３８から外れた位置からの光は、結像光学系３５のピンホール３６を通過しないため、ほとんど検出されない。したがって、観察面３８のみの像を選択的に観察することができる。
【０００３】
しかしながら、ピンホールを通しての照明及び結像となるため、照明光及び検出光の光量が少なく、明るい観察像を得ることは困難であった。
【０００４】
この問題を解決するものとして、ＷＯ９８／４５７４５に開示された手法があげられる。
【０００５】
この手法では、図８にそのための光学系を示すように、照明光学系４３における試料４の観察面４８と共役な位置に、移動可能な周期的な空間変調パターン４２を配置し、このパターンの空間位相を変化させて３枚以上の画像を撮像し、この複数の画像間の演算により試料内部の断層像を得るというものである。観察面４８の像においては空間変調パターンの像が重なって観測されるが、観察面４８から外れた位置では空間変調パターンの像はぼける。したがって、空間変調パターンの像が含まれていない面からの情報を取り除き、残りの情報から空間変調パターンの像の情報を取り除くような画像演算を行うことにより、目的とする深さ位置の観察面のみの情報、すなわち、セクショニング像を得ることができる。
【０００６】
この手法によれば、空間変調パターン４２を例えばスリット状とすることにより、ピンホールを用いた共焦点観察法よりも明るい観察像を得ることができる。
【０００７】
【発明が解決しようとする課題】
上記の手法において、空間変調パターンを投影し、この空間変調パターンの空間位相を変化させるには、試料に対して空間変調パターンを相対的に移動させる必要がある。最も簡易的にこれを実現するには、平板状の基板等に作成された空間変調パターンを、ピエゾ素子等により機械的に駆動させることが考えられる。
【０００８】
一方、時間変化に対する試料の観測や、リアルタイムでの画像計測等の要求にも応えるためには、空間変調パターンの移動を非常に高速に行う必要がある。したがって、具体的には、空間変調パターンの移動と静止を高速に繰り返す必要がある。空間変調パターンを静止させる際、空間変調パターンに急激に静止するための加速度が加わり、それにより空間変調パターン自体がわずかに振動してしまう等、ただちに静止させることはできず、完全な静止までにある程度の時間を要することになる。したがって、空間変調パターンを移動した後、変調像を撮像するまでの間に待ち時間が発生してしまう。このため、空間変調パターンの移動と静止を繰り返す方法では高速化に限界がある。
【０００９】
本発明は従来技術のこのような問題点に鑑みてなされたものであり、その目的は、空間変調パターンを投影して試料のセクショニング像を観測する光学装置において、空間変調パターンの相対的な移動に伴う機械的な振動等の影響を考慮する必要がなく、高速、かつ、効率的な観察を行うことができる手法を提供することである。
【００１０】
【課題を解決するための手段】
上記の目的を達成するため、本発明の光学装置は、
（１） 時間的に発光強度が変化する光源装置と、
空間変調パターンと、
前記空間変調パターンを試料に投影する投影光学系と、
前記空間変調パターンにより変調を受けた前記試料の像を変調像として結像するための結像光学系と、
前記試料に対する前記空間変調パターンの相対的な空間位相を制御するための位相制御手段と、
前記空間位相がそれぞれ異なる複数の前記変調像を、前記光源装置の発光強度の時間的変化に同期して撮像する撮像手段と、
前記撮像手段により撮像された複数の前記変調像から前記試料の像を形成する画像処理手段と、
を有することを特徴とするものである。
【００１１】
図１に、本発明による光学装置の構成を示し、本発明の手段と作用を説明する。本発明の光学装置は、光源装置１、空間変調パターン２、投影光学系３、結像光学系５、位相制御手段８、撮像手段６、画像処理手段７、から構成されている。光源装置１からの光は、まず、空間変調パターン２に照射される。空間変調パターン２は、投影光学系３により試料４に投影される。空間変調パターン２が投影された試料４の像は結像光学系５により結像され、撮像手段６により撮像される。撮像された変調像は画像処理手段７によって画像処理される。
【００１２】
試料４に対する空間変調パターン２の相対的な空間位相は位相制御手段８によって制御される。ある空間位相の空間変調パターンにより試料４の変調像を撮像した後、位相制御手段８により空間変調パターン２の空間位相を変化させて再び試料４の変調像を撮像する。この動作を複数回繰り返し、得られた複数の変調像を画像処理することにより、試料４の像が形成される。複数の変調像から試料４の像を求める復調方法については、ＷＯ９８／４５７４５や、本出願人による特願平１０−１１１６４４号に記述された方法を用いることができる。それらの手法を用いることにより、試料４内の目的とする深さ位置のセクショニング像を得ることができる。
【００１３】
なお、空間変調パターン２の位相は、試料４に対して相対的に変位させられればよいため、空間変調パターン２自身を固定し、その他の光学系、例えば投影光学系３の一部を変位させる等によっても、空間位相を変位させることは可能である。
【００１４】
本発明の光学装置における光源装置１は、その発光強度が時間的に変化する。例えば、非常に短時間の間に発光強度の上昇と低下を繰り返すような光源を用いた場合、空間変調パターン２に光が照射されている時間は短時間であり、この短時間における変調像が撮像されるため、発光時間が十分短ければ空間変調パターン２の移動・静止に伴う機械的振動等による観測像への影響をなくすことができる。
【００１５】
（２） また、上記（１）において、前記位相制御手段は、前記光源装置の時間的な発光強度の変化に同期して動作するように構成することができる。
【００１６】
したがって、光源装置１の発光のタイミングに合わせて、空間変調パターン２の空間位相を変位させることができる。これにより、複数の変調像をより効率良く取得することができる。
【００１７】
（３） （１）あるいは（２）において、前記位相制御手段は、前記空間位相を時間的に連続に変化させるように構成することができる。
【００１８】
この場合、空間変調パターン２を静止させる機構は必要ないという利点がある。光源装置１の発光強度の変化に要する時間が、空間変調パターン２の空間位相の変化に要する時間に対して十分短いように構成することで、実現可能である。なお、前述のＷＯ９８／４５７４５にも、空間変調パターンの空間位相を連続的に変化させる構成についての記述があるが、光源については全く言及されていない。本発明のように、光源装置１からの発光強度が時間的に変化し、これに同期して、変調像を撮像する構成と、空間位相を時間的に連続して変化させる構成とを組み合わせることにより、高速で簡便なセクショニング像の観測を行うことができる。
【００１９】
（４） さらに、（１）〜（３）の何れかにおいて、前記光源装置からの光が周期的に明滅を繰り返すようにすることができる。
【００２０】
例えば、ある一定の時間間隔でフラッシュ状に発光する光源を用いることができる。これにより、光源装置１、位相制御手段８、撮像手段６のそれぞれを同一の周波数で同期させ、高速、かつ、効率良く観測を行うことができる。
【００２１】
（５） また、（１）〜（３）の何れかにおいて、時間的に制御可能なシャッターを有することができる。
【００２２】
前述のフラッシュ光源を用いない場合でも、周期的に高速動作するシャッターを光源装置１の射出部等に設けることで、１回の発光時間が短く周期的な光源装置を実現することができる。
【００２３】
（６） （４）又は（５）において、前記試料に対する前記空間位相の相対速度が一定であり、前記位相制御手段により前記空間位相が２π変化する時間内に前記光源装置の明滅がｍ回繰り返され（ただし、ｍは２以上の整数）、これに伴い撮像されたｍ枚の変調像から試料の像を形成するように構成することができる。 つまり、空間変調パターン２の空間位相が一定の速度で変位するようにし、空間変調パターン２の丁度１周期の時間で画像処理に必要な数の変調像を撮像するように構成することができる。これにより、位相制御手段８の構成が簡素化され、光源装置１の明滅のタイミングを適切に設定することで、効率良く観察像を得ることができる。
【００２４】
（７） また、（１）〜（６）の何れかにおいて、前記空間変調パターンが縞状の透過率分布を有するパターンとするのが最も簡易的で好ましい。これらにより、画像処理手段７による画像演算が比較的簡単なものになることが予想される。
【００２５】
（８） また、（６）において、前記試料の像を形成するために必要な画像の枚数が３枚であり、前記空間変調パターンが等間隔の平行な縞状の透過率分布を有するパターンであって、前記光源装置の１回の発光時間をｔ、前記空間変調パターンの縞間隔をｄ、前記空間変調パターンの縞に垂直な方向の相対的な移動速度をｖとしたとき、以下の式が成り立つように構成することができる。
【００２６】
ｔ＜ｄ／３０ｖ ・・・（１）
３枚の変調像から試料４の像を求める場合、各変調像における空間変調パターン２のそれぞれの空間位相は、おおよそ０°、１２０°、２４０°となるように設定することができる。ただし、空間変調パターン２の縞が試料４に対して相対的に一定速度で移動している場合、光源装置１の発光時間内も縞は移動しているため、各変調像における空間位相はある程度の広がりを持つ。つまり、変調像に投影されている縞の幅が実質上広がることになる。この空間位相の広がりによる影響を少なくするための条件として式（１）が成り立つように構成すると、この場合の各変調像における空間位相の広がりを±６°未満に抑えることができる。
【００２７】
（９） さらに、（８）において、 前記移動速度ｖが調整可能であるように構成することができる。
【００２８】
これにより、光源装置１の発光時間や発光周期に合わせて空間変調パターン２の相対的な移動速度を変更したり、観測の時間分解や信号強度の程度に応じて移動速度を調整することができる。
【００２９】
（１０） また、（４）〜（９）何れかにおいて、前記光源装置の１回の発光時間又は発光の周期が調整可能であるように構成することができる。
【００３０】
これにより、例えば上記（８）で述べた縞の広がりを可能な限り抑えたい場合には、１回の発光の発光時間を短くしたり、一方で１枚の変調像に対する照明光量を多くしたい場合には、発光時間を長くしたりすることができる。また、観測の時間分解の程度に応じて、発光周期を調整することも可能である。したがって、様々な観測条件に最も適した発光時間及び発光周期を選択することができる。
【００３１】
【発明の実施の形態】
以下、本発明の光学装置の実施例について説明する。
【００３２】
図２には、本発明による光学装置の例として、落射型光学顕微鏡装置が示されている。以下に、この光学装置の構成と作用について述べる。
【００３３】
図２において、光源装置１からの光は、コレクタレンズ１３により空間変調パターン１２を照射し、このパターンが投影レンズ１４を通過し、ビームスプリッター１６により反射され、対物レンズ１５により試料４に照射される。変調を受けた試料４の像は、対物レンズ１５を通過し、ビームスプリッター１６を透過して、結像レンズ１７によりＣＣＤカメラ１８に達する。ＣＣＤカメラ１８で撮像された複数の変調像は、一時的にコンピュータ２２で記憶される。
【００３４】
一方、空間変調パターン１２は、本実施例では図３に示すように等間隔ｄで並んだ縞模様が用いられる。この縞模様はガラスや樹脂等の透明な部材上に形成されている。そして、縞の透過率分布は、図４で示されるような正弦波関数で与えることができる。具体的には、透過率をＴｒ、縞と垂直のな方向の座標をｘとしたとき、
Ｔｒ＝｛１＋ｃｏｓ（２πｘ／ｄ）｝／２ ・・・（２）
で表されるように構成できる。この空間変調パターン１２は、コンピュータ２２で制御されるピエゾ素子１９によって、その空間位相が制御される。ここで、空間位相とは、試料４と試料４上に投影される空間変調パターン１２の像の相対的な位置関係のことである。また、空間位相が制御されるとは、試料４と空間変調パターン１２の像が予め決められた関係を持って相対的に移動することをいう。
【００３５】
ピエゾ素子１９は、空間変調パターン１２をその縞と垂直な方向（図３のｘ方向）に等速度で移動させる。そして、後述する方法に従い、パターンが距離ｄだけ移動する間に３枚の変調像が撮像される。撮像された３枚の変調像を用いて、コンピュータ２２で復調のための画像処理が行われる。復調の方法としては、ＷＯ９８／４５７４５や、本出願人による特願平１０−１１１６４４号に開示された方法を用いることができる。画像処理の結果形成された像は、表示装置２１において表示される。
【００３６】
本実施例における光源装置１には、フラッシュランプ１１が組み込まれている。図５（ａ）には、このフラッシュランプ１１の発光タイミングが示されている。図５（ａ）の縦軸は発光強度、横軸は時刻を表している。
【００３７】
フラッシュランプの１回の発光における発光時間ｔは、発光ピークにおける半値全幅で定義することにする。図５（ａ）においては、例えば時刻ｔ３からｔ４までの間が１回の発光時間、
ｔ＝ｔ４−ｔ３ ・・・（３）
となる。また、発光周期Ｔは、
Ｔ＝ｔ３−ｔ１＝ｔ６−ｔ３＝ｔ７−ｔ６ ・・・（４）
で表される。本実施例では、
ｔ＝５μｓ
Ｔ＝０．０１ｓ
と設定されている。
【００３８】
さらに、図５（ｂ）には、ＣＣＤカメラ１８の電子シャッターの動作タイミングが示されている。電子シャッターの開閉は、フラッシュランプ１１と同一の周期Ｔで動作する。ＣＣＤカメラ１８の電子シャッターは、フラッシュランプ１１の１回の発光時間よりやや長い時間開けておくことができる。例えば、時刻ｔ３からｔ４までの発光に対する撮像においては、電子シャッターはｔ３よりも早い時刻ｔ２に開く動作を行い、ｔ４よりも遅い時刻ｔ５に閉じる動作を行う構成にすることができる。
【００３９】
一方、空間変調パターン１２は、縞と垂直な方向に等速度で移動し、３枚の変調像が等しい時間間隔で撮像される。すなわち、それぞれの変調像における空間位相はそれぞれ約０°、１２０°、２４０°と表すことができる。つまり、各変調像において、空間変調パターン１２の縞の位置はｄ／３ずつ変化している。したがって、空間変調パターン１２の空間位相の移動速度をｖとすると、
ｖ＝ｄ／３Ｔ
となる。フラッシュの１回の発光時間内に空間変調パターン１２はｖｔだけ移動することになる。このとき、
ｖｔ＝ｄｔ／３Ｔ≒１．６７×１０-4ｄ
したがって、式（１）を満たしている。また、この式は１回の発光時間の間に動く縞の量が、縞間隔の０．０１６７％程度であることを示している。空間位相で表すと、０．０６°程度である。これは、１枚の変調像を撮像している間の縞の移動が十分無視できる程度であることを示している。
【００４０】
なお、光源装置１、ＣＣＤカメラ１８、空間変調パターン１２は全てコンピュータ２２により制御され、それぞれを最適なタイミングで動作させることが可能である。例えば、試料４からの信号が微弱な場合に、光源装置１の発光時間を長くし、これに伴い空間変調パターン１２の移動速度を抑えてＳ／Ｎを向上させるようなことが可能である。
【００４１】
また、本実施例で用いるフラッシュランプ１１には１回の発光で放射されるエネルギが連続光光源よりも大きく、高周波で動作するものを用いることができる。本実施例で用いたフラッシュランプ１１の周期も、０．０１秒、つまり周波数が１００Ｈｚであるので、変調像３枚一組で１枚の復調像を得るとしたときに、およそ３３Ｈｚという略リアルタイムでの観察が可能である。
【００４２】
なお、本実施例では、表面に縞模様が形成された透明な部材を光路中に配置して、投影レンズ１４を介して空間変調パターン１２を試料４に投影しているが、図６に示すように、干渉計１００で干渉縞１０４を形成し、この干渉縞１０４を空間変調パターン１２として用いることもできる。この場合、空間変調パターンは、直接試料４に形成されるので、図２に示すような投影レンズ１４は不要となる。また、試料４に対して空間変調パターンを移動させる場合は、干渉計の参照ミラー１０３を移動させればよい。なお、図６中、１０１は光源、１０２はハーフミラー、１０５はシャッター、１０６はミラーである。
【００４３】
以上の本発明の光学装置は例えば次のように構成することができる。
【００４４】
〔１〕 時間的に発光強度が変化する光源装置と、
空間変調パターンと、
前記空間変調パターンを試料に投影する投影光学系と、
前記空間変調パターンにより変調を受けた前記試料の像を変調像として結像するための結像光学系と、
前記試料に対する前記空間変調パターンの相対的な空間位相を制御するための位相制御手段と、
前記空間位相がそれぞれ異なる複数の前記変調像を、前記光源装置の発光強度の時間的変化に同期して撮像する撮像手段と、
前記撮像手段により撮像された複数の前記変調像から前記試料の像を形成する画像処理手段と、
を有することを特徴とする光学装置。
【００４５】
〔２〕 前記位相制御手段は、前記光源装置の時間的な発光強度の変化に同期して動作することを特徴とする上記１記載の光学装置。
【００４６】
〔３〕 前記位相制御手段は、前記空間位相を時間的に連続して変化させることを特徴とする上記１又は２記載の光学装置。
【００４７】
〔４〕 前記光源装置からの光が周期的に明滅を繰り返すことを特徴とする上記１〜３の何れか１項記載の光学装置。
【００４８】
〔５〕 前記光源装置は、時間的に制御可能なシャッターを有することを特徴とする１〜３の何れか１項記載の光学装置。
【００４９】
〔６〕 前記試料に対する前記空間位相の相対速度が一定であり、前記位相制御手段により前記空間位相が２π変化する時間内に前記光源装置の明滅がｍ回繰り返され（ただし、ｍは２以上の整数）、これに伴い撮像されたｍ枚の変調像から試料の像を形成することを特徴とする上記４又は５記載の光学装置。
【００５０】
〔７〕 前記空間変調パターンが縞状の透過率分布を有するパターンであることを特徴とする上記１〜６の何れか１項記載の光学装置。
【００５１】
〔８〕 前記試料の像を形成するために必要な画像の枚数が３枚であり、前記空間変調パターンが等間隔の平行な縞状の透過率分布を有するパターンであって、前記光源装置の１回の発光時間をｔ、前記空間変調パターンの縞間隔をｄ、前記空間変調パターンの縞に垂直な方向の相対的な移動速度をｖとしたとき、以下の式が成り立つことを特徴とする上記６記載の光学装置。
【００５２】
ｔ＜ｄ／３０ｖ ・・・（１）
〔９〕 前記移動速度ｖが調整可能であることを特徴とする上記８記載の光学装置。
【００５３】
〔１０〕 前記光源装置の１回の発光時間又は発光の周期が調整可能であることを特徴とする上記４〜９の何れか１項記載の光学装置。
【００５４】
〔１１〕 時間的に発光強度が変化する光源装置と、
空間変調パターンを直接試料に形成する光学系と、
前記空間変調パターンにより変調を受けた前記試料の像を変調像として結像するための結像光学系と、
前記試料に対する前記空間変調パターンの相対的な空間位相を制御するための位相制御手段と、
前記空間位相がそれぞれ異なる複数の前記変調像を、前記光源装置の発光強度の時間的変化に同期して撮像する撮像手段と、
前記撮像手段により撮像された複数の前記変調像から前記試料の像を形成する画像処理手段と、
を有することを特徴とする光学装置。
【００５５】
【発明の効果】
以上の説明から明らかなように、本発明の光学装置によれば、空間変調パターンを投影して試料のセクショニング像を観測する光学装置において、時間的に発光強度が変化する光源装置を用い、その発光強度の時間的変化に同期して試料の変調像を撮像することにより、空間変調パターンの相対的な移動に伴う機械的な振動等の影響を考慮する必要がなく、高速、かつ、効率的な観察を行うことができる。
【図面の簡単な説明】
【図１】本発明による光学装置の構成を示す図である。
【図２】本発明による１実施例の落射型光学顕微鏡装置の構成を示す図である。
【図３】空間変調パターンの例を示す図である。
【図４】図３の空間変調パターンの透過率分布を示す図である。
【図５】本発明の実施例における光源装置の発光とＣＣＤカメラのシャッターの動作タイミングを示す図である。
【図６】図２の実施例の変形例の構成を示す図である。
【図７】従来の共焦点観察法を行うための光学系の構成を示す図である。
【図８】従来の空間変調パターンを投影して試料セクショニング像を観察する光学装置の構成を示す図である。
【符号の説明】
１…光源装置
２…空間変調パターン
３…投影光学系
４…試料
５…結像光学系
６…撮像手段
７…画像処理手段
８…位相制御手段
１１…フラッシュランプ
１２…空間変調パターン
１３…コレクタレンズ
１４…投影レンズ
１５…対物レンズ
１６…ビームスプリッター
１７…結像レンズ
１８…ＣＣＤカメラ
１９…ピエゾ素子
２１…表示装置
２２…コンピュータ
３１…光源
３２…ピンホール
３３…照明光学系
３５…結像光学系
３６…ピンホール
３７…検出器
３８…観察面
４１…光源
４２…空間変調パターン
４３…照明光学系
４５…結像光学系
４７…撮像手段
４８…観察面
Claims (3)
- 時間的に発光強度が変化する光源装置と、
空間変調パターンと、
前記空間変調パターンを試料に投影する投影光学系と、
前記空間変調パターンにより変調を受けた前記試料の像を変調像として結像するための結像光学系と、
前記試料に対する前記空間変調パターンの相対的な空間位相を制御するための位相制御手段と、
前記空間位相がそれぞれ異なる複数の前記変調像を、前記光源装置の発光強度の時間的変化に同期して撮像する撮像手段と、
前記撮像手段により撮像された複数の前記変調像から前記試料の像を形成する画像処理手段と、
を有することを特徴とする光学装置。 - 前記位相制御手段は、前記光源装置の時間的な発光強度の変化に同期して動作することを特徴とする請求項１記載の光学装置。
- 前記位相制御手段は、前記空間位相を時間的に連続して変化させることを特徴とする請求項１又は２記載の光学装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29977199A JP4429431B2 (ja) | 1999-10-21 | 1999-10-21 | 光学装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29977199A JP4429431B2 (ja) | 1999-10-21 | 1999-10-21 | 光学装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001117010A JP2001117010A (ja) | 2001-04-27 |
| JP4429431B2 true JP4429431B2 (ja) | 2010-03-10 |
Family
ID=17876774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29977199A Expired - Fee Related JP4429431B2 (ja) | 1999-10-21 | 1999-10-21 | 光学装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4429431B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0200819D0 (en) | 2002-01-15 | 2002-03-06 | Cole Polytechnique Federale De | Microscopy imaging apparatus and method for generating an image |
| DE102007018048A1 (de) | 2007-04-13 | 2008-10-16 | Michael Schwertner | Verfahren und Anordnung zur optischen Abbildung mit Tiefendiskriminierung |
| JP4952354B2 (ja) * | 2007-04-20 | 2012-06-13 | 株式会社ニコン | 観察装置 |
| JP2012008260A (ja) | 2010-06-23 | 2012-01-12 | Hamamatsu Photonics Kk | 画像生成装置 |
| JP2012008261A (ja) | 2010-06-23 | 2012-01-12 | Hamamatsu Photonics Kk | 画像生成装置 |
| JP6246555B2 (ja) * | 2013-10-25 | 2017-12-13 | 株式会社キーエンス | 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム |
| JP6305012B2 (ja) * | 2013-10-25 | 2018-04-04 | 株式会社キーエンス | 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH086113A (ja) * | 1994-06-23 | 1996-01-12 | Nikon Corp | カメラ |
| GB2338858B (en) * | 1997-04-04 | 2000-12-27 | Isis Innovation | Microscopy imaging apparatus and method |
| JPH11242189A (ja) * | 1997-12-25 | 1999-09-07 | Olympus Optical Co Ltd | 像形成法、像形成装置 |
| JPH11211439A (ja) * | 1998-01-22 | 1999-08-06 | Takaoka Electric Mfg Co Ltd | 表面形状計測装置 |
-
1999
- 1999-10-21 JP JP29977199A patent/JP4429431B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001117010A (ja) | 2001-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5592763B2 (ja) | 物体表面の高さマップを求める方法及びその装置 | |
| US9386236B2 (en) | Periodic fringe imaging with structured pattern illumination and electronic rolling shutter detection | |
| JP6309459B2 (ja) | ストライプ照明の飛行時間型カメラ | |
| JP2009544952A (ja) | 画像作成センサーを備えた動的画像記録 | |
| JP4429431B2 (ja) | 光学装置 | |
| US10598916B2 (en) | Image acquisition device and method and system for acquiring focusing information for specimen | |
| JP2009511932A (ja) | 映像測定装置及びその方法 | |
| JPH0830648B2 (ja) | 光学像コントラストを発生させる装置 | |
| JP2003075134A (ja) | 光干渉を用いた形状測定方法および形状測定装置 | |
| JP4286227B2 (ja) | 画面の動画質測定評価装置 | |
| US6710799B2 (en) | Microscopic motion measuring | |
| JP2011043504A (ja) | 対象物の表面を光学検査するための装置および方法 | |
| JP4100553B2 (ja) | 動的形状及び動的位置の同時測定装置及び同時測定方法 | |
| JP4186263B2 (ja) | 顕微鏡 | |
| JP5856440B2 (ja) | 観察装置 | |
| JP5342178B2 (ja) | 形状測定装置およびその形状測定方法 | |
| KR20230036950A (ko) | 한 번의 스캔 과정시 다수의 영상 정보를 획득하는 입체형상 측정장치 | |
| JP2004184699A (ja) | 共焦点顕微鏡装置 | |
| JP2007071790A (ja) | Ｍｅｍｓの動作診断装置及び動作診断方法 | |
| JP2881062B2 (ja) | 基板の位置合わせ方法およびその装置 | |
| JP2004347426A (ja) | 形状測定装置及び測定方法 | |
| JP4177188B2 (ja) | 動的形状及び動的位置の同時測定方法、装置、光学素子 | |
| KR101545491B1 (ko) | 간섭계의 스캐닝 동기화 방법 | |
| JP2006119099A (ja) | 周期可動物の変位測定装置 | |
| KR101545849B1 (ko) | 간섭계의 스캐닝 동기화 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060925 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091125 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091216 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121225 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131225 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |