JP6489326B2 - 焦点維持装置及び顕微鏡 - Google Patents

焦点維持装置及び顕微鏡 Download PDF

Info

Publication number
JP6489326B2
JP6489326B2 JP2016171377A JP2016171377A JP6489326B2 JP 6489326 B2 JP6489326 B2 JP 6489326B2 JP 2016171377 A JP2016171377 A JP 2016171377A JP 2016171377 A JP2016171377 A JP 2016171377A JP 6489326 B2 JP6489326 B2 JP 6489326B2
Authority
JP
Japan
Prior art keywords
light
focus
cover glass
objective lens
reflected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016171377A
Other languages
English (en)
Other versions
JP2016197272A (ja
Inventor
文宏 嶽
文宏 嶽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2016171377A priority Critical patent/JP6489326B2/ja
Publication of JP2016197272A publication Critical patent/JP2016197272A/ja
Application granted granted Critical
Publication of JP6489326B2 publication Critical patent/JP6489326B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、焦点維持装置及び顕微鏡に関する。
近年、焦点維持装置を有する顕微鏡が市場を拡大しつつある。常に標本に合焦し続ける焦点維持装置は、長時間のタイムラプス観察や試薬投与に伴う観察画像のボケやユレを効果的に除去することができる。
焦点維持の手法の一つとして、アクティブ方式がある。この手法は、標本(カバーガラスなど)に照射した光(以下「AF光」と呼ぶ)の反射光から、標本のz位置(光軸方向位置)を検出するものである(例えば、特許文献1参照)。具体的には、図16(a)に示すように、対物レンズ12の瞳の半分の領域を通過させてカバーガラス20にAF光Lを照射し、その反射光L′を遮光部7を介して集光レンズ8で集光し、この集光した反射光L′を光検出器9で検出することにより、この光検出器9上での光強度分布によりz位置情報を算出する。
米国発行特許発明第7,071,451号明細書
図17は、カバーガラス20で覆われた試料30に対して、顕微鏡の対物レンズ12を介して、AF光Lと試料30の観察のための顕微鏡励起光(以下、「照明光Le」と呼ぶ)とを照射する構成を示している。なお、この図17に示す顕微鏡は、対物レンズ12を介して試料30に照明光Leを照射し、この照明光Leで励起した試料30から放射される蛍光(信号光)を観察する光路に対して、ダイクロイックミラー6を配置し、AF光Lをこのダイクロイックミラー6で反射させて光路上に重畳し、対物レンズ12を介してカバーガラス20又は試料30に照射するように構成されている。図17(a)に示すように、オフセットレンズなどによりAF光Lの瞳にデフォーカス量(位相)を付与し、対物レンズ12で集光されるこのAF光Lの焦点位置が照明光Leより手前になるように設定することで、AF光Lは焦点維持制御(以下、「AF制御」とも呼ぶ)の基準となる反射面(カバーガラス20の下面と空気、浸液等の媒質との界面)に焦点を結び、照明光Leはユーザー所望のz位置に焦点を結ぶ。このAF光Lの焦点面と照明光Leの焦点面との光軸方向のオフセット量Δzを大きくすることで、顕微鏡観察光(信号光)により、標本30のより深部を観察することが可能となる。
このとき、観察条件によって、カバーガラス20の両面がAF光Lの反射面となる場合がある。試料30に対して下から照明光Leを照射する倒立顕微鏡では、2つの反射面が存在する場合がある。ドライ観察の場合、一方は、空気とカバーガラス20の下面の界面であり、他方は、カバーガラス20の上面と試料30の界面である。また、液浸観察の場合、一方は、水とカバーガラス20の下面の界面であり、他方は、カバーガラス20の上面と試料30の界面である。このような条件下においては、参照している面からの反射光に他方の面からの反射光が混入し、両者の信号の識別ができなくなった結果、他方の面を新たな参照面と見なして焦点維持機能が働いてしまう場合がある。すなわち、正しくはカバーガラス20の下面が参照面であったのに(図17(a))、カバーガラス20の上面が参照面となってしまう(図17(b))。その結果、顕微鏡の観察面(照明光Leの集光位置)も光軸方向にずれてしまい、ユーザー所望の位置を観察することが困難になる。
上述した図16を用いてこの現象を更に詳細に説明する。図16ではドライ観察を行っている。ドライ観察では、カバーガラス20の下面を参照面とすることが多い。これは、下面からの反射光の方が光強度が大きいからである。カバーガラス20の上面はガラスと試料30の界面であり、カバーガラスの下面は、空気とガラスの界面である。空気の屈折率を1とし、ガラス(カバーガラス20)の屈折率を1.5とし、試料30の屈折率を1.3とすると、垂直入射の場合のカバーガラス20の上面及び下面の反射率Ru,Rbはそれぞれ、次式(1)及び(2)から求められる。
Figure 0006489326
よって、カバーガラス20への入射光の強度をI0とし、カバーガラス20の下面で反射した光の強度をIbottomとすると、Ibottom=RbI0=0.04I0となる。一方、カバーガラス20の下面を透過し、上面で反射し、再び下面を透過した光の強度をItopとすると、Itop=(1−Rb2×Ru=0.005I0となる。そして、IbottomとItopとの比をとると、Ibottom/Itop=8となる。このようにドライ観察では、カバーガラス20の下面からの反射光は上面に比べておよそ1桁大きい。
以下,カバーガラス20と試料30とを合わせて標本40と呼ぶことにする。標本40が基準位置にあるときは、参照面と光検出器9のセンサ面とが共役となるので、図16(a)に示すように、光検出器9ではシャープな信号が検出される。ピークを中心として光検出器9のセンサ面を左右2分割し、各ピクセルで光強度を算出する。その左右の差から焦点ズレの方向を判断し、差がゼロになるように対物レンズ12と標本40との相対距離を変化させることで、焦点ずれを補正することができる。
図16(b)に示すように、標本40が対物レンズ12からΔzだけ離れると、光検出器9ではデフォーカス信号が検出される。遮光部7により瞳の半分を遮光することで、検出信号は対称ではなくなる。その信号から焦点ズレの方向を検知することができる。しかし、図16(c)に示すように、標本40が対物レンズ12にΔzだけ近づいた場合、カバーガラス20の上面からの信号(反射光L″)がカバーガラス20の下面からの信号(反射光L′)と競合することがある。前述したように、光強度は下面からの反射光L′のほうが大きいが、Δzが大きくなることで下面のデフォーカス量(位相)が大きくなると、光検出器9に入射する反射光の光密度が低下するので、各ピクセルで検出される信号強度が低下する。一方、カバーガラス20の上面からの反射光L″はΔzが大きくなるにつれて、デフォーカス量(位相)は小さくなる。従って、両面からの信号が競合するようになる。特に、ドライ観察で用いられる対物レンズ12は焦点深度が大きいので(10倍でNA0.3の対物レンズの場合、〜10μm)、この問題が顕著になる。
本発明は、このような課題に鑑みてなされたものであり、観察光に依存せず、安定して対物レンズの焦点を所望の位置に維持させる焦点維持装置及びこの焦点維持装置を有する顕微鏡を提供することを目的とする。
前記課題を解決するために、本発明の第一の態様に係る焦点維持装置は、第1の光と第2の光との間に位相差を付与する部材を有し、第1の光を標本の第1の位置に集光させ、第2の光を前記標本の前記第1の位置とは異なる第2の位置に集光させる第1光学系と、前記第1の位置で反射した第1の光と、前記第2の位置で反射した第2の光とを検出する検出部と、前記検出部により検出された検出情報に基づいて対物レンズと前記標本との相対位置関係を変化させることで、前記対物レンズの焦点面を前記標本の所定の位置に維持する制御部と、を有する。
本発明に係る焦点維持装置及び顕微鏡を以上のように構成することにより、2つの参照面からの信号を両方検出することができ、これにより、参照面が切り替わったことを検知して対物レンズの焦点を所望の位置に維持させることができる。
第1の実施例に係る焦点維持装置を有する顕微鏡の構成を示す説明図である。 位相マスクで付与されるデフォーカス量(位相)を説明するための説明図である。 基準位置にあるときの焦点維持装置の状態を説明するための説明図であって、(a)は対物レンズ部におけるAF光の状態を示し、(b)はセンサ部におけるAF光の状態を示し、(c)はその検出結果を示す。 カバーガラスが対物レンズから離れたときの焦点維持装置の状態を説明するための説明図であって、(a)は対物レンズ部におけるAF光の状態を示し、(b)はセンサ部におけるAF光の状態を示し、(c)はその検出結果を示す。 図4の状態における2つの光検出部の検出結果を示す説明図であって、(a)はズレが小さいときを示し、(b)は正しい焦点維持制御の状態を示し、(c)はズレが大きいときを示し、(d)は正しくない焦点維持制御の状態を示す。 図5において、正しくない焦点維持制御のときの対物レンズ部におけるAF光の状態を示す説明図である。 カバーガラスが対物レンズに近づいたときの焦点維持装置の状態を説明するための説明図であって、(a)は対物レンズ部におけるAF光の状態を示し、(b)はセンサ部におけるAF光の状態を示し、(c)はその検出結果を示す。 図7の状態における2つの光検出部の検出結果を示す説明図であって、(a)はズレが小さいときを示し、(b)は正しい焦点維持制御の状態を示し、(c)はズレが大きいときを示し、(d)は正しくない焦点維持制御の状態を示す。 図8において、正しくない焦点維持制御のときの対物レンズ部におけるAF光の状態を示す説明図である。 制御部による第1の制御パターンのフローチャートである。 制御部による第2の制御パターンのフローチャートである。 第1の実施形態の焦点維持装置の変形例の構成を示す説明図である。 第1の実施形態の焦点維持装置の別の変形例の構成を示す説明図である。 第2の実施例に係る焦点維持装置を有する顕微鏡の構成を示す説明図である。 第2の実施例において、デフォーカス付与機構で付与されるデフォーカス量(位相)を説明するための説明図である。 従来の焦点維持装置におけるAF光の状態を示す説明図である。 従来の焦点維持装置における焦点維持方法を説明するための説明図である。
以下、本発明の好ましい2つの実施形態について図面を参照して説明する。
[第1の実施形態]
まず、図1〜図11を用いて、第1の実施形態に係る焦点維持装置を有する顕微鏡について説明する。図1に示すように、この顕微鏡100は、照明光学系120及び観察光学系130と、これらの光学系120,130に含まれる対物レンズ12の焦点位置を標本40の所望の位置に維持する焦点維持装置110と、から構成される。
照明光学系120は、光源15と、この光源15から放射された照明光を集光して略平行光束とするコンデンサレンズ16と、このコンデンサレンズ16から出射した照明光を反射する第3ダイクロイックミラー17と、この第3ダイクロイックミラー17で反射した照明光を標本40上に集光する対物レンズ12とを有している。また、観察光学系130は、標本40側から順に、上述の対物レンズ12及び第3ダイクロイックミラー17と、標本40から出射して、対物レンズ12で略平行光束に集光され、第3ダイクロイックミラー17を透過した蛍光(観察光)を撮像素子14の撮像面上に集光する結像レンズ13とを有している。なお、この第3ダイクロイックミラー17は、照明光の波長の光を反射し、信号光の波長の光を透過する性質を有している。
また、焦点維持装置110は、AF光を放射するAF用光源1と、このAF用光源1から放射されたAF光を略平行光束にするコリメータレンズ2と、カラーフィルタ3a及び位相マスク3bからなる変調部3と、この変調部3を通過したAF光をリレーする瞳リレーレンズ4と、瞳リレーレンズ4を通過したAF光の一部を透過し、残りを反射するハーフミラー5と、照明光学系120及び観察光学系130の共通光路上に配置され、ハーフミラー5を透過したAF光を対物レンズ12に導く第1ダイクロイックミラー6と、このAF光が標本40で反射し、対物レンズ12で再びコリメートされて、第1ダイクロイックミラー6で反射されたAF光の反射光のうち、ハーフミラー5で反射された反射光の一部の波長の光を透過し残りを反射する第2ダイクロイックミラー10と、第2ダイクロイックミラー10を透過した光の光束の半分を遮光する第1遮光部7aと、この第1遮光部7aを通過した反射光を集光する第1集光レンズ8aと、第1集光レンズ8aの焦点面上若しくはその近傍に配置され、第1集光レンズ8aで集光された反射光の強度を検出する第1光検出器9aと、第2ダイクロイックミラー10で反射した光を反射するミラー11と、このミラー11で反射した反射光の光束の半分を遮光する第2遮光部7bと、この第2遮光部7bを通過した反射光を集光する第2集光レンズ8bと、第2集光レンズ8bの焦点面上若しくはその近傍に配置され、第2集光レンズ8bで集光された反射光の強度を検出する第2光検出器9bと、を有している。なお、AF用光源1はLEDやLDで構成される。また、瞳リレーレンズ4は、対物レンズ12の射出瞳を変調部3の位相マスク3b上にリレーする。すなわち、対物レンズ12の射出瞳と変調部3の位相マスク3bとは略共役関係を有している。また、第1及び第2光検出器9a,9bは、ラインCCD、PSD(光位置センサ),QPD(4分割フォトダイオード)等で構成されている。また、照明光学系120はクリティカル照明に限定する必要はなく、ケーラー照明でも、その他の照明方式でも良い。
また、この焦点維持装置110は、第1及び第2光検出器9a,9bからの出力信号を処理して、顕微鏡100に設けられた駆動部60の作動を制御をして、対物レンズ12と標本40との相対位置を変化させるように構成されている。この駆動部60は、対物レンズ12を光軸方向に移動させるように構成しても良いし、標本40が載置された図示しないステージを光軸方向に移動させるように構成しても良い。
カラーフィルタ3aは、分離部に相当し、図1に示すように、光軸を含む境界で対物レンズの射出瞳(対物レンズの射出瞳そのもの、及びリレーレンズでリレーした瞳も含む)を2分割し(円形の瞳に対して、光軸を含む2つの半円の領域に分割し)、それぞれの領域は互いに異なる波長の光のみを通過させるように構成されている。例えば、本実施形態においては、照明光学系120の照明光の波長、標本40から発生する蛍光の波長と分離可能なように、一方の領域は赤色の光(例えば、800nm)のみを通過させ、他方の領域は青色の光(例えば、700nm)のみを通過させるように構成されている。また、位相マスク3bはデフォーカス情報付与部に相当し、カラーフィルタ3aで分離された光に位相差(光路長差)を付与する、つまりそれぞれ異なるデフォーカス量(位相)を付与する。例えば、青色の光には、標本面の上側にフォーカスするようなデフォーカス量(位相)を、赤色の光には標本面の下側にフォーカスするようなデフォーカス量(位相)を付与する。ここで、AF光の波長をλとし、対物レンズ12の開口数をNAとし、瞳座標をρとすると、デフォーカス量(位相)Δφと、蛍光(観察光)の焦点位置)に対するAF光の焦点位置のオフセット量Δz0との関係は、次式(3)のように表される。但し、|ρ|≦1とする。
Figure 0006489326
この式(3)に基づいて、青色の光に付与するデフォーカス量(位相)をφBとし、赤色の光に付与するデフォーカス量(位相)をφRとしたときの、瞳座標ρとデフォーカス量(位相)φとの関係を図2に示す。このように、AF光の波長により、デフォーカス量(位相)が異なるので、これらのデフォーカス量(位相)ΔφR及びΔφBの差を制御することで、オフセット量Δz0を制御することができる。すなわち、赤色の光と青色の光の間のデフォーカス量(位相)の差ΔφB−ΔφRは、次式(4)に示すように、屈折率がnで、厚みがLのカバーガラス20が付与する光位相に等しくなるように設定する。
Figure 0006489326
なお、位相マスク3bとしては、厚みや屈折率が、上述の式(3),(4)で決まるデフォーカス量(位相)と、カバーガラス20の厚みを満たすように設計された素子を用いても良いし、位相型の空間光変調器(Spatial Light Modulator:SLM)を用いても良い。SLMでは、光位相を自由に可変できるので、オフセット量や厚みの補正が容易で有り、固定の素子に比べて優れている。また、試料30を保持するサンプルホルダとしてカバーガラス20を例に説明しているが、これに限定されることはなく、例えば、プラスティックディッシュや96wellでも良い。その際は、プラスティックの厚みと屈折率に基づいて、上述の式(4)で決まる適切な位相差を位相マスク3bに設定する必要がある。
変調部3を構成するカラーフィルタ3a及び位相マスク3bを透過したAF光は、瞳リレーレンズ4を通過し、ハーフミラー5を透過し、第1ダイクロイックミラー6で反射されて対物レンズ12に導かれる。そして、この対物レンズ12によって、AF光のうち、赤色の光はカバーガラス20の下面に結像され、青色の光はカバーガラス20の上面に結像される。カバーガラス20のこれらの反射面(上面及び下面)で反射したAF光は再び対物レンズ12を通り,第1ダイクロイックミラー6で反射され、さらにハーフミラー5で反射されて結像光学系に導かれる。この結像光学系において、第2ダイクロイックミラー10は、AF光を構成する赤色の光と青色の光とを波長分離する。すなわち、AF光の反射光のうち、青色の光は第2ダイクロイックミラー10を透過し、第1集光レンズ8aで第1光検出器9a上に集光される。なお、第1遮光部7aはノイズとなる余分な光をカットする役目を果たす。また、AF光の反射光のうち、赤色の光は第2ダイクロイックミラー10で反射され、さらに、ミラー11で反射され、第2集光レンズ8bで第2光検出器9b上に集光される。なお、第2遮光部7bはノイズとなる余分な光をカットする役目を果たす。これらの第1光検出器9a又は第2光検出器9bで検出された信号を用いて焦点ズレの方向を検知し、対物レンズ12と標本40との相対位置を補正する。なお,焦点維持にはカバーガラス20の上下面どちらの信号を用いても良い。
図3(a)に示すように、AF光のうち、青色の光Lbは、光軸の右側を通りカバーガラス20の上面で反射する。また、赤色の光Lrは、光軸の左側を通りカバーガラス20の下面で反射する。そして、図3(b)に示すように、青色の光Lbの反射光Lb′は第1光検出器9a上に集光され、また、赤色の光Lrの反射光Lr′は第2光検出器9b上に集光される。このとき、標本面(カバーガラス20の上面及び下面)と第1及び第2光検出器9a,9bとは共役であるため、標本面からの反射光は、第1及び第2光検出器9a,9bの中心部に結像しており、図3(c)に示すように、これらの第1及び第2光検出器9a,9bの中心部にピークを持つシャープな信号が観察されることになる。
図4は、基準位置(図3に示すように、カバーガラス20の上下面と第1及び第2光検出器9a,9bとが共役なとき)に対して、標本(カバーガラス20)と対物レンズ12との距離が離れた場合を示している。ここで、カバーガラス20の厚みをdとし、赤色の光Lrの基準位置をカバーガラス20の下面、青色の光Lbの基準位置をカバーガラス20の上面とする。赤色の光Lrにとって、第2光検出器9bと共役な位置(焦点ズレがないときのカバーガラス20の下面)と焦点ズレ(Δz)が生じた時のカバーガラス20の上下面との間隔はそれぞれ、d+Δz、Δzとなる。したがって、カバーガラス20の下面からの反射光Lr′の方が共役な位置に対してデフォーカス量(位相)が少ないので、第2光検出器9bで観測される信号は下面からの反射光Lr′が支配的になる。図4(b)に示すように、このカバーガラス20の下面からの反射光Lr′は、図4(c)に示すように、第2光検出器9bの左側にピークを持つ左右非対称な信号として観測される。
一方,青色の光Lbにとって、第1光検出器9aと共役な位置(焦点ズレがないときのカバーガラス20の上面)とカバーガラス20の上下面との間隔はそれぞれ、Δz、d−Δzとなる。ここで、Δz=d/2となったときには、カバーガラス20の上下面からの反射光の共役な位置に対するデフォーカス量(位相)は等しくなる。このようにΔzが大きくなると、図4(c)に示すように、カバーガラス20の上面で反射した青色の光Lb′は第1光検出器9aの右側に片寄った信号となり、下面で反射した青色の光Lb″は第1光検出器9aの左側に片寄った信号となる。
焦点ズレが小さく、青色の入射光Lbがカバーガラス20の下面で反射した光Lb″による信号の強度が無視できる場合には、図5(a)に示すように、赤色の光Lr′は第2光検出器9bの左側で検出され、青色の光Lb′(青色の入射光Lbがカバーガラス20の上面で反射した反射光)は第1光検出器9aの右側で検出される。この状態では、図5(b)に示すように、赤色の信号に基づいて焦点制御しても、青色の信号に基づいて焦点制御しても、両者の信号は中心にピークを持つことになる。
一方、焦点ズレが大きくなり、青色の入射光Lbがカバーガラス20の下面で反射した光Lb″による信号が支配的になった場合には、図5(c)に示すように、カバーガラス20の上面で反射した青色の光Lb′は第1光検出器9aの右側で検出され、カバーガラス20の下面で反射した青色の光Lb″は第1光検出器9aの左側で検出される。また、赤色の光Lr′は同様に第2光検出器9bの左側で検出される。このとき、赤色の光Lr′を検出する第2光検出器9bの信号に基づいて焦点維持制御した場合は、標本(カバーガラス20)と対物レンズ12との距離が近づくので、正しく焦点補正され、図5(b)に示すように、第1光検出器9a、第2光検出器9bともに、左右対称なシャープな信号が検出される。しかし、青色の光Lb′を検出する第1光検出器9aの信号に基づいて焦点維持制御をした場合には、カバーガラス20の下面で反射した青色の光Lb″による信号が支配的なので、標本(カバーガラス20)と対物レンズ12との距離がさらに離れることになる。その結果、図5(d)に示すように、第1光検出器9aでは、カバーガラス20の下面で反射した青色の光Lb″がシャープに観測されるが、第2光検出器9bの赤色の信号Lr′はデフォーカス量(位相)が大きくなるため観測が困難になる。このときは、対物レンズ12とカバーガラス20との関係は図6のようになっており、ユーザーが望む観察位置と異なる面を見ていることになる。
図5(d)に示すように、焦点維持制御の結果、第1及び第2光検出器9a,9bの両方でシャープな信号が観測されないときは、正しい焦点維持制御できていないという判断を得ることができる。このように本手法を用いることで、誤った焦点維持が発生した場合に、それを検出することができる。
また、図5(d)の状態を検出した後、対物レンズ12と標本(カバーガラス20)との相対距離を図5(c)から図5(d)に至る過程の逆方向に変化させることで、正しい焦点維持制御に戻すことができる。図5(d)及び図6に示す状態では、図5(c)から図5(d)に至る過程で対物レンズ12と標本(カバーガラス20)との相対距離がより離れている。そのため、標本(カバーガラス20)と対物レンズ12との相対距離を近づけることで、図5(c)の状態を経て、図5(b)の状態に到達し、正しい焦点維持制御を回復することができる。
従って、対物レンズ12と標本(カバーガラス20)との相対距離が近づいたか、離れたか、という情報は、どちらの色の信号、つまり、どちらの面の信号が消失あるいは検出されているかで判断することができ、カバーガラス20の下面から赤色の光の反射光、つまり第2光検出器9bの赤色の信号Lr′が検出されない場合(これも赤色の光が反射した結果得られる情報に含む)は、対物レンズ12と標本(カバーガラス20)との相対距離が(間違った方向に)より離れていることがわかる。
このように、本手法を用いることで、異常な焦点維持制御が生じた場合の検知、及びその自動補正を実現することができる。
次に、標本(カバーガラス20)と対物レンズ12とが近づいた場合の制御について述べる。図7は基準位置(図3の状態)に対して、標本(カバーガラス20)と対物レンズ12との距離が近づいた場合である。カバーガラス20の厚みをdとし、赤色の光Lrの基準位置をカバーガラス20の下面とし、青色の光Lbの基準位置をカバーガラス20の上面とする。
青色の光Lbにとって、第1光検出器9aと共役な位置(焦点ズレがないときのカバーガラス20の上面)と焦点ズレが生じたときのカバーガラス20の上下面との間隔はそれぞれ、Δz、d+Δzとなる。したがって、カバーガラス20の上面からの反射光Lb′の方が共役な位置に対してデフォーカス量(位相)が少なく、第1光検出器9aで観測される信号はこの上面からの反射光Lb′が支配的になる。このとき、図7(c)に示すように、この信号は第1光検出器9aの左側に片寄った左右非対称な信号として観測される。
一方,赤色の光Lrにとって、第2光検出器9bと共役な位置(焦点ズレがないときのカバーガラス20の下面)とカバーガラス20の上下面との間隔はそれぞれ、d−Δz、Δzとなる。ここで、Δz=d/2となったときには、カバーガラス20の上下面からの反射光の共役な位置に対するデフォーカス量(位相)は等しくなる。このようにΔzが大きくなると、カバーガラス20の上面で反射した光Lr″は、図7(c)に示すように、第2光検出素子9bの左側に片寄った信号となり、カバーガラス20の下面で反射した光Lr′は第2光検出器9bの右側に片寄った信号となる。
焦点ズレが小さく、赤色の入射光Lbがカバーガラス20の上面で反射した赤色の光Lr″による信号の強度が無視できるので、カバーガラス20の下面で反射した赤色の光Lr′は、図8(a)に示すように、第2光検出器9bの右側に、青色の光Lb′は左側に検出される。この状態では、赤色の光Lr′による信号に基づいて焦点制御しても、青色の光Lb′による信号に基づいて焦点制御しても、図8(b)に示すように、両者の信号は中心にピークを持つことになる。
一方、焦点ズレが大きくなり、赤色の入射光Lbがカバーガラス20の上面で反射した赤色の光Lr″の信号が支配的になった場合には、図8(c)に示すように、カバーガラス20の下面で反射した赤色の光Lr′は第2光検出器9bの右側で検出され、カバーガラス20の上面で反射した赤色の光Lr″は第2光検出器9bの左側で検出される。また、青色の光Lb′は同様に第1光検出器9aの左側で検出される。このとき、第1光検出器9aの信号に基づいて焦点維持した場合は、標本(カバーガラス20)と対物レンズ12との距離が遠ざかるので、正しく焦点補正され、図8(b)に示すように、第1及び第2光検出器9a,9bともに左右対称なシャープな信号が検出される。しかし、第2光検出器9bの信号に基づいて焦点維持制御した場合は、カバーガラス20の上面で反射した赤色の光Lr″による信号が支配的なので、標本(カバーガラス20)と対物レンズ12との距離がさらに近づくことになる。この場合、図8(d)に示すように、第2光検出器9bでは、カバーガラス20の上面で反射した赤色の光Lr″がシャープに観測されるが、第1光検出器9aの青色の光Lb′による信号はデフォーカス量(位相)が大きくなるため観測が困難になる。このときは、対物レンズ12とカバーガラス20との関係は図9のようになっており、ユーザーが望む観察位置と異なる面を見ていることになる。
このように、焦点維持制御の結果、第1及び第2光検出器9a,9bの両方でシャープな信号が観測されない場合(図8(d)の場合)は、正しい焦点維持制御ができていないという判断を得ることができる。このように本手法を用いることで,誤った焦点維持が発生した場合に,それを検出することができる。
また、図8(d)の状態を検出した後、対物レンズ12と標本(カバーガラス20)との相対距離を図8(c)から図8(d)に至る過程の逆方向に変化させることで、正しい焦点維持制御に戻すことができる。図8(d)及び図9の状態では、図8(c)から図8(d)に至る過程で対物レンズ12と標本(カバーガラス20)との相対距離が近づいている。そのため、標本(カバーガラス20)と対物レンズ12との相対距離を遠ざけることで、図8(c)の状態を経て、図8(b)の状態に到達し、正しい焦点維持制御を回復することができる。
従って、対物レンズ12と標本(カバーガラス20)との相対距離が近づいたか、離れたか、という情報は、どちらの色の信号、つまり、どちらの面の信号が消失あるいは検出されているかで判断することができ、カバーガラス20の上面から青色の光の反射光、つまり第1光検出器9aの青色の信号Lb′が検出されない場合(これも青色の光が反射した結果得られる情報に含む)は、対物レンズ12と標本(カバーガラス20)との相対距離が(間違った方向に)より近づいていることがわかる。
このように、本手法を用いることで、異常な焦点維持制御が生じた場合の検知及びその自動補正を実現することができる。
それでは、このような構成の焦点維持装置110を用いて制御部50による焦点維持制御について説明する。上述したように、対物レンズ12に対する標本(カバーガラス20)が基準位置から遠ざかる場合に、第1光検出器9aにより焦点維持制御をすると、第2光検出器9bで赤色の反射光Lr′を検出することができなくなる場合があり、反対に、対物レンズ12に対する標本(カバーガラス20)が基準位置から近づく場合に、第2光検出器9bにより焦点維持制御をすると、第1光検出器9aで青色の反射光Lb′を検出することができなくなる。そのため、第1及び第2光検出器9a,9bのいずれか一方からの信号に基づいて焦点維持制御を行い、他方の信号が検出されない場合に、補正することにより、正確な焦点維持制御が可能となる。
まず、図10を用いて第1の制御パターンについて説明する。制御部50は、第1光検出器9aの信号を取得し(ステップS200)、この信号を解析し(ステップS201)、焦点ズレがあるか否かを判断する(ステップS202)。そして、制御部50は、このステップS202で焦点ズレがあると判断すると、この第1光検出器9aの信号に基づいて駆動部60を作動させ、対物レンズ12と標本(カバーガラス20)との距離を調整する(ステップS203)。制御部50は、第1光検出器9aの出力のピークが中心に位置するまで、すなわち、焦点ズレがなくなったと判断するまで、このステップS200〜ステップS203までの処理を繰り返す。さらに、制御部50は、ステップS202で焦点ズレがないと判断すると、第2光検出器9bの信号を取得し(ステップS204)、この信号を解析し(ステップS205)、第2光検出器9bから合焦信号(左右対称で、ある強度閾値を有した信号)が出力されているか否かを判断する(ステップS206)。このステップS206で第2光検出器9bから信号が出力されていないということは、図5を用いて説明したように、カバーガラス20の下面で反射した青色の光Lb″により焦点維持制御をした結果、対物レンズ12と標本(カバーガラス20)との距離が離れ過ぎてしまったことにより発生したものである。したがって、制御部50は、駆動部60を作動させ、対物レンズ12とカバーガラス20との距離を近づけ(ステップS207)、第2光検出器9bにより信号が取得できるまで、ステップS204〜ステップS207を繰り返す。これにより、第1光検出器9aで検出される反射光Lb′,Lb″のうち、カバーガラス20の上面で反射した反射光Lb′が支配的となり、再度、ステップS200〜ステップS203の処理を行うことにより、正確な焦点維持制御が可能となる。
次に、図11を用いて第2の制御パターンについて説明する。制御部50は、第2光検出器9bの信号を取得し(ステップS210)、この信号を解析し(ステップS211)、焦点ズレがあるか否かを判断する(ステップS212)。そして、制御部50は、このステップS212で焦点ズレがあると判断すると、この第2光検出器9bの信号に基づいて駆動部60を作動させ、対物レンズ12と標本(カバーガラス20)との距離を調整する(ステップS213)。制御部50は、第2光検出器9bの出力のピークが中心に位置するまで、すなわち、焦点ズレがなくなったと判断するまで、このステップS210〜ステップS213までの処理を繰り返す。さらに、制御部50は、ステップS212で焦点ズレがないと判断すると、第1光検出器9aの信号を取得し(ステップS214)、この信号を解析し(ステップS215)、第1光検出器9aから合焦信号(左右対称で、ある強度閾値を有した信号)が出力されているか否かを判断する(ステップS216)。このステップS216で第1光検出器9aから信号が出力されていないということは、図8を用いて説明したように、カバーガラス20の上面で反射した赤色の光Lr″により焦点維持制御をした結果、対物レンズ12と標本(カバーガラス20)との距離が近づき過ぎてしまったことにより発生したものである。したがって、制御部50は、駆動部60を作動させ、対物レンズ12とカバーガラス20とを距離を離し(ステップS217)、第1光検出器9aにより信号が取得できるまで、ステップS214〜ステップS217を繰り返す。これにより、第2光検出器9bで検出される反射光Lr′,Lr″のうち、カバーガラス20の下面で反射した反射光Lr′が支配的となり、再度、ステップS210〜ステップS213の処理を行うことにより、正確な焦点維持制御が可能となる。
第1の実施形態で説明した変調部3の位相マスク3bに代えて、レンズの軸上色収差を利用しても良い。このとき、例えば、赤と青の2色を用いるとして、赤と青の軸上色収差の差が、カバーガラス20の厚さに相当するように設定するのが望ましい。
なお、以上の第1の実施形態の説明として、標本(カバーガラス20)の上下面に焦点を結ぶ光の分離方法として、カラーフィルタ3aを用いた波長による分離を例に挙げて述べたが、この手法に限定されることはない。例えば、図12に示す焦点維持装置110′のように、カラーフィルタ3aの代わりに、分割された2つの領域の偏光方向が略直交する偏光板3a′を用いることもできる。なおこの場合は、第2ダイクロイックミラー10の代わりに、偏光ビームスプリッタ(PBS)10′を用い、P偏向成分の光を透過させて第1光検出器9aに導き、S偏向成分の光を反射させて第2光検出器9bに導くように構成することが必要である。
また、図13に示す焦点維持装置110″のように、AF用光源1からの光を第4ダイクロイックミラー101で2分割し、分離した光路の各々の中で、遮光板102,105によりビームプロファイルの半分を遮光し、デフォーカス機構104,107により適切なデフォーカス量(位相)を与えても良い。この図13のように構成すると、市販の一般的な光学素子を用いることができる。ここで、デフォーカス機構104,107としては、前述した位相マスク3bを用いても良いし、SLM(空間光変調器)で位相量を可変できるようにしても良い。また、正レンズと正レンズ、あるいは負レンズと正レンズといった2枚のレンズを用いて、そのレンズ間隔を変えることで、所望のデフォーカス量(位相)を付与しても良い。なお、図13において、第4のダイクロイックミラー101で分離した2つの光路は、各々の光路に設けられたミラー103,106により光路が折り曲げられ、第5のダイクロイックミラー108で重ね合わされてリレーレンズ4に導かれるように構成されている。
また、この図13に示す焦点維持装置110″では、AF光源1からの光を第4のダイクロイックミラー101により波長分離しているが、この第4のダイクロイックミラー101の代わりに、偏光ビームスプリッタ(PBS)を用いて偏光情報に基づいて光を分離しても良い。その場合は、偏光ビームスプリッタの前にλ/2板を設置し、偏光ビームスプリッタを透過するP偏光成分と、偏光ビームスプリッタで反射するS偏光成分の光強度を適切に調整してやることが望ましい。なおこの場合は、第2ダイクロイックミラー10の代わりに、偏光ビームスプリッタ(PBS)10′を用い、P偏光成分の光を透過させて第1光検出器9aに導き、S偏光成分の光を反射させて第2光検出器9bに導くように構成することが必要である。
また、図13に示す焦点維持装置110″では、一つのAF光源1の光を分離しているが、光源を二つ用いて、それぞれの光源に対して適切な遮光とデフォーカス量(位相)を与えた後に、波長や偏光情報を用いて合波しても良い。また、ロックイン検出技術を用いて、2つの光をそれぞれ異なる変調周波数で変調し、それらをそれぞれロックイン検出しても良い。この場合、波長や偏光は同じで良い。検出器としてはフォトダイオードアレイなど、周波数帯域の比較的広いものを使うことが望ましい。
[第2の実施形態]
この第2の実施形態に係る焦点維持装置210は、デフォーカス機構により付与するデフォーカス量(位相)を、カバーガラス20の下面と上面で高速に切り替え、そのタイミングに同期して検出系を制御するように構成されている。なお、第1の実施形態で説明した顕微鏡100及び焦点維持装置110と同じ構成は、同一の符号を付し、詳細な説明を省略する。
図14に示すように、AF用光源1から放射されたAF光は、コリメータレンズ2により略平行光束にされ、遮光部211によりこの平行光束の半分が遮光される。その後、瞳リレーレンズ4により対物レンズ12の瞳共役位置に設置されたデフォーカス機構212により、デフォーカス量(位相)が付与される。このとき付与されるデフォーカス量(位相)は、図15に示すように、2つのデフォーカス量(位相)ΔΦ1及びΔΦ2を有し、これらΔΦ1,ΔΦ2を、制御部50から制御して高速に切り替える。この2つのデフォーカス量(位相)ΔΦ1,ΔΦ2のうち、ΔΦ1は標本面(カバーガラス20)の下面に結像するようなデフォーカス量(位相)に対応し、ΔΦ2は標本面(カバーガラス20)の上面に結像するようなデフォーカス量(位相)に対応する。ここで、前者をモード1と呼び、後者をモード2と呼ぶこととする。また、デフォーカス付与機構212としては、例えば上述したSLMのような液晶素子を用いる。
制御部50は、内部のクロック信号に基づいて、所定の時間間隔で、デフォーカス付与機構212で付与されるデフォーカス量(位相)ΔΦ1,ΔΦ2(モード1及びモード2)を切り替える。また、制御部50は同時に、同一のクロック信号に基づいて、光検出器9から信号を取得し、モード毎の検出値として処理する。このように、デフォーカス付与機構(SLM)212と光検出器9の出力の取得とを、制御部50により同期制御させることで、デフォーカス付与機構(SLM)212がモード1のときはカバーガラス20の下面で反射した光を検出し、デフォーカス付与機構(SLM)212がモード2のときはカバーガラス20の上面で反射した光を検出することができる。信号検出後の制御は、上述した第1の実施形態と同様である。
なお、デフォーカス付与機構212は、SLMの代わりに、電圧制御により焦点距離を可変できる液体レンズを用いても良い。また、第1の実施形態で示した位相量の異なる位相マスクを2枚用意し、それらを高速で切り替えても良い。
このように、この第2の実施形態に係る焦点維持装置210においても、反射面が2つある場合に、参照面が切り替わるという異常な焦点維持制御が生じたとしても、それを検知し、自動的に補正することができる。
なお、上述の各実施形態の要件は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。また、法令で許容される限りにおいて、上述の各実施形態及び変形例で引用した装置などに関する全ての公開公報及び米国特許の開示を援用して本文の記載の一部とする。
前記課題を解決するために、本発明に係る焦点維持装置は、顕微鏡の対物レンズの焦点面を標本の所定の位置に維持する焦点維持装置であって、光源から放射された光を分離情報によって2つに分離する分離部と、分離した光のそれぞれに、当該光を対物レンズの光軸方向の互いに異なる位置に集光させるデフォーカス情報を付与するデフォーカス情報付与部と、標本が有する2つの参照面のうち、少なくとも一つの参照面で分離した光がそれぞれ反射した結果得られる情報を検出情報として分離した光毎に出力する検出部と、検出情報に基づいて対物レンズと標本との相対位置関係を変化させることで、対物レンズの焦点面を標本の所定の位置に維持する制御部と、を有することを特徴とする。
このような焦点維持装置において、分離部は、分離情報によって、前記光を対物レンズの瞳面において、空間的に、2つに分割するように構成されていることが好ましい。
また、このような焦点維持装置において、分離情報は、前記光の波長であり、検出部は、分離した光の波長毎に、検出情報を出力することが好ましい。
また、このような焦点維持装置において、分離情報は、前記光の偏光方向であり、検出部は、分離した光の偏光方向毎に、検出情報を出力することが好ましい。
また、このような焦点維持装置において、分離情報は、前記光を変調する変調周波数であり、検出部は、分離した光の変調周波数毎に、検出情報を出力することが好ましい。
また、このような焦点維持装置において、分離情報は、時刻情報であり、検出部は、分離した光のそれぞれが、標本に照射された時刻毎に、検出情報を出力することが好ましい。
また、このような焦点維持装置において、デフォーカス情報付与部は、分離した光の位相をそれぞれ変化させることが好ましい。
また、このような焦点維持装置において、デフォーカス情報付与部は、位相マスクであることが好ましい。
また、このような焦点維持装置において、デフォーカス情報付与部は、空間光変調器であることが好ましい。
また、このような焦点維持装置において、デフォーカス情報付与部は、レンズによって構成されることが好ましい。
また、このような焦点維持装置において、制御部は、分離した光毎に出力される検出情報のうちの一方により、対物レンズと標本との相対位置関係を変化させて対物レンズの焦点面を標本の所定の位置に移動させた状態で、他方の検出情報が検出できないときは、この他方の検出情報が検出できるまで、一方の検出情報に基づいて変化させた方向とは逆方向に相対位置関係を変化させ、再度、一方の検出情報により、相対位置関係を変化させて対物レンズの焦点面を標本の所定の位置に移動させるように構成されていることが好ましい。
また、本発明に係る顕微鏡は、上述の焦点維持装置のいずれかを有することを特徴とする。
1 AF用光源 3a カラーフィルタ(分離情報付与部)
3b 位相マスク(デフォーカス情報付与部) 9(9a,9b) 光検出部
12 対物レンズ 40 標本 50 制御部 100 顕微鏡
110 焦点維持装置

Claims (15)

  1. 第1の光と第2の光との間に位相差を付与する部材を有し、第1の光を標本の第1の位置に集光させ、第2の光を前記標本の前記第1の位置とは異なる第2の位置に集光させる第1光学系と、
    前記第1の位置で反射した第1の光と、前記第2の位置で反射した第2の光とを検出する検出部と、
    前記検出部により検出された検出情報に基づいて対物レンズと前記標本との相対位置関係を変化させることで、前記対物レンズの焦点面を前記標本の所定の位置に維持する制御部と、
    を有する焦点維持装置。
  2. 前記第1の光は第1の波長を有し、
    前記第2の光は第2の波長を有する
    請求項1に記載の焦点維持装置。
  3. 前記第1の光は第1の偏光方向を有し、
    前記第2の光は第2の偏光方向を有する
    請求項1に記載の焦点維持装置。
  4. 前記第1の光は第1の光源から射出された光であり、
    前記第2の光は第2の光源から射出された光である
    請求項1に記載の焦点維持装置。
  5. 前記第1の光は第1の変調周波数で変調された光であり、
    前記第2の光は第2の変調周波数で変調された光である
    請求項1に記載の焦点維持装置。
  6. 前記第1の光の射出と前記第2の光の射出とが切り換えられる
    請求項1に記載の焦点維持装置。
  7. 光源から放射された光を前記第1の光と前記第2の光とに分離する分離部材を有する
    請求項1に記載の焦点維持装置。
  8. 前記分離部材は、前記光を前記対物レンズの瞳面において分離する
    請求項7に記載の焦点維持装置。
  9. 前記分離部材は、第1の波長を有する前記第1の光と、第2の波長を有する前記第2の光とに分離する
    請求項7または8に記載の焦点維持装置。
  10. 前記分離部材は、第1の偏光方向を有する前記第1の光と、第2の偏光方向を有する前記第2の光とに分離する
    請求項7または8に記載の焦点維持装置。
  11. 前記部材は、位相マスクにより位相差を付与する
    請求項1〜10のいずれか一項に記載の焦点維持装置。
  12. 前記部材は、空間光変調器により位相差を付与する
    請求項1〜10のいずれか一項に記載の焦点維持装置。
  13. 前記部材は、レンズにより位相差を付与する
    請求項1〜10のいずれか一項に記載の焦点維持装置。
  14. 前記第1の位置はカバーガラスの上面であり、
    前記第2の位置はカバーガラスの下面である
    請求項1〜13のいずれか一項に記載の焦点維持装置。
  15. 請求項1〜14のいずれか一項に記載の焦点維持装置と、
    前記標本の第1の位置及び第2の位置と異なる第3の位置に第3の光を照射する第2光学系と、を有し、
    前記第1光学系と前記第2光学系との共通光路に前記対物レンズを有する
    顕微鏡。
JP2016171377A 2016-09-02 2016-09-02 焦点維持装置及び顕微鏡 Active JP6489326B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016171377A JP6489326B2 (ja) 2016-09-02 2016-09-02 焦点維持装置及び顕微鏡

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016171377A JP6489326B2 (ja) 2016-09-02 2016-09-02 焦点維持装置及び顕微鏡

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013013823A Division JP5999431B2 (ja) 2013-01-29 2013-01-29 焦点維持装置及び顕微鏡

Publications (2)

Publication Number Publication Date
JP2016197272A JP2016197272A (ja) 2016-11-24
JP6489326B2 true JP6489326B2 (ja) 2019-03-27

Family

ID=57357986

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016171377A Active JP6489326B2 (ja) 2016-09-02 2016-09-02 焦点維持装置及び顕微鏡

Country Status (1)

Country Link
JP (1) JP6489326B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017203492A1 (de) * 2017-03-03 2018-09-06 Witec Wissenschaftliche Instrumente Und Technologie Gmbh Verfahren und Vorrichtung zur Abbildung einer Probenoberfläche
CN108646396B (zh) * 2018-04-27 2020-10-02 合肥工业大学 自动对焦显微镜系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6052371B2 (ja) * 1976-08-26 1985-11-19 オリンパス光学工業株式会社 焦点位置測定装置
US5248876A (en) * 1992-04-21 1993-09-28 International Business Machines Corporation Tandem linear scanning confocal imaging system with focal volumes at different heights
JPH1089953A (ja) * 1996-09-12 1998-04-10 Olympus Optical Co Ltd 焦点検出装置
WO2004081549A1 (en) * 2003-03-11 2004-09-23 Koninklijke Philips Electronics N.V. Spectroscopic analysis apparatus and method with excitation system and focus monitoring system
JP2008268387A (ja) * 2007-04-18 2008-11-06 Nidec Tosok Corp 共焦点顕微鏡
JP5831782B2 (ja) * 2010-12-01 2015-12-09 株式会社ニコン 顕微鏡装置
JP2012212018A (ja) * 2011-03-31 2012-11-01 Nikon Corp 焦点維持装置及び顕微鏡装置

Also Published As

Publication number Publication date
JP2016197272A (ja) 2016-11-24

Similar Documents

Publication Publication Date Title
JP5580206B2 (ja) レーザ光機械加工
US10649196B2 (en) Structured illumination microscope, observation method , and control program
US8643946B2 (en) Autofocus device for microscopy
US10116855B2 (en) Autofocus method for microscope and microscope comprising autofocus device
WO2016199179A1 (ja) 構造化照明顕微鏡システム、方法及びプログラム
TW201836748A (zh) 雷射加工裝置及雷射加工方法
JP6116142B2 (ja) 走査型共焦点レーザ顕微鏡
JP5007070B2 (ja) 露光装置
JP6489326B2 (ja) 焦点維持装置及び顕微鏡
JP2007147749A (ja) 焦点検出装置およびオートフォーカス装置
JP6590366B2 (ja) 顕微鏡装置、オートフォーカス装置、及び、オートフォーカス方法
JP6327525B2 (ja) レーザーダイシング装置
JP5999431B2 (ja) 焦点維持装置及び顕微鏡
JP2007271979A (ja) 生物顕微鏡
JP2019045783A (ja) ライトシート顕微鏡
JP5145698B2 (ja) 顕微鏡用焦点検出装置と、これを具備する顕微鏡
EP3282300B1 (en) Microscope
JP6569187B2 (ja) 位置検出装置
JP5831782B2 (ja) 顕微鏡装置
JP2006106337A (ja) 走査型光学顕微鏡
JP2008209429A (ja) 顕微鏡用照明装置および蛍光顕微鏡装置
JPH10133117A (ja) 焦点検出装置を備えた顕微鏡
JP6355928B2 (ja) 蛍光観察装置
JP2010181222A (ja) プローブ顕微鏡
JP2016033676A (ja) 顕微鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170831

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180531

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190212

R150 Certificate of patent or registration of utility model

Ref document number: 6489326

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250