JP6822535B2 - 焦点調節装置、顕微鏡装置、焦点調節方法、及び制御プログラム - Google Patents

焦点調節装置、顕微鏡装置、焦点調節方法、及び制御プログラム Download PDF

Info

Publication number
JP6822535B2
JP6822535B2 JP2019168834A JP2019168834A JP6822535B2 JP 6822535 B2 JP6822535 B2 JP 6822535B2 JP 2019168834 A JP2019168834 A JP 2019168834A JP 2019168834 A JP2019168834 A JP 2019168834A JP 6822535 B2 JP6822535 B2 JP 6822535B2
Authority
JP
Japan
Prior art keywords
unit
objective lens
control unit
image
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019168834A
Other languages
English (en)
Other versions
JP2019207444A (ja
Inventor
中野 義太郎
義太郎 中野
岡本 高明
高明 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2019168834A priority Critical patent/JP6822535B2/ja
Publication of JP2019207444A publication Critical patent/JP2019207444A/ja
Application granted granted Critical
Publication of JP6822535B2 publication Critical patent/JP6822535B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)

Description

本発明は、焦点調節装置、顕微鏡装置、焦点調節方法、及び制御プログラムに関する。
観察する試料の内部を観察する場合において、光学顕微鏡における焦点を調節する方法として次のような方法が知られている。特許文献1に記載されている方法においては、システムが試料の界面(例えば容器の底面)を検出し、検出した界面に焦点を合わせる。そして、このシステムは、界面を基準として対物レンズをZ方向(対物レンズの光軸方向)に一定量(固定距離)だけ移動させて焦点位置を試料の内部にずらす。その後、このシステムは、試料の内部においてZ方向の所定間隔ごとに多数の画像を取得し、取得した多数の画像の中から最適な焦点位置を決定する。
また、特許文献2に記載されている方法においては、システムが試料の界面(例えばスライドガラス又はカバーガラス)を検出し、検出した界面に焦点を合わせる。そして、このシステムは、ステージと対物レンズの少なくとも一方をZ方向に一定量だけ移動させる。その後、このシステムは、ステージと対物レンズの少なくとも一方をZ方向(試料の内部)に移動させるとともに所定の測定時間間隔ごとに試料の撮影を行う。このようにして特許文献2に記載されている方法ではタイムラプス観察が行われる。
米国特許第5450204号明細書 特許第4847690号公報
しかし、上記特許文献1,2に記載されている方法においては、システムが試料の界面(例えば容器の底面)の位置に焦点を合わせ、その後に焦点位置を界面の位置から試料の内部に一定量移動させるという2段階の動作が必要となる。従って、上記特許文献1,2に記載されている方法においては、短時間に焦点位置の調節を行うことが困難であった。
本発明の態様では、観察試料の内部を観察する際、より短時間に焦点位置の調節を行うことを目的とする。
本発明の態様によれば、観察対象物の所定の位置に第1の光を集光する第1光学系と、観察対象物を収容する容器の所定の位置に第2の光を集光する第2光学系と、容器で反射した第2の光を検出する検出部と、制御部と、撮像部と、を有し、制御部は、観察対象物の撮像を所定の時間待機した後に実行する手法において所定の時間待機する間に、検出部からの光に基づいて対物レンズとステージとの少なくとも一方を対物レンズの光軸方向に移動させることにより、第1の光の集光位置を容器の所定の位置から第1の距離離れた位置に維持する焦点維持制御を実行し、所定の時間待機した後、ステージと対物レンズとの少なくとも一方を対物レンズの光軸方向に移動させて第1の光の集光位置を複数の位置に移動させ、各位置で撮像部に観察対象物を撮像させて複数の画像を取得し、複数の画像に基づいてステージと対物レンズとの少なくとも一方を対物レンズの光軸方向に移動させて観察対象物を容器の所定の位置から第2の距離離れた位置で撮像部に撮像させる、顕微鏡が提供される。また、本発明の第1態様によれば、観察対象物を収容する容器にある界面の位置を検出する界面検出部と、界面検出部で検出された界面から対物レンズの光軸方向に一定距離の基準位置に対物レンズの焦点位置を維持する焦点維持制御を実行し、撮像部による撮像タイミングにおいて、基準位置を参照し対物レンズと観察対象物との少なくとも一方を光軸方向に移動させることで焦点位置を基準位置から変更する制御部と、を備える焦点調節装置が提供される。
本発明の第2態様によれば、上記の焦点調節装置を備えた顕微鏡装置が提供される。
本発明の第3態様によれば、観察対象物に合焦させる焦点調節方法であって、観察対象物を収容する容器にある界面の位置を検出することと、検出された界面から対物レンズの光軸方向に一定距離の基準位置に対物レンズの焦点位置を維持する焦点維持制御を実行し、撮像部による撮像タイミングにおいて、基準位置を参照し対物レンズと観察対象物との少なくとも一方を光軸方向に移動させることで焦点位置を基準位置から変更することと、を備える焦点調節方法が提供される。
本発明の第4態様によれば、コンピュータに、観察対象物を収容する容器にある界面の位置を界面検出部に検出させる検出処理と、検出処理で検出された界面から対物レンズの光軸方向に一定距離の基準位置に対物レンズの焦点位置を維持する焦点維持制御を実行し、撮像部による撮像タイミングにおいて、基準位置を参照し対物レンズと観察対象物との少なくとも一方を光軸方向に移動させることで焦点位置を基準位置から変更する制御処理と、を実行させる制御プログラムが提供される。
本発明の態様によれば、短時間に焦点位置の調節を行うことができる。
実施形態に係る焦点調節装置を備えた顕微鏡装置の構成を示す図である。 第1実施形態に係る顕微鏡装置の制御系の構成を示すブロック図である。 オフセットレンズを移動したときの反射像の合焦状態を表す図であって、(a)はオフセット値0の状態を表す図であり、(b)はオフセットレンズを移動したときの状態を表す図であり、(c)は焦点位置が調節された状態を表す図である。 マイクロプレートのうねりに追従して焦点調節を行う動作を示す図であって、(a)は焦点維持制御だけを行った場合を示す図であり、(b)は焦点維持制御と画像AF制御とを行った場合を示す図である。 第1実施形態に係る焦点調節方法を説明するためのフローチャートである。 第2実施形態に係る焦点調節方法を説明するためのフローチャートである。 第3実施形態に係る顕微鏡装置の制御系の構成を示すブロック図である。 第3実施形態に係る焦点調節方法を説明するためのフローチャートである。 第4実施形態に係る顕微鏡装置の制御系の構成を示すブロック図である。 第4実施形態に係る焦点調節方法を説明するためのフローチャートである。 第5実施形態に係る顕微鏡装置の制御系の構成を示すブロック図である。 第5実施形態に係る焦点調節方法を説明するためのフローチャートである。
以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現する場合がある。
<第1実施形態>
図1は、実施形態に係る焦点調節装置を備えた顕微鏡装置1の構成を示す図である。図1において、XYZ座標系を用いて図中の方向を説明する。このXYZ座標系においては、水平面に平行な平面をXY平面とする。このXY平面において紙面の右方向をX方向と表記し、XY平面においてX方向に直交する方向(紙面の表から裏に向かう方向)をY方向と表記する。また、XY平面に垂直な方向(上下方向)をZ方向と表記する。
図1に示す実施形態に係る顕微鏡装置1は、観察の対象物である試料2(標本又は観察対象物ともいう。)の拡大像を形成して試料2の観察に用いられる光学顕微鏡と、この光学顕微鏡の動作を制御する制御装置とを備えている。光学顕微鏡は、XYステージ10、結像光学系20、界面検出部30、第2光源40、照明光学系50、撮像部60、信号処理部61、及び駆動部11,34,36を有している。この光学顕微鏡は、試料2の下に対物レンズ21が配置され、下側から試料2を観察する倒立型顕微鏡である。制御装置は、制御部71、入力部72、及び記憶部73を有している。結像光学系20は対物レンズ21と撮像部60間の光路であるが、照明光学系50である第2光源40から対物レンズ21までの光路の内、ダイクロイックミラー52から対物レンズ21までの光路は照明光学系50と共通の光路となる。
XYステージ10上には試料2を収容したマイクロプレート(試料容器)3が載置される。マイクロプレート3は透明なプラスチックで成形されている。また、マイクロプレート3は多数の微細な試料保持区画(以下、ウェルと呼ぶ。)を備え、各ウェルに試料2が保持される。試料2は例えば蛍光染色されたHeLa細胞とされる。使用者(観察者、作業者)は、各ウェル内における様々な濃度の溶液(媒質)中にHeLa細胞を保持させる。HeLa細胞の核はHoechst33452で染色され、アクチン繊維はAlexa Fluor 488 Phalloidinで染色される。なお、図1において、試料2はマイクロプレート3上に浮いているのではくマイクロプレート3に載置されている。本実施形態において、試料2の中心部分(例えば細胞の核の部分)が、使用者が観察したい部分である。この部分のZ方向の位置の面を試料面2a(又は標本面)という。
XYステージ10には下側(対物レンズ21側)からの光(つまり、Z方向の光)を試料2に導く開口部10aがマイクロプレート3のウェルの位置に対応して形成されている。XYステージ10は、ステージ駆動部11による駆動に応じてX方向及びY方向に移動する。これにより、撮像対象のウェルが対物レンズ21の対向位置に移動される。ステージ駆動部(第2駆動部)11は、制御部71からの制御信号に基づいて、XYステージ10をX方向及びY方向に移動させる。
結像光学系20は、対物レンズ21及び結像レンズ22を有している。対物レンズ21は、XYステージ10の下側に配置されている。対物レンズ21の同焦点距離は、対物レンズ21の胴付き面(対物レンズ21の取り付け基準面、フランジ面)から対物レンズ21の焦点位置の面(焦点面)までの距離、すなわち、試料面2aに焦点が合っているときの対物レンズ21の胴付き面から試料面2aまでの距離である。一般に、対物レンズ21の同焦点距離は一定距離に設計されている。また、対物レンズ21及び結像レンズ22は、同一の光路上に配置されている。対物レンズ21及び結像レンズ22の光軸が第1光軸O1である。本実施形態では、第1光軸O1の方向はZ方向となっている。なお、以下の説明において、対物レンズ21のZ方向の焦点位置を焦点位置Fという。図1に示す例では、焦点位置Fは試料面2aの位置に一致している。
本実施例では、界面検出部30は、試料2を保持するマイクロプレート3の底部(ボトム)の底面3aの位置を検出する。しかし、「界面」はこれに限定されるものではない。例えば液浸対物レンズを用いた観察の場合、容器とこれに収容される標本が接触している面である底部を界面としてもよい。また乾式対物レンズを用いた観察の場合、容器を載置する顕微鏡のステージと接触する容器の面部を界面としてもよい。更に観察試料を密閉した空間内に収容可能な培養容器を用い、容器の上面部に観察試料が張り付く(ぶら下がった状態)で存在する場合は、容器の上面部を界面とすることでもよい。界面検出部30は、図1に示すように、第1光源(光源)31、オフセットレンズ(レンズ)32とダイクロイックミラー33とを含むフォーカス光学系30A、レンズ駆動部34、及び光電変換器35を有している。図1示す界面検出部30及び対物レンズ21において、点線は、第1光源31から放出された光の光路、及びマイクロプレート3の底部の底面3aで反射される光の光路を示している。また、光路上の矢印は光の進行方向を示している。フォーカス光学系30Aは、界面検出部30と対物レンズ21の間の光路であるが、ダイクロイックミラー33から対物レンズ21までの間の光路は、結像光学系20と照明光学系50と共通の光路となる。
第1光源31は、例えば赤外光(又は近赤外光)を照射する赤外線LED(Light Emitting Diode;発光ダイオード)である。フォーカス光学系30Aは、第1光源31が照射した赤外光を対物レンズ21に導く。フォーカス光学系30Aを構成するオフセットレンズ32は、第2光軸O2に移動可能に構成され、第2光軸方向O2に移動することで後述するオフセット値OSを変更するためのレンズである。なお、後述するように、オフセットレンズ32は例えば凸レンズ32aと凹レンズ32bとを備えている(図3参照)。
フォーカス光学系30Aを構成するダイクロイックミラー33は、特定の波長の光(本実施形態では赤外光)を反射し、その他の波長の光(可視光や蛍光)を透過する。このダイクロイックミラー33は、結像光学系20の光路上であって対物レンズ21の像側に配置されている。このダイクロイックミラー33は、オフセットレンズ32を通過した第1光源31から発せられた赤外光を反射して対物レンズ21に導く。また、このダイクロイックミラー33は、マイクロプレート3の底部の底面3aで反射され対物レンズ21を通過した反射光(赤外光)を反射してオフセットレンズ32に導く。レンズ駆動部34は、制御部71からの制御信号に基づいてオフセットレンズ32を第2光軸方向O2に移動させる。光電変換器35は、フォーカス光学系30Aによる反射光の結像位置に設けられている。この光電変換器35は、例えばマイクロプレート3の底部の底面3aからの反射光(赤外光)を受光し、受光した光を電気信号に変換するラインCCDセンサ(Charge Coupled Device;電荷結合素子)である。
ここで、第1光源31から照射された赤外光が光電変換器35で受光されるまでの過程を説明する。第1光源31から照射された赤外光は、オフセットレンズ32により曲率変化を受けた後、対物レンズ21の像側に配置されたダイクロイックミラー33でZ方向に反射されて対物レンズ21に導かれる。対物レンズ21は、赤外光を集光させてマイクロプレート3の底部に照射する。対物レンズ21による赤外光に基づく光像のZ方向の結像位置を結像位置Aという。図1に示す例では、結像位置Aはマイクロプレート3の底部の底面3aの位置に一致している。対物レンズ21から照射された赤外光は、マイクロプレート3の底部の底面3aで反射される。以下の説明において、底面3aのことを反射面という。なお、反射面3aのことを界面又は境界面ともいう。
反射面3aで反射された反射光(赤外光)は、再び対物レンズ21を通過し、対物レンズ21を通過した反射光は、ダイクロイックミラー33で反射されてオフセットレンズ32に導かれる。そして、オフセットレンズ32を通過した反射光は、光電変換器35の受光面で結像される。そして、光電変換器35は、受光した光を電気信号に変換し、変換した電気信号に応じた検出信号を制御部71に出力する。
図1の例では図に示すように、対物レンズ21と界面検出部30とは結合されている。ユニット駆動部(第1駆動部)36は、制御部71からの制御信号に基づいて、対物レンズ21及び界面検出部30をZ方向に移動させる(つまり、上下移動させる)。なお、図1においては図示していないが、複数個の対物レンズを切り替えるレボルバは、対物レンズ21と界面検出部30との結合部分に設けられる。ただし、対物レンズ21とレボルバと界面検出部30の位置関係はこれ限定されるものではなく、第1光源31と光電変換器及びオフセットレンズ32、レンズ駆動部34をレボルバとは隔離して配置することも可能である。この場合、ダイクロイックミラー33へ第1光源31からの光を導く光学系を設ける必要がある。また、このような配置にすることにより、例えば焦点調節のために対物レンズ21を保持したレボルバをZ方向に移動させる場合、第1光源31と光電変換器及びオフセットレンズ32、レンズ駆動部34は、レボルバとは別体として配置されるので、レボルバの上下動速度に悪影響を及ぼすことが避けられる。
第2光源40は、試料2の例えば蛍光観察を行うための励起照明光を照射するLEDである。照明光学系50は、コリメータレンズ51及びダイクロイックミラー52を含んでいる。コリメータレンズ51は、第2光源40から照射された照明光を平行光束又は略平行光束に変換する。ダイクロイックミラー52は、照明光を反射し、蛍光を透過する。このダイクロイックミラー52は、結像光学系20の光路上に配置されている。このダイクロイックミラー52は、コリメータレンズ51を通過した照明光(平行光束又は略平行光束)の一部を反射して対物レンズ21に導く。また、このダイクロイックミラー52は、試料2からの信号光(例えば、照明光により励起された蛍光)を透過して結像レンズ22に導く。図1示す結像光学系20及び照明光学系50において、実線は、第2光源40から放出された光の光路を示している。
ここで、第2光源40から照射された照明光が撮像部60で受光されるまでの過程を説明する。第2光源40から照射された照明光は、コリメータレンズ51で平行光束又は略平行光束に変換される。コリメータレンズ51で平行光束又は略平行光束に変換された照明光は、ダイクロイックミラー52でZ方向に反射される。そして、ダイクロイックミラー52で反射された蛍光は、ダイクロイックミラー33を透過して対物レンズ21に導かれる。対物レンズ21は、照明光を集光させてマイクロプレート3内の試料2に照射する。上述したように、図1においては、対物レンズ21の焦点位置Fは試料面2aの位置となっている。
試料2からの信号光は再び対物レンズ21を通過し、対物レンズ21を通過した信号光はダイクロイックミラー33を透過する。ダイクロイックミラー33を透過した信号光の一部はダイクロイックミラー52を透過して結像レンズ22に導かれる。結像レンズ22は、信号光を撮像部60の受光面(撮像面)に結像させる。
撮像部60は、XYステージ10上の試料2の画像を取得する。この撮像部60は、例えば受光した信号光を電気信号(画素ごとの画像信号)に変換するCCDセンサで構成される。この撮像部60は、変換した電気信号を信号処理部61に出力する。信号処理部61は、撮像部60から出力された電気信号に対して信号処理を施すことで試料2の像のコントラスト(コントラストの評価値)を表すコントラスト信号を生成する。そして、信号処理部61は、生成したコントラスト信号を制御部71に出力する。また、信号処理部61は、撮像部60から出力された電気信号に対して信号処理を施すことで画像データを生成する。そして、信号処理部61は、生成した画像データを制御部71に出力する。
制御部71は、顕微鏡装置1の制御全般を司る処理部である。この制御部71は、記憶部73に記憶されている制御プログラムに基づいて各種の制御及び処理を実行する。この制御部71は、CPU(Central Processing Unit)などの演算装置を備えている。入力部72は、使用者の操作に応じてオフセット値OSの情報を含む各種情報を入力する。記憶部73は、試料2の画像データを記憶する。また、記憶部73は、制御部71に各種の制御及び処理を実行させるための制御プログラムも記憶する。
図2は、第1実施形態に係る顕微鏡装置1の制御系の構成を示すブロック図である。なお、図2に示す構成において、図1に示した構成と同一構成については同一符号を付して重複する説明を省略する。図2に示すように、制御部71は、第1制御部71a及び第2制御部71bを有している。
第1制御部71aは、ステージ駆動部11に対して制御信号を出力してステージ駆動部11を駆動させることにより、撮像対象のウェルが対物レンズ21の対向位置となるようにXYステージ10をXY方向に移動させる。また、第1制御部71aは、XYステージ10の移動が行われているときに、光電変換器35からの検出信号に基づいて反射像を検出し、検出した反射像に基づいて反射面3aの位置を認識する。そして、第1制御部71aは、認識した反射面3aの位置からZ方向に一定距離(オフセット値OS)離れた基準位置に焦点位置Fを維持する焦点維持制御を実行する。このとき、第1制御部71aは、基準位置に焦点位置Fを維持するために、レンズ駆動部34及びユニット駆動部36に対して制御信号を出力してレンズ駆動部34は一定位置に保ち、ユニット駆動部36を駆動させる。
第2制御部71bは、信号処理部61からの取得した試料の画像のコントラスト信号に基づいて、焦点位置Fを試料面2aの位置に変更する画像AF制御(AF;Automatic Focusing)を実行する。すなわち、第2制御部71bは、XYステージ10の移動が行われていないときに(つまり、撮像部60による撮像タイミングのときに)、信号処理部61からのコントラスト信号に基づいて試料面2aの位置を検出する。具体的には、第2制御部71bは、複数のZ位置で撮像した試料の画像のコントラスト信号に基づいて、試料2の像のコントラストが最大となるようなZ方向の位置を試料面2aの位置として検出する。そして、第2制御部71bは、検出した試料面2aの位置に焦点位置Fを移動させる。このとき、第2制御部71bは、焦点位置Fを試料面2aの位置に移動させるために、ユニット駆動部36に対して制御信号を出力してユニット駆動部36を駆動させる。
なお、顕微鏡装置1における焦点調節装置は、XYステージ10、結像光学系20(対物レンズ21、結像レンズ22)、界面検出部30、撮像部60、信号処理部61、駆動部11,34,36、制御部71などで構成される。
次に、オフセットレンズ32の作用について説明する。図3は、オフセットレンズを移動したときの反射像の合焦状態を表す図であって、(a)はオフセット値0の状態を表す図であり、(b)はオフセットレンズを移動したときの状態を表す図であり、(c)は焦点位置が調節された状態を表す図である。
なお、図3においては、オフセットレンズ32の作用の説明に必要な構成についてだけ示している。すなわち、図3においてはダイクロイックミラー33を省略している。また、図3においては、オフセットレンズ32は凸レンズ32aと凹レンズ32bとで構成されている。また、図1においてはコレクタレンズを示していなかったが、フォーカス光学系30Aはコレクタレンズを備え、そのコレクタレンズによって第1光源31からの赤外光が平行光束又は略平行光束に変換されるものとする。また、図3において、赤外光を点線で示し、照明光及び信号光を実線で示している。
オフセットレンズ32は、第2光軸O2方向に移動することにより、対物レンズ21を介して反射面3aに照射される赤外光に基づく光像の結像位置AをZ方向に移動させる働きをする。このように、光像の結像位置Aが移動することにより、反射面3aで反射される光像の反射像の結像位置も第2光軸O2方向に移動される。
図3(a)では、赤外光に基づく光像の結像位置Aが反射面3aに位置し、かつ、対物レンズ21の焦点位置Fも反射面3aに位置するように、凹レンズ32bの第2光軸O2方向の位置と、対物レンズ21(及び界面検出部30)のZ方向(第1光軸O1方向)の位置とが調節されている。なお、対物レンズ21の同焦点距離は一定距離であり、対物レンズ21の焦点位置も対物レンズ21の胴付き面から一定距離の位置となっている。この状態がオフセット値OSが0の状態である。
図3(b)では、凹レンズ32bが第2光軸O2方向の第1光源31側へ距離xだけ移動することにより、赤外光に基づく光像の結像位置Aが対物レンズ21に近づくように反射面3aの位置からZ方向に移動する。この状態では、結像位置Aと、反射面3aの位置にある焦点位置Fとがずれている。
図3(c)では、対物レンズ21(及び界面検出部30)がZ方向の試料2側へ移動することにより、赤外光に基づく光像の結像位置Aが反射面3aの位置に移動し、対物レンズ21の焦点位置Fも同じ距離だけZ方向に移動する。図3(c)では相対的に試料がZ方向に移動しているように示してある。この状態では、結像位置Aが反射面3aに位置し、かつ、結像位置Aと焦点位置Fとがずれている。結像位置Aと焦点位置Fとのずれ量(結像位置Aから焦点位置Fまでの距離)がオフセット値OSである。
このように、第1制御部71aは、オフセットレンズ32(凹レンズ32b)を第2光軸O2方向に移動させることによりオフセット値OSを調節することができる。また、第2制御部71bは、結像位置Aが反射面3aの位置となるように対物レンズ21(及び界面検出部30)をZ方向に移動させることにより、常に反射面3aから一定距離(一定量)だけZ方向に離れた位置に対物レンズ21の焦点位置Fを合わせることができる。
次に、本発明の概要について説明する。図4は、マイクロプレート3の底面のうねりに追従して焦点調節を行う動作を示す図であって、(a)は焦点維持制御だけを行った場合を示す図であり、(b)は焦点維持制御と画像AF制御とを行った場合を示す図である。
上述したようにマイクロプレート3はプラスチックで成形されているので、図4(a)及び図4(b)に示すように、マイクロプレート3の底面は、例えば10μm〜200μmのうねりが生じる。図4(a−1)〜(a−3)に示すように、第1制御部71aが焦点維持制御だけを行った場合は、第1制御部71aは反射面3a(マイクロプレート3の底面)のうねりに追従して、常に反射面3aから一定距離だけZ方向に離れた位置に対物レンズ21の焦点位置Fを維持することができる。
しかし、ウェル内の試料2の位置は常に一定ではない。図4(a−2)に示すように、試料2が図4(a−1)の位置よりも底面に対して高い位置にある場合や、図4(a−3)に示すように、試料2が図4(a−1)の位置よりも低い位置(底面に対して近い位置)にある場合もある。この場合は、対物レンズ21の倍率が低倍で、試料2が反射面3aの位置に対して比較的一定の位置に存在している場合は、試料2のZ方向の位置ずれが対物レンズ21の焦点深度の範囲内におさまっているので、焦点維持制御だけで良好な焦点調節を行うことができる。一方、10倍以上の対物レンズ21の場合は、焦点維持制御だけで良好な焦点調節を行うことができない。
そこで、第2制御部71bは、焦点維持制御を行った後に、第1制御部71aによる制御を一旦停止してから、画像AF制御を実行する。図4(b−1)〜(b−3)に示すように、第1制御部71aは、反射面3aのうねりに追従して、常に反射面3aから一定距離だけZ方向に離れた位置に対物レンズ21の焦点位置Fを維持する。そして、図4(b−2)及び(b−3)に示すように、第2制御部71bは、反射面3aから一定距離の位置を基準位置(焦点位置F)とし、この基準位置からZ方向の所定範囲において所定間隔ごとにコントラスト信号の取得を開始する。次に、第2制御部71bは、取得したコントラスト信号に基づいて最もコントラスト値が大きい最適な焦点位置F(新たな焦点位置)を求め、その位置の画像を取得する。このような構成によれば、焦点位置Fをウェル内の試料2の位置(試料面2a)に正確に合わせることができる。また、画像AF制御において例えば反射面3aを基準位置とし、この位置から画像AFを実行することなく、新たな焦点位置Fから画像AFを実行するので、Z方向にスキャンする範囲は所定範囲に限定されるので、短時間に焦点位置の調節を行うことができる。
なお、顕微鏡装置において様々な実験条件における試料2の画像を取得し、取得した画像を解析する。これにより、試料2の反応の分析が行われる。この場合、一つのマイクロプレート3内のウェルの数は少ないものでは6個程であるが、多いものでは1000個以上になる。従って、顕微鏡装置は多数の画像を取得する必要がある。また、顕微鏡装置が一つのウェルに対して複数の異なる視野の画像を取得する場合がある。また、顕微鏡装置が同じ視野であっても複数の波長チャネルの画像を取得する場合もある。このため、顕微鏡装置は1回に数万枚の画像を取得しなければならない事態も生じ得る。
このような場合、短時間に画像を取得することが重要となる。特に、細胞等を生きたまま観察する必要がある場合には、撮影中に試料2の状態が変化してしまう。従って、同一の実験条件で画像を取得するためには、すべての画像の取得時間を短縮する必要がある。また、高画質の画像を取得することも重要となる。高画質の画像を取得するためには、適正な焦点位置で試料2の撮像を行う必要がある。
上記特許文献1,2に記載された方法では、システムが反射面3aの位置を検出し、検出した位置に一旦焦点位置を合わせ、その後、その焦点位置を一定距離だけZ方向に移動させた後に、画像AF制御を行う。このような構成の場合、動作の段階数が多くなるとともに、Z方向への移動距離も長くなる。このような操作を例えば1000個のウェルがあり場合、少なくとも1000回実施することになる。従って、個々のウェルにおいて短時間に焦点位置の調節を行うことは困難であり、マイクロプレート全体の観察を短時間で行うことも困難である。なお、一般に、焦点位置Fを試料面2aに合わせる動作において時間がかかる要因としては、Z方向への移動時間があげられる。精密なAF動作を行うためには、Z方向の位置制御を精密に行わなければならず、位置制御の精度と移動速度とを両立させることは容易ではないからである。
次に、上記した顕微鏡装置1の動作について説明する。
図5は、第1実施形態に係る焦点調節方法を説明するためのフローチャートである。図5に示す処理において、第1制御部71aは、まず、XYステージ10の位置を初期位置(第1制御部71aによるステージ駆動部11の駆動制御の開始位置)に設定する(ステップS1)。具体的には、第1制御部71aは、ステージ駆動部11に制御信号を出力して、XYステージ10をXY平面内の初期位置に移動させる。
次に、第1制御部71aは、入力部72を介してオフセット値OSを入力する(ステップS2)。この処理で入力されるオフセット値OSは、撮像対象の試料2に対して予め定められた規定値とされる。又は、使用者がコントローラなどを操作して手動でオフセットレンズ32及び対物レンズ21を移動させながら観察試料を目視で探索し、焦点が合った最適なオフセット値とされる。
次に、第1制御部71aは、界面検出部30をオンにする(ステップS3)。第1制御部71aが界面検出部30をオンにしたことにより、界面検出部30が反射面3aの位置を検出し、検出した反射面3aの位置に応じた検出信号を第1制御部71aに出力する。第1制御部71aは、レンズ駆動部34に制御信号を出力することで、結像位置Aと焦点位置Fとの差がステップS2で入力したオフセット値OSとなるようなオフセットレンズ32の位置に移動させる(図3(b)参照)。また、第1制御部71aは、光電変換器35からの検出信号に基づいて反射面3aの位置を認識する。そして、第1制御部71aは、認識した反射面3aの位置に応じた制御信号をユニット駆動部36に出力することで、光像の結像位置Aが反射面3aの位置となるような対物レンズ21の位置に移動させる(図3(c)参照)。
また、第1制御部71aは、ステージ駆動部11に制御信号を出力して、XYステージ10をXY平面内で移動させる(ステップS4)。具体的には、第1制御部71aは、XYステージ10が初期位置にある場合は、最初に撮像が行われるウェルの位置が初期位置から対物レンズ21の対向位置に移動するようにXYステージ10をXY平面内で移動させる。また、第1制御部71aは、XYステージ10が初期位置にない場合は、次に撮像が行われるウェルの位置が対物レンズ21の対向位置に移動するようにXYステージ10をXY平面内で移動させる。
ステップS4におけるXYステージ10の移動中(観察位置の移動)は、撮像部60による撮像が行われていないタイミングに相当する。このとき、界面検出部30がオンの状態であるので、第1制御部71aは、反射面3aのうねりに追従して、常に反射面3aから一定距離(オフセット値OS)Z方向に離れた位置に対物レンズ21の焦点位置Fを維持するように、ユニット駆動部36の駆動制御を実行する。なお、本実施形態においては、XYステージ10の移動中はオフセット値OSが変更されないので、第1制御部71aはレンズ駆動部34の駆動制御を実行しない。
そして、第1制御部71aは、ステップS4によるXYステージ10の移動が終了すると、一旦、界面検出部30をオフにする(ステップS5)。界面検出部30がオフの状態になると、界面検出部30は反射面3aの位置の検出を停止する。界面検出部30がオフになってから画像の取得が行われるまでのタイミング(すなわちステップS6〜S11の処理が行われているタイミング)が撮像部60による撮像タイミングに相当する。
次に、第2制御部71bは、画像AF制御を開始する。すなわち、第2制御部71bは、ユニット駆動部36に制御信号を出力して、対物レンズ21及び界面検出部30をZ方向の所定範囲内において所定間隔ごとに移動させる(ステップS6)。そして、第2制御部71bは、Z方向の所定間隔の位置ごとに、観察試料を撮像し信号処理部61によって生成されるコントラスト信号を取得する(ステップS7)。そして、第2制御部71bは、所定範囲内のすべての位置のコントラスト信号を取得したか否かを判定する(ステップS8)。第2制御部71bは、所定範囲内のすべての位置のコントラスト信号を取得していないと判定した場合は(ステップS8のNO)、所定範囲内のすべてのコントラスト信号を取得したと判定するまでステップS6及びS7の処理を繰り返し実行する。ここで所定範囲内とは、反射面3aから一定距離(オフセット値OS)Z方向に離れた位置である対物レンズ21の焦点位置Fを含む、予め定めた範囲であって、観察標品が存在すると仮定した範囲である。したがって、観察したい試料の位置が反射面3aから一定距離(オフセット値OS)Z方向に離れた位置に設定されている状態であり、この所定範囲には、反射面3aの位置を含ませる必要はない。
一方、第2制御部71bは、所定範囲内のすべての位置のコントラスト信号を取得したと判定した場合は(ステップS8のYES)、ステップS7で取得したコントラスト信号に基づいて、試料面2aの位置として最適なZ方向の位置を算出する(ステップS9)。例えば、第2制御部71bは、試料2の像のコントラストが最大となるようなZ方向の位置を試料面2aの位置として算出する。そして、第2制御部71bは、ユニット駆動部36に制御信号を出力することで、焦点位置FがステップS9で算出した最適なZ方向の位置(試料面2aの位置)となるように対物レンズ21及び界面検出部30を移動させる(ステップS10)。
第2制御部71bは、焦点位置Fが試料面2aの位置となっている状態で画像を取得する(ステップS11)。例えば、第2制御部71bは、信号処理部61を介して撮像部60に撮像を指示する。撮像部60は、第2制御部71bからの指示に基づいて試料2の撮像を行う。そして、信号処理部61は、撮像部60からの画像信号に基づいて画像データを生成し、生成した画像データを第2制御部71bに出力する。なお、第2制御部71bは、取得した画像データを記憶部73に記憶する。
その後、第2制御部71bは、すべての撮像対象のウェル(すなわち、すべての撮像対象の試料2)の撮像が終了したか否かを判定する(ステップS12)。第2制御部71bがすべての撮像対象のウェルの撮像が終了していないと判定した場合は(ステップS12のNO)、第1制御部71a及び第2制御部71bは、ステップS3〜S11の処理を繰り返し実行する。一方、第2制御部71bがすべての撮像対象のウェルの撮像を終了したと判定した場合は(ステップS12のYES)、処理を終了する。
なお、上記した第1実施形態においては、制御部71は、対物レンズ21(及び界面検出部30)をZ方向に移動させていたが、制御部71は、対物レンズ21とXYステージ10(つまり試料2)との少なくとも一方をZ方向に移動させる構成であればよい。すなわち、制御部71は、対物レンズ21だけをZ方向に移動させてもよく、またXYステージ10だけをZ方向に移動させてもよく、また対物レンズ21及びXYステージ10の両方をZ方向に移動させてもよい。
以上に説明したように、第1実施形態では、観察対象物2の界面3aの位置を検出する界面検出部30と、撮像部60による撮像が行われていないときに、界面検出部30で検出された界面3aから第1光軸O1方向に一定距離(オフセット値OS)の基準位置に焦点位置Fを維持する焦点維持制御を実行する第1制御部71aと、撮像部60による撮像タイミングにおいて、対物レンズ21と観察対象物2との少なくとも一方を第1光軸O1方向に移動させることで焦点位置Fを基準位置から観察対象物2の位置2aに変更する第2制御部71bとを備える。このような構成によれば、第2制御部71bの制御(画像AF制御)において第1光軸O1方向にスキャンする範囲は所定範囲(基準位置の近傍の範囲)に限定されるので、短時間に焦点位置の調節を行うことができる。また、焦点位置Fを観察対象物2の位置2aに正確に合わせることができるので、高画質の画像を取得することが可能となる。
一般的には、制御部が画像AF制御を実行する場合は、最低でもZ方向に10μm程度の範囲で対物レンズを移動させながら画像を取得しなければならないが、本実施形態における制御部71は、上記の様に界面3aから第1光軸O1方向に一定距離(オフセット値OS)の基準位置である焦点位置Fを中心に所定範囲のスキャンを行うことからプラスマイナス2μmの移動で適正な焦点位置Fを検出することができ、著しく効率が向上した。
また、第1実施形態では、対物レンズ21と観察対象物2との少なくとも一方を第1光軸O1方向に移動させる第1駆動部36を備え、第1制御部71aは、第1駆動部36の駆動制御を実行することにより焦点維持制御を実行し、第2制御部71bは、第1駆動部36の駆動制御を実行することにより焦点位置Fを基準位置から観察対象物2の位置2aに変更する。このような構成によれば、第1制御部71aによる焦点維持制御と第2制御部71bによる焦点位置Fの変更制御(画像AF制御)とを同じ駆動部36の駆動制御で実現することができる。
また、第1実施形態では、第2制御部71bは、観察対象物2の位置2aを検出し、検出した観察対象物2の位置2aに焦点位置Fを変更する。このような構成によれば、確実に焦点位置Fを観察対象物2の位置2aに変更することができ、その結果、高画質の画像を確実に取得することができる。
また、第1実施形態では、第2制御部71bは、対物レンズ21と観察対象物2との少なくとも一方の移動中に撮像部60で取得された信号に基づいて観察対象物2の位置2aを検出する。このような構成によれば、観察対象物2の位置2aの検出の精度が担保される。
また、第1実施形態では、観察対象物2を第1光軸O1方向に対して垂直平面(XY平面)内に移動させる第2駆動部11を備え、第1制御部71aは、第2駆動部11による観察対象物2の移動中に焦点維持制御を実行し、第2制御部71bは、第2駆動部11による観察対象物2の移動が停止しているときに焦点位置Fを基準位置から観察対象物2の位置2aに変更する。このような構成によれば、観察対象物2の移動に追従させて焦点維持制御を実行することができるとともに、観察対象物2の移動の停止中において確実に観察対象物2の位置2aを検出し、検出した位置2aに焦点位置Fを移動させることができる。
また、第1実施形態では、第2制御部71bは、界面検出部30による界面3aの検出の停止中に対物レンズ21と観察対象物2との少なくとも一方を第1光軸O1方向に移動させる。このような構成によれば、レンズ32を移動させることなく、対物レンズ21と観察対象物2との少なくとも一方を移動させるだけで焦点位置Fを観察対象物2の位置2aに変更することができる。
また、第1実施形態では、一定距離の値(オフセット値OS)を入力する入力部72を備え、第1制御部71aは、入力部72により入力された値に基づいて焦点維持制御を実行する。このような構成によれば、簡易な処理により一定距離の値を設定することができる。
なお、上記した第1実施形態において、第2制御部71bがコントラスト信号を取得する際に(ステップS6、S7参照)、第2光源40は照明光としてUV光(ultraviolet)を細胞核に照射し、撮像部60はUV光により励起された蛍光を信号光として受光し、信号処理部61は細胞核の像のコントラストを表すコントラスト信号を生成してもよい。また、第2制御部71bが画像を取得する際に(ステップS11参照)、第2光源40は照明光としてUV光を細胞核に照射し、撮像部60はUV光により励起された蛍光を信号光として受光し、信号処理部61は細胞核の画像データを生成してもよい。次に、第2光源40は照明光として青色光をFITC(fluorescein isothiocyanate)で染色された細胞骨格に照射し、撮像部60は青色光により励起された蛍光を信号光として受光し、信号処理部61は細胞骨格の画像データを生成してもよい。
<第2実施形態>
上記した第1実施形態では、第2制御部71bは、界面検出部30をオフにした状態で(ステップS5参照)画像AF制御(ステップS6〜S10)を行っていた。これに対して、第2実施形態では、第2制御部71bは、界面検出部30をオンにしたまま(つまり、界面検出部30による反射面3aの検出を実行したまま)画像AF制御を行う。なお、第2実施形態における顕微鏡装置1の構成は、図1及び図2に示した構成と同様である。
図6は、第2実施形態に係る焦点調節方法を説明するためのフローチャートである。なお、図6において、ステップS1〜S4、ステップS11、及びステップS12の処理は図5に示した処理と同様であるため、同一処理には同一符号を付して重複する説明を省略する。
図6に示す処理において、第2制御部71bは、ステップS4の処理の実行後、界面検出部30をオン状態のまま画像AF制御(ステップS21〜S26)を開始する。この場合、第2制御部71bは、ステップS4におけるXYステージ10の移動が停止した後、レンズ駆動部34に対して制御信号を出力して、オフセットレンズ32を移動させてオフセット値OSを変更する(ステップS21)。また、第2制御部71bは、ユニット駆動部36に対して制御信号を出力して、光像の結像位置Aが反射面3aの位置に合った状態を維持しつつ、オフセット値OSの変更に連動させて対物レンズ21(及び界面検出部30)をZ方向に移動させる(ステップS22)。例えば、図3(b)に示したように、第2制御部71bは、凹レンズ32bを第2光軸O2方向に移動させると、結像位置Aが対物レンズ21に近づく。このとき、第2制御部71bは、結像位置Aが反射面3aの位置に合った状態を維持しようとすれば、対物レンズ21を反射面3aに近づくように移動させることになる。
次に、第2制御部71bは、Z方向の所定間隔の位置ごとに、信号処理部61によって生成されるコントラスト信号を取得する(ステップS23)。そして、第2制御部71bは、所定範囲内のすべての位置のコントラスト信号を取得したか否かを判定する(ステップS24)。第2制御部71bは、所定範囲内のすべての位置のコントラスト信号を取得していないと判定した場合は(ステップS24のNO)、所定範囲内のすべてのコントラスト信号を取得したと判定するまでステップS21〜S23の処理を繰り返し実行する。
一方、第2制御部71bは、所定範囲内のすべての位置のコントラスト信号を取得したと判定した場合は(ステップS24のYES)、ステップS23で取得したコントラスト信号に基づいて、試料面2aの位置として最適なオフセット値OSを算出する(ステップS25)。例えば、第2制御部71bは、試料2の像のコントラストが最大となるようなオフセット値OSを試料面2aの位置として算出する。そして、第2制御部71bは、レンズ駆動部34及びユニット駆動部36に制御信号を出力することで、焦点位置FがステップS25で算出した最適なオフセット値OSとなるようにオフセットレンズ32及び対物レンズ21を移動させる(ステップS10)。その後、第2制御部71bは、ステップS11及びS12の処理を実行する。
なお、上記した第2実施形態においても、制御部71は、対物レンズ21(及び界面検出部30)をZ方向に移動させていたが、制御部71は、対物レンズ21とXYステージ10(つまり試料2)との少なくとも一方をZ方向に移動させる構成であればよい。すなわち、制御部71は、対物レンズ21だけをZ方向に移動させてもよく、またXYステージ10だけをZ方向に移動させてもよく、また対物レンズ21及びXYステージ10の両方をZ方向に移動させてもよい。
以上に説明したように、第2実施形態では、第2制御部71bは、界面検出部30による界面3aの検出の実行中に対物レンズ21と観察対象物2との少なくとも一方を第1光軸O1方向に移動させる。このような構成によれば、対物レンズ21と観察対象物2との少なくとも一方の移動中に、界面検出部30が界面3aの検出を行っているので、界面3aの検出に基づいて対物レンズ21と観察対象物2(XYステージ10)との間の距離に制限を設けることができる。従って、対物レンズ21と観察対象物2(XYステージ10)とが移動によってぶつかってしまうことを回避させることができる。
また、第2実施形態では、界面検出部30は、光源31と、光源31からの光に基づく光像を対物レンズ21を介して界面3a上に結像させ、界面3aからの光像の反射光を対物レンズ21を介して受光して光像の反射像を結像させるフォーカス用光学系30Aと、フォーカス用光学系30Aによる反射像の結像位置に設けられ、反射像を検出する光電変換器35と、を含み、フォーカス用光学系30Aは、該光学系30Aの第2光軸O2方向に移動可能なレンズ32を含み、第2制御部71bは、光電変換器35からの信号に基づき界面検出部30に界面3aの検出を実行させつつレンズ32を第2光軸O2方向に移動させることで一定距離を変更し、一定距離の変更に連動させて対物レンズ21と観察対象物2との少なくとも一方を第1光軸O1方向に移動させる。このような構成によれば、界面検出部30が界面3aの検出を行いつつ、レンズ32を移動させることで焦点位置Fの変更を行うことができる。
<第3実施形態>
上記した第1実施形態では、第1制御部71aはXYステージ10の移動中に焦点維持制御を実行していた(ステップS3,S4参照)。これに対して、第3実施形態では、タイムラプス観察(一定時間ごとに撮影することで長時間の変化を観察する手法)における撮影の待機中に焦点維持制御を実行する。なお、タイムラプス観察のことをインターバル観察ともいう。
図7は、第3実施形態に係る顕微鏡装置1の制御系の構成を示すブロック図である。図7に示すように、制御部71Aは撮像制御部71cを備えている点で図2に示す構成と異なる。撮像制御部71cは、撮像部60に対して所定の規定時間ごとに試料2の撮像を実行させる処理部である。本実施形態では、第1制御部71aは、撮像制御部71cが撮像部60に撮像を実行されていないときに焦点維持制御を実行し、第2制御部71bは、撮像制御部71cが撮像部60に撮像を実行させるタイミングにおいて焦点位置Fを基準位置から試料面2aの位置に変更する。図7において、その他の構成については図2に示した構成と同様であるので、同一構成については同一符号を付して重複する説明を省略する。
図8は、第3実施形態に係る焦点調節方法を説明するためのフローチャートである。なお、図8において、ステップS1〜S3、及びステップS5〜S11の処理は図5に示した処理と同様であるため、同一処理には同一符号を付して重複する説明を省略する。
図8に示す処理において、ステップS3の処理の実行後、撮像制御部71cは、タイムラプス観察において規定された規定時間(例えば数分や数時間)だけ画像AF制御の実行を待機する(ステップS31)。ステップS31における規定時間の待機中は、撮像部60による撮像が行われていないタイミングに相当する。このとき、界面検出部30がオンの状態であるので(ステップS3参照)、第1制御部71aは、常に反射面3aから一定距離(オフセット値OS)Z方向に離れた位置に対物レンズ21の焦点位置Fを維持するように、ユニット駆動部36の駆動制御を実行する。これにより、長時間観察によるXYステージ10の膨張などが原因で試料2の位置が変化しても、リアルタイムに対物レンズ21のZ方向の位置を変更してXYステージ10の膨張などによる位置変化に追従させることができる。なお、本実施形態においては、規定時間の待機中はオフセット値OSが変更されないので、第1制御部71aはレンズ駆動部34の駆動制御を実行しない。
そして、第1制御部71aは、ステップS31による規定時間が経過すると、一旦、界面検出部30をオフにする(ステップS5)。その後、第2制御部71bは、画像AF制御(ステップS6〜S10)を実行する。タイムラプス観察においては、時間経過に伴って試料2(例えば細胞核)の位置が上下に変化することが起こり得る。従って、今回の観察時の試料2の位置が前回の観察時の試料2の位置からずれている可能性がある。このため、第2制御部71bは、規定時間の経過後に画像AF制御を行う。その後、第2制御部71bは、焦点位置Fが試料面2aの位置となっている状態で画像を取得する(ステップS11)。
第2制御部71bは、すべての規定時間の撮像が終了したか否かを判定する(ステップS32)。第2制御部71bがすべての規定時間の撮像が終了していないと判定した場合は(ステップS32のNO)、第1制御部71a及び第2制御部71bは、ステップS3、ステップS31、及びステップS5〜S11の処理を繰り返し実行する。一方、第2制御部71bがすべての規定時間の撮像を終了したと判定した場合は(ステップS32のYES)、処理を終了する。
なお、上記した第3実施形態においても、制御部71は、対物レンズ21(及び界面検出部30)をZ方向に移動させていたが、制御部71は、対物レンズ21とXYステージ10(つまり試料2)との少なくとも一方をZ方向に移動させる構成であればよい。すなわち、制御部71は、対物レンズ21だけをZ方向に移動させてもよく、またXYステージ10だけをZ方向に移動させてもよく、また対物レンズ21及びXYステージ10の両方をZ方向に移動させてもよい。
以上のように、第3実施形態では、撮像部60に対して所定時間ごとに観察対象物2の撮像を実行させる撮像制御部71cを備え、第1制御部71aは、撮像制御部71cが撮像部60に撮像を実行させていないときに焦点維持制御を実行し、第2制御部71bは、撮像制御部71cが撮像部60に撮像を実行させる撮像タイミングにおいて焦点位置Fを基準位置から観察対象物2の位置2aに変更する。このような構成によれば、タイムラプス観察の待機中に焦点位置Fが維持されているので、第2制御部71bが待機の終了後に直ちに基準位置から焦点位置Fの変更を行うことができる。
<第4実施形態>
上記した第1実施形態、第2実施形態、及び第3実施形態では、第1制御部71aが入力部72を介してオフセット値OSを入力していた。これに対して、第4実施形態では、制御部が自動的にオフセット値OSを探索して設定する。
図9は、第4実施形態に係る顕微鏡装置1の制御系の構成を示すブロック図である。図9に示すように、制御部71Bは第1探索部71dを備えている点で図2及び図7に示す構成と異なる。第1探索部71dは、対物レンズ21と試料2との少なくとも一方を第1光軸O1方向に移動させて試料面2aの位置を検出し、界面検出部30に界面3aを検出させ、試料面2aの位置と界面3aの位置とに基づいて一定距離の値(オフセット値OS)を求める処理部である。本実施形態では、第1制御部71aは、第1探索部71dにより求められた値(オフセット値OS)に基づいて焦点維持制御を実行する。図9において、その他の構成については図2及び図7に示した構成と同様であるので、同一構成については同一符号を付して重複する説明を省略する。
図10は、第4実施形態に係る焦点調節方法を説明するためのフローチャートである。なお、図10において、ステップS4〜S12の処理は図5に示した処理と同様であるため、同一処理には同一符号を付して重複する説明を省略する。
図10に示す処理において、第1制御部71aは、ステージ駆動部11に制御信号を出力して、XYステージ10をXY平面内の初期位置に移動させる(ステップS41)。次に、第1探索部71dは、界面検出部30をオフにする(ステップS42)。界面検出部30がオフの状態になると、界面検出部30は反射面3aの位置の検出を停止する。
次に、第1探索部71dは、ユニット駆動部36に制御信号を出力して、対物レンズ21及び界面検出部30を所定間隔ごとにZ方向に移動させる(ステップS43)。そして、第1探索部71dは、Z方向の所定間隔の位置ごとに、信号処理部61によって生成されるコントラスト信号を取得する(ステップS44)。そして、第1探索部71dは、すべての位置のコントラスト信号を取得したか否かを判定する(ステップS45)。第1探索部71dは、すべての位置のコントラスト信号を取得していないと判定した場合は(ステップS45のNO)、すべてのコントラスト信号を取得したと判定するまでステップS43及びS44の処理を繰り返し実行する。
一方、第1探索部71dは、すべての位置のコントラスト信号を取得したと判定した場合は(ステップS45のYES)、ステップS44で取得したコントラスト信号に基づいて、試料面2aの位置として最適(コントラスト値が最も高い)なZ方向の位置を算出する(ステップS46)。そして、第1探索部71dは、ユニット駆動部36に制御信号を出力することで、焦点位置FがステップS46で算出した最適なZ方向の位置(試料面2aの位置)となるように対物レンズ21及び界面検出部30を移動させる(ステップS47)。
その後、第1探索部71dは、界面検出部30をオンにすると(ステップS48)、界面検出部30が反射面3aの位置を検出し、第1探索部71dは、界面検出部30からの検出信号に基づいてレンズ駆動部34に制御信号を出力することで、結像位置Aが反射面3aの位置となるようにオフセットレンズ32を移動させる(ステップS49)。そして、第1探索部71dは、結像位置Aと焦点位置Fとの差をオフセット値OSとして設定し、第1制御部71aへ出力する。その後、第1制御部71a及び第2制御部71bは、ステップS4〜S12の処理を実行する。
なお、上記した第4実施形態においても、制御部71は、対物レンズ21(及び界面検出部30)をZ方向に移動させていたが、制御部71は、対物レンズ21とXYステージ10(つまり試料2)との少なくとも一方をZ方向に移動させる構成であればよい。すなわち、制御部71は、対物レンズ21だけをZ方向に移動させてもよく、またXYステージ10だけをZ方向に移動させてもよく、また対物レンズ21及びXYステージ10の両方をZ方向に移動させてもよい。
以上のように、第4実施形態では、対物レンズ21と観察対象物2との少なくとも一方を第1光軸O1方向に移動させて観察対象物2の位置2aを検出し、界面検出部30に界面3aを検出させ、観察対象物2の位置2aと界面3aの位置とに基づいて一定距離の値(オフセット値OS)を求める第1探索部71dを備え、第1制御部71aは、第1探索部71dにより求められた値に基づいて焦点維持制御を実行する。このような構成によれば、第1探索部71dが自動的にオフセット値OSを探索して設定するので、使用者によるオフセット値OSの入力の手間を省くことができる。
また、第4実施形態では、第1探索部71dは、対物レンズ21と観察対象物2との少なくとも一方の移動中に撮像部60で撮像された画像に基づいて観察対象物2の位置2aを検出する。このような構成によれば、画像に基づいて正確な観察対象物2の位置2aを検出することができ、その結果、一定距離の値の精度も向上する。
なお、上記した第4実施形態の構成によれば、第1探索部71dは、状況によっては1000μm近くの範囲において最初の位置2aの探索を行う必要がある。この場合、位置2aの探索に時間がかかってしまうため、結果的にオフセット値OSの探索に時間がかかってしまう。しかし、オフセット値OSの探索に必要な時間は最初の1回だけであるので、すべての試料2の撮像時間は短縮される。また、通常、このような位置2aの探索は2段階のスキャン(走査)で行われる。第1段階は、第1探索部71dは、1000μmの範囲において20μmの間隔でコントラスト信号を取得する。この場合、撮像部60による500枚の画像取得が必要となる。次に、第1探索部71dは、最大コントラストの位置の前後40μmの範囲において2μmの間隔でコントラスト信号を取得する。この場合、撮像部60による20枚の画像取得が行われる。第1探索部71dは、20枚の画像の中で最大コントラストが得られた画像の位置を最適なZ方向の位置に採用する。
<第5実施形態>
第5実施形態においても、上記した第4実施形態と同様に、制御部が自動的にオフセット値OSを探索して設定する。しかし、上記した第4実施形態では、第1探索部71dは界面検出部30をオフ状態にした後にオフセット値OSの探索を行っていたのに対し、第5実施形態では、第2探索部は界面検出部30をオン状態にしたままオフセット値OSの探索を行う。
図11は、第5実施形態に係る顕微鏡装置1の制御系の構成を示すブロック図である。図11に示すように、制御部71Cは第2探索部71eを備えている点で図2、図7及び図9に示す構成と異なる。第2探索部71eは、界面検出部30に界面3aの検出を実行させつつ対物レンズ21と観察対象物2との少なくとも一方を第1光軸O1方向に移動させて観察対象物2の位置2aを検出し、観察対象物2の位置2aと界面3aの位置とに基づいて一定距離の値(オフセット値OS)を求める。本実施形態では、第1制御部71aは、第2探索部71eにより求められた値(オフセット値OS)に基づいて焦点維持制御を実行する。図11において、その他の構成については図2、図7及び図9に示した構成と同様であるので、同一構成については同一符号を付して重複する説明を省略する。
図12は、第5実施形態に係る焦点調節方法を説明するためのフローチャートである。なお、図12において、ステップS4〜S12の処理は図5に示した処理と同様であるため、同一処理には同一符号を付して重複する説明を省略する。
図12に示す処理において、第1制御部71aは、ステージ駆動部11に制御信号を出力して、XYステージ10をXY平面内の初期位置に移動させる(ステップS51)。次に、第2探索部71eは、界面検出部30をオンにする(ステップS52)。界面検出部30がオンの状態になると、界面検出部30は反射面3aの位置を検出する。
次に、第2探索部71eは、界面検出部30をオン状態のまま、レンズ駆動部34に対して制御信号を出力して、オフセットレンズ32を移動させてオフセット値OSを変更して初期値にする(ステップS53)。この際、オフセット値OSの初期値は0が適当である。また、第2探索部71eは、ユニット駆動部36に対して制御信号を出力して、光像の結像位置Aが反射面3aの位置に合った状態を維持しつつ、オフセット値OSの変更に連動させて対物レンズ21(及び界面検出部30)をZ方向に移動させる(ステップS54)。
次に、第2探索部71eは、Z方向の所定間隔の位置ごとに、信号処理部61によって生成されるコントラスト信号を取得する(ステップS55)。そして、第2探索部71eは、すべての位置のコントラスト信号を取得したか否かを判定する(ステップS56)。第2探索部71eは、すべての位置のコントラスト信号を取得していないと判定した場合は(ステップS56のNO)、すべてのコントラスト信号を取得したと判定するまでステップS53〜S55の処理を繰り返し実行する。
一方、第2探索部71eは、すべての位置のコントラスト信号を取得したと判定した場合は(ステップS56のYES)、ステップS55で取得したコントラスト信号に基づいて、試料面2aの位置として最適なオフセット値OSを算出する(ステップS57)。例えば、第2探索部71eは、試料2の像のコントラストが最大となるようなオフセット値OSを試料面2aの位置として算出する。そして、第2探索部71eは、レンズ駆動部34及びユニット駆動部36に制御信号を出力することで、焦点位置FがステップS57で算出した最適なオフセット値OSとなるようにオフセットレンズ32及び対物レンズ21を移動させる(ステップS58)。その後、第1制御部71a及び第2制御部71bは、ステップS4〜S12の処理を実行する。
なお、上記した第5実施形態においても、制御部71は、対物レンズ21(及び界面検出部30)をZ方向に移動させていたが、制御部71は、対物レンズ21とXYステージ10(つまり試料2)との少なくとも一方をZ方向に移動させる構成であればよい。すなわち、制御部71は、対物レンズ21だけをZ方向に移動させてもよく、またXYステージ10だけをZ方向に移動させてもよく、また対物レンズ21及びXYステージ10の両方をZ方向に移動させてもよい。
以上のように、第5実施形態では、界面検出部30に界面3aの検出を実行させつつ対物レンズ21と観察対象物2との少なくとも一方を第1光軸O1方向に移動させて観察対象物2の位置2aを検出し、観察対象物2の位置2aと界面3aの位置とに基づいて一定距離の値を求める第2探索部71eを備え、第1制御部71aは、第2探索部71eにより求められた値に基づいて焦点維持制御を実行する。このような構成によれば、第2探索部71eが自動的にオフセット値OSを探索して設定するので、使用者によるオフセット値OSの入力の手間を省くことができる。また、対物レンズ21と観察対象物2との少なくとも一方の移動中に、界面検出部30が界面3aの検出を行っているので、界面3aの検出に基づいて対物レンズ21と観察対象物2(XYステージ10)との間の距離に制限を設けることができる。従って、対物レンズ21と観察対象物2(XYステージ10)とが移動によってぶつかってしまうことを回避させることができる。
また、第5実施形態では、第2探索部71eは、対物レンズ21と観察対象物2との少なくとも一方の移動中に撮像部60で撮像された画像に基づいて観察対象物2の位置2aを検出する。このような構成によれば、画像に基づいて正確な観察対象物2の位置2aを検出することができ、その結果、一定距離の値の精度も向上する。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施の形態で説明した要件の1つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施の形態や変形例の構成を適宜組み合わせて適用することも可能である。
上記した第1実施形態から第5実施形態までの各々の構成の組み合わせ方としては、次のようなものがある。まず、オフセット値OSを求める方式として、(1)入力部72からのオフセット値OSの入力(ステップS2参照)、(2)界面検出部30がオフ状態における画像AF制御の実行(ステップS42〜S49参照)、(3)界面検出部30がオン状態における画像AF制御の実行(ステップS52〜S58参照)、の3種類の方式がある。また、焦点維持制御を実行するタイミングとして、(4)XYステージ10の移動時(ステップS3,S4参照)、(5)タイムラプス観察の待機時(ステップS3,S31参照)、の2種類がある。また、画像AF制御の方式として、(6)界面検出部30のオフ状態での画像AF制御、(7)界面検出部30のオン状態での画像AF制御、の2種類がある。これらの構成を適宜組み合わせて適用することが可能である。
また、図1に示した光学顕微鏡は倒立型顕微鏡であったが、このような顕微鏡に限定されず、上記した実施の形態や変形例の構成は正立型顕微鏡などにも適用することが可能である。また、図1に示した光学顕微鏡の照明装置として反射式照明を利用していたが、透過式照明を利用してもよい。
また、試料2を収容する容器はマイクロプレート3を用いていたが、このような構成に限らず、例えば試料2をカバーガラスとスライドガラスとで挟み込む構成でもよい。また、界面3aはマイクロプレート3の底部の底面としていたが、赤外光の反射が強ければマイクロプレート3の底部の上面であってもよい。
また、フォーカス光学系30Aにおいて光路上にスリット板を設けることにより、反射面3aに照射する光像をスリット像としてもよい。この場合、制御部は界面検出部30からの検出信号に基づいてスリット像を検出し、検出したスリット像により結像位置Aを認識する。また、第1光源31は赤外光を照射する赤外線LEDとしていたが、赤外光以外の波長の光(例えば赤外光以外の長波長の光)を照射する光源であってもよい。また、光電変換器35はラインCCDセンサを用いていたが、ラインCMOSセンサ(CMOS:Complementary Metal Oxide Semiconductor:相補性金属酸化膜半導体)を用いてもよい。
また、オフセットレンズ32は、凹レンズ32bを第2光軸O2に沿って移動させて結像位置Aを変更するように構成していたが、凸レンズ32aを第2光軸O2に沿って移動させて結像位置Aを変更してもよく、また凸レンズ32a及び凹レンズ32bの両方を第2光軸O2に沿って移動させて結像位置Aを変更してもよい。
また、焦点調節装置のすべての構成が顕微鏡装置1に設けられていない構成でもよい。例えば、制御部71,71A,71B,71C、入力部72、記憶部73などの構成が顕微鏡装置1とは別のコンピュータなどの装置に設けられてもよい。また、顕微鏡装置1は画像解析装置や画像解析用の制御プログラムを備えたコンピュータなどと接続されてもよい。また、制御部71,71A,71B,71Cに制御・処理を実行させる制御プログラムは記憶部73に記憶されていたが、制御プログラムは記憶媒体に記憶させてもよい。
また、撮像部60によって1回に撮像される試料2(サンプル)の数は1つに限らず、2つ以上であってもよい。また、撮像部60はCCDセンサを用いていたが、CCDセンサに代えてCMOSセンサを用いてもよい。
また、画像AF制御において、制御部は、信号処理部61によって生成されるコントラスト信号に基づいて焦点位置Fを決定していたが、信号処理部61によって生成される画像データに基づいて焦点位置Fを決定してもよい。また、画像AF制御において蛍光画像を使用していたが、透過像の明視野又は位相差像を使用してもよい。また、撮像部60は、画像の取得(ステップS11参照)を行うとともに画像AF制御用の画像も取得していたが(ステップS7等参照)、撮像部60とは別に、画像AF制御用の撮像装置を設けてもよい。この場合、画像AF制御用の撮像装置と撮像部60とは同じ焦点位置が設定される。この場合、画像取得の時間が短い高感度の撮像装置を用いることが好ましい。
また、信号処理部61は、撮像部60が取得する2次元の画像信号に基づいてコントラスト信号を生成するのではなく、1次元の画像信号に基づいてコントラスト信号を生成してもよい。この場合、画像信号を取得する撮像部は1次元画像センサを用いることができる。また、制御部は、コントラストが最大となる位置を焦点位置として決定していたが、信号強度が最大となる位置を焦点位置として決定してもよい。
また、ユニット駆動部36は、対物レンズ21と界面検出部30とが結合されたユニットをZ方向に移動させていたが、対物レンズ21だけをZ方向に移動させてもよい。また、ステージ駆動部11、レンズ駆動部34、及びユニット駆動部36の駆動方法は、電動モータの回転させる方法が想定される。しかし、このような駆動方法に限定されず、例えばピエゾ素子をXYステージ10、オフセットレンズ32の保持部、及び対物レンズ21の取り付け部に取り付けて、ピエゾ素子により移動させてもよい。
また、制御部は、オフセット値の履歴を参照してオフセット値を設定してもよい。例えば、制御部は、以前に行った実験条件の中から今回の実験条件と同じ実験条件を検索し、同じ実験条件におけるオフセット値を今回の実験条件におけるオフセット値としてもよい。また、制御部は、XYステージ10の移動があるときは常に焦点維持制御を行っていたが、所定番目のXYステージ10の移動についてだけ(例えば1回おきのXYステージ10の移動についてだけ)焦点維持制御を行ってもよい。また、制御部は、タイムラプス観察における規定時間の間隔が短い場合は、規定時間の待機中に常に焦点維持制御を行うのではなく、所定番目の規定時間の待機においてだけ焦点維持制御を行ってもよい。
また、制御部は、XYステージ10の移動や規定時間の待機があるごとにオフセット値を更新してもよい。すなわち、制御部は、前回の試料2の撮像時にオフセット値の変更があった場合は、変更されたオフセット値を今回の試料2の撮像時における焦点維持制御において用いるようにしてもよい。
1…顕微鏡装置、2…試料(観察対象物)、3…マイクロプレート(容器)、10…XYステージ、11…ステージ駆動部(第2駆動部)、21…対物レンズ、30…界面検出部、30A…フォーカス光学系、31…第1光源(光源)、32…オフセットレンズ(レンズ)、34…レンズ駆動部、35…光電変換器、36…ユニット駆動部(第1駆動部)、60…撮像部、61…信号処理部、71…制御部、71a…第1制御部、71b…第2制御部、71c…撮像制御部、71d…第1探索部、71e…第2探索部、72…入力部、OS…オフセット値(一定距離)、A…結像位置、F…焦点位置、O1…第1光軸、O2…第2光軸

Claims (5)

  1. 観察対象物の所定の位置に第1の光を集光する第1光学系と、
    前記観察対象物を収容する容器の所定の位置に第2の光を集光する第2光学系と、
    前記容器で反射した前記第2の光を検出する検出部と、
    制御部と、
    撮像部と、
    を有し、
    前記制御部は、
    前記観察対象物の撮像を所定の時間待機した後に実行する手法において前記所定の時間待機する間に、前記検出部からの光に基づいて対物レンズとステージとの少なくとも一方を前記対物レンズの光軸方向に移動させることにより、前記第1の光の集光位置を前記容器の所定の位置から第1の距離離れた位置に維持する焦点維持制御を実行し、
    前記所定の時間待機した後、前記ステージと前記対物レンズとの少なくとも一方を前記対物レンズの光軸方向に移動させて前記第1の光の集光位置を複数の位置に移動させ、各位置で前記撮像部に前記観察対象物を撮像させて複数の画像を取得し、前記複数の画像に基づいて前記ステージと前記対物レンズとの少なくとも一方を前記対物レンズの光軸方向に移動させて前記観察対象物を前記容器の所定の位置から第2の距離離れた位置で前記撮像部に撮像させる、顕微鏡。
  2. 前記制御部は、前記複数の画像に基づいて前記観察対象物の最適撮像位置を検出し、前記ステージと前記対物レンズとの少なくとも一方を前記対物レンズの光軸方向に移動させて前記観察対象物を前記容器の所定の位置から第2の距離離れた最適撮像位置で前記撮像部に撮像させる、請求項1に記載の顕微鏡。
  3. 前記焦点維持制御の実行を中断した後、前記ステージと前記対物レンズとの少なくとも一方を前記対物レンズの光軸方向に移動させて前記第1の光の集光位置を前記複数の位置に移動させ、各位置で前記撮像部に前記観察対象物を撮像させて前記複数の画像を取得する、請求項1又は2に記載の顕微鏡。
  4. 前記第2光学系は、オフセット光学系を有し、
    前記制御部は、前記焦点維持制御を実行中に前記オフセット光学系の少なくとも一部を移動させることにより前記ステージと前記対物レンズとの少なくとも一方を前記対物レンズの光軸方向に移動させて前記第1の光の集光位置を前記複数の位置に移動させ、各位置で前記撮像部に前記観察対象物を撮像させて前記複数の画像を取得する、請求項1〜3のいずれか1項に記載の顕微鏡。
  5. 前記制御部は、前記複数の画像のコントラストに基づいて前記ステージと前記対物レンズとの少なくとも一方を前記対物レンズの光軸方向に移動させて前記観察対象物を前記容器の所定の位置から第2の距離離れた位置で前記撮像部に撮像させる、請求項1〜4のいずれか1項に記載の顕微鏡。
JP2019168834A 2019-09-17 2019-09-17 焦点調節装置、顕微鏡装置、焦点調節方法、及び制御プログラム Active JP6822535B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019168834A JP6822535B2 (ja) 2019-09-17 2019-09-17 焦点調節装置、顕微鏡装置、焦点調節方法、及び制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019168834A JP6822535B2 (ja) 2019-09-17 2019-09-17 焦点調節装置、顕微鏡装置、焦点調節方法、及び制御プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016523057A Division JP6673198B2 (ja) 2014-05-30 2014-05-30 顕微鏡

Publications (2)

Publication Number Publication Date
JP2019207444A JP2019207444A (ja) 2019-12-05
JP6822535B2 true JP6822535B2 (ja) 2021-01-27

Family

ID=68767810

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019168834A Active JP6822535B2 (ja) 2019-09-17 2019-09-17 焦点調節装置、顕微鏡装置、焦点調節方法、及び制御プログラム

Country Status (1)

Country Link
JP (1) JP6822535B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112021001887T5 (de) * 2020-03-27 2023-01-05 Sony Group Corporation Mikroskopsystem, bildgebungsverfahren und bildgebungsvorrichtung

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3828381C2 (de) * 1988-08-20 1997-09-11 Zeiss Carl Fa Verfahren und Einrichtung zur automatischen Fokussierung eines optischen Systems
JP2001091821A (ja) * 1999-09-21 2001-04-06 Olympus Optical Co Ltd 顕微鏡用オートフォーカスシステム
JP4923541B2 (ja) * 2005-11-30 2012-04-25 株式会社ニコン 顕微鏡
JP2010181493A (ja) * 2009-02-03 2010-08-19 Nikon Corp 顕微鏡のオートフォーカス装置
JP2012150171A (ja) * 2011-01-17 2012-08-09 Nikon Corp 顕微鏡装置、制御プログラム記録媒体
JP2012159854A (ja) * 2012-04-04 2012-08-23 Olympus Corp 倒立顕微鏡システム

Also Published As

Publication number Publication date
JP2019207444A (ja) 2019-12-05

Similar Documents

Publication Publication Date Title
JP6673198B2 (ja) 顕微鏡
US8254020B2 (en) Objective-coupled selective plane illumination microscopy
JP7109130B2 (ja) 顕微鏡
US9632303B2 (en) Optical microscope, and autofocus device for optical microscope
TW201142352A (en) Fluorescence micro imaging system
JP6241858B2 (ja) 共焦点顕微鏡
JP6178656B2 (ja) 補償光学素子の設定方法及び顕微鏡
JP6822535B2 (ja) 焦点調節装置、顕微鏡装置、焦点調節方法、及び制御プログラム
JP2015069202A (ja) 顕微鏡システム
WO2009142312A1 (ja) 顕微鏡装置
JP6127818B2 (ja) 補償光学素子の設定方法及び顕微鏡
JP5959247B2 (ja) 顕微鏡
JP2011118265A (ja) 顕微鏡装置
JP2017097301A (ja) 制御装置、顕微鏡装置、制御方法、及び制御プログラム
JP2004144839A (ja) 光走査装置
JP5108627B2 (ja) 観察装置及び観察方法
JP4602731B2 (ja) 顕微鏡システム
WO2017090209A1 (ja) 顕微鏡、観察方法、及び制御プログラム
JP5530330B2 (ja) 顕微鏡システム
Sandmeyer et al. Cost-effective high-speed, three-dimensional live-cell imaging of HIV-1 transfer at the T cell virological synapse
JP6708289B2 (ja) 顕微鏡、観察方法、及び制御プログラム
JP2010091739A (ja) 自動焦点合焦装置を備えた画像撮像装置
JP2022137838A (ja) オートフォーカス装置及び顕微鏡装置
JP2009014838A (ja) 走査型共焦点顕微鏡
JP2003254963A (ja) 生物分子の力学的測定装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190917

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190917

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201221

R150 Certificate of patent or registration of utility model

Ref document number: 6822535

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250