JP6422761B2 - 顕微鏡システム、及び、z位置と補正装置の設定値との関係算出方法 - Google Patents

顕微鏡システム、及び、z位置と補正装置の設定値との関係算出方法 Download PDF

Info

Publication number
JP6422761B2
JP6422761B2 JP2014253528A JP2014253528A JP6422761B2 JP 6422761 B2 JP6422761 B2 JP 6422761B2 JP 2014253528 A JP2014253528 A JP 2014253528A JP 2014253528 A JP2014253528 A JP 2014253528A JP 6422761 B2 JP6422761 B2 JP 6422761B2
Authority
JP
Japan
Prior art keywords
range
calculated
image data
target value
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014253528A
Other languages
English (en)
Other versions
JP2016114797A (ja
Inventor
喜裕 上
喜裕 上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2014253528A priority Critical patent/JP6422761B2/ja
Priority to EP15198629.6A priority patent/EP3035104B1/en
Priority to US14/964,306 priority patent/US10379329B2/en
Publication of JP2016114797A publication Critical patent/JP2016114797A/ja
Application granted granted Critical
Publication of JP6422761B2 publication Critical patent/JP6422761B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)

Description

本発明は、顕微鏡システム、及び、対物レンズのZ位置と球面収差が補正される補正装置の設定値との関係を算出する方法に関する。
顕微鏡によるサンプルの観察では、カバーガラスの厚さによって異なる量の球面収差が発生することが知られており、カバーガラスの厚さに起因する球面収差を補正する手段として対物レンズの補正環が知られている。
従来、補正環は、専らカバーガラスの厚さに起因する球面収差を補正する手段として用いられてきたが、サンプル(例えば、生体試料)の深部を観察する手法が開発され普及した近年では、観察対象面の深さに応じて変化する球面収差を補正する目的にも使用可能である。
しかしながら、サンプルの画像を観察しながら球面収差が補正されているか否かを判断することは容易ではない。このため、補正環を用いて球面収差を補正する作業は、敬遠されがちであり、現時点においては、補正環は球面収差を補正する手段として十分に活用されているとは言い難い。
このような課題に関連して、顕微鏡利用者による補正環の利用を支援する技術が、例えば、特許文献1に記載されている。特許文献1には、球面収差が補正される補正環の設定値を複数のZ位置で算出し、複数のZ位置と補正環の設定値との組み合わせから、Z位置と球面収差が補正される補正環の設定値との関係を示す関数を補間により算出する技術が記載されている。特許文献1に記載されるような補正環の利用を支援する機能を顕微鏡システムが備えることで、顕微鏡利用者の補正環の利用を促すことができる。
特開2014−160213号公報
ところで、特許文献1の技術では、関数の算出にあたり、サンプル中の観察対象とすべき範囲(以降、注目範囲と記す。)については考慮されていない。高精度に球面収差を補正した状態で注目範囲を観察するためには、注目範囲に対応するZ範囲(以降、注目Z範囲)内のZ位置と補正環の設定値との組み合わせから、関数を算出することが望ましい。しかしながら、特許文献1に記載の技術では、注目範囲及び注目Z範囲を関数の算出前に特定することは、容易ではない。
以上のような実情を踏まえ、本発明は、容易に且つ高精度に球面収差を補正するのに資する技術を提供することを目的とする。
本発明の第1の態様は、対物レンズと球面収差を補正する補正装置とを備え、サンプルの画像データを取得する顕微鏡装置と、前記顕微鏡装置で取得した画像データに基づいて、前記サンプルの三次元画像を表示装置に表示させる表示制御装置と、前記表示装置に表示された前記三次元画像内の範囲を指定する範囲指定手段と、前記範囲指定手段で指定された範囲で特定される前記対物レンズのZ範囲を対象とした、前記対物レンズのZ位置と球面収差が補正される前記補正装置の設定値である目標値との関係を算出する演算装置と、を備え、前記演算装置は、前記Z範囲内の複数のZ位置を決定し、前記顕微鏡装置は、前記複数のZ位置の各々毎に、前記補正装置の設定値の異なる複数の状態の各々でサンプルの画像データを取得し、前記演算装置は、前記顕微鏡装置で前記複数のZ位置の各々毎に取得した複数の画像データに基づいて、当該Z位置における目標値を算出し、前記複数のZ位置と算出した複数の目標値に基づいて、前記Z範囲を分割した複数のZ範囲を決定し、前記複数のZ範囲毎に、前記Z位置と前記目標値との関係を示す部分関数を、補間又は関数近似により算出する顕微鏡システムを提供する。
本発明の第の態様は、第1の態様に記載の顕微鏡システムにおいて、前記表示制御装置は、前記演算装置で算出した関係を前記三次元画像に関連付けて、前記表示装置に表示させる顕微鏡システムを提供する。
本発明の第の態様は、第1の態様又は第2の態様に記載の顕微鏡システムにおいて、さらに、前記対物レンズのZ位置に応じて、当該Z位置と前記演算装置で算出した関係とに基づいて算出される目標値に前記補正装置の設定値を変更する補正装置制御装置を備える顕微鏡システムを提供する。
本発明の第の態様は、第1の態様乃至第の態様のいずれか1つに記載の顕微鏡システムにおいて、前記補正装置は、前記対物レンズ内のレンズを移動させる補正環である顕微鏡システムを提供する。
本発明の第の態様は、対物レンズのZ位置と球面収差が補正される補正装置の設定値である目標値との関係を算出する方法であって、前記対物レンズと球面収差を補正する前記補正装置とを備える顕微鏡装置が取得したサンプルの画像データに基づいて、前記サンプルの三次元画像を表示装置に表示し、前記表示装置に表示された前記三次元画像内の範囲を指定し、指定した前記範囲で特定される前記対物レンズのZ範囲を対象とした、前記対物レンズのZ位置と前記目標値との関係を算出し、前記関係を算出することは、前記Z範囲内の複数のZ位置を決定することと、前記複数のZ位置の各々毎に、前記補正装置の設定値の異なる複数の状態の各々でサンプルの画像データを取得することと、前記複数のZ位置の各々毎に取得した複数の画像データに基づいて、当該Z位置における目標値を算出することと、前記複数のZ位置と算出した複数の目標値に基づいて、前記Z範囲を分割した複数のZ範囲を決定することと、前記複数のZ範囲毎に、前記Z位置と前記目標値との関係を示す部分関数を、補間又は関数近似により算出すること、を含むことを特徴とする方法。
本発明によれば、容易に且つ高精度に球面収差を補正するのに資する技術を提供することができる。
本発明の実施例1に係る顕微鏡システムの構成を例示した図である。 図1に例示される演算装置の構成を例示した図である。 図1に例示される顕微鏡の構成を例示した図である。 本発明の実施例1に係る顕微鏡システムで行われる関数算出処理のフローチャートである。 図1に示す表示装置に表示されたサンプルの三次元画像の一例である。 図5に例示される三次元画像が表示された画面上で注目範囲Rを指定する様子を示した図である。 関数を三次元画像と関連付けて表示した図である。 図4に示すステップS8の処理を自動化した具体例を示すフローチャートである。 図8に示すステップS11の処理で算出されたZ位置に対する目標値の傾きを示した図である。 図8に示すステップS12の処理で決定した複数のZ範囲について例示した図である。 図8に示すステップS14の処理で算出された全関数の一例を示した図である。 図8に示すステップS14の処理で算出された全関数の別の例を示した図である。 図8に示すステップS14の処理で算出された全関数の更に別の例を示した図である。 図4に示すステップS8の処理を自動化した別の具体例を示すフローチャートである。 図4に示すステップS8の処理を半自動化した具体例を示すフローチャートである。 図15に示すステップS32で受け付けるZ範囲の指定を入力する方法について説明するための図である。 本発明の実施例1に係る顕微鏡システムで行われる球面収差補正処理のフローチャートである。 本発明の実施例1に係る顕微鏡システムでZ位置毎に行われる目標値算出処理のフローチャートである。 図18に示す目標値算出処理について説明するための図である。 画像データの全体領域を9つの領域に分割し、領域毎に領域目標値を算出する例を示した図である。 本発明の実施例1に係る顕微鏡システムで行われる別の目標値算出処理のフローチャートである。 画像データの全体領域を9つの領域に分割し、領域毎に領域組み合わせを算出する例を示した図である。 本発明の実施例1に係る顕微鏡システムで行われる更に別の目標値算出処理のフローチャートである。 図23に示す目標値算出処理について説明するための図である。 本発明の実施例1に係る顕微鏡システムで行われる更に別の目標値算出処理のフローチャートである。 図25に示す目標値算出処理のステップS79の処理のフローチャートである。 図26に示す処理について説明するための図であり、目標値と評価値の関数を算出する方法を示す図である。 図26に示す処理について説明するための図であり、目標値とZ位置の関数を算出する方法を示す図である。 Z位置毎且つ補正環の設定値毎に得られる標本の画像を並べた図である。 本発明の実施例2に係る顕微鏡の構成を例示した図である。 本発明の実施例3に係る顕微鏡の構成を例示した図である。 画像データを加工してから評価値を算出する処理のフローチャートである。
図1は、本実施例に係る顕微鏡システム1の構成を例示した図である。図2は、図1に例示される演算装置20の構成を例示した図である。図3は、図1に例示される顕微鏡100の構成を例示した図である。
図1に示す顕微鏡システム1は、顕微鏡100と、顕微鏡制御装置10と、演算装置20と、表示装置30と、演算装置20への指示を入力するための複数の入力装置(キーボード40、補正環操作装置50、Z駆動部操作装置60)を備えている。
顕微鏡制御装置10は、演算装置20からの指示に従って顕微鏡100の動作を制御する装置であり、顕微鏡100の各種電動部の動作を制御する制御信号を生成する。顕微鏡制御装置10は、光源の出力を制御する光源制御装置11と、ズーム倍率を制御するズーム制御装置12と、対物レンズ110のZ位置を制御するZ制御装置13と、補正環111の設定値を制御する補正環制御装置14と、を備えている。ここで、Z位置とは、サンプルSに対する対物レンズ110の光軸方向の相対位置のことである。また、補正環111の設定値とは、例えば、基準位置に対する補正環111の回転角度のことである。
演算装置20は、各種の演算処理を行うコンピュータであり、例えば、図2に示すように、CPU(Central Processing Unit)21、メモリ22、入力I/F装置23、出力I/F装置24、記憶装置25、及び、可搬記録媒体27が挿入される可搬記録媒体駆動装置26を備え、これらがバス28によって相互に接続されている。演算装置20は、顕微鏡100の制御を顕微鏡制御装置10に指示する役割、顕微鏡100からの出力に基づいて画像データを生成する役割、三次元画像等を表示装置30に表示させる役割、及び、対物レンズ110のZ位置と球面収差が補正される補正環111の設定値との関係を算出する役割を担っている。なお、図2は、演算装置20の構成の一例であり、演算装置20はこの構成に限定されるものではない。
CPU21は、所定のプログラムを実行して演算処理等を行う。メモリ22は、例えば、RAM(Random Access Memory)であり、プログラムの実行の際に、記憶装置25または可搬記録媒体27に記憶されているプログラムまたはデータを一時的に格納する。
入力I/F装置23は、キーボード40、補正環操作装置50、Z駆動部操作装置60、及び表示装置30からの信号を受信する手段であり、観察者による入力を受け付ける入力受付部として機能する。また、入力I/F装置23は、図3において後述する顕微鏡100のA/D変換器108からの信号も受信する。
出力I/F装置24は、表示装置30及び顕微鏡制御装置10へ信号を出力する手段である。即ち、出力I/F装置24及び出力I/F装置24を含む演算装置20は、表示装置30の表示を制御する表示制御装置であり、且つ、顕微鏡制御装置10に顕微鏡100の制御を指示する顕微鏡制御指示装置である。
記憶装置25は、例えば、ハードディスク記憶装置であり、主に各種データやプログラムの保存に用いられる。可搬記録媒体駆動装置26は、光ディスクやコンパクトフラッシュ(登録商標)等の可搬記録媒体27を収容するもので、可搬記録媒体27は、記憶装置25を補助する役割を有する。
表示装置30は、例えば、液晶ディスプレイ装置、有機ELディスプレイ装置、CRTディスプレイ装置などである。なお、表示装置30は、タッチパネルセンサを備えてもよく、その場合、入力装置としても機能する。
キーボード40は、後述するように、表示装置30に表示された三次元画像内の注目範囲を指定する範囲指定手段として機能する。なお、キーボード40の代わりに、入力装置として機能する表示装置30やその他の入力装置が範囲指定手段として機能しても良い。
補正環操作装置50は、補正環111の設定値を指示するための入力装置である。利用者が補正環操作装置50で補正環111の設定値を指示すると、補正環制御装置14は、補正環111の設定値を指示された値に変更する。
Z駆動部操作装置60は、対物レンズ110のZ位置の変更を指示するための入力装置である。利用者がZ駆動部操作装置60でZ位置の変更を指示すると、Z制御装置13は、Z駆動部109を光軸方向に移動させて対物レンズ110のZ位置を変更する。
顕微鏡100は、2光子励起顕微鏡である。サンプルSは、例えば、マウスの脳などの生体試料であり、サンプルSにはカバーガラスCGが載せられている。顕微鏡100は、図3に示すように、照明光路上に、レーザー101と、走査ユニット102と、瞳投影光学系103と、ミラー104と、ダイクロイックミラー105と、対物レンズ110とを備えている。
レーザー101は、例えば、超短パルスレーザーであり、近赤外域のレーザー光を発振する。レーザー101の出力は、光源制御装置11によって制御される。即ち、光源制御装置11は、サンプルに照射するレーザー光のパワーを制御するレーザー制御装置である。
走査ユニット102は、レーザー光でサンプルSを2次元に走査するための走査手段であり、例えば、ガルバノスキャナやレゾナンドスキャナなどを含んでいる。走査ユニット102の走査範囲が変化することでズーム倍率が変化する。走査ユニット102の走査範囲は、ズーム制御装置12によって制御される。
瞳投影光学系103は、走査ユニット102を対物レンズ110の瞳位置に投影する光学系である。ダイクロイックミラー105は、励起光(レーザ光)とサンプルSからの検出光(蛍光)とを分離する光分離手段であり、波長によりレーザー光と蛍光を分離する。
対物レンズ110は、補正環111を備えた乾燥系又は液浸系の対物レンズであり、Z駆動部109に装着されている。Z駆動部109は、対物レンズ110を対物レンズ110の光軸方向に移動させる手段であり、Z駆動部109の移動(即ち、対物レンズ110の移動)は、Z制御装置13によって制御される。
補正環111は、その設定値を変更することにより対物レンズ110内のレンズを移動させて球面収差を補正する補正装置である。補正環111の設定値は、補正環制御装置14によって変更される。なお、補正環111の設定値は、補正環111を直接操作することで、手動で変更することもできる。
顕微鏡100は、さらに、検出光路(ダイクロイックミラー105の反射光路)上に、瞳投影光学系106と、光検出器107とを備えている。光検出器107から出力された信号は、A/D変換器108に出力される。
瞳投影光学系106は、対物レンズ110の瞳を光検出器107に投影する光学系である。光検出器107は、例えば、光電子増倍管(PMT)であり、入射した蛍光の光量に応じたアナログ信号を出力する。A/D変換器108は、光検出器107からのアナログ信号をデジタル信号(輝度信号)に変換して、演算装置20に出力する。
以上のように構成された顕微鏡システム1では、顕微鏡100は、走査ユニット102を用いてレーザー光でサンプルSを走査して、サンプルSの各位置からの蛍光を光検出器107で検出する。そして、演算装置20は、光検出器107からの信号を変換したデジタル信号(輝度信号)と走査ユニット102の走査情報とに基づいて、画像データを生成する。即ち、顕微鏡システム1では、顕微鏡100と演算装置20により構成される顕微鏡装置が、サンプルSの画像データを取得する。
図4は、顕微鏡システム1で行われる関数算出処理のフローチャートである。以下、図4を参照しながら、Z位置と球面収差が補正される補正環の設定値(目標値)との関係を示す関数を算出する処理である関数算出処理について説明する。
顕微鏡システム1は、サンプルSの三次元画像を表示装置30に表示させる(ステップS1)。ここでは、演算装置20が、まず、利用者がキーボード40等を用いて入力した情報に基づいて、三次元画像を生成するために画像データを取得すべき複数のZ位置を決定する。例えば、利用者が画像データを取得すべきZ範囲とZ間隔を入力し、演算装置20がZ範囲とZ間隔から複数のZ位置を決定する。なお、Z範囲とは、Z位置の範囲のことであり、Z間隔とは、Z位置間の間隔である。次に、演算装置20の指示に従って、Z制御装置13がZ駆動部109を光軸方向に移動させて、対物レンズ110を決定した複数のZ位置に順番に移動させる。そして、顕微鏡装置は、各Z位置でサンプルSの画像データを取得する。最後に、演算装置20は、複数のZ位置で取得した画像データ(Zスタック画像データ)に基づいて、サンプルSの三次元画像を表示装置30に表示させる。即ち、演算装置20は、三次元画像を表示装置30に表示させる表示制御装置である。なお、Zスタック画像データに基づいて三次元画像データを生成する方法は既知であるので、詳細な説明は省略する。
図5は、表示装置30に表示されたサンプルSの三次元画像の一例である。図5に例示される三次元画像Gは、マウスの脳の画像であり、図5には、Z方向(深さ方向)に脳の構造が変化している様子が示されている。
三次元画像が表示されると、顕微鏡システム1は、注目範囲の指定を受け付ける(ステップS2)。ここでは、ステップS1で表示装置30に表示された三次元画像Gを参照してサンプルSの構造を確認した利用者が、キーボード40等の入力装置を用いて三次元画像G内の注目範囲Rを指定する。図6には、三次元画像Gが表示された画面上で、観察対象面の深さが350μmから500μmの範囲を注目範囲Rとして指定する様子が例示されている。注目範囲Rが指定されると、演算装置20は、指定された注目範囲Rに関する情報を受信する。
三次元画像上で注目範囲が指定されると、顕微鏡システム1は、複数のZ位置を決定する(ステップS3)。ここでは、演算装置20が、注目範囲Rに関する情報に基づいて、Z位置と目標値との関係を示す関数を算出するために画像データを取得すべき複数のZ位置を決定する。例えば、演算装置20は、注目範囲Rで特定される対物レンズ110のZ範囲(深さ350μmから500μmに対応するZ範囲)と予め決められた一定の間隔(例えば、50μm間隔)から複数のZ位置を決定してもよい。決定した複数のZ位置は記憶装置25に記憶される。
次に、顕微鏡システム1は、Z位置を初期位置に変更する(ステップS4)。ここでは、演算装置20の指示に従って、Z制御装置13がZ駆動部109を光軸方向に移動させて、対物レンズ110のZ位置をステップS3で決定した複数のZ位置のうちの一つである初期位置に変更する。これにより、後に目標値算出のために画像データが取得されるサンプルSの観察対象面が確定する。
Z位置が変更されると、顕微鏡システム1は、観察対象面における球面収差が補正される補正環111の設定値(以降、目標値と記す)を算出する(ステップS5)。ここでは、顕微鏡装置が現在のZ位置で取得した複数の画像データに基づいて、演算装置20がそのZ位置における目標値を算出する。なお、目標値を算出する処理については、図18から図29を参照しながら、後に詳述する。
顕微鏡システム1は、目標値が算出されると、ステップS3で決定した複数のZ位置のすべてで目標値が算出済みか否かを判断する(ステップS6)。すべてのZ位置で目標値が算出されていない場合には、顕微鏡システム1は、対物レンズ110のZ位置をステップS3で決定した複数のZ位置のうちの目標値が算出されていないZ位置に変更し(ステップS7)、その新たなZ位置で目標値を算出する(ステップS5)。これを繰り返すことにより、Z位置毎に取得した複数の画像データに基づいて、複数のZ位置における複数の目標値が算出される。
すべてのZ位置で目標値が算出されている場合には、顕微鏡システム1は、Z位置と目標値との関係を示す関数を算出する(ステップS8)。ここでは、演算装置20は、ステップS2で指定された注目範囲で特定される対物レンズ110のZ範囲を対象とした関数を、ステップS5で算出した複数のZ位置と複数の目標値との組み合わせに基づいて算出する。関数は、既に取得した情報を基にして演算装置20が自動的に算出してもよく、又は、利用者がさらに情報を入力した上で演算装置20が算出する、即ち、演算装置20が半自動的に算出してもよい。算出した関数は、記憶装置25に記憶される。
最後に、顕微鏡システム1は、関数を三次元画像に関連付けて表示装置30に表示させて(ステップS9)、関数算出処理を終了する。ここでは、演算装置20は、ステップS8で算出した関数を三次元画像Gに関連付けて、表示装置30に表示させる。図7には、ステップS8で算出した関数のグラフFと三次元画像Gとを並べて表示装置30に表示させた例が示されている。図7のグラフFの横軸は、球面収差が補正される補正環111の設定値(即ち、目標値)を示している。また、縦軸は、観察対象面の深さを示していて、対物レンズ110のZ位置と1対1で対応している。
顕微鏡システム1は、図4に示す処理を実行することで、Z位置と目標値との関係を示す関数を容易に算出することができる。また、顕微鏡システム1では、関数の算出前に、サンプルSの三次元画像が表示され、表示された三次元画像を参照した利用者によって注目範囲が指定される。これにより、顕微鏡システム1は、関数の対象範囲を利用者が指定した注目範囲に限定することができるため、その注目範囲で球面収差を高精度に補正する関数を算出することができる。また、顕微鏡システム1では、注目範囲を対象として算出した関数と三次元画像が関連付けて表示される。このため、利用者は、これらの表示から、注目範囲内での屈折率の変化などを推測することができる。これは、Z位置に対する目標値の変化率がサンプルSの屈折率に大きく依存するからである。
なお、ステップS8では、関数は、補間又は関数近似により算出されることが望ましい。補間には、ラグランジュ補間、スプライン補間などの任意の補間法が採用され得る。関数近似にも、最小二乗法などの任意の近似法が採用され得る。これにより、比較的少ない数のZ位置と目標値の組み合わせから関数を算出することができる。このため、画像データを取得する回数を少なく抑えることが可能であり、その結果、サンプルSへのダメージを抑えながら、短時間での関数の算出が可能となる。
さらに、ステップS8では、関数は、少なくとも3つのZ位置と少なくとも3つのZ位置における目標値との組み合わせに基づいて、補間又は関数近似により算出されることがより望ましい。これにより、サンプルSが深さによって屈折率が大きく異なる構造を有している場合であっても、その屈折率の変化に伴う目標値の変化を捉えた関数を算出することができるからである。
以下、ステップS8の処理について具体的に説明する。なお、以下では、観察深さ50μmから600μmの範囲が注目範囲として指定された場合を例に説明する。
図8は、図4に示すステップS8の処理を自動化した具体例を示すフローチャートである。図9は、図8に示すステップS11の処理で算出されたZ位置に対する目標値の傾きを示した図である。図10は、図8に示すステップS12の処理で決定した複数のZ範囲について例示した図である。図11から図13は、それぞれ、図8に示すステップS14の処理で算出された全関数の一例を示した図である。
顕微鏡システム1は、ステップS5で目標値が算出された複数のZ位置のうちの隣り合う2つのZ位置毎に、Z位置に対する目標値の傾きを算出する(ステップS11)。ここでは、演算装置20は、複数のZ位置のうちの隣り合う2つのZ位置毎に、2つのZ位置と2つのZ位置の各々における目標値からなる2つの目標値とに基づいて、Z位置に対する目標値の傾きを算出する。図9は、ステップS11で算出した傾きを図示した図である。横軸は、球面収差が補正される補正環111の設定値(即ち、目標値)を示している。縦軸は、観察対象面の深さを示していて、対物レンズ110のZ位置と1対1で対応している。なお、傾きは、2つのZ位置間におけるサンプルの屈折率に依存し、対物レンズ110の設計において基準とした屈折率(以降、基準屈折率と記す。)に対してサンプルの屈折率が大きいほど、その絶対値は大きくなる。これは、基準屈折率とサンプルの屈折率の差異が大きいほどより大きな球面収差が発生するためである。
次に、顕微鏡システム1は、複数のZ範囲を決定する(ステップS12)。ここでは、演算装置20は、ステップS11において、2つのZ位置毎に算出したZ位置に対する目標値の傾きからなる、複数のZ位置に対する目標値の傾きに基づいて、複数のZ範囲を決定する。より詳細には、傾きの変化に着目する。例えば、傾きの変化がある閾値以上であるZ位置を特定し、特定したZ位置が境界に位置するようにZ範囲を決定してもよい。傾きの変化が小さい領域(Z範囲)では、サンプルの屈折率はほぼ一定であると考えられる。一方、傾きの変化が大きい領域(Z範囲)では、サンプルの屈折率が大きく変化していると考えられる。傾きの変化が大きいZ位置を境界にしてZ範囲を決定することで、屈折率の変化が少なくおよそ均質な領域毎にZ範囲を決定することができる。図10では、傾きの変化が大きなZ位置として、観察対象面の深さ100μmに対応するZ位置(以降、Z100と記す。)と観察対象面の深さ500μmに対応するZ位置(以降、Z500と記す。)を特定し、3つのZ範囲(第1のZ範囲、第2のZ範囲、第3のZ範囲)を決定した例が示されている。
複数のZ範囲が決定されると、顕微鏡システム1は、Z範囲毎に部分関数を算出する(ステップS13)。ここでは、演算装置20は、ステップS12で決定した複数のZ範囲毎に、そのZ範囲を定義域とするZ位置と目標値との関係を示す部分関数を、補間又は関数近似により算出する。図11には、Z100における目標値とZ500における目標値を線形補間して、第2のZ範囲を定義域とする部分関数を算出した例が示されている。図12には、最小二乗法により第2のZ範囲を定義域とする部分関数を算出した例が示されている。図13には、二次関数の関数近似により第2のZ範囲を定義域とする部分関数を算出した例が示されている。なお、図11から図13のいずれも、第1のZ範囲と第3のZ範囲については、線形補間により部分関数を算出した例が示されている。
最後に、顕微鏡システム1は、部分関数の集合からなる全関数を算出し(ステップS14)、図8の処理を終了する。
顕微鏡システム1は、図4及び図8に示す処理を実行することで、Z位置と目標値との関係を示す関数を自動的に算出することができる。また、注目範囲内において屈折率の変化が少なくおよそ均質な領域毎にZ範囲を決定して、Z範囲毎に算出した部分関数から全関数を算出する。このため、サンプルSが深さによって屈折率が大きく異なる構造を有している場合であっても、高精度に球面収差を補正する関数を算出することができる。これは、屈折率が異なる層が積層された構造を有する脳などのサンプルを対象とする場合に、特に好適である。従って、顕微鏡システム1によれば、高精度に球面収差を補正する関数を容易に算出することができる。
図14は、図4に示すステップS8の処理を自動化した別の具体例を示すフローチャートである。顕微鏡システム1は、図8に示す処理の代わりに、図14に示す処理を実行してもよい。
顕微鏡システム1は、まず、ステップS5で目標値が算出された複数のZ位置のうちの隣り合う2つのZ位置毎に、線形補間により部分関数を算出する(ステップS21)。ここでは、演算装置20は、複数のZ位置のうちの隣り合う2つのZ位置と、その2つのZ位置の各々における目標値からなる2つの目標値とに基づいて、その2つのZ位置を両端としたZ範囲を定義域とするZ位置と目標値との関係を示す部分関数を、線形補間により算出する。この処理は、隣り合う2つのZ位置毎に行われる。
その後、顕微鏡システム1は、部分関数の集合からなる全関数を算出し(ステップS22)、図14の処理を終了する。図9には、図14の処理により算出されたZ位置と目標値との関係を示す関数が示されている。
図14の処理は、図8の処理において、隣り合う2つのZ位置間をそれぞれZ範囲と決定した場合に相当する。従って、顕微鏡システム1は、図4及び図14に示す処理を実行することによっても、図4及び図8に示す処理を実行した場合と同様の効果を得ることができる。
図15は、図4に示すステップS8の処理を半自動化した具体例を示すフローチャートである。図16は、図15に示すステップS32で受け付けるZ範囲の指定を入力する方法について説明するための図である。顕微鏡システム1は、図8に示す処理の代わりに、図16に示す処理を実行してもよい。
顕微鏡システム1は、まず、ステップS5で目標値が算出された複数のZ位置と複数の目標値を表示装置30に表示させる(ステップS31)。ここでは、演算装置20(出力I/F装置24)が、複数のZ位置と、複数のZ位置の各々における目標値からなる複数の目標値と、を表示装置30に表示させる。図16には、Z位置と目標値の組み合わせを示す点をプロットすることで、複数のZ位置と複数の目標値を表示する例が示されている。なお、表示方法は、図16の例に限られず、例えば、表形式で各数値が表示されてもよい。
次に、顕微鏡システム1は、複数のZ範囲の指定を受け付ける(ステップS32)。ここでは、例えば、ステップS31で表示装置30に表示された情報を確認した利用者が、キーボード40等を用いて複数のZ範囲を指定する。図16には、複数のZ位置と複数の目標値が表示された画面上でZ範囲を指定する様子が例示されている。複数のZ範囲が指定されると、演算装置20は指定されたZ範囲に関する情報を受信する。
その後、顕微鏡システム1は、Z範囲毎に、部分関数を算出する(ステップS33)。ここでは、表示装置30が複数のZ位置と複数の目標値を表示した後にステップS32で指定されたZ範囲毎に、演算装置20が、そのZ範囲を定義域とするZ位置と目標値との関係を示す部分関数を、補間又は関数近似により算出する。
最後に、顕微鏡システム1は、ステップS33で算出した部分関数の集合からなる全関数を算出し(ステップS34)、図15の処理を終了する。
顕微鏡システム1は、図4及び図15に示す処理を実行することで、演算装置20による機械的な判断が困難な場合であっても、利用者が表示装置30に表示される情報を見ながら、屈折率の変化が少なくおよそ均質な領域をZ範囲として指定することができる。このため、顕微鏡システム1によれば、高精度に球面収差を補正する関数を容易に算出することができる。
図17は、本実施例に係る顕微鏡システム1で行われる球面収差補正処理のフローチャートである。以下、図17を参照しながら、顕微鏡システム1において補正環111を利用して行われる球面収差を補正する処理について説明する。なお、図17に示す球面収差補正処理は、例えば、観察開始直前に行われる。
顕微鏡システム1は、まず、Z位置の指定を受け付ける(ステップS41)。ここでは、例えば、利用者が観察対象面を決定するためにZ駆動部操作装置60を操作してZ位置を指定する。これにより、演算装置20がZ駆動部操作装置60から指定されたZ位置に関する情報を受信する。なお、ここで指定されるZ位置は、注目範囲によって特定されるZ範囲内の位置である。さらに、Z制御装置13がZ駆動部109を制御して対物レンズ110のZ位置を指定されたZ位置に変化させる。その結果、サンプルSの観察対象面が確定する。
次に、顕微鏡システム1は、ステップS41で指定されたZ位置と図4に示す関数算出処理で算出された関数とに基づいて、目標値を算出する(ステップS42)。ここでは、演算装置20が、ステップS41で指定されたZ位置(現在のZ位置)と図4に示す関数算出処理で算出された関数に基づいて、現在のZ位置における目標値を算出する。
顕微鏡システム1は、目標値が算出されると、補正環111の設定値を目標値に設定する(ステップS43)。ここでは、補正環制御装置14が補正環111の設定値をステップS42で算出された目標値に変更する。なお、補正環制御装置14は、自動的に、即ち、演算装置20からの指示に従って、ステップS42で算出した目標値に補正環111の設定値を変更してもよい。また、手動により、即ち、ステップS42で算出された目標値が表示装置30に表示され、表示された目標値に基づいて利用者が補正環操作装置50を操作することにより、補正環制御装置14が補正環111の設定値を目標値に変更してもよい。また、利用者が補正環111を直接操作して補正環111の設定値を目標値に変更してもよい。
最後に、顕微鏡システム1は、レーザー101の出力を設定する(ステップS44)。ここでは、光源制御装置11が、補正環111の設定値が目標値であるときに顕微鏡装置で取得された画像データに基づいて、サンプルSに照射するレーザー光のパワーを制御する。例えば、ステップS43で補正環111の設定値を変更した後に画像データを取得して、その画像データから算出される画像の明るさに基づいてレーザー101の出力を設定する。
顕微鏡システム1は、図17に示す球面収差補正処理を実行することで、観察対象面の深さに応じて変化する球面収差を容易に補正することができる。これにより、顕微鏡100が有する光学性能を十分に発揮して、高品質な画像を得ることができる。また、顕微鏡システム1は、Z位置と関数に基づいて簡単な計算で現在のZ位置における目標値を算出することができる。このため、観察深さを頻繁に変更しながらサンプルSを観察する場合であっても、短時間で補正環111の設定値を深さに応じた目標値に変更することができる。補正環111の調整作業を自動化することができるため、他の自動化処理、例えば、複数のZ位置で画像データを取得して三次元画像やエクステンドフォーカス画像を自動的に生成する処理などにも、容易に組み込むことができる。さらに、球面収差が補正された状態では、一般に、球面収差が補正されていない状態に比べて明るい画像が得られる。このため、球面収差が補正された状態で取得された画像データに基づいてレーザー101の出力を設定することで、レーザー101の出力を抑えて、生体試料へのダメージを抑制することができる。
以下、図4に示す関数算出処理のステップS5で行われる目標値算出処理について、具体的に説明する。図18は、顕微鏡システム1でZ位置毎に行われる目標値算出処理のフローチャートである。図19は、図18に示す目標値算出処理について説明するための図である。
顕微鏡システム1は、まず、補正環111の複数の設定値を決定する(ステップS51)。ここでは、顕微鏡装置でサンプルの画像データを取得する際の補正環111の設定値を演算装置20が複数個決定する。例えば、図19(a)に示すように、演算装置20は、補正環111が回転可能な範囲(動作可能範囲)自体又はそれより少しだけ狭い範囲を探索範囲に決定し、探索範囲を均等に分割する予め決められた数(ここでは10)の設定値(補正環位置)を、複数の設定値として決定する。なお、図19(a)では、θ1からθ10までの10個の設定値(補正環位置)が決定される例が示されている。
次に、顕微鏡システム1は、補正環111の設定値をステップS51で決定した設定値に変更する(ステップS52)。ここでは、補正環制御装置14が演算装置20からの指示に従ってステップS51で決定した複数の設定値のいずれかに設定する。例えば、補正環制御装置14は、補正環111の設定値をステップS51で決定したθ1に変更する。
補正環111の設定値が変更されると、顕微鏡システム1は、サンプルSの画像データを取得する(ステップS53)。ここでは、顕微鏡装置が演算装置20からの指示に従って画像データを取得する。例えば、顕微鏡装置は、補正環111の設定値がθ1の状態で画像データを取得する。
その後、顕微鏡システム1は、ステップS51で決定したすべての設定値で画像データを取得したか否かを判断し(ステップS54)、すべての設定値で画像データを取得していない場合には、ステップS52からステップS54の処理を繰り返す。これにより、顕微鏡装置は、補正環111の設定値が異なる複数の状態の各々で、サンプルSの観察対象面の画像データを取得し、その結果、複数の画像データを取得する。
すべての設定値で画像データが取得されると、顕微鏡システム1は、ステップS53で取得した複数の画像データの各々の評価値を算出する(ステップS55)。ここでは、演算装置20が、複数の画像データの各々に基づいて球面収差が補正されているほど大きな値を示すその画像データの評価値を算出して、その結果、複数の画像データの複数の評価値を算出する。一般に、球面収差が補正された画像データほど高いコントラストを有していることから、評価値としては、例えば、画像データに対してコントラスト評価法を用いて算出されるコントラスト値が用いられる。図19(a)には、ステップS53で取得した複数の画像データの評価値が示されている。なお、図19(a)では、画像データは補正環位置(補正環111の設定値)によって特定され、その画像データの評価値がコントラスト値として示されている。
コントラスト評価法によるコントラスト値は、画像データを構成するピクセル間の輝度値の差分に基づいて算出される。具体的には、例えば、下式により、x方向にnピクセル分ずれた位置にある2つのピクセルの輝度値の差分の2乗を画像データ全体で積分した値が、コントラスト値として算出される。
ここで、xは画像データを構成するピクセルの列を特定する変数であり、yは画像データを構成するピクセルの行を特定する変数である。Wは画像データを構成するピクセルのx方向の数(即ち、列数)であり、Hは画像データを構成するピクセルのy方向の数(即ち、行数)である。fはピクセルの輝度値であり、nは整数(例えば、5など)である。
評価値が算出されると、顕微鏡システム1は、所定の条件を満たしているか否かを判断する(ステップS56)。所定の条件としては、例えば、ステップS52からステップS56までの処理の繰り返し回数が所定回数に達しているか否かであってもよく、複数の設定値の平均間隔が所定値以下であるか否かであってもよい。
ステップS56で所定の条件を満たしていない場合には、顕微鏡システム1は、改めて複数の設定値を決定し(ステップS57)、その後、ステップS52からステップS56の処理を繰り返す。
ステップS57では、演算装置20は、以下の2つの条件を満たすように複数の設定値を決定する。第1の条件は、ステップS57で決定する複数の設定値の分布範囲(即ち、探索範囲)及び平均間隔が、先の複数の設定値の分布範囲及び平均間隔と比較して、狭いことである。第2の条件は、ステップS57で決定する複数の設定値の分布範囲内に、ステップS55において最大の評価値に対応する補正環111の設定値が含まれることである。なお、本明細書において、評価値に対応する設定値とは、ある画像データから算出された評価値に対するその画像データが取得されたときの補正装置の設定値のことをいうものとする。また、設定値に対応する評価値とは、ある画像データが取得されたときの補正装置の設定値に対するその画像データから算出された評価値のことをいうものとする。
これにより、顕微鏡装置は、設定値が異なる複数の状態で複数の画像データを取得する処理を、複数の状態で設定される補正環111の複数の設定値の分布範囲と平均間隔とが繰り返し毎に狭まり、且つ、その分布範囲内に演算装置20が算出した最大の評価値に対応する補正環111の設定値が含まれるように、繰り返す。そして、演算装置20は、繰り返し毎に、複数の画像データの複数の評価値を算出する。
図19(b)は、ステップS57で決定した複数の設定値に基づいて取得した複数の画像データの評価値が示されている。図19(a)と図19(b)を比較すると、図19(b)に示す複数の設定値(補正環位置)は、上記2つの条件を満たしていることが確認できる。なお、図19(a)と図19(b)では、いずれも10個の設定値(補正環位置)が決定されている例が示されているが、設定値の数は、繰り返し毎に設定値の平均間隔が狭くなる限り、同一に限られず、増加しても減少してもよい。
ステップS56で所定の条件を満たしている場合には、顕微鏡システム1は、ステップS55で算出した複数の評価値と、それら複数の評価値に対応する複数の設定値と、に基づいて目標値を算出し(ステップS58)、目標値算出処理を終了する。ここでは、演算装置20は、例えば、最後の繰り返しにおいてステップS55で算出された複数の評価値のうちの最大の評価値に対応する補正環111の設定値を目標値として算出してもよい。また、最後の繰り返しに限らずステップS55で算出された複数の評価値のうちの最大の評価値に対応する補正環111の設定値を目標値として算出してもよい。なお、演算装置20は、算出した目標値と現在のZ位置の組み合わせを、記憶装置25に記憶させる。
顕微鏡システム1は、図18に示す目標値算出処理を実行することで、比較的少ない画像データの取得回数で目標値を高精度に算出することができる。
なお、図18のステップS55では、画像データ毎に評価値を算出する例を示したが、画像データの全体領域を複数の領域に分割して、分割によって得られる領域毎に評価値(以降、画像データ毎に算出される評価値と区別するため、領域評価値と記す。)を算出してもよい。この場合、ステップS58では、領域毎に目標値(全体領域に対して算出される目標値と区別するため、以降、領域目標値と記す。)を算出し、複数の領域目標値に基づいて、全体領域に対する目標値を算出する。
図20は、画像データの全体領域Wを領域R1から領域R9の9つの領域に分割し、領域毎に領域目標値を算出した例を示している。全体領域に対する目標値は、例えば、領域目標値を昇順又は降順に並べた(θ3:θ3:θ4:θ4:θ5:θ5:θ5:θ6:θ6)中間値(θ5)に決定されてもよく、最頻値(θ5)に決定されてもよい。なお、分割数も9つに限られず、9つより少なくても多くてもよい。
領域毎に領域目標値を算出し、複数の領域目標値に対する統計的な処理により目標値を算出することで、画像データに他のピクセルデータと比較して極端に高輝度又は低輝度を有するピクセルデータが含まれる場合であっても、その影響を抑えて画像データのコントラストを評価することができる。このため、球面収差が補正される設定値を正しく算出することができる。
図21は、顕微鏡システム1で行われる別の目標値算出処理のフローチャートである。対物レンズ110には、補正環111の設定値を変更することにより対物レンズ110の焦点距離がわずかに変化するものが存在する。図21に示す目標値算出処理は、このような対物レンズ110が使用される場合に行われる。図21に示す目標値算出処理は、ステップS58に続いて、さらに、ステップS59からステップS61の処理が行われる点が、図18に示す目標値算出処理と異なっている。その他の点は、図18に示す目標値算出処理と同様であるので、説明を割愛する。
顕微鏡システム1は、ステップS58で目標値が算出されると、Z位置を変更する(ステップS59)。ここでは、演算装置20の指示に従って、Z制御装置13がZ駆動部109を光軸方向に移動させて対物レンズ110のZ位置を変更する。Z位置の移動量は、補正環111の設定値を動作可能範囲内で変更したときに、その変更によって生じる観察対象面の最大移動量(つまり、対物レンズ110の焦点距離の最大変化量)よりも小さな距離である。
次に、顕微鏡システム1は、変更後のZ位置が所定のZ範囲内にあるか否かを判断する(ステップS60)。ここでは、例えば、変更後のZ位置が基準位置(例えば、図4のステップS4またはステップS7で確定したZ位置)から補正環111の設定値の変更によって生じる観察対象面の最大移動量よりも離れていない場合には、演算装置20はZ位置が所定のZ範囲内にあると判断する。即ち、所定のZ範囲とは、例えば、ステップS4又はステップS7で確定した観察対象面のZ位置を中心とした、対物レンズ110の焦点距離の最大変化量の2倍の幅を有するZ範囲である。
変更後のZ位置が所定のZ範囲内にある場合には、顕微鏡システム1は、変更後のZ位置でステップS52からステップS58の処理を行う。これにより、演算装置20は、Z位置毎に目標値を算出し、その結果、複数のZ位置における複数の目標値を算出する。
変更後のZ位置が所定のZ範囲外にある場合には、顕微鏡システム1は、複数のZ位置における複数の目標値とこれら複数の目標値に対応する評価値とに基づいて、評価値が最大となると推定される補正環111の設定値とZ位置の組み合わせを算出し(ステップS61)、目標値算出処理を終了する。ここでは、演算装置20は、例えば、複数の目標値に対応する複数の評価値のうちの最大の評価値を特定し、その最大の評価値に対応する目標値を、評価値が最大となると推定される設定値として算出する。そして、演算装置20は、評価値が最大となると推定される設定値とZ位置の組み合わせを記憶装置25に記憶させる。
顕微鏡システム1は、図21に示す目標値算出処理を実行することで、対物レンズ110の焦点距離が補正環111の設定値によって変化する場合であっても、比較的少ない画像データの取得回数で、球面収差を良好に補正する補正環111の設定値と対物レンズ110のZ位置の組み合わせを高精度に算出することができる。そして、ステップS61で算出した設定値とZ位置の組み合わせに従って、Z制御装置13及び補正環制御装置14がZ駆動部109及び補正環111を制御することで、観察対象面で生じる球面収差を良好に補正することができる。
なお、図22のステップS55では、画像データの全体領域を複数の領域に分割して、領域毎に領域評価値を算出してもよく、この場合、ステップS58では、複数の領域目標値を算出する。また、ステップS61では、複数のZ位置における複数の領域目標値とこれら複数の領域目標値に対応する領域評価値とに基づいて、評価値が最大となると推定される補正環111の設定値とZ位置の組み合わせ(全体領域に対して算出される組み合わせと区別するため、以降、領域組み合わせと記す)を、領域毎に算出する。その後、複数の領域組み合わせに基づいて、全体領域に対する組み合わせを算出する。
図22は、画像データの全体領域Wを領域R1から領域R9の9つの領域に分割し、領域毎に領域組み合わせを算出した例を示している。領域組み合わせを構成する設定値は、例えば、ステップS58で算出される領域目標値を昇順又は降順に並べた(θ3.6:θ3.7:θ4.4:θ4.4:θ4.5:θ4.6:θ4.7:θ5.1:θ6.1)中間値(θ4.5)に決定されてもよく、最頻値(θ4.4)に決定されてもよい。また、領域組み合わせを構成するZ位置は、例えば、決定された設定値に基づいて決定されてもよく、中間値(θ4.5)であれば、中間値に対応するZ位置の値(Z2.5)、最頻値(θ4.4)であれば、最頻値に対応するZ位置の値(Z2.3)に決定されてもよい。なお、分割数も9つに限られず、9つより少なくても多くてもよい。
領域毎に領域組み合わせを算出し、複数の領域組み合わせに対する統計的な処理により、評価値が最大となると推定される補正環111の設定値とZ位置の組み合わせ組み合わせを算出する。これにより、画像データに他のピクセルデータと比較して極端に高輝度又は低輝度を有するピクセルデータが含まれる場合であっても、その影響を抑えて画像データのコントラストを評価することができる。このため、球面収差が補正される設定値を正しく算出することができる。
図23は、顕微鏡システム1で行われる更に別の目標値算出処理のフローチャートである。図24は、図23に示す目標値算出処理について説明するための図である。図23及び図24を参照しながら、図23に示す目標値算出処理について説明する。なお、図23に示すステップS71からステップS75までの処理は、図18に示すステップS51からステップS55までの処理と同様であるので、詳細な説明は割愛する。
顕微鏡システム1は、ステップS75で評価値が算出されると、複数の画像データの第1の座標情報に基づいて目標値を算出し(ステップS76)、目標値算出処理を終了する。なお、画像データの第1の座標情報とは、その画像データから算出された評価値とその評価値に対応する補正環111の設定値との組み合わせをいうものとする。
ステップS76では、演算装置20は、まず、ステップS73で取得した複数の画像データから3つ以上の画像データを選択する。この3つ以上の画像データは、ステップS75で算出した複数の評価値のうちの最大値が算出された画像データが含まれるように、選択される。
その後、演算装置20は、選択した3つ以上の画像データの第1の座標情報に基づいて、観察対象面における球面収差が補正される補正環111の設定値である目標値を算出する。具体的には、3つ以上の画像データの第1の座標情報に基づいて、補間又は関数近似により関数を算出する。なお、この関数は、評価値と設定値に関する関数である。そして、算出した関数のピーク座標(評価値が最大となる座標)から得られる設定値を目標値として算出する。演算装置20は、算出した目標値と現在のZ位置の組み合わせを、記憶装置25に記憶させる。
図24には、最大の評価値が算出される画像データとその前後(つまり、設定値が近い)の画像データからなる3つの画像データが選択され、それらの画像データから得られる3つの第1の座標情報からラグランジュ補間により二次関数を算出し、そのピーク座標から目標値を算出した例が示されている。なお、補間には、ラグランジュ補間、スプライン補間などの任意の補間法が採用され得る。また、関数近似にも、最小二乗法などの任意の近似法が採用され得る。
顕微鏡システム1は、図23に示す目標値算出処理を実行することで、比較的少ない画像データの取得回数で目標値を高精度に算出することができる。
なお、図18に示す目標値算出処理と図23に示す目標値算出処理を組み合わせて目標値を算出してもよい。例えば、図23に示す目標値算出処理に図18のステップS56及びステップS57の処理を追加して、ステップS76で算出した目標値が分布範囲に含まれるように、複数の設定値の分布範囲(即ち、探索範囲)及び平均間隔を徐々に狭めながら、目標値の算出を繰り返してもよい。これにより、目標値をより高い精度で算出することが可能となる。
図25は、顕微鏡システム1で行われる更に別の目標値算出処理のフローチャートである。図26は、図25に示す目標値算出処理のステップS79の処理のフローチャートである。図27及び図28は、図26に示す処理について説明するための図であり、図27は目標値と評価値の関数を算出する方法を、図28は目標値とZ位置の関数を算出する方法を示している。図25に示す目標値算出処理は、補正環111の設定値を変更することにより焦点距離が変化する対物レンズ110が使用される場合に行われる。図25に示す目標値算出処理は、ステップS76の代わりにステップS76aの処理が行われる点と、さらに、ステップS77からステップS79の処理が行われる点が、図23に示す目標値算出処理と異なっている。その他の点は、図23に示す目標値算出処理と同様であるので、説明を割愛する。なお、ステップS76aでは、関数のピーク座標から目標値に加えてその目標値に対応する評価値を算出する点がステップS76とは異なっている。
顕微鏡システム1は、ステップS76aで目標値と評価値が算出されると、Z位置を変更する(ステップS77)。さらに、変更後のZ位置が所定のZ範囲内にあるか否かを判断する(ステップS78)。なお、ステップS77及びステップS78の処理は、図20に示すステップS59及びステップS60の処理と同様である。
変更後のZ位置が所定のZ範囲内にある場合には、顕微鏡システム1は、変更後のZ位置でステップS72からステップS76aの処理を行う。これにより、Z位置毎に目標値と目標値に対応する評価値が算出され、その結果、複数のZ位置における複数の目標値と複数の評価値が算出される。即ち、複数の第2の座標情報が算出される。なお、第2の座標情報とは、Z位置と、Z位置における目標値と、Z位置における目標値に対応する評価値の組み合わせをいうものとする。
変更後のZ位置が所定のZ範囲外にある場合には、顕微鏡システム1は、複数の第2の座標情報に基づいて、評価値が最大となると推定される設定値とZ位置の組み合わせを算出し(ステップS79)、目標値算出処理を終了する。ここでは、演算装置20は、図26に示すように、まず、複数の第2の座標情報から3つ以上の第2の座標情報を選択する(ステップS79a)。この3つ以上の第2の座標情報は、複数の第2の座標情報のうちの最大値の評価値を有する第2の座標情報が含まれるように選択される。その後、演算装置20は、選択した3つ以上の第2の座標情報に基づいて、補間又は関数近似により目標値と評価値の関数(図27における破線)を算出する(ステップS79b)。このとき、第2の座標情報に含まれるZ位置の情報は関数の算出に利用しない。次に、ステップS79bで算出した関数のピーク座標(評価値が最大となる座標)からピーク座標での目標値を算出する(ステップS79c)。さらに、選択した3つ以上の第2の座標情報に基づいて、線形補間により目標値とZ位置の関数(図28における破線)を算出する(ステップS79d)。このとき、第2の座標情報に含まれる評価値の情報は関数の算出に利用しない。そして、ステップS79cで算出した目標値とステップS79dで算出した関数に基づいてZ位置を算出する(ステップS79e)。最後に、ステップS79cで算出した目標値とステップS79eで算出したZ位置の組み合わせを評価値が最大となると推定される設定値とZ位置の組み組み合わせとして算出し、記憶装置25に記憶させる(ステップS79f)。図21のステップS61でも同様の方法で組み合わせを算出してもよい。
顕微鏡システム1は、図25に示す目標値算出処理を実行することで、対物レンズ110の焦点距離が補正環111の設定値によって変化する場合であっても、比較的少ない画像データの取得回数で、球面収差を良好に補正する補正環111の設定値と対物レンズ110のZ位置の組み合わせを高精度に算出することができる。そして、ステップS79で算出した設定値とZ位置の組み合わせに従って、Z制御装置13及び補正環制御装置14がZ駆動部109及び補正環111を制御することで、観察対象面で生じる球面収差を良好に補正することができる。
図25では、所定のZ範囲内のZ位置毎にステップS72からステップS76aの処理を行う例を示したが、さらに、Z位置毎にステップS71が行われてもよい。即ち、Z位置毎に、補正環111の複数の設定値(画像データを取得する補正環の設定値の範囲)を決定し直してもよい。
図29は、Z位置毎且つ補正環111の設定値(角度)毎に得られる標本Sの画像を並べた図である。図29には、Z位置が深くなるほど、高いコントラストの画像が得られる補正環111の設定値も大きくなるという傾向が示されている。従って、このようなZ位置に対する傾向が既知である場合には、Z位置毎に、この傾向に基づいて探索範囲を決定して、ステップS71でその探索範囲内で複数の設定値を決定してもよい。図29に示す例であれば、Z2では、θ1からθ3の3つの設定値を決定し、Z3では、θ1からθ5の5つの設定値を決定し、Z4では、θ2からθ6の5つの設定値を決定する。これにより、Z位置毎に複数の設定値を決定し直さない場合に比べて、探索範囲を狭くすることができるため、ステップS71で決定する設定値の数も少なくすることができる。このため、より少ない画像データの取得回数で、球面収差を良好に補正する補正環111の設定値と対物レンズ110のZ位置の組み合わせを高精度に算出することができる。
なお、探索範囲の幅(L1とL2との間のθ方向の距離)は、例えば、対物レンズの設計値等に基づいて、対物レンズ毎に設定されていてもよく、また、実験等により、図29に示すようなデータを予め取得し、このデータに基づいて設定されていてもよい。また、上述した傾向(即ち、Z位置と評価値と設定値の関係を示す傾向、例えば、L1及びL2の傾き)は、最初の数回のZ位置の変更までの間に算出されたZ位置と目標値の組み合わせの情報から算出してもよい。
また、図21及び図25は、Z位置を変更することなく決定した補正環111の全ての設定値で画像データを取得した後に、Z位置を次の位置へ変更する例を示しているが、結果として、設定値が異なる複数の状態の各々で取得された画像データが所定範囲内のZ位置毎に得られればよい。このため、補正環111の設定値を変更することなく所定範囲内の各Z位置で画像データを取得した後に、補正環111の設定値を次の設定値に変更してもよい。
図30は、本実施例に係る顕微鏡200の構成を例示した図である。なお、本実施例に係る顕微鏡システムは、顕微鏡100の代わりに顕微鏡200を含む点が図1に示す顕微鏡システム1と異なっている。その他の点については、顕微鏡システム1と同様であるので、同一の構成要素については同一の符号で参照する。
顕微鏡200は、共焦点顕微鏡である。サンプルSは、例えば、マウスの脳などの生体試料である。顕微鏡200は、図30に示すように、照明光路上に、レーザー201と、ビームエクスパンダ202と、ダイクロイックミラー203と、走査ユニット204と、瞳投影光学系205と、対物レンズ110とを備えている。なお、対物レンズ110、対物レンズ110を光軸方向に移動させるZ駆動部109、対物レンズ110内のレンズを移動させて球面収差を補正する補正装置である補正環111については、実施例1に係る顕微鏡100と同様である。
レーザー201は、例えば、可視域や紫外域、赤外域のレーザー光を発振する。レーザー201から発振されるレーザーの出力は、光源制御装置11によって制御される。ビームエクスパンダ202は、レーザー201からのレーザー光(コリメート光)の光束を対物レンズ213の瞳径に応じて調整する光学系である。ダイクロイックミラー203は、励起光(レーザ光)とサンプルSからの検出光(蛍光)とを分離する光分離手段であり、波長によりレーザー光と蛍光を分離する。
走査ユニット204は、レーザー光でサンプルSを2次元に走査するための走査手段であり、例えば、ガルバノスキャナやレゾナンドスキャナなどを含んでいる。走査ユニット204の走査範囲が変化することでズーム倍率が変化する。走査ユニット204の走査範囲は、ズーム制御装置12によって制御される。瞳投影光学系205は、走査ユニット204を対物レンズ110の瞳位置に投影する光学系である。
顕微鏡200は、さらに、検出光路(ダイクロイックミラー203の透過光路)上に、ミラー206と、共焦点レンズ207と、共焦点絞り208と、集光レンズ209と、光検出器210とを備えている。光検出器210から出力された信号は、A/D変換器211に出力される。
共焦点レンズ207は、共焦点絞り208上に、蛍光を集光するレンズである。共焦点絞り208は、対物レンズ110の焦点面と光学的に共役な位置に配置された絞りである。共焦点絞り208には、対物レンズ110の焦点位置から生じた蛍光を透過させるピンホールが形成されている。集光レンズ209は、共焦点絞り208を通過した蛍光を光検出器210に導くレンズである。
光検出器210は、例えば、光電子増倍管(PMT)であり、入射した蛍光の光量に応じたアナログ信号を出力する。A/D変換器211は、光検出器210からのアナログ信号をデジタル信号(輝度信号)に変換して、演算装置20に出力する。
以上のように構成された本実施例に係る顕微鏡システムでは、顕微鏡200は、走査ユニット204を用いてレーザー光でサンプルSを走査して、サンプルSの各位置からの蛍光を光検出器210で検出する。そして、演算装置20は、光検出器210からの信号を変換したデジタル信号(輝度信号)と走査ユニット204の走査情報とに基づいて、画像データを生成する。即ち、本実施例に係る顕微鏡システムでは、顕微鏡200と演算装置20により構成される顕微鏡装置が、サンプルSの画像データを取得する。
本実施例に係る顕微鏡システムでは、実施例1に係る顕微鏡システム1と同様に、図4に示す関数算出処理を行うことができる。このため、注目範囲内で球面収差を高精度に補正する関数を容易に算出することができる。
図31は、本実施例に係る顕微鏡300の構成を例示した図である。なお、本実施例に係る顕微鏡システムは、顕微鏡100の代わりに顕微鏡300を含む点が図1に示す顕微鏡システム1と異なっている。その他の点については、顕微鏡システム1と同様であるので、同一の構成要素については同一の符号で参照する。
顕微鏡300は、走査型ではない通常の蛍光顕微鏡である。なお、顕微鏡300は、ズーム機能を備えているため、ズーム顕微鏡とも呼ばれる。サンプルSは、例えば、マウスの脳などの生体試料である。顕微鏡300は、図31に示すように、照明光路上に、光源302を内蔵したランプハウス301と、コレクタレンズ303と、蛍光キューブ304と、ズームレンズ305と、対物レンズ110とを備えている。なお、対物レンズ110、対物レンズ110を光軸方向に移動させるZ駆動部109、対物レンズ110内のレンズを移動させて球面収差を補正する補正装置である補正環111については、実施例1に係る顕微鏡100と同様である。
光源302は、例えば、LED光源、高出力の水銀ランプなどである。なお、光源302の出力は、光源制御装置11によって制御される。コレクタレンズ303は、光源302からの励起光をコリメートする。蛍光キューブ304は、図示しないダイクロイックミラーと励起フィルタと吸収フィルタとを備えている。蛍光キューブ304は、励起光とサンプルSからの検出光(蛍光)とを分離する光分離手段であり、波長により励起光と蛍光を分離する。
ズームレンズ305は、ズームレンズ305を構成するレンズ間の距離が変化するように構成されている。ズーム制御装置12がレンズ間の距離を図示しないモータ等によって変化させることでズーム倍率が変化する。即ち、ズームレンズ305は、ズーム制御装置12によって制御される。
顕微鏡300は、さらに、検出光路(蛍光キューブ304の透過光路)上に、結像レンズ306と、撮像装置307を備えている。結像レンズ306は、対物レンズ110及びズームレンズ305を介して入射する蛍光を撮像装置307上に集光させて、サンプルSの光学像を形成する。撮像装置307は、例えば、CCDカメラであり、サンプルSの光学像を撮像してサンプルSの画像データを生成する。撮像装置307は、生成した画像データを演算装置20に出力する。本実施例に係る顕微鏡システムでは、顕微鏡300である顕微鏡装置が、サンプルSの画像データを取得する。
本実施例に係る顕微鏡システムでは、実施例1に係る顕微鏡システム1と同様に、図4に示す関数算出処理を行うことができる。このため、注目範囲内で球面収差を高精度に補正する関数を容易に算出することができる。
上述した各実施例は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施例に限定されるものではない。顕微鏡システム、Z位置と目標値との関係を算出する方法は、特許請求の範囲により規定される本発明の思想を逸脱しない範囲において、さまざまな変形、変更が可能である。この明細書で説明される個別の実施例の文脈におけるいくつかの特徴を組み合わせて単一の実施例としてもよい。
Z制御装置13がZ駆動部109を制御して対物レンズ110のZ位置を変化させる構成を例示したが、Z制御装置13は、顕微鏡のステージを光軸方向に移動させることにより対物レンズ110のZ位置を変化させてもよい。
また、観察対象面の深さによって変化する球面収差を補正する補正装置として補正環111を例示したが、補正装置は、光路上で生じる球面収差の量を変化させることができるものであればよい。補正装置は、例えば、LCOS(Liquid crystal on silicon、商標)、DFM(Deformable Mirror)、液体レンズなどを用いた装置であってもよい。また、発生する球面収差量が大きく単一の補正装置では十分に球面収差を補正しきれない場合には、補正する球面収差量を複数の補正装置で分担して、観察対象面で生じる球面収差を補正してもよい。
また、画素分解能が光学分解能よりも大きい、即ち、画素分解能から算出されるピクセルサイズが光学的に識別し得る2点間の距離よりも大きい場合には、発生した球面収差が画像データに十分に反映していない可能性がある。このような場合には、発生した球面収差を画像データ、ひいては評価値に正しく反映させるため、画素分解能が光学分解能よりも小さくなるように、ズーム倍率を高くした状態で目標値算出処理を実行してもよい。これにより、観察対象面に生じた球面収差をより高い精度で補正する設定値を算出することが可能となる。
また、評価値を算出する方法として、設定値毎に1枚の画像データを取得し、取得した画像データ毎に評価値を算出する例を示したが、設定値毎に複数の画像データを取得して、カルマンフィルタ等を用いて複数の画像データから評価値を算出してもよい。このような方法によれば、画像データの各々に含まれるノイズ成分を設定値毎の複数の画像データを用いて相殺させることができるため、より精度の高い評価値を算出することができる。
また、図18及び図23に示す目標値算出処理に加えて、図21及び図25に示すに示す目標値算出処理でも、画像データの全体領域を複数の領域に分割して、領域毎に評価値及び目標値を算出してもよい。これにより、球面収差が補正される設定値をより正しく算出することができる。
また、例えば、マウスの脳などの生体試料を観察する場合、観察対象面に明るく発光する細胞体が点在している場合がある。このような細胞体の明るさは、球面収差の影響に比べて焦点ズレの影響によって大きく変化する。このため、補正環111の設定値によって焦点距離が変化する対物レンズが用いられている場合には、評価値(画像のコントラスト)によって球面収差が補正される設定値を適切に算出することが困難になる場合がある。そのような場合には、評価値を算出する方法として、画像データを加工してから評価値を算出する図32に示す方法を採用してもよい。
図32は、画像データを加工してから評価値を算出する処理のフローチャートである。以下、図32を参照しながら、評価値算出処理について説明する。
顕微鏡システムは、まず、画像データから輝度値に関するヒストグラムを作成する(ステップS81)。ここでは、演算装置20は、画像データを構成する各ピクセルの輝度値を特定し、輝度値毎のピクセル数を算出して、輝度値に関するヒストグラムを作成する。なお、ヒストグラムは、顕微鏡利用者が輝度値の度数分布を視覚的に把握するために作成される。従って、評価値算出処理に際して、ヒストグラムの作成は省略されてもよい。
次に、顕微鏡システムは、画像データから平均輝度値を算出する(ステップS82)。ここでは、演算装置20は、画像データを構成する複数のピクセルの輝度値の合計をピクセル数で除して、平均輝度値を算出する。
さらに、顕微鏡システムは、高輝度を有するピクセルデータの影響を排除する(ステップS83)。ここでは、演算装置20は、ステップS81で作成したヒストグラムとステップS82で算出した平均輝度値を用いて、平均輝度値から例えば3σ(σは画像データを構成するピクセルの輝度値の標準偏差)を超えて高い輝度を有するピクセルデータを特定し、それらのピクセルデータの輝度値を所定の輝度値に変更して画像データを更新する。なお、所定の輝度値は、例えば、平均輝度値+3σである。
最後に、顕微鏡システムは、ステップS83で更新した画像データに基づいて、その画像データの評価値を算出する(ステップS84)。なお、このステップでの評価値の算出方法は、上述した方法と同様である。
顕微鏡システムが図32に示す処理を行うことで、例えば、観察対象面内で明るく発光している細胞の影響を排除することができる。このため、球面収差が補正される設定値を正しく算出することができる。なお、画像データを加工する方法は、上述した方法に限られない。例えば、表示された画像上で、画像中の評価対象とする範囲を指定して、その範囲内のピクセルデータに基づいて評価値を算出してもよい。この場合も、明るく発光する細胞を含まないように範囲を指定することで、球面収差が補正される設定値を正しく算出することができる。
1 顕微鏡システム
10 顕微鏡制御装置
11 光源制御装置
12 ズーム制御装置
13 Z制御装置
14 補正環制御装置
20 演算装置
30 表示装置
40 キーボード
50 補正環操作装置
60 Z駆動部操作装置
100、200、300 顕微鏡
101、201 レーザー
102、204 走査ユニット
103、106、205 瞳投影光学系
104、206 ミラー
105、203 ダイクロイックミラー
107、210 光検出器
108、211 A/D変換器
109 Z駆動部
110 対物レンズ
111 補正環
202 ビームエクスパンダ
207 共焦点レンズ
208 共焦点絞り
209 集光レンズ
301 ランプハウス
302 光源
303 コレクタレンズ
304 蛍光キューブ
305 ズームレンズ
306 結像レンズ
307 撮像装置
S サンプル
CG カバーガラス
G 三次元画像
R 注目範囲
F グラフ

Claims (5)

  1. 対物レンズと球面収差を補正する補正装置とを備え、サンプルの画像データを取得する顕微鏡装置と、
    前記顕微鏡装置で取得した画像データに基づいて、前記サンプルの三次元画像を表示装置に表示させる表示制御装置と、
    前記表示装置に表示された前記三次元画像内の範囲を指定する範囲指定手段と、
    前記範囲指定手段で指定された範囲で特定される前記対物レンズのZ範囲を対象とした、前記対物レンズのZ位置と球面収差が補正される前記補正装置の設定値である目標値との関係を算出する演算装置と、を備え
    前記演算装置は、前記Z範囲内の複数のZ位置を決定し、
    前記顕微鏡装置は、前記複数のZ位置の各々毎に、前記補正装置の設定値の異なる複数の状態の各々でサンプルの画像データを取得し、
    前記演算装置は、
    前記顕微鏡装置で前記複数のZ位置の各々毎に取得した複数の画像データに基づいて、当該Z位置における目標値を算出し、
    前記複数のZ位置と算出した複数の目標値に基づいて、前記Z範囲を分割した複数のZ範囲を決定し、
    前記複数のZ範囲毎に、前記Z位置と前記目標値との関係を示す部分関数を、補間又は関数近似により算出する
    ことを特徴とする顕微鏡システム。
  2. 請求項に記載の顕微鏡システムにおいて、
    前記表示制御装置は、前記演算装置で算出した関係を前記三次元画像に関連付けて、前記表示装置に表示させる
    ことを特徴とする顕微鏡システム。
  3. 請求項1又は請求項2に記載の顕微鏡システムにおいて、さらに、
    前記対物レンズのZ位置に応じて、当該Z位置と前記演算装置で算出した関係とに基づいて算出される目標値に前記補正装置の設定値を変更する補正装置制御装置を備える
    ことを特徴とする顕微鏡システム。
  4. 請求項1乃至請求項のいずれか1項に記載の顕微鏡システムにおいて、
    前記補正装置は、前記対物レンズ内のレンズを移動させる補正環である
    ことを特徴とする顕微鏡システム。
  5. 対物レンズのZ位置と球面収差が補正される補正装置の設定値である目標値との関係を算出する方法であって、
    前記対物レンズと球面収差を補正する前記補正装置とを備える顕微鏡装置が取得したサンプルの画像データに基づいて、前記サンプルの三次元画像を表示装置に表示し、
    前記表示装置に表示された前記三次元画像内の範囲を指定し、
    指定した前記範囲で特定される前記対物レンズのZ範囲を対象とした、前記対物レンズのZ位置と前記目標値との関係を算出し、
    前記関係を算出することは、
    前記Z範囲内の複数のZ位置を決定することと、
    前記複数のZ位置の各々毎に、前記補正装置の設定値の異なる複数の状態の各々でサンプルの画像データを取得することと、
    前記複数のZ位置の各々毎に取得した複数の画像データに基づいて、当該Z位置における目標値を算出することと、
    前記複数のZ位置と算出した複数の目標値に基づいて、前記Z範囲を分割した複数のZ範囲を決定することと、
    前記複数のZ範囲毎に、前記Z位置と前記目標値との関係を示す部分関数を、補間又は関数近似により算出すること、を含む
    ことを特徴とする方法。
JP2014253528A 2014-12-15 2014-12-15 顕微鏡システム、及び、z位置と補正装置の設定値との関係算出方法 Active JP6422761B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014253528A JP6422761B2 (ja) 2014-12-15 2014-12-15 顕微鏡システム、及び、z位置と補正装置の設定値との関係算出方法
EP15198629.6A EP3035104B1 (en) 2014-12-15 2015-12-09 Microscope system and setting value calculation method
US14/964,306 US10379329B2 (en) 2014-12-15 2015-12-09 Microscope system and setting value calculation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014253528A JP6422761B2 (ja) 2014-12-15 2014-12-15 顕微鏡システム、及び、z位置と補正装置の設定値との関係算出方法

Publications (2)

Publication Number Publication Date
JP2016114797A JP2016114797A (ja) 2016-06-23
JP6422761B2 true JP6422761B2 (ja) 2018-11-14

Family

ID=56139983

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014253528A Active JP6422761B2 (ja) 2014-12-15 2014-12-15 顕微鏡システム、及び、z位置と補正装置の設定値との関係算出方法

Country Status (1)

Country Link
JP (1) JP6422761B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018087820A1 (ja) * 2016-11-08 2018-05-17 株式会社ニコン 画像群生成装置、球面収差補正算出装置、顕微鏡、プログラム及び球面収差補正算出方法
JP6969134B2 (ja) * 2017-03-31 2021-11-24 株式会社ニコン 補正量算出装置、顕微鏡、補正量算出プログラム、補正量算出方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7489828B2 (en) * 2003-10-03 2009-02-10 Media Cybernetics, Inc. Methods, system, and program product for the detection and correction of spherical aberration
JP4700299B2 (ja) * 2004-07-07 2011-06-15 オリンパス株式会社 共焦点走査型顕微鏡
JP4812325B2 (ja) * 2005-04-14 2011-11-09 オリンパス株式会社 走査型共焦点顕微鏡および試料情報測定方法
JP2011095685A (ja) * 2009-11-02 2011-05-12 Sony Corp 顕微鏡システム及び顕微鏡システムの制御方法
JP6180130B2 (ja) * 2013-02-20 2017-08-16 オリンパス株式会社 顕微鏡システム、プログラム、及び球面収差を補正する方法

Also Published As

Publication number Publication date
JP2016114797A (ja) 2016-06-23

Similar Documents

Publication Publication Date Title
EP3035104B1 (en) Microscope system and setting value calculation method
US10288877B2 (en) Microscopy system, determination method, and recording medium
JP6552041B2 (ja) 顕微鏡システム、屈折率算出方法、及び、プログラム
US9420160B2 (en) Information processing apparatus, information processing method, program, and vision measuring apparatus
JP6434296B2 (ja) 顕微鏡システム、設定値算出方法、及び、プログラム
EP2804145A1 (en) Microscope system and stitched area decision method
JP6562547B2 (ja) 顕微鏡システム、算出方法、及び、プログラム
JP6887875B2 (ja) 顕微鏡システム、制御方法、及び、プログラム
JP6563486B2 (ja) 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
US10429632B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
JP6422761B2 (ja) 顕微鏡システム、及び、z位置と補正装置の設定値との関係算出方法
JP6312410B2 (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
JP6423261B2 (ja) 顕微鏡システム、関数算出方法、及び、プログラム
JP6563517B2 (ja) 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
JP2014085599A (ja) 顕微鏡
JP5996462B2 (ja) 画像処理装置、顕微鏡システム及び画像処理方法
JP5730696B2 (ja) 画像処理装置および画像表示システム
WO2021161432A1 (ja) 顕微鏡システム、設定探索方法、及び、プログラム
JP2010121955A (ja) 高さ情報取得装置、高さ情報取得方法、及びプログラム
JP2015210396A (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
JP5881445B2 (ja) 顕微鏡
JP2018063291A (ja) 顕微鏡システム、及び、三次元像構築方法
JP2014235408A (ja) 顕微鏡装置
JP2015222310A (ja) 顕微鏡システム
JP2015211313A (ja) 撮像装置、撮像システム、撮像方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170719

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181017

R151 Written notification of patent or utility model registration

Ref document number: 6422761

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250