図1は、本実施例に係る顕微鏡システム1の構成を例示した図である。図2は、図1に例示される演算装置20の構成を例示した図である。図3は、図1に例示される顕微鏡100の構成を例示した図である。
図1に示す顕微鏡システム1は、顕微鏡100と、顕微鏡制御装置10と、演算装置20と、表示装置30と、演算装置20への指示を入力するための複数の入力装置(キーボード40、補正環操作装置50、Z駆動部操作装置60)を備えている。
顕微鏡制御装置10は、演算装置20からの指示に従って顕微鏡100の動作を制御する装置であり、顕微鏡100の各種電動部の動作を制御する制御信号を生成する。顕微鏡制御装置10は、光源の出力を制御する光源制御装置11と、ズーム倍率を制御するズーム制御装置12と、対物レンズ110のZ位置を制御するZ制御装置13と、補正環111の設定値を制御する補正環制御装置14と、を備えている。ここで、Z位置とは、サンプルSに対する対物レンズ110の光軸方向の相対位置のことである。また、補正環111の設定値とは、例えば、基準位置に対する補正環111の回転角度のことである。
演算装置20は、各種の演算処理を行うコンピュータであり、例えば、図2に示すように、CPU(Central Processing Unit)21、メモリ22、入力I/F装置23、出力I/F装置24、記憶装置25、及び、可搬記録媒体27が挿入される可搬記録媒体駆動装置26を備え、これらがバス28によって相互に接続されている。演算装置20は、顕微鏡100の制御を顕微鏡制御装置10に指示する役割、顕微鏡100からの出力に基づいて画像データを生成する役割、三次元画像等を表示装置30に表示させる役割、及び、対物レンズ110のZ位置と球面収差が補正される補正環111の設定値との関係を算出する役割を担っている。なお、図2は、演算装置20の構成の一例であり、演算装置20はこの構成に限定されるものではない。
CPU21は、所定のプログラムを実行して演算処理等を行う。メモリ22は、例えば、RAM(Random Access Memory)であり、プログラムの実行の際に、記憶装置25または可搬記録媒体27に記憶されているプログラムまたはデータを一時的に格納する。
入力I/F装置23は、キーボード40、補正環操作装置50、Z駆動部操作装置60、及び表示装置30からの信号を受信する手段であり、観察者による入力を受け付ける入力受付部として機能する。また、入力I/F装置23は、図3において後述する顕微鏡100のA/D変換器108からの信号も受信する。
出力I/F装置24は、表示装置30及び顕微鏡制御装置10へ信号を出力する手段である。即ち、出力I/F装置24及び出力I/F装置24を含む演算装置20は、表示装置30の表示を制御する表示制御装置であり、且つ、顕微鏡制御装置10に顕微鏡100の制御を指示する顕微鏡制御指示装置である。
記憶装置25は、例えば、ハードディスク記憶装置であり、主に各種データやプログラムの保存に用いられる。可搬記録媒体駆動装置26は、光ディスクやコンパクトフラッシュ(登録商標)等の可搬記録媒体27を収容するもので、可搬記録媒体27は、記憶装置25を補助する役割を有する。
表示装置30は、例えば、液晶ディスプレイ装置、有機ELディスプレイ装置、CRTディスプレイ装置などである。なお、表示装置30は、タッチパネルセンサを備えてもよく、その場合、入力装置としても機能する。
キーボード40は、後述するように、表示装置30に表示された三次元画像内の注目範囲を指定する範囲指定手段として機能する。なお、キーボード40の代わりに、入力装置として機能する表示装置30やその他の入力装置が範囲指定手段として機能しても良い。
補正環操作装置50は、補正環111の設定値を指示するための入力装置である。利用者が補正環操作装置50で補正環111の設定値を指示すると、補正環制御装置14は、補正環111の設定値を指示された値に変更する。
Z駆動部操作装置60は、対物レンズ110のZ位置の変更を指示するための入力装置である。利用者がZ駆動部操作装置60でZ位置の変更を指示すると、Z制御装置13は、Z駆動部109を光軸方向に移動させて対物レンズ110のZ位置を変更する。
顕微鏡100は、2光子励起顕微鏡である。サンプルSは、例えば、マウスの脳などの生体試料であり、サンプルSにはカバーガラスCGが載せられている。顕微鏡100は、図3に示すように、照明光路上に、レーザー101と、走査ユニット102と、瞳投影光学系103と、ミラー104と、ダイクロイックミラー105と、対物レンズ110とを備えている。
レーザー101は、例えば、超短パルスレーザーであり、近赤外域のレーザー光を発振する。レーザー101の出力は、光源制御装置11によって制御される。即ち、光源制御装置11は、サンプルに照射するレーザー光のパワーを制御するレーザー制御装置である。
走査ユニット102は、レーザー光でサンプルSを2次元に走査するための走査手段であり、例えば、ガルバノスキャナやレゾナンドスキャナなどを含んでいる。走査ユニット102の走査範囲が変化することでズーム倍率が変化する。走査ユニット102の走査範囲は、ズーム制御装置12によって制御される。
瞳投影光学系103は、走査ユニット102を対物レンズ110の瞳位置に投影する光学系である。ダイクロイックミラー105は、励起光(レーザ光)とサンプルSからの検出光(蛍光)とを分離する光分離手段であり、波長によりレーザー光と蛍光を分離する。
対物レンズ110は、補正環111を備えた乾燥系又は液浸系の対物レンズであり、Z駆動部109に装着されている。Z駆動部109は、対物レンズ110を対物レンズ110の光軸方向に移動させる手段であり、Z駆動部109の移動(即ち、対物レンズ110の移動)は、Z制御装置13によって制御される。
補正環111は、その設定値を変更することにより対物レンズ110内のレンズを移動させて球面収差を補正する補正装置である。補正環111の設定値は、補正環制御装置14によって変更される。なお、補正環111の設定値は、補正環111を直接操作することで、手動で変更することもできる。
顕微鏡100は、さらに、検出光路(ダイクロイックミラー105の反射光路)上に、瞳投影光学系106と、光検出器107とを備えている。光検出器107から出力された信号は、A/D変換器108に出力される。
瞳投影光学系106は、対物レンズ110の瞳を光検出器107に投影する光学系である。光検出器107は、例えば、光電子増倍管(PMT)であり、入射した蛍光の光量に応じたアナログ信号を出力する。A/D変換器108は、光検出器107からのアナログ信号をデジタル信号(輝度信号)に変換して、演算装置20に出力する。
以上のように構成された顕微鏡システム1では、顕微鏡100は、走査ユニット102を用いてレーザー光でサンプルSを走査して、サンプルSの各位置からの蛍光を光検出器107で検出する。そして、演算装置20は、光検出器107からの信号を変換したデジタル信号(輝度信号)と走査ユニット102の走査情報とに基づいて、画像データを生成する。即ち、顕微鏡システム1では、顕微鏡100と演算装置20により構成される顕微鏡装置が、サンプルSの画像データを取得する。
図4は、顕微鏡システム1で行われる関数算出処理のフローチャートである。以下、図4を参照しながら、Z位置と球面収差が補正される補正環の設定値(目標値)との関係を示す関数を算出する処理である関数算出処理について説明する。
顕微鏡システム1は、サンプルSの三次元画像を表示装置30に表示させる(ステップS1)。ここでは、演算装置20が、まず、利用者がキーボード40等を用いて入力した情報に基づいて、三次元画像を生成するために画像データを取得すべき複数のZ位置を決定する。例えば、利用者が画像データを取得すべきZ範囲とZ間隔を入力し、演算装置20がZ範囲とZ間隔から複数のZ位置を決定する。なお、Z範囲とは、Z位置の範囲のことであり、Z間隔とは、Z位置間の間隔である。次に、演算装置20の指示に従って、Z制御装置13がZ駆動部109を光軸方向に移動させて、対物レンズ110を決定した複数のZ位置に順番に移動させる。そして、顕微鏡装置は、各Z位置でサンプルSの画像データを取得する。最後に、演算装置20は、複数のZ位置で取得した画像データ(Zスタック画像データ)に基づいて、サンプルSの三次元画像を表示装置30に表示させる。即ち、演算装置20は、三次元画像を表示装置30に表示させる表示制御装置である。なお、Zスタック画像データに基づいて三次元画像データを生成する方法は既知であるので、詳細な説明は省略する。
図5は、表示装置30に表示されたサンプルSの三次元画像の一例である。図5に例示される三次元画像Gは、マウスの脳の画像であり、図5には、Z方向(深さ方向)に脳の構造が変化している様子が示されている。
三次元画像が表示されると、顕微鏡システム1は、注目範囲の指定を受け付ける(ステップS2)。ここでは、ステップS1で表示装置30に表示された三次元画像Gを参照してサンプルSの構造を確認した利用者が、キーボード40等の入力装置を用いて三次元画像G内の注目範囲Rを指定する。図6には、三次元画像Gが表示された画面上で、観察対象面の深さが350μmから500μmの範囲を注目範囲Rとして指定する様子が例示されている。注目範囲Rが指定されると、演算装置20は、指定された注目範囲Rに関する情報を受信する。
三次元画像上で注目範囲が指定されると、顕微鏡システム1は、複数のZ位置を決定する(ステップS3)。ここでは、演算装置20が、注目範囲Rに関する情報に基づいて、Z位置と目標値との関係を示す関数を算出するために画像データを取得すべき複数のZ位置を決定する。例えば、演算装置20は、注目範囲Rで特定される対物レンズ110のZ範囲(深さ350μmから500μmに対応するZ範囲)と予め決められた一定の間隔(例えば、50μm間隔)から複数のZ位置を決定してもよい。決定した複数のZ位置は記憶装置25に記憶される。
次に、顕微鏡システム1は、Z位置を初期位置に変更する(ステップS4)。ここでは、演算装置20の指示に従って、Z制御装置13がZ駆動部109を光軸方向に移動させて、対物レンズ110のZ位置をステップS3で決定した複数のZ位置のうちの一つである初期位置に変更する。これにより、後に目標値算出のために画像データが取得されるサンプルSの観察対象面が確定する。
Z位置が変更されると、顕微鏡システム1は、観察対象面における球面収差が補正される補正環111の設定値(以降、目標値と記す)を算出する(ステップS5)。ここでは、顕微鏡装置が現在のZ位置で取得した複数の画像データに基づいて、演算装置20がそのZ位置における目標値を算出する。なお、目標値を算出する処理については、図18から図29を参照しながら、後に詳述する。
顕微鏡システム1は、目標値が算出されると、ステップS3で決定した複数のZ位置のすべてで目標値が算出済みか否かを判断する(ステップS6)。すべてのZ位置で目標値が算出されていない場合には、顕微鏡システム1は、対物レンズ110のZ位置をステップS3で決定した複数のZ位置のうちの目標値が算出されていないZ位置に変更し(ステップS7)、その新たなZ位置で目標値を算出する(ステップS5)。これを繰り返すことにより、Z位置毎に取得した複数の画像データに基づいて、複数のZ位置における複数の目標値が算出される。
すべてのZ位置で目標値が算出されている場合には、顕微鏡システム1は、Z位置と目標値との関係を示す関数を算出する(ステップS8)。ここでは、演算装置20は、ステップS2で指定された注目範囲で特定される対物レンズ110のZ範囲を対象とした関数を、ステップS5で算出した複数のZ位置と複数の目標値との組み合わせに基づいて算出する。関数は、既に取得した情報を基にして演算装置20が自動的に算出してもよく、又は、利用者がさらに情報を入力した上で演算装置20が算出する、即ち、演算装置20が半自動的に算出してもよい。算出した関数は、記憶装置25に記憶される。
最後に、顕微鏡システム1は、関数を三次元画像に関連付けて表示装置30に表示させて(ステップS9)、関数算出処理を終了する。ここでは、演算装置20は、ステップS8で算出した関数を三次元画像Gに関連付けて、表示装置30に表示させる。図7には、ステップS8で算出した関数のグラフFと三次元画像Gとを並べて表示装置30に表示させた例が示されている。図7のグラフFの横軸は、球面収差が補正される補正環111の設定値(即ち、目標値)を示している。また、縦軸は、観察対象面の深さを示していて、対物レンズ110のZ位置と1対1で対応している。
顕微鏡システム1は、図4に示す処理を実行することで、Z位置と目標値との関係を示す関数を容易に算出することができる。また、顕微鏡システム1では、関数の算出前に、サンプルSの三次元画像が表示され、表示された三次元画像を参照した利用者によって注目範囲が指定される。これにより、顕微鏡システム1は、関数の対象範囲を利用者が指定した注目範囲に限定することができるため、その注目範囲で球面収差を高精度に補正する関数を算出することができる。また、顕微鏡システム1では、注目範囲を対象として算出した関数と三次元画像が関連付けて表示される。このため、利用者は、これらの表示から、注目範囲内での屈折率の変化などを推測することができる。これは、Z位置に対する目標値の変化率がサンプルSの屈折率に大きく依存するからである。
なお、ステップS8では、関数は、補間又は関数近似により算出されることが望ましい。補間には、ラグランジュ補間、スプライン補間などの任意の補間法が採用され得る。関数近似にも、最小二乗法などの任意の近似法が採用され得る。これにより、比較的少ない数のZ位置と目標値の組み合わせから関数を算出することができる。このため、画像データを取得する回数を少なく抑えることが可能であり、その結果、サンプルSへのダメージを抑えながら、短時間での関数の算出が可能となる。
さらに、ステップS8では、関数は、少なくとも3つのZ位置と少なくとも3つのZ位置における目標値との組み合わせに基づいて、補間又は関数近似により算出されることがより望ましい。これにより、サンプルSが深さによって屈折率が大きく異なる構造を有している場合であっても、その屈折率の変化に伴う目標値の変化を捉えた関数を算出することができるからである。
以下、ステップS8の処理について具体的に説明する。なお、以下では、観察深さ50μmから600μmの範囲が注目範囲として指定された場合を例に説明する。
図8は、図4に示すステップS8の処理を自動化した具体例を示すフローチャートである。図9は、図8に示すステップS11の処理で算出されたZ位置に対する目標値の傾きを示した図である。図10は、図8に示すステップS12の処理で決定した複数のZ範囲について例示した図である。図11から図13は、それぞれ、図8に示すステップS14の処理で算出された全関数の一例を示した図である。
顕微鏡システム1は、ステップS5で目標値が算出された複数のZ位置のうちの隣り合う2つのZ位置毎に、Z位置に対する目標値の傾きを算出する(ステップS11)。ここでは、演算装置20は、複数のZ位置のうちの隣り合う2つのZ位置毎に、2つのZ位置と2つのZ位置の各々における目標値からなる2つの目標値とに基づいて、Z位置に対する目標値の傾きを算出する。図9は、ステップS11で算出した傾きを図示した図である。横軸は、球面収差が補正される補正環111の設定値(即ち、目標値)を示している。縦軸は、観察対象面の深さを示していて、対物レンズ110のZ位置と1対1で対応している。なお、傾きは、2つのZ位置間におけるサンプルの屈折率に依存し、対物レンズ110の設計において基準とした屈折率(以降、基準屈折率と記す。)に対してサンプルの屈折率が大きいほど、その絶対値は大きくなる。これは、基準屈折率とサンプルの屈折率の差異が大きいほどより大きな球面収差が発生するためである。
次に、顕微鏡システム1は、複数のZ範囲を決定する(ステップS12)。ここでは、演算装置20は、ステップS11において、2つのZ位置毎に算出したZ位置に対する目標値の傾きからなる、複数のZ位置に対する目標値の傾きに基づいて、複数のZ範囲を決定する。より詳細には、傾きの変化に着目する。例えば、傾きの変化がある閾値以上であるZ位置を特定し、特定したZ位置が境界に位置するようにZ範囲を決定してもよい。傾きの変化が小さい領域(Z範囲)では、サンプルの屈折率はほぼ一定であると考えられる。一方、傾きの変化が大きい領域(Z範囲)では、サンプルの屈折率が大きく変化していると考えられる。傾きの変化が大きいZ位置を境界にしてZ範囲を決定することで、屈折率の変化が少なくおよそ均質な領域毎にZ範囲を決定することができる。図10では、傾きの変化が大きなZ位置として、観察対象面の深さ100μmに対応するZ位置(以降、Z100と記す。)と観察対象面の深さ500μmに対応するZ位置(以降、Z500と記す。)を特定し、3つのZ範囲(第1のZ範囲、第2のZ範囲、第3のZ範囲)を決定した例が示されている。
複数のZ範囲が決定されると、顕微鏡システム1は、Z範囲毎に部分関数を算出する(ステップS13)。ここでは、演算装置20は、ステップS12で決定した複数のZ範囲毎に、そのZ範囲を定義域とするZ位置と目標値との関係を示す部分関数を、補間又は関数近似により算出する。図11には、Z100における目標値とZ500における目標値を線形補間して、第2のZ範囲を定義域とする部分関数を算出した例が示されている。図12には、最小二乗法により第2のZ範囲を定義域とする部分関数を算出した例が示されている。図13には、二次関数の関数近似により第2のZ範囲を定義域とする部分関数を算出した例が示されている。なお、図11から図13のいずれも、第1のZ範囲と第3のZ範囲については、線形補間により部分関数を算出した例が示されている。
最後に、顕微鏡システム1は、部分関数の集合からなる全関数を算出し(ステップS14)、図8の処理を終了する。
顕微鏡システム1は、図4及び図8に示す処理を実行することで、Z位置と目標値との関係を示す関数を自動的に算出することができる。また、注目範囲内において屈折率の変化が少なくおよそ均質な領域毎にZ範囲を決定して、Z範囲毎に算出した部分関数から全関数を算出する。このため、サンプルSが深さによって屈折率が大きく異なる構造を有している場合であっても、高精度に球面収差を補正する関数を算出することができる。これは、屈折率が異なる層が積層された構造を有する脳などのサンプルを対象とする場合に、特に好適である。従って、顕微鏡システム1によれば、高精度に球面収差を補正する関数を容易に算出することができる。
図14は、図4に示すステップS8の処理を自動化した別の具体例を示すフローチャートである。顕微鏡システム1は、図8に示す処理の代わりに、図14に示す処理を実行してもよい。
顕微鏡システム1は、まず、ステップS5で目標値が算出された複数のZ位置のうちの隣り合う2つのZ位置毎に、線形補間により部分関数を算出する(ステップS21)。ここでは、演算装置20は、複数のZ位置のうちの隣り合う2つのZ位置と、その2つのZ位置の各々における目標値からなる2つの目標値とに基づいて、その2つのZ位置を両端としたZ範囲を定義域とするZ位置と目標値との関係を示す部分関数を、線形補間により算出する。この処理は、隣り合う2つのZ位置毎に行われる。
その後、顕微鏡システム1は、部分関数の集合からなる全関数を算出し(ステップS22)、図14の処理を終了する。図9には、図14の処理により算出されたZ位置と目標値との関係を示す関数が示されている。
図14の処理は、図8の処理において、隣り合う2つのZ位置間をそれぞれZ範囲と決定した場合に相当する。従って、顕微鏡システム1は、図4及び図14に示す処理を実行することによっても、図4及び図8に示す処理を実行した場合と同様の効果を得ることができる。
図15は、図4に示すステップS8の処理を半自動化した具体例を示すフローチャートである。図16は、図15に示すステップS32で受け付けるZ範囲の指定を入力する方法について説明するための図である。顕微鏡システム1は、図8に示す処理の代わりに、図16に示す処理を実行してもよい。
顕微鏡システム1は、まず、ステップS5で目標値が算出された複数のZ位置と複数の目標値を表示装置30に表示させる(ステップS31)。ここでは、演算装置20(出力I/F装置24)が、複数のZ位置と、複数のZ位置の各々における目標値からなる複数の目標値と、を表示装置30に表示させる。図16には、Z位置と目標値の組み合わせを示す点をプロットすることで、複数のZ位置と複数の目標値を表示する例が示されている。なお、表示方法は、図16の例に限られず、例えば、表形式で各数値が表示されてもよい。
次に、顕微鏡システム1は、複数のZ範囲の指定を受け付ける(ステップS32)。ここでは、例えば、ステップS31で表示装置30に表示された情報を確認した利用者が、キーボード40等を用いて複数のZ範囲を指定する。図16には、複数のZ位置と複数の目標値が表示された画面上でZ範囲を指定する様子が例示されている。複数のZ範囲が指定されると、演算装置20は指定されたZ範囲に関する情報を受信する。
その後、顕微鏡システム1は、Z範囲毎に、部分関数を算出する(ステップS33)。ここでは、表示装置30が複数のZ位置と複数の目標値を表示した後にステップS32で指定されたZ範囲毎に、演算装置20が、そのZ範囲を定義域とするZ位置と目標値との関係を示す部分関数を、補間又は関数近似により算出する。
最後に、顕微鏡システム1は、ステップS33で算出した部分関数の集合からなる全関数を算出し(ステップS34)、図15の処理を終了する。
顕微鏡システム1は、図4及び図15に示す処理を実行することで、演算装置20による機械的な判断が困難な場合であっても、利用者が表示装置30に表示される情報を見ながら、屈折率の変化が少なくおよそ均質な領域をZ範囲として指定することができる。このため、顕微鏡システム1によれば、高精度に球面収差を補正する関数を容易に算出することができる。
図17は、本実施例に係る顕微鏡システム1で行われる球面収差補正処理のフローチャートである。以下、図17を参照しながら、顕微鏡システム1において補正環111を利用して行われる球面収差を補正する処理について説明する。なお、図17に示す球面収差補正処理は、例えば、観察開始直前に行われる。
顕微鏡システム1は、まず、Z位置の指定を受け付ける(ステップS41)。ここでは、例えば、利用者が観察対象面を決定するためにZ駆動部操作装置60を操作してZ位置を指定する。これにより、演算装置20がZ駆動部操作装置60から指定されたZ位置に関する情報を受信する。なお、ここで指定されるZ位置は、注目範囲によって特定されるZ範囲内の位置である。さらに、Z制御装置13がZ駆動部109を制御して対物レンズ110のZ位置を指定されたZ位置に変化させる。その結果、サンプルSの観察対象面が確定する。
次に、顕微鏡システム1は、ステップS41で指定されたZ位置と図4に示す関数算出処理で算出された関数とに基づいて、目標値を算出する(ステップS42)。ここでは、演算装置20が、ステップS41で指定されたZ位置(現在のZ位置)と図4に示す関数算出処理で算出された関数に基づいて、現在のZ位置における目標値を算出する。
顕微鏡システム1は、目標値が算出されると、補正環111の設定値を目標値に設定する(ステップS43)。ここでは、補正環制御装置14が補正環111の設定値をステップS42で算出された目標値に変更する。なお、補正環制御装置14は、自動的に、即ち、演算装置20からの指示に従って、ステップS42で算出した目標値に補正環111の設定値を変更してもよい。また、手動により、即ち、ステップS42で算出された目標値が表示装置30に表示され、表示された目標値に基づいて利用者が補正環操作装置50を操作することにより、補正環制御装置14が補正環111の設定値を目標値に変更してもよい。また、利用者が補正環111を直接操作して補正環111の設定値を目標値に変更してもよい。
最後に、顕微鏡システム1は、レーザー101の出力を設定する(ステップS44)。ここでは、光源制御装置11が、補正環111の設定値が目標値であるときに顕微鏡装置で取得された画像データに基づいて、サンプルSに照射するレーザー光のパワーを制御する。例えば、ステップS43で補正環111の設定値を変更した後に画像データを取得して、その画像データから算出される画像の明るさに基づいてレーザー101の出力を設定する。
顕微鏡システム1は、図17に示す球面収差補正処理を実行することで、観察対象面の深さに応じて変化する球面収差を容易に補正することができる。これにより、顕微鏡100が有する光学性能を十分に発揮して、高品質な画像を得ることができる。また、顕微鏡システム1は、Z位置と関数に基づいて簡単な計算で現在のZ位置における目標値を算出することができる。このため、観察深さを頻繁に変更しながらサンプルSを観察する場合であっても、短時間で補正環111の設定値を深さに応じた目標値に変更することができる。補正環111の調整作業を自動化することができるため、他の自動化処理、例えば、複数のZ位置で画像データを取得して三次元画像やエクステンドフォーカス画像を自動的に生成する処理などにも、容易に組み込むことができる。さらに、球面収差が補正された状態では、一般に、球面収差が補正されていない状態に比べて明るい画像が得られる。このため、球面収差が補正された状態で取得された画像データに基づいてレーザー101の出力を設定することで、レーザー101の出力を抑えて、生体試料へのダメージを抑制することができる。
以下、図4に示す関数算出処理のステップS5で行われる目標値算出処理について、具体的に説明する。図18は、顕微鏡システム1でZ位置毎に行われる目標値算出処理のフローチャートである。図19は、図18に示す目標値算出処理について説明するための図である。
顕微鏡システム1は、まず、補正環111の複数の設定値を決定する(ステップS51)。ここでは、顕微鏡装置でサンプルの画像データを取得する際の補正環111の設定値を演算装置20が複数個決定する。例えば、図19(a)に示すように、演算装置20は、補正環111が回転可能な範囲(動作可能範囲)自体又はそれより少しだけ狭い範囲を探索範囲に決定し、探索範囲を均等に分割する予め決められた数(ここでは10)の設定値(補正環位置)を、複数の設定値として決定する。なお、図19(a)では、θ1からθ10までの10個の設定値(補正環位置)が決定される例が示されている。
次に、顕微鏡システム1は、補正環111の設定値をステップS51で決定した設定値に変更する(ステップS52)。ここでは、補正環制御装置14が演算装置20からの指示に従ってステップS51で決定した複数の設定値のいずれかに設定する。例えば、補正環制御装置14は、補正環111の設定値をステップS51で決定したθ1に変更する。
補正環111の設定値が変更されると、顕微鏡システム1は、サンプルSの画像データを取得する(ステップS53)。ここでは、顕微鏡装置が演算装置20からの指示に従って画像データを取得する。例えば、顕微鏡装置は、補正環111の設定値がθ1の状態で画像データを取得する。
その後、顕微鏡システム1は、ステップS51で決定したすべての設定値で画像データを取得したか否かを判断し(ステップS54)、すべての設定値で画像データを取得していない場合には、ステップS52からステップS54の処理を繰り返す。これにより、顕微鏡装置は、補正環111の設定値が異なる複数の状態の各々で、サンプルSの観察対象面の画像データを取得し、その結果、複数の画像データを取得する。
すべての設定値で画像データが取得されると、顕微鏡システム1は、ステップS53で取得した複数の画像データの各々の評価値を算出する(ステップS55)。ここでは、演算装置20が、複数の画像データの各々に基づいて球面収差が補正されているほど大きな値を示すその画像データの評価値を算出して、その結果、複数の画像データの複数の評価値を算出する。一般に、球面収差が補正された画像データほど高いコントラストを有していることから、評価値としては、例えば、画像データに対してコントラスト評価法を用いて算出されるコントラスト値が用いられる。図19(a)には、ステップS53で取得した複数の画像データの評価値が示されている。なお、図19(a)では、画像データは補正環位置(補正環111の設定値)によって特定され、その画像データの評価値がコントラスト値として示されている。
コントラスト評価法によるコントラスト値は、画像データを構成するピクセル間の輝度値の差分に基づいて算出される。具体的には、例えば、下式により、x方向にnピクセル分ずれた位置にある2つのピクセルの輝度値の差分の2乗を画像データ全体で積分した値が、コントラスト値として算出される。
ここで、xは画像データを構成するピクセルの列を特定する変数であり、yは画像データを構成するピクセルの行を特定する変数である。Wは画像データを構成するピクセルのx方向の数(即ち、列数)であり、Hは画像データを構成するピクセルのy方向の数(即ち、行数)である。fはピクセルの輝度値であり、nは整数(例えば、5など)である。
評価値が算出されると、顕微鏡システム1は、所定の条件を満たしているか否かを判断する(ステップS56)。所定の条件としては、例えば、ステップS52からステップS56までの処理の繰り返し回数が所定回数に達しているか否かであってもよく、複数の設定値の平均間隔が所定値以下であるか否かであってもよい。
ステップS56で所定の条件を満たしていない場合には、顕微鏡システム1は、改めて複数の設定値を決定し(ステップS57)、その後、ステップS52からステップS56の処理を繰り返す。
ステップS57では、演算装置20は、以下の2つの条件を満たすように複数の設定値を決定する。第1の条件は、ステップS57で決定する複数の設定値の分布範囲(即ち、探索範囲)及び平均間隔が、先の複数の設定値の分布範囲及び平均間隔と比較して、狭いことである。第2の条件は、ステップS57で決定する複数の設定値の分布範囲内に、ステップS55において最大の評価値に対応する補正環111の設定値が含まれることである。なお、本明細書において、評価値に対応する設定値とは、ある画像データから算出された評価値に対するその画像データが取得されたときの補正装置の設定値のことをいうものとする。また、設定値に対応する評価値とは、ある画像データが取得されたときの補正装置の設定値に対するその画像データから算出された評価値のことをいうものとする。
これにより、顕微鏡装置は、設定値が異なる複数の状態で複数の画像データを取得する処理を、複数の状態で設定される補正環111の複数の設定値の分布範囲と平均間隔とが繰り返し毎に狭まり、且つ、その分布範囲内に演算装置20が算出した最大の評価値に対応する補正環111の設定値が含まれるように、繰り返す。そして、演算装置20は、繰り返し毎に、複数の画像データの複数の評価値を算出する。
図19(b)は、ステップS57で決定した複数の設定値に基づいて取得した複数の画像データの評価値が示されている。図19(a)と図19(b)を比較すると、図19(b)に示す複数の設定値(補正環位置)は、上記2つの条件を満たしていることが確認できる。なお、図19(a)と図19(b)では、いずれも10個の設定値(補正環位置)が決定されている例が示されているが、設定値の数は、繰り返し毎に設定値の平均間隔が狭くなる限り、同一に限られず、増加しても減少してもよい。
ステップS56で所定の条件を満たしている場合には、顕微鏡システム1は、ステップS55で算出した複数の評価値と、それら複数の評価値に対応する複数の設定値と、に基づいて目標値を算出し(ステップS58)、目標値算出処理を終了する。ここでは、演算装置20は、例えば、最後の繰り返しにおいてステップS55で算出された複数の評価値のうちの最大の評価値に対応する補正環111の設定値を目標値として算出してもよい。また、最後の繰り返しに限らずステップS55で算出された複数の評価値のうちの最大の評価値に対応する補正環111の設定値を目標値として算出してもよい。なお、演算装置20は、算出した目標値と現在のZ位置の組み合わせを、記憶装置25に記憶させる。
顕微鏡システム1は、図18に示す目標値算出処理を実行することで、比較的少ない画像データの取得回数で目標値を高精度に算出することができる。
なお、図18のステップS55では、画像データ毎に評価値を算出する例を示したが、画像データの全体領域を複数の領域に分割して、分割によって得られる領域毎に評価値(以降、画像データ毎に算出される評価値と区別するため、領域評価値と記す。)を算出してもよい。この場合、ステップS58では、領域毎に目標値(全体領域に対して算出される目標値と区別するため、以降、領域目標値と記す。)を算出し、複数の領域目標値に基づいて、全体領域に対する目標値を算出する。
図20は、画像データの全体領域Wを領域R1から領域R9の9つの領域に分割し、領域毎に領域目標値を算出した例を示している。全体領域に対する目標値は、例えば、領域目標値を昇順又は降順に並べた(θ3:θ3:θ4:θ4:θ5:θ5:θ5:θ6:θ6)中間値(θ5)に決定されてもよく、最頻値(θ5)に決定されてもよい。なお、分割数も9つに限られず、9つより少なくても多くてもよい。
領域毎に領域目標値を算出し、複数の領域目標値に対する統計的な処理により目標値を算出することで、画像データに他のピクセルデータと比較して極端に高輝度又は低輝度を有するピクセルデータが含まれる場合であっても、その影響を抑えて画像データのコントラストを評価することができる。このため、球面収差が補正される設定値を正しく算出することができる。
図21は、顕微鏡システム1で行われる別の目標値算出処理のフローチャートである。対物レンズ110には、補正環111の設定値を変更することにより対物レンズ110の焦点距離がわずかに変化するものが存在する。図21に示す目標値算出処理は、このような対物レンズ110が使用される場合に行われる。図21に示す目標値算出処理は、ステップS58に続いて、さらに、ステップS59からステップS61の処理が行われる点が、図18に示す目標値算出処理と異なっている。その他の点は、図18に示す目標値算出処理と同様であるので、説明を割愛する。
顕微鏡システム1は、ステップS58で目標値が算出されると、Z位置を変更する(ステップS59)。ここでは、演算装置20の指示に従って、Z制御装置13がZ駆動部109を光軸方向に移動させて対物レンズ110のZ位置を変更する。Z位置の移動量は、補正環111の設定値を動作可能範囲内で変更したときに、その変更によって生じる観察対象面の最大移動量(つまり、対物レンズ110の焦点距離の最大変化量)よりも小さな距離である。
次に、顕微鏡システム1は、変更後のZ位置が所定のZ範囲内にあるか否かを判断する(ステップS60)。ここでは、例えば、変更後のZ位置が基準位置(例えば、図4のステップS4またはステップS7で確定したZ位置)から補正環111の設定値の変更によって生じる観察対象面の最大移動量よりも離れていない場合には、演算装置20はZ位置が所定のZ範囲内にあると判断する。即ち、所定のZ範囲とは、例えば、ステップS4又はステップS7で確定した観察対象面のZ位置を中心とした、対物レンズ110の焦点距離の最大変化量の2倍の幅を有するZ範囲である。
変更後のZ位置が所定のZ範囲内にある場合には、顕微鏡システム1は、変更後のZ位置でステップS52からステップS58の処理を行う。これにより、演算装置20は、Z位置毎に目標値を算出し、その結果、複数のZ位置における複数の目標値を算出する。
変更後のZ位置が所定のZ範囲外にある場合には、顕微鏡システム1は、複数のZ位置における複数の目標値とこれら複数の目標値に対応する評価値とに基づいて、評価値が最大となると推定される補正環111の設定値とZ位置の組み合わせを算出し(ステップS61)、目標値算出処理を終了する。ここでは、演算装置20は、例えば、複数の目標値に対応する複数の評価値のうちの最大の評価値を特定し、その最大の評価値に対応する目標値を、評価値が最大となると推定される設定値として算出する。そして、演算装置20は、評価値が最大となると推定される設定値とZ位置の組み合わせを記憶装置25に記憶させる。
顕微鏡システム1は、図21に示す目標値算出処理を実行することで、対物レンズ110の焦点距離が補正環111の設定値によって変化する場合であっても、比較的少ない画像データの取得回数で、球面収差を良好に補正する補正環111の設定値と対物レンズ110のZ位置の組み合わせを高精度に算出することができる。そして、ステップS61で算出した設定値とZ位置の組み合わせに従って、Z制御装置13及び補正環制御装置14がZ駆動部109及び補正環111を制御することで、観察対象面で生じる球面収差を良好に補正することができる。
なお、図22のステップS55では、画像データの全体領域を複数の領域に分割して、領域毎に領域評価値を算出してもよく、この場合、ステップS58では、複数の領域目標値を算出する。また、ステップS61では、複数のZ位置における複数の領域目標値とこれら複数の領域目標値に対応する領域評価値とに基づいて、評価値が最大となると推定される補正環111の設定値とZ位置の組み合わせ(全体領域に対して算出される組み合わせと区別するため、以降、領域組み合わせと記す)を、領域毎に算出する。その後、複数の領域組み合わせに基づいて、全体領域に対する組み合わせを算出する。
図22は、画像データの全体領域Wを領域R1から領域R9の9つの領域に分割し、領域毎に領域組み合わせを算出した例を示している。領域組み合わせを構成する設定値は、例えば、ステップS58で算出される領域目標値を昇順又は降順に並べた(θ3.6:θ3.7:θ4.4:θ4.4:θ4.5:θ4.6:θ4.7:θ5.1:θ6.1)中間値(θ4.5)に決定されてもよく、最頻値(θ4.4)に決定されてもよい。また、領域組み合わせを構成するZ位置は、例えば、決定された設定値に基づいて決定されてもよく、中間値(θ4.5)であれば、中間値に対応するZ位置の値(Z2.5)、最頻値(θ4.4)であれば、最頻値に対応するZ位置の値(Z2.3)に決定されてもよい。なお、分割数も9つに限られず、9つより少なくても多くてもよい。
領域毎に領域組み合わせを算出し、複数の領域組み合わせに対する統計的な処理により、評価値が最大となると推定される補正環111の設定値とZ位置の組み合わせ組み合わせを算出する。これにより、画像データに他のピクセルデータと比較して極端に高輝度又は低輝度を有するピクセルデータが含まれる場合であっても、その影響を抑えて画像データのコントラストを評価することができる。このため、球面収差が補正される設定値を正しく算出することができる。
図23は、顕微鏡システム1で行われる更に別の目標値算出処理のフローチャートである。図24は、図23に示す目標値算出処理について説明するための図である。図23及び図24を参照しながら、図23に示す目標値算出処理について説明する。なお、図23に示すステップS71からステップS75までの処理は、図18に示すステップS51からステップS55までの処理と同様であるので、詳細な説明は割愛する。
顕微鏡システム1は、ステップS75で評価値が算出されると、複数の画像データの第1の座標情報に基づいて目標値を算出し(ステップS76)、目標値算出処理を終了する。なお、画像データの第1の座標情報とは、その画像データから算出された評価値とその評価値に対応する補正環111の設定値との組み合わせをいうものとする。
ステップS76では、演算装置20は、まず、ステップS73で取得した複数の画像データから3つ以上の画像データを選択する。この3つ以上の画像データは、ステップS75で算出した複数の評価値のうちの最大値が算出された画像データが含まれるように、選択される。
その後、演算装置20は、選択した3つ以上の画像データの第1の座標情報に基づいて、観察対象面における球面収差が補正される補正環111の設定値である目標値を算出する。具体的には、3つ以上の画像データの第1の座標情報に基づいて、補間又は関数近似により関数を算出する。なお、この関数は、評価値と設定値に関する関数である。そして、算出した関数のピーク座標(評価値が最大となる座標)から得られる設定値を目標値として算出する。演算装置20は、算出した目標値と現在のZ位置の組み合わせを、記憶装置25に記憶させる。
図24には、最大の評価値が算出される画像データとその前後(つまり、設定値が近い)の画像データからなる3つの画像データが選択され、それらの画像データから得られる3つの第1の座標情報からラグランジュ補間により二次関数を算出し、そのピーク座標から目標値を算出した例が示されている。なお、補間には、ラグランジュ補間、スプライン補間などの任意の補間法が採用され得る。また、関数近似にも、最小二乗法などの任意の近似法が採用され得る。
顕微鏡システム1は、図23に示す目標値算出処理を実行することで、比較的少ない画像データの取得回数で目標値を高精度に算出することができる。
なお、図18に示す目標値算出処理と図23に示す目標値算出処理を組み合わせて目標値を算出してもよい。例えば、図23に示す目標値算出処理に図18のステップS56及びステップS57の処理を追加して、ステップS76で算出した目標値が分布範囲に含まれるように、複数の設定値の分布範囲(即ち、探索範囲)及び平均間隔を徐々に狭めながら、目標値の算出を繰り返してもよい。これにより、目標値をより高い精度で算出することが可能となる。
図25は、顕微鏡システム1で行われる更に別の目標値算出処理のフローチャートである。図26は、図25に示す目標値算出処理のステップS79の処理のフローチャートである。図27及び図28は、図26に示す処理について説明するための図であり、図27は目標値と評価値の関数を算出する方法を、図28は目標値とZ位置の関数を算出する方法を示している。図25に示す目標値算出処理は、補正環111の設定値を変更することにより焦点距離が変化する対物レンズ110が使用される場合に行われる。図25に示す目標値算出処理は、ステップS76の代わりにステップS76aの処理が行われる点と、さらに、ステップS77からステップS79の処理が行われる点が、図23に示す目標値算出処理と異なっている。その他の点は、図23に示す目標値算出処理と同様であるので、説明を割愛する。なお、ステップS76aでは、関数のピーク座標から目標値に加えてその目標値に対応する評価値を算出する点がステップS76とは異なっている。
顕微鏡システム1は、ステップS76aで目標値と評価値が算出されると、Z位置を変更する(ステップS77)。さらに、変更後のZ位置が所定のZ範囲内にあるか否かを判断する(ステップS78)。なお、ステップS77及びステップS78の処理は、図20に示すステップS59及びステップS60の処理と同様である。
変更後のZ位置が所定のZ範囲内にある場合には、顕微鏡システム1は、変更後のZ位置でステップS72からステップS76aの処理を行う。これにより、Z位置毎に目標値と目標値に対応する評価値が算出され、その結果、複数のZ位置における複数の目標値と複数の評価値が算出される。即ち、複数の第2の座標情報が算出される。なお、第2の座標情報とは、Z位置と、Z位置における目標値と、Z位置における目標値に対応する評価値の組み合わせをいうものとする。
変更後のZ位置が所定のZ範囲外にある場合には、顕微鏡システム1は、複数の第2の座標情報に基づいて、評価値が最大となると推定される設定値とZ位置の組み合わせを算出し(ステップS79)、目標値算出処理を終了する。ここでは、演算装置20は、図26に示すように、まず、複数の第2の座標情報から3つ以上の第2の座標情報を選択する(ステップS79a)。この3つ以上の第2の座標情報は、複数の第2の座標情報のうちの最大値の評価値を有する第2の座標情報が含まれるように選択される。その後、演算装置20は、選択した3つ以上の第2の座標情報に基づいて、補間又は関数近似により目標値と評価値の関数(図27における破線)を算出する(ステップS79b)。このとき、第2の座標情報に含まれるZ位置の情報は関数の算出に利用しない。次に、ステップS79bで算出した関数のピーク座標(評価値が最大となる座標)からピーク座標での目標値を算出する(ステップS79c)。さらに、選択した3つ以上の第2の座標情報に基づいて、線形補間により目標値とZ位置の関数(図28における破線)を算出する(ステップS79d)。このとき、第2の座標情報に含まれる評価値の情報は関数の算出に利用しない。そして、ステップS79cで算出した目標値とステップS79dで算出した関数に基づいてZ位置を算出する(ステップS79e)。最後に、ステップS79cで算出した目標値とステップS79eで算出したZ位置の組み合わせを評価値が最大となると推定される設定値とZ位置の組み組み合わせとして算出し、記憶装置25に記憶させる(ステップS79f)。図21のステップS61でも同様の方法で組み合わせを算出してもよい。
顕微鏡システム1は、図25に示す目標値算出処理を実行することで、対物レンズ110の焦点距離が補正環111の設定値によって変化する場合であっても、比較的少ない画像データの取得回数で、球面収差を良好に補正する補正環111の設定値と対物レンズ110のZ位置の組み合わせを高精度に算出することができる。そして、ステップS79で算出した設定値とZ位置の組み合わせに従って、Z制御装置13及び補正環制御装置14がZ駆動部109及び補正環111を制御することで、観察対象面で生じる球面収差を良好に補正することができる。
図25では、所定のZ範囲内のZ位置毎にステップS72からステップS76aの処理を行う例を示したが、さらに、Z位置毎にステップS71が行われてもよい。即ち、Z位置毎に、補正環111の複数の設定値(画像データを取得する補正環の設定値の範囲)を決定し直してもよい。
図29は、Z位置毎且つ補正環111の設定値(角度)毎に得られる標本Sの画像を並べた図である。図29には、Z位置が深くなるほど、高いコントラストの画像が得られる補正環111の設定値も大きくなるという傾向が示されている。従って、このようなZ位置に対する傾向が既知である場合には、Z位置毎に、この傾向に基づいて探索範囲を決定して、ステップS71でその探索範囲内で複数の設定値を決定してもよい。図29に示す例であれば、Z2では、θ1からθ3の3つの設定値を決定し、Z3では、θ1からθ5の5つの設定値を決定し、Z4では、θ2からθ6の5つの設定値を決定する。これにより、Z位置毎に複数の設定値を決定し直さない場合に比べて、探索範囲を狭くすることができるため、ステップS71で決定する設定値の数も少なくすることができる。このため、より少ない画像データの取得回数で、球面収差を良好に補正する補正環111の設定値と対物レンズ110のZ位置の組み合わせを高精度に算出することができる。
なお、探索範囲の幅(L1とL2との間のθ方向の距離)は、例えば、対物レンズの設計値等に基づいて、対物レンズ毎に設定されていてもよく、また、実験等により、図29に示すようなデータを予め取得し、このデータに基づいて設定されていてもよい。また、上述した傾向(即ち、Z位置と評価値と設定値の関係を示す傾向、例えば、L1及びL2の傾き)は、最初の数回のZ位置の変更までの間に算出されたZ位置と目標値の組み合わせの情報から算出してもよい。
また、図21及び図25は、Z位置を変更することなく決定した補正環111の全ての設定値で画像データを取得した後に、Z位置を次の位置へ変更する例を示しているが、結果として、設定値が異なる複数の状態の各々で取得された画像データが所定範囲内のZ位置毎に得られればよい。このため、補正環111の設定値を変更することなく所定範囲内の各Z位置で画像データを取得した後に、補正環111の設定値を次の設定値に変更してもよい。