JP6555811B2 - 顕微鏡システム、特定方法、及び、プログラム - Google Patents

顕微鏡システム、特定方法、及び、プログラム Download PDF

Info

Publication number
JP6555811B2
JP6555811B2 JP2015141965A JP2015141965A JP6555811B2 JP 6555811 B2 JP6555811 B2 JP 6555811B2 JP 2015141965 A JP2015141965 A JP 2015141965A JP 2015141965 A JP2015141965 A JP 2015141965A JP 6555811 B2 JP6555811 B2 JP 6555811B2
Authority
JP
Japan
Prior art keywords
microscope
image data
value
target value
microscope system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015141965A
Other languages
English (en)
Other versions
JP2017026666A (ja
Inventor
伸吾 鈴木
伸吾 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2015141965A priority Critical patent/JP6555811B2/ja
Priority to US15/205,028 priority patent/US10288877B2/en
Publication of JP2017026666A publication Critical patent/JP2017026666A/ja
Application granted granted Critical
Publication of JP6555811B2 publication Critical patent/JP6555811B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0068Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration having means for controlling the degree of correction, e.g. using phase modulators, movable elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036Scanning details, e.g. scanning stages
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/02Objectives
    • G02B21/025Objectives with variable magnification

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Lens Barrels (AREA)
  • Automatic Focus Adjustment (AREA)

Description

本発明は、顕微鏡システム、顕微鏡システムが備える球面収差を補正する補正装置の設定値を特定する特定方法、及び、プログラムに関する。
例えば、特許文献1に記載されるような、カバーガラスの厚さに起因する球面収差を補正する補正環付きの対物レンズが知られている。補正環付きの対物レンズは、対物レンズとサンプルとの間を満たす媒質の屈折率とサンプルの屈折率に差がある場合には、観察対象面の深さに応じて変化する球面収差を補正する手段としても使用可能である。
ところで、球面収差が補正された状態では、球面収差が補正されていない状態に比べて、コントラストの高い画像が得られる。このため、画像のコントラストに基づいて、球面収差が補正される補正環の設定を特定することができる。このような技術は、例えば、特許文献2に記載されている。
特開平05−119263号公報 特開2002−169101号公報
しかしながら、球面収差が補正される補正環の設定を特定するためには、補正環の設定値が異なる複数の状態で画像データを取得する必要があり、また、高い精度で特定しようとするほどより多くの画像データが必要となる。さらに、球面収差が補正される補正環の設定は観察対象面の深さ毎に異なるため、観察対象面の深さを変更する度に、複数の画像データを取得し直して設定を特定し直す必要がある。
従って、画像データの取得にはある程度の時間がかかることを考慮すると、球面収差が良好に補正される補正環の設定を短時間で特定することは難しい。なお、以上では、カバーガラスの厚さや観察対象面の深さによって変化する球面収差を補正する手段として補正環を例示したが、球面収差を補正する任意の手段において、同様の課題が生じうる。
以上のような実情を踏まえ、本発明は、球面収差が良好に補正される設定を短時間で特定する技術を提供することを目的とする。
本発明の一態様は、対物レンズと、球面収差を設定値を用いて補正する補正装置を有し、画像データを取得する顕微鏡装置と、前記対物レンズと観察対象面との間の媒質の情報に基づいて、前記顕微鏡装置で発生する球面収差量を推定する推定手段と、前記顕微鏡装置で取得された画像データから算出されたコントラスト値と前記推定手段で推定された球面収差量とを用いて、前記顕微鏡装置で発生する球面収差量に対応する前記補正装置の設定値である設定目標値を算出する算出手段を備え、前記推定手段は、推定した前記球面収差量に基づいて、前記補正装置の複数の設定値を決定し、前記顕微鏡装置は、前記推定手段により決定された前記複数の設定値に基づいて、前記補正装置の設定値が異なる複数の状態で、複数の画像データを取得し、前記算出手段は、前記顕微鏡装置で取得された前記複数の画像データから算出した複数のコントラスト値に基づいて、前記設定目標値を算出する顕微鏡システムを提供する。
本発明の別の態様は、対物レンズと、球面収差を設定値を用いて補正する補正装置を有する顕微鏡装置で画像データを取得し、前記対物レンズと観察対象面との間の媒質の情報に基づいて、前記顕微鏡装置で発生する球面収差量を推定し、推定された前記球面収差量に基づいて、前記補正装置の複数の設定値を決定し、決定された前記複数の設定値に基づいて、前記補正装置の設定値が異なる複数の状態で、複数の画像データを取得し、前記顕微鏡装置で取得された前記複数の画像データから算出した複数のコントラスト値に基づいて、前記設定目標値を特定する特定方法を提供する。
本発明の更に別の態様は、対物レンズと、球面収差を設定値を用いて補正する補正装置を有する顕微鏡装置が取得した画像データからコントラスト値を算出し、前記対物レンズと観察対象面との間の媒質の情報に基づいて、前記顕微鏡装置で発生する球面収差量を推定し、推定された前記球面収差量に基づいて、前記補正装置の複数の設定値を決定し、決定された前記複数の設定値に基づいて、前記補正装置の設定値が異なる複数の状態で、複数の画像データを取得し、前記顕微鏡装置で取得された前記複数の画像データから算出した複数のコントラスト値に基づいて、前記設定目標値を特定する処理をコンピュータに実行させるプログラムを提供する。
本発明によれば、球面収差が良好に補正される設定を短時間で特定することができる。
実施例1に係る顕微鏡システムの構成を例示した図である。 図1に例示される演算装置の構成を例示した図である。 図1に例示される顕微鏡の構成を例示した図である。 Zスタック撮影処理のフローチャートである。 目標値算出処理のフローチャートである。 目標値算出処理において最初に決定した複数の設定値によって得られる複数の評価値を示した図である。 目標値算出処理において2回目に決定した複数の設定値によって得られる複数の評価値を示した図である。 従来のコントラスト評価式の空間周波数特性と光学系の変調伝達関数(Modulation Transfer Function)との関係を例示した図である。 顕微鏡システムで使用するコントラスト評価式の空間周波数特性と従来のコントラスト評価式の空間周波数特性とを比較した図である。 画像データの領域毎に領域目標値を算出した例を示した図である。 別の目標値算出処理のフローチャートである。 図10に示す目標値算出処理について説明するための図である。 更に別の目標値算出処理のフローチャートである。 目標値の信頼性と評価値の関係について説明するための図である。 目標値を複数回算出したときの目標値の変化の様子を例示した図である。 第2の目標値を複数回算出したときの第2の目標値の変化の様子を例示した図である。 別のZスタック撮影処理のフローチャートである。 撮影モードにおける走査ユニット102の設定を例示した図である。 図16Aに例示される設定からズーム倍率を拡大した設定を例示した図である。 図16Aに例示される設定から視野を維持しつつサンプリング回数を増やした設定を例示した図である。 コントラスト算出モードにおける走査ユニット102の設定の一例を示した図である。 コントラスト算出モードにおける走査ユニット102の設定の別の一例を示した図である。 更に別のZスタック撮影処理のフローチャートである。 推定関数の一例を示した図である。 補正関数の一例を示した図である。 補正関数の別の例を示した図である。 屈折率表示処理のフローチャートである。 サンプルSの構造を例示した図である。 図1に例示される表示装置に表示されるグラフの一例を示した図である。 屈折率算出処理のフローチャートである。 変化率と屈折率の関係を示した図である。 注目位置における屈折率情報をグラフ上に表示した図である。 図9Aとは異なる注目位置における屈折率情報をグラフ上に表示した図である。 サンプルの屈折率分布を示す屈折率情報をグラフ上に表示した図である。 屈折率の算出方法について説明するための図である。 別の屈折率表示処理のフローチャートである。 図1に例示される表示装置に表示される三次元画像の一例を示した図である。 注目位置における屈折率情報を三次元画像上に表示した図である。 屈折率情報とグラフとを三次元画像上に表示した図である。 別の屈折率表示処理のフローチャートである。 実施例2に係る顕微鏡システムの構成を例示した図である。 実施例3に係る顕微鏡システムの構成を例示した図である。
図1は、本実施例に係る顕微鏡システム1の構成を例示した図である。図2は、図1に例示される演算装置20の構成を例示した図である。図3は、図1に例示される顕微鏡100の構成を例示した図である。
図1に示す顕微鏡システム1は、顕微鏡100と、顕微鏡制御装置10と、演算装置20と、表示装置30と、演算装置20への指示を入力するための複数の入力装置(キーボード40、補正環操作装置50、Z駆動部操作装置60)を備えている。
顕微鏡制御装置10は、演算装置20からの指示に従って顕微鏡100の動作を制御する装置であり、顕微鏡100の各種電動部の動作を制御する制御信号を生成する。顕微鏡制御装置10は、光源の出力を制御する光源制御装置11と、ズーム倍率を制御するズーム制御装置12と、観察対象面の光軸方向の位置(以降、単に、観察対象面の位置と記す)を制御するZ制御装置13と、補正環111の設定値を制御する補正環制御装置14と、を備えている。ここで、補正環111の設定値とは、例えば、基準位置に対する補正環111の回転角度のことである。
演算装置20は、各種の演算処理を行うコンピュータであり、例えば、図2に示すように、CPU(Central Processing Unit)21、メモリ22、入力I/F装置23、出力I/F装置24、記憶装置25、及び、可搬記録媒体27が挿入される可搬記録媒体駆動装置26を備え、これらがバス28によって相互に接続されている。なお、図2は、演算装置20の構成の一例であり、演算装置20はこの構成に限定されるものではない。
CPU21は、所定のプログラムを実行して演算処理等を行う。メモリ22は、例えば、RAM(Random Access Memory)であり、プログラムの実行の際に、記憶装置25または可搬記録媒体27に記憶されているプログラムまたはデータを一時的に格納する。
入力I/F装置23は、キーボード40、補正環操作装置50、Z駆動部操作装置60、及び表示装置30からの信号を受信する。また、入力I/F装置23は、図3において後述する顕微鏡100のA/D変換器108からの信号も受信する。出力I/F装置24は、表示装置30及び顕微鏡制御装置10へ信号を出力する。
記憶装置25は、例えば、ハードディスク記憶装置であり、主に各種データやプログラムの保存に用いられる。可搬記録媒体駆動装置26は、光ディスクやコンパクトフラッシュ(登録商標)等の可搬記録媒体27を収容するもので、可搬記録媒体27は、記憶装置25を補助する役割を有する。
演算装置20は、記憶装置25または可搬記録媒体27に記憶されているプログラムをCPU21がメモリ22にロードして実行することで、様々な機能を実現する。演算装置20は、例えば、顕微鏡100からの出力に基づいて画像データを生成する手段(画像データ生成手段)、画像データのコントラスト値を算出する手段(コントラスト値算出手段)、球面収差が補正される補正環111の設定値である設定目標値を算出する手段(目標値算出手段)、球面収差量を推定する手段(推定手段)、サンプルSの屈折率を算出する手段(屈折率算出手段)、及び、表示装置30を制御する手段(表示制御手段)として動作する。
表示装置30は、例えば、液晶ディスプレイ装置、有機ELディスプレイ装置、CRTディスプレイ装置などである。なお、表示装置30は、タッチパネルセンサを備えてもよく、その場合、入力装置としても機能する。
キーボード40は、演算装置20に情報を入力する入力装置である。キーボード40は、利用者による操作に従って、演算装置20が球面収差量を推定するための、対物レンズ110と観察対象面との間の媒質の情報(屈折率、対物レンズ110の光軸方向の厚さ)を演算装置20へ入力する。例えば、キーボード40は、対物レンズ110とサンプルSの間の浸液の屈折率を入力し、さらに、サンプルSの屈折率と厚さを入力する。また、サンプルSが屈折率の異なる多層構造を有することが想定される場合には、屈折率が異なる層毎に、屈折率と厚さを入力する。さらに、カバーガラスが利用されている場合には、カバーガラスの屈折率と厚さを入力する。
補正環操作装置50は、補正環111の設定値を指示するための入力手段である。利用者が補正環操作装置50で補正環111の設定値を指示すると、補正環制御装置14は、補正環111の設定値を指示された値に変更する。なお、補正環操作装置50の代わりに、キーボード40を用いて補正環111の設定値を指示するようにしてもよい。
Z駆動部操作装置60は、観察対象面の位置の変更を指示するための入力手段である。利用者がZ駆動部操作装置60で観察対象面の位置の変更を指示すると、Z制御装置13は、Z駆動部109を光軸方向に移動させて観察対象面の位置を変更する。
顕微鏡100は、走査型顕微鏡の一種である2光子励起顕微鏡である。サンプルSは、例えば、マウスの脳などの生体試料であるが、生体試料に限られない。顕微鏡100は、図3に示すように、照明光路上に、レーザー101と、走査ユニット102と、瞳投影光学系103と、ミラー104と、ダイクロイックミラー105と、対物レンズ110とを備えている。
レーザー101は、例えば、超短パルスレーザーであり、近赤外域のレーザー光を発振する。レーザー101の出力は、光源制御装置11によって制御される。即ち、光源制御装置11は、サンプルに照射するレーザー光のパワーを制御するレーザー制御装置である。
走査ユニット102は、レーザー光でサンプルSを2次元に走査するための走査手段であり、例えば、ガルバノスキャナやレゾナントスキャナなどを含んでいる。走査ユニット102の走査範囲が変化することでズーム倍率が変化する。走査ユニット102の走査範囲は、ズーム制御装置12によって制御される。
瞳投影光学系103は、走査ユニット102を対物レンズ110の瞳位置に投影する光学系である。ダイクロイックミラー105は、励起光(レーザ光)とサンプルSからの検出光(蛍光)とを分離する光分離手段であり、波長によりレーザー光と蛍光を分離する。
対物レンズ110は、補正環111を備えた乾燥系又は液浸系の対物レンズであり、Z駆動部109に装着されている。Z駆動部109は、対物レンズ110を対物レンズ110の光軸方向に移動させる手段であり、Z駆動部109の移動(即ち、対物レンズ110の移動)は、Z制御装置13によって制御される。
補正環111は、その設定値を変更することにより対物レンズ110内のレンズを移動させて、球面収差を補正する補正装置である。補正環111の設定値は、補正環制御装置14(補正装置制御装置)によって変更される。なお、補正環111の設定値は、補正環111を直接操作することで、手動で変更することもできる。
顕微鏡100は、さらに、検出光路(ダイクロイックミラー105の反射光路)上に、瞳投影光学系106と、光検出器107とを備えている。光検出器107から出力された信号は、A/D変換器108に出力される。
瞳投影光学系106は、対物レンズ110の瞳を光検出器107に投影する光学系である。光検出器107は、例えば、光電子増倍管(PMT)であり、入射した蛍光の光量に応じたアナログ信号を出力する。A/D変換器108は、光検出器107からのアナログ信号をデジタル信号(輝度信号)に変換して、演算装置20に出力する。
以上のように構成された顕微鏡システム1では、顕微鏡100は、走査ユニット102を用いてレーザー光で対物レンズ110の光軸と直交する方向にサンプルSを走査して、サンプルSの各位置からの蛍光を光検出器107で検出する。そして、演算装置20は、光検出器107からの信号を変換したデジタル信号(輝度信号)と走査ユニット102からの信号とに基づいて、画像データを生成する。即ち、顕微鏡システム1では、顕微鏡100と演算装置20により構成される顕微鏡装置が、サンプルSの画像データを取得する。
以下、補正環111を利用して観察対象面の深さに応じた球面収差を補正しながら、各観察対象面においてZスタック画像を撮影するZスタック撮影処理と、サンプルSの任意の部位の屈折率を算出して、その屈折率に関する情報(以降、屈折率情報と記す。)を表示する屈折率表示処理について説明する。
図4は、顕微鏡システム1で行われるZスタック撮影処理のフローチャートである。図5は、顕微鏡システム1で行われる目標値算出処理のフローチャートである。図6A及び図6Bは、図5に示す目標値算出処理について説明するための図である。図6Aには、最初に決定した複数の設定値で得られる複数の評価値が、図6Bには、2回目に決定した複数の設定値で得られる複数の評価値が、示されている。図7は、従来のコントラスト評価式の空間周波数特性と光学系の変調伝達関数(以降、MTFと記す)との関係を例示した図である。図8は、顕微鏡システム1で用いるコントラスト評価式の空間周波数特性と従来のコントラスト評価式の空間周波数特性とを比較した図である。以下、図4から図8を参照しながら、図4に示すZスタック撮影処理について説明する。
顕微鏡システム1は、まず、撮影条件及び媒質情報を取得する(ステップS1)。ここでは、利用者は、例えば、キーボード40を用いて、Zスタック画像を取得すべき深さ範囲と間隔とを入力する。演算装置20は、入力された深さ範囲と間隔を、撮影条件として取得して、これらの情報からZスタック画像を取得すべき観察対象面の複数の位置(以降、撮影位置と記す)を決定する。深さ範囲とは、観察対象面が移動する光軸方向の範囲のことである。また、利用者は、キーボード40を用いてサンプルSの屈折率を入力する。サンプルSが屈折率の異なる複数の層からなる場合には、層毎に屈折率と厚さを入力する。また、対物レンズ110が液浸系の対物レンズであれば、浸液の屈折率も入力する。さらに、カバーガラスを使用している場合には、カバーガラスの屈折率と厚さも入力する。演算装置20は、これらの情報を媒質情報として取得する。
次に、顕微鏡システム1は、観察対象面の位置を初期撮影位置に変更する(ステップS2)。ここでは、演算装置20の指示に従って、Z制御装置13がZ駆動部109を光軸方向に移動させて、観察対象面の位置をステップS1で決定した複数の撮影位置のうちの一つである初期撮影位置に変更する。
観察対象面の位置が変更されると、顕微鏡システム1は、ステップS2で決定した観察対象面における球面収差が補正される補正環111の設定値(以降、設定目標値、又は、単に目標値、と記す)を算出する(ステップS3)。目標値は、顕微鏡装置で発生した球面収差量に対応する。ここでは、顕微鏡装置が取得した画像データに基づいて、演算装置20が図5に示す目標値算出処理を実行する。なお、目標値算出処理で用いられる画像データを取得したときの観察対象面の深さを実測深さと記す。観察対象面の深さとは、サンプルSの表面から観察対象面までの光軸方向の距離のことである。
目標値算出処理では、顕微鏡システム1は、推定される球面収差量に基づいて、補正環111の複数の設定値を決定する(ステップS11)。ここでは、顕微鏡装置でサンプルSの画像データを取得する際の補正環111の設定値を演算装置20が複数個決定する。
ステップS11では、具体的には、以下の手順により、複数の設定値が決定される。まず、演算装置20は、現在の観察対象面の位置とステップS1で取得した媒質情報から、対物レンズ110と観察対象面との間の媒質の屈折率とその媒質の対物レンズ110の光軸方向の厚さを特定し、それらの情報に基づいて顕微鏡装置で発生する球面収差量を推定する。即ち、演算装置20は、顕微鏡装置で発生する球面収差量を推定する推定手段である。演算装置20では、浸液(対物レンズ110が乾燥系の対物レンズであれば、空気)とサンプルSの屈折率の差が大きいほど、観察対象面の深さが深いほど、カバーガラスの厚さが基準値からずれているほど、大きな球面収差量が推定される。そして、球面収差量が推定されると、演算装置20は、予め記憶装置25に記憶されている、補正環111の設定値と補正環111が補正する球面収差量である補正量との関係を示す情報(以降、補正環情報と記す)に基づいて、推定された球面収差量に対応する補正環111の設定値(以降、推定設定値と記す)を算出する。推定設定値が算出されると、推定設定値を含む探索範囲を決定し、探索範囲を均等に分割する予め決められた数(ここでは11)の設定値(補正環位置)を、複数の設定値として決定する。即ち、演算装置20は、推定された球面収差量に基づいて複数の設定値を決定する。なお、図6Aでは、θ0からθ10までの10個の設定値(補正環位置)が決定される例が示されている。
次に、顕微鏡システム1は、補正環111の設定値をステップS11で決定した設定値に変更する(ステップS12)。ここでは、補正環制御装置14が演算装置20からの指示に従ってステップS11で決定した複数の設定値のいずれかに設定する。例えば、補正環制御装置14は、補正環111の設定値をθ0に変更する。
補正環111の設定値が変更されると、顕微鏡システム1は、サンプルSの画像データを取得する(ステップS13)。ここでは、顕微鏡装置が演算装置20からの指示に従って画像データを取得する。例えば、顕微鏡装置は、補正環111の設定値がθ0の状態で画像データを取得する。
その後、顕微鏡システム1は、ステップS11で決定したすべての設定値で画像データを取得したか否かを判定し(ステップS14)、すべての設定値で画像データを取得していない場合には、ステップS12からステップS14の処理を繰り返す。これにより、顕微鏡装置は、補正環111の設定値が異なる複数の状態の各々で、サンプルSの観察対象面の画像データを取得し、その結果、複数の画像データを取得する。
すべての設定値で画像データが取得されると、顕微鏡システム1は、ステップS13で取得した複数の画像データから複数の評価値を算出する(ステップS15)。ここでは、演算装置20が、画素間の画素値(輝度値)の差分に基づいて画像のコントラストを評価する評価式を用いて、複数の画像データから、複数のコントラスト値を算出する。なお、一般に、球面収差が補正された画像ほど高いコントラストを有していることから、コントラスト値は、球面収差が補正されているかどうかを評価する評価値として好適である。
画像のコントラストを評価する評価式としては、例えば、x方向にn画素分ずれた位置にある2つの画素の画素値の差分の2乗を、画像データ全体で積算してコントラスト値を算出する、下式が知られている。下式は、J.F.Brennerらによって提案された評価式であり、Brenner gradientと呼ばれている。
ここで、FBrennerはコントラスト値であり、xは画像データを構成する画素の列を特定する変数であり、yは画像データを構成する画素の行を特定する変数である。Wは画像データを構成する画素のx方向の画素数(即ち、列数)であり、Hは画像データを構成する画素のy方向の画素数(即ち、行数)である。fは画素の画素値であり、nはシフト量であり、画素値の差分が算出される画素間の間隔を示す整数(例えば、2など)である。
顕微鏡の分野では、Brenner gradientのシフト量を2に設定するのが通常である。従って、ステップS15では、シフト量2のBrenner gradientにより、ステップS13で取得した複数の画像データの各々のコントラスト値を算出してもよい。
しかしながら、Brenner gradientのシフト量を特定の値に固定して画像のコントラストを評価すると、光学系が情報を伝達することができる空間周波数領域内に、画像のコントラストに対する感度が極端に低い領域が生じてしまう可能性がある。このため、画像のコントラストを適切に評価することができない場合が起こり得る。
例えば、画素サイズが0.5mmであり、x方向の画素数が1024画素である撮像素子を用いる場合、シフト量2におけるBrenner gradient(評価式)は、図7の線LBrennerで示す空間周波数特性を有する。また、図7の線LMTFは光学系のMTFを示している。従って、この場合、光学系によってコントラスト情報が伝達されているにもかかわらず、撮像素子上で1000[line/mm]程度の空間周波数を有する成分については、そのコントラストが低く評価されてしまう。なお、図7では、シフト量2におけるBrenner gradientの特性を例示したが、他のシフト量におけるBrenner gradientでも、コントラストに対する感度が低い空間周波数領域が存在する。
そこで、ステップS15では、例えば、異なる複数のシフト量を使用する以下の評価式により、ステップS13で取得した複数の画像データの各々のコントラスト値を算出してもよい。なお、図6Aには、ステップS13で取得した複数の画像データのコントラスト値が示されている。
例えば、5つのシフト量(n=1、2、3、5、10)を用いる場合、評価式(2)は、図8の線Lwideに示す空間周波数特性を有する。なお、図8では、評価式(1)の空間周波数特性と評価式(2)の空間周波数特性との比較を容易にするため、評価式(2)のコントラスト値を評価式(2)で使用するシフト量の数(5つ)で割った値で線Lwideを描いている。
図8に示すように、評価式(2)によれば、従来の評価式(1)に比べて、広い空間周波数領域でコントラストを安定して評価することができる。このため、画像に含まれる周波数成分によらず、即ち、サンプルや光学系の倍率などによらず、画像のコントラストの評価を安定して行うことができる。
複数の評価値が算出されると、顕微鏡システム1は、所定の条件を満たしているか否かを判定する(ステップS16)。所定の条件としては、例えば、ステップS12からステップS16までの処理の繰り返し回数が所定回数に達しているか否かであってもよく、複数の設定値の平均間隔が所定値以下であるか否かであってもよい。
ステップS16で所定の条件を満たしていない場合には、顕微鏡システム1は、改めて複数の設定値を決定し(ステップS17)、その後、ステップS12からステップS16の処理を繰り返す。
ステップS17では、演算装置20は、以下の2つの条件を満たすように複数の設定値を決定する。第1の条件は、ステップS17で決定する複数の設定値の分布範囲(即ち、探索範囲)及び平均間隔が、先の複数の設定値の分布範囲及び平均間隔と比較して、狭いことである。第2の条件は、ステップS17で決定する複数の設定値の分布範囲内に、ステップS15で算出された最大の評価値に対応する補正環111の設定値が含まれることである。なお、本明細書において、評価値に対応する設定値とは、ある画像データから算出された評価値に対するその画像データが取得されたときの補正装置の設定値のことをいうものとする。また、設定値に対応する評価値とは、ある画像データが取得されたときの補正装置の設定値に対するその画像データから算出された評価値のことをいうものとする。
これにより、顕微鏡装置は、設定値が異なる複数の状態で複数の画像データを取得する処理を、複数の状態で設定される補正環111の複数の設定値の分布範囲と平均間隔とが繰り返し毎に狭まり、且つ、その分布範囲内に演算装置20が算出した最大の評価値に対応する補正環111の設定値が含まれるように、繰り返す。そして、演算装置は、繰り返し毎に、複数の画像データから複数の評価値を算出する。
図6Bは、ステップS17で決定した複数の設定値に基づいて取得した複数の画像データのコントラスト値が示されている。図6Aと図6Bを比較すると、図6Bに示す複数の設定値(補正環位置)は、上記2つの条件を満たしていることが確認できる。なお、図6Aと図6Bでは、いずれも11個の設定値(補正環位置)が決定されている例が示されているが、設定値の数は、繰り返し毎に設定値の平均間隔が狭くなる限り、同一に限られず、増加しても減少してもよい。
ステップS16で所定の条件を満たしている場合には、顕微鏡システム1は、ステップS15で算出した複数の評価値と、それら複数の評価値に対応する複数の設定値と、に基づいて目標値を算出し(ステップS18)、目標値算出処理を終了する。ここでは、例えば、最後の繰り返しにおいてステップS15で算出された複数の評価値のうちの最大の評価値に対応する補正環111の設定値が目標値として算出されてもよい。また、最後の繰り返しに限らずステップS15で算出された複数の評価値のうちの最大の評価値に対応する補正環111の設定値が目標値として算出されてもよい。なお、演算装置20は、算出した目標値と観察対象面の位置の組み合わせを、記憶装置25に記憶させる。
顕微鏡システム1は、目標値が算出されると、補正環111の設定値を目標値に変更する(ステップS4)。ここでは、補正環制御装置14が補正環111の設定値をステップS3で算出された目標値に変更する。なお、補正環制御装置14は、自動的に、即ち、演算装置20からの指示に従って、ステップS3で算出した目標値に補正環111の設定値を変更してもよい。また、手動により、即ち、ステップS3で算出された目標値が表示装置30に表示され、表示された目標値に基づいて利用者が補正環操作装置50を操作することにより、補正環制御装置14が補正環111の設定値を目標値に変更してもよい。また、利用者が補正環111を直接操作して補正環111の設定値を目標値に変更してもよい。
さらに、顕微鏡システム1は、レーザー101の出力を設定する(ステップS5)。ここでは、光源制御装置11が、補正環111の設定値が目標値であるときに顕微鏡装置で取得された画像データに基づいて、サンプルSに照射するレーザー光のパワーを制御する。例えば、ステップS4で補正環111の設定値を変更した後に改めて画像データを取得して、その画像データから算出される画像の明るさに基づいてレーザー101の出力を設定してもよい。また、ステップS3で補正環111の設定値が目標値であるときの画像データが既に取得されている場合には、その画像データから算出される画像の明るさに基づいてレーザー101の出力を設定してもよいし、光検出器107の感度(ゲイン)を調整してもよい。
レーザー101の出力の設定が完了すると、顕微鏡システム1は、Zスタック画像を撮影する(ステップS6)。ここでは、顕微鏡装置が、球面収差が補正された状態で、サンプルSのZスタック画像を撮影し、画像データを取得する。その後、顕微鏡システム1は、すべてのZスタック画像を撮影済みか否かを判定する(ステップS7)。ここでは、演算装置20が、ステップS1で決定した複数の撮影位置でZスタック画像を撮影済みか否かを判定する。
すべてのZスタック画像を撮影済みである場合には、顕微鏡システム1は、Zスタック撮影処理を終了する。すべてのZスタック画像を撮影済みではない場合には、顕微鏡システム1は、観察対象面の位置を次の撮影位置に変更する(ステップS8)。ここでは、演算装置20の指示に従って、Z制御装置13がZ駆動部109を光軸方向に移動させて、観察対象面の位置をステップS1で決定した複数の撮影位置のうちの未だZスタック画像が取得されていない撮影位置に変更する。その後、顕微鏡システム1は、再び、ステップS3からステップS7の処理を実行する。これを繰り返すことで、顕微鏡システム1により、全てのZスタック画像が撮影される。
以上のように、顕微鏡システム1は、画像データから算出されたコントラスト値と、対物レンズと観察対象面の間の媒質の情報に基づいて推定された球面収差量とを用いて、設定目標値を特定する。これにより、球面収差が良好に補正される設定を短時間で特定することができる。より具体的には、顕微鏡システム1では、顕微鏡装置が、補正環111の設定値が異なる複数の状態で複数の画像データを取得して、演算装置20が、複数の画像データから算出された複数のコントラスト値から補正環111の設定目標値を算出する。この際、演算装置20が、顕微鏡装置で発生する球面収差量を予め推定し、推定された球面収差量に基づいて補正環111の設定値が異なる複数の状態を決定する。これにより、補正環111の設定値の探索範囲を、図6Aに示すように、当初からある程度絞り込むことができる。このため、画像データの取得回数を減らすことができるため、短時間で設定目標値を特定することが可能となる。
また、顕微鏡システム1は、観察対象面の深さに応じて変化する球面収差を短時間で良好に補正しながらZスタック画像を撮影することができる。これにより、顕微鏡100が有する光学性能を十分に発揮して、高品質な画像を得ることができる。また、球面収差が補正された状態では、一般に、球面収差が補正されていない状態に比べて明るい画像が得られる。このため、球面収差が補正された状態で取得された画像データに基づいてレーザー101の出力を設定することで、レーザー101の出力を抑えて、生体試料へのダメージを抑制することができる。なお、この効果は、より大きな出力が必要とされるサンプルSの深部を観察する場合に、特に顕著である。
また、顕微鏡システム1は、複数のシフト量を用いてコントラスト値を算出する場合には、サンプルや光学系の倍率などによらず、画像のコントラストの評価を安定して行うことができる。このため、画像のコントラストを適切に評価して目標値を算出することができる。
なお、図5のステップS15では、シフト量を5つ使用する例を示したが、安定したコントラストの評価を行うためには、複数のシフト量が使用されればよく、5つに限られない。また、画像データ毎に評価値を算出する例を示したが、画像データの全体領域を複数の領域に分割して、分割によって得られる領域毎に評価値(以降、画像データ毎に算出される評価値と区別するため、領域評価値と記す。)を算出してもよい。この場合、ステップS18では、領域毎に目標値(全体領域に対して算出される目標値と区別するため、以降、領域目標値と記す。)を算出し、複数の領域目標値に基づいて、全体領域に対する目標値を算出する。
図9は、画像データの全体領域WRを領域R1から領域R9の9つの領域に分割し、領域毎に領域目標値を算出した例を示している。全体領域に対する目標値は、例えば、領域目標値を昇順又は降順に並べた(θ3:θ3:θ4:θ4:θ5:θ5:θ5:θ6:θ6)中間値(θ5)に決定されてもよく、最頻値(θ5)に決定されてもよい。なお、分割数も9つに限られず、9つより少なくても多くてもよい。
領域毎に領域目標値を算出し、複数の領域目標値に対する統計的な処理により確からしい目標値を算出することで、画像データに他の画素データと比較して極端に高輝度又は低輝度を有する画素データが含まれる場合であっても、その影響を抑えて画像のコントラストを評価することができる。このため、球面収差が補正される設定値を正しく算出することができる。
また、図5のステップS15(評価値算出処理)では、ステップS13で取得した画像データ毎に、複数のシフト量を用いて単一のコントラスト値を算出する例を示したが、画像データ毎に、それぞれ異なるシフト量を用いて算出した複数のコントラスト値を算出してもよい。その場合、ステップS18で、同じシフト量を用いて算出された複数の評価値と、それら複数の評価値に対応する複数の設定値と、に基づいて、そのシフト量における暫定的な目標値(以降、暫定目標値と記す)を算出し、各々が異なるシフト量における暫定目標値である、複数の暫定目標値から最終的な単一の目標値を算出してもよい。複数の暫定目標値から最終的な目標値を算出する処理は、例えば、複数の暫定目標値から最も確からしい値を選択する処理(例えば、中央値を選択する処理)であってもよく、複数の暫定目標値から確からしい値を算出する処理(例えば、平均値を算出する処理)であってもよい。即ち、安定したコントラストの評価を行うためには、ステップS15で複数の画像データから複数のシフト量を用いて複数のコントラスト値が算出されればよく、画像データの数と算出されるコントラストの数は一致しなくてもよい。
図10は、顕微鏡システム1で行われる別の目標値算出処理のフローチャートである。図11は、図10に示す目標値算出処理について説明するための図である。図10及び図11を参照しながら、図10に示す目標値算出処理について説明する。なお、図10に示す目標値算出処理のステップS21からステップS25までの処理は、図5に示す目標値算出処理のステップS11からステップS15までの処理と同様であるので、詳細な説明は割愛する。
顕微鏡システム1は、ステップS25で複数の評価値が算出されると、複数の画像データの座標情報に基づいて目標値を算出し(ステップS26)、目標値算出処理を終了する。なお、画像データの座標情報とは、その画像データから算出された評価値とその評価値に対応する補正環111の設定値との組み合わせをいうものとする。
ステップS26では、演算装置20は、まず、ステップS23で取得した複数の画像データから3つ以上の画像データを選択する。この3つ以上の画像データは、ステップS25で算出した複数の評価値のうちの最大値が算出された画像データが含まれるように、選択される。
その後、演算装置20は、選択した3つ以上の画像データの座標情報に基づいて目標値を算出する。具体的には、3つ以上の画像データの座標情報に基づいて、補間又は関数近似により関数を算出する。なお、この関数は、評価値と設定値に関する関数である。そして、算出した関数のピーク座標(評価値が最大となる座標)から得られる設定値が目標値として算出される。演算装置20は、算出した目標値と観察対象面の位置の組み合わせを、記憶装置25に記憶させる。
図11には、最大の評価値が算出される画像データとその前後(つまり、設定値が近い)の画像データからなる3つの画像データを選択し、それらの画像データから得られる3つの座標情報からラグランジュ補間により二次関数を算出し、そのピーク座標から目標値を算出した例が示されている。なお、補間には、ラグランジュ補間、スプライン補間などの任意の補間法が採用され得る。また、関数近似にも、最小二乗法などの任意の近似法が採用され得る。
顕微鏡システム1は、図5に示す目標値算出処理の代わりに、図10に示す目標値算出処理を実行した場合であっても、同様の効果を得ることができる。また、図10に示す目標値算出処理を実行した場合には、図5に示す目標値算出処理よりもさらに少ない画像データの取得回数で目標値を高精度に算出することができる。従って、顕微鏡システム1は、より短時間で球面収差を良好に補正することができる。
なお、図5に示す目標値算出処理と図10に示す目標値算出処理を組み合わせて目標値を算出してもよい。例えば、図10に示す目標値算出処理に図5のステップS16及びステップS17の処理を追加して、ステップS26で算出した目標値が分布範囲に含まれるように、複数の設定値の分布範囲(即ち、探索範囲)及び平均間隔を徐々に狭めながら、目標値の算出を繰り返してもよい。これにより、目標値をより高い精度で算出することが可能となる。
図12は、顕微鏡システム1で行われる更に別の目標値算出処理のフローチャートである。図13は、目標値の信頼性と評価値の関係について説明するための図である。図14Aは、目標値を複数回算出したときの目標値の変化の様子を例示した図である。図14Bは、第2の目標値を複数回算出したときの第2の目標値の変化の様子を例示した図である。図12から図14Bを参照しながら、図12に示す目標値算出処理について説明する。なお、図12に示す目標値算出処理のステップS31からステップS36までの処理は、図10に示す目標値算出処理のステップS21からステップS26までの処理と同様であるので、詳細な説明は割愛する。
顕微鏡システム1は、ステップS36で目標値が算出されると、目標値の信頼性の高低を判定済みか否かについて判定し(ステップS37)、信頼性の高低を判定していない場合には、目標値の信頼性の高低を判定する(ステップS38)。
図13には、観察対象面の深さが100μmのときに取得した複数の画像データから算出した複数のコントラスト値(実測値)と、観察対象面の深さが600μmのときに取得した複数の画像データから算出した複数のコントラスト値(実測値)が、プロットされている。図13に示すように、一般に観察対象面の位置が深くなるほど、球面収差が補正された状態での画像のコントラストは低下し、且つ、補正環の設定値の変更によるコントラストの変化も小さくなる。このため、球面収差が補正されている状態を正しく特定することが難しくなり、目標値の信頼性が低下する。
そこで、ステップS38では、演算装置20は、ステップS35で算出した複数のコントラスト値に基づいて、ステップS36で算出した目標値の信頼性の高低を判定する(ステップS39)。より具体的には、演算装置20は、例えば、複数のコントラスト値のうちの最大値のコントラスト値が所定の閾値以上であれば信頼性が高いと判定し、閾値未満であれば信頼性が低いと判定してもよい。また、演算装置20は、観察対象面の深さに基づいて、目標値の信頼性の高低を判定してもよい。
顕微鏡システム1は、ステップS39で信頼性が高いと判定された場合には、目標値算出処理を終了する。一方、ステップS39で信頼性が低いと判定された場合には、複数の画像データを再度取得して、それらの画像データに基づいて目標値を再度算出する(ステップS31からステップS36)。これにより、顕微鏡システム1では、顕微鏡装置によって複数の画像データが複数回取得され、演算装置20によって目標値が複数回算出される。
顕微鏡システム1は、ステップS37で信頼性の高低を判定済みと判断すると、さらに、目標値を所定回数以上算出済みか否かを判定する(ステップS40)。ここでは、演算装置20は、例えば、予め決められた回数(例えば、3回)以上目標値を算出しているか否かを判定する。目標値の算出回数が予め決められた回数に達していないと判定されると、顕微鏡システム1は、複数の画像データを再度取得して、それらの画像データに基づいて目標値を再度算出する(ステップS31からステップS36)。
顕微鏡システム1は、ステップS40で所定回数以上目標値を算出済みであると判断すると、複数の目標値に基づいて第2の目標値を算出し(ステップS41)、目標値算出処理を終了する。ここでは、演算装置20は、ステップS36で算出した複数の目標値に基づいて、第2の目標値を算出する。第2の目標値を算出する処理は、例えば、複数の目標値から最も確からしい値を選択する処理(例えば、中央値を選択する処理)であってもよく、複数の目標値から確からしい値を算出する処理(例えば、平均値を算出する処理)であってもよい。
図14Aには、観察対象面の深さが100μmのときに算出された複数の目標値と、観察対象面の深さが600μmのときに算出された複数の目標値が、プロットされている。図14Bには、観察対象面の深さが100μmのときに算出された複数の目標値を3つ毎に平均した第2の目標値と、観察対象面の深さが600μmのときに算出された複数の目標値を3つ毎に平均した第2の目標値と、がプロットされている。図14Aに示すように、画像のコントラストが低くなるサンプル深部(ここでは、深さ600μmの部位)では、目標値は、算出される度に比較的大きく変動する。しかしながら、図14Bに示すように、平均化処理によって算出される第2の目標値では、算出される度に生じる変動幅が小さくなり、観察対象面の深さによらず、ほぼ一定の値を示している。つまり、第2の目標値を算出することで、データの信頼性が向上する。
顕微鏡システム1は、図5に示す目標値算出処理の代わりに、図12に示す目標値算出処理を実行した場合であっても、同様の効果を得ることができる。また、図12に示す目標値算出処理を実行することで、画像のコントラストが低く目標値の信頼性が低い場合には、複数回目標値を算出し、より信頼性の高い第2の目標値を算出することができる。従って、顕微鏡システム1は、観察対象面の深さによらず、球面収差を良好に補正することができる。
なお、図12では、目標値の信頼性の高低を判定して、第2の目標値を算出するか否かを決定する例を示したが、第2の目標値は、目標値の信頼性の高低を判定することなく算出されてもよい。また、図5に示す目標値算出処理と図12に示す目標値算出処理を組み合わせて第2の目標値を算出してもよい。例えば、図5に示す目標値算出処理に図12のステップS37からステップS41の処理を追加してもよい。
また、図12では、複数の目標値から第2の目標値を算出することで、目標値(第2の目標値)の信頼性の向上を図る例を示したが、信頼性を向上させる方法はこの方法に限られない。複数の評価値を設定値毎に取得し、複数の評価値から第2の評価値を設定値毎に算出し、異なる設定値で算出された複数の第2の評価値から信頼性の高い目標値を算出してもよい。この場合、ステップS36の処理を省略し、ステップS41において、同じ設定値で取得した複数の評価値から、最も確からしい値を選択する処理(例えば、中央値を選択する処理)、又は、確からしい値を算出する処理(例えば、平均値を算出する処理)により、設定値毎に第2の評価値を算出してもよい。その上で、さらに、異なる設定値に対応する複数の第2の評価値から目標値を算出してもよい。なお、複数の第2の評価値から目標値を算出する処理は、例えば、ステップS36と同様の処理に、座標情報に基づく処理であってもよい。このような方法でも、複数の画像データの情報から目標値が算出されるため、目標値の信頼性が向上することができる。
図15は、顕微鏡システム1で行われる別のZスタック撮影処理のフローチャートである。図16Aから図16Eは、走査ユニット102の設定を説明するための図である。図16Aは、撮影モードにおける走査ユニット102の設定を例示した図である。図16Bは、図16Aに例示される設定からズーム倍率を拡大した設定を例示した図である。図16Cは、図16Aに例示される設定から視野を維持しつつサンプリング回数を増やした設定を例示した図である。図16D及び図16Eは、コントラスト算出モードにおける走査ユニット102の設定の一例を示した図である。図15から図16Eを参照しながら、図15に示すZスタック撮影処理について説明する。なお、図15に示すZスタック撮影処理は、動作モードを変更する処理(ステップS53及びステップS57)が含まれている点が図4に示すZスタック撮影処理とは異なっている。その他の処理(ステップS51、ステップS52、ステップS54からステップS56、ステップS58からステップS60)は、図4に示すZスタック撮影処理のステップS1からステップS8までの処理と同様である。
顕微鏡システム1は、ステップS52で観察対象面の位置が初期撮影位置に変更されると、動作モードを目標値算出モードに設定する(ステップS53)。ここでは、演算装置20の指示に従って、ズーム制御装置12が、走査ユニット102の設定を後述する撮影モードでの設定(第1の設定)とは異なる設定(第2の設定)に変更する。なお、目標値算出モードにおける走査ユニット102の設定は、コントラスト値の算出のために一定以下の画素分解能(即ち、一定以上の画素解像力)を確保しつつ、できる限り高速な画像データの取得を可能にするための設定である。以下、目標値算出モードにおける走査ユニット102の設定についてより具体的に説明する。
画素分解能が大きすぎると、画素分解能が光学分解能よりも大きくなり、画素分解能から算出される画素サイズが光学的に識別し得る2点間の距離よりも大きくなってしまう。この場合、発生した球面収差が画像データに十分に反映されないため、画像のコントラストを正しく評価することができない。従って、コントラスト値を算出するための画像データを取得する際には、画素分解能が小さいことが望ましく、コントラストを適切に評価可能な一定以下であることが望ましい。
画素分解能を小さくする方法には、ズーム倍率を高くする方法がある。例えば、図16Aに示すような撮影モードにおける走査ユニット102の設定(例えば、画像サイズ512×512、ズーム倍率1倍)での画素分解能が大きすぎる場合には、図16Bに示すように、ズーム倍率を高くすることで、画素分解能を小さくすることができる。しかしながら、ズーム倍率だけを高くすると視野が狭まってしまうため、サンプルS内の構造物(構造物ST1、構造物ST2)が視野内に存在しない確率が高くなる。視野内に構造物(蛍光観察であれば蛍光を発する構造物)が存在しない場合には、十分なコントラストが生じず、コントラスト値の算出に適さない。また、図16Cに示すような、視野を維持したままズーム倍率を高くする方法では、画像サイズ(1024×1024)が大きくなるため、画像データの取得に時間がかかってしまう。
ところで、コントラスト値は、上述した式(1)及び式(2)に示すように、一定方向に並んだ画素間の画素値の差分に基づいて算出される。演算する画素間の時間差を小さくするため、通常は、走査線SCに沿った方向(x方向)に並んだ画素間の画素値の差分に基づいて算出される。従って、コントラスト値を適切に評価するために小さくすべき画素分解能は、x方向に関する画素分解能であり、y方向に関する画素分解能は、必ずしもx方向に関する画素分解能ほど小さい必要はない。
そこで、顕微鏡システム1では、図16D及び図16Eに示すように、視野を維持しながらズーム倍率を高くし、走査の一部を間引いて走査線SCの数を減らした設定を、目標値算出モードにおける走査ユニット102の設定とする。図16D、図16Eは、それぞれ、図16Cに示す設定における走査線数の1/2、1/4にした設定を示している。なお、走査線の間隔が広すぎると、構造物が視野内に存在するにも関わらず走査線上に位置しないことが起こり得る。このため、走査線数は、画像データのサンプルS、対物レンズ110の倍率、及び、走査手段のズーム倍率に基づいて決定することが望ましい。これにより、画像データの取得時間を短縮しながら、コントラストを適切に評価することができる。
なお、以上では、撮影モードでの画素分解能が大きい場合を例示したが、撮影モードでの画素分解能が十分に小さい場合には、コントラスト算出モードの設定は、走査線数の設定のみが撮影モードの設定と異なってもよい。また、撮影モードとコントラスト算出モードで、視野を一定に維持する例を示したが、コントラスト算出モードの視野は撮影モードの視野よりも広くてもよい。
顕微鏡システム1は、目標値算出モードで目標値を算出する(ステップS54)。より詳細には、コントラスト算出用の画像データを取得して目標値を算出する。その後、補正環111とレーザー101の設定を変更する(ステップS55、ステップS56)と、動作モードを撮影モードに変更する(ステップS57)。ここでは、演算装置20の指示に従って、ズーム制御装置12が、走査ユニット102の設定を目標値算出モードでの設定(第2の設定)とは異なる設定(第1の設定)に変更する。なお、撮影モードにおける走査ユニット102の設定は、観察用の画像データの取得に適した設定である。
その後、顕微鏡システム1は、撮影モードでZスタック画像を撮影し(ステップS58)、全てのZスタック画像が撮影済みとなるまで、ステップS53からステップS60までの処理を繰り返す。
顕微鏡システム1は、図4に示すZスタック撮影処理の代わりに、図15に示すZスタック撮影処理を実行した場合であっても、同様の効果を得ることができる。また、図15に示すZスタック撮影処理を実行することで、画像のコントラストを短時間で適切に評価することが可能となるため、球面収差が良好に補正される設定をより短時間で特定することができる。従って、球面収差をより短時間で良好に補正することが可能となる。
図17は、顕微鏡システム1で行われる更に別のZスタック撮影処理のフローチャートである。図18は、推定関数の一例を示した図である。図19は、補正関数の一例を示した図である。図17から図19を参照しながら、図17に示すZスタック撮影処理について説明する。
顕微鏡システム1は、まず、撮影条件及び媒質情報を取得し(ステップS61)、観察対象面の位置を初期撮影位置に変更し(ステップS62)、目標値を算出する(ステップS63)。なお、ステップS61からステップS63までの処理は、図4に示すステップS1からステップS3までの処理と同様である。
初期撮影位置における目標値が算出されると、顕微鏡システム1は、補正関数を算出する(ステップS64)。ここでは、まず、演算装置20は、ステップS61で取得した媒質情報から、顕微鏡装置で発生する球面収差量を観察対象面の深さ毎に推定する。その後、演算装置20は、推定された球面収差量に対応する観察対象面の深さ毎の推定設定値と、ステップS63で算出された目標値とに基づいて、観察対象面の深さ毎の目標値を表わす補正関数を算出する。より具体的には、記憶装置25に記憶されている補正環情報に基づいて、図18に示すような、観察対象面の深さ毎の推定設定値を表わす推定関数F1を算出し、その後、推定関数F1をステップS63で算出された目標値P1に基づいて変形して、図19に示すような補正関数F2を算出する。なお、図18には、サンプルが屈折率の異なる2層構造を有する場合の、推定関数が例示されている。また、図19では、目標値P1を通るように推定関数F1が平行移動した補正関数F2が例示されている。
補正関数が算出されると、顕微鏡システム1は、補正環111とレーザー101の設定を変更し(ステップS65、ステップS66)、Zスタック画像を撮影する(ステップS67)。撮影終了後、全てZスタック画像を撮影済みか否かを判定し(ステップS68)、撮影済みでない場合には、観察対象面の位置を次の撮影位置に変更する(ステップS69)。なお、ステップS65からステップS69までの処理は、図4に示すステップS4からステップS8までの処理と同様である。
観察対象面の位置を変更すると、顕微鏡システム1は、補正関数に基づいて目標値を算出する(ステップS70)。ここでは、演算装置20は、ステップS64で算出した補正関数と現在の観察対象面の深さに基づいて、現在の観察対象面の深さにおける目標値を算出する。その後、顕微鏡システム1は、全てのZスタック画像の撮影が終了するまで、ステップS65からステップS70の処理を繰り返し、Zスタック撮影処理を終了する。
顕微鏡システム1は、図4に示すZスタック撮影処理の代わりに、図17に示すZスタック撮影処理を実行した場合であっても、同様の効果を得ることができる。また、図17に示すZスタック撮影処理では、補正関数を用いることで目標値を算出する処理における画像取得回数を大幅に減らすことができる。このため、球面収差が良好に補正される設定を更に短時間で特定することが可能となる。さらに、観察対象面がコントラストを生じさせる構造物が存在しない位置にある場合には、画像のコントラストを適切に評価することができないことがあるため、画像データから目標値を算出することが難しい。しかしながら、補正関数を用いて目標値を算出することで、より確実に球面収差を補正することができる。
なお、図17では、初期撮影位置における目標値のみが画像データから算出される例を示したが、任意の複数の深さ位置における目標値においても画像データから算出されてもよい。実測深さを増やすことでより精度の高い補正関数を得ることができる。例えば、図20に示すように、深さ600μmと1600μmで画像データから目標値P1及び目標値P2を算出し、推定関数F1を目標値P1及び目標値P2に基づいて変形して補正関数F3を算出してもよい。図20には、目標値P1と目標値P2を通るように、推定関数F1を横方向(回転角度の軸方向)に拡大した補正関数F3が例示されている。また、目標値P1及び目標値P2を用いて最小二乗法などの任意の近似法により補正関数を算出してもよい。
また、図17では、実測深さ以外の深さにおける目標値を補正関数に基づいて算出する例を示したが、補正関数を算出しなくてもよい。実測深さ以外の深さにおける目標値を、補正関数に基づいて算出する代わりに、実測深さにおける既知の目標値と推定される球面収差量とに基づいて、都度算出してもよい。
図21は、顕微鏡システム1で行われる屈折率表示処理のフローチャートである。図22は、サンプルSの構造を例示した図である。図23は、表示装置30に表示されるグラフの一例を示した図である。図24は、顕微鏡システム1で行われる屈折率算出処理のフローチャートである。図25は、変化率と屈折率の関係を示した図である。図26A及び図26Bは、異なる注目位置における屈折率情報をグラフ上に表示した図である。図27は、サンプルSの屈折率分布を示す屈折率情報をグラフ上に表示した図である。以下、図21から図27を参照しながら、図21に示す屈折率表示処理について説明する。
以降では、サンプルSが、図22に示すような、屈折率の異なる複数の層(層L1から層L5)からなる積層構造物である場合を例に説明する。図22には、5層からなる構造物が記載されていて、層L1、層L3、層L5は、1.52の屈折率を有するガラス板であり、層L2は、屈折率が1.4のシリコーンであり、層L4は、屈折率1.33の水である。また、層L1及び層L3の上下両面、並びに、層L5の上面には、レーザー光の照射により蛍光を発するビーズB1からビーズB5が置かれている。さらに、対物レンズ110とサンプルSの間は、浸液IMで満たされている。浸液IMは、屈折率が1.33の水である。
顕微鏡システム1は、まず、媒質情報を取得する(ステップS71)。ここでは、図4のステップS1と同様に、利用者がサンプルSの屈折率、カバーガラスの屈折率及び厚さ、浸液の屈折率などの媒質情報を入力し、演算装置20がそれらの情報を取得する。なお、ここで入力される屈折率は、画像データ取得回数を減らす目的で使用されるものであるので、およその値でよい。正確な屈折率は、後述するステップS78において算出される。
顕微鏡システム1は、次に、観察対象面の位置の候補である、複数の候補位置を決定する(ステップS72)。ここでは、演算装置20が、利用者がキーボード40等を用いて入力した観察対象面の深さ情報に基づいて、画像データを取得すべき複数の候補位置を決定する。決定した複数の候補位置の情報(複数の深さ情報)は記憶装置25に記憶される。例えば、利用者が画像データを取得すべき深さ範囲と間隔を入力することで、演算装置20が深さ範囲と間隔から複数の候補位置を決定してもよい。本実施例では、それぞれビーズが存在する5つの候補位置を、演算装置20が決定する。
その後、顕微鏡システム1は、観察対象面の位置を初期位置に変更する(ステップS73)。ここでは、演算装置20の指示に従って、Z制御装置13がZ駆動部109を光軸方向に移動させて、観察対象面の位置をステップS71で決定した複数の候補位置のうちの一つである初期位置に変更する。本実施例では、観察対象面の位置をビーズB1の位置に変更する。
観察対象面の位置が変更されると、顕微鏡システム1は、その観察対象面における設定目標値を算出する(ステップS74)。ここでは、上述した図5、図10又は図12に示す目標値算出処理が行われる。算出した目標値は、候補位置の情報(例えば、深さ情報など)と関連付けて、記憶装置25に記憶される。なお、目標値算出処理は、上述した目標値算出モードで行われることが望ましい。
顕微鏡システム1は、目標値が算出されると、ステップS72で決定した複数の候補位置のすべてで目標値が算出済みか否かを判断する(ステップS75)。すべての候補位置で目標値が算出されていない場合には、顕微鏡システム1は、観察対象面の位置をステップS72で決定した複数の候補位置のうちの未だ目標値が算出されていない候補位置に変更し(ステップS76)、変更後の候補位置で目標値を算出する(ステップS74)。これを繰り返すことにより、各々が、観察対象面が対物レンズ110の光軸方向に異なるサンプルS内の位置にあるときに顕微鏡装置で発生した球面収差量に対応する、複数の目標値が算出される。本実施例では、観察対象面がビーズB1からビーズB5のそれぞれの位置にあるときに顕微鏡装置で発生した球面収差量に対応する、5つの目標値が算出される。
すべての候補位置で目標値が算出されている場合には、顕微鏡システム1は、観察対象面の位置と目標値との関係を表わすグラフを表示する(ステップS77)。ここでは、演算装置20が、まず、ステップS74で算出した複数の目標値に基づいて上記のグラフを生成し、その後、生成したグラフを表示装置30に表示させる。グラフは、例えば、縦軸が観察対象面の位置を示し横軸が目標値を示す空間上に記憶装置25に記憶されている複数の目標値を示す点をプロットし、さらに、隣接する2点間を補間することで、作成されてもよい。補間には、線形補間、ラグランジュ補間、スプライン補間などの任意の補間法が採用され得る。また、グラフは、補間の代わりに関数近似によって生成されてもよい。本実施例では、図23に示すように、算出した5つの目標値を示す5つの点をプロットし、隣り合う点間を線形補間したグラフG1が表示される。なお、図23の縦軸は、サンプル表面(層L1の上面)からの光軸方向への距離である深さDを示し、横軸は補正環111の回転角度θを示している。
利用者がポインタPを使用して表示装置30に表示されたグラフG1上の点を指定し、その結果、サンプルS内の注目位置が指定されると、顕微鏡システム1は、注目位置におけるサンプルSの屈折率を算出する(ステップS78)。ここでは、演算装置20は、複数の目標値に基づいて、注目位置におけるサンプルSの屈折率を算出する。より詳細には、演算装置20は、図24に示す処理を実行する。
まず、演算装置20は、指定された注目位置の情報を取得する(ステップS81)。演算装置20は、例えば、注目位置の深さ情報を取得する。次に、演算装置20は、複数の目標値を取得する(ステップS82)。演算装置20は、例えば、グラフにプロットされている複数の点のうち指定された点に近い2点を特定し、その2点の目標値を取得する。この際、目標値とともに深さ情報を取得する。なお、ステップS82で取得する複数の目標値は、ステップS74で算出された目標値に限られない。注目位置の深さ近傍の複数の位置に観察対象面を移動させて、それぞれの位置で目標値を算出することで、複数の目標値と複数の深さ情報を取得してもよい。
その後、演算装置20は、複数の目標値に基づいて、注目位置における、光軸方向へ観察対象面の移動量(観察対象面の位置の変化量)と目標値の変化量との関係を算出する(ステップS83)。演算装置20は、例えば、ステップS82で取得した2つの目標値の差分(目標値の変化量Δθ)に対する、ステップS82で取得した2つの深さ情報の差分(観察対象面の移動量ΔD)の比を算出する。即ち、注目位置におけるグラフの傾きである変化率ΔD/Δθを算出する。
そして、最後に、演算装置20は、ステップS83で算出した関係に基づいて、注目位置におけるサンプルSの屈折率を算出する(ステップS84)。演算装置20は、例えば、記憶装置25に記憶されている図25に示す変化率と屈折率との関数Fに基づいて、ステップS83で算出した関係(変化率)から屈折率を算出する。なお、変化率と屈折率の関数Fは、対物レンズ毎に異なるため、記憶装置25には、対物レンズ毎の変化率と屈折率の関数Fが記憶されていることが望ましい。また、記憶装置25には、関数Fの代わりに、変化率と屈折率の関係を示すデータが記憶されていてもよい。
屈折率が算出されて図24に示す処理が終了すると、顕微鏡システム1は、グラフ上に屈折率情報を表示する(ステップS79)。ここでは、演算装置20は、注目位置におけるサンプルSの屈折率に関する情報を、グラフと関連付けて表示装置30に表示させる。本実施例では、例えば、ポインタPを用いて深さ150μm当たりを注目位置に指定した場合であれば、図26Aに示すように、グラフG1上の注目位置に対応する点の近くに、屈折率情報I1(1.53)を表示する。また、ポインタPを用いて深さ400μm当たりを注目位置に指定した場合であれば、図26Bに示すように、グラフG1上の注目位置に対応する点の近くに、屈折率情報I2(1.39)を表示する。なお、深さ150μm、400μmの位置は、図22に示す層L1(ガラス板、屈折率1.52)、層L2(シリコーン、屈折率1.4)内である。
以上のように、本実施例に係る顕微鏡システム1によれば、サンプル内の任意の部位の屈折率を算出することができる。例えば、サンプルが、図22に示すような屈折率の異なる複数の層からなる積層構造物など、複雑な屈折率分布を有するものであっても、そのサンプルの構造によらず、任意の部位の屈折率を正確に算出することができる。この点については、後に詳述する。さらに、サンプルをスライスすることなくサンプルの深部の屈折率を算出することができるため、in vivoでの生体サンプルの屈折率の測定が可能となる。
また、顕微鏡システム1では、補正環111で球面収差を補正することで得られた情報を用いて、サンプルの屈折率が算出される。従って、球面収差を補正してサンプルの深部を観察しながら、それと同時に屈折率を測定することができる。このため、顕微鏡システム1は、サンプルへのダメージの軽減が重要な、in vivoでの生体サンプルの観察への利用が特に好適である。
また、顕微鏡システム1では、観察対象面の位置と目標値との関係を表わすグラフが表示される。グラフの傾きは屈折率に依存しているため、グラフを表示することで、利用者はグラフから生体サンプルなど屈折率が深さによって異なるサンプルの屈折率分布を把握することができる。さらに、グラフ上に屈折率情報を表示することで、より正確に屈折率を把握することができる。なお、図26A及び図26Bでは、指定された注目位置の屈折率情報(屈折率情報I1、屈折率情報I2)のみをグラフG1に表示する例を示したが、図27に示すように、注目位置の指定の有無によらず、サンプルの屈折率分布を示す屈折率情報I3をグラフG1に表示してもよい。これにより、サンプルの各深さにおける屈折率が表示されるため、より正確にサンプルの屈折率分布を把握することができる。
図28は、屈折率の算出方法について説明するための図である。図28を参照しながら、サンプルの構造によらず、サンプル内の任意の部位の屈折率を正確に算出することができることについて、より詳細に説明する。
以降、図28に示すように、観察対象面が、対物レンズ110から3層目の屈折率n3を有する媒質からなる第3層内に位置する場合を例に説明する。なお、対物レンズ110に隣接する屈折率n1を有する媒質からなる第1層は、例えば、空気や浸液であり、屈折率n2を有する媒質からなる第2層と屈折率n3を有する媒質からなる第3層は、例えば、生体サンプルである。
対物レンズ110からの光線Rの、第1層と第2層との界面IF1への入射角をθ1、界面IF1からの出射角をθ2、第2層と第3層との界面IF2からの出射角をθ3とすると、スネルの法則から、以下の式(3)が導かれる。
さらに、図28から幾何学的に次の関係も導かれる。なお、Dは第2層の厚さである。
これらの関係から、δは、下式(4)で表わされる。
さらに、図28から幾何学的に次の関係も導かれる。
この関係から、dは、下式(5)で表わされる。
さらに、式(5)を用いて、式(4)を変形すると、式(6)が導かれる。
ここで、式(3)から次の関係が導かれる。
この関係を用いて、式(6)を変形すると、式(7)が導かれる。
D=0のときには、δは第2層のパラメータに依存しない。また、式(7)は、θ=0のときには、δは、屈折率差(屈折率比)のみに依存する。θ=0のときのδである近軸移動量δは、式(8)で表わされる。
光線Rに生じる球面収差量Δは、δとδの差分である。このため、式(7)と式(8)から式(9)が導かれる。なお、顕微鏡装置で生じる球面収差量は、式(9)をθについて0から対物レンズ110のNAで定まる最大入射角度θMAXまで積分することで、算出される。
さらに、式(9)をdで微分することで、式(10)が導かれる。式(10)は、観察対象面の深さ変化量あたりの球面収差量の変化量で定義される、球面収差量の変化率を表わしている。
式(10)には、第2層のパラメータが含まれない。このことから、球面収差量の変化率は、第1層と観察対象面を含む第3層に依存し、中間層である第2層には影響しないことがわかる。さらに、θは積分変数であり、nは対物レンズ110とサンプルSの間の媒質の屈折率であって、一般に対物レンズ110によって定まる。これらを考慮すると、球面収差量の変化率を特定することで、式(10)を用いて観察対象面を含む第3層の屈折率nを算出し得ることがわかる。従って、球面収差量の変化率を特定することで、サンプルの構造によらず、任意の部位の屈折率を正確に算出することができる。
顕微鏡システム1では、球面収差量の変化率を直接算出する代わりに、補正環111の目標値の変化率(観察対象面の移動量と目標値の変化量の関係)を算出している。対物レンズが定まると目標値と球面収差量の関係は既知な一定の関係にあるため、球面収差の変化率を目標値の変化率に変換することができる。このため、目標値の変化率から屈折率を算出する顕微鏡システム1でも、サンプルの構造によらず、任意の部位の屈折率を正確に算出することができる。
図29は、顕微鏡システム1で行われる別の屈折率表示処理のフローチャートである。図30は、表示装置30に表示される三次元画像G2の一例を示した図である。図31は、注目位置における屈折率情報を三次元画像G2上に表示した図である。図32は、屈折率情報とグラフを三次元画像上に表示した図である。以下、図29から図32を参照しながら、三次元画像上に屈折率情報を表示する屈折率表示処理について説明する。なお、ここでは、サンプルSはマウスの脳である。
顕微鏡システム1は、サンプルSの三次元画像データを生成する(ステップS91)。ここでは、顕微鏡システム1が、上述した図4、図15又は図17に示すZスタック撮影処理を実行し、演算装置20が、その結果得られた複数の画像データに基づいて、サンプルSの三次元画像データを生成する。
次に、顕微鏡システム1は、サンプルSの三次元画像を表示する(ステップS92)。ここでは、演算装置20は、サンプルSの三次元画像データに基づいて、サンプルSの三次元画像を表示装置30に表示させる。本実施例では、例えば、図30に示すような深さ方向に構造が変化しているマウスの脳の三次元画像G2が表示される。
利用者がポインタPを使用して表示装置30に表示された三次元画像G2上の点を指定し、その結果、サンプルS内の注目位置が指定されると、顕微鏡システム1は、注目位置におけるサンプルSの屈折率を算出する(ステップS93)。この処理は、図24に示す屈折率算出処理と同様である。ただし、ステップS82では、注目位置の深さ近傍の複数の位置に観察対象面を移動させて、それぞれの位置で目標値を算出することで、複数の目標値と複数の深さ情報を取得する。
屈折率が算出されると、顕微鏡システム1は、三次元画像G2上に屈折率情報を表示する(ステップS94)。ここでは、演算装置20は、注目位置におけるサンプルSの屈折率に関する情報を、三次元画像G2と関連付けて表示装置30に表示させる。本実施例では、例えば、図31に示すように、三次元画像G2上の注目位置に、屈折率情報I4(1.38)を表示する。
以上のように、顕微鏡システム1は、三次元画像と関連付けて注目位置におけるサンプルSの屈折率を表示することができる。このため、サンプルSの構造と屈折率の関係を容易に把握することが可能となる。また、画像を見ながら注目位置を指定することができるため、屈折率を知りたい部位を確実に指定することができる。また、利用者が三次元画像を見ながら深さ方向に幅のある注目範囲を指定できるようにしてもよい。そして、注目範囲内における観察対象面の移動量と目標値の変化量との関係を算出し、注目範囲内の屈折率分布を算出してもよい。
さらに、図21の屈折率表示処理と図29の屈折率表示処理を組み合わせてもよい。例えば、例えば、図29のステップS91の前に、図21のステップS71からステップS76の処理を行うことで、図32に示すように、屈折率情報I5とグラフを三次元画像G2上に表示してもよい。これにより、サンプルSの構造と屈折率の関係をさらに詳細に把握することができる。
また、屈折率情報は、図31及び図32に示すような文字情報に限られない。例えば、三次元画像G2の色を変更することで、利用者に屈折率情報を提供してもよい。この場合、画像中の屈折率が異なる部分は異なる色で表示される。また、画像そのものの色を変更する代わりにグラフの色を変更してもよい。色を用いて屈折率情報を提供することで、利用者はより直感的に屈折率を把握することが可能となる。
図33は、顕微鏡システム1で行われる更に別の屈折率表示処理のフローチャートである。以下、図33を参照しながら、二次元画像上に屈折率情報を表示する屈折率表示処理について説明する。
顕微鏡システム1は、まず、媒質情報を取得する(ステップS101)。この処理は、図21のステップS71と同様である。その後、顕微鏡システム1は、球面収差を補正する(ステップS102)。ここでは、顕微鏡システム1は、上述した図5、図10又は図12に示す目標値算出処理を行って目標値を算出し、算出した目標値に補正環111の設定値を変更する。
球面収差が補正されると、顕微鏡システム1は、サンプルSの二次元画像データを取得する(ステップS103)。ここでは、顕微鏡装置は、サンプルSの画像データを取得する。さらに、顕微鏡システム1は、屈折率を算出する(ステップS104)。ここでは、演算装置20は、サンプルSの現在の観察対象面における屈折率を算出する。この処理は、図24に示す屈折率算出処理と同様である。ただし、ステップS82では、注目位置の深さ近傍の複数の位置に観察対象面を移動させて、それぞれの位置で目標値を算出することで、複数の目標値と複数の深さ情報を取得する。
屈折率が算出されると、顕微鏡システム1は、二次元画像上に屈折率情報を表示する(ステップS105)。ここでは、演算装置20は、サンプルSの屈折率に関する情報をステップS103で取得した二次元画像と関連付けて表示装置30に表示させる。
以上のように、顕微鏡システム1は、二次元画像上に屈折率情報を表示することができる。このため、利用者は、サンプルを観察しながら、それと同時に観察対象面の屈折率を把握することができる。
図34は、本実施例に係る顕微鏡200の構成を例示した図である。なお、本実施例に係る顕微鏡システムは、顕微鏡100の代わりに顕微鏡200を含む点が図1に示す顕微鏡システム1と異なっている。その他の点については、顕微鏡システム1と同様であるので、同一の構成要素については同一の符号で参照する。
顕微鏡200は、走査型顕微鏡の一種である共焦点顕微鏡である。サンプルSは、例えば、マウスの脳などの生体試料である。顕微鏡200は、図34に示すように、照明光路上に、レーザー201と、ビームエクスパンダ202と、ダイクロイックミラー203と、走査ユニット204と、瞳投影光学系205と、対物レンズ110とを備えている。なお、対物レンズ110、対物レンズ110を光軸方向に移動させるZ駆動部109、対物レンズ110内のレンズを移動させて球面収差を補正する補正装置である補正環111については、実施例1に係る顕微鏡100と同様である。
レーザー201は、例えば、可視域や紫外域、赤外域のレーザー光を発振する。レーザー201から発振されるレーザーの出力は、光源制御装置11によって制御される。ビームエクスパンダ202は、レーザー201からのレーザー光(コリメート光)の光束を対物レンズ111の瞳径に応じて調整する光学系である。ダイクロイックミラー203は、励起光(レーザ光)とサンプルSからの検出光(蛍光)とを分離する光分離手段であり、波長によりレーザー光と蛍光を分離する。
走査ユニット204は、レーザー光でサンプルSを2次元に走査するための走査手段であり、例えば、ガルバノスキャナやレゾナントスキャナなどを含んでいる。走査ユニット204の走査範囲が変化することでズーム倍率が変化する。走査ユニット204の走査範囲は、ズーム制御装置12によって制御される。瞳投影光学系205は、走査ユニット204を対物レンズ110の瞳位置に投影する光学系である。
顕微鏡200は、さらに、検出光路(ダイクロイックミラー203の透過光路)上に、ミラー206と、共焦点レンズ207と、共焦点絞り208と、集光レンズ209と、光検出器210とを備えている。光検出器210から出力された信号は、A/D変換器211に出力される。
共焦点レンズ207は、共焦点絞り208上に、蛍光を集光するレンズである。共焦点絞り208は、対物レンズ110の焦点面と光学的に共役な位置に配置された絞りである。共焦点絞り208には、対物レンズ110の焦点位置から生じた蛍光を透過させるピンホールが形成されている。集光レンズ209は、共焦点絞り208を通過した蛍光を光検出器210に導くレンズである。
光検出器210は、例えば、光電子増倍管(PMT)であり、入射した蛍光の光量に応じたアナログ信号を出力する。A/D変換器211は、光検出器210からのアナログ信号をデジタル信号(輝度信号)に変換して、演算装置20に出力する。
以上のように構成された本実施例に係る顕微鏡システムでは、顕微鏡200は、走査ユニット204を用いてレーザー光でサンプルSを走査して、サンプルSの各位置からの蛍光を光検出器210で検出する。そして、演算装置20は、光検出器210からの信号を変換したデジタル信号(輝度信号)と走査ユニット204の走査情報とに基づいて、画像データを生成する。即ち、本実施例に係る顕微鏡システムでは、顕微鏡200と演算装置20により構成される顕微鏡装置が、サンプルSの画像データを取得する。
本実施例に係る顕微鏡システムでは、実施例1に係る顕微鏡システム1と同様のZスタック撮影処理及び屈折率表示処理を行うことができる。
図35は、本実施例に係る顕微鏡300の構成を例示した図である。なお、本実施例に係る顕微鏡システムは、顕微鏡100の代わりに顕微鏡300を含む点が図1に示す顕微鏡システム1と異なっている。その他の点については、顕微鏡システム1と同様であるので、同一の構成要素については同一の符号で参照する。
顕微鏡300は、走査型ではない通常の蛍光顕微鏡である。なお、顕微鏡300は、ズーム機能を備えているため、ズーム顕微鏡とも呼ばれる。サンプルSは、例えば、マウスの脳などの生体試料である。顕微鏡300は、図20に示すように、照明光路上に、光源302を内蔵したランプハウス301と、コレクタレンズ303と、蛍光キューブ304と、ズームレンズ305と、対物レンズ110とを備えている。なお、対物レンズ110、対物レンズ110を光軸方向に移動させるZ駆動部109、対物レンズ110内のレンズを移動させて球面収差を補正する補正装置である補正環111については、実施例1に係る顕微鏡100と同様である。
光源302は、例えば、LED光源、高出力の水銀ランプなどである。なお、光源302の出力は、光源制御装置11によって制御される。コレクタレンズ303は、光源302からの励起光をコリメートする。蛍光キューブ304は、図示しないダイクロイックミラーと励起フィルタと吸収フィルタとを備えている。蛍光キューブ304は、励起光とサンプルSからの検出光(蛍光)とを分離する光分離手段であり、波長により励起光と蛍光を分離する。
ズームレンズ305は、ズームレンズ305を構成するレンズ間の距離が変化するように構成されている。ズーム制御装置12がレンズ間の距離を図示しないモータ等によって変化させることでズーム倍率が変化する。即ち、ズームレンズ305は、ズーム制御装置12によって制御される。
顕微鏡300は、さらに、検出光路(蛍光キューブ304の透過光路)上に、結像レンズ306と、撮像装置307を備えている。結像レンズ306は、対物レンズ110及びズームレンズ305を介して入射する蛍光を撮像装置307上に集光させて、サンプルSの光学像を形成する。撮像装置307は、例えば、CCDカメラであり、サンプルSの光学像を撮像してサンプルSの画像データを生成する。撮像装置307は、生成した画像データを演算装置20に出力する。本実施例に係る顕微鏡システムでは、顕微鏡300である顕微鏡装置が、サンプルSの画像データを取得する。
本実施例に係る顕微鏡システムでは、実施例1に係る顕微鏡システム1と同様のZスタック撮影処理及び屈折率表示処理を行うことができる。
上述した各実施例は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施例に限定されるものではない。顕微鏡システム、算出方法及びプログラムは、特許請求の範囲により規定される範囲において、さまざまな変形、変更が可能である。この明細書で説明される個別の実施例の文脈におけるいくつかの特徴を組み合わせて単一の実施例としてもよい。
Z制御装置13がZ駆動部109を制御して観察対象面の位置を変化させる構成を例示したが、Z制御装置13は、顕微鏡のステージを光軸方向に移動させることにより観察対象面の位置を変化させてもよい。
また、観察対象面の深さによって変化する球面収差を補正する補正装置として補正環111を例示したが、補正装置は、光路上で生じる球面収差の量を変化させることができるものであればよい。補正装置は、例えば、LCOS(Liquid crystal on silicon、商標)、DFM(Deformable Mirror)、液体レンズなどを用いた装置であってもよい。また、発生する球面収差量が大きく単一の補正装置では十分に球面収差を補正しきれない場合には、補正する球面収差量を複数の補正装置で分担して、観察対象面で生じる球面収差を補正してもよい。
また、評価値を算出する方法として、設定値毎に1枚の画像データを取得し、取得した画像データ毎に評価値を算出する例を示したが、設定値毎に複数の画像データを取得して、カルマンフィルタ等を用いて複数の画像データから評価値を算出してもよい。このような方法によれば、画像データの各々に含まれるノイズ成分を設定値毎の複数の画像データを用いて相殺させることができるため、より精度の高い評価値を算出することができる。
また、走査手段による走査方式が最も一般的なラスタスキャンであることを前提に説明したが、走査方式は、ラスタスキャンに限られず、例えば、渦巻き状にサンプルを走査するトルネードスキャンであってもよい。
1 顕微鏡システム
10 顕微鏡制御装置
11 光源制御装置
12 ズーム制御装置
13 Z制御装置
14 補正環制御装置
20 演算装置
30 表示装置
40 キーボード
50 補正環操作装置
60 Z駆動部操作装置
100、200、300 顕微鏡
101、201 レーザー
102、204 走査ユニット
103、106、205 瞳投影光学系
104、206 ミラー
105、203 ダイクロイックミラー
107、210 光検出器
108、211 A/D変換器
109 Z駆動部
110 対物レンズ
111 補正環
202 ビームエクスパンダ
207 共焦点レンズ
208 共焦点絞り
209 集光レンズ
301 ランプハウス
302 光源
303 コレクタレンズ
304 蛍光キューブ
305 ズームレンズ
306 結像レンズ
307 撮像装置
S サンプル

Claims (12)

  1. 対物レンズと、球面収差を設定値を用いて補正する補正装置を有し、画像データを取得する顕微鏡装置と、
    前記対物レンズと、観察対象面との間の媒質の情報に基づいて、前記顕微鏡装置で発生する球面収差量を推定する推定手段と
    前記顕微鏡装置で取得された画像データから算出されたコントラスト値と前記推定手段で推定された球面収差量とを用いて、前記顕微鏡装置で発生する球面収差量に対応する前記補正装置の設定値である設定目標値を算出する算出手段を備え、
    前記推定手段は、推定した前記球面収差量に基づいて、前記補正装置の複数の設定値を決定し、
    前記顕微鏡装置は、前記推定手段により決定された前記複数の設定値に基づいて、前記補正装置の設定値が異なる複数の状態で、複数の画像データを取得し、
    前記算出手段は、前記顕微鏡装置で取得された前記複数の画像データから算出した複数のコントラスト値に基づいて、前記設定目標値を算出する
    ことを特徴とする顕微鏡システム。
  2. 請求項に記載の顕微鏡システムにおいて、
    前記算出手段は、前記観察対象面の深さ毎に、前記設定目標値を算出
    前記算出手段は、
    前記補正装置の設定値が異なる複数の状態で前記顕微鏡装置が複数の画像データを取得したときの前記観察対象面の深さである実測深さにおける前記設定目標値を、前記複数の画像データから算出した複数のコントラスト値に基づいて算出し、
    前記実測深さ以外の前記観察対象面の深さにおける前記設定目標値を、前記実測深さにおける前記設定目標値と、前記推定手段により推定された球面収差量と、に基づいて算出する
    ことを特徴とする顕微鏡システム。
  3. 請求項に記載の顕微鏡システムにおいて、
    前記算出手段は、前記推定手段により推定された球面収差量に対応する前記補正装置の設定値である推定設定値と前記実測深さにおける前記設定目標値とに基づいて、前記観察対象面の深さ毎の前記設定目標値を表わす補正関数を算出する
    ことを特徴とする顕微鏡システム。
  4. 請求項に記載の顕微鏡システムにおいて、
    前記算出手段は、前記観察対象面の深さ毎の前記推定設定値を表わす推定関数を、前記実測深さにおける前記設定目標値に基づいて変形して、前記補正関数を算出する
    ことを特徴とする顕微鏡システム。
  5. 請求項乃至請求項のいずれか1項に記載の顕微鏡システムにおいて、
    前記顕微鏡装置は、前記推定手段により推定された球面収差量に基づいて決定された前記複数の状態で、前記複数の画像データを取得する
    ことを特徴とする顕微鏡システム。
  6. 請求項1乃至請求項のいずれか1項に記載の顕微鏡システムにおいて、
    前記顕微鏡装置は、
    走査手段を備える走査型顕微鏡装置であり、
    観察用の画像データを取得するときの前記走査手段の第1の設定とは異なる前記走査手段の第2の設定で、コントラスト値算出用の画像データを取得する
    ことを特徴とする顕微鏡システム。
  7. 請求項に記載の顕微鏡システムにおいて、
    前記第2の設定は、前記走査手段による走査の一部を間引く設定である
    ことを特徴とする顕微鏡システム。
  8. 請求項又は請求項に記載の顕微鏡システムにおいて、
    前記第2の設定における走査ライン数は、コントラスト値算出用の前記画像データのサンプル、前記対物レンズの倍率、及び、前記走査手段のズーム倍率に基づいて決定された
    ライン数である
    ことを特徴とする顕微鏡システム。
  9. 請求項1乃至請求項のいずれか1項に記載の顕微鏡システムにおいて、さらに、
    前記対物レンズと観察対象面との間の媒質の情報を入力する入力装置を備える
    ことを特徴とする顕微鏡システム。
  10. 請求項1乃至請求項のいずれか1項に記載の顕微鏡システムにおいて、
    前記補正装置は、前記対物レンズ内のレンズを移動させる補正環を含む
    ことを特徴とする顕微鏡システム。
  11. 対物レンズと、球面収差を設定値を用いて補正する補正装置を有する顕微鏡装置で画像データを取得し、
    前記対物レンズと観察対象面との間の媒質の情報に基づいて、前記顕微鏡装置で発生する球面収差量を推定し、
    推定された前記球面収差量に基づいて、前記補正装置の複数の設定値を決定し、
    決定された前記複数の設定値に基づいて、前記補正装置の設定値が異なる複数の状態で、複数の画像データを取得し、
    前記顕微鏡装置で取得された前記複数の画像データから算出した複数のコントラスト値に基づいて、前記設定目標値を特定する
    ことを特徴とする特定方法。
  12. 対物レンズと、球面収差を設定値を用いて補正する補正装置を有する顕微鏡装置が取得した画像データからコントラスト値を算出し、
    前記対物レンズと観察対象面との間の媒質の情報に基づいて、前記顕微鏡装置で発生する球面収差量を推定し、
    推定された前記球面収差量に基づいて、前記補正装置の複数の設定値を決定し、
    決定された前記複数の設定値に基づいて、前記補正装置の設定値が異なる複数の状態で、複数の画像データを取得し、
    前記顕微鏡装置で取得された前記複数の画像データから算出した複数のコントラスト値に基づいて、前記設定目標値を特定する
    処理をコンピュータに実行させることを特徴とするプログラム。
JP2015141965A 2015-07-16 2015-07-16 顕微鏡システム、特定方法、及び、プログラム Active JP6555811B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015141965A JP6555811B2 (ja) 2015-07-16 2015-07-16 顕微鏡システム、特定方法、及び、プログラム
US15/205,028 US10288877B2 (en) 2015-07-16 2016-07-08 Microscopy system, determination method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015141965A JP6555811B2 (ja) 2015-07-16 2015-07-16 顕微鏡システム、特定方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2017026666A JP2017026666A (ja) 2017-02-02
JP6555811B2 true JP6555811B2 (ja) 2019-08-07

Family

ID=57774956

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015141965A Active JP6555811B2 (ja) 2015-07-16 2015-07-16 顕微鏡システム、特定方法、及び、プログラム

Country Status (2)

Country Link
US (1) US10288877B2 (ja)
JP (1) JP6555811B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10379329B2 (en) * 2014-12-15 2019-08-13 Olympus Corporation Microscope system and setting value calculation method
JP6555811B2 (ja) 2015-07-16 2019-08-07 オリンパス株式会社 顕微鏡システム、特定方法、及び、プログラム
DE102017105928A1 (de) * 2017-03-20 2018-09-20 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zum Abbilden eines Objektes
DE102017105926A1 (de) * 2017-03-20 2018-09-20 Carl Zeiss Microscopy Gmbh Verfahren und Mikroskop zum Abbilden eines Objektes
JP6969134B2 (ja) * 2017-03-31 2021-11-24 株式会社ニコン 補正量算出装置、顕微鏡、補正量算出プログラム、補正量算出方法
JP6957204B2 (ja) * 2017-05-30 2021-11-02 オリンパス株式会社 顕微鏡システム、制御方法、及び、プログラム
DE102017223014A1 (de) * 2017-12-18 2019-06-19 Carl Zeiss Microscopy Gmbh Verfahren zur Bestimmung der Dicke einer Probenhalterung im Strahlengang eines Mikroskops
JP7109130B2 (ja) 2018-04-04 2022-07-29 株式会社エビデント 顕微鏡
JP7081318B2 (ja) * 2018-06-12 2022-06-07 株式会社ニコン 顕微鏡、方法、及びプログラム
DK3709258T3 (da) * 2019-03-12 2023-07-10 L & T Tech Services Limited Generering af sammensat billede ud fra talrige billeder taget for objekt
WO2020240638A1 (ja) * 2019-05-24 2020-12-03 株式会社ニコン 顕微鏡装置、顕微鏡装置の制御方法、および顕微鏡装置の制御プログラム
WO2023175862A1 (ja) * 2022-03-17 2023-09-21 株式会社エビデント 屈折率分布生成装置、屈折率分布生成方法、屈折率分布生成システム及び記録媒体

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3280402B2 (ja) 1991-10-28 2002-05-13 オリンパス光学工業株式会社 顕微鏡対物レンズ
JP5161052B2 (ja) 2008-12-04 2013-03-13 オリンパス株式会社 顕微鏡システム、標本観察方法およびプログラム
EP1071974B1 (fr) 1998-04-15 2004-01-28 Vincent Lauer Microscope generant une representation tridimensionnelle d'un objet et images generees par ce microscope
JP4933706B2 (ja) 2000-09-22 2012-05-16 オリンパス株式会社 顕微鏡
US6836373B2 (en) 2000-11-16 2004-12-28 Jeol Ltd. Spherical aberration corrector for electron microscope
JP2002163830A (ja) 2000-11-24 2002-06-07 Toshiba Corp 光学的収差を利用した光情報処理システムおよび厚みムラのある透明層で保護された記録層を持つ情報媒体
JP3797874B2 (ja) 2000-12-26 2006-07-19 オリンパス株式会社 走査型光学顕微鏡
JP2003029151A (ja) * 2001-07-11 2003-01-29 Olympus Optical Co Ltd 共焦点レーザ走査型顕微鏡装置および制御プログラム
JP4912545B2 (ja) 2001-07-13 2012-04-11 オリンパス株式会社 共焦点レーザ走査型顕微鏡
DE10161613A1 (de) 2001-12-15 2003-06-18 Leica Microsystems Verfahren zur Selbstüberwachung eines Mikroskopsystems, Mikroskopsystem und Software zur Selbstüberwachung
US6924929B2 (en) 2002-03-29 2005-08-02 National Institute Of Radiological Sciences Microscope apparatus
JP2004241100A (ja) * 2002-04-26 2004-08-26 Matsushita Electric Ind Co Ltd 光ディスク装置、ビームスポットの移動方法、および、光ディスク装置において実行可能なコンピュータプログラム
JP2004037581A (ja) 2002-06-28 2004-02-05 Ricoh Co Ltd 光走査装置、画像形成装置および複写機
JP4145593B2 (ja) * 2002-07-25 2008-09-03 パイオニア株式会社 球面収差補正装置及び球面収差補正方法
JP4001024B2 (ja) * 2003-02-07 2007-10-31 ソニー株式会社 ディスクドライブ装置、フォーカスバイアス及び球面収差調整方法
JP4554174B2 (ja) 2003-07-09 2010-09-29 オリンパス株式会社 顕微鏡システム、顕微鏡の制御方法、及びプログラム
JP2005043624A (ja) 2003-07-28 2005-02-17 Nikon Corp 顕微鏡制御装置、顕微鏡装置、及び顕微鏡対物レンズ
US7489828B2 (en) 2003-10-03 2009-02-10 Media Cybernetics, Inc. Methods, system, and program product for the detection and correction of spherical aberration
JP2005275199A (ja) 2004-03-26 2005-10-06 Yokogawa Electric Corp 3次元共焦点顕微鏡システム
GB0407566D0 (en) 2004-04-02 2004-05-05 Isis Innovation Method for the adjustment of spherical aberration
JP4700299B2 (ja) 2004-07-07 2011-06-15 オリンパス株式会社 共焦点走査型顕微鏡
US7054071B2 (en) 2004-07-08 2006-05-30 Spectel Research Corporation Mireau interference objective lens
JP2006153851A (ja) 2004-11-08 2006-06-15 Matsushita Electric Ind Co Ltd 共焦点光学装置及び球面収差補正方法
JP4766591B2 (ja) 2005-03-09 2011-09-07 大学共同利用機関法人情報・システム研究機構 顕微鏡
JP4812325B2 (ja) 2005-04-14 2011-11-09 オリンパス株式会社 走査型共焦点顕微鏡および試料情報測定方法
WO2008020354A1 (en) * 2006-08-15 2008-02-21 Koninklijke Philips Electronics N.V. Spherical aberration compensation adjustment
WO2008081729A1 (ja) 2006-12-22 2008-07-10 Nikon Corporation レーザ走査共焦点顕微鏡
JP4912862B2 (ja) 2006-12-27 2012-04-11 オリンパス株式会社 顕微鏡
JP5212382B2 (ja) 2008-02-01 2013-06-19 株式会社ニコン 顕微鏡および収差補正制御方法
JP5381984B2 (ja) 2008-06-17 2014-01-08 株式会社ニコン 顕微鏡装置および顕微鏡装置制御プログラム
US8258475B2 (en) * 2009-01-19 2012-09-04 Hitachi High-Technologies Corporation Charged particle radiation device provided with aberration corrector
JP2011095685A (ja) 2009-11-02 2011-05-12 Sony Corp 顕微鏡システム及び顕微鏡システムの制御方法
JP2011191617A (ja) 2010-03-16 2011-09-29 Panasonic Corp 撮像装置
WO2011143121A2 (en) 2010-05-10 2011-11-17 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Spatial-domain low-coherence quantitative phase microscopy
JP2012042525A (ja) 2010-08-13 2012-03-01 Nikon Corp 3次元形状測定装置およびプログラム
JP5736783B2 (ja) * 2011-01-13 2015-06-17 ソニー株式会社 顕微鏡装置及び球面収差補正方法
JP5758728B2 (ja) * 2011-07-26 2015-08-05 株式会社日立ハイテクノロジーズ 荷電粒子線装置
JP2013088138A (ja) 2011-10-13 2013-05-13 Olympus Corp 屈折率測定装置および濃度測定装置並びにその方法
JP2013160815A (ja) 2012-02-01 2013-08-19 Olympus Corp 顕微鏡
JP6180130B2 (ja) * 2013-02-20 2017-08-16 オリンパス株式会社 顕微鏡システム、プログラム、及び球面収差を補正する方法
US9588330B2 (en) 2013-06-28 2017-03-07 Oregon Health & Science University Tomographic bright field imaging (TBFI)
JP6196825B2 (ja) 2013-07-09 2017-09-13 オリンパス株式会社 顕微鏡システム、及び、試料の屈折率測定方法
DE102014003145A1 (de) 2014-03-04 2015-09-10 Carl Zeiss Microscopy Gmbh Verfahren zur Korrektur der sphärischen Aberration bei mikroskopischen Anwendungen
US10379329B2 (en) 2014-12-15 2019-08-13 Olympus Corporation Microscope system and setting value calculation method
JP6555811B2 (ja) 2015-07-16 2019-08-07 オリンパス株式会社 顕微鏡システム、特定方法、及び、プログラム

Also Published As

Publication number Publication date
JP2017026666A (ja) 2017-02-02
US10288877B2 (en) 2019-05-14
US20170017070A1 (en) 2017-01-19

Similar Documents

Publication Publication Date Title
JP6555811B2 (ja) 顕微鏡システム、特定方法、及び、プログラム
JP6552041B2 (ja) 顕微鏡システム、屈折率算出方法、及び、プログラム
EP3035104B1 (en) Microscope system and setting value calculation method
JP6562547B2 (ja) 顕微鏡システム、算出方法、及び、プログラム
JP6434296B2 (ja) 顕微鏡システム、設定値算出方法、及び、プログラム
US10416427B2 (en) Scan-based imaging with variable scan speed using predictions of region-of-interest positions
EP2804039A1 (en) Microscope system and method for deciding stitched area
EP2804145A1 (en) Microscope system and stitched area decision method
US20140131592A1 (en) Image obtaining unit and image obtaining method
WO2017169782A1 (ja) 距離画像処理装置、距離画像取得装置、及び距離画像処理方法
JP6422761B2 (ja) 顕微鏡システム、及び、z位置と補正装置の設定値との関係算出方法
JP6423261B2 (ja) 顕微鏡システム、関数算出方法、及び、プログラム
JP2017134115A (ja) 顕微鏡装置、及び画像表示プログラム
US10339665B2 (en) Positional shift amount calculation apparatus and imaging apparatus
US9400377B2 (en) Automatic focusing method for an optical instrument for magnified viewing of an object
JP6312410B2 (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
JP4968337B2 (ja) 共焦点顕微鏡装置
JP2019070737A (ja) 観察装置、合焦制御方法、及び、プログラム
US11037316B2 (en) Parallax calculation apparatus, parallax calculation method, and control program of parallax calculation apparatus
JP7369801B2 (ja) 顕微鏡システム、設定探索方法、及び、プログラム
JP2015210396A (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
JP2010121955A (ja) 高さ情報取得装置、高さ情報取得方法、及びプログラム
WO2016042721A1 (en) Positional shift amount calculation apparatus and imaging apparatus
JP7087984B2 (ja) 撮像システムおよび設定装置
JP2009293969A (ja) 分光測定装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180416

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190625

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190708

R151 Written notification of patent or utility model registration

Ref document number: 6555811

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250