JP6552041B2 - 顕微鏡システム、屈折率算出方法、及び、プログラム - Google Patents

顕微鏡システム、屈折率算出方法、及び、プログラム Download PDF

Info

Publication number
JP6552041B2
JP6552041B2 JP2015141964A JP2015141964A JP6552041B2 JP 6552041 B2 JP6552041 B2 JP 6552041B2 JP 2015141964 A JP2015141964 A JP 2015141964A JP 2015141964 A JP2015141964 A JP 2015141964A JP 6552041 B2 JP6552041 B2 JP 6552041B2
Authority
JP
Japan
Prior art keywords
refractive index
sample
microscope
calculated
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015141964A
Other languages
English (en)
Other versions
JP2017026665A (ja
Inventor
喜裕 上
喜裕 上
大介 西脇
大介 西脇
賢哉 岡咲
賢哉 岡咲
大野　修
修 大野
伸吾 鈴木
伸吾 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2015141964A priority Critical patent/JP6552041B2/ja
Priority to EP16178657.9A priority patent/EP3118665B1/en
Priority to US15/205,039 priority patent/US20170017071A1/en
Publication of JP2017026665A publication Critical patent/JP2017026665A/ja
Application granted granted Critical
Publication of JP6552041B2 publication Critical patent/JP6552041B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/02—Objectives
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/061—Sources
    • G01N2201/06113—Coherent sources; lasers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/063—Illuminating optical parts
    • G01N2201/0638—Refractive parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/069—Supply of sources
    • G01N2201/0696—Pulsed
    • G01N2201/0697—Pulsed lasers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)

Description

本発明は、屈折率を算出する顕微鏡システム、屈折率算出方法、及び、プログラムに関する。
近年の生物研究では、生体機能の解明を進めるために、実際の活動により近い状態（in vivo）で生体サンプルを深部まで観察するニーズが高まっている。また、生体サンプルの様々な情報を取得・解析して、生体機能を解明する研究もなされている。中でも生体サンプルの屈折率は、生体機能の解明に有用な情報として注目されている。
特許文献１には、試料の屈折率の変化量を算出し、算出した情報から血糖値などの濃度情報を演算する技術が記載されている。
特開２０１３−０８８１３８号公報
しかしながら、特許文献１に記載されている屈折率測定方法では、生体サンプルの深部など、サンプル内の任意の部位の屈折率を測定することは難しい。
以上のような実情を踏まえ、本発明は、サンプル内の任意の部位の屈折率を算出する技術を提供することを目的とする。
本発明の一態様は、対物レンズと球面収差を補正する補正装置と観察対象面を前記対物レンズの光軸方向に異なるサンプル内の複数の位置に順に移動する観察対象面移動手段とを有する顕微鏡装置と、前記観察対象面移動手段によって前記観察対象面が移動した前記複数の位置に対応する複数の設定目標値を算出する目標値算出手段であって、前記複数の設定目標値の各々は、前記顕微鏡装置で発生した球面収差量に対応する前記補正装置の設定値である、という目標算出手段と、前記目標値算出手段によって算出された前記複数の設定目標値に基づいて、前記サンプル内の深さによって指定される注目位置における前記サンプルの屈折率を算出する屈折率算出手段と、を備え、前記屈折率算出手段は、前記複数の設定目標値に基づいて、前記注目位置における、前記光軸方向へ前記観察対象面の移動量と設定目標値の変化量との関係を算出し、算出した前記関係に基づいて、前記注目位置における前記サンプルの屈折率を算出する顕微鏡システムを提供する。
本発明の別の態様は、観察対象面を顕微鏡装置の対物レンズの光軸方向に異なるサンプル内の複数の位置に順に移動し、前記観察対象面が移動した前記複数の位置に対応する複数の設定目標値であって、各々が前記顕微鏡装置で発生した球面収差量に対応する前記顕微鏡装置の補正装置の設定値である複数の設定目標値を算出し、前記複数の設定目標値に基づいて、前記サンプル内の深さによって指定される注目位置における、前記光軸方向へ前記観察対象面の移動量と設定目標値の変化量との関係を算出し、算出した前記関係に基づいて、前記注目位置における前記サンプルの屈折率を算出する屈折率算出方法を提供する。
本発明の更に別の態様は、観察対象面を顕微鏡装置の対物レンズの光軸方向に異なるサンプル内の複数の位置に順に移動し、前記観察対象面が移動した前記複数の位置に対応する複数の設定目標値であって、各々が前記顕微鏡装置で発生した球面収差量に対応する前記顕微鏡装置の補正装置の設定値である複数の設定目標値を算出し、前記複数の設定目標値に基づいて、前記サンプル内の深さによって指定される注目位置における、前記光軸方向へ前記観察対象面の移動量と設定目標値の変化量との関係を算出し、算出した前記関係に基づいて、前記注目位置における前記サンプルの屈折率を算出する処理をコンピュータに実行させるプログラムを提供する。
本発明によれば、サンプル内の任意の部位の屈折率を算出することができる。
実施例１に係る顕微鏡システムの構成を例示した図である。 図１に例示される演算装置の構成を例示した図である。 図１に例示される顕微鏡の構成を例示した図である。 屈折率表示処理のフローチャートである。 サンプルＳの構造を例示した図である。 図１に例示される表示装置に表示されるグラフの一例を示した図である。 屈折率算出処理のフローチャートである。 変化率と屈折率の関係を示した図である。 注目位置における屈折率情報をグラフ上に表示した図である。 図９Ａとは異なる注目位置における屈折率情報をグラフ上に表示した図である。 サンプルの屈折率分布を示す屈折率情報をグラフ上に表示した図である。 屈折率の算出方法について説明するための図である。 別の屈折率表示処理のフローチャートである。 図１に例示される表示装置に表示される三次元画像の一例を示した図である。 注目位置における屈折率情報を三次元画像上に表示した図である。 屈折率情報とグラフとを三次元画像上に表示した図である。 別の屈折率表示処理のフローチャートである。 球面収差補正処理のフローチャートである。 目標値算出処理のフローチャートである。 目標値算出処理において最初に決定した複数の設定値によって得られる複数の評価値を示した図である。 目標値算出処理において２回目に決定した複数の設定値によって得られる複数の評価値を示した図である。 画像データの領域毎に領域目標値を算出した例を示した図である。 別の目標値算出処理のフローチャートである。 図２１に示す目標値算出処理について説明するための図である。 実施例２に係る顕微鏡システムの構成を例示した図である。 実施例３に係る顕微鏡システムの構成を例示した図である。
図１は、本実施例に係る顕微鏡システム１の構成を例示した図である。図２は、図１に例示される演算装置２０の構成を例示した図である。図３は、図１に例示される顕微鏡１００の構成を例示した図である。
図１に示す顕微鏡システム１は、顕微鏡１００と、顕微鏡制御装置１０と、演算装置２０と、表示装置３０と、演算装置２０への指示を入力するための複数の入力装置（キーボード４０、補正環操作装置５０、Ｚ駆動部操作装置６０）を備えている。
顕微鏡制御装置１０は、演算装置２０からの指示に従って顕微鏡１００の動作を制御する装置であり、顕微鏡１００の各種電動部の動作を制御する制御信号を生成する。顕微鏡制御装置１０は、光源の出力を制御する光源制御装置１１と、ズーム倍率を制御するズーム制御装置１２と、観察対象面の光軸方向の位置（以降、単に、観察対象面の位置と記す）を制御するＺ制御装置１３と、補正環１１１の設定値を制御する補正環制御装置１４と、を備えている。ここで、補正環１１１の設定値とは、例えば、基準位置に対する補正環１１１の回転角度のことである。
演算装置２０は、各種の演算処理を行うコンピュータであり、例えば、図２に示すように、ＣＰＵ（Central Processing Unit）２１、メモリ２２、入力Ｉ／Ｆ装置２３、出力Ｉ／Ｆ装置２４、記憶装置２５、及び、可搬記録媒体２７が挿入される可搬記録媒体駆動装置２６を備え、これらがバス２８によって相互に接続されている。なお、図２は、演算装置２０の構成の一例であり、演算装置２０はこの構成に限定されるものではない。
ＣＰＵ２１は、所定のプログラムを実行して演算処理等を行う。メモリ２２は、例えば、ＲＡＭ（Random Access Memory）であり、プログラムの実行の際に、記憶装置２５または可搬記録媒体２７に記憶されているプログラムまたはデータを一時的に格納する。
入力Ｉ／Ｆ装置２３は、キーボード４０、補正環操作装置５０、Ｚ駆動部操作装置６０、及び表示装置３０からの信号を受信する。また、入力Ｉ／Ｆ装置２３は、図３において後述する顕微鏡１００のＡ／Ｄ変換器１０８からの信号も受信する。出力Ｉ／Ｆ装置２４は、表示装置３０及び顕微鏡制御装置１０へ信号を出力する。
記憶装置２５は、例えば、ハードディスク記憶装置であり、主に各種データやプログラムの保存に用いられる。可搬記録媒体駆動装置２６は、光ディスクやコンパクトフラッシュ（登録商標）等の可搬記録媒体２７を収容するもので、可搬記録媒体２７は、記憶装置２５を補助する役割を有する。
演算装置２０は、記憶装置２５または可搬記録媒体２７に記憶されているプログラムをＣＰＵ２１がメモリ２２にロードして実行することで、様々な機能を実現する。演算装置２０は、例えば、顕微鏡１００からの出力に基づいて画像データを生成する手段（画像データ生成手段）、球面収差が補正される補正環１１１の設定値である設定目標値を算出する手段（目標値算出手段）、観察対象面の光軸方向の位置と設定目標値との関係を表わすグラフを生成する手段（グラフ生成手段）、サンプルＳの屈折率を算出する手段（屈折率算出手段）、及び、表示装置３０を制御する手段（表示制御手段）として動作する。
表示装置３０は、例えば、液晶ディスプレイ装置、有機ＥＬディスプレイ装置、ＣＲＴディスプレイ装置などである。なお、表示装置３０は、タッチパネルセンサを備えてもよく、その場合、入力装置としても機能する。
補正環操作装置５０は、補正環１１１の設定値を指示するための入力手段である。利用者が補正環操作装置５０で補正環１１１の設定値を指示すると、補正環制御装置１４は、補正環１１１の設定値を指示された値に変更する。
Ｚ駆動部操作装置６０は、観察対象面の位置の変更を指示するための入力手段である。利用者がＺ駆動部操作装置６０で観察対象面の位置の変更を指示すると、Ｚ制御装置１３は、Ｚ駆動部１０９を光軸方向に移動させて観察対象面の位置を変更する。
顕微鏡１００は、２光子励起顕微鏡である。サンプルＳは、例えば、マウスの脳などの生体試料であるが、生体試料に限られない。顕微鏡１００は、図３に示すように、照明光路上に、レーザー１０１と、走査ユニット１０２と、瞳投影光学系１０３と、ミラー１０４と、ダイクロイックミラー１０５と、対物レンズ１１０とを備えている。
レーザー１０１は、例えば、超短パルスレーザーであり、近赤外域のレーザー光を発振する。レーザー１０１の出力は、光源制御装置１１によって制御される。即ち、光源制御装置１１は、サンプルに照射するレーザー光のパワーを制御するレーザー制御装置である。
走査ユニット１０２は、レーザー光でサンプルＳを２次元に走査するための走査手段であり、例えば、ガルバノスキャナやレゾナントスキャナなどを含んでいる。走査ユニット１０２の走査範囲が変化することでズーム倍率が変化する。走査ユニット１０２の走査範囲は、ズーム制御装置１２によって制御される。
瞳投影光学系１０３は、走査ユニット１０２を対物レンズ１１０の瞳位置に投影する光学系である。ダイクロイックミラー１０５は、励起光（レーザ光）とサンプルＳからの検出光（蛍光）とを分離する光分離手段であり、波長によりレーザー光と蛍光を分離する。
対物レンズ１１０は、補正環１１１を備えた乾燥系又は液浸系の対物レンズであり、Ｚ駆動部１０９に装着されている。Ｚ駆動部１０９は、対物レンズ１１０を対物レンズ１１０の光軸方向に移動させる手段であり、Ｚ駆動部１０９の移動（即ち、対物レンズ１１０の移動）は、Ｚ制御装置１３によって制御される。
補正環１１１は、その設定値を変更することにより対物レンズ１１０内のレンズを移動させて、球面収差を補正する補正装置である。補正環１１１の設定値は、補正環制御装置１４（補正装置制御装置）によって変更される。なお、補正環１１１の設定値は、補正環１１１を直接操作することで、手動で変更することもできる。
顕微鏡１００は、さらに、検出光路（ダイクロイックミラー１０５の反射光路）上に、瞳投影光学系１０６と、光検出器１０７とを備えている。光検出器１０７から出力された信号は、Ａ／Ｄ変換器１０８に出力される。
瞳投影光学系１０６は、対物レンズ１１０の瞳を光検出器１０７に投影する光学系である。光検出器１０７は、例えば、光電子増倍管（ＰＭＴ）であり、入射した蛍光の光量に応じたアナログ信号を出力する。Ａ／Ｄ変換器１０８は、光検出器１０７からのアナログ信号をデジタル信号（輝度信号）に変換して、演算装置２０に出力する。
以上のように構成された顕微鏡システム１では、顕微鏡１００は、走査ユニット１０２を用いてレーザー光で対物レンズ１１０の光軸と直交する方向にサンプルＳを走査して、サンプルＳの各位置からの蛍光を光検出器１０７で検出する。そして、演算装置２０は、光検出器１０７からの信号を変換したデジタル信号（輝度信号）と走査ユニット１０２からの信号とに基づいて、画像データを生成する。即ち、顕微鏡システム１では、顕微鏡１００と演算装置２０により構成される顕微鏡装置が、サンプルＳの画像データを取得する。
図４は、顕微鏡システム１で行われる屈折率表示処理のフローチャートである。図５は、サンプルＳの構造を例示した図である。図６は、図１に例示される表示装置３０に表示されるグラフの一例を示した図である。図７は、顕微鏡システム１で行われる屈折率算出処理のフローチャートである。図８は、変化率と屈折率の関係を示した図である。図９Ａ及び図９Ｂは、異なる注目位置における屈折率情報をグラフ上に表示した図である。図１０は、サンプルＳの屈折率分布を示す屈折率情報をグラフ上に表示した図である。以下、図４から図１０を参照しながら、サンプルＳの任意の部位の屈折率を算出して、その屈折率に関する情報（以降、屈折率情報と記す。）を表示する屈折率表示処理について説明する。
以降では、サンプルＳが、図５に示すような、屈折率の異なる複数の層（層Ｌ１から層Ｌ５）からなる積層構造物である場合を例に説明する。図５には、５層からなる構造物が記載されていて、層Ｌ１、層Ｌ３、層Ｌ５は、１．５２の屈折率を有するガラス板であり、層Ｌ２は、屈折率が１．４のシリコーンであり、層Ｌ４は、屈折率１．３３の水である。また、層Ｌ１及び層Ｌ３の上下両面、並びに、層Ｌ５の上面には、レーザー光の照射により蛍光を発するビーズＢ１からビーズＢ５が置かれている。さらに、対物レンズ１１０とサンプルＳの間は、浸液ＩＭで満たされている。浸液ＩＭは、屈折率が１．３３の水である。
顕微鏡システム１は、まず、顕微鏡装置で観察される観察対象面の位置の候補である、複数の候補位置を決定する（ステップＳ１）。ここでは、演算装置２０が、利用者がキーボード４０等を用いて入力した観察対象面の深さ情報に基づいて、画像データを取得すべき複数の候補位置を決定する。なお、観察対象面の深さとは、サンプルＳの表面から観察対象面までの光軸方向の距離のことである。決定した複数の候補位置の情報（複数の深さ情報）は記憶装置２５に記憶される。例えば、利用者が画像データを取得すべき深さ範囲と間隔を入力することで、演算装置２０が深さ範囲と間隔から複数の候補位置を決定してもよい。なお、深さ範囲とは、観察対象面が移動する光軸方向の範囲のことである。本実施例では、それぞれビーズが存在する５つの候補位置を、演算装置２０が決定する。
次に、顕微鏡システム１は、観察対象面の位置を初期位置に変更する（ステップＳ２）。ここでは、演算装置２０の指示に従って、Ｚ制御装置１３がＺ駆動部１０９を光軸方向に移動させて、観察対象面の位置をステップＳ１で決定した複数の候補位置のうちの一つである初期位置に変更する。本実施例では、観察対象面の位置をビーズＢ１の位置に変更する。
観察対象面の位置が変更されると、顕微鏡システム１は、その観察対象面における球面収差が補正される補正環１１１の設定値（以降、設定目標値、又は、単に目標値、と記す）を算出する（ステップＳ３）。目標値は、顕微鏡装置で発生した球面収差量に対応する。ここでは、顕微鏡装置が現在の観察対象面で取得した複数の画像データに基づいて、演算装置２０が、観察対象面が現在の候補位置にあるときに顕微鏡装置で発生した球面収差量に対応する目標値を算出する。算出した目標値は、候補位置の情報（例えば、深さ情報など）と関連付けて、記憶装置２５に記憶される。なお、目標値を算出する処理については、図１８から図２２を参照しながら、後に詳述する。
顕微鏡システム１は、目標値が算出されると、ステップＳ１で決定した複数の候補位置のすべてで目標値が算出済みか否かを判断する（ステップＳ４）。すべての候補位置で目標値が算出されていない場合には、顕微鏡システム１は、観察対象面の位置をステップＳ１で決定した複数の候補位置のうちの未だ目標値が算出されていない候補位置に変更し（ステップＳ５）、変更後の候補位置で目標値を算出する（ステップＳ３）。これを繰り返すことにより、各々が、観察対象面が対物レンズ１１０の光軸方向に異なるサンプルＳ内の位置にあるときに顕微鏡装置で発生した球面収差量に対応する、複数の目標値が算出される。本実施例では、観察対象面がビーズＢ１からビーズＢ５のそれぞれの位置にあるときに顕微鏡装置で発生した球面収差量に対応する、５つの目標値が算出される。
すべての候補位置で目標値が算出されている場合には、顕微鏡システム１は、観察対象面の位置と目標値との関係を表わすグラフを表示する（ステップＳ６）。ここでは、演算装置２０が、まず、ステップＳ３で算出した複数の目標値に基づいて上記のグラフを生成し、その後、生成したグラフを表示装置３０に表示させる。グラフは、例えば、縦軸が観察対象面の位置を示し横軸が目標値を示す空間上に記憶装置２５に記憶されている複数の目標値を示す点をプロットし、さらに、隣接する２点間を補間することで、作成されてもよい。補間には、線形補間、ラグランジュ補間、スプライン補間などの任意の補間法が採用され得る。また、グラフは、補間の代わりに関数近似によって生成されてもよい。本実施例では、図６に示すように、算出した５つの目標値を示す５つの点をプロットし、隣り合う点間を線形補間したグラフＧ１が表示される。なお、図６の縦軸は、サンプル表面（層Ｌ１の上面）からの光軸方向への距離である深さＤを示し、横軸は補正環１１１の回転角度θを示している。
利用者がポインタＰを使用して表示装置３０に表示されたグラフＧ１上の点を指定し、その結果、サンプルＳ内の注目位置が指定されると、顕微鏡システム１は、注目位置におけるサンプルＳの屈折率を算出する（ステップＳ７）。ここでは、演算装置２０は、複数の目標値に基づいて、注目位置におけるサンプルＳの屈折率を算出する。より詳細には、演算装置２０は、図７に示す処理を実行する。
まず、演算装置２０は、指定された注目位置の情報を取得する（ステップＳ１１）。演算装置２０は、例えば、注目位置の深さ情報を取得する。次に、演算装置２０は、複数の目標値を取得する（ステップＳ１２）。演算装置２０は、例えば、グラフにプロットされている複数の点のうち指定された点に近い２点を特定し、その２点の目標値を取得する。この際、目標値とともに深さ情報を取得する。なお、ステップＳ１２で取得する複数の目標値は、ステップＳ３で算出された目標値に限られない。注目位置の深さ近傍の複数の位置に観察対象面を移動させて、それぞれの位置で目標値を算出することで、複数の目標値と複数の深さ情報を取得してもよい。
その後、演算装置２０は、複数の目標値に基づいて、注目位置における、光軸方向へ観察対象面の移動量（観察対象面の位置の変化量）と目標値の変化量との関係を算出する（ステップＳ１３）。演算装置２０は、例えば、ステップＳ１２で取得した２つの目標値の差分（目標値の変化量Δθ）に対する、ステップＳ１２で取得した２つの深さ情報の差分（観察対象面の移動量ΔＤ）の比を算出する。即ち、注目位置におけるグラフの傾きである変化率ΔＤ／Δθを算出する。
そして、最後に、演算装置２０は、ステップＳ１３で算出した関係に基づいて、注目位置におけるサンプルＳの屈折率を算出する（ステップＳ１４）。演算装置２０は、例えば、記憶装置２５に記憶されている図８に示す変化率と屈折率との関数Ｆに基づいて、ステップＳ１３で算出した関係（変化率）から屈折率を算出する。なお、変化率と屈折率の関数Ｆは、対物レンズ毎に異なるため、記憶装置２５には、対物レンズ毎の変化率と屈折率の関数Ｆが記憶されていることが望ましい。また、記憶装置２５には、関数Ｆの代わりに、変化率と屈折率の関係を示すデータが記憶されていてもよい。
屈折率が算出されて図７に示す処理が終了すると、顕微鏡システム１は、グラフ上に屈折率情報を表示する（ステップＳ８）。ここでは、演算装置２０は、注目位置におけるサンプルＳの屈折率に関する情報を、グラフと関連付けて表示装置３０に表示させる。本実施例では、例えば、ポインタＰを用いて深さ１５０μｍ当たりを注目位置に指定した場合であれば、図９Ａに示すように、グラフＧ１上の注目位置に対応する点の近くに、屈折率情報Ｉ１（１．５３）を表示する。また、ポインタＰを用いて深さ４００μｍ当たりを注目位置に指定した場合であれば、図９Ｂに示すように、グラフＧ１上の注目位置に対応する点の近くに、屈折率情報Ｉ２（１．３９）を表示する。なお、深さ１５０μｍ、４００μｍの位置は、図５に示す層Ｌ１（ガラス板、屈折率１．５２）、層Ｌ２（シリコーン、屈折率１．４）内である。
以上のように、本実施例に係る顕微鏡システム１によれば、サンプル内の任意の部位の屈折率を算出することができる。例えば、サンプルが、図５に示すような屈折率の異なる複数の層からなる積層構造物など、複雑な屈折率分布を有するものであっても、そのサンプルの構造によらず、任意の部位の屈折率を正確に算出することができる。この点については、後に詳述する。さらに、サンプルをスライスすることなくサンプルの深部の屈折率を算出することができるため、in vivoでの生体サンプルの屈折率の測定が可能となる。
また、顕微鏡システム１では、補正環１１１で球面収差を補正することで得られた情報を用いて、サンプルの屈折率が算出される。従って、球面収差を補正してサンプルの深部を観察しながら、それと同時に屈折率を測定することができる。このため、顕微鏡システム１は、サンプルへのダメージの軽減が重要な、in vivoでの生体サンプルの観察への利用が特に好適である。
また、顕微鏡システム１では、観察対象面の位置と目標値との関係を表わすグラフが表示される。グラフの傾きは屈折率に依存しているため、グラフを表示することで、利用者はグラフから生体サンプルなど屈折率が深さによって異なるサンプルの屈折率分布を把握することができる。さらに、グラフ上に屈折率情報を表示することで、より正確に屈折率を把握することができる。なお、図９Ａ及び図９Ｂでは、指定された注目位置の屈折率情報（屈折率情報Ｉ１、屈折率情報Ｉ２）のみをグラフＧ１に表示する例を示したが、図１０に示すように、注目位置の指定の有無によらず、サンプルの屈折率分布を示す屈折率情報Ｉ３をグラフＧ１に表示してもよい。これにより、サンプルの各深さにおける屈折率が表示されるため、より正確にサンプルの屈折率分布を把握することができる。
図１１は、屈折率の算出方法について説明するための図である。図１１を参照しながら、サンプルの構造によらず、サンプル内の任意の部位の屈折率を正確に算出することができることについて、より詳細に説明する。
以降、図１１に示すように、観察対象面が、対物レンズ１１０から３層目の屈折率ｎ３を有する媒質からなる第３層内に位置する場合を例に説明する。なお、対物レンズ１１０に隣接する屈折率ｎ１を有する媒質からなる第１層は、例えば、空気や浸液であり、屈折率ｎ２を有する媒質からなる第２層と屈折率ｎ３を有する媒質からなる第３層は、例えば、生体サンプルである。
対物レンズ１１０からの光線Ｒの、第１層と第２層との界面ＩＦ１への入射角をθ１、界面ＩＦ１からの出射角をθ２、第２層と第３層との界面ＩＦ２からの出射角をθ３とすると、スネルの法則から、以下の式（１）が導かれる。
さらに、図１１から幾何学的に次の関係も導かれる。なお、Ｄは第２層の厚さである。
これらの関係から、δは、下式（２）で表わされる。
さらに、図１１から幾何学的に次の関係も導かれる。
この関係から、ｄ２は、下式（３）で表わされる。
さらに、式（３）を用いて、式（２）を変形すると、式（４）が導かれる。
ここで、式（１）から次の関係が導かれる。
この関係を用いて、式（４）を変形すると、式（５）が導かれる。
Ｄ＝０のときには、δは第２層のパラメータに依存しない。また、式（５）は、θ１＝０のときには、δは、屈折率差（屈折率比）のみに依存する。θ１＝０のときのδである近軸移動量δ０は、式（６）で表わされる。
光線Ｒに生じる球面収差量Δは、δとδ０の差分である。このため、式（５）と式（６）から式（７）が導かれる。なお、顕微鏡装置で生じる球面収差量は、式（７）をθ１について０から対物レンズ１１０のＮＡで定まる最大入射角度θＭＡＸまで積分することで、算出される。
さらに、式（７）をｄ１で微分することで、式（８）が導かれる。式（８）は、観察対象面の深さ変化量あたりの球面収差量の変化量で定義される球面収差量の変化率を表わしている。
式（８）には、第２層のパラメータが含まれない。このことから、球面収差量の変化率は、第１層と観察対象面を含む第３層に依存し、中間層である第２層には影響しないことがわかる。さらに、θ１は積分変数であり、ｎ１は対物レンズ１１０とサンプルＳの間の媒質の屈折率であって、一般に対物レンズ１１０によって定まる。これらを考慮すると、球面収差量の変化率を特定することで、式（８）を用いて観察対象面を含む第３層の屈折率ｎ３を算出し得ることがわかる。従って、球面収差量の変化率を特定することで、サンプルの構造によらず、任意の部位の屈折率を正確に算出することができる。
顕微鏡システム１では、球面収差量の変化率を直接算出する代わりに、補正環１１１の目標値の変化率（観察対象面の移動量と目標値の変化量の関係）を算出している。対物レンズが定まると目標値と球面収差量の関係は既知な一定の関係にあるため、球面収差の変化率を目標値の変化率に変換することができる。このため、目標値の変化率から屈折率を算出する顕微鏡システム１でも、サンプルの構造によらず、任意の部位の屈折率を正確に算出することができる。
図１２は、顕微鏡システム１で行われる別の屈折率表示処理のフローチャートである。図１３は、図１に例示される表示装置３０に表示される三次元画像Ｇ２の一例を示した図である。図１４は、注目位置における屈折率情報を三次元画像Ｇ２上に表示した図である。図１５は、屈折率情報とグラフを三次元画像上に表示した図である。以下、図１２から図１５を参照しながら、三次元画像上に屈折率情報を表示する屈折率表示処理について説明する。なお、ここでは、サンプルＳはマウスの脳である。
顕微鏡システム１は、サンプルＳの三次元画像データを生成する（ステップＳ２１）。ここでは、演算装置２０が、まず、利用者がキーボード４０等を用いて入力した情報に基づいて、三次元画像を生成する光軸方向の深さ範囲を決定する。次に、演算装置２０の指示に従って、Ｚ制御装置１３がＺ駆動部１０９を光軸方向に移動させて、観察対象面を決定した範囲の複数の位置に順番に移動させる。そして、顕微鏡装置は、各位置でサンプルＳの画像データを取得する。演算装置２０は、複数の位置で取得した画像データ（Ｚスタック画像データ）に基づいて、サンプルＳの三次元画像データを生成する。
次に、顕微鏡システム１は、サンプルＳの三次元画像を表示する（ステップＳ２２）。ここでは、演算装置２０は、サンプルＳの三次元画像データに基づいて、サンプルＳの三次元画像を表示装置３０に表示させる。本実施例では、例えば、図１３に示すような深さ方向に構造が変化しているマウスの脳の三次元画像Ｇ２が表示される。
利用者がポインタＰを使用して表示装置３０に表示された三次元画像Ｇ２上の点を指定し、その結果、サンプルＳ内の注目位置が指定されると、顕微鏡システム１は、注目位置におけるサンプルＳの屈折率を算出する（ステップＳ２３）。この処理は、図７に示す屈折率算出処理と同様である。ただし、図７のステップＳ１２では、注目位置の深さ近傍の複数の位置に観察対象面を移動させて、それぞれの位置で目標値を算出することで、複数の目標値と複数の深さ情報を取得する。
屈折率が算出されると、顕微鏡システム１は、三次元画像Ｇ２上に屈折率情報を表示する（ステップＳ２４）。ここでは、演算装置２０は、注目位置におけるサンプルＳの屈折率に関する情報を、三次元画像Ｇ２と関連付けて表示装置３０に表示させる。本実施例では、例えば、図１４に示すように、三次元画像Ｇ２上の注目位置に、屈折率情報Ｉ４（１．３８）を表示する。
以上のように、顕微鏡システム１は、三次元画像と関連付けて注目位置におけるサンプルＳの屈折率を表示することができる。このため、サンプルＳの構造と屈折率の関係を容易に把握することが可能となる。また、画像を見ながら注目位置を指定することができるため、屈折率を知りたい部位を確実に指定することができる。また、利用者が三次元画像を見ながら深さ方向に幅のある注目範囲を指定できるようにしてもよい。そして、注目範囲内における観察対象面の移動量と目標値の変化量との関係を算出し、注目範囲内の屈折率分布を算出してもよい。
さらに、図４の屈折率表示処理と図１２の屈折率表示処理を組み合わせてもよい。例えば、例えば、図１２のステップＳ２１の前に、図４のステップＳ１からステップＳ５の処理を行うことで、図１５に示すように、屈折率情報Ｉ５とグラフを三次元画像Ｇ２上に表示してもよい。これにより、サンプルＳの構造と屈折率の関係をさらに詳細に把握することができる。
また、屈折率情報は、図１４及び図１５に示すような文字情報に限られない。例えば、三次元画像Ｇ２の色を変更することで、利用者に屈折率情報を提供してもよい。この場合、画像中の屈折率が異なる部分は異なる色で表示される。また、画像そのものの色を変更する代わりにグラフの色を変更してもよい。色を用いて屈折率情報を提供することで、利用者はより直感的に屈折率を把握することが可能となる。
図１６は、顕微鏡システム１で行われる更に別の屈折率表示処理のフローチャートである。図１７は、顕微鏡システム１で行われる球面収差補正処理のフローチャートである。以下、図１６及び図１７を参照しながら、二次元画像上に屈折率情報を表示する屈折率表示処理について説明する。
顕微鏡システム１は、まず、球面収差を補正する（ステップＳ３１）。ここでは、顕微鏡システム１は、顕微鏡装置で発生する球面収差を補正する。より詳細には、図１７に示す処理が行われる。
まず、顕微鏡システム１は、画像データを取得すべき観察対象面の位置を特定する（ステップＳ４１）。ここでは、例えば、利用者がＺ駆動部操作装置６０を操作して観察対象面の位置を指定する。これにより、演算装置２０がＺ駆動部操作装置６０から指定された観察対象面の位置に関する情報（深さ情報）を受信し、観察対象面の位置を特定する。
次に、顕微鏡システム１は、観察対象面の位置と、観察対象面の位置と目標値との関係を示す関数とに基づいて、目標値を算出する（ステップＳ４２）。ここでは、演算装置２０が、ステップＳ４１で特定された観察対象面の位置と、予め記憶装置２５に記憶されている関数に基づいて、現在の観察対象面における目標値を算出する。なお、観察対象面の位置と目標値との関係を示す関数は、例えば、図６に示すグラフＧ１に表わされている関数であり、グラフＧ１の作成と同様の手順（図４のステップＳ１からステップＳ６）により算出される。即ち、サンプルＳの異なる深さの位置に観察対象面を順に移動させて、それぞれの位置で複数の画像データを取得する。そして、各位置で取得した複数の画像データから各位置の目標値を算出する。このようにして算出された複数の目標値と観察対象面の複数の位置とに基づいて、補間や関数近似を用いて、関数を算出する。
顕微鏡システム１は、目標値が算出されると、補正環１１１の設定値を目標値に設定する（ステップＳ４３）。ここでは、補正環制御装置１４が補正環１１１の設定値をステップＳ４２で算出された目標値に変更する。なお、補正環制御装置１４は、自動的に、即ち、演算装置２０からの指示に従って、ステップＳ４２で算出した目標値に補正環１１１の設定値を変更してもよい。また、手動により、即ち、ステップＳ４２で算出された目標値が表示装置３０に表示され、表示された目標値に基づいて利用者が補正環操作装置５０を操作することにより、補正環制御装置１４が補正環１１１の設定値を目標値に変更してもよい。また、利用者が補正環１１１を直接操作して補正環１１１の設定値を目標値に変更してもよい。
最後に、顕微鏡システム１は、レーザー１０１の出力を設定し（ステップＳ４４）、球面収差補正処理を終了する。ここでは、光源制御装置１１が、補正環１１１の設定値が目標値であるときに顕微鏡装置で取得された画像データに基づいて、サンプルＳに照射するレーザー光のパワーを制御する。例えば、ステップＳ４３で補正環１１１の設定値を変更した後に画像データを取得して、その画像データから算出される画像の明るさに基づいてレーザー１０１の出力を設定する。
球面収差補正処理を終了すると、顕微鏡システム１は、サンプルＳの二次元画像データを取得する（ステップＳ３２）。ここでは、演算装置２０の指示に従って、Ｚ制御装置１３がＺ駆動部１０９を光軸方向に移動させて、観察対象面をステップＳ４２で特定された位置に移動させる。そして、顕微鏡装置は、サンプルＳの画像データを取得する。
次に、顕微鏡システム１は、屈折率を算出する（ステップＳ３３）。ここでは、演算装置２０は、サンプルＳの現在の観察対象面における屈折率を算出する。例えば、図１７のステップＳ４２で用いた関数の、現在の観察対象面の位置における傾きを算出し、その傾きに基づいて屈折率を算出してもよい。なお、関数の傾きは、図７のステップＳ１３で算出した変化率に相当する。
屈折率が算出されると、顕微鏡システム１は、二次元画像上に屈折率情報を表示する（ステップＳ３４）。ここでは、演算装置２０は、サンプルＳの屈折率に関する情報をステップＳ３２で取得した二次元画像と関連付けて表示装置３０に表示させる。
以上のように、顕微鏡システム１は、二次元画像上に屈折率情報を表示することができる。このため、利用者は、サンプルを観察しながら、それと同時に観察対象面の屈折率を把握することができる。また、顕微鏡システム１は、観察対象面の深さに応じて変化する球面収差を補正することができる。これにより、顕微鏡１００が有する光学性能を十分に発揮して、高品質な画像を得ることができる。また、顕微鏡システム１は、予め算出した関数に基づいて簡単な計算で現在の観察対象面における目標値を算出することができる。このため、観察深さを頻繁に変更しながらサンプルを観察する場合であっても、短時間で補正環１１１の設定値を深さに応じた目標値に変更することができる。また、補正環１１１の調整作業を自動化することができるため、他の自動化処理、例えば、深さの異なる複数の位置で画像データを取得して三次元画像やエクステンドフォーカス画像を自動的に生成する処理などにも、容易に組み込むことができる。さらに、球面収差が補正された状態では、一般に、球面収差が補正されていない状態に比べて明るい画像が得られる。このため、球面収差が補正された状態で取得された画像データに基づいてレーザー１０１の出力を設定することで、レーザー１０１の出力を抑えて、生体試料へのダメージを抑制することができる。
以下、図４のステップＳ３で行われる目標値算出処理について、具体的に説明する。図１８は、顕微鏡システム１で候補位置毎に行われる目標値算出処理のフローチャートである。図１９Ａ及び図１９Ｂは、図１８に示す目標値算出処理について説明するための図である。図１９Ａには、最初に決定した複数の設定値で得られる複数の評価値が、図１９Ｂには、２回目に決定した複数の設定値で得られる複数の評価値が示されている。
顕微鏡システム１は、まず、補正環１１１の複数の設定値を決定する（ステップＳ５１）。ここでは、顕微鏡装置でサンプルの画像データを取得する際の補正環１１１の設定値を演算装置２０が複数個決定する。例えば、図１９Ａに示すように、演算装置２０は、補正環１１１が回転可能な範囲（動作可能範囲）自体又はそれより少しだけ狭い範囲を探索範囲に決定し、探索範囲を均等に分割する予め決められた数（ここでは１０）の設定値（補正環位置）を、複数の設定値として決定する。なお、図１９Ａでは、θ１からθ１０までの１０個の設定値（補正環位置）が決定される例が示されている。
次に、顕微鏡システム１は、補正環１１１の設定値をステップＳ５１で決定した設定値に変更する（ステップＳ５２）。ここでは、補正環制御装置１４が演算装置２０からの指示に従ってステップＳ５１で決定した複数の設定値のいずれかに設定する。例えば、補正環制御装置１４は、補正環１１１の設定値をθ１に変更する。
補正環１１１の設定値が変更されると、顕微鏡システム１は、サンプルＳの画像データを取得する（ステップＳ５３）。ここでは、顕微鏡装置が演算装置２０からの指示に従って画像データを取得する。例えば、顕微鏡装置は、補正環１１１の設定値がθ１の状態で画像データを取得する。
その後、顕微鏡システム１は、ステップＳ５１で決定したすべての設定値で画像データを取得したか否かを判断し（ステップＳ５４）、すべての設定値で画像データを取得していない場合には、ステップＳ５２からステップＳ５４の処理を繰り返す。これにより、顕微鏡装置は、補正環１１１の設定値が異なる複数の状態の各々で、サンプルＳの観察対象面の画像データを取得し、その結果、複数の画像データを取得する。
すべての設定値で画像データが取得されると、顕微鏡システム１は、ステップＳ５３で取得した複数の画像データの各々の評価値を算出する（ステップＳ５５）。ここでは、演算装置２０が、複数の画像データの各々に基づいて球面収差が補正されているほど大きな値を示すその画像データの評価値を算出して、その結果、複数の画像データの複数の評価値を算出する。一般に、球面収差が補正された画像データほど高いコントラストを有していることから、評価値としては、例えば、画像データに対してコントラスト評価法を用いて算出されるコントラスト値が用いられる。図１９Ａには、ステップＳ５３で取得した複数の画像データの評価値が示されている。なお、図１９Ａでは、画像データは補正環位置（補正環１１１の設定値）によって特定され、その画像データの評価値はコントラスト値によって示されている。
コントラスト評価法によるコントラスト値は、画像データを構成するピクセル間の輝度値の差分に基づいて算出される。具体的には、例えば、下式により、ｘ方向にｎピクセル分ずれた位置にある２つのピクセルの輝度値の差分の２乗を画像データ全体で積分した値が、コントラスト値として算出される。
ここで、ｘは画像データを構成するピクセルの列を特定する変数であり、ｙは画像データを構成するピクセルの行を特定する変数である。Ｗは画像データを構成するピクセルのｘ方向の数（即ち、列数）であり、Ｈは画像データを構成するピクセルのｙ方向の数（即ち、行数）である。ｆはピクセルの輝度値であり、ｎは整数（例えば、２など）である。
評価値が算出されると、顕微鏡システム１は、所定の条件を満たしているか否かを判断する（ステップＳ５６）。所定の条件としては、例えば、ステップＳ５２からステップＳ５６までの処理の繰り返し回数が所定回数に達しているか否かであってもよく、複数の設定値の平均間隔が所定値以下であるか否かであってもよい。
ステップＳ５６で所定の条件を満たしていない場合には、顕微鏡システム１は、改めて複数の設定値を決定し（ステップＳ５７）、その後、ステップＳ５２からステップＳ５６の処理を繰り返す。
ステップＳ５７では、演算装置２０は、以下の２つの条件を満たすように複数の設定値を決定する。第１の条件は、ステップＳ５７で決定する複数の設定値の分布範囲（即ち、探索範囲）及び平均間隔が、先の複数の設定値の分布範囲及び平均間隔と比較して、狭いことである。第２の条件は、ステップＳ５７で決定する複数の設定値の分布範囲内に、ステップＳ５５で算出された最大の評価値に対応する補正環１１１の設定値が含まれることである。なお、本明細書において、評価値に対応する設定値とは、ある画像データから算出された評価値に対するその画像データが取得されたときの補正装置の設定値のことをいうものとする。また、設定値に対応する評価値とは、ある画像データが取得されたときの補正装置の設定値に対するその画像データから算出された評価値のことをいうものとする。
これにより、顕微鏡装置は、設定値が異なる複数の状態で複数の画像データを取得する処理を、複数の状態で設定される補正環１１１の複数の設定値の分布範囲と平均間隔とが繰り返し毎に狭まり、且つ、その分布範囲内に演算装置２０が算出した最大の評価値に対応する補正環１１１の設定値が含まれるように、繰り返す。そして、演算装置は、繰り返し毎に、複数の画像データの複数の評価値を算出する。
図１９Ｂは、ステップＳ５７で決定した複数の設定値に基づいて取得した複数の画像データの評価値が示されている。図１９Ａと図１９Ｂを比較すると、図１９Ｂに示す複数の設定値（補正環位置）は、上記２つの条件を満たしていることが確認できる。なお、図１９Ａと図１９Ｂでは、いずれも１０個の設定値（補正環位置）が決定されている例が示されているが、設定値の数は、繰り返し毎に設定値の平均間隔が狭くなる限り、同一に限られず、増加しても減少してもよい。
ステップＳ５６で所定の条件を満たしている場合には、顕微鏡システム１は、ステップＳ５５で算出した複数の評価値と、それら複数の評価値に対応する複数の設定値と、に基づいて目標値を算出し（ステップＳ５８）、目標値算出処理を終了する。ここでは、例えば、最後の繰り返しにおいてステップＳ５５で算出された複数の評価値のうちの最大の評価値に対応する補正環１１１の設定値が目標値として算出されてもよい。また、最後の繰り返しに限らずステップＳ５５で算出された複数の評価値のうちの最大の評価値に対応する補正環１１１の設定値が目標値として算出されてもよい。なお、演算装置２０は、算出した目標値と候補位置の組み合わせを、記憶装置２５に記憶させる。
顕微鏡システム１は、図１８に示す目標値算出処理を実行することで、比較的少ない画像データの取得回数で目標値を高精度に算出することができる。
なお、図１８のステップＳ５５では、画像データ毎に評価値を算出する例を示したが、画像データの全体領域を複数の領域に分割して、分割によって得られる領域毎に評価値（以降、画像データ毎に算出される評価値と区別するため、領域評価値と記す。）を算出してもよい。この場合、ステップＳ５８では、領域毎に目標値（全体領域に対して算出される目標値と区別するため、以降、領域目標値と記す。）を算出し、複数の領域目標値に基づいて、全体領域に対する目標値を算出する。
図２０は、画像データの全体領域ＷＲを領域Ｒ１から領域Ｒ９の９つの領域に分割し、領域毎に領域目標値を算出した例を示している。全体領域に対する目標値は、例えば、領域目標値を昇順又は降順に並べた（θ３：θ３：θ４：θ４：θ５：θ５：θ５：θ６：θ６）中間値（θ５）に決定されてもよく、最頻値（θ５）に決定されてもよい。なお、分割数も９つに限られず、９つより少なくても多くてもよい。
領域毎に領域目標値を算出し、複数の領域目標値に対する統計的な処理により目標値を算出することで、画像データに他のピクセルデータと比較して極端に高輝度又は低輝度を有するピクセルデータが含まれる場合であっても、その影響を抑えて画像データのコントラストを評価することができる。このため、球面収差が補正される設定値を正しく算出することができる。
図２１は、顕微鏡システム１で候補位置毎に行われる別の目標値算出処理のフローチャートである。図２２は、図２１に示す目標値算出処理について説明するための図である。図２１及び図２２を参照しながら、図２１に示す目標値算出処理について説明する。なお、図２１に示す目標値算出処理のステップＳ６１からステップＳ６５までの処理は、図１８に示す目標値算出処理のステップＳ５１からステップＳ５５までの処理と同様であるので、詳細な説明は割愛する。
顕微鏡システム１は、ステップＳ６５で評価値が算出されると、複数の画像データの座標情報に基づいて目標値を算出し（ステップＳ６６）、目標値算出処理を終了する。なお、画像データの座標情報とは、その画像データから算出された評価値とその評価値に対応する補正環１１１の設定値との組み合わせをいうものとする。
ステップＳ６６では、演算装置２０は、まず、ステップＳ６３で取得した複数の画像データから３つ以上の画像データを選択する。この３つ以上の画像データは、ステップＳ６５で算出した複数の評価値のうちの最大値が算出された画像データが含まれるように、選択される。
その後、演算装置２０は、選択した３つ以上の画像データの座標情報に基づいて目標値を算出する。具体的には、３つ以上の画像データの座標情報に基づいて、補間又は関数近似により関数を算出する。なお、この関数は、評価値と設定値に関する関数である。そして、算出した関数のピーク座標（評価値が最大となる座標）から得られる設定値が目標値として算出される。演算装置２０は、算出した目標値と候補値の組み合わせを、記憶装置２５に記憶させる。
図２２には、最大の評価値が算出される画像データとその前後（つまり、設定値が近い）の画像データからなる３つの画像データを選択し、それらの画像データから得られる３つの座標情報からラグランジュ補間により二次関数を算出し、そのピーク座標から目標値を算出した例が示されている。なお、補間には、ラグランジュ補間、スプライン補間などの任意の補間法が採用され得る。また、関数近似にも、最小二乗法などの任意の近似法が採用され得る。
顕微鏡システム１は、図２１に示す目標値算出処理を実行することで、比較的少ない画像データの取得回数で目標値を高精度に算出することができる。
なお、図１８に示す目標値算出処理と図２１に示す目標値算出処理を組み合わせて目標値を算出してもよい。例えば、図２１に示す目標値算出処理に図１８のステップＳ５６及びステップＳ５７の処理を追加して、ステップＳ６６で算出した目標値が分布範囲に含まれるように、複数の設定値の分布範囲（即ち、探索範囲）及び平均間隔を徐々に狭めながら、目標値の算出を繰り返してもよい。これにより、目標値をより高い精度で算出することが可能となる。
図２３は、本実施例に係る顕微鏡２００の構成を例示した図である。なお、本実施例に係る顕微鏡システムは、顕微鏡１００の代わりに顕微鏡２００を含む点が図１に示す顕微鏡システム１と異なっている。その他の点については、顕微鏡システム１と同様であるので、同一の構成要素については同一の符号で参照する。
顕微鏡２００は、共焦点顕微鏡である。サンプルＳは、例えば、マウスの脳などの生体試料である。顕微鏡２００は、図２３に示すように、照明光路上に、レーザー２０１と、ビームエクスパンダ２０２と、ダイクロイックミラー２０３と、走査ユニット２０４と、瞳投影光学系２０５と、対物レンズ１１０とを備えている。なお、対物レンズ１１０、対物レンズ１１０を光軸方向に移動させるＺ駆動部１０９、対物レンズ１１０内のレンズを移動させて球面収差を補正する補正装置である補正環１１１については、実施例１に係る顕微鏡１００と同様である。
レーザー２０１は、例えば、可視域や紫外域、赤外域のレーザー光を発振する。レーザー２０１から発振されるレーザーの出力は、光源制御装置１１によって制御される。ビームエクスパンダ２０２は、レーザー２０１からのレーザー光（コリメート光）の光束を対物レンズ１１１の瞳径に応じて調整する光学系である。ダイクロイックミラー２０３は、励起光（レーザ光）とサンプルＳからの検出光（蛍光）とを分離する光分離手段であり、波長によりレーザー光と蛍光を分離する。
走査ユニット２０４は、レーザー光でサンプルＳを２次元に走査するための走査手段であり、例えば、ガルバノスキャナやレゾナントスキャナなどを含んでいる。走査ユニット２０４の走査範囲が変化することでズーム倍率が変化する。走査ユニット２０４の走査範囲は、ズーム制御装置１２によって制御される。瞳投影光学系２０５は、走査ユニット２０４を対物レンズ１１０の瞳位置に投影する光学系である。
顕微鏡２００は、さらに、検出光路（ダイクロイックミラー２０３の透過光路）上に、ミラー２０６と、共焦点レンズ２０７と、共焦点絞り２０８と、集光レンズ２０９と、光検出器２１０とを備えている。光検出器２１０から出力された信号は、Ａ／Ｄ変換器２１１に出力される。
共焦点レンズ２０７は、共焦点絞り２０８上に、蛍光を集光するレンズである。共焦点絞り２０８は、対物レンズ１１０の焦点面と光学的に共役な位置に配置された絞りである。共焦点絞り２０８には、対物レンズ１１０の焦点位置から生じた蛍光を透過させるピンホールが形成されている。集光レンズ２０９は、共焦点絞り２０８を通過した蛍光を光検出器２１０に導くレンズである。
光検出器２１０は、例えば、光電子増倍管（ＰＭＴ）であり、入射した蛍光の光量に応じたアナログ信号を出力する。Ａ／Ｄ変換器２１１は、光検出器２１０からのアナログ信号をデジタル信号（輝度信号）に変換して、演算装置２０に出力する。
以上のように構成された本実施例に係る顕微鏡システムでは、顕微鏡２００は、走査ユニット２０４を用いてレーザー光でサンプルＳを走査して、サンプルＳの各位置からの蛍光を光検出器２１０で検出する。そして、演算装置２０は、光検出器２１０からの信号を変換したデジタル信号（輝度信号）と走査ユニット２０４の走査情報とに基づいて、画像データを生成する。即ち、本実施例に係る顕微鏡システムでは、顕微鏡２００と演算装置２０により構成される顕微鏡装置が、サンプルＳの画像データを取得する。
本実施例に係る顕微鏡システムでは、実施例１に係る顕微鏡システム１と同様の処理を行うことができる。このため、サンプル内の任意の部位の屈折率を算出することができる。
図２４は、本実施例に係る顕微鏡３００の構成を例示した図である。なお、本実施例に係る顕微鏡システムは、顕微鏡１００の代わりに顕微鏡３００を含む点が図１に示す顕微鏡システム１と異なっている。その他の点については、顕微鏡システム１と同様であるので、同一の構成要素については同一の符号で参照する。
顕微鏡３００は、走査型ではない通常の蛍光顕微鏡である。なお、顕微鏡３００は、ズーム機能を備えているため、ズーム顕微鏡とも呼ばれる。サンプルＳは、例えば、マウスの脳などの生体試料である。顕微鏡３００は、図２４に示すように、照明光路上に、光源３０２を内蔵したランプハウス３０１と、コレクタレンズ３０３と、蛍光キューブ３０４と、ズームレンズ３０５と、対物レンズ１１０とを備えている。なお、対物レンズ１１０、対物レンズ１１０を光軸方向に移動させるＺ駆動部１０９、対物レンズ１１０内のレンズを移動させて球面収差を補正する補正装置である補正環１１１については、実施例１に係る顕微鏡１００と同様である。
光源３０２は、例えば、ＬＥＤ光源、高出力の水銀ランプなどである。なお、光源３０２の出力は、光源制御装置１１によって制御される。コレクタレンズ３０３は、光源３０２からの励起光をコリメートする。蛍光キューブ３０４は、図示しないダイクロイックミラーと励起フィルタと吸収フィルタとを備えている。蛍光キューブ３０４は、励起光とサンプルＳからの検出光（蛍光）とを分離する光分離手段であり、波長により励起光と蛍光を分離する。
ズームレンズ３０５は、ズームレンズ３０５を構成するレンズ間の距離が変化するように構成されている。ズーム制御装置１２がレンズ間の距離を図示しないモータ等によって変化させることでズーム倍率が変化する。即ち、ズームレンズ３０５は、ズーム制御装置１２によって制御される。
顕微鏡３００は、さらに、検出光路（蛍光キューブ３０４の透過光路）上に、結像レンズ３０６と、撮像装置３０７を備えている。結像レンズ３０６は、対物レンズ１１０及びズームレンズ３０５を介して入射する蛍光を撮像装置３０７上に集光させて、サンプルＳの光学像を形成する。撮像装置３０７は、例えば、ＣＣＤカメラであり、サンプルＳの光学像を撮像してサンプルＳの画像データを生成する。撮像装置３０７は、生成した画像データを演算装置２０に出力する。本実施例に係る顕微鏡システムでは、顕微鏡３００である顕微鏡装置が、サンプルＳの画像データを取得する。
本実施例に係る顕微鏡システムでは、実施例１に係る顕微鏡システム１と同様の処理を行うことができる。このため、サンプル内の任意の部位の屈折率を算出することができる。
上述した各実施例は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施例に限定されるものではない。顕微鏡システム、屈折率算出方法及びプログラムは、特許請求の範囲により規定される範囲において、さまざまな変形、変更が可能である。この明細書で説明される個別の実施例の文脈におけるいくつかの特徴を組み合わせて単一の実施例としてもよい。
Ｚ制御装置１３がＺ駆動部１０９を制御して観察対象面の位置を変化させる構成を例示したが、Ｚ制御装置１３は、顕微鏡のステージを光軸方向に移動させることにより観察対象面の位置を変化させてもよい。
また、観察対象面の深さによって変化する球面収差を補正する補正装置として補正環１１１を例示したが、補正装置は、光路上で生じる球面収差の量を変化させることができるものであればよい。補正装置は、例えば、ＬＣＯＳ（Liquid crystal on silicon、商標）、ＤＦＭ（Deformable Mirror）、液体レンズなどを用いた装置であってもよい。また、発生する球面収差量が大きく単一の補正装置では十分に球面収差を補正しきれない場合には、補正する球面収差量を複数の補正装置で分担して、観察対象面で生じる球面収差を補正してもよい。
また、画素分解能が光学分解能よりも大きい、即ち、画素分解能から算出されるピクセルサイズが光学的に識別し得る２点間の距離よりも大きい場合には、発生した球面収差が画像データに十分に反映していない可能性がある。このような場合には、発生した球面収差を画像データ、ひいては評価値に正しく反映させるため、画素分解能が光学分解能よりも小さくなるように、ズーム倍率を高くした状態で目標値算出処理を実行してもよい。これにより、観察対象面に生じた球面収差をより高い精度で補正する設定値を算出することが可能となる。
また、評価値を算出する方法として、設定値毎に１枚の画像データを取得し、取得した画像データ毎に評価値を算出する例を示したが、設定値毎に複数の画像データを取得して、カルマンフィルタ等を用いて複数の画像データから評価値を算出してもよい。このような方法によれば、画像データの各々に含まれるノイズ成分を設定値毎の複数の画像データを用いて相殺させることができるため、より精度の高い評価値を算出することができる。
１ 顕微鏡システム
１０ 顕微鏡制御装置
１１ 光源制御装置
１２ ズーム制御装置
１３ Ｚ制御装置
１４ 補正環制御装置
２０ 演算装置
３０ 表示装置
４０ キーボード
５０ 補正環操作装置
６０ Ｚ駆動部操作装置
１００、２００、３００ 顕微鏡
１０１、２０１ レーザー
１０２、２０４ 走査ユニット
１０３、１０６、２０５ 瞳投影光学系
１０４、２０６ ミラー
１０５、２０３ ダイクロイックミラー
１０７、２１０ 光検出器
１０８、２１１ Ａ／Ｄ変換器
１０９ Ｚ駆動部
１１０ 対物レンズ
１１１ 補正環
２０２ ビームエクスパンダ
２０７ 共焦点レンズ
２０８ 共焦点絞り
２０９ 集光レンズ
３０１ ランプハウス
３０２ 光源
３０３ コレクタレンズ
３０４ 蛍光キューブ
３０５ ズームレンズ
３０６ 結像レンズ
３０７ 撮像装置
Ｓ サンプル
Ｂ１〜Ｂ５ ビーズ
Ｌ１〜Ｌ５ 層
ＩＭ 浸液
Ｉ１〜Ｉ５ 屈折率情報

Claims (7)

  1. 対物レンズと、球面収差を補正する補正装置と、観察対象面を前記対物レンズの光軸方向に異なるサンプル内の複数の位置に順に移動する観察対象面移動手段と、を有する顕微鏡装置と、
    前記観察対象面移動手段によって前記観察対象面が移動した前記複数の位置に対応する複数の設定目標値を算出する目標値算出手段であって、前記複数の設定目標値の各々は、前記顕微鏡装置で発生した球面収差量に対応する前記補正装置の設定値である、という目標算出手段と、
    前記目標値算出手段によって算出された前記複数の設定目標値に基づいて、前記サンプル内の深さによって指定される注目位置における前記サンプルの屈折率を算出する屈折率算出手段と、を備え、
    前記屈折率算出手段は、
    前記複数の設定目標値に基づいて、前記注目位置における、前記光軸方向へ前記観察対象面の移動量と設定目標値の変化量との関係を算出し、
    算出した前記関係に基づいて、前記注目位置における前記サンプルの屈折率を算出する
    ことを特徴とする顕微鏡システム。
  2. 請求項１に記載の顕微鏡システムにおいて、
    前記目標値算出手段は、前記補正装置の設定値が互いに異なる複数の状態で前記顕微鏡装置が取得した複数の画像データに基づいて、設定目標値を算出する
    ことを特徴とする顕微鏡システム。
  3. 請求項１または請求項２に記載の顕微鏡システムにおいて、さらに、
    前記複数の設定目標値に基づいて、前記観察対象面の前記光軸方向の位置と設定目標値との関係を表わすグラフを生成するグラフ生成手段と、
    前記屈折率算出手段で算出した前記注目位置における前記サンプルの屈折率に関する情報を、前記グラフ生成手段で生成された前記グラフと関連付けて表示装置に表示させる表示制御手段と、を備える
    ことを特徴とする顕微鏡システム。
  4. 請求項１または請求項２に記載の顕微鏡システムにおいて、さらに、
    前記屈折率算出手段で算出した前記注目位置における前記サンプルの屈折率に関する情報を、前記サンプルの三次元画像と関連付けて表示装置に表示させる表示制御手段と、を備える
    ことを特徴とする顕微鏡システム。
  5. 請求項１乃至請求項４のいずれか１項に記載の顕微鏡システムにおいて、
    前記補正装置は、前記対物レンズ内のレンズを移動させる補正環を含む
    ことを特徴とする顕微鏡システム。
  6. 観察対象面を顕微鏡装置の対物レンズの光軸方向に異なるサンプル内の複数の位置に順に移動し、
    前記観察対象面が移動した前記複数の位置に対応する複数の設定目標値であって、各々が前記顕微鏡装置で発生した球面収差量に対応する前記顕微鏡装置の補正装置の設定値である複数の設定目標値を算出し、
    前記複数の設定目標値に基づいて、前記サンプル内の深さによって指定される注目位置における、前記光軸方向へ前記観察対象面の移動量と設定目標値の変化量との関係を算出し、
    算出した前記関係に基づいて、前記注目位置における前記サンプルの屈折率を算出する
    ことを特徴とする屈折率算出方法。
  7. 観察対象面を顕微鏡装置の対物レンズの光軸方向に異なるサンプル内の複数の位置に順に移動し、
    前記観察対象面が移動した前記複数の位置に対応する複数の設定目標値であって、各々が前記顕微鏡装置で発生した球面収差量に対応する前記顕微鏡装置の補正装置の設定値である複数の設定目標値を算出し、
    前記複数の設定目標値に基づいて、前記サンプル内の深さによって指定される注目位置における、前記光軸方向へ前記観察対象面の移動量と設定目標値の変化量との関係を算出し、
    算出した前記関係に基づいて、前記注目位置における前記サンプルの屈折率を算出する
    処理をコンピュータに実行させることを特徴とするプログラム。
JP2015141964A 2015-07-16 2015-07-16 顕微鏡システム、屈折率算出方法、及び、プログラム Active JP6552041B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015141964A JP6552041B2 (ja) 2015-07-16 2015-07-16 顕微鏡システム、屈折率算出方法、及び、プログラム
EP16178657.9A EP3118665B1 (en) 2015-07-16 2016-07-08 Microscopy system, refractive-index calculating method, and program
US15/205,039 US20170017071A1 (en) 2015-07-16 2016-07-08 Microscopy system, refractive-index calculating method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015141964A JP6552041B2 (ja) 2015-07-16 2015-07-16 顕微鏡システム、屈折率算出方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2017026665A JP2017026665A (ja) 2017-02-02
JP6552041B2 true JP6552041B2 (ja) 2019-07-31

Family

ID=56372842

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015141964A Active JP6552041B2 (ja) 2015-07-16 2015-07-16 顕微鏡システム、屈折率算出方法、及び、プログラム

Country Status (3)

Country Link
US (1) US20170017071A1 (ja)
EP (1) EP3118665B1 (ja)
JP (1) JP6552041B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014207809A1 (ja) * 2013-06-24 2014-12-31 株式会社島津製作所 屈折率測定装置
EP3035104B1 (en) 2014-12-15 2019-02-20 Olympus Corporation Microscope system and setting value calculation method
US20180313756A1 (en) * 2015-11-13 2018-11-01 Konica Minolta, Inc. Method for surface plasmon resonance fluorescence analysis and device for surface plasmon resonance fluorescence analysis
DE102017105926A1 (de) * 2017-03-20 2018-09-20 Carl Zeiss Microscopy Gmbh Verfahren und Mikroskop zum Abbilden eines Objektes
DE102017105928A1 (de) * 2017-03-20 2018-09-20 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zum Abbilden eines Objektes
DE102018206486A1 (de) * 2018-03-16 2019-09-19 Leica Microsystems Cms Gmbh Verfahren und Vorrichtung zum Manipulieren eines Strahlenganges in einem Mikroskop, Verfahren zur Aufnahme von Bilderstapeln in einem Mikroskop und nichtflüchtiges computerlesbares Speichermedium
DE102018118484B4 (de) * 2018-07-31 2021-09-16 Institut für Bioprozess- und Analysenmesstechnik e.V. Vorrichtung und Verfahren zur optischen Charakterisierung von Fluiden und/oder darin eingeschlossener Objekte in Mikrokanälen
WO2022070689A1 (ja) 2020-09-30 2022-04-07 株式会社ニコン 顕微鏡装置、顕微鏡装置の試料屈折率測定方法、および顕微鏡装置の試料屈折率測定プログラム
US20230003964A1 (en) * 2021-06-24 2023-01-05 Fei Deutschland Gmbh Systems and methods for motorized adjustment of objective lens correction collar

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5161052B2 (ja) * 2008-12-04 2013-03-13 オリンパス株式会社 顕微鏡システム、標本観察方法およびプログラム
WO1999053355A1 (fr) * 1998-04-15 1999-10-21 Vincent Lauer Microscope generant une representation tridimensionnelle d'un objet et images generees par ce microscope
US6836373B2 (en) * 2000-11-16 2004-12-28 Jeol Ltd. Spherical aberration corrector for electron microscope
JP2002163830A (ja) * 2000-11-24 2002-06-07 Toshiba Corp 光学的収差を利用した光情報処理システムおよび厚みムラのある透明層で保護された記録層を持つ情報媒体
JP3797874B2 (ja) * 2000-12-26 2006-07-19 オリンパス株式会社 走査型光学顕微鏡
DE10161613A1 (de) * 2001-12-15 2003-06-18 Leica Microsystems Verfahren zur Selbstüberwachung eines Mikroskopsystems, Mikroskopsystem und Software zur Selbstüberwachung
US6924929B2 (en) * 2002-03-29 2005-08-02 National Institute Of Radiological Sciences Microscope apparatus
JP4554174B2 (ja) * 2003-07-09 2010-09-29 オリンパス株式会社 顕微鏡システム、顕微鏡の制御方法、及びプログラム
JP2005043624A (ja) * 2003-07-28 2005-02-17 Nikon Corp 顕微鏡制御装置、顕微鏡装置、及び顕微鏡対物レンズ
JP2005275199A (ja) * 2004-03-26 2005-10-06 Yokogawa Electric Corp ３次元共焦点顕微鏡システム
US7054071B2 (en) * 2004-07-08 2006-05-30 Spectel Research Corporation Mireau interference objective lens
JP2006153851A (ja) * 2004-11-08 2006-06-15 Matsushita Electric Ind Co Ltd 共焦点光学装置及び球面収差補正方法
EP2434325A1 (en) * 2006-12-22 2012-03-28 Nikon Corporation Laser scan confocal microscope
WO2011143121A2 (en) * 2010-05-10 2011-11-17 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Spatial-domain low-coherence quantitative phase microscopy
JP5736783B2 (ja) * 2011-01-13 2015-06-17 ソニー株式会社 顕微鏡装置及び球面収差補正方法
JP2013088138A (ja) 2011-10-13 2013-05-13 Olympus Corp 屈折率測定装置および濃度測定装置並びにその方法
JP6180130B2 (ja) * 2013-02-20 2017-08-16 オリンパス株式会社 顕微鏡システム、プログラム、及び球面収差を補正する方法
US9588330B2 (en) * 2013-06-28 2017-03-07 Oregon Health & Science University Tomographic bright field imaging (TBFI)
JP6196825B2 (ja) * 2013-07-09 2017-09-13 オリンパス株式会社 顕微鏡システム、及び、試料の屈折率測定方法
EP3035104B1 (en) * 2014-12-15 2019-02-20 Olympus Corporation Microscope system and setting value calculation method

Also Published As

Publication number Publication date
US20170017071A1 (en) 2017-01-19
JP2017026665A (ja) 2017-02-02
EP3118665A1 (en) 2017-01-18
EP3118665B1 (en) 2017-11-29

Similar Documents

Publication Publication Date Title
JP6552041B2 (ja) 顕微鏡システム、屈折率算出方法、及び、プログラム
JP6555811B2 (ja) 顕微鏡システム、特定方法、及び、プログラム
US10379329B2 (en) Microscope system and setting value calculation method
JP5090188B2 (ja) 顕微鏡装置
JP6562547B2 (ja) 顕微鏡システム、算出方法、及び、プログラム
EP3318912B1 (en) Phase contrast microscope and imaging method
EP2804145B1 (en) Microscope system and stitched area decision method
US20130093872A1 (en) Magnification Observation Device
JP2005043624A (ja) 顕微鏡制御装置、顕微鏡装置、及び顕微鏡対物レンズ
JP6434296B2 (ja) 顕微鏡システム、設定値算出方法、及び、プログラム
JP6266302B2 (ja) 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム
JP6887875B2 (ja) 顕微鏡システム、制御方法、及び、プログラム
JP6563486B2 (ja) 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
JP6312410B2 (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
US10429632B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
JP6422761B2 (ja) 顕微鏡システム、及び、ｚ位置と補正装置の設定値との関係算出方法
JP6423261B2 (ja) 顕微鏡システム、関数算出方法、及び、プログラム
JP4968337B2 (ja) 共焦点顕微鏡装置
JP2010121955A (ja) 高さ情報取得装置、高さ情報取得方法、及びプログラム
WO2019244275A1 (ja) 観察装置
JP2015210396A (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
JP7369801B2 (ja) 顕微鏡システム、設定探索方法、及び、プログラム
JP2007279085A (ja) 共焦点顕微鏡
JP2009293969A (ja) 分光測定装置および方法
JP2019215437A (ja) 顕微鏡、方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180416

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190604

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190628

R151 Written notification of patent or utility model registration

Ref document number: 6552041

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250