JP5971621B2 - 顕微鏡システム - Google Patents

顕微鏡システム Download PDF

Info

Publication number
JP5971621B2
JP5971621B2 JP2015070899A JP2015070899A JP5971621B2 JP 5971621 B2 JP5971621 B2 JP 5971621B2 JP 2015070899 A JP2015070899 A JP 2015070899A JP 2015070899 A JP2015070899 A JP 2015070899A JP 5971621 B2 JP5971621 B2 JP 5971621B2
Authority
JP
Japan
Prior art keywords
illumination
light
subject
image
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015070899A
Other languages
English (en)
Other versions
JP2015129972A (ja
JP2015129972A5 (ja
Inventor
大木 裕史
裕史 大木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2015070899A priority Critical patent/JP5971621B2/ja
Publication of JP2015129972A publication Critical patent/JP2015129972A/ja
Publication of JP2015129972A5 publication Critical patent/JP2015129972A5/ja
Application granted granted Critical
Publication of JP5971621B2 publication Critical patent/JP5971621B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Microscoopes, Condenser (AREA)
  • Liquid Crystal (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)

Description

本発明は、観察に適した照明光の強度分布を導き出して形成する顕微鏡システムに関する。
明視野顕微鏡では、照明光の強度分布の調整を円形の絞りを可変させて調整する。また、観察者の判断で絞りの形状を選択して使用することもあった。位相差顕微鏡では、リング絞り及び位相リングが照明光の強度分布を形成している。
照明光の強度分布は被検体の観察像に大きな影響を及ぼすため、円形の絞り、リング絞り及び位相リング等に改良を加えて被検体の観察画像をより良いものにするような工夫がされている。例えば、特許文献1では位相リングのリング状に設けられたリング領域を取り囲むように変調部を設け、変調部と変調部以外の領域との透過軸の方向が異なるように形成することによりコントラストを連続可変可能な位相差顕微鏡が示されている。
特開2009−237109
しかし、上記のような顕微鏡では、絞りの形状がある程度決まっており、照明光の強度分布の調整には制限があった。また、絞りの形状を選ぶ場合も観察者の判断又は経験を元にして選ぶため、必ずしも絞りの形状が観察中の物体の像を最良の状態で観察できる形状になっているわけではなかった。さらに位相差顕微鏡では、リング絞りと位相リングの位置は固定されているために形状を自由に選ぶことができず、観察中の物体の像を最適の状態で観察することが困難であった。
そこで本発明は、被検体を観察するために適した照明光の強度分布を導き出して形成する顕微鏡システムを提供する。
第1観点の顕微鏡システムは、被検体を観察する光学式の顕微鏡システムであって、被検体の透過光又は反射光を結像する結像光学系と、照明光を被検体に照射する照明光源と、結像光学系の瞳の共役位置における照明光の強度分布を可変する第1空間光変調素子を有し、照明光源からの光を被検体に照射する照明光学系と、結像光学系を介した光を検出するイメージセンサと、イメージセンサで検出される出力データと第1空間光変調素子で形成される照明光の強度分布とに基づき被検体の観察に適した照明光の強度分布を計算するための計算部と、を備える。
本発明によれば、観察中の物体の像を良い状態で観察するために適した照明光の強度分布を導き出して形成する顕微鏡システムが提供される。
顕微鏡システム100の概略構成図である。 (a)は、第1空間光変換素子90が液晶パネル93である場合の概略構成図である。 (b)は、第1空間光変換素子90がデジタルマイクロミラーデバイス(DMD)94である場合の概略構成図である。 適した照明領域91を見つける山登り法のフローチャートである 表示部21の領域設定部22及びパラメータ設定部23の図である。 第1空間光変換素子90の照明領域91を設定する場合の表示部21の図である。 第1空間光変換素子90で形成された照明領域91概略平面図である。 遺伝的アルゴリズムを用いたフローチャートである。 (a)は、大きな直径の円状の照明領域91を有する第1空間光変換素子90の概略平面図である。 (b)は、小さな直径の円状の照明領域91を有する第1空間光変換素子90の概略平面図である。 (c)は、円環状の照明領域91を有する第1空間光変換素子90の概略平面図である。 (d)は、4つの小さな円形の照明領域91が光軸に対して軸対称に配置された照明領域91を有する第1空間光変換素子90の概略平面図である。 (e)は、2つの四角形の照明領域91を有し、光軸に対して軸対称に配置された照明領域91を有する第1空間光変換素子90の概略平面図である。 (f)は、照明領域91が非軸対称に形成されている第1空間光変換素子90の概略平面図である。 (a)は、図7(a)と図7(b)との組み合わせ例を示した図である。 (b)は、図7(a)と図7(d)との組み合わせ例を示した図である。 被検体60の位相情報の推定方法1のフローチャートである。 表示部21のパラメータ設定部23に示された物体情報取得画面23dの図である。 被検体60の微細構造情報の推定方法のフローチャートである。 被検体60の照明光の波長に対する性質の情報の推定方法を示したフローチャートである。 被検体60の位相情報の推定方法2のフローチャートである。 第1空間光変換素子90の概略図が示された表示部21の図である。 顕微鏡システム200の概略構成図である。 物体の空間周波数情報検出方法のフローチャートである。 (a)は、被検体60が集積回路(IC)である場合の第2イメージセンサ280で検出された瞳273の像の画像が示された表示部21の図である。 (b)は、被検体60が生体である場合の第2イメージセンサ280で検出された瞳273の像の画像が示された表示部21の図である。 (c)は、被検体60が生体である場合の第2イメージセンサ280で検出された赤・青・緑の各波長における瞳273の像の画像が示された表示部21の図である。 (a)は、顕微鏡システム300の概略構成図である。 (b)は、第1空間光変調素子390の平面図である。 (c)は、第2空間光変調素子396の平面図である。
(第1実施例)
第1実施例として、絞りの形状を自由に変えることができ、さらに観察中の物体の像を良い状態で観察するために適した照明光の強度分布を導き出して自動的に調整される顕微鏡システム100について説明する。
<顕微鏡システム100>
図1は、顕微鏡システム100の概略構成図である。顕微鏡システム100は主に、照明光源30と、照明光学系40と、ステージ50と、結像光学系70と、イメージセンサ80と、計算部20と、を有している。以下、照明光源30から射出される光束の中心軸をZ軸方向とし、Z軸に垂直で互いに直交する方向をX軸方向及びY軸方向として説明する。
照明光源30は、例えば被検体60に白色の照明光を照射する。照明光学系40は、第1コンデンサレンズ41、波長フィルタ44、第1空間光変調素子90及び第2コンデンサレンズ42を備えている。また、結像光学系70は対物レンズ71を備えている。ステージ50は、例えば細胞組織等の未知の構造を有する被検体60を載置してXY軸方向に移動可能である。また、結像光学系70は、被検体60の透過光又は反射光をイメージセンサ80に結像させる。
照明光学系40の第1空間光変調素子90は、例えば照明光学系40の中の結像光学系70の瞳の位置に対して共役となる位置に配置され、結像光学系70の瞳の共役位置における照明光の強度分布を可変することができる。また、第1空間光変調素子90は自由に形状及び大きさを変化させることができる照明領域91を有しており、照明領域91の大きさ又は形状を変えて、照明光の強度分布を任意に可変させることができる。また波長フィルタ44は、透過する光束の波長を特定の範囲内に制限する。波長フィルタ44には、例えば特定範囲の波長の光のみを透過するバンドパスフィルタが用いられる。波長フィルタ44は脱着が可能であり、複数のそれぞれ異なる波長の光を透過するバンドパスフィルタを用意してその入れ替えを行うことにより波長フィルタ44を透過する光の波長を制御することができる。
計算部20は、イメージセンサ80で検出される出力データを受信してモニター等の表示部21に表示させる。さらに出力データを解析し、被検体60の観察に適した照明光の強度分布を計算する。また、計算部20は、第1空間光変調素子90の照明領域91の制御及び駆動等及び波長フィルタ44を透過する光束の波長範囲の制御を行うことができる。
図1では、照明光源30から射出された光が点線で示されている。照明光源30から射出された光LW11は第1コンデンサレンズ41で平行な光LW12に変換される。光LW12は、波長フィルタ44を透過することにより波長の範囲が特定されて第1空間光変調素子90に入射する。第1空間光変調素子90の照明領域91を通過した光LW13は第2コンデンサレンズ42を透過して光LW14になり、ステージ50に向かう。ステージ50を透過した光LW15は結像光学系70を透過して光LW16となり、イメージセンサ80に被検体60の像を形成する。
イメージセンサ80で検出された被検体60の像は出力データとして計算部20に送られる。計算部20は、イメージセンサ80から得られた出力データ、波長フィルタ44の透過波長及び第1空間光変調素子90により形成される照明領域91の形状データに基づいて被検体60の構造を推定し、被検体60の観察に適した照明形状、つまり照明光の強度分布を計算する。そして、計算された被検体60の観察に適した形状は第1空間光変調素子90に送信され、照明領域91は被検体60の観察に適した照明形状に整形される。また同様に、被検体60の観察に適した照明光の波長も計算部20により計算されて、波長フィルタ44に被検体60の観察に最適なバンドパスフィルタが選択される。
<照明光学系40>
第1空間光変換素子90には、液晶パネル93及びデジタルマイクロミラーディバイス(DMD)94等を用いることができる。これらを用いた場合の第1空間光変換素子90について図2を用いて説明する。
図2(a)は、第1空間光変換素子90が液晶パネル93である場合の概略構成図である。液晶パネル93は、例えば、液晶フィルム93aと第1偏光フィルム93bと第2偏光フィルム93cとにより構成される。液晶フィルム93aには液晶材が充填され薄膜トランジスタ(TFT)等の電極が形成されており液晶フィルム93aの任意の箇所に電圧をかけることができる。照明光源30から発せられた光LW11は第1コンデンサレンズ41で平行な光LW12に変換され、波長フィルタ44により波長の範囲が特定されて、第1偏光フィルム93bで一方向に偏光された光LW12aのみに制限される。光LW12aは液晶フィルム93aで、液晶フィルム93aに電圧がかけられて90度偏光された光LW12cと、液晶フィルム93aに電圧がかけられずに偏光されない光LW12bとに変換される。第2偏光フィルム93cは第1偏光フィルム93bを透過する光の90度偏光された光のみを透過するように配置されている。そのため、第2偏光フィルム93cは光LW12cのみが第2偏光フィルム93cを透過して光LW13が透過される。液晶パネル93では、液晶フィルム93aの電圧をかける位置を制御することにより照明領域91が任意の形状に形成される。
図2(b)は、第1空間光変換素子90がデジタルマイクロミラーデバイス(DMD)94である場合の概略構成図である。DMD94の表面には小さい複数の可動反射ミラー(不図示)の集合体により形成されており、各ミラーはそれぞれ独立に動かすことができる。照明光源30から発せられた光LW11は第1コンデンサレンズ41で平行な光LW12に変換され、波長フィルタ44により波長の範囲が特定されて、DMD94の全体に照射される。DMD94の領域94aに配置されている可動反射ミラーを光LW11が被検体60に反射される向きに向けられた場合、光LW13aが被検体60に照射される。第1空間光変換素子90にDMD94を使用する場合には、どの位置の可動反射ミラーを動かすかを制御することにより、被検体60に対して任意の形状に光を照射することができる。これは、図1に示された第1空間変調素子90の照明領域91が任意の形状に形成されることに相当する。
第1空間光変換素子90には、エレクトロクロミック素子を使用してもよい。エレクトロクロミック素子は主に、TFT等の透明電極とエレクトロクロミック層とを組み合わせた積層構造から成っている。エレクトロクロミック層は、電圧が印加されるとその電圧が印加された領域には可逆的に電解酸化または還元反応が起こり、光を透過する状態及び光を透過しない状態を可逆的に変化させることができる。そのため、エレクトロクロミック素子では、エレクトロクロミック層の電圧をかける位置を制御することにより照明領域91が任意の形状に形成される。エレクトロクロミック素子の構造や動作の詳細は、例えば特開平8−220568に開示されている。
また第1空間光変換素子90には、電気刺激の印加によって透過率等の特定の光学特性が変化する電気活性材料が封入され、TFT等の電極が形成された複数の空間を有する光学素子を用いても良い。この光学素子は密封封止されアレイ状に形成されたセルを有しており、各セルには電気活性材料が封入されている。各セルには電極が形成されてセルごとに独立に電圧をかけることができるようになっており、セルにかかる電圧を制御することによりセルを光が透過する状態及び光を透過しない状態を可逆的に変化させることができる。この光学素子では、どのセルに電圧をかけるかを制御することにより照明領域91が任意の形状に形成される。この光学素子の構造や動作の詳細は、例えば特表2010−507119に開示されている。
波長フィルタ44は図1では第1コンデンサレンズ41と第1空間光変調素子90との間に配置されているが、イメージセンサ80で特定の波長の光を検出することが目的であるため照明光源30とイメージセンサ80との間のどの位置に配置されていても良い。
また、波長フィルタ44及び照明光源30に白色の照明光を照射する光源を用いる代わりに、照明光源30にLED(発光ダイオード)等を用いても良い。照明光源30がLEDにより構成される場合は、例えば赤、青、緑の各波長の光を発するLEDの組み合わせにより構成されることができる。各波長のLEDの点灯及び消灯を計算部20によって制御することにより照明光源30が発する光の波長を制御する。このようにして、LED光源を波長フィルタ44と白色の照明光源との組み合わせの代わりとすることができる。さらに、イメージセンサ80にCCD及びCMOS等の受光波長の異なる受光素子を複数有している撮像素子を用いてもよい。この場合は、例えば赤の波長を有する光を受光する受光素子の信号のみを取り出すことにより、被検体60を透過した赤の波長の透過光を得ることができる。
<<照明形状(照明光の強度分布)導出方法>>
被検体60の観察に適した照明形状を計算する方法を以下に説明する。計算方法は焼きなまし法、タブーサーチなど幾つかある。以下、山登り法(最急勾配法)と遺伝的アルゴリズムを用いた方法との2つの方法について説明する。
<山登り法>
山登り法は、最初に設定された照明形状を少しずつ変化させていき、変化ごとに画像の出力データを取得して、この出力データが観察者によって設定された条件に最も近くなる条件を探していく方法である。図3を参照しながら以下に説明する。
図3は、照明形状を少しずつ変化させて適した照明形状を見つける山登り法のフローチャートである。
ステップS101では、まず第1空間光変換素子90の照明領域91が初期設定の大きさ及び形状に設定される。例えば初期設定の照明領域91は円形で最大口径である。その状態で、被検体60の像がイメージセンサ80で検出される。被検体60の像の検出は、照明領域91の形状及び大きさを調整する前に、基準となる画像の取得が目的である。イメージセンサ80で検出された被検体60の像の画像の出力データは計算部20に送られ、計算部20に接続されたモニター等の表示部21に被検体60の画像が映し出される。
ステップS102は、表示部21上の領域設定部22(図4A参照)で観察像の観察領域24(図4A参照)が設定される。ステップS101により、領域設定部22には被検体60の画像が映し出される。領域設定部22及び観察領域24の詳細は図4Aで説明される。
ステップS103では、被検体60の観察像を形成するためのパラメータが設定される。パラメータ設定部23(図4A参照)において、観察者は、被検体60の観察像に関する観察者の要望及び許容される観察条件を入力するためのパラメータを設定することができる。以下、図4Aを参照して表示部21の表示例について説明する。
図4Aは、表示部21の領域設定部22及びパラメータ設定部23の図である。表示部21は、マウス及びタッチバッド等により入力を行うGUI(グラフィカルユーザインターフェース)により形成されることが望ましい。GUIは観察者が感覚的に操作を行うことができて操作が容易である。表示部21は、例えば領域設定部22とパラメータ設定部23とを表示することができる。領域設定部22には被検体60の像が表示され、観察者が希望する観察領域を設定することができる。また、パラメータ設定部23では、観察者が希望する観察条件の設定等を入力することができる。例えば、パラメータ設定部23には観察条件設定項目表示画面23aが表示される。観察条件設定項目表示画面23aでは、例えば領域設定、空間周波数帯域設定、波長帯域設定等の項目が表示される。領域設定が選択された場合、表示部21の画面は領域設定画面22aに切り替わる。また、空間周波数帯域設定および波長帯域設定が選択された場合、表示部21の画面はそれぞれ空間周波数帯域設定画面23b及び波長帯域設定画面23cに切り替わる。
領域設定部22は、例えば領域設定画面22aのように表わされる。領域設定部22には、ステップS101で検出された被検体60の画像が表示される。観察者は被検体60の観察像の観察領域24を設定することができる。例えば観察者は被検体60の全体を観察領域24として設定してもよいし、被検体60の一部のみを設定してもよい。さらに、領域設定部22では、一度に2以上の観察領域24が設定されてもよい。また、領域設定部22は、観察者が観察領域24を設定しやすいように、光学的でなく電気的に被検体60を拡大させて表示させてもよいし、被検体60の画像を縮小して被検体60の全体像を表示させても良い。また、観察領域24は、パラメータ設定部23で設定されたパラメータを反映させる領域として設定される。
また、観察領域24は計算部20により自動で設定されても良い。例えばステップS101において取得した画像出力データのコントラストを求め、コントラストが高い領域及び低い領域を大別する。そして、図4Aの領域設定画面22aにおいてコントラストが低い領域が観察領域24として自動的に設定され、この観察領域24において観察条件を最適化していくことができる。この例では、コントラストは高い領域及び低い領域に大別したが、この2つに限らずコントラストの閾値を適時設定してコントラストが中程度の領域を含む3つ以上の領域に分けるようにしても良い。またこの例ではコントラストが低い領域が観察領域24として設定されたが、これに代えてコントラストが高い領域又は中程度の領域が設定されても良い。さらに、観察領域24の設定はコントラストに基づく方法に限らない。例えば、後述する物体の空間周波数情報の検出方法により導かれる空間周波数等に基づいて観察領域24が自動的に設定されても良い。
空間周波数帯域設定画面23bでは、観察者が希望する被検体60の空間周波数帯域を設定することができる。空間周波数帯域の設定は図4Aに示すように、観察者が数値を入力することによって行っても良いし、複数の選択肢の中から観察者が希望する空間周波数帯域を選択できるようにしても良い。また波長帯域設定画面23cでは、観察者が使用したい又は観察したい光の波長帯域を設定することができる。例えば、後述する物体情報の推定方法1において被検体60の観察に適した波長が推測されている場合には、波長帯域設定画面23cでその波長を設定することができる。波長帯域の設定は図4Aに示すように、観察者が数値を入力することによって行っても良いし、複数の選択肢の中、例えば赤、緑、青等の中から観察者が希望する波長帯域を選択できるようにしても良い。
なお、観察者が観察領域24の設定を望まない場合には、ステップS102をスキップしてもよい。この場合には、イメージセンサ80で検出される被検体60の像全体が観察領域24として設定される。
パラメータは、観察者の要望する条件又は観察者の許容する条件を、図4Aに示したように観察者が表示部21のパラメータ設定部23を使って設定する。設定されるパラメータは、例えば、高いコントラストで観察したい被検体60の特定の場所もしくは被検体60の特定の空間周波数領域等がある。例えば、ステップS102で設定された観察領域24を濃淡(明暗)をつけて観察したい又は観察領域24を細かい像まではっきりを観察したいと要望した場合には、観察者は波長帯域及び空間周波数帯域を設定することができる。
さらに観察者は1つのパラメータとして、照明領域91を初期設定することもできる。例えば後述するステップS104において初めに使用する照明領域91の形状を初期設定することができる。また、ステップS101において、被検体60に好ましい照明領域91の形状が推測できる場合等は、その照明領域91の形状を初期設定として使用してもよい。照明領域91の形状を初期設定することにより、照明領域91の形状を最終的に決定するまでの時間を短縮することができる。観察者が照明領域91を初期設定する場合の例を、図4Bを参照して説明する。
図4Bは、第1空間光変換素子90の照明領域91を初期設定する場合の表示部21の図である。図4Bには、表示部21の右側と左側との2カ所にパラメータ設定部23が形成されている。右側のパラメータ設定部23には点線で第1空間光変換素子90の平面図が表示されている。また、図4Bには斜線で遮光部92と遮光部92内に形成されている照明領域91とが示されている。さらに図4Bには第1空間光変換素子90の中心軸が認識できるように、座標線97が示されている。観察者は、第1空間光変換素子90の照明領域91の形状を自由に初期設定することができる。照明領域91の形成は、例えば、図4Bの左側のパラメータ設定部23に照明領域91の形状サンプルを示しておいてその中から好きな照明領域91を選択しても良いし、好きな照明領域91を自由に描画して形成しても良い。また、この照明領域91は、第1空間光変換素子90の中心軸に配置される必要はない。つまり、観察者は、図4Bに示されるように、照明領域91を中心軸から離れた位置に設定してもよい。さらに、一度に2以上の照明領域91が設定されてもよい。
図4A又は図4Bに示された画面は、ウィンドウ表示で選択的に表示部21に表示される。また、表示部21は領域設定部22またはパラメータ設定部23のみを表示させても良い。
図3に戻って、ステップS104は、計算部20が第1空間光変換素子90の照明領域91の大きさを変化させる。ステップS103で観察者が照明領域91を設定した場合には、計算部20は、その設定された照明領域91を初期設定値として、照明領域91の大きさを変化させる。ステップS103で照明領域91が設定されなかった場合には、計算部20は、ステップS101で設定した初期設定値の照明領域91の大きさをわずかに変化させる。つまり照明光の強度分布をわずかに変化させる。
図5を参照して、照明光の強度分布の変化を説明する。図5は、第1空間光変換素子90の概略平面図である。図5では、第1空間光変換素子90の遮光部92の中心部に円形の照明領域91が形成されている。図5は、ステップS103で照明領域91が第1空間光変換素子90の中央部に直径がW13の円として初期設定された場合の例である。
遮光部92の直径はW11であり、初期設定の照明領域91の直径はW13である。そしてステップS104で照明領域91の大きさが僅かに変化され、照明領域91の直径はW12になっている。図5の例では、計算部20は、照明領域91の直径を直径W13から直径W13よりも僅かに大きい直径W12へ変化させ、照明光の強度分布を相似のまま変化させている。
ステップS105では、イメージセンサ80はで被検体60の像が検出される。例えば、図5において、直径W12に変化した照明領域91の条件下で、被検体60の像をイメージセンサ80で検出し出力データを計算部20に送る。
ステップS106では、今回計算部20に送られてきた出力データが前回の出力データよりも悪いか否かを判断する。例えば、図4(a)に示した表示部21の領域設定部22で観察領域24を設定し、この観察領域24のコントラストを上げたい旨の設定をパラメータ設定部23で行ったと仮定する。今回得られた出力データ(例えば照明領域91が直径W12の場合)に基づいて計算されたコントラストが、前回得られた出力データ(例えば照明領域91が直径W13の場合)に基づいて計算されたコントラストよりも悪いかを比較する。悪くなっていなければステップS104に戻り照明領域91の直径を変化させ、その出力データを検出する(ステップS105)。つまり、観察領域24のコントラストが上がっているためステップS104に戻って照明領域91の大きさを更に変化させる。一方、コントラストが前回より今回が悪くなっていれば、前回の照明領域91の直径のときが最もコントラストが高いことになる。そこで次のステップS107に進む。
ステップS107は、被検体60の観察に適した照明形状が選択される。つまり、観察領域24のコントラストが悪くなる直前に使用された照明形状が被検体60の観察に適した照明形状であるとして、被検体60の観察に使用される。
上記フローチャートのステップS104において、照明領域91の大きさは相似形で変化した。しかし相似形に変えるのみではなく、形状自体を変化させることにより行っても良い。例えば、円形の照明領域91を最終的に三角形になるように少しずつ形状させたり、円形の照明領域91を最終的に所定幅の円環状になるように少しずつ形状させたりすることもできる。
<遺伝的アルゴリズムを用いた方法>
次に遺伝的アルゴリズムを用いた方法について説明する。遺伝的アルゴリズムは、あらかじめ用意された複数の照明形状のそれぞれについて画像データを取得し、その中で被検体60の観察に適した照明形状同士の組み合わせを行うことにより照明形状を探していく方法である。
図6は、遺伝的アルゴリズムを用いたフローチャートである。
まず、ステップS201で、まず第1空間光変換素子90の照明領域91が初期設定の大きさ及び形状に設定される。例えば初期設定の照明領域91は円形で最大口径である。その状態で、被検体60の像がイメージセンサ80で検出される。
ステップS202は、領域設定部22で観察像の観察領域24を設定する。ステップS201により、領域設定部22には被検体60の像の画像が映し出される。
ステップS203は、被検体60の観察像を形成するためのパラメータが設定される。パラメータ設定部23において、観察者は、被検体60の観察像に関する観察者の要望及び許容される観察条件を入力するためのパラメータを設定することができる。図4Aに示されたパラメータと同じように、設定されるパラメータは、例えば、被検体60の特定の場所、被検体60の空間周波数帯域及び波長帯域等がある。しかし、図4Bのように、観察者が第1空間光変換素子90の照明領域91を設定することはない。計算部20が任意に照明領域91を初期設定する。
ステップS204では、2以上の複数の初期照明形状を用いて被検体60の像がイメージセンサ80で検出される。そして、計算部20は、複数の照明形状を用いて被検体60を測定した像の画像の各出力データを入手する。図7を参照して複数の照明形状の例を説明する。
図7には、第1空間光変換素子90の様々な照明形状の図を示している。図7では、白抜きの部分が照明領域91、斜線領域が遮光領域92として示されている。
図7(a)は、大きな直径の円状の照明形状を有する第1空間光変換素子90の概略平面図である。第1空間光変換素子90の照明形状は、図7(a)に示すように、照明光学系の光軸に対して軸対称な円形であることができる。図7(b)は、小さな直径の円状の照明形状を示した第1空間光変換素子90の概略平面図である。図7(b)は図7(a)と照明形状の大きさのみが異なる照明光学系40の光軸に対して軸対称な円形である。第1空間光変換素子90の照明形状は、図7(b)に示すように他の図形と相似な形状の図形を含んでいても良い。図7(c)は、大きな円環状の照明形状を有する第1空間光変換素子90の概略平面図である。図7(c)は、図7(a)の大きな円状の照明形状において中心部分が遮光されている。
また、図7(d)は、4つの小さな直径の円形の照明領域91が光軸に対して軸対称に配置された照明形状を有する第1空間光変換素子90の概略平面図である。図7(e)は、2つの四角形の照明領域91を有し、光軸に対して軸対称に配置された照明形状を有する第1空間光変換素子90の概略平面図である。
図7(f)は、照明領域91が光軸に対して非軸対称に形成されている第1空間光変換素子90の概略平面図である。図7(f)では、第1空間光変換素子90の照明形状が三日月形に形成されており、光軸に対して非軸対称になっている。通常、非軸対称の照明領域91は傾斜照明になることが多いため被検体60のコントラストを上げることができる。しかし、非軸対称の照明領域91は物体の一部のみのコントラストを上げて偏った画像となり、被検体60の全体の観察には適さないことがある。そのため、遺伝的アルゴリズム用に、図4(a)に示した表示部21のパラメータ設定部23において、非軸対称の開口の使用の有無を選択できるようになっていることが望ましい。
図6に戻って、ステップS205では、ステップS204で入手した被検体60の画像の各出力データを比較し、この中で最も設定したパラメータに適した照明形状により形成される第1照明光強度分布と2番目に適した照明形状により形成される第2照明光強度分布とが選択される。
ステップS206では、計算部20が、遺伝的アルゴリズムの交叉又は突然変異の手法によって第1照明強度分布と第2照明強度分布とから次世代の照明光強度分布を有する照明形状を形成する。次世代の照明光強度分布を有する照明形状の形成例を、図8を参照して説明する。
図8(a)は、図7(a)と図7(b)との第1空間光変換素子90の組み合わせ例を示した図である。ステップS205において、第1照明光強度分布が図7(a)に示した大きな直径の円状の照明形状であり、第2照明光強度分布が図7(b)に示した小さな直径の円状の照明形状であった場合である。計算部20はこの2つを交叉(組み合わせ)させることにより複数の新たな照明形状を形成することができる。形成された照明形状は、例えば図7(a)の照明領域91よりも僅かに小さい直径の照明領域91を有する第1空間光変換素子90a、図7(b)の照明領域91よりも僅かに大きい直径の照明領域91を有する第1空間光変換素子90b、照明領域91が楕円状に形成されている第1空間光変換素子90c等がある。
図8(b)は、図7(a)と図7(d)との第1空間光変換素子90の組み合わせ例を示した図である。ステップS205において、第1照明光強度分布が図7(a)に示した大きな直径を円状の照明形状であり、第2照明光強度分布が図7(d)に示した4つの小さな円形の照明領域91が光軸に対して軸対称に配置された照明形状であった場合である。計算部20はこの2つを交叉(組み合わせ)させることにより、例えば4つの円環の一部が光軸に対して軸対称に配置された照明領域91を有する第1空間光変換素子90d、照明領域91が「×」の形状に形成された第1空間光変換素子90e等が形成されることができる。
図8(a)及び図8(b)は、組み合わせの一つの例である。実際は第1空間光変換素子90の形状はランダムに形成されるため、新たに形成される照明領域91の形状は無数に存在する。新たに形成される照明領域91の形状の数は幾つでも良い。また、他の方法で組み合わせることも可能である。例えば、第1空間光変換素子90を細かい複数の領域に分けて、各領域対して組み換え及び突然変異等の操作を行っても良い。また独自の関数を作成し、その関数に従って組み合わせを行っても良い。
図6に戻って、ステップS207では、第1照明強度分布、第2照明強度分布及び次世代の照明強度分布から新たに被検体60の観察に最適な第1照明強度分布と2番目に最適な第2照明強度分布とが選択される。
ステップS208では、所定の世代、例えば1000世代まで交叉又は突然変異が行われたかを判断する。所定の世代まで交叉等が行われていない場合はステップS206に戻ってより被検体の観察に適した照明強度分布を探索していく。所定の世代まで交叉等が行われればステップS209に進む。
ステップS209では、所定の世代、例えば1000世代までの交叉等で得られた照明領域91から、観察者が要望した条件に近い世代の照明形状が選択される。以降、その世代の照明形状の第1空間光変換素子90が被検体60の観察に使用される。
<<物体情報の推定方法1>>
被検体60の構造又は性質が未知の場合には、被検体60に最適な照明形状を導出する前に被検体60の構造又は性質の情報を取得しておくことが望ましい。被検体60の構造又は性質を最適な観察条件を推定する場合の参考とすることで、より短時間で確実に最適な観察条件を求めることができるためである。以下に被検体60の位相情報、微細構造の情報、及び照明光の波長に対する性質の情報の推定方法を説明する。
<物体の位相情報の推定方法1>
第1空間光変換素子90の照明領域91の形状を変えて被検体60を観察することにより、被検体60がコントラストが高い強度物体であるか、コントラストが低い位相物体であるかを推定することができる。被検体60が位相物体であるか強度物体であるか否かはコヒーレンスファクタ(σ)値が異なる光を被検体60に照射することにより推定することができる。σ値は、σ=NA’/NAにより定義される。NA’は照明光学系40の開口数であり、NAは対物レンズ71の開口数である。照明光学系40の開口数NA’は第1空間光変調素子90の照明領域91の形状を変えることにより制御することができる。NA’は、照明領域91を点形状にする(以下、点光源という。)ことによってσ値は0とみなすことができる。また、第1空間光変調素子90の照明領域91を直径の大きな円形状としたときにNA’は1となる。
図9Aは、被検体60の位相情報の推定方法1のフローチャートである。
まず、ステップS301で、観察者が、図9Bの表示部21に示された物体情報取得画面23eの位相情報を選択する。
図9Bは、物体情報の推定方法を行う場合の表示部21の領域設定部22及びパラメータ設定部23の図である。まず、表示部21のパラメータ設定部23には物体情報取得画面23dが表示される。観察者は、物体情報取得画面23dで物体の位相情報の推定方法1を行う場合は物体情報検出1を選択し、後述する物体の位相情報の推定方法2を行う場合は物体情報検出2を選択し、物体の位相情報の推定方法1及び物体の位相情報の推定方法2の両方を行う場合は一括測定を選択する。物体の位相情報の推定方法1が選択された場合は物体情報取得画面23eに切り替わり、物体の位相情報の推定方法2が選択された場合は物体情報取得画面23fに切り替わる。さらに、物体情報取得画面23gは、物体情報取得画面23eから切り替わる画面である。
物体情報取得画面23eでは、位相情報1、微細構造、波長に対する性質及び一括測定の項目が表示されている。ここで、位相情報1が選択された場合は計算部20は物体の位相情報の推定方法1を行い、微細構造が選択された場合は計算部20は物体の微細構造の情報の推定方法を行い、波長に対する性質が選択された場合は計算部20は物体の波長に対する性質の情報の推定方法を行う。また、一括測定が選択された場合は、これらの項目の全ての推定が計算部20によって行われる。各選択項目が選択された後は、自動で選択された項目の情報が取得される。
図9Aに戻って、ステップS302で、第1空間光変調素子90の照明領域91の形状が点光源(σ≒0)に形成され、その点光源の照明による被検体60の像がイメージセンサ80で検出される。照射光がコヒーレントな状態の場合は、被検体60が位相物体であっても強度物体であっても被検体60にコントラストが観察される。
次に、ステップS303で、第1空間光変調素子90の照明領域91の形状が直径の大きな円形状(σ≒1)に形成され、その大きな円形状の照明による被検体60の像がイメージセンサ80で検出される。照射光がインコヒーレントな状態の場合は、被検体60が強度物体であるときは被検体60にコントラストがあって観察できるが、被検体60が位相物体であるときは被検体60にはコントラストがなく観察することができない。
次に、ステップS304で、被検体60が位相物体であるか強度物体であるかが推定される。ステップS302で検出されたコヒーレントな光による像と、ステップS303で検出されたインコヒーレントな光による像とに変化が無い場合は、被検体60は強度物体であると推定される。ステップS302で検出されたコヒーレントな光による像と、ステップS303で検出されたインコヒーレントな光による像とが異なる場合は、被検体60は位相物体であると推定される。
次に、ステップS305で、被検体60の観察に適した照明領域91の形状が推定される。位相物体に対しては、計算部20は、第1空間光変調素子90の照明領域91の形状照明領域91の形状を小さく又は傾斜照明(例えば図7(f)参照)とする。被検体60が位相物体であると、照明領域91の形状を小さく又は傾斜照明が被検体60の観察に適しているからである。また、被検体60が強度物体であった場合には、計算部20は、第1空間光変調素子90の照明領域91の円の直径が大きくする。光量が多い方が強度物体は観察しやすいからである。
<物体の微細構造情報の推定方法>
被検体60に微細な構造が含まれているか否かに関しても、第1空間光変換素子90の照明領域91の形状を変えて被検体60を観察することにより推定することができる。
図9Cは、被検体60の微細構造情報の推定方法のフローチャートである。まず、ステップS311で、観察者が、図9Bの表示部21に示された物体情報取得画面23eの微細構造情報を選択する。
次に、ステップS312で、第1空間光変調素子90の照明領域91の形状が点光源に形成され、被検体60の像がイメージセンサ80で検出される。第1空間光変調素子90の照明領域91の形状が点光源(σ=0)である場合は、被検体60が微細構造を含んでいた場合でもその微細構造は被検体60の像に表れない。
次に、ステップS313で、第1空間光変換素子90の照明領域91の形状が円環形状に形成され、被検体60の像がイメージセンサ80で検出される。このときの円環形状の外形は大きい方が好ましい。照明領域91の形状が円環形状である場合は、被検体60が微細構造を含んでいた場合にその微細構造が検出される。
次に、ステップS314で、被検体60が微細構造を含んでいるか否かが推定される。計算部20は、照明領域91を点光源にした場合と円環形状にした場合とで被検体60の像が変わらない場合には被検体60に微細構造が含まれていないと判断する。一方、計算部20は、照明領域91が点光源の場合と円環形状の場合とで被検体60の像の出力データが異なり、照明領域91が円環形状にして被検体60の像が検出される場合には被検体60に微細構造が含まれると判断する。
次に、ステップS315で、被検体60の観察に適した照明領域91の形状が推定される。例えば、被検体60が微細構造を有している場合は、照明領域91を円環形状等が好ましい。
<物体の照明光の波長に対する性質の情報の推定方法>
被検体60は、照明光の波長を変化させた場合に、被検体60の構造及び性質に起因して異なる出力データが示される場合がある。そのため、被検体60の照明光の波長に対する性質を把握しておくことが望ましい。
図9Dは、被検体60の照明光の波長に対する性質の情報の推定方法を示したフローチャートである。
まず、ステップS321で、観察者が、図9Bの表示部21に示された物体情報取得画面23eの波長に対する性質の情報を選択する。
次に、ステップS322で、被検体60に照射される照明光が単色光にされ、被検体60の像がイメージセンサ80で検出される。例えば、照明光源30に赤、青、緑の3色の光源を有するLEDが使用されているとして説明する。この場合は、例えば緑のLEDのみが点灯され、他の波長のLEDは消灯される。そして、被検体60の像がイメージセンサ80で検出される。
次に、ステップS323で、全ての波長で被検体60の像が検出されたかが判別される。例えば、赤、青、緑の各波長で被検体60の像を検出していた場合はステップS325に向かう。まだ被検体60の像を検出していない波長がある場合はステップS324に向かう。
次に、ステップS324で、照明光源30の波長に、まだ被検体60の像を取得していない波長が選択され、被検体60の像がイメージセンサ80で検出される。例えば、緑の波長による被検体60の像のみが取得されていた場合は、赤又は青のどちらかのみを点灯させ、他の波長のLEDは消灯される。この状態で、被検体60の像がイメージセンサ80で検出される。この後、またステップS323に戻って、全ての波長で被検体60の像が検出されたか否かが確認される。
ステップS325では、被検体60の照明光の波長に対する性質が推定される。上記のステップS322及びステップS324で検出された被検体60の像が比較される。例えば、計算部20は、青の波長で検出された被検体60の像が他の波長の被検体60の像よりもコントラストが良かった場合、被検体60は青の波長に対してコントラストが良いという判断する。
次に、ステップS326では、計算部20は、被検体60の観察に最適な波長の照明光が推定する。例えば、被検体60を最もコントラストを付けて観察したい場合であり、ステップS325において青の波長を用いた場合に、他の波長で検出された被検体60の像よりもコントラストが付いて観察された場合には、計算部20は、被検体60の観察には青の波長の照明光が適していると判断する。
この物体の照明光の波長に対する性質の情報の推定方法では、照明領域91の形状は任意の形状で良いが、上述された物体の位相情報の推定方法1及び物体の微細構造情報の推定方法と共に用いることにより、更に確実に物体の位相情報及び微細構造情報を推定することができる場合がある。この場合は、図9Bに示される物体情報取得画面23eで位相情報又は微細構造情報が選択された後に図9Bに示される物体情報取得画面23gに切り替わるようにようにして、波長を変化させるか波長を変化させないかを選択できるようにしても良い。
以上に示された物体情報の推定方法1を前述の照明形状導出方法の前に行うことで、照明形状の導出時間を短くすることもできる。
<<物体情報の推定方法2>>
図3及び図6に示したフローチャートではステップS103及びステップS203で被検体60の観察像を形成するためのパラメータが設定された。半導体の集積回路等の線幅のように、予め被検体60の物体情報が得られている場合は、その情報から観察者はパラメータを設定することができる。しかし、被検体60が生体等の場合は被検体60の物体情報が得られていない場合が多く、観察者はどのようにパラメータを設定すれば良いか分からない場合がある。また、物体情報の推定方法1により得られた情報ではまだ不足している場合もある。そのような場合は、照明形状を決める前にさらに詳しく物体情報を調べておいてもよい。以下に、物体の位相情報の推定方法2及び物体の空間周波数情報の検出方法を説明する。
物体情報の推定方法2は、観察者が図9Bの物体情報取得画面23dで物体情報検出2を選択することにより行われる。物体情報検出2が選択された後に、画面は物体情報取得画面23fに切り替わる。物体情報取得画面23fでは、位相情報2、空間周波数情報及び一括測定の項目が表示されている。ここで、位相情報2が選択された場合は物体の位相情報の推定方法2が行われ、物体の空間周波数情報の検出方法が行われる。また、一括測定が選択された場合は、これらの項目の全ての推定が行われる。各選択項目が選択された後は、自動で選択された項目の情報が取得される。
<物体の位相情報の推定方法2>
物体の位相情報は、第1空間光変調素子90の照明領域91が点光源となるように大きさを極小に設定し、照明光を単色光にして被検体60を測定することにより推定することができる。この単色光の波長は、物体情報の推定方法1等により被検体60の観察に最適な波長が推測されている場合には、その波長を照明光の波長とすることが望ましい。
物体の位相情報の推定方法2は、図9Bの物体情報取得画面23fで位相情報2が選択されることにより行われる。以下に、図10Aを用いて被検体60の位相情報の推定方法2について説明する。
図10Aは、被検体60の位相情報の推定方法2のフローチャートである。
まず、ステップS401で、観察者が図9Bの物体情報取得画面23fで位相情報2を選択する。その後、表示部21は後述する図10Bに示される画面に切り替わる。
まず、ステップS402で、観察者が図10Bの表示部21に示された画面を通して点光源の数及び各点光源の形成位置を指定する。以下に、図10Bを参照して点光源の数及び各点光源の形成位置の例を示す。
図10Bは、第1空間光変換素子90の概略図が示された表示部21の図である。図10Bは、表示部21の領域設定部22に点線で示した円31によって、第1空間光変換素子90を透過する光が最大口径になった状態が示されている。被検体60の位相情報の推定に用いられる点光源(σ≒0)は点光源または点光源と見なせる大きさに整形される。つまり、計算部20は点線で示した円31の内側に、第1空間光変換素子90に点状の照明領域91を形成させる。図10Bでは、表示部21のパラメータ設定部23で測定する点光源の数及び使用する光の波長を設定できるようになっている。点光源の数を5点とした場合、例えば円31の中心点(光軸上)とX軸及びY軸の正負の最大値を取る点とに計5点の点光源が形成される。また、光の波長は波長を入力することができるようになっている。波長は1つの波長のみが入力されても良いし、複数の波長が入力された場合は各波長についてそれぞれ5点の点光源の測定を行う。
円31の中心点の点光源を点光源32a、X軸の正負の最大値を取る点の点光源をそれぞれ点光源32b及び32d、Y軸の正負の最大値を取る点の点光源をそれぞれ点光源32c及び32eとして黒点で示されている。点光源は円31の最外周部付近に形成された点光源を含んでいることが望ましい。これは、被検体60に様々な角度からコヒーレントな光を入射することができ、斜め照明時の回折光を得ることができるためである。
なお、観察者が点光源の数及び各点光源の位置を設定するのではなく、計算部20が自動的に図10Bに示された点光源の数を5点に設定するようにしてもよい。
次に、ステップS403では、照明光の波長が単色にされ、第1空間光変換素子90が所定の位置で点光源を形成する。単色の照明光は、例えば白色の照明光源30に特定の波長の光のみを透過する波長フィルタ44により形成される。また、第1空間光変換素子90が図10Bに示されるような1つの点光源の大きさの照明領域91が形成される。点光源かつ単色波長の光はコヒーレントな状態にあり干渉性が高くなるため、被検体60の位相情報を推定するためには都合が良い。
ステップS404では、点光源かつ単色波長の光による被検体60の像がイメージセンサ80で検出される。
ステップS405では、計算部20は全ての点光源位置かつ単色波長の光による画像を取得したか否かが判断される。例えば、図10Bに示した5点の点光源の全てで測定されていない場合はステップS406に進む。指定した点光源の全てで測定された場合はステップS407に進む。
ステップS406で、計算部20は点光源となる照明領域91の位置が変えられる。例えば、ステップS404で図10Bの点光源32aを測定し、点光源32bを測定していない場合は、照明領域91の位置を点光源32bの位置のみに形成する。その後、ステップS404に進む。
ステップS407で、計算部20は被検体60の回折光を解析する。例えば、解析した回折光情報から、観察領域24に特定の空間周波数成分をもたらしている回折光の分布を知ることができ、それによってより効率的に観察に適した照明形状を探すことができる。
ステップS408で、計算部20により適した照明条件が設定される。また解析された回折光情報は表示部21に表示され、観察者はこの回折光情報を参考にして被検体60の位相情報を推定する。観察者は推定された位相情報から図3のステップS102及びステップS103、図6のステップS202及びステップS203で、観察領域24及びパラメータを設定することができる。
上記に示した被検体60の位相情報の推定方法2では、複数の波長についてそれぞれ測定されても良い。そのため図10Aに示されたフローチャートの中に図10Bで設定された全ての波長を測定したか否かを確認するステップが形成されても良い。
<物体の空間周波数情報の検出方法>
空間周波数は、被検体60の単位長さの繰り返しの周期を示している。つまり、同じ空間周波数が集まっている場所には似たような構造体が集まっている可能性が高い。そのため、被検体60の空間周波数の情報は、図3のステップS102及びステップS103、図6のステップS202及びステップS203における観察領域24及びパラメータの設定の参考になる。被検体60の空間周波数情報の検出は、結像光学系70の瞳の画像の出力データを取得することにより行う。また、被検体60の位相情報の推定方法2で述べたような単色波長の点光源を用いて被検体60を測定する。以下に、図11及び図12を用いて被検体60の空間周波数情報の検出方法について説明する。
図11は、顕微鏡システム200の概略構成図である。以下、図1で説明した顕微鏡システム100と同じ部材については同じ番号を付し、その部材の説明は省略する。
顕微鏡システム200は、顕微鏡システム100の瞳273の位置またはその近辺にビームスプリッター272が配置されている。また、顕微鏡システム200は、分岐された光LW21をリレーするリレーレンズ243及び瞳273の位置に共役な位置に配置された第2イメージセンサ280を有している。ビームスプリッター272は結像光学系70からの光を分岐する。分岐された光LW21はリレーレンズ243によって第2イメージセンサ280に入射する。光LW21は、リレーレンズ243を透過して光LW22となり、光LW22は第2イメージセンサ280上に瞳273の像を形成する。第2イメージセンサ280上に形成された瞳273の像の情報は計算部20に送られて解析される。
図12は、被検体60の空間周波数情報の検出方法のフローチャートである。
まず、ステップS501で、観察者が図9Bの物体情報取得画面23fで空間周波数情報を選択する。その後、表示部21は図10Bに示される画面に切り替わる。
次に、ステップS502で、観察者が表示部21を通して点光源(σ=0)の数及び各点光源の形成位置を指定する。
次に、ステップS503で、照明光の波長が単色にされ、所定の位置で点光源に近い大きさの開口が形成される。
ステップS502及びステップS503は、図10AのステップS402及びステップS403と同様である。また、形成する点光源も図10Bと同様に5つの点光源を形成する例を説明する。
ステップS504で、瞳273における被検体60の像を第2イメージセンサ280で検出する。例えば、ステップS503で図10Bに示された点光源32aが指定されたとすると、点光源32aのみを照明光源として被検体60の画像を第2イメージセンサ280で検出する。
図13(a)は、被検体60が集積回路(IC)である場合の第2イメージセンサ280で検出された瞳273の像の画像が示された表示部21の図である。画像は、例えば、表示部21の領域設定部22に表示される。図13(a)の中の点線で示した円233は、光の通過可能な範囲であるとする。第2イメージセンサ280で検出された画像データは、瞳273における光の強度分布である。光の強度分布は、例えば、図13の点234のように示すことができる。点234の位置は信号の検出位置であり、その大きさは点光源の大きさを反映している。図13(a)では、黒い点234は検出された信号が強く、白い点234は検出された信号が弱く、灰色の点234は検出された信号は黒い点234と白い点234との中間の強度であることを示している。点234は、実際は小さく表示されて大きさをほとんど持っていない。しかし、図13(a)では説明のために点234が大きさを持ち、その信号の強度を示すために点234の色が変えて示されている。図13(a)では、画像の右上の領域には黒い点234が集まっており、画面の左下の部分は白い点234が集まっている。これは、画面の右上の部分の空間周波数は大きく、左下の部分の空間周波数は小さいことを示している。またICは周期的な構造をしているため、第2イメージセンサ280で検出される点234は周期的に検出されやすい。
図13(b)は、被検体60が生体である場合の第2イメージセンサ280で検出された瞳273の像の画像が示された表示部21の図である。図13(b)では、第2イメージセンサ280で検出された点234が表示部21に示されている。図13(b)では、点234が大きさを持たない点として示されている。図13(b)に示されている点234は、図13(a)と同じように各点で異なる強度の信号を有している。被検体60が生体である場合は、図13(b)の点234で示されるように、点234が周期性を有しおらず、ランダムに示されることが多い。これは、図13(a)に示された周期的な構造を有するICよりも、生体には周期性を有する構造が少ないためである。
ステップS505で、全ての点光源の位置、例えば5点の光強度の情報を取得したか否かが判断される。全ての点光源の光強度の情報を取得していない場合はステップS506に向かう。全ての点光源の光強度の情報を取得した場合はステップS507に向かう。
ステップS506で、点光源となる照明領域91の位置が変えられる。例えば、ステップS504で図10Bの点光源32aを測定し、点光源32bを測定していない場合は、照明領域91の位置を、点光源32bの位置のみに形成する。その後、ステップS504に進む。
ステップS507で、被検体60のフーリエスペクトルを測定し、被検体60の空間周波数分布を求める。空間周波数分布は、図13に示されるように光の強度分布として示されても良いし、光の強度分布を空間周波数に変換して表示部21に示されても良い。被検体60の空間周波数分布から被検体60の構造の周期性が計算される。図13(b)で示されるように、被検体60の空間周波数分布がランダムである場合には、被検体60の構造の周期性が計算できない状態である。
ステップS508で、計算部20は被検体60の観察に適した照明条件が設定される。また、表示部21に結果を表示してもよい。観察者は、解析された被検体60の空間周波数情報に基づいて、表示部21でパラメータを設定したり観察領域24を設定したりすることができる(図4を参照)。図3のステップS102及びステップS103、図6のステップS202及びステップS203において、観察者はパラメータを設定したり観察領域24を設定したりする。例えば、特定の空間周波数の集まりは、同一の構造体を示す場合がある。この構造体のみを観察したい場合は、表示部21のパラメータ設定部23で、観察したい構造体の空間周波数を設定することにより、その空間周波数に合わせて被検体60の観察像を調整することができる。
以上のような方法により、被検体60情報を検出し、計算部20は被検体の観察に適した照明形状を自動的に設定することができるが、実施例には更に様々な変更を加えることができる。
例えば、図11に示した顕微鏡システム200では、2つのイメージセンサを同時に使用することにより結像面の像と瞳273の像との2つの情報を同時に取得することができるが、瞳273とイメージセンサ80との間に脱着可能なリレーレンズを挿入してイメージセンサ80上に瞳273に共役な像を形成することにより、一つのイメージセンサのみの使用で被検体60の空間周波数情報を取得することができる。
また、顕微鏡システム200では、顕微鏡システム200に干渉計を組んで瞳の干渉像を取得するような構成にすることで、瞳の振幅情報を調べ、被検体60の位相情報を取得することも可能である。干渉計は、被検体60を透過した物体光と、被検体60を透過していない参照光とを互いに干渉させて第2イメージセンサ280で干渉像を測定することにより物体のフーリエスペクトルを得ることができるため、物体の位相情報を取得することができる。干渉計を形成する場合は、照明光源30にレーザー等を使用することが望ましい。レーザーを使用することにより、単色の強い光を得ることができ、そのため点光源の大きさをより小さくできる。また、複数の照射方向から物体光の回折光と参照光との干渉像をイメージセンサ80で検出することにより、被検体60の三次元画像を形成することも可能である。干渉計を使用した顕微鏡の詳細は、例えば再表2008/123408に開示されている。
また、図10Bに示した点光源は、第1空間光変調素子90の代わりに点開口を有するマスクを用いて形成しても良い。
さらに、図10Bに示された点光源は、円31の外周部に沿って更に多く形成されることにより被検体60をより多くの方向から斜め照明をあてた場合の回折光又は空間周波数の情報を得ることができる。また、図10Bに示した複数の点光源を、複数の単一波長、例えば赤、青、緑のそれぞれの波長で測定しても良い。図10Bに示した各点光源を、赤、青、緑のそれぞれで測定した場合を、図13(c)を参照して説明する。
図13(c)は、被検体60が生体である場合の第2イメージセンサ280で検出された赤・青・緑の各波長における瞳273の像の画像が示された表示部21の図である。図13(c)は、例えば図10Bの点光源32bで、赤、青、緑のそれぞれの波長を用いて被検体60が測定された場合の図である。実際の測定では、点光源32aから点光源32eの全てで瞳273の像が測定される。図13(c)では、赤の波長で検出された像234a、青の波長で検出された像234b、緑の画像で検出された像234cが同一画面上に示されている。空間周波数は波長に反比例するため、瞳273における被検体60の像を光の波長ごとに測定することにより、より正確に被検体60の空間周波数分布を調べることができる。図13(c)では、赤の波長で検出された画像234aが示されている領域は比較的空間周波数が小さく、青の波長で検出された画像234bが示されている領域は比較的空間周波数が大きい構造体の存在が推測される。
(第2実施例)
第1実施例では明視野顕微鏡を有する顕微鏡システム100について説明したが、第2実施例では、位相差顕微鏡を有する顕微鏡システム300について説明する。
<顕微鏡システム300>
図14(a)は、顕微鏡システム300の概略構成図である。顕微鏡システム300は、被検体60を観察するための光学式の顕微鏡システムである。顕微鏡システム300は主に、照明光源30と、照明光学系40と、結像光学系70と、イメージセンサ80と、計算部20とにより構成されている。また照明光学系40は、第1コンデンサレンズ、波長フィルタ44、第1空間光変調素子390及び第2コンデンサレンズ42を備えており、結像光学系70は対物レンズ71及び第2空間光変調素子396を含んでいる。また、照明光学系40と結像光学系70との間にはステージ50が配置され、ステージ50には被検体60が設置される。
第2空間光変調素子396は、結像光学系70の瞳の位置又はその近傍に配置される。また、第1空間光変調素子390は、照明光学系40の中の結像光学系70の瞳に共役となる位置に配置される。第1空間光変調素子390は透過する光の強度分布を任意に可変することができる素子であり、液晶パネル又はDMD等により構成される。第2空間光変調素子396は、位相を変えることができる素子である液晶パネル等により構成される。また、第2空間光変調素子は、位相と共に光の強度分布も自由に変えられるような構成とすることが望ましい。
図14(a)では、照明光源30から射出された光が点線で示されている。照明光源30から射出された照明光LW31は第1コンデンサレンズ41で光LW32になる。光LW32は、第1空間光変調素子390に入射する。第1空間光変調素子390を透過した光LW33は第2コンデンサレンズ42を透過して光LW34となり、被検体60に向かう。被検体60を通過した光LW35は、対物レンズ71を透過して光LW36となり第2空間光変調素子396に入射する。光LW36は第2空間光変調素子396を通過して光LW37となり、イメージセンサ80に結像する。イメージセンサ80に結像した画像の出力データは計算部20に送られる。計算部20では、イメージセンサ80から得られた画像の出力データと、第1空間光変調素子390により形成される開口391の形状データと、第2空間光変調素子396の形状データとに基づいて、被検体60に最適な照明形状が計算される。そして、計算された被検体60の観察に適した照明形状は第1空間光変調素子390及び第2空間光変調素子396に送信される。なお、波長フィルタ44が配置される場合には波長フィルタ44を透過して特定の波長の光のみが第1空間光変調素子390に入射する。
図14(b)は、第1空間光変調素子390の平面図である。第1空間光変調素子390には、リング状に光の透過領域(照明領域)391が形成されており、透過領域391以外の領域は遮光領域392となっている。
図14(c)は第2空間光変調素子396の平面図である。第2空間光変調素子396にはリング状に位相変調領域397が形成されており、この位相変調領域397を透過する光は位相が4分の1波長だけずらされる。位相変調領域397以外の領域である回折光透過領域398を透過する光は、位相がそのままである。位相変調領域397は、第1空間光変調素子390の透過領域391と共役になるように形成されている。
顕微鏡システム300の0次光(透過光)は、第1空間光変調素子390の透過領域391を透過し、第2空間光変調素子396の位相変調領域397を透過してイメージセンサ80に至る。また、被検体60から発せられた回折光は、第2空間光変調素子396の回折光透過領域398を透過してイメージセンサ80に至る。そして、0次光と回折光とがイメージセンサ80上に像を形成する。一般に0次光は回折光に比べて光の強度が強いので、位相変調領域397の光の強度を調節するフィルタが形成されることが望ましい。このフィルタは、例えばセルのアレイを備える電気的に制御可能な光学素子(例えば特表2010−507119)に示すような透過率の空間分布を自由に可変することができる光学素子等を第2空間変調素子396に付加することにより形成することができる。
第1空間光変調素子390及び第2空間光変調素子396は、その透過領域391及び位相変調領域397の大きさ、形状を自由に変えることができる。例えば第1空間光変調素子390の透過領域391の直径を上げると透過光の開口数が上がるため解像度を上げることができる。また、第1実施例で示した照明形状の導出方法等を用いることにより第1空間光変調素子390の透過領域391の形状を最適化してもよい。第2空間光変調素子396のリング状の領域397は常に第1空間光変調素子390の透過領域391と共役になるように形成される。そのため、透過領域391とリング状の領域397とは同期して形状が変化することが望ましい。
以上、本発明の最適な実施形態について説明したが、当業者に明らかなように、本発明はその技術的範囲内において実施例に様々な変更を加えて実施することができる。
20 … 計算部
21 … 表示部
22 … 領域設定部
23 … パラメータ設定部
23a〜23g … 物体情報取得画面
24 … 観察領域
30 … 照明光源
32 … 点光源
40 … 照明光学系
41 … 第1コンデンサレンズ、 42 … 第2コンデンサレンズ
44 … 波長フィルタ
50 … ステージ
60 … 被検体
70 … 結像光学系、 71 … 対物レンズ
80 … イメージセンサ
90、390 … 第1空間光変調素子
91 … 照明領域
92 … 遮光部
93 … 液晶パネル
94 … デジタルマイクロミラーディバイス(DMD)
100、200、300 … 顕微鏡システム
242 … リレーレンズ
272 … ビームスプリッター
273 … 瞳
280 … 第2イメージセンサ
396 … 第2空間光変調素子
397 … 位相変調領域
398 … 回折光透過領域

Claims (7)

  1. 照明光を被検体に照射する照明光源と、
    前記被検体の透過光又は反射光を結像する結像光学系と、
    前記結像光学系の瞳の共役位置における前記照明光の強度分布を変化させる第1空間光変調素子を有し、前記照明光源からの光を前記被検体に照射する照明光学系と、
    前記結像光学系を介した光を検出するイメージセンサと、
    前記被検体の観察像に関して、領域設定又は波長帯域設定の観察条件のパラメータを設定する設定部と、
    前記第1空間光変調素子で前記照明光の強度分布を変化させるごとに、前記照明光の強度分布を変化させた後に前記イメージセンサで検出される出力データと前記照明光の強度分布を変化させる前に前記イメージセンサで検出された出力データを比較し、前記設定部で設定された観察条件のパラメータに適した前記照明光の強度分布を逐次的に求める計算部と、
    を備える顕微鏡システム。
  2. 前記設定部は、空間周波数帯域設定の観察条件のパラメータを設定する請求項1に記載の顕微鏡システム。
  3. 前記計算部は、前記照明光の強度分布を変化させて第1及び第2の照明光強度分布を形成し、それらに対応する第1及び第2の画像出力データを取得し、これら前記第1及び第2の画像出力データを初期データとして遺伝的アルゴリズムにより最適な照明光強度分布を求める請求項1又は請求項2に記載の顕微鏡システム。
  4. 前記遺伝的アルゴリズムの一世代毎に少なくともひとつの遺伝的アルゴリズムが生成した照明光強度分布に従って照明光強度分布を変化させ、対応する画像出力データを取得し、このデータを次の遺伝的アルゴリズム計算に用いる請求項3に記載の顕微鏡システム。
  5. 前記計算部は、前記イメージセンサで検出される出力データに基づき、前記被検体のコントラスト又は空間周波数を計算し、前記コントラスト又は前記空間周波数に基づいて前記被検体の観察領域を設定する請求項1から請求項4のいずれか一項に記載の顕微鏡システム。
  6. 前記第1空間光変調素子は、単色かつ点光源に近い状態をとることができ、
    前記イメージセンサは、前記結像光学系の結像面に配置されて前記単色かつ点光源の照明条件における前記被検体の画像出力データを検出し、
    前記計算部は、前記照明条件と前記画像出力データから前記被検体の観察に使用される前記照明光の強度分布を計算する請求項1から請求項5のいずれか1項に記載の顕微鏡システム。
  7. 前記結像光学系の瞳位置または瞳の共役位置近傍で、かつ前記第1空間光変調素子と共役の位置に配置された第2空間光変調素子を備え、
    前記第2空間光変調素子は、透過光に与える付加位相の空間分布を変化させる請求項1から請求項6のいずれか1項に記載の顕微鏡システム。
JP2015070899A 2015-03-31 2015-03-31 顕微鏡システム Active JP5971621B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015070899A JP5971621B2 (ja) 2015-03-31 2015-03-31 顕微鏡システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015070899A JP5971621B2 (ja) 2015-03-31 2015-03-31 顕微鏡システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010235155A Division JP5721042B2 (ja) 2010-10-20 2010-10-20 顕微鏡システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016140165A Division JP6264715B2 (ja) 2016-07-15 2016-07-15 顕微鏡システム

Publications (3)

Publication Number Publication Date
JP2015129972A JP2015129972A (ja) 2015-07-16
JP2015129972A5 JP2015129972A5 (ja) 2015-08-27
JP5971621B2 true JP5971621B2 (ja) 2016-08-17

Family

ID=53760677

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015070899A Active JP5971621B2 (ja) 2015-03-31 2015-03-31 顕微鏡システム

Country Status (1)

Country Link
JP (1) JP5971621B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105911692B (zh) * 2016-06-24 2018-06-12 南京理工大学 一种傅立叶叠层显微成像系统的最优系统参数选择方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3194620B2 (ja) * 1992-06-24 2001-07-30 オリンパス光学工業株式会社 顕微鏡の開口絞り径設定装置
JP4020714B2 (ja) * 2001-08-09 2007-12-12 オリンパス株式会社 顕微鏡
JP4615886B2 (ja) * 2004-04-01 2011-01-19 オリンパス株式会社 走査型光学顕微鏡
DE102010042351B4 (de) * 2010-10-12 2014-02-13 Leica Microsystems Cms Gmbh Mikroskopbeleuchtungssystem, Mikroskop und Verfahren zur schrägen Auflichtbeleuchtung
JP5721042B2 (ja) * 2010-10-20 2015-05-20 株式会社ニコン 顕微鏡システム

Also Published As

Publication number Publication date
JP2015129972A (ja) 2015-07-16

Similar Documents

Publication Publication Date Title
JP5721042B2 (ja) 顕微鏡システム
US9599808B2 (en) Microscope apparatus
JP4996918B2 (ja) 光画像計測装置及び光画像計測装置を制御するプログラム
JP4996917B2 (ja) 光画像計測装置及び光画像計測装置を制御するプログラム
JP4921201B2 (ja) 光画像計測装置及び光画像計測装置を制御するプログラム
US20170156588A1 (en) Location Indicator for Optical Coherence Tomography in Ophthalmic Visualization
JP2008203246A (ja) 光画像計測装置
JP5757458B2 (ja) 顕微鏡システム、サーバー及びプログラム
KR20120135422A (ko) 광 단층 촬상 장치
JP2012222672A (ja) 撮像装置及びプログラム
JP2016041222A (ja) 眼底撮影装置
JP2018036171A (ja) 画像処理装置および画像処理方法
JP6234072B2 (ja) 非線形光学顕微鏡装置
JP5971621B2 (ja) 顕微鏡システム
JP2016097181A (ja) 眼科撮影装置
JP2017195944A (ja) 眼科撮影装置
JP6264715B2 (ja) 顕微鏡システム
JP7264254B2 (ja) 画像処理方法、画像処理装置、およびプログラム
US7589330B2 (en) Ultraviolet microscope apparatus
JP6452977B2 (ja) 眼科撮影装置及びその制御方法
JP2014109490A (ja) 計測顕微鏡装置及びこれを用いた画像撮像方法
JP2019078866A (ja) 顕微鏡システム、観察方法、及び観察プログラム
JP5936368B2 (ja) 光干渉断層撮影装置及びその作動方法
JP6758825B2 (ja) 画像処理装置およびその作動方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160620

R150 Certificate of patent or registration of utility model

Ref document number: 5971621

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160703

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250