JP5804441B2 - 顕微鏡システム - Google Patents

顕微鏡システム Download PDF

Info

Publication number
JP5804441B2
JP5804441B2 JP2011111032A JP2011111032A JP5804441B2 JP 5804441 B2 JP5804441 B2 JP 5804441B2 JP 2011111032 A JP2011111032 A JP 2011111032A JP 2011111032 A JP2011111032 A JP 2011111032A JP 5804441 B2 JP5804441 B2 JP 5804441B2
Authority
JP
Japan
Prior art keywords
subject
light
image
illumination
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011111032A
Other languages
English (en)
Other versions
JP2012242532A (ja
Inventor
福武 直樹
直樹 福武
洋紀 矢澤
洋紀 矢澤
中山 繁
繁 中山
中島 伸一
伸一 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2011111032A priority Critical patent/JP5804441B2/ja
Priority to CN201280021356.2A priority patent/CN103534629B/zh
Priority to PCT/JP2012/052203 priority patent/WO2012157295A1/en
Priority to EP12709393.8A priority patent/EP2710424A1/en
Priority to US13/359,164 priority patent/US9261690B2/en
Priority to TW101106457A priority patent/TWI525343B/zh
Publication of JP2012242532A publication Critical patent/JP2012242532A/ja
Application granted granted Critical
Publication of JP5804441B2 publication Critical patent/JP5804441B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/14Condensers affording illumination for phase-contrast observation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)

Description

本発明は、位相差を使って観察に適した照明光の分布を導き出して形成する顕微鏡システムに関する。
位相差顕微鏡では、リング絞り及び位相リングが照明光の強度分布を形成している。照明光の分布は被検体の観察像に大きな影響を及ぼすため、位相リング等に改良を加えて被検体の観察画像をより良いものにするような工夫がされている。例えば、特許文献1では位相リングのリング状に設けられたリング領域を取り囲むように変調部を設け、変調部と変調部以外の領域との透過軸の方向が異なるように形成することによりコントラストを連続可変可能な位相差顕微鏡が示されている。
特開2009−237109
しかし、上記のような顕微鏡では、位相リングの形状がある程度決まっており、照明光の分布の調整には制限があった。また、位相リングの形状を選ぶ場合も観察者の判断又は経験を元にして選ぶため、必ずしも位相リングの形状が観察中の物体の像を最良の状態で観察できる形状になっているわけではなかった。そのため位相差顕微鏡では、観察中の物体の像を最適の状態で観察することが困難であった。
そこで本発明は、被検体を観察するために適した光の振幅透過率分布を導き出して形成する顕微鏡システムを提供する。
第1観点の顕微鏡システムは、光源からの照明光を被検体に照射する照明光学系と、被検体からの光から被検体の像を形成する結像光学系と、結像光学系の瞳の位置に配置され被検体からの光の振幅透過率分布を可変する第1空間変調素子と、結像光学系による被検体像を検出して画像信号を出力するイメージセンサと、イメージセンサで検出される出力データと第1空間変調素子で形成される被検体からの光の振幅透過率分布とに基づき、被検体の観察に適した被検体からの光の振幅透過率分布を計算するための計算部と、を備える。
第2観点の被検体を撮像するためのプログラムは、顕微鏡に接続される計算部にインストールされる。そして、顕微鏡は、光源からの照明光を被検体に照射する照明光学系と、被検体からの光から被検体の像を形成する結像光学系と、結像光学系の瞳の位置に配置され、被検体からの光の振幅透過率分布を可変する第1空間変調素子と、結像光学系による被検体像を検出して画像信号を出力するイメージセンサと、を備える。プログラムは、計算部に、イメージセンサで検出される出力データと第1空間変調素子で形成される被検体からの光の振幅透過率分布とに基づき、被検体の観察に適した被検体からの光の振幅透過率分布の計算を実行させる。
本発明によれば、観察中の物体の像を良い状態で観察するために適した光の振幅透過率分布を導き出して形成する顕微鏡システムが提供される。
顕微鏡システム100の概略構成図である。 (a)は、DMD43の照明領域431と遮光領域435とが形成された図である。 (b)は、液晶素子73の位相変調領域731と回折光透過領域735とが形成された図である。 顕微鏡システム100の概略構成図である。 山登り法を使って、観察に適した被検体からの光の振幅透過率分布を見つけるフローチャートである 表示部21に示された領域設定部23及び波長帯域設定部29の図である。 照明領域431及び位相変調領域731が変化していく状態を示した図である。 遺伝的アルゴリズムを用いたフローチャートである。 照明領域431及び位相変調領域731の例を示した図である。 評価関数Q(f)の概念図である。
(第1実施例)
第1実施例として、照明光の強度分布及び光の振幅透過率分布を導き出して自動的に調整される顕微鏡システム100について説明する。特に顕微鏡システム100は、特に透過光では光の強度を変えず位相のみを変える無色透明な細胞などの位相物体に適している。
<顕微鏡システム100>
図1は、顕微鏡システム100の概略構成図である。顕微鏡システム100は主に、照明光源30と、照明光学系40と、ステージ50と、結像光学系70と、イメージセンサ80とを有する顕微鏡を有している。また、顕微鏡システム100はコンピュータ等の計算部20を有している。以下、照明光源30から射出される光束の中心軸をZ軸方向とし、Z軸に垂直で互いに直交する方向をX軸方向及びY軸方向として説明する。
照明光源30は、被検体TSに例えば白色の照明光を照射する光源である。本実施例では照明光源30は赤色、緑色及び青色のLEDが複数組み合わせされた光源が使用される。特に説明しないが光源に白色LED又はハロゲンランプが使用されてもよい。照明光学系40は、コリメータレンズ41、第1コンデンサレンズ42、DMD(Digital Micromirror Device)43、第2コンデンサレンズ45及び第3コンデンサレンズ47を備えている。
第2空間変調素子であるDMD43は、例えば照明光源30と共役となる位置に配置される。DMD43は照明光学系40の中の結像光学系70の瞳の位置に対しても共役となる位置に配置される。DMD43は結像光学系70の瞳の共役位置における照明光の強度分布を可変することができる。DMD43の表面には小さい複数の可動反射ミラー(不図示)の集合体により形成されており、各ミラーはそれぞれ独立に動かすことができる。DMD43は、可動反射ミラーを動かすことにより、被検体TSに対して任意の形状及び大きさに照明光の二次元空間分布を形成することができる。
ステージ50は、例えば細胞組織等の未知の構造を有する被検体TSを載置して、被検体TSの観察したい位置に移動できるようにXY軸方向に移動可能である。また被検体TSの焦点を調整するためZ軸方向にも移動可能である。
結像光学系70は対物レンズ71及び第1空間変調素子である液晶素子73を含んでいる。また、結像光学系70は、被検体TSの透過光又は反射光をイメージセンサ80に結像させる。
液晶素子73は、結像光学系70の瞳の位置又はその近傍に配置される。液晶素子73は、光の位相と共に光の透過率も自由に変えられるような構成である。また位相とその透過率との二次元空間分布も変えられる構成である。
計算部20は、イメージセンサ80で検出される出力データを受信してモニター等の表示部21に表示させる。さらに計算部20は出力データを解析し、被検体TSの観察に適した照明光の強度分布及び被検体からの光の振幅透過率分布を計算する。
図1では、照明光源30から射出された光が点線で示されている。照明光源30から射出された照明光は、コリメータレンズ41でコリメートされ、第1コンデンサレンズ42により集光されDMD43に入射する。DMD43では可動反射ミラーのうち一部の反射ミラーが入射光を第2コンデンサレンズ45側に反射させる。また残りの反射ミラーは入射光を第2コンデンサレンズ45側に反射させない。
例えば図2(a)は、DMD43の平面図である。DMD43は例えばリング形状に該当する反射ミラーが角度を変えて、入射光を反射する。すると照明領域431を形成する。また角度を変えない反射ミラーの領域は遮光領域435となる。このように微小な複数の反射ミラーの角度を変えることで、照明光の強度分布を可変することができる。
DMD43で反射された照明光は、第2コンデンサレンズ45及び第3コンデンサレンズ47を介して被検体TSに向かう。被検体TSを通過した光は、対物レンズ71を透過して液晶素子73に入射する。液晶素子73に入射した光は、一部の光の位相を変えてメージセンサ80に結像する。
図2(b)は液晶素子73の平面図である。液晶素子73には例えばリング形状に位相変調領域を形成することができる。この位相変調領域731を透過する光は位相が4分の1波長進み又は遅れる。位相変調領域731以外の領域である回折光透過領域735を透過する光は位相がそのままである。位相変調領域731は、DMD43の照明領域431と共役になるように形成されている。液晶素子73は位相変調領域731の二次元空間分布を自由に可変することができる。
顕微鏡システム300の0次光(透過光)は、DMD43で反射されて照明領域431の照明光が被検体TSに照射され、被検体TSを透過した光は、液晶素子73の位相変調領域731を透過してイメージセンサ80に至る。また、被検体TSから発せられた回折光は、液晶素子73の回折光透過領域735を透過してイメージセンサ80に至る。そして、0次光と回折光とがイメージセンサ80上に像を形成する。一般に0次光は回折光に比べて光の強度が強いので、位相変調領域731を通過する光の透過率を調節する機能を有していることが望ましい。以下特に限定しない限り、被検体TSからの光の振幅透過率分布を変えるとは、相変調領域731の二次元空間分布を変えることと透過率を変えることを意味する。
図1に示されたように、イメージセンサ80に結像した画像の出力データは計算部20に送られる。計算部20では、イメージセンサ80から得られた画像の出力データと、DMD43により形成される開口431の形状データと、液晶素子73の形状データとに基づいて、被検体TSの観察に適した照明光の強度分布及び光の振幅透過率分布が計算される。そして、計算された被検体TSの観察に適した照明光の強度分布及び振幅透過率分布にするための形状データ等がDMD43及び液晶素子73に送信される。
被検体TSの観察に適した照明形状がDMD43に送られると、DMD43は照明領域431の大きさ及び形状を変える。同様に液晶素子73は、位相変調領域731の大きさ及び形状を自由に変えることができる。例えばDMD43の照明領域431の直径を上げると透過光の開口数が上がるため解像度を上げることができる。液晶素子73の位相変調領域731はDMD43の照明領域431と共役であるため、位相変調領域731が照明光の強度分布を可変することも可能である。また照明領域431と位相変調領域731とは同期して形状及び大きさが変化することが望ましい。
<顕微鏡システム200>
図3は、顕微鏡システム200の概略構成図である。顕微鏡システム200は、顕微鏡システム100とほぼ同じ構成であるが、その照明光学系40の構成が顕微鏡システム100の構成と異なっている。
顕微鏡システム200の照明光学系40は、コリメータレンズ41、可変回折格子49、第2コンデンサレンズ45及び第3コンデンサレンズ47を備えている。
第2空間変調素子である可変回折格子49は、例えば2枚の回折素子から構成される。そして可変回折格子49は2枚の回折素子のZ軸方向の間隔又はXY軸方向に可変されることによって、光の回折角を変更する。また可変回折格子49は照明光学系40の中の結像光学系70の瞳の位置に対しても共役となる位置に配置される。そして可変回折格子49は結像光学系70の瞳の共役位置における照明光の強度分布を可変することができる。
照明光源30からの照明光は、コリメータレンズ41によってコリメートされ、コリメートされた光が可変回折格子49に入射する。そして可変回折格子49は、図2(a)で示されたようなリング形状の照明光を照射することができる。可変回折格子49は、2枚の回折素子を動かすことにより、被検体TSに対して任意の形状及び大きさに照明光を形成することができる。
第2空間変調素子である可変回折格子49は、照明光源30からの照明光を無駄なく任意の形状又は大きさに変更することができる。このため照明光源30の光量を必要以上に大きくする必要はない。一方、顕微鏡システム100のようにDMD43は、一部の照明光を被検体TSに向かわせないため、照明光源30からの光を無駄にすることがある。
被検体TSを通過した光は、顕微鏡システム100と同様に、対物レンズ71を透過して液晶素子73に入射する。液晶素子73に入射した光は一部の光の位相を変えてメージセンサ80に結像する。
<<照明光の強度分布及び光の振幅透過率分布の導出方法>>
被検体TSの観察に適した照明光の強度分布又は被検体からの光の振幅透過率分布を見つけるための計算方法を以下に説明する。計算方法は焼きなまし法、タブーサーチなど幾つかある。以下、山登り法(最急勾配法)と遺伝的アルゴリズムを用いた方法との2つの方法について説明する。
<山登り法>
山登り法は、最初に設定された照明光の強度分布及び光の振幅透過率分布を少しずつ変化させていき、変化ごとに画像の出力データを取得して、この出力データが観察者によって設定された条件に最も近くなる条件を探していく方法である。図4を参照しながら以下に説明する。
図4は、DMD43と液晶素子73とを使って、照明光の強度分布及び光の振幅透過率分布を少しずつ変化させて、観察に適した照明光の強度分布及び光の振幅透過率分布を見つける山登り法のフローチャートである。
ステップS101では、まずDMD43の照明領域431が初期設定の大きさ及び形状に設定される。また液晶素子73の位相変調領域731も初期設定の二次元空間分布(大きさ及び形状)に設定される。さらに液晶素子73の位相変調領域731の透過率も初期設定される。
例えば初期設定の照明領域431は幅の広いリング形状で且つリング外円は最大口径である(図6(a)を参照)。その状態で、被検体TSの像がイメージセンサ80で検出される。被検体TSの像の検出は、照明領域431及び位相調整領域731の形状及び大きさを調整する前に、基準となる画像の取得が目的である。イメージセンサ80で検出された被検体TSの画像の出力データは計算部20に送られ、計算部20に接続されたモニター等の表示部21に被検体TSの画像が映し出される。
ステップS102では、表示部21上に表示された領域設定部23(図5参照)で被検体TSの像に観察領域が設定される。
図5は、領域設定部23及び波長帯域設定部29の図である。図5は、表示部21に被検体TSの画像が映し出された状態を示している。表示部21には表示部21の周囲に領域設定部23が表示されている。領域設定部23の設定枠表示ボタン25がマウスポインタMPでクリックされると、設定枠表示ボタン25は観察領域枠24を表示部21に表示させる。そして観察者は表示された観察領域枠24をマウスポインタMPで観察したい被検体TSの箇所に移動させる。そして観察者は設定ボタン27をクリックする。これにより観察者が特に観察したい観察領域が設定される。
図5において、点線で描かれた観察領域枠24は設定枠表示ボタン25がクリックされて表示された例を示し、実線で描かれた観察領域枠24は設定ボタン27がクリックされた状態を示す。図5では1つの観察領域24が設定されているが、一度に2以上の観察領域24が設定されてもよい。また観察領域枠24をマウスポインタMPで拡大して被検体TSの像全体を設定してもよい。
なお、観察者が観察領域24の設定を望まない場合には、ステップS102をスキップしてもよい。この場合には、イメージセンサ80で検出される被検体TSの像全体が観察領域24として設定される。また観察者は被検体TSの観察したい領域を中央に移動させるため、自動的にイメージセンサ80の中央領域を一部領域として選択してもよい。
図4に戻り、ステップS103では、被検体TSの観察像を形成するための一つのパラメータとして波長帯域設定部29(図5参照)で波長帯域が設定される。図5に示されるように、波長帯域設定部では、観察者が使用したい又は観察したい光の波長帯域を設定することができる。例えば、被検体TSの観察に適した波長が推測されている場合には、波長帯域設定部29でその波長を設定することができる。波長帯域の設定は図5に示すように、観察者が数値を入力することによって行っても良いし、複数の選択肢の中、例えば赤色、緑色、青色等の中から観察者が希望する波長帯域を選択できるようにしても良い。照明光源30は、赤色、緑色及び青色のLEDが複数組み合わせているので、赤色が選択された場合には照明光源30は赤色のみを照射すればよい。
図4に戻り、ステップS104では、計算部20がDMD43の照明領域431及び液晶素子73の位相変調領域731の大きさ及び形状を変化させる。計算部20は、ステップS101で設定した初期設定値の照明領域431及び位相変調領域731の大きさをわずかに変化させる。つまり照明光の領域及び付加位相の領域をわずかに変化させる。
図6を参照して、照明領域431及び位相変調領域731の強度分布の変化を説明する。図6(a)は、初期状態のDMD43と液晶素子73との概略平面図である。図6(a)では、照明領域431であるリング外円ECは最大口径であり、リング外円ECとリング内円ICとの差であるリング幅rd1は広い形状である。位相変調領域731も同様である。図6(b)では、照明領域431であるリング外円ECは最大口径であり、リング外円ECとリング内円ICとの差であるリング幅rd1は広い形状である。
図6(b)は、図6(a)の初期状態から例えばリング幅rd1を一定に保ったままリング内円ICの径及びリング外円ECの径を小さくした例である。このように、照明光の領域及び付加位相の領域をわずかに変化させる。図6(c)は、図6(a)の初期状態から例えばリング外円ECの径を一定に保ったまま内円ICの径を大きくしリング幅rd2を狭くした例である。このようにして、照明光の強度分布及び付加位相の領域をわずかに変化させる。図示しないが、リング内円ICの径を一定に保ったまま外円ICの径を小さくしてもよいし、リング幅rd1を小さくしながら且つリング内円ICの径及びリング外円ECの径をともに小さくしたりしてもよい。
図4に戻り、ステップS105では、イメージセンサ80で被検体TSの像が検出される。例えば、図6(b)に示された照明領域431及び位相変調領域731の条件下で、被検体TSの像をイメージセンサ80で検出し出力データを計算部20に送る。
ステップS106では、今回計算部20に送られてきた出力データが前回の出力データよりも良いか悪いかを判断する。例えば、図5に示した表示部21の領域設定部23で観察領域24を設定したと仮定する。この被検体TSの像の観察領域24の像のコントラストが上がることを良い条件とすると、今回得られた出力データ(例えば図6(b)に示された照明領域431及び位相変調領域731)に基づいて計算されたコントラストが、前回得られた出力データ(例えば図6(c)に示された照明領域431及び位相変調領域731)に基づいて計算されたコントラストよりも良いか悪いかを比較する。良ければステップS104に戻り、さらに照明領域431及び位相変調領域731を変化させ、その出力データを検出する(ステップS105)。つまり、観察領域24の像のコントラストが上がっているためステップS104に戻って照明領域431及び位相変調領域731を更に変化させる。一方、コントラストが前回より今回が悪くなっていれば、前回の照明領域431及び位相変調領域731が最もコントラストが高いことになる。そこで次のステップS107に進む。
ステップS107では、被検体TSの観察に適した照明領域431及び位相変調領域731が選択される。つまり、観察領域24のコントラストが悪くなる直前に使用された照明領域431及び位相変調領域731の二次元空間分布が被検体TSの観察に適した二次元空間分布になる。
ステップS108では、ステップS107で特定された二次元空間分布の照明領域431及び位相変調領域731で、位相変調領域731の透過率を少し変化させる。例えば位相変調領域731の透過率が90%であったのを80%にする。
ステップS109では、イメージセンサ80で被検体TSの像が検出される。そしてイメージセンサ80で検出した被検体TSの像を出力データが計算部20に送る。
ステップS110では、計算部20に送られてきた出力データが前回の出力データよりも良いか悪いかを判断する。具体的には、今回計算部20に送られてきた画像のコントラストが前回の画像のコントラストよりも良いか悪いかを判断する。観察領域24の像のコントラストが上がっていればステップS108に戻って位相変調領域731の透過率を更に変化させる。一方、コントラストが前回より今回が悪くなっていれば、前回の照明領域431及び位相変調領域731が最もコントラストが高いことになる。そこで次のステップS111に進む。
ステップS111では、被検体TSの位相変調領域731の透過率が選択される。つまり、観察領域24のコントラストが悪くなる直前に使用された位相変調領域731の透過率が被検体TSの観察に適した透過率になる。
上記フローチャートのステップS104において、照明領域431及び位相変調領域731の大きさは相似形で変化した。しかし相似形に変えるのみではなく、形状自体を変化させることにより行っても良い。例えば、円形のリング形状を最終的に楕円のリング形状になるように少しずつ形状させたりすることもできる。
<遺伝的アルゴリズムを用いた方法>
次に遺伝的アルゴリズムを用いた方法について説明する。遺伝的アルゴリズムは、あらかじめ用意された複数の照明光の強度分布及び光の振幅透過率分布について画像データを取得し、その中で被検体TSの観察に適した光の振幅透過率分布を組み合わせることにより照明形状を探していく方法である。
図7は、遺伝的アルゴリズムを用いたフローチャートである。
まず、ステップS201で、まずDMD43の照明領域431及び液晶素子73の位相変調領域731が初期設定の大きさ及び形状に設定される。例えば初期設定の照明領域431及び位相変調領域731は図6(a)で示された幅の広いリング形状で且つリング外円は最大口径であるである。その状態で、被検体TSの像がイメージセンサ80で検出される。また、位相変調領域731の透過率も所定の初期値に設定される。
ステップS202は、領域設定部23で被検体TSの観察領域24を設定する。ステップS201により、表示部21に被検体TSの像が映し出される。領域設定部23は図5に示されたように被検体TSの一部でもよいし被検体TSの全体でもよい。観察者は被検体TSの観察したい領域を中央に移動させるため、自動的にイメージセンサ80の中央領域を一部領域として選択してもよい。
ステップS203は、被検体TSの像を形成するためのパラメータが設定される。観察者は、被検体TSの像に関する観察者の要望及び許容される観察条件を入力するためのパラメータを設定することができる。パラメータには図5に示された被検体TSの波長帯域等がある。
ステップS204では、初期値として2以上の照明光の強度分布及び振幅透過率分布を用いて被検体TSの像がイメージセンサ80で検出される。そして、計算部20は、複数の照明光の強度分布及び振幅透過率分布を用いて被検体TSを測定した像の画像の各出力データを入手する。
ステップS205では、ステップS204で入手した被検体TSの画像の各出力データを比較する。被検体TSの像の観察領域24のコントラストが上がることを良い条件とすると、今回得られた出力データに基づいて計算されたコントラストが一番良い照明領域431及び位相変調領域731と二番目に良い照明領域431及び位相変調領域731とを選択する。コントラストが良い2つの照明領域431及び位相変調領域731を第1照明光強度分布及び第1振幅透過率分布と、第2照明光強度分布及び第2振幅透過率分布と呼ぶ。図8を参照して2つの照明光の強度分布及び振幅透過率分布の例を説明する。
図8には、DMD43と液晶素子73の様々な照明形状の図を示している。図8では、白抜きの部分が照明領域431及び位相変調領域731に相当し、斜線領域が遮光領域435及び回折光透過領域735に相当する。
図8に示されるように、例えば第1照明光強度分布及び第1振幅透過率分布はDMD43a及び液晶素子73aに示される照明領域431及び位相変調領域731である。この照明領域431及び位相変調領域731は、リング外円ECが最大でリング幅rd3で形成されている。第2照明光強度分布及び第2振幅透過率分布はDMD43b及び液晶素子73bに示される照明領域431及び位相変調領域731である。この照明領域431及び位相変調領域731は、リング外円ECが小さくリング幅rd4で形成されている。
図7に戻りステップS206では、計算部20が、遺伝的アルゴリズムの交叉又は突然変異の手法によって第1照明強度分布及び第1振幅透過率分布と第2照明強度分布及び第2振幅透過率分布とから次世代の照明光強度分布を有する照明形状を形成する。次世代の照明光強度分布を有する照明形状の形成例を、図8を参照して説明する。
ステップS205において、DMD43a及び液晶素子73aに示される照明領域431及び位相変調領域731と、DMD43b及び液晶素子73bに示される照明領域431及び位相変調領域731が選択された。計算部20はこの2つを交叉(組み合わせ)又は突然変異の操作を行うことにより、例えば、DMD43c及び液晶素子73c、DMD43d及び液晶素子73d、並びにDMD43e及び液晶素子73eに示される照明領域431及び位相変調領域731が形成される。
DMD43c及び液晶素子73cは、リング外円ECが最大でリング幅rd3よりも大きなリング幅rd5である。DMD43d及び液晶素子73dは、DMD43a及び液晶素子73aとDMD43b及び液晶素子73bとの照明領域431及び位相変調領域731の平均のリング外円EC、リング内円IC及びリング幅rd6である。DMD43e及び液晶素子73eは、リングが4つに分割された照明領域431及び位相変調領域73である。
図8は、組み合わせの一例である。実際にはDMD43及び液晶素子73の形状はランダムに形成されるため、新たに形成される明領域431及び位相変調領域731の形状は非常に多く存在する。また、特に大きさ及び形状の二次元空間分布以外に、位相変調領域73の透過率を変化されると無数の組み合わせが存在する。
図6に戻って、ステップS207では、第1照明強度分布及び第1振幅透過率分布と第2照明強度分布及び第2振幅透過率分布と並びに次世代の照明光強度分布及び振幅透過率分布に基づいて、被検体TSの画像の各出力データをイメージセンサ80で検出する。そして計算部20は、これらの出力データに基づいてコントラストを比較する。そして新たに被検体TSの観察に最適な第1照明強度分布と2番目に最適な第2照明強度分布とが選択される。
ステップS208では、所定の世代、例えば1000世代まで交叉又は突然変異が行われたかを判断する。所定の世代まで交叉等が行われていない場合はステップS206に戻ってより被検体の観察に適した照明強度分布及び振幅透過率分布を探索していく。所定の世代まで交叉等が行われればステップS209に進む。
ステップS209では、所定の世代、例えば1000世代までの交叉等で得られた照明領域431及び位相変調領域731から、コントラストが一番良い世代の照明形状及び振幅透過率分布が選択される。以降、その世代の照明形状及び振幅透過率分布の照明領域431及び位相変調領域731が被検体TSの観察に使用される。
図4又は図7に示した山登り法(最急勾配法)と遺伝的アルゴリズムの計算方法は、プログラムとして記憶媒体に記憶させてもよい。そしてこの記憶媒体に記憶されているプログラムを計算部20にインストールさせることで、この計算部20が被検体の観察に適した照明光の強度分布及び光の振幅透過率分布を求めることができる。
なお、図4のステップS106もしくはステップS110、図7のステップS205もしくはステップS207では、被検体TSの像のコントラストを計算部20が比較していた。しかし、被検体TSの像のコントラストではなく、空間周波数成分を使った評価関数又は最大傾斜量で比較してもよい。最大傾斜量とは空間的な輝度値プロファイル(横軸:例えばX方向位置、縦軸:輝度値)での輝度値の変化の最大値である。評価関数については図9を使って説明する。
図9は、評価関数Q(f)の一例である。評価関数Q(f)は画像のフーリエ変換値を含む式であり、以下に例示される。
Q(f) = α×f + α×f
ここで、α、αは係数であり、f、fは変数(関数)である。
変数f、fは、例えば被検体の画像のフーリエ変換値FTにフィルタff(ff1、ff2)を乗算した値を規格化した変数である。画像特徴量としてのフーリエ変換値FTは、フーリエ変換して求められた空間周波数成分の絶対値でもよいしフーリエ変換して求められた空間周波数成分を二乗した値でもよい。図9ではフーリエ変換の絶対値を使った変数f、fが示されている。
フィルタff(ff1、ff2)は、画像の直流成分又は低周波成分を除去するフィルタである。図9ではそれらフィルタffを模式的に示している。ここで黒色領域は画像成分を除去することを示している。フィルタff1は被検体TSの画像信号の直流成分を除去し、フィルタff2は被検体TSの画像信号の直流成分及び低周波成分を除去している。フィルタff1とフィルタff2は画像信号の高周波成分をどれだけ強調するかが互いに異なっている。図9に示されたフィルタffだけでなく、異なるフィルタffを使用してもよい。
変数f、fは、画像特徴量としてのフーリエ変換値FTとフィルタffとを乗じた値の面積積分を、フーリエ変換値FTの面積積分Nで除算されている。これにより変数f、fが規格化される。評価関数Q(f)はこの変数f、fに係数α、αを乗算している。例えば係数α=1、α=2である。
計算部20は、イメージセンサ80からの画像信号を受け取る。そして計算部20はイメージセンサ80からの画像信号をフーリエ変換する。そして計算部20は被検体TSのフーリエ変換値(空間周波数成分)を求める。そして、計算部20は、被検体TSのフーリエ変換値と評価関数Q(f)とを使って被検体TSの画像に関する評価を数値で求める。
以上、本発明の最適な実施形態について説明したが、当業者に明らかなように、本発明はその技術的範囲内において実施例に様々な変更を加えて実施することができる。
20 … 計算部
21 … 表示部
22 … 領域設定部
23 … パラメータ設定部
24 … 観察領域
30 … 照明光源
40 … 照明光学系
50 … ステージ
70 … 結像光学系、 71 … 対物レンズ
80 … イメージセンサ
43 … DMD(第2空間変調素子)
49 … 回折格子(第2空間変調素子)
43 … デジタルマイクロミラーディバイス(DMD)
73 … 液晶素子(第1空間変調素子)
731 … 位相変調領域
735 … 回折光透過領域
100、200、… 顕微鏡システム
TS … 被検体

Claims (14)

  1. 被検体を観察する位相差式の顕微鏡システムであって、
    光源からの照明光を前記被検体に照射する照明光学系と、
    前記被検体からの光から前記被検体の像を形成する結像光学系と、
    前記結像光学系の瞳の位置に配置され、前記被検体からの光の振幅透過率分布を可変する第1空間変調素子と、
    前記結像光学系による被検体像を検出して画像信号を出力するイメージセンサと、
    前記イメージセンサで検出される出力データと前記第1空間変調素子で形成される前記被検体からの光の振幅透過率分布とに基づき、前記被検体の観察のために前記被検体からの光の振幅透過率分布を計算するための計算部と、を備え
    前記第1空間変調素子は前記被検体からの光の振幅透過率分布を異なる形状で逐次的に変化させ、
    前記計算部は、異なる形状で変化させた前記振幅透過率分布の前記出力データの比較に基づいて、前記被検体の観察に用いるために、前記被検体からの光の最適な振幅透過率分布を計算する顕微鏡システム。
  2. 前記第1空間変調素子は、前記計算部により計算された前記被検体からの光の振幅透過率分布に基づいて前記被検体からの光の振幅透過率分布を可変する請求項1に記載の顕微鏡システム。
  3. 前記第1空間変調素子は、前記結像光学系を透過する光の位相及び前記位相の空間分布を可変とする請求項2に記載の顕微鏡システム。
  4. 前記第1空間変調素子は、前記結像光学系を透過する光に与える透過率の空間分布を可変とする請求項2に記載の顕微鏡システム。
  5. 前記結像光学系の瞳の共役位置における前記照明光の強度分布を可変する第2空間変調素子を備え、
    前記第2空間変調素子は複数の可動反射ミラーにより構成される請求項1から請求項4のいずれか一項に記載の顕微鏡システム。
  6. 前記結像光学系の瞳の共役位置における前記照明光の強度分布を可変する第2空間変調素子を備え、
    前記第2空間変調素子は回折格子により構成される請求項1から請求項4のいずれか一項に記載の顕微鏡システム。
  7. 前記被検体に照射される前記照明光の波長を変化させ、
    前記計算部は、前記変化された波長毎の前記出力データに基づいて、前記被検体の観察に最適な波長を計算する請求項1から請求項6のいずれか一項に記載の顕微鏡システム。
  8. 前記計算部は、前記イメージセンサで検出される出力データに基づき、前記被検体像のコントラスト又は空間周波数を計算する請求項1から請求項6のいずれか一項に記載の顕微鏡システム。
  9. 前記第1空間変調素子による位相または透過率の変調領域は前記第2空間変調素子による前記照明光の強度分布の形状と同じ形状である請求項6に記載の顕微鏡システム。
  10. 前記計算部は、第1空間変調素子と第2空間変調素子の両方を同期して変化させ、これをもとに観察に適した前記照明光の強度分布を求める請求項6又は請求項9に記載の顕微鏡システム。
  11. 前記被検体の観察像に関する観察者の要望および許容される観察条件を入力するためのパラメータを設定するパラメータ設定部と、前記観察像の観察領域を設定する領域設定部とを表示する表示部を備える請求項1から請求項10のいずれか一項に記載の顕微鏡システム。
  12. 前記イメージセンサは前記結像光学系の結像面に配置されて前記被検体の画像出力データを検出し、
    前記計算部は、前記照明光の分布を微小量変化させ、前記照明光の分布を変化させる毎に前記画像出力データを取得して、適した前記照明光の強度分布の大きさを逐次的に計算する請求項1から請求項11のいずれか1項に記載の顕微鏡システム。
  13. 前記イメージセンサは前記結像光学系の結像面に配置されて前記被検体の画像出力データを検出し、
    前記計算部は、前記照明光の強度分布を変化させて第1及び第2の照明光強度分布を形成し、それらに対応する第1及び第2の画像出力データを取得し、これら前記第1及び第2の画像出力データを初期データとして遺伝的アルゴリズムにより最適な前記照明光の強度分布を求める請求項1から請求項11のいずれか1項に記載の顕微鏡システム。
  14. 被検体を観察する位相差式の顕微鏡と、前記顕微鏡に接続される計算部とを含む顕微鏡システムを用いて、前記被検体を観察するプログラムであって、
    前記顕微鏡は、
    光源からの照明光を前記被検体に照射する照明光学系と、
    前記被検体からの光から前記被検体の像を形成する結像光学系と、
    前記結像光学系の瞳の位置に配置され、前記被検体からの光の振幅透過率分布を可変する第1空間変調素子と、
    前記結像光学系による被検体像を検出して画像信号を出力するイメージセンサと、を備え、
    前記計算部に、前記イメージセンサで検出される出力データと前記第1空間変調素子で形成される前記被検体からの光の振幅透過率分布とに基づき、前記被検体の観察のために前記被検体からの光の振幅透過率分布の計算を実行させ
    前記第1空間変調素子に前記被検体からの光の振幅透過率分布を異なる形状で逐次的に変化させ、
    前記計算部に、異なる形状で変化させた前記振幅透過率分布の前記出力データの比較に基づいて、前記被検体の観察に用いるために、前記被検体からの光の最適な振幅透過率分布を計算させるプログラム。
JP2011111032A 2011-05-18 2011-05-18 顕微鏡システム Active JP5804441B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2011111032A JP5804441B2 (ja) 2011-05-18 2011-05-18 顕微鏡システム
CN201280021356.2A CN103534629B (zh) 2011-05-18 2012-01-25 显微镜系统
PCT/JP2012/052203 WO2012157295A1 (en) 2011-05-18 2012-01-25 Microscope system
EP12709393.8A EP2710424A1 (en) 2011-05-18 2012-01-25 Microscope system
US13/359,164 US9261690B2 (en) 2011-05-18 2012-01-26 Microscope system
TW101106457A TWI525343B (zh) 2011-05-18 2012-02-29 顯微鏡系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011111032A JP5804441B2 (ja) 2011-05-18 2011-05-18 顕微鏡システム

Publications (2)

Publication Number Publication Date
JP2012242532A JP2012242532A (ja) 2012-12-10
JP5804441B2 true JP5804441B2 (ja) 2015-11-04

Family

ID=45852655

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011111032A Active JP5804441B2 (ja) 2011-05-18 2011-05-18 顕微鏡システム

Country Status (6)

Country Link
US (1) US9261690B2 (ja)
EP (1) EP2710424A1 (ja)
JP (1) JP5804441B2 (ja)
CN (1) CN103534629B (ja)
TW (1) TWI525343B (ja)
WO (1) WO2012157295A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5761458B2 (ja) 2012-06-05 2015-08-12 株式会社ニコン 顕微鏡装置
JP6112872B2 (ja) * 2013-01-18 2017-04-12 キヤノン株式会社 撮像システム、画像処理方法、および撮像装置
DE102013002640A1 (de) * 2013-02-15 2014-08-21 Carl Zeiss Microscopy Gmbh Verfahren zum betreiben eines lichtmikroskops und optikanordnung
JP6131204B2 (ja) * 2014-02-28 2017-05-17 富士フイルム株式会社 観察装置
JP6380983B2 (ja) * 2014-11-26 2018-08-29 富士フイルム株式会社 位相差顕微鏡
WO2016132563A1 (ja) * 2015-02-19 2016-08-25 オリンパス株式会社 標本観察装置及び標本観察方法
WO2016177319A1 (en) * 2015-05-04 2016-11-10 Versitech Limited Apparatus and method for quantitative phase-gradient chirped-wavelength-encoded optical imaging
CN105467571B (zh) * 2016-01-04 2017-12-15 华南师范大学 一种白光同轴干涉相移显微镜系统和显微成像方法
DE102017106984B4 (de) 2017-03-31 2022-02-10 Carl Zeiss Microscopy Gmbh Lichtmikroskop und Verfahren zum Betreiben eines Lichtmikroskops mit optimierter Beleuchtungsgeometrie
DE102017108873A1 (de) * 2017-04-26 2018-10-31 Carl Zeiss Microscopy Gmbh Phasenkontrast-Bildgebung mit Übertragungsfunktion
DE102017115658A1 (de) * 2017-07-12 2019-01-17 Carl Zeiss Microscopy Gmbh Flackern bei Winkel-variabler Beleuchtung
WO2019064984A1 (ja) * 2017-09-28 2019-04-04 株式会社片岡製作所 位相差観察装置および細胞処理装置
JP6527273B2 (ja) * 2017-09-28 2019-06-05 株式会社片岡製作所 位相差観察装置および細胞処理装置
TWI699559B (zh) 2018-01-16 2020-07-21 美商伊路米納有限公司 結構照明成像系統和使用結構化光來創建高解析度圖像的方法
CN108801972A (zh) * 2018-06-25 2018-11-13 中国计量大学 一种基于数字微镜器件的傅里叶光谱仪
US11961269B2 (en) * 2018-12-05 2024-04-16 Nec Corporation Apparatus, method and non-transitory computer-readable medium storing program for controlling imaging environment of target object
WO2023120500A1 (ja) * 2021-12-22 2023-06-29 株式会社エムダップ 観察装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751475A (en) * 1993-12-17 1998-05-12 Olympus Optical Co., Ltd. Phase contrast microscope
US6795238B2 (en) * 1997-12-02 2004-09-21 Olympus Optical Co., Ltd. Electronic camera for microscope
JP4712151B2 (ja) * 2000-04-04 2011-06-29 オリンパス株式会社 顕微鏡用光量調整装置及びレーザ走査型顕微鏡
JP4020714B2 (ja) * 2001-08-09 2007-12-12 オリンパス株式会社 顕微鏡
JP2004361361A (ja) * 2003-06-09 2004-12-24 Institute Of Tsukuba Liaison Co Ltd 可変鏡形状切替による物体計測方法及びそれを用いた非走査型共焦点顕微鏡
JP4837325B2 (ja) * 2005-07-26 2011-12-14 オリンパス株式会社 顕微鏡照明装置
JP2007199397A (ja) * 2006-01-26 2007-08-09 Nikon Corp 顕微鏡装置
JP2008299245A (ja) * 2007-06-04 2008-12-11 Nikon Corp 被検体容器、位相差顕微鏡の調整方法およびプログラム
DE102007058558A1 (de) * 2007-12-05 2009-06-25 Carl Zeiss Microimaging Gmbh Phasenkontrastmikroskop mit einer Anordnung zur Variation der Phase des Lichtes
JP5160878B2 (ja) * 2007-12-21 2013-03-13 浜松ホトニクス株式会社 試料同定装置および試料同定方法
JP2009237109A (ja) 2008-03-26 2009-10-15 Nikon Corp 位相差顕微鏡
JP2011002514A (ja) * 2009-06-16 2011-01-06 National Institute Of Advanced Industrial Science & Technology 位相差顕微鏡
JP5532859B2 (ja) 2009-11-26 2014-06-25 トヨタ自動車株式会社 電源システム及びバッテリ異常判定方法

Also Published As

Publication number Publication date
WO2012157295A1 (en) 2012-11-22
US9261690B2 (en) 2016-02-16
TWI525343B (zh) 2016-03-11
JP2012242532A (ja) 2012-12-10
CN103534629A (zh) 2014-01-22
EP2710424A1 (en) 2014-03-26
CN103534629B (zh) 2016-01-13
US20120293644A1 (en) 2012-11-22
TW201250287A (en) 2012-12-16

Similar Documents

Publication Publication Date Title
JP5804441B2 (ja) 顕微鏡システム
TWI545519B (zh) 成像設備和程式
JP5757458B2 (ja) 顕微鏡システム、サーバー及びプログラム
KR20150090180A (ko) 동공 결상 산란율 측정을 위한 아포다이제이션
JP6155684B2 (ja) 照明装置、及びプロジェクター
JP2015092253A (ja) 適応光学系を有する顕微鏡検査法
CN107850765B (zh) 光束成形和光层显微技术的方法和组合件
US9599808B2 (en) Microscope apparatus
JP6286531B2 (ja) 位相フィルタ、撮像光学系、及び撮像システム
JP2010217473A (ja) 照明装置及びこれを備える顕微鏡
CN116430570B (zh) 光强校正、照明、显微镜成像、硅片缺陷检测装置及方法
CN116338926B (zh) 显微镜照明系统、成像系统、硅片缺陷的检测装置及方法
JP2009006136A (ja) 外科用顕微鏡システム及び結像方法
US20220244516A1 (en) Microscope device and data generation method using microscope
US10567626B2 (en) Observation apparatus
CN102410500A (zh) 一种环半径和环厚度可调的干涉仪环形光源系统
JP6086274B2 (ja) 寸法測定装置
RU2544269C1 (ru) Оптический фильтрующий элемент
JP2016109834A (ja) 位相差干渉顕微装置
JP2011150369A (ja) 投射光学系、及びそれを有する投射型表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150810

R150 Certificate of patent or registration of utility model

Ref document number: 5804441

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150823

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250