JP5757458B2 - 顕微鏡システム、サーバー及びプログラム - Google Patents

顕微鏡システム、サーバー及びプログラム Download PDF

Info

Publication number
JP5757458B2
JP5757458B2 JP2011087822A JP2011087822A JP5757458B2 JP 5757458 B2 JP5757458 B2 JP 5757458B2 JP 2011087822 A JP2011087822 A JP 2011087822A JP 2011087822 A JP2011087822 A JP 2011087822A JP 5757458 B2 JP5757458 B2 JP 5757458B2
Authority
JP
Japan
Prior art keywords
subject
image
illumination
light
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011087822A
Other languages
English (en)
Other versions
JP2012220801A (ja
Inventor
福武 直樹
直樹 福武
中島 伸一
伸一 中島
博久 太平
博久 太平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2011087822A priority Critical patent/JP5757458B2/ja
Priority to EP12709394.6A priority patent/EP2697679B1/en
Priority to CN201280017713.8A priority patent/CN103460110B/zh
Priority to PCT/JP2012/052569 priority patent/WO2012140940A1/en
Priority to US13/362,642 priority patent/US9563048B2/en
Priority to TW101106455A priority patent/TWI551885B/zh
Publication of JP2012220801A publication Critical patent/JP2012220801A/ja
Application granted granted Critical
Publication of JP5757458B2 publication Critical patent/JP5757458B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/14Condensers affording illumination for phase-contrast observation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/12Condensers affording bright-field illumination
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、観察に適した照明光の強度分布を導き出して形成する顕微鏡システム、サーバー及びプログラムに関する。
明視野顕微鏡では、照明光の強度分布の調整を円形の絞りを可変させて調整する。また、観察者の判断で絞りの形状を選択して使用することもあった。位相差顕微鏡では、リング(輪帯)絞り及び位相リングが照明光の強度分布を形成している。
照明光の強度分布は被検体の観察像に大きな影響を及ぼすため、円形の絞り、リング絞り及び位相リング等に改良を加えて被検体の観察画像をより良いものにするような工夫がされている。例えば、特許文献1では位相リングのリング状に設けられたリング領域を取り囲むように変調部を設け、変調部と変調部以外の領域との透過軸の方向が異なるように形成することによりコントラストを連続可変可能な位相差顕微鏡が示されている。
特開2009−237109
しかし、上記のような明視野顕微鏡又は位相差顕微鏡では、絞りの形状がある程度決まっており、照明光の強度分布の調整には制限があった。また、絞りの形状を選ぶ場合も観察者の判断又は経験を元にして選ぶため、必ずしも絞りの形状が観察中の物体の像を最良の状態で観察できる形状になっているわけではなかった。一方、絞り形状を任意に選べるようにすると、どのような絞り形状が被検体に対して最適な形状であるかを選択することが観察者にとって困難であった。
そこで本発明は、被検体を観察するためにその被検体に適した照明光の強度分布を求める顕微鏡システム、サーバー及びプログラムを提供する。
第1観点の顕微鏡システムは、被検体を観察する光学式の顕微鏡と顕微鏡に接続されるコンピュータとを含む顕微鏡システムである。顕微鏡は、光源からの照明光を被検体に所定照明条件で照射する照明光学系と、被検体からの光から被検体の像を形成する結像光学系と、結像光学系による被検体像を検出して画像信号を出力するイメージセンサと、を備える。コンピュータは、イメージセンサで検出される画像信号に基づいて、被検体の画像の特徴量を取得する画像解析部と、被検体の画像特徴量と複数のサンプル被検体の画像特徴量とを比較し、被検体の画像特徴量に近似するサンプル被検体の画像特徴量を特定する比較部と、比較部で特定された画像特徴量を有するサンプル被検体の観察に適した照明状態に基づいて、照明光学系の照明条件を設定する設定部と、を備える。
第2観点のサーバーは、第1観点の顕微鏡システムから被検体の画像特徴量を受信する第2受信部と、第2受信部で受信された被検体の画像特徴量と複数のサンプル被検体との画像特徴量とを比較し、被検体の画像特徴量に近似するサンプル被検体の画像特徴量を特定する第2比較部と、第2比較部で特定された画像特徴量を有するサンプル被検体の観察に適した照明状態に基づいて、照明光学系の照明条件を設定する第2設定部と、第2設定部で設定された照明光学系の照明条件を顕微鏡システムに送信する第2送信部と、を備える。
第3観点のプログラムは、光源からの照明光を被検体に所定照明条件で照射する照明光学系と、被検体からの光から被検体の像を形成する結像光学系と、結像光学系による被検体像を検出して画像信号を出力するイメージセンサと、を備える顕微鏡と、顕微鏡に接続されるコンピュータとを含む顕微鏡システムに用いられる。そのプログラムは、コンピュータに、イメージセンサで検出される画像信号に基づいて被検体の画像の特徴量を取得する画像解析と、被検体の画像特徴量と複数のサンプル被検体の画像特徴量との比較と、被検体の画像特徴量に近似するサンプル被検体の画像特徴量の特定と、比較部で特定された画像特徴量を有するサンプル被検体の観察に適した照明状態に基づいて照明光学系の照明条件を設定する設定と、を実行させる。
本発明によれば、観察中の物体の像を良い状態で観察するために適した照明条件を設定する顕微鏡システム、サーバー及びプログラムが提供される。
顕微鏡システム100の概略構成図である。 計算部20の概略構成図である。 記憶部206に記憶される空間周波数成分などの概念図である。 顕微鏡システム100の動作のフローチャートの一例である。 (a)は、顕微鏡システム300の概略構成図である。 (b)は、第1空間光変調素子390の平面図である。 (c)は、第2空間光変調素子396の平面図である。 計算部120の概略構成図である。 記憶部206に記憶される別の空間周波数成分などの概念図である。 顕微鏡システム300の動作のフローチャートの一例である。 山登り法を用いたフローチャートである。 遺伝的アルゴリズムを用いたフローチャートである。 サーバーを使った空間周波数成分の集中管理の概略構成図である。
(第1実施形態)
第1実施形態として、絞りの形状を自由に変えることができ明視野顕微鏡を有する顕微鏡システム100について説明する。顕微鏡システム100は、観察中の物体の像を良い状態で観察するために適した照明光の強度分布を導き出して自動的に調整される。
<顕微鏡システム100>
図1は、顕微鏡システム100の概略構成図である。顕微鏡システム100は主に、照明光源30と、照明光学系40と、ステージ50と、結像光学系70と、イメージセンサ80と、計算部20と、を有している。以下、照明光源30から射出される光束の中心軸をZ軸方向とし、Z軸に垂直で互いに直交する方向をX軸方向及びY軸方向として説明する。
照明光源30は、例えば被検体60に白色の照明光を照射する。照明光学系40は、第1コンデンサレンズ41、波長フィルタ44、第1空間光変調素子90及び第2コンデンサレンズ42を備えている。また、結像光学系70は対物レンズ71を備えている。ステージ50は、例えば細胞組織等の未知の構造を有する被検体60を載置してXY軸方向に移動可能である。また、結像光学系70は、被検体60の透過光又は反射光をイメージセンサ80に結像させる。
照明光学系40の第1空間光変調素子90は、例えば照明光学系40の中の結像光学系70の瞳の位置に対して共役となる位置に配置される。第1空間光変調素子90は具体的には液晶パネル又はデジタルマイクロミラーディバイスなどを使用することができる。また、第1空間光変調素子90は自由に形状及び大きさを変化させることができる照明領域91を有しており、照明領域91の大きさ又は形状を変えて、照明光の強度分布を任意に可変させることができる。つまり、第1空間光変調素子90は結像光学系70の瞳の共役位置における照明光の強度分布を可変することができる。一般に第1空間光変調素子90の透過領域91の直径を大きくすると透過光の開口数が上がるため解像度を上げることができる。また波長フィルタ44は、透過する光束の波長を特定の範囲内に制限する。波長フィルタ44には、例えば特定範囲の波長の光のみを透過するバンドパスフィルタが用いられる。波長フィルタ44は脱着が可能であり、複数のそれぞれ異なる波長の光を透過するバンドパスフィルタを用意してその入れ替えを行うことにより波長フィルタ44を透過する光の波長を制御することができる。
計算部20はイメージセンサ80で検出される画像信号を受信し、その画像信号を画像処理してモニター等の表示部21に表示させる。また計算部20は画像信号を解析する。計算部20が行う解析等については図2を使って後述する。
図1では、照明光源30から射出された光が点線で示されている。照明光源30から射出された光LW11は第1コンデンサレンズ41で平行な光LW12に変換される。光LW12は、波長フィルタ44を透過することにより波長の範囲が特定されて第1空間光変調素子90に入射する。第1空間光変調素子90の照明領域91を通過した光LW13は第2コンデンサレンズ42を透過して光LW14になり、ステージ50に向かう。ステージ50を透過した光LW15は結像光学系70を透過して光LW16となり、イメージセンサ80に被検体60の像を形成する。
<計算部20の構成>
図2は計算部20の構成を示した概念図である。計算部20は、画像処理部201、フーリエ解析部202、比較部205、記憶部206、及び設定部212を有している。
画像処理部201及びフーリエ解析部202は、イメージセンサ80からの画像信号を受け取る。画像処理部201は、イメージセンサ80からの画像信号を表示部21に表示するために画像処理する。画像処理された信号は表示部21に送られ、表示部21で被検体の像が表示される。フーリエ解析部202はイメージセンサ80からの画像信号をフーリエ変換し、空間周波数成分を算出する。そして被検体60の空間周波数成分が解析される。空間周波数成分は比較部205に送られるとともに、空間周波数成分を記憶するために記憶部206にも送られる。なお、フーリエ解析部202はイメージセンサ80からの被検体60のすべての画像信号をフーリエ変換してもよいし、観察者が選択した被検体60の一部領域の画像信号をフーリエ変換してもよい。一部領域の設定は、観察者が設定してもよいし、自動で設定されてもよい。
比較部205は、フーリエ解析部202で解析された被検体60の空間周波数成分と予め記憶部206に記憶されている空間周波数成分とを比較する。記憶部206にはすでに複数サンプル被検体の空間周波数成分が記憶されている。この空間周波数成分はサンプル被検体の画像信号に基づいてフーリエ変換されたものである。また記憶部206は各サンプル被検体に対して適した照明光の強度分布又は照明光の波長を記憶している。顕微鏡システムを製造する製造者がデフォルト値としてサンプル被検体を用意していてもよい。比較部205で比較された結果に基づいて、比較部205は記憶部206から最も近似する空間周波数成分を特定する。比較部205は最も近似する空間周波数成分のサンプル被検体に適した照明光の強度分布又は照明光の波長を出力する。
適した照明光の強度分布又は適した照明光の波長に関するデータは、照明光の照明条件を設定する設定部212に送られる。設定部212は素子変調部208及びフィルタ駆動部209を有している。素子変調部208は、適した照明光の強度分布に基づいて第1空間光変調素子90の照明領域91の大きさ又は形状を変える。またフィルタ駆動部209は、適した照明光の波長のデータに基づいて波長フィルタ44が透過する波長領域を変える。
<記憶部に記憶される被検体の空間周波数成分>
図3は、記憶部206に記憶される空間周波数成分などの概念図である。図3(a)は、被検体60の空間周波数成分の例である。図3(b)はサンプル被検体SM01からSM10までの空間周波数成分などの例である。
今回、被検体60は、照明光の所定の強度分布でイメージセンサ80により検出される。例えば、照明光の所定の強度分布は第1空間光変調素子90の照明領域91が全開口の分布である。この第1空間光変調素子90の照明領域91も、図3(a)に示されるように、被検体60の空間周波数成分FCとともに被検体60と関連付けられて記憶される。なお、図示していないが、被検体60を最初に検出する際には、波長フィルタ44は可視光の全領域(400nm〜800nm)を透過するフィルタが使われている。
被検体60と以下に説明するサンプル被検体とが統一した照明光の強度分布で検出される。これにより同一被検体であれば、同一空間周波数成分になる。第1実施形態では、照明光の所定の強度分布は照明領域91が全開口の分布である。これに限られず、また所定の強度分布が複数であってもよい。
空間周波数成分FCは周波数と強度(振幅)と位相との関係で表現される。なお、図3(a)及び(b)においては模式的に一次元方向の周波数と強度との関係が描かれているが、イメージセンサ80で検出された画像は二次元画像であるため二次元方向の周波数と強度とを含んでいる。
サンプル被検体SM(SM01〜SM10)は予め実験などで求めていた空間周波数成分FC(FC01〜FC10)である。図3(b)において、サンプル被検体SM01〜SM10が記憶されているが、これは例示であって数百ものサンプル被検体が記憶されていることが好ましい。
サンプル被検体SM01〜SM10は、第1空間光変調素子90の照明領域91が全開口の強度分布で取得された空間周波数成分FC01〜FC10が記憶部206に記憶されている。空間周波数成分FC01〜FC10は数式で記憶されていてもよく、周波数ごとの強度データとして記憶されていてもよい。なお、図示していないが、サンプル被検体SM01〜SM10の空間周波数成分FC01〜FC10も、可視光を透過するフィルタが使われて検出されたものである。
サンプル被検体SM(SM01〜SM10)は、さらに各サンプル被検体SMに適した照明光の強度分布が記憶されている。また最適な波長フィルタが記憶されている。例えば、サンプル被検体SM01では、1つの透過領域91で半径がやや小さい半径R1を有する照明光の強度分布が適していることを示している。またサンプル被検体SM01では、波長フィルタ44A(例えば400nm〜800nm)が適していることを示している。また、サンプル被検体SM02では、2つの透過領域91を有する照明光の強度分布が適していることを示している。またサンプル被検体SM02では、波長フィルタ44B(例えば400nm〜600nm)が適していることを示している。サンプル被検体SM03では、1つの透過領域91で半径が小さい半径R2を有する照明光の強度分布が適し、且つ波長フィルタ44Aが適していることを示している。
サンプル被検体SM08では、楕円状の透過領域91を有する照明光の強度分布が適し、且つ波長フィルタ44C(例えば600nm〜800nm)が適していることを示している。サンプル被検体SM09では、全開口の照明領域91を有する照明光の強度分布が適し、且つ波長フィルタ44Aが適していることを示している。サンプル被検体SM10では、三日月型の透過領域91を有する照明光の強度分布が適し、且つ波長フィルタ44Aが適していることを示している。
<顕微鏡システム100の動作>
図4は顕微鏡システム100の動作を説明したフローチャートの一例である。
ステップS101では、まず第1空間光変換素子90の照明領域91が所定の強度分布に設定される。図3(a)で示されたように、例えば照明光の所定の強度分布は最大円径の照明領域91である。そして、波長フィルタ44は可視光の全領域(400nm〜800nm)を透過するフィルタが選択される。そして被検体60である細胞等がイメージセンサ80で撮影される。
ステップS103では、フーリエ解析部202がイメージセンサ80で撮影された二次元画像を解析する。また、撮影された二次元画像は画像処理部201で処理されて表示部21に表示される。なお、表示部21に表示された二次元画像のうち観察者が被検体60の一部領域を選択するようにしてもよい。一部領域は、被検体60の1カ所であってもよいし2カ所以上であってもよい。観察者は被検体60の観察したい領域を中央に移動させるため、自動的にイメージセンサ80の中央領域を一部領域として選択してもよい。一部領域が選択された際にはフーリエ解析部202は選択された被検体60の一部領域の画像信号を解析してもよい。一部領域の設定は、観察者が設定してもよいし、自動で設定されてもよい。
ステップS105では、比較部205が、図3(a)に示された被検体60の空間周波数成分FCと図3(b)に示された空間周波数成分FC01〜FC10とを比較する。そして比較部205は、最小二乗法等のカーブフィッティング手法等によって、空間周波数成分FCにもっとも近似する空間周波数成分FC01〜FC10の一つを特定する。図3(b)の例示の中では、被検体60の空間周波数成分FCはサンプル被検体SM03の空間周波数成分FC03に最も近い。このため、比較部205は、サンプル被検体SM03の空間周波数成分FC03を特定する。被検体60の空間周波数成分FCとサンプル被検体SM03の空間周波数成分FC03とが近似しているということは、例えば被検体60が細胞である場合、被検体60の細胞構造がサンプル被検体SM03の細胞構造と似ていると推定される。このため、すでに記憶部202で記憶されている、サンプル被検体SM03を観察するに適した照明光の所定の強度分布及び波長フィルタも特定できる。すなわち、被検体60には、透過領域91で半径が小さい半径R2を有する照明光の強度分布が適し、且つ波長フィルタ44Aが適していると推定される。
ステップS107では、比較部205がさらに、特定されたサンプル被検体SM03の観察に適した照明光の強度分布及び波長フィルタを記憶部206から読み出す。
ステップS109では、適した照明光の強度分布及び波長フィルタがそれぞれ素子変調部208及びフィルタ駆動部209に送られる。そして第1空間光変換素子90の照明領域91が適した照明光の強度分布に設定される。また、適した波長フィルタ44に設定される。そしてイメージセンサ80で被検体60が撮影される。その撮影された二次元画像は表示部21に表示される。観察者が被検体60を観察するにはどのような照明光の強度分布又は波長フィルタが適切か否かわからない場合であっても、顕微鏡システム100は、適した照明光の強度分布又は波長フィルタを自動的に選ぶことができる。また、顕微鏡システム100は、被検体60に適した照明光の強度分布又は波長フィルタを短時間で見つけ出すことができる。
ステップS111では、観察者が表示部21に表示された二次元画像が満足する画像であるか否かを判断する。適した照明光の強度分布又は波長フィルタで被検体60が撮影されているが、観察者がより良い被検体60を観察したいと希望することもある。また、被検体60の空間周波数成分FCとサンプル被検体SMの空間周波数成分FCとが近似していても必ずしも同一ではないため、最適な二次元画像でないこともある。観察者が表示部21に表示された二次元画像で満足すれば(YES)、被検体60の観察は終了する。また点線で示されるように、ステップS117に進み被検体60が所定の強度分布で撮影された際の空間周波数成分を記憶してから終了してもよい。より良い二次元画像を観察する際(NO)にはステップS113に進む。
ステップS113では、焼きなまし法、タブーサーチ、山登り法又は遺伝的アルゴリズム等を用いて、照明光の強度分布又は波長フィルタの最適化計算を行う。そしてより良い照明光の強度分布又は波長フィルタを求める。
ステップS115では、ステップS113で求められた照明光の強度分布又は波長フィルタで被検体60がイメージセンサ80で撮影される。
ステップS117では、顕微鏡システム100で今回の被検体60を撮影するに適した照明光の強度分布又は波長フィルタとして記憶部206に記憶される。また、この被検体60が所定の強度分布で撮影された際の空間周波数成分が記憶部206に記憶される。この結果は、次に被検体を観察する際のサンプル被検体としての役割を担う。
以上説明したように、本実施形態の顕微鏡システム100は、被検体60を観察する際に、画像特徴量である空間周波数成分を使って、適した照明光の強度分布又は適した波長フィルタを容易に選び出すことができる。
図4に示したフローチャートの処理は、プログラムとして記憶媒体に記憶させてもよい。そしてこの記憶媒体に記憶されているプログラムをコンピュータにインストールさせることで、このコンピュータに計算などを行わせることができる。
(第2実施形態)
第1実施形態では明視野顕微鏡を有する顕微鏡システム100について説明したが、第2実施形態では、位相差顕微鏡を有する顕微鏡システム300について説明する。
<顕微鏡システム300>
図5(a)は、顕微鏡システム300の概略構成図である。顕微鏡システム300は、被検体60を観察するための光学式の顕微鏡システムである。顕微鏡システム300は主に、照明光源30と、照明光学系40と、結像光学系70と、イメージセンサ80と、計算部120とにより構成されている。また照明光学系40は、第1コンデンサレンズ41、第1空間光変調素子390及び第2コンデンサレンズ42を備えており、結像光学系70は対物レンズ71及び第2空間光変調素子396を含んでいる。また、照明光学系40と結像光学系70との間にはステージ50が配置され、ステージ50には被検体60が設置される。
第2空間光変調素子396は、結像光学系70の瞳の位置又はその近傍に配置される。また、第1空間光変調素子390は、照明光学系40の中の結像光学系70の瞳に共役となる位置に配置される。第1空間光変調素子390は透過する光の強度分布を任意に可変することができる素子であり、液晶パネル又はDMD等により構成される。第2空間光変調素子396は、位相を変えることができる素子である液晶パネル等により構成される。また、第2空間光変調素子は、位相と共に光の強度分布も自由に変えられるような構成とすることが望ましい。
図5(a)では、照明光源30から射出された光が点線で示されている。照明光源30から射出された照明光LW31は第1コンデンサレンズ41で光LW32になる。光LW32は、第1空間光変調素子390に入射する。第1空間光変調素子390を透過した光LW33は第2コンデンサレンズ42を透過して光LW34となり、被検体60に向かう。被検体60を通過した光LW35は、対物レンズ71を透過して光LW36となり第2空間光変調素子396に入射する。光LW36は第2空間光変調素子396を通過して光LW37となり、イメージセンサ80に結像する。イメージセンサ80に結像した画像の画像信号は計算部120に送られる。計算部120では、イメージセンサ80から得られた画像に基づいて、被検体60の空間周波数成分を解析する。そして、被検体60の観察に適した照明形状が第1空間光変調素子390及び第2空間光変調素子396に送信される。
図5(b)は、第1空間光変調素子390の平面図である。第1空間光変調素子390には、リング状に光の透過領域(照明領域)391が形成されており、透過領域391以外の領域は遮光領域392となっている。
図5(c)は第2空間光変調素子396の平面図である。第2空間光変調素子396にはリング状に位相変調領域397が形成されており、この位相変調領域397を透過する光は位相が4分の1波長だけ付加される。位相変調領域397以外の領域である回折光透過領域398を透過する光は位相がそのままである。位相変調領域397は、第1空間光変調素子390の透過領域391と共役になるように形成されている。
顕微鏡システム300の0次光(透過光)は、第1空間光変調素子390の透過領域391を透過し、第2空間光変調素子396の位相変調領域397を透過してイメージセンサ80に至る。また、被検体60から発せられた回折光は、第2空間光変調素子396の回折光透過領域398を透過してイメージセンサ80に至る。そして、0次光と回折光とがイメージセンサ80上に像を形成する。一般に0次光は回折光に比べて光の強度が強いので、位相変調領域397の光の強度を調節するフィルタが形成されることが望ましい。
第1空間光変調素子390及び第2空間光変調素子396は、その透過領域391及び位相変調領域397の大きさ、形状を自由に変えることができる。すなわち、透過光に与える付加位相の空間分布又は透過率の空間分布が変えられる。また、第1実施形態で示したように記憶部に記憶された照明形状を導き出して第1空間光変調素子390の透過領域391の形状を最適化してもよい。第2空間光変調素子396のリング状の領域397は常に第1空間光変調素子390の透過領域391と共役になるように形成される。そのため、透過領域391とリング状の領域397とは同期して形状が変化することが望ましい。
<計算部120の構成>
図6は計算部120の構成を示した概念図である。基本的に図3で示された計算部20と同じであるが、計算部120は新たに判断部204を有しその一方でフィルタ駆動部209を有していない点で計算部20と異なる。また照明条件を設定する設定部212は1つの素子変調部208しか有していない。また1つの素子変調部208は第1空間光変調素子390と第2空間光変調素子396とに接続されている点で計算部20と異なる。以下、計算部20と異なる点を主に説明する。
判断部204は、イメージセンサ80からの画像信号を受け取る。そして判断部204は、画像のコントラストに関連する信号に基づいて被検体60が位相物体と吸収物体とのいずれかであるかを判断する。位相物体とは,透過光では光の強度を変えず位相のみを変える無色透明な物体である。吸収物体とは、吸光物体又は強度物体とも呼ばれ、透過光において光の強度を変える有色な物体である。
判断部204は、以下のように2つの条件で撮影された被検体60の画像に基づいて、位相物体と吸収物体とを判断する。第1の条件では、イメージセンサ80は、第1空間光変調素子390の透過領域391が円形で遮光領域392がなく、且つ第2空間光変調素子396は位相透過領域397がなく全面の位相差がない状態で、被検体60を検出する。第2の条件では、イメージセンサ80は、第1空間光変調素子390の透過領域391がリング状、且つ第2空間光変調素子396は位相透過領域397がリング状で位相差が4分の1波長ある状態で、被検体60を検出する。
判断部204は、第1の条件で撮影した被検体60の画像のコントラストが閾値よりも高いか否か、第2の条件で撮影した被検体60の画像のコントラストが閾値より高いか否かを判断する。例えば被検体60が位相物体であれば、第1の条件で撮影した被検体60の画像のコントラストは低くなり、第2の条件で撮影した被検体60の画像のコントラストは高くなる。逆に被検体60が吸収物体であれば、第1の条件で撮影した被検体60の画像のコントラストは高くなり、第2の条件で撮影した被検体60の画像のコントラストは低くなる。このように、判断部204は、被検体60が位相物体と吸収物体とのいずれかであるかを判断する。判断部204が判断した結果は比較部205に送られる。
比較部205は、被検体60の空間周波数成分と予め記憶部206に記憶されている空間周波数成分とを比較する際に、判断部204から送られてきた結果を利用する。
素子変調部208は、適した照明光の強度分布に基づいて第1空間光変調素子390の照明領域391の大きさ又は形状を変える。また素子変調部208は、適した照明光の強度分布に基づいて第2空間光変調素子396の位相変調領域397の大きさ又は形状を変える。
<記憶部に記憶される被検体の空間周波数成分>
図7は、記憶部206に記憶される別の空間周波数成分などの概念図である。図7(a)は、リング状の照明光の強度分布で得られた被検体60の空間周波数成分の例である。図7(b)はサンプル被検体SM01からSS13までの空間周波数成分などの例である。
第2実施形態では、被検体60は、2つの所定条件でイメージセンサ80により検出される。例えば、第1の条件は照明光の所定の強度分布は第1空間光変調素子390の照明領域391が全開口の分布で第2空間光変調素子396の位相差がない条件である。第2の条件は第1空間光変調素子390の照明領域391がリング状の強度分布で且つ第2空間光変調素子396の位相変調領域397がリング状の強度分布で位相が4分の1波長擦れた条件である。
照明光の所定の強度分布として、この第2の条件も記憶される。図7(a)に示されるように、被検体60の空間周波数成分FCとともに所定の強度分布が被検体60と関連付けられて記憶される。なお、図示していないが、被検体60を最初に検出する際には、波長フィルタ44は可視光の全領域(400nm〜800nm)を透過するフィルタが使われている。
サンプル被検体SM(SM01〜SM13)は予め実験などで求めていた空間周波数成分FC(FC01〜FC13)である。サンプル被検体SMは、位相物体と吸収物体とが記憶されている。位相物体とは,透過光では光の強度を変えず位相のみを変える無色透明な物体である。吸収物体とは,透過光において光の強度を変える有色な物体である。図7(b)において、吸収物体としてサンプル被検体SM01〜SM03が記憶されている。また位相物体としてサンプル被検体SM11〜SM13が記憶されている。これは例示であって位相物体のサンプル被検体が何百も記憶されていることが好ましい。なお、吸収物体のサンプル被検体SM01〜SM03は、図3で示されたサンプル被検体SM01〜SM03と同じである。このため以下の説明ではそれらの説明を割愛する。
位相物体のサンプル被検体SM11〜SM13は、第1空間光変調素子390の照明領域391がリング状(輪帯状)の強度分布で取得された空間周波数成分FC11〜FC13が記憶部206に記憶されている。なお、図示していないが、サンプル被検体SM11〜SM13の空間周波数成分FC11〜F13も、可視光を透過するフィルタが使われて検出されたものである。
位相物体のサンプル被検体SM(SM11〜SM13)は、さらに各サンプル被検体SMに適した照明光の強度分布が記憶されている。また最適な波長フィルタが記憶されている。例えば、サンプル被検体SM11では、リングの幅の広い透過領域391を有する照明光の強度分布が適し、且つ波長フィルタ44C(例えば600nm〜800nm)が適していることを示している。サンプル被検体SM12では、リングが四つに分割された透過領域391を有する照明光の強度分布が適し、且つ波長フィルタ44Aが適していることを示している。サンプル被検体SM13では、リングの幅の狭い透過領域391を有する照明光の強度分布が適し、且つ波長フィルタ44Aが適していることを示している。なお顕微鏡システム300は、記憶部206に波長フィルタ44の情報が記憶されていても、使用しない。波長フィルタ44を備えている顕微鏡システム300であれば、記憶部206に記憶されている波長フィルタ44の情報を利用することができる。
<顕微鏡システム300の動作>
図8は顕微鏡システム300の動作を説明したフローチャートの一例である。
ステップS201では、第1空間光変換素子390及び第2空間光変換素子396が2つの所定の強度分布(第1条件:円形の均一照明、第2条件:リング照明(位相リング))に変調される。それぞれの条件で被検体60がイメージセンサ80で撮影される。
ステップS203では、判断部204が被検体60の画像のコントラストに基づいて、被検体60が吸収物体又は位相物体であるかを判断する。例えば被検体60が位相物体であれば、第1の条件で撮影した被検体60の画像のコントラストは低くなり、第2の条件で撮影した被検体60の画像のコントラストは高くなる。このフローチャートでは判断部204が、被検体60が位相物体であると判断したことを前提に説明する。
ステップS205では、フーリエ解析部202がイメージセンサ80で撮影された位相物体の二次元画像を解析する。また、撮影された二次元画像は画像処理部201で処理されて表示部21に表示される。
ステップS207では、比較部205が、図7(a)に示された被検体60の空間周波数成分FCと図7(b)に示された空間周波数成分FC11〜FC13とを比較する。判断部204から被検体60が位相物体であるとの結果を受け取っているため、比較部205は比較対象を位相物体のサンプル被検体SM11〜SM13に絞り込み、それらの空間周波数成分FC11〜FC13と検体60の空間周波数成分FCとを比較している。
比較部205は、最小二乗法等のカーブフィッティング手法等によって、空間周波数成分FCにもっとも近似する空間周波数成分FC11〜FC13の一つを特定する。図7(b)の例示の中では、被検体60の空間周波数成分FCはサンプル被検体SM13の空間周波数成分FC13に最も近い。このため、比較部205は、サンプル被検体SM13の空間周波数成分FC03を特定する。そして例えば被検体60が細胞であれば、その細胞構造がサンプル被検体SM13の細胞構造と似ていると推定される。このため、サンプル被検体SM13を観察するに適した照明光の所定の強度分布を特定する。
ステップS209では、比較部205が、特定された位相物体のサンプル被検体SM13の観察に適した照明光の強度分布を記憶部206から読み出す。
ステップS211では、適した照明光の強度分布が素子変調部208に送られる。そして第1空間光変換素子390の照明領域391及び第2空間光変換素子396の位相変調領域397が適した照明光の強度分布に設定される。そしてイメージセンサ80で被検体60が撮影される。その撮影された二次元画像は表示部21に表示される。観察者が被検体60を観察するにはどのような照明光の強度分布が適切か否かわからない場合であっても、顕微鏡システム300は、適した照明光の強度分布を自動的に選ぶことができる。また、顕微鏡システム300は、被検体60に適した照明光の強度分布を短時間で見つけ出すことができる。
ステップS213では、観察者が表示部21に表示された二次元画像が満足する画像であるか否かを判断する。適した照明光の強度分布で被検体60が撮影されているが、観察者がより良い被検体60を観察したいと希望することもある。また、被検体60の空間周波数成分FCとサンプル被検体SMの空間周波数成分FCとが近似していても必ずしも同一ではないため、最適な二次元画像でないこともある。観察者が表示部21に表示された二次元画像で満足すれば(YES)、被検体60の観察は終了する。また点線で示されるように、ステップS219に進み被検体60が所定の強度分布で撮影された際の空間周波数成分を記憶してから終了してもよい。より良い二次元画像を観察する際には(NO)ステップS215に進む。
ステップS215では、焼きなまし法、タブーサーチ、山登り法又は遺伝的アルゴリズム等を用いて、照明光の強度分布又は波長フィルタの最適化計算を行う。そしてより良い照明光の強度分布を求める。
ステップS217では、ステップS215で求められた照明光の強度分布で被検体60がイメージセンサ80で撮影される。
ステップS219では、顕微鏡システム300で今回の被検体60を撮影するに適した照明光の強度分布として記憶部206に記憶される。また、この被検体60が所定の強度分布で撮影された際の空間周波数成分が記憶部206に記憶される。この結果は、次に被検体を観察する際のサンプル被検体としての役割を担う。
以上説明したように、本実施形態の顕微鏡システム300は、被検体60を観察する際に、空間周波数成分を含む画像特徴量を使って、適した照明光の強度分布を容易に選び出すことができる。
図8に示したフローチャートの処理は、プログラムとして記憶媒体に記憶させてもよい。そしてこの記憶媒体に記憶されているプログラムをコンピュータにインストールさせることで、このコンピュータに計算などを行わせることができる。
<照明光の強度分布の導き方>
図4のステップS113又は図8のステップS215では、被検体60の観察に適した照明光の強度分布を求めた。いろいろな導き方があるが、山登り法と遺伝的アルゴリズムを用いた方法との2つの方法について説明する。以下のフローチャートは第2実施形態の顕微鏡システム300に山登り法と遺伝的アルゴリズムを用いた方法とを適用させた例である。説明を割愛するが、同様に第1実施形態の顕微鏡システム100にも適用できる。
<山登り法>
山登り法は、最初に設定された照明形状を少しずつ変化させていき、変化ごとに画像の画像信号を取得して、この画像信号が観察者によって設定された条件に最も近くなる条件を探していく方法である。図9を参照しながら説明する。
図9は、照明光の強度分布を少しずつ変化させて適した強度分布を見つける山登り法のフローチャートである。
ステップS301では、まず記憶部206から読み出された第1空間光変換素子390の照明領域391及び第2空間光変換素子396の位相変調領域397が適した照明光の強度分布に設定される。なお、このステップS301は図8のステップS211の結果を流用してもよい。
ステップS303は、素子変調部208が第1空間光変換素子390の照明領域391及び第2空間光変換素子396の位相変調領域397の大きさを少し変化させる。つまりステップS303は、照明光の強度分布を少し変化させる。
ステップS305では、イメージセンサ80で被検体60の像が検出される。そして画像信号が計算部120に送られる。
ステップS307では、計算部120に送られてきた画像信号に基づく画像が前回の画像よりも悪いか否かを判断する。例えば、今回の画像信号に基づいて計算されたコントラストが、前回得られた画像信号に基づいて計算されたコントラストよりも悪いかを比較する。悪くなっていなければステップS303に戻り照明領域391及び位相変調領域397の大きさもしくは形状を変化させ、その画像信号を検出する(ステップS305)。つまり、今回の画像信号のコントラストが上がっているためステップS303に戻って照明領域391及び位相変調領域397の大きさもしくは形状を変化させる。一方、コントラストが前回より今回が悪くなっていれば、前回の照明領域391及び位相変調領域397の大きさもしくは形状が最もコントラストが高いことになる。そこで次のステップS309に進む。
ステップS309は、被検体60の観察に適した照明形状が選択される。つまり、観察領域24のコントラストが悪くなる直前に使用された照明領域391及び位相変調領域397が被検体60の観察に適した照明光の強度分布であるとして、被検体60の観察に使用される。なお、図8のステップS219で説明したように、この求められた照明領域391及び位相変調領域397が記憶部206に記憶される。
<遺伝的アルゴリズムを用いた方法>
次に遺伝的アルゴリズムを用いた方法について説明する。遺伝的アルゴリズムは、用意された複数の照明光の強度分布のそれぞれについて画像信号を取得し、その中で被検体60の観察に適した強度分布同士の組み合わせを行うことにより照明光の強度分布を探していく方法である。
図10は、遺伝的アルゴリズムを用いたフローチャートである。
まず、ステップS401で、まず記憶部206から読み出された第1空間光変換素子390の照明領域391及び第2空間光変換素子396の位相変調領域397が適した照明光の強度分布に設定される。
ステップS403では、読み出された照明領域391及び位相変調領域397の強度分布と別の複数の強度分布とを用いて被検体60の像がイメージセンサ80で検出される。なお、この読み出された照明領域391及び位相変調領域397の強度分布の画像は、図8のステップS211の結果を流用してもよい。
ステップS405では、遺伝的アルゴリズムの交叉又は突然変異の手法によって次世代の照明光の強度分布を複数形成する。
ステップS407では、次世代の複数の照明光の強度分布を用いて被検体60の像がイメージセンサ80で検出される。
ステップS409では、ステップS407で入手した被検体60の画像のコントラスト等を比較し、この中で最も適した照明光の強度分布である第1照明光強度分布と2番目に適した照明光の強度分布である第2照明光強度分布とが選択される。
ステップS411では、所定の世代、例えば1000世代まで交叉又は突然変異が行われたかを判断する。所定の世代まで交叉等が行われていない場合はステップS405に戻ってより被検体の観察に適した照明強度分布を探索していく。所定の世代まで交叉等が行われればステップS413に進む。
ステップS413では、所定の世代、例えば1000世代までの交叉等で得られた照明領域391から、観察者が要望した条件に近い世代の照明形状が選択される。その世代の照明光の強度形状の第1空間光変換素子390の照明領域391及び第2空間光変換素子396の位相変調領域397が被検体60の観察に使用される。なお、図8のステップS219で説明したように、この求められた照明領域391及び位相変調領域397が記憶部206に記憶される
<空間周波数成分の集中管理>
図11はサーバー400を使った空間周波数成分の集中管理の概略構成図である。
顕微鏡システム100は計算部25を有している。計算部25は計算部20(図2)とは異なり、比較部205を有しておらず、サンプル被検体SMの空間周波数成分FCを記憶する記憶部206を有していない。その一方で、計算部25はインターネット等の通信機能として、一時的にデータを蓄えるバッファ部220、外部に空間周波数成分FC等の情報を送信する送信部222、外部から適した照明光の強度分布に関する情報等を受信する受信部224を有している。
顕微鏡システム300は計算部125を有している。計算部125は計算部120(図6)とは異なり、比較部205を有しておらず、サンプル被検体SMの空間周波数成分FCを記憶する記憶部206を有していない。その一方で、計算部125はバッファ部220、送信部222、受信部224を有している。
サーバー400は、被検体60の空間周波数成分FCとサンプル被検体の空間周波数成分とを比較する比較部405及びサンプル被検体SMの空間周波数成分FCを記憶する記憶部406を有している。また、サーバー400は外部に適した照明光の強度分布に関する情報等を送信する送信部422、外部から空間周波数成分FC等の情報を受信する受信部424を有している。
顕微鏡システム100及び顕微鏡システム300は、1つずつ描かれているが多数配置されている。その一方でサーバー400は1又は少数である。顕微鏡システム100及び顕微鏡システム300は、所定の照明光の強度分布で被検体60を撮像する。その被検体60の画像信号は、顕微鏡システム100及び顕微鏡システム300のそれぞれのフーリエ解析部202で解析される。それぞれの送信部222は、被検体60の空間周波数成分FCをサーバー400に送信する。しかし各システムは被検体60の画像信号は必ずしも送信する必要はない。サーバー400の受信部424は被検体の空間周波数成分FCを受信する。
サーバー400の比較部405は、記憶部406に記憶されたサンプル被検体SMの空間周波数成分FCと送信されてきた被検体60の空間周波数成分FCとを比較する。そして最も近いサンプル被検体の空間周波数成分を特定する。そして比較部405がそのサンプル被検体を観察するに適した照明光の所定の強度分布又は波長フィルタを特定する。比較部405は特定されたサンプル被検体の観察に適した照明光の強度分布又は波長フィルタを記憶部406から読み出す。読み出された照明光の強度分布又は波長フィルタは顕微鏡システム100及び顕微鏡システム300に送信部422を介して送信される。
顕微鏡システム100及び顕微鏡システム300の受信部224は、観察に適した照明光の強度分布又は波長フィルタを受信し、その受信した結果に基づいて設定部212は照明条件を設定する。素子変調部208は適した照明光の強度分布に第1空間光変調素子90、390を変調させる。フィルタ駆動部209は波長フィルタ44の透過波長を変更する。顕微鏡システム100及び顕微鏡システム300は、被検体60を観察する際に、空間周波数成分を含む画像特徴量を使って、適した照明光の強度分布を容易に選び出すことができる。
観察者が、適した照明光の強度分布でイメージセンサ80が検出した被検体60の二次元画像を観察し、観察者が二次元画像で満足すれば、被検体60の観察は終了する。より良い二次元画像を観察する際には、各顕微鏡システム100及び顕微鏡システム300で、山登り法又は遺伝的アルゴリズム等を用いて、照明光の強度分布又は波長フィルタの最適化計算が行われる。
各顕微鏡システム100及び顕微鏡システム300で最適化計算された結果は、送信部222を介してサーバー400に送られ、サーバー400の記憶部406に空間周波数成分とともにサンプル被検体として記憶される。サーバー400の記憶部には複数の顕微鏡システム100及び顕微鏡システム300から送られた照明光の強度分布等が記憶されるため、きわめて多くの空間周波数成分が記憶される。したがって、サーバー400の比較部405はきわめて近似する空間周波数成分を特定することができる。
以上のような方法により、被検体60情報を検出し、計算部20は被検体の観察に適した照明形状を自動的に設定することができるが、実施形態には更に様々な変更を加えることができる。
例えば、顕微鏡システム100では照明光源30は白色の照明光を照射し、波長フィルタ44で透過する光束の波長を特定の範囲のみを透過させた。波長フィルタ44を用いる代わりに、異なる波長の光(例えば、赤色、緑色、青色)を照射するLEDを複数有する照明光源30を使用してもよい。例えば被検体60に白色光を照射する際には赤色、緑色及び青色のLEDを同時に点灯させ、被検体60に赤色を照射する際には赤色のLEDのみを点灯させる。このように、照明光の波長が選択されてもよい。
さらに例えば、図5に示した顕微鏡システム300でも波長フィルタを備えてもよい。また、第1及び第2実施形態は、画像特徴量として空間周波数成分を使用したがこれに限られない。例えば、階調値の出現頻度を表すヒストグラム(縦軸:出現頻度、横軸:階調値)も画像特徴量として使用することができる。さらに画像特徴量として最大傾斜量を使用することができる。最大傾斜量とは空間的な輝度値プロファイル(横軸:例えばX方向位置、縦軸:輝度値)での輝度値の変化の最大値である。画像特徴量はコントラストでもよい。
20、25,120,125 … 計算部
21 … 表示部
30 … 照明光源
40 … 照明光学系
41 … 第1コンデンサレンズ、 42 … 第2コンデンサレンズ
44 … 波長フィルタ
50 … ステージ
60 … 被検体
70 … 結像光学系、 71 … 対物レンズ
80 … イメージセンサ
90、390 … 第1空間光変調素子
91 … 照明領域
92 … 遮光部
100、300 … 顕微鏡システム
201 … 画像処理部
202、402 … フーリエ解析部
204 … 判断部
205、405 … 比較部
206,406 … 記憶部
208 … 素子変調部
209 … フィルタ駆動部
222、422 … 送信部
224,424 … 受信部
396 … 第2空間光変調素子
397 … 位相変調領域
398 … 回折光透過領域
400 … サーバー

Claims (13)

  1. 被検体を観察する光学式の顕微鏡と前記顕微鏡に接続されるコンピュータとを含む顕微鏡システムであって、
    前記顕微鏡は、
    光源からの照明光を前記被検体に所定照明条件で照射する照明光学系と、
    前記被検体からの光から前記被検体の像を形成する結像光学系と、
    前記結像光学系による被検体像を検出して画像信号を出力するイメージセンサと、を備え、
    前記コンピュータは、
    前記イメージセンサで検出される画像信号に基づいて、前記被検体の画像の特徴量を取得する画像解析部と、
    前記被検体の画像特徴量と複数のサンプル被検体の画像特徴量とを比較し、前記被検体の画像特徴量に近似するサンプル被検体の画像特徴量を特定する比較部と、
    前記比較部で特定された画像特徴量を有するサンプル被検体の観察に適した照明状態に基づいて、前記照明光学系の照明条件を設定する設定部と、
    を備える顕微鏡システム。
  2. 前記所定照明条件における前記複数のサンプル被検体の画像特徴量と、各サンプル被検体の観察に適した照明状態とを記憶する記憶部を備える請求項1に記載の顕微鏡システム。
  3. 前記照明光学系は、前記結像光学系の瞳の共役位置における前記照明光の強度分布を可変する第1空間変調素子を有し、
    前記設定部は、前記第1空間変調素子を変調させる素子変調部を有する請求項1又は請求項2に記載の顕微鏡システム。
  4. 前記被検体の画像特徴量は前記被検体の画像の少なくとも一部における空間周波数成分、階調値の出現頻度を表すヒストグラム、コントラスト又は空間的な輝度値プロファイルでの輝度値の変化の最大値である最大傾斜量を含む請求項1から請求項3のいずれか一項に記載の顕微鏡システム。
  5. 前記素子変調部で変調された前記第1空間変調素子による前記照明光の強度分布の下で、前記イメージセンサが検出した前記被検体の画像信号を初期データとして、前記照明光の強度分布を微小量変化させ、前記照明光の強度分布を変化させる毎に前記画像信号を取得して、適した前記照明光の強度分布の大きさを逐次的に計算する計算部を備える請求項3又は請求項4に記載の顕微鏡システム。
  6. 前記計算部は、前記初期データから前記照明光の強度分布を変化させて第1及び第2の照明光強度分布を形成し、それらに対応する第1及び第2の画像信号を取得し、遺伝的アルゴリズムにより最適な照明光強度分布を求める請求項5に記載の顕微鏡システム。
  7. 前記結像光学系の瞳位置または瞳の共役位置近傍で且つ前記第1空間光変調素子と共役の位置に配置された第2空間光変調素子を備え、
    前記第2空間光変調素子は、透過光に与える付加位相の空間分布又は透過率の空間分布を可変とする請求項3から請求項6のいずれか1項に記載の顕微鏡システム。
  8. 前記イメージセンサで検出される画像信号に基づいて、前記被検体が吸収物体であるか位相物体であるかを判断する判断部を備える請求項1から請求項7のいずれか1項に記載の顕微鏡システム。
  9. 前記顕微鏡は前記照明光の波長領域を選択する波長フィルタを備えており、
    前記イメージセンサで検出される画像信号は、前記波長フィルタを介して検出される請求項1から請求項8のいずれか一項に記載の顕微鏡システム。
  10. 前記サンプル被検体は、前記顕微鏡システムで過去に観察した被検体を含む請求項1から請求項9のいずれか一項に記載の顕微鏡システム。
  11. 前記被検体の画像特徴量と複数のサンプル被検体との画像特徴量とを比較し、前記被検体の画像特徴量に近似するサンプル被検体の画像特徴量を特定する第2比較部と、前記第2比較部で特定された画像特徴量を有するサンプル被検体の観察に適した照明状態に基づいて、前記照明光学系の照明条件を設定する第2設定部と、を有するサーバーに接続され、
    前記被検体の画像特徴量を前記サーバーに送信する送信部と、
    前記サーバーで設定された前記照明光学系の照明条件を受信する受信部と、を備える請求項1に記載の顕微鏡システム。
  12. 請求項1に記載の顕微鏡システムから前記被検体の画像特徴量を受信する第2受信部と、
    前記第2受信部で受信された前記被検体の画像特徴量と複数のサンプル被検体との画像特徴量とを比較し、前記被検体の画像特徴量に近似するサンプル被検体の画像特徴量を特定する第2比較部と、
    前記第2比較部で特定された画像特徴量を有するサンプル被検体の観察に適した照明状態に基づいて、前記照明光学系の照明条件を設定する第2設定部と、
    前記第2設定部で設定された前記照明光学系の照明条件を前記顕微鏡システムに送信する第2送信部と、
    を備えるサーバー。
  13. 光源からの照明光を被検体に所定照明条件で照射する照明光学系と、前記被検体からの光から前記被検体の像を形成する結像光学系と、前記結像光学系による被検体像を検出して画像信号を出力するイメージセンサと、を備える顕微鏡と、前記顕微鏡に接続されるコンピュータとを含む顕微鏡システムを用いて、前記被検体を観察するプログラムであって、
    前記コンピュータに、
    前記イメージセンサで検出される画像信号に基づいて、前記被検体の画像の特徴量を取得する画像解析と、
    前記被検体の画像特徴量と複数のサンプル被検体の画像特徴量との比較と、
    前記被検体の画像特徴量に近似するサンプル被検体の画像特徴量の特定と、
    前記比較部で特定された画像特徴量を有するサンプル被検体の観察に適した照明状態に基づいて、前記照明光学系の照明条件を設定する設定と、
    を実行させるプログラム。
JP2011087822A 2011-04-12 2011-04-12 顕微鏡システム、サーバー及びプログラム Active JP5757458B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2011087822A JP5757458B2 (ja) 2011-04-12 2011-04-12 顕微鏡システム、サーバー及びプログラム
EP12709394.6A EP2697679B1 (en) 2011-04-12 2012-01-30 Microscope system, server, and program
CN201280017713.8A CN103460110B (zh) 2011-04-12 2012-01-30 显微镜系统、服务器和程序
PCT/JP2012/052569 WO2012140940A1 (en) 2011-04-12 2012-01-30 Microscope system, server, and program
US13/362,642 US9563048B2 (en) 2011-04-12 2012-01-31 Microscope system, server, and program providing intensity distribution of illumination light suitable for observation
TW101106455A TWI551885B (zh) 2011-04-12 2012-02-29 顯微鏡系統、伺服器和程式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011087822A JP5757458B2 (ja) 2011-04-12 2011-04-12 顕微鏡システム、サーバー及びプログラム

Publications (2)

Publication Number Publication Date
JP2012220801A JP2012220801A (ja) 2012-11-12
JP5757458B2 true JP5757458B2 (ja) 2015-07-29

Family

ID=45852656

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011087822A Active JP5757458B2 (ja) 2011-04-12 2011-04-12 顕微鏡システム、サーバー及びプログラム

Country Status (5)

Country Link
US (1) US9563048B2 (ja)
EP (1) EP2697679B1 (ja)
JP (1) JP5757458B2 (ja)
TW (1) TWI551885B (ja)
WO (1) WO2012140940A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140368904A1 (en) * 2012-02-29 2014-12-18 Agilent Technologies, Inc. Software Defined Microscope
JP5761458B2 (ja) * 2012-06-05 2015-08-12 株式会社ニコン 顕微鏡装置
JP6112872B2 (ja) * 2013-01-18 2017-04-12 キヤノン株式会社 撮像システム、画像処理方法、および撮像装置
JP6269096B2 (ja) * 2014-01-21 2018-01-31 株式会社ニコン 顕微鏡装置および顕微鏡システム
WO2017119846A1 (en) * 2016-01-06 2017-07-13 Heptagon Micro Optics Pte. Ltd. Three-dimensional imaging using frequency domain-based processing
US11598627B2 (en) 2016-02-03 2023-03-07 Virginia Tech Intellectual Properties, Inc. Methods, systems and apparatus of interferometry for imaging and sensing
JP6704049B2 (ja) * 2016-07-11 2020-06-03 オリンパス株式会社 観察装置および標本観察方法
US10634618B2 (en) * 2018-01-23 2020-04-28 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and a method for inspecting a light transmissible optical component
JP7112686B2 (ja) * 2018-07-18 2022-08-04 株式会社エビデント 標本観察装置

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1073622A (en) * 1973-10-31 1980-03-18 James Jack Thermoplastics compositions
US4561731A (en) 1980-03-10 1985-12-31 Kley Victor B Electronic illumination control
US4873653A (en) 1986-04-09 1989-10-10 Carl-Zeiss-Stiftung Microscope system for providing three-dimensional resolution
JP3194620B2 (ja) 1992-06-24 2001-07-30 オリンパス光学工業株式会社 顕微鏡の開口絞り径設定装置
JPH0621165A (ja) * 1992-07-06 1994-01-28 Hitachi Ltd 画像の二値化良否判別方法
JPH06152948A (ja) * 1992-10-31 1994-05-31 Minolta Camera Co Ltd 画像処理装置
JPH08220568A (ja) 1995-02-13 1996-08-30 Nikon Corp エレクトロクロミック素子
JPH08327324A (ja) 1995-06-05 1996-12-13 Toshiba Corp 位置合せ装置
JPH09134045A (ja) * 1995-11-10 1997-05-20 Minolta Co Ltd 画像形成装置
US5966560A (en) * 1995-08-29 1999-10-12 Minolta Co., Ltd. Image forming apparatus with enhanced pretransfer erasing
US5761336A (en) * 1996-01-16 1998-06-02 Ultrapointe Corporation Aperture optimization method providing improved defect detection and characterization
DE19644662C2 (de) 1996-10-25 2000-04-13 Leica Microsystems Beleuchtungseinrichtung für ein Mikroskop
JPH10221042A (ja) * 1996-12-02 1998-08-21 Omron Corp 路面状態判別装置
JP2000123770A (ja) * 1998-10-14 2000-04-28 Jeol Ltd 分析装置の遠隔観察システム
JP4560900B2 (ja) * 2000-06-19 2010-10-13 ソニー株式会社 検査装置
JP4869502B2 (ja) * 2001-06-25 2012-02-08 オリンパス株式会社 微分干渉顕微鏡
DE10133992A1 (de) * 2001-07-12 2003-01-23 Leica Microsystems Anordnung und Verfahren zur Beleuchtung eines Objektfeldes in einem optischen Gerät
JP4020714B2 (ja) * 2001-08-09 2007-12-12 オリンパス株式会社 顕微鏡
JP2003232749A (ja) * 2002-02-06 2003-08-22 Hamamatsu Photonics Kk 半導体デバイス故障解析装置
JP2003282016A (ja) * 2002-03-26 2003-10-03 Seiko Instruments Inc 周辺装置を備えた荷電粒子顕微鏡における試料ステージ傾斜機構
US6924893B2 (en) 2002-05-13 2005-08-02 Marine Biological Laboratory Enhancing polarized light microscopy
JP2004101871A (ja) 2002-09-10 2004-04-02 Olympus Corp 顕微鏡画像撮影装置
JP3731073B2 (ja) 2002-09-17 2006-01-05 独立行政法人理化学研究所 顕微鏡装置
US20040184144A1 (en) * 2002-12-31 2004-09-23 Goodwin Paul C. Wavelength-specific phase microscopy
JP2004294358A (ja) * 2003-03-28 2004-10-21 Hitachi High-Technologies Corp 欠陥検査方法および装置
US7508973B2 (en) * 2003-03-28 2009-03-24 Hitachi High-Technologies Corporation Method of inspecting defects
US7532323B2 (en) * 2003-10-28 2009-05-12 Cha-Min Tang Spatial light modulator apparatus and method
US7564622B2 (en) * 2003-12-12 2009-07-21 Olympus Corporation Methods for implement microscopy and microscopic measurement as well as microscope and apparatus for implementing them
JP4582762B2 (ja) * 2003-12-12 2010-11-17 オリンパス株式会社 顕微鏡観察方法及びそれを用いるための顕微鏡
JP4615886B2 (ja) 2004-04-01 2011-01-19 オリンパス株式会社 走査型光学顕微鏡
JP2006091623A (ja) * 2004-09-27 2006-04-06 Seiko Epson Corp アライメント用照明装置、アライメント用照明方法、および、電気光学装置の製造方法
JP3755888B2 (ja) * 2005-06-14 2006-03-15 株式会社林創研 バイオチップオンライン分析システム
GB2436213B8 (en) * 2006-03-13 2013-02-13 Clemex Technologies Inc System and method for automatic measurements and calibration of computerized magnifying instruments
JP4997588B2 (ja) * 2006-10-13 2012-08-08 独立行政法人産業技術総合研究所 光軸自動調整機能搭載2光子レーザ顕微鏡
FR2907559B1 (fr) 2006-10-19 2009-02-13 Essilor Int Composant optique elecro-commandable comprenant un ensemble de cellules
US7633631B2 (en) 2007-04-04 2009-12-15 Nikon Corporation Three-dimensional microscope and method for obtaining three-dimensional image
JP2009128497A (ja) * 2007-11-21 2009-06-11 Nikon Corp 顕微鏡
JP2009237109A (ja) 2008-03-26 2009-10-15 Nikon Corp 位相差顕微鏡
JP2010008793A (ja) * 2008-06-27 2010-01-14 Nikon Corp 顕微鏡装置
JP2010261996A (ja) * 2009-04-30 2010-11-18 Nikon Corp 顕微鏡
JP2010271537A (ja) * 2009-05-21 2010-12-02 Olympus Corp 位相差顕微鏡
JP5441613B2 (ja) 2009-10-23 2014-03-12 ファミリーイナダ株式会社 切換弁、及びこれを備えたマッサージ機
JP5393406B2 (ja) 2009-11-06 2014-01-22 オリンパス株式会社 パターン投影装置、走査型共焦点顕微鏡、及びパターン照射方法
DE102010042351B4 (de) 2010-10-12 2014-02-13 Leica Microsystems Cms Gmbh Mikroskopbeleuchtungssystem, Mikroskop und Verfahren zur schrägen Auflichtbeleuchtung
JP5721042B2 (ja) 2010-10-20 2015-05-20 株式会社ニコン 顕微鏡システム

Also Published As

Publication number Publication date
CN103460110A (zh) 2013-12-18
US20120262561A1 (en) 2012-10-18
EP2697679A1 (en) 2014-02-19
TWI551885B (zh) 2016-10-01
US9563048B2 (en) 2017-02-07
TW201241473A (en) 2012-10-16
JP2012220801A (ja) 2012-11-12
EP2697679B1 (en) 2018-09-05
WO2012140940A1 (en) 2012-10-18

Similar Documents

Publication Publication Date Title
JP5757458B2 (ja) 顕微鏡システム、サーバー及びプログラム
US10451860B2 (en) Microscope system
US9529184B2 (en) Imaging apparatus and program
US9261690B2 (en) Microscope system
US10980416B2 (en) Blood flow measurement apparatus
US20220276125A1 (en) Optical imaging performance test system and method
JP2017527918A (ja) 結果画像を生成する方法及び光学装置
US10321819B2 (en) Ophthalmic imaging apparatus
EP3087910B1 (en) Inspection apparatus, image processing apparatus, method of operating inspection apparatus, image processing method, and recording medium
CN103460110B (zh) 显微镜系统、服务器和程序
JP5971621B2 (ja) 顕微鏡システム
JP2019078884A (ja) 画像処理装置および顕微鏡システム
JP6975418B2 (ja) 領域判定方法
JP6264715B2 (ja) 顕微鏡システム
JP2019171168A (ja) 眼科撮影装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140402

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150511

R150 Certificate of patent or registration of utility model

Ref document number: 5757458

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150524

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250