JP6513507B2 - 位相差顕微鏡および撮像方法 - Google Patents

位相差顕微鏡および撮像方法 Download PDF

Info

Publication number
JP6513507B2
JP6513507B2 JP2015130873A JP2015130873A JP6513507B2 JP 6513507 B2 JP6513507 B2 JP 6513507B2 JP 2015130873 A JP2015130873 A JP 2015130873A JP 2015130873 A JP2015130873 A JP 2015130873A JP 6513507 B2 JP6513507 B2 JP 6513507B2
Authority
JP
Japan
Prior art keywords
light
optical system
adjustment
imaging
phase difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015130873A
Other languages
English (en)
Other versions
JP2017015856A (ja
Inventor
兼太 松原
兼太 松原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2015130873A priority Critical patent/JP6513507B2/ja
Priority to EP16817560.2A priority patent/EP3318913B1/en
Priority to PCT/JP2016/063804 priority patent/WO2017002451A1/ja
Publication of JP2017015856A publication Critical patent/JP2017015856A/ja
Priority to US15/850,969 priority patent/US10649192B2/en
Application granted granted Critical
Publication of JP6513507B2 publication Critical patent/JP6513507B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/14Condensers affording illumination for phase-contrast observation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/282Autofocusing of zoom lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/245Devices for focusing using auxiliary sources, detectors

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Description

本発明は、液体中の観察対象を位相差計測する位相差顕微鏡および撮像方法に関するものである。
近年、幹細胞などの培養された透明な細胞を非染色に観察する方法として位相差計測が広く使われ始めている。そして、このような位相差計測を行うものとして位相差顕微鏡が使用されている。
一般的な位相差顕微鏡においては、リング状の照明光が観察対象に照射され、観察対象を通過した直接光と回折光が位相板に入射される。そして、直接光は位相板のリング部分によって減光され、回折光は位相板の透明な部分を通過し、この直接光と回折光とが結像されることによって明暗のコントラストのついた像を撮像することができる。
ここで、たとえば位相差顕微鏡によって培養液中の細胞などを観察する場合、培養液の表面張力の影響によって培養液の液面にメニスカスが形成される。そして、このメニスカスのレンズ作用によってリング状の照明光の光軸がシフトし、位相板に入射される直接光と回折光とに影響を及ぼして明瞭な位相差像が得られない問題がある。
図10は、従来の位相差顕微鏡を用いて培養液中の細胞を撮像した画像の一例を示すものである。図10Iは全体像であり、図10IIは、図10Iに示す全体像の一部を拡大した像である。図10に示すように、メニスカスの影響によって画像の中央にアーチファクトを生じ、細胞像のコントラストも低いことが分かる。
一方、図11は、従来の位相差顕微鏡を用いて培養液がない状態で細胞を撮像した画像の一例を示すものである。図11Iは全体像であり、図11IIは、図11Iに示す全体像の一部を拡大した像である。図11に示すように、培養液が存在しない場合、高コントラストな細胞像を得ることができるが、培養液がない状態では細胞の培養を継続することができない。
上述したような培養液のメニスカスの影響を抑制するため、種々の方法が提案されている。たとえば、特許文献1においては、対物レンズの瞳位置のリング状の位相膜の形状と、光学素子によって形成されるリング状の照明光の形状とを瞳像検出器によって検出し、その検出された座標データに基づいて、光学素子のリング状開口の形状を制御することが提案されている。
また、特許文献2においては、メニスカスの影響ではないが、培養容器の底面の湾曲や培養容器の傾斜によって照明光の光軸がずれることを考慮し、照明光の光軸ずれを検出し、その光軸ずれに応じて位相板を移動させることが提案されている。
また、特許文献3においては、メニスカスの影響を抑制するため、ユーザがスリット板または位相板を移動させ、その位置を記録しておくことが提案されている。
特開2010−271537号公報 特開2007−293267号公報 特開2009−122356号公報
しかしながら、特許文献1に記載の方法では、位相膜の形状とリング状の照明光の形状とを画像として検出し、これらの座標データに基づいて光学素子を制御しており、リング状の画像の変形は単純ではないため、光学素子の制御信号を演算するために時間を要する。
また、特許文献2に記載の方法は、上述したように、培養容器の底面の湾曲や培養容器の傾斜による照明光の光軸ずれを調整するものであり、培養液のメニスカスの影響を抑制する具体的な方法は提案されていない。
また、特許文献3では、メニスカスの影響を抑制するため、ユーザがスリット板または位相板を移動させることが開示されているが、自動的かつ高速にメニスカスに起因する照明光の屈折の影響を取り除く方法については、何も提案されていない。
本発明は、上記の問題に鑑み、メニスカスに起因する照明光の屈折の影響を自動的かつ高速に調整することができる位相差顕微鏡および撮像方法を提供することを目的とする。
本発明の位相差顕微鏡は、液体および観察対象が収容された容器に対して位相差計測のための照明光を照射する位相差計測用照明光照射部と、照明光を照射した観察対象を撮像する撮像部と、容器内の液体の液面形状に起因する照明光の屈折を調整する調整光学系と、容器に対して予め設定されたパターンを有するパターン光を照射するパターン光照射部と、パターン光の照射によって容器内の液体を透過した透過光を検出する透過光検出部と、透過光検出部によって検出された透過光に基づく検出信号に基づいて、調整光学系の光学特性を調整する調整光学系制御部とを備えたことを特徴とする。
また、上記本発明の位相差顕微鏡において、照明光の照射による観察対象の像を撮像部に結像し、オートフォーカス制御される結像光学系と、パターン光の照射によって容器の底面を反射したパターン光の反射光を検出する反射光検出部と、反射光検出部によって検出された反射光に基づく検出信号に基づいて、結像光学系をオートフォーカス制御する結像光学系制御部とを備えることができる。
また、上記本発明の位相差顕微鏡において、調整光学系制御部は、透過光に基づく検出信号の均一性およびコントラストの少なくとも1つの評価結果に基づいて、調整光学系の光学特性を調整することができる。
また、上記本発明の位相差顕微鏡において、照明光の照射によって容器内の液体の液面を反射した照明光の反射光の透過光検出部への入射を抑制するフィルタ部を備えることができる。
また、上記本発明の位相差顕微鏡において、フィルタ部は、照明光の波長に応じて分光特性を変更可能とできる。
また、上記本発明の位相差顕微鏡において、パターン光は、縞状のパターンを有することが望ましい。
また、上記本発明の位相差顕微鏡において、調整光学系制御部は、結像光学系制御部によるオートフォーカス制御の後に、調整光学系の光学特性を調整することができる。
また、上記本発明の位相差顕微鏡において、調整光学系は、屈折力を調整可能な光学素子を有することができる。
また、上記本発明の位相差顕微鏡において、光学素子は、照明光の入射面および出射面のうちの少なくとも一方に曲率を有することが好ましい。
また、上記本発明の位相差顕微鏡において、光学素子は、上記曲率を調整可能であることが好ましい。
また、上記本発明の位相差顕微鏡において、調整光学系制御部は、調整光学系の調整条件を取得し、その調整条件に基づいて調整光学系の光学特性の調整を行うことができる。
また、上記本発明の位相差顕微鏡において、調整条件は、観察対象の画像を結像する結像光学系の光学倍率、容器の種類、観察対象の種類、観察対象の数、液体の種類、液体の量、環境温度、環境湿度、容器内の撮像位置および容器内の撮像領域の大きさの少なくとも1つに基づいて決定することができる。
また、上記本発明の位相差顕微鏡において、位相差計測用照明光照射部は、光源およびその光源から出射された光を通過させるスリットが設けられたスリット板を有し、そのスリット板を通過した光を照明光として観察対象に照射することができる。
本発明の撮像方法は、液体および観察対象が収容された容器に対して予め設定されたパターンを有するパターン光を照射し、パターン光の照射によって容器内の液体を透過した透過光を検出し、その検出した透過光に基づく検出信号に基づいて、容器内の液体の液面形状に起因する光の屈折を調整する調整光学系の光学特性を調整し、その調整の後、容器に対して位相差計測のための照明光を照射し、照明光を照射した観察対象を撮像することを特徴とする。
本発明の位相差顕微鏡および撮像方法によれば、液体および観察対象が収容された容器に対して予め設定されたパターンを有するパターン光を照射し、パターン光の照射によって容器内の液体を透過した透過光を検出する。そして、その検出した透過光に基づく検出信号に基づいて、容器内の液体の液面形状に起因する光の屈折を調整する調整光学系の光学特性を調整するようにしたので、容器に照射される位相差計測のための照明光の屈折の影響を自動的に調整することができる。さらに、上述したリング状の画像の座標データの演算処理を行う場合と比較すると、パターン光の検出信号に基づく演算処理の方が演算負荷を軽くすることができるので、上記照明光の屈折の影響を高速に調整することができる。
そして、調整光学系の光学特性が調整された後、容器に対して位相差計測のための照明光を照射し、照明光を照射した観察対象を撮像するようにしたので、メニスカスに起因するアーチファクトが抑制された高コントラストな位相差画像を撮像することができる。
本発明の位相差顕微鏡の一実施形態を用いた顕微鏡システムの概略構成を示す図 スリット板の構成の一例を示す図 調整用光学素子の位置、光軸の回転および屈折力の調整を模式的に示す図 位相板の構成の一例を示す図 パターン光の透過光の検出信号を模式的に示す図 本発明の位相差顕微鏡の一実施形態を用いた顕微鏡システムの作用を説明するためのフローチャート 調整光学系を複数のレンズから構成する場合の各レンズの模式図 本発明の位相差顕微鏡の別の実施形態を用いた顕微鏡システムの概略構成を示す図 本発明の位相差顕微鏡の別の実施形態を用いた顕微鏡システムの作用を説明するためのフローチャート 培養液中の細胞を従来の位相差顕微鏡で撮像した画像の一例を示す図 培養液がない状態で細胞を従来の位相差顕微鏡で撮像した画像の一例を示す図
以下、本発明の位相差顕微鏡および撮像方法の一実施形態を用いた顕微鏡システムについて、図面を参照しながら詳細に説明する。図1は、本実施形態の顕微鏡システムの概略構成を示す図である。
本実施形態の顕微鏡システムは、図1に示すように、位相差計測用照明光照射部10と、調整光学系20と、結像光学系30と、撮像部40と、パターン光照射部70と、反射光検出部75と、透過光検出部80と、顕微鏡制御装置50と、表示装置90と、入力装置95とを備えている。
本実施形態の顕微鏡システムにおいては、調整光学系20と結像光学系30との間に、ステージ61が設けられており、このステージ61上に、液体である培養液Cおよび観察対象Sが収容された培養容器60が設置される。そして、本実施形態の顕微鏡システムは、X方向、Y方向およびZ方向にステージ61を移動させるステージ駆動部62を備えている。X方向およびY方向は、観察対象設置面Pに並行な面上において互いに直交する方向であり、Z方向は、X方向およびY方向に直交する方向である。
本実施形態の顕微鏡システムにおいては、上述した位相差計測用照明光照射部10、調整光学系20、結像光学系30、撮像部40、パターン光照射部70、反射光検出部75、透過光検出部80、ステージ61およびステージ駆動部62から位相差顕微鏡本体が構成され、顕微鏡制御装置50は、この位相差顕微鏡本体を制御するものである。以下、位相差顕微鏡本体の具体的な構成を説明する。
位相差計測用照明光照射部10は、培養容器60内に収容された観察対象Sに対して、いわゆる位相差計測のための照明光を照射するものであり、本実施形態では、その位相差計測用照明光としてリング状照明光を照射する。具体的には、本実施形態の位相差計測用照明光照射部10は、位相差計測用の白色光を出射する位相差計測用白色光源11と、リング形状のスリットを有し、位相差計測用白色光源11から出射された位相差計測用白色光が入射されてリング状照明光を出射するスリット板12と、スリット板12から射出されたリング状照明光が入射され、その入射されたリング状照明光を観察対象Sに対して照射するコンデンサレンズ13とを備えている。
図2は、スリット板12の具体的な構成を示す図である。図2に示すように、スリット板12は、位相差計測用白色光源11から出射された位相差計測用白色光を遮光する遮光板12bに対して位相差計測用白色光を透過するリング形状のスリット12aが設けられたものであり、位相差計測用白色光がスリット12aを通過することによってリング状照明光が形成される。
なお、本実施形態においては、上述したようにスリット板12を用いてリング状照明光を形成するようにしたが、リング状照明光を形成する方法としては、これに限らず、たとえば空間光変調素子などを用いてリング状照明光を形成するようにしてもよい。
また、本実施形態においては、位相差計測用照明光としてリング状照明光を用いるようにしたが、リング状以外の構造を有する照明光でもよく、後述する位相板と共役な形状となっていれば三角形状や四角形状などその他の形状でもよい。
ステージ61上に設置された培養容器60は、その底面が観察対象設置面Pであり、観察対象設置面Pには観察対象Sとして細胞群などが配置される。そして、培養容器60内には培養液Cが満たされており、この培養液Cの液面には、凹形状のメニスカスが形成される。培養容器60としては、シャーレおよび複数のウェルが配列されたウェルプレートなどがある。ウェルプレートの場合、各ウェルに観察対象Sおよび培養液Cが収容され、ウェル毎にメニスカスが形成される。
また、本実施形態においては、培養液中で培養される細胞群を観察対象Sとしたが、観察対象Sとしてはこのような培養中のものに限らず、水、ホルマリン、エタノール、およびメタノールなどの液体中において固定された細胞を観察対象Sとしてもよい。この場合も、容器内のこれらの液体の液面にメニスカスが形成される。
調整光学系20は、上述したメニスカスの液面形状に起因する位相差計測用照明光の屈折を調整するものである。本実施形態の調整光学系20は、調整用光学素子21と、調整光学系駆動部22とを備えている。
調整用光学素子21は、屈折力を有するものであり、具体的には、電圧印加によって屈折力が変化する液晶レンズ、レンズの曲率半径を変更可能な液体レンズ、および焦点距離を変更可能な空間光変調器などを用いることができる。調整用光学素子21として、レンズを用いる場合には、入射面または出射面に曲率を有する平凸面レンズを用いてもよいし、入射面および出射面の両方に曲率を有する両凸面レンズを用いるようにしてもよい。
調整光学系駆動部22は、後述する調整光学系制御部51から出力された制御信号に基づいて、調整用光学素子21の屈折力を変更して焦点距離を調整するものである。具体的には、調整用光学素子21として液晶レンズまたは空間光変調器を用いる場合には、液晶レンズまたは空間光変調器に対して所望の焦点距離に応じた電圧を印加するものである。また、調整用光学素子21として液体レンズを用いる場合には、所望の焦点距離に応じて液体レンズ内の液体の量を調整し、これにより液体レンズの曲率半径を調整するものである。
また、調整光学系駆動部22は、調整光学系制御部51から出力された制御信号に基づいて、調整用光学素子21の位置および調整用光学素子21の光軸方向を変更する機構を備えたものである。具体的には、調整光学系駆動部22は、X方向、Y方向およびZ方向に調整用光学素子21の位置を変更可能な機構を備えている。また、調整光学系駆動部22は、調整用光学素子21の光軸を回転させる機構を備えたものである。図3Iは、X方向、Y方向およびZ方向への調整用光学素子21の位置の変更を模式的に示す図である。また、図3IIは、調整用光学素子21の光軸のX軸回り(θ)の回転調整、Y軸回り(φ)の回転調整およびZ軸回り(ρ)の回転調整を模式的に示す図である。また、図3IIIは、調整用光学素子21の屈折力の調整を模式的に示すものである。なお、図3IIIでは、調整用光学素子21の曲率半径を調整することによって屈折力を調整する例を示しているが、屈折力を調整する方法としては、これに限らず、たとえば、調整用光学素子21として液晶レンズや空間光変調器を用いる場合には、印加電圧を調整することによって、屈折力を調整するようにすればよい。
また、本実施形態においては、調整用光学素子21をX方向、Y方向およびZ方向に移動させるようにしたが、この調整用光学素子21の移動による光学的な作用と同等の作用を得られるのであれば、必ずしも調整用光学素子21を移動させなくてもよい。たとえば、調整用光学素子21として液晶レンズや空間光変調器を用いる場合には、印加電圧を調整することによって、調整用光学素子21の移動による光軸のシフトと同様の作用効果を得るようにしてもよい。また、調整用光学素子21の光軸方向についても同様に、必ずしも調整用光学素子21自体を回転させる必要はなく、印加電圧を調整することによって、調整用光学素子21自体の回転による光軸の回転と同様の作用効果を得るようにしてもよい。
また、本実施形態においては、調整用光学素子21をX方向、Y方向およびZ方向に移動するようにしたが、これに限らず、ステージ61をX方向、Y方向およびZ方向に移動させることによって、調整用光学素子21と培養容器60内に形成されたメニスカスとのX方向、Y方向およびZ方向についての相対的な位置関係を変更するようにしてもよい。
また、本実施形態においては、1つの調整用光学素子21を用いるようにしたが、焦点距離の異なる複数の調整用光学素子21を自動的に切り換えることによって屈折力を調整するようにしてもよい。
結像光学系30は、対物レンズ31と、位相板32と、結像レンズ33と、結像光学系駆動部34とを備えたものである。図4は、位相板32の具体的な構成を示す平面図である。図4に示すように、位相板32は、リング状照明光の波長に対して透明な透明板32bに対して位相リング32aを形成したものである。なお、上述したスリット12aの大きさは、この位相リング32aと共役な関係にある。
位相リング32aは、入射された光の位相を1/4波長ずらす位相膜と、入射された光を減光する減光フィルタとがリング状に形成されたものである。位相板32に入射された直接光は位相リング32aを通過することによって位相が1/4波長ずれるとともに、その明るさが弱められる。一方、観察対象Sによって回折された回折光は大部分が位相板32の透明板32bを通過し、その位相および明るさは変化しない。
対物レンズ31は、結像光学系駆動部34によってZ方向に移動するものである。観察対象Sの位相差画像を撮像する場合には、結像光学系駆動部34によって対物レンズ31をZ方向へ移動させることによってオートフォーカス制御が行われ、撮像部40によって撮像される画像のコントラストが調整される。本実施形態においては、パターン光照射部70によって培養容器60に対してパターン光が照射され、培養容器60の底面を反射した反射光が反射光検出部75によって検出され、その検出信号に基づいてオートフォーカス制御が行われる。このパターン光の反射光の検出信号に基づくオートフォーカス制御については、後で詳述する。
結像レンズ33は、位相板32を通過した直接光および回折光が入射され、これらの光を撮像部40に結像するものである。
結像光学系駆動部34は、上述したように対物レンズ31をZ方向に移動させる機構を備えたものである。
結像光学系30は、その光学倍率を変更可能に構成するようにしてもよい。光学倍率を変更する方法としては、たとえば互いに異なる倍率を有する複数の対物レンズ31を結像光学系30に設け、この複数の対物レンズ31を自動的に切り換えるようにすればよい。この際、位相板32も対物レンズ31の変更に応じて変更される。また、ユーザが対物レンズ31を手動で交換することによって変更するようにしてもよい。
撮像部40は、結像レンズ33によって結像された観察対象Sの位相差画像を撮像する撮像素子を備えたものである。撮像素子としては、CCD(charge-coupled device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサなどを用いることができる。
パターン光照射部70は、オートフォーカス制御および調整光学系20の光学特性の調整に用いられる、予め設定されたパターンを有するパターン光を培養容器60に対して照射するものである。具体的には、本実施形態のパターン光照射部70は、縞状のパターンを有するパターン光を照射するものであり、近赤外光を出射するパターン光用近赤外光源71と、パターン光用近赤外光源71から出射された近赤外を透過する線状部分と遮光する線状部分とから構成されるグリッド72と、照射レンズ73と、グリッド72から出射された縞状の明暗のパターンを有するパターン光を培養容器60に向けて反射し、かつ位相差計測用照明光を透過する第1のダイクロイックミラー74とを備えている。
なお、本実施形態においては、グリッド72を用いることによって縞状の明暗のパターンを有するパターン光を形成するようにしたが、パターン光を形成する方法としては、これに限らず、たとえば空間光変調素子などを用いて縞状の明暗のパターンを形成するようにしてもよい。また、パターン光が有する明暗のパターンとしては、縞状に限らず、2次元状に明暗のパターンが周期的に配列された格子パターンを用いるようにしてもよい。また、同心円状に明暗のパターンが配列された光または2次元状にドットパターンが配列された光をパターン光として用いるようにしてもよい。また、パターン光が有するパターンは、白黒のパターンでなくてもよく、互いに異なる色からなるカラーのパターンでもよい。
反射光検出部75は、上述したように、パターン光の照射によって培養容器60の底面を反射したパターン光の反射光を検出するものである。具体的には、本実施形態の反射光検出部75は、ハーフミラー76と、光路差プリズム77と、第1のラインセンサ78とを備えている。
ハーフミラー76は、グリッド72から出射されたパターン光を透過し、かつパターン光の培養容器60への照射によって培養容器60の底面から反射された反射光を光路差プリズム77の方向に反射するものである。
光路差プリズム77は、入射されたパターン光の反射光を2つの光路に分け、第1のラインセンサ78の異なる2箇所に結像するものである。第1のラインセンサ78は、2箇所で撮像された第1の検出信号と第2の検出信号とを顕微鏡制御装置50の結像光学系制御部52に出力するものである。
結像光学系制御部52は、入力された第1の検出信号と第2の検出信号とに基づいて、対物レンズ31をZ方向に移動させてオートフォーカス制御を行うものである。具体的には、本実施形態の結像光学系制御部52は、第1の検出信号のコントラスト(波形パターン)と第2の検出信号のコントラスト(波形パターン)が最も近似する位置に対物レンズ31を移動させる。なお、本実施形態では、第1のラインセンサ78を用いて第1および第2の検出信号を検出するようにしたが、これに限らず、CMOSイメージセンサまたはCCDイメージセンサを用いてもよい。
透過光検出部80は、パターン光の照射によって培養容器60内の培養液Cを透過した透過光を検出するものである。具体的には、本実施形態の透過光検出部80は、第2のダイクロイックミラー81と、集光レンズ82と、フィルタ部83と、第2のラインセンサ84とを備えている。
第2のダイクロイックミラー81は、パターン光の照射によって培養容器60内の培養液Cを透過した透過光を第2のラインセンサ84に向けて反射し、かつ位相差計測用照明光を透過するものである。集光レンズ82は、第2のダイクロイックミラー81によって反射された透過光を集光するものである。
フィルタ部83は、位相差計測用照明光の培養液Cへの照射によって、培養液Cの液面において反射された位相差計測用照明光の反射光の第2のラインセンサ84への入射を抑制するものである。また、フィルタ部83は、近赤外光であるパターン光の培養液Cの照射によって発生した雑蛍光の第2のラインセンサ84への入射を抑制するものである。具体的には、本実施形態のフィルタ部83は、位相差計測用照明光の波長および雑蛍光の波長に対する透過率よりも近赤外光の波長に対する透過率の方が高い光学特性を有する光学フィルタを備えたものである。すなわち、フィルタ部83により位相差計測用照明の反射光および雑蛍光の第2のラインセンサ84への入射を抑制することによって、第2のラインセンサ84は、パターン光の成分のみの検出信号を高いS/Nで検出することができる。
また、たとえば、上述した位相差計測用照明光照射部10が、位相差計測用照明光の波長を切り換え可能なものである場合には、その切り換えられた位相差計測用照明光の強度を適切に抑制できるように、フィルタ部83の分光特性を変更するようにしてもよい。フィルタ部83の分光特性を変更する方法としては、たとえば複数の光学フィルタを切り換えるようにすればよい。光学フィルタは、ユーザが入力装置95を用いて光学フィルタの切り換え指示を入力した際に切り換えるようにしてもよいし、位相差計測用照明光の波長の切り換え指示の入力に応じて切り換えるようにしてもよい。
第2のラインセンサ84は、パターン光の照射によって培養容器60内の培養液Cを透過した透過光を検出するものである。パターン光は、培養液Cを透過する際、培養液Cの液面に形成されたメニスカスを透過する。したがって、その透過光の強度分布は、メニスカスの状態によって変化することになる。本実施形態は、この透過光の強度分布に基づいて、調整光学系20の光学特性を調整することによって、メニスカスに起因する位相差計測用照明光の屈折の影響を取り除くものである。
第2のラインセンサ84によって検出された透過光の検出信号は、顕微鏡制御装置50の調整光学系制御部51に出力される。調整光学系制御部51は、入力された透過光の検出信号に基づいて、調整光学系駆動部22を駆動制御し、これにより調整用光学素子21のX方向、Y方向およびZ方向の位置、光軸方向並びに屈折力を制御して光学特性を調整するものである。図5は、透過光の検出信号Dを模式的に示すものである。調整光学系制御部51は、透過光の検出信号Dの均一性およびコントラストを評価し、その評価結果に基づいて、調整光学系20の光学特性を調整するものである。
具体的には、調整光学系制御部51は、透過光の検出信号Dの振幅Aが最大となり、かつ検出信号Dの振幅の中心レベルBが、第2のラインセンサ84の長さ方向の位置によらず一定となるように調整光学系20の光学特性を調整するものである。検出信号Dの振幅の中心レベルBが、第2のラインセンサ84の長さ方向の位置によらず一定とは、要するに第2のラインセンサ84によって検出される縞模様の一本一本の縞の濃度のばらつきが最小であることを意味する。
なお、本実施形態では、第2のラインセンサ84を用いて透過光の検出信号を検出するようにしたが、これに限らず、CMOSイメージセンサまたはCCDイメージセンサを用いてもよい。また、調整光学系制御部51による調整光学系20の制御については、後で詳述する。
顕微鏡制御装置50は、CPU(Central Processing Unit)やストレージデバイスを備えたコンピュータから構成されるものである。
顕微鏡制御装置50は、具体的には、図1に示すように、調整光学系駆動部22を制御する調整光学系制御部51と、結像光学系駆動部34を制御する結像光学系制御部52と、ステージ駆動部62を制御するステージ制御部53とを備えている。
調整光学系制御部51は、上述したようにパターン光の透過光の検出信号に基づいて、調整光学系20の光学特性を調整するものである。
結像光学系制御部52は、上述したようにパターン光の反射光の検出信号に基づいて、オートフォーカス制御を行うものである。
ステージ制御部53は、ステージ駆動部62を駆動制御し、これによりステージ61をX方向、Y方向およびZ方向に移動させるものである。ステージ61が、X方向およびY方向に移動することによって、たとえば1つのセル内が位相差計測用照明光で走査され、1つのセル内で分割された複数の撮像領域毎の位相差画像が撮像される。また、上述した調整光学系20の光学特性の調整についても、分割された撮像領域毎に行われる。
顕微鏡制御装置50には、入力装置95と表示装置90とが接続されている。入力装置95は、キーボードやマウスなどの入力デバイスを備えたものであり、ユーザによる設定入力を受け付けるものである。特に、本実施形態における入力装置95は、調整光学系20の光学特性を調整する際に用いられる調整条件を決定するための条件の設定入力を受け付けるものである。具体的には、結像光学系30の光学倍率、培養容器60の種類、観察対象Sの種類、観察対象Sの数、培養液Cの種類、培養液Cの量、培養容器60内の撮像位置および撮像領域の大きさなどの設定入力を受け付けるものである。なお、調整条件については、後で詳述する。
表示装置90は、液晶ディスプレイなどの表示デバイスから構成されるものであり、撮像部40において撮像された位相差画像などを表示するものである。なお、画面を押圧することにより設定入力可能とするタッチパネルで表示装置90を構成し、表示装置90が入力装置を兼ねてもよい。
次に、本実施形態の顕微鏡システムの作用について、図6に示すフローチャートを参照しながら説明する。
まず、観察対象Sおよび培養液Cが収容された培養容器60がステージ61上に設置される。そして、調整光学系20の調整条件を決定するための条件が、調整光学系制御部51によって取得される(S10)。
ここで、調整条件とは、後述する調整光学系20の光学特性の調整の際に用いられる条件であり、具体的には、調整光学系20の初期設定値、変更調整量および変更上限回数などである。
そして、この調整条件を決定するための条件としては、結像光学系30の光学倍率、培養容器60の種類、観察対象Sの種類、観察対象Sの数、培養液Cの種類、培養液Cの量、環境温度、環境湿度、培養容器60内の撮像位置および撮像領域の大きさなどがあり、これらの少なくとも1つの条件が調整光学系制御部51によって取得される。
上述した条件は、培養液Cの液面に形成されるメニスカスの形状やそのメニスカスに起因して屈折した光の焦点距離に影響を及ぼす条件である。たとえば、培養容器60の種類については、培養容器60の径の大きさや深さなどによってメニスカスの形状が異なり、また、培養液Cの種類によってもその粘度などによってメニスカスの形状が異なる。また、培養液Cの量によってもメニスカスの形状が異なる。また、環境温度や環境湿度によっても培養液Cの粘度などが変化し、メニスカスの形状が異なる。また、観察対象Sである細胞の種類(大きさ)や数によっても培養液Cの液面の状態が変化し、メニスカスの形状が異なる。
また、培養容器60内の撮像位置が、図1に示すように培養容器60の中央位置の場合と、中央位置からずれた位置である場合とでは、その撮像位置におけるメニスカスの形状が異なる。また、結像光学系30の光学倍率や撮像領域の大きさによって、メニスカスに起因して屈折した光の焦点距離が異なる。
したがって、まず、調整光学系制御部51によって上述したような条件が取得され、調整光学系制御部51は、取得した条件に基づいて、調整光学系20の調整条件(初期設定値、変更調整量および変更上限回数)を取得する(S12)。
具体的には、調整光学系制御部51は、調整光学系20の初期設定値として、調整用光学素子21のX方向、Y方向およびZ方向の位置を調整する際の初期設定値、調整用光学素子21の光軸の回転角度(θ,φ,ρ)を調整する際の初期設定値と、調整用光学素子21の屈折力を調整する際の初期設定値とを取得する。調整用光学素子21の屈折力を調整する際の初期設定値としては、液晶レンズや空間光変調器に印加する電圧の初期設定値や、液体レンズ内に注入される液体の量の初期設定値などがある。
また、調整光学系制御部51は、調整用光学素子21のX方向、Y方向およびZ方向の位置を調整する際における1回当たりの変更調整量および変更上限回数と、調整用光学素子21の光軸の回転角度(θ,φ,ρ)を調整する際における1回当たりの変更調整量および変更上限回数と、調整用光学素子21の屈折力を調整する際における1回当たりの変更調整量および変更上限回数とを取得する。
上述したような調整光学系20の調整条件は、調整条件を決定するための条件と調整条件とを対応づけたテーブルを調整光学系制御部51に予め記憶しておき、このテーブルを参照することによって取得するようにすればよい。
このように各条件に応じた調整条件を取得し、調整光学系20の光学特性を調整する際の調整稼働範囲を限定することによって、後述する調整光学系20の光学特性の調整時間を短縮することができ、また調整稼働範囲を狭くすることができるので、小型化を図ることができる。
次に、ステージ61が、ステージ駆動部62によってX方向およびY方向に移動し、培養容器60内の複数の撮像領域のうちの最初の撮像領域に位相差計測用照明光およびパターン光が照射される位置に設定され、位相差計測用照明光およびパターン光が培養容器60に対して照射される(S14)。
そして、パターン光の照射によって培養容器60の底面を反射した反射光が反射光検出部75の第1のラインセンサ78によって検出され、その検出された反射光に基づく第1および第2の検出信号が、結像光学系制御部52に出力される。結像光学系制御部52は、入力された第1の検出信号と第2の検出信号とに基づいて、対物レンズ31をZ方向に移動させてオートフォーカス制御を行う(S16)。
一方、培養容器60内の培養液Cを透過した透過光が、透過光検出部80の第2のラインセンサ84によって検出される(S18)。そして、第2のラインセンサ84によって検出された透過光に基づく検出信号は、調整光学系制御部51に出力される。調整光学系制御部51は、上述したパターン光の反射光の検出信号に基づくオートフォーカス制御の後に、パターン光の透過光に基づく検出信号に基づいて、調整光学系20の光学特性を調整する。
具体的には、調整光学系制御部51は、上述したように透過光の検出信号の濃度の均一性を評価し、その評価結果に基づいて、調整光学系駆動部22に制御信号を出力する(S20)。たとえば、調整光学系制御部51は、第2のラインセンサ84によって検出される縞模様の一本一本の縞の濃度のばらつきが予め設定された閾値以上である場合には、そのばらつきが小さくなるように調整光学系駆動部22に対して制御信号を出力する。
調整光学系駆動部22は、入力された制御信号に基づいて、調整用光学素子21のX方向およびY方向の位置と、調整用光学素子21の光軸の回転を、上述した変更調整量だけ調整する(S22)。
そして、再び、パターン光の透過光の検出信号が調整光学系制御部51に入力される。調整光学系制御部51は、入力された透過光の検出信号の均一性を再び評価し、濃度のばらつきが予め設定された閾値以上である場合には、調整光学系駆動部22に再び制御信号を出力する。調整光学系駆動部22は、入力された制御信号に基づいて、再び調整用光学素子21のX方向およびY方向の位置と、調整用光学素子21の光軸の回転を、上述した変更調整量だけ調整する。
このように透過光の検出信号の濃度の均一性の評価と、その評価結果に基づく調整用光学素子21のX−Y方向の位置および光軸の回転の調整とが、上述した変更上限回数を上限として繰り返して行われ、透過光の検出信号の濃度のばらつきが小さくなるように調整用光学素子21のX−Y方向の位置および光軸の回転が調整される。
そして、上記のようにして調整用光学素子21のX−Y方向の位置および光軸の回転の調整が終了した後、次に、調整光学系制御部51は、透過光の検出信号のコントラストを取得する(S24)。そして、調整光学系制御部51は、透過光の検出信号のコントラストが所定の閾値以下である場合には、調整光学系駆動部22に制御信号を出力する。調整光学系駆動部22は、入力された制御信号に基づいて、調整用光学素子21のZ方向の位置および調整用光学素子21の屈折力を、上述した変更調整量だけ調整する。
そして、再び、パターン光の透過光の検出信号が調整光学系制御部51に入力される。調整光学系制御部51は、入力された透過光の検出信号のコントラストを再び取得し、そのコントラストが所定の閾値以下である場合には、調整光学系駆動部22に再び制御信号を出力する。調整光学系駆動部22は、入力された制御信号に基づいて、再び調整用光学素子21のZ方向の位置および調整用光学素子21の屈折力を、上述した変更調整量だけ調整する。
このように透過光の検出信号のコントラストの評価と、その評価結果に基づく調整用光学素子21のZ方向の位置および屈折力の調整とが、上述した変更上限回数を上限として繰り返して行われ、透過光の検出信号のコントラストが最大となるように調整用光学素子21のZ方向の位置および屈折力が調整される(S26)。
そして、調整用光学素子21のZ方向の位置および屈折力の調整が行われた後、撮像部40によって位相差計測用照明光の照射による位相差画像が撮像される(S28)。
次いで、ステージ駆動部62によりステージ61がX方向およびY方向に移動することによって、各撮像領域について、上述した調整光学系20の光学特性の調整および位相差画像の撮像が行われ、各撮像領域の位相差画像が、顕微鏡制御装置50における記憶部に順次記憶される。
そして、顕微鏡制御装置50において各撮像領域の位相差画像が合成され、その合成された位相差画像が表示装置90に表示される(S30)。
上記実施形態の顕微鏡システムによれば、培養容器60に対して予め設定されたパターンを有するパターン光を照射し、パターン光の照射によって培養容器60内の培養液Cを透過した透過光を検出し、その検出した透過光に基づく検出信号に基づいて、調整光学系20の光学特性を調整するようしたので、位相差計測用照明光の屈折の影響を自動的に調整することができる。さらに、上述したリング状の画像の座標データの演算処理を行う場合と比較すると、パターン光の検出信号に基づく演算処理の方が演算負荷を軽くすることができるので、上記位相差計測用照明光の屈折の影響を高速に調整することができる。
そして、調整光学系20の光学特性が調整された後、位相差計測用照明光を培養容器60に照射して観察対象Sを撮像するようにしたので、メニスカスに起因するアーチファクトが抑制された高コントラストな位相差画像を撮像することができる。
また、上記実施形態の顕微鏡システムにおいては、1つのパターン光を用いて、調整光学系20の光学特性の調整と結像光学系30のオートフォーカス制御との両方を行うようにしたので、たとえば調整光学系20の光学特性の調整を、オートフォーカス制御とは全く別の系で行う場合と比較すると、これらの処理を高速に行うことができる。
また、上記実施形態の顕微鏡システムにおいては、パターン光の検出信号に基づくオートフォーカス制御の後に、調整光学系20の光学特性の調整を行うようにしたので、これらの処理を高精度に行うことができる。
なお、上記実施形態の顕微鏡システムにおいては、調整用光学素子21への印加電圧や注入する液量を調整することによって調整用光学素子21の屈折力を調整するようにしたが、これに限らず、たとえば調整光学系20として、図7I〜IIIに示すような互いに曲率半径の異なる複数のレンズを設け、これらのレンズを自動的に切り換えることによって屈折力を調整するようにしてもよい。また、調整用光学素子21の光軸を回転させる方法としては、たとえば図7IV〜図7Vに示すような、光の出射角度が互いに異なる複数のレンズを設け、これらのレンズを自動的に切り換えることによって調整用光学素子21の光軸方向を調整するようにしてもよい。また、図7I〜Vに示すような複数種類のレンズを組み合わせて使用することによって、屈折力および光軸の回転を調整するようにしてもよい。
また、上記実施形態の顕微鏡システムにおいては、調整光学系20の屈折力を調整するようにしたが、屈折力の調整は行わずに、調整用光学素子21のX方向、Y方向およびZ方向の位置調整および調整用光学素子21の光軸の回転調整だけを行うようにしてもよい。
また、上記実施形態の顕微鏡システムにおいては、液面上に形成されたメニスカスに起因する位相差計測用照明光の屈折の影響を取り除くために調整用光学素子21を設けるようにしたが、必ずしもこのような調整用光学素子21を設けなくてもよく、たとえばスリット板12をX方向およびY方向に移動させたり、位相板32をX方向およびY方向に移動させたりして、メニスカスに起因する位相差計測用照明光の屈折の影響を取り除くようにしてもよい。すなわち、本発明における調整光学系として、スリット板12や位相板32を用いるようにしてもよい。
また、上記実施形態の顕微鏡システムにおいては、パターン光の透過光の検出信号の均一性とコントラストの両方を評価して調整光学系20の調整を行うようにしたが、均一性およびコントラストのうちのいずれか一方のみを評価して調整光学系20の調整を行うようにしてもよい。
次に、上記実施形態の顕微鏡システムのようにパターン光の透過光の検出信号に基づいて調整光学系20の光学特性を調整するのではなく、位相差計測用照明光の照射によって撮像部40において撮像された位相差画像に基づいて、調整光学系20の光学特性を調整する別の実施形態の顕微鏡システムについて説明する。
本実施形態の顕微鏡システムにおける位相顕微鏡本体は、液体および観察対象が収容された容器に対して位相差計測のための照明光を照射する位相差計測用照明光照射部と、照明光を照射した観察対象を撮像する撮像部と、照明光の照射による観察対象の像を撮像部に結像する結像光学系と、容器内の液体の液面形状に起因する照明光の屈折を調整する調整光学系と、撮像部によって撮像された位相差画像に基づいて、調整光学系の光学特性を調整する調整光学系制御部と、撮像部によって撮像された位相差画像に基づいて、結像光学系をオートフォーカス制御する結像光学系制御部とを備え、撮像部が、調整光学系の光学特性を調整する場合に用いる位相差画像として、相対的に解像度が低い低解像度位相差画像を取得し、結像光学系のオートフォーカス制御を行う場合に用いる位相差画像として、相対的に解像度が高い高解像度位相差画像を取得するものであることを特徴とするものである。
図8は、本実施形態の顕微鏡システムの概略構成を示す図である。本実施形態の顕微鏡システムは、図8に示すように、位相差計測用照明光照射部10と、調整光学系20と、結像光学系30と、撮像部40と、ステージ61と、ステージ駆動部62と、顕微鏡制御装置50と、表示装置90と、入力装置95とを備えている。なお、撮像部40以外の構成については、上記実施形態と同様である。
本実施形態の顕微鏡システムの撮像部40は、上述したように、調整光学系20の光学特性を調整する場合に用いる位相差画像として、相対的に解像度が低い低解像度位相差画像を取得し、結像光学系30のオートフォーカス制御を行う場合に用いる位相差画像として、相対的に解像度が高い高解像度位相差画像を取得するものである。具体的には、本実施形態の撮像部40は、解像度が異なる2つの撮像素子41と撮像素子42とを備えたものである。そして、撮像部40は、調整光学系20の光学特性を調整する場合に用いる位相差画像を撮像する場合には、相対的に解像度の低い撮像素子42を用いて低解像度位相差画像を取得し、結像光学系30のオートフォーカス制御を行う場合に用いる位相差画像を撮像する場合には、相対的に解像度が高い撮像素子41を用いて高解像度位相差画像を取得するものである。
なお、撮像素子41,42としては、上記実施形態と同様に、CCDイメージセンサやCMOSイメージセンサなどを用いることができる。
次に、本実施形態の顕微鏡システムの作用について、図9に示すフローチャートを参照しながら説明する。
まず、観察対象Sおよび培養液Cが収容された培養容器60がステージ61上に設置される。そして、調整光学系20の調整条件を決定するための条件が、調整光学系制御部51によって取得される(S40)。なお、調整条件を決定するための条件については、上記実施形態と同様である。
そして、調整光学系制御部51は、取得した条件に基づいて、調整光学系20の調整条件(初期設定値、変更調整量および変更上限回数)を取得する(S42)。
次に、ステージ61が、ステージ駆動部62によってX方向およびY方向に移動し、培養容器60内の複数の撮像領域のうちの最初の撮像領域に位相差計測用照明光が照射される位置に設定され、位相差計測用照明光が培養容器60に対して照射される(S44)。
次いで、結像光学系制御部52から結像光学系駆動部34に制御信号が出力され、結像光学系駆動部34は、入力された制御信号に基づいて、結像光学系30の対物レンズ31をZ方向に移動させる。そして、その対物レンズ31のZ方向の移動に伴って撮像部40によって順次撮像された位相差画像を表す画像信号が結像光学系制御部52に入力され、結像光学系制御部52は、その入力された画像信号に基づいてオートフォーカス制御を行う(S46)。具体的には、結像光学系制御部52は、入力された画像信号のコントラストが最大となる対物レンズ31の位置を特定し、対物レンズ31の位置をその特定した位置に設定する。なお、この際、撮像部40は、上述したように相対的に解像度が高い撮像素子41を用いて高解像度位相差画像を撮像する。
そして、結像光学系制御部52によってオートフォーカス制御が行われた後、撮像部40は、高解像度の撮像素子41から低解像度の撮像素子42に切り換える(S48)。そして、低解像度の撮像素子42によって、調整光学系20の光学特性を調整するための低解像度位相差画像が調整用画像として撮像される(S50)。撮像部40の低解像度の撮像素子42によって撮像された調整用画像は、調整光学系制御部51に入力される。
調整光学系制御部51は、入力された調整用画像の濃度の均一性を表す特徴量を取得する(S52)。そして、調整光学系制御部51は、調整用画像の濃度の均一性が適切な状態でない場合には、調整光学系駆動部22に制御信号を出力する。
ここで、調整用画像の濃度の均一性が適切な状態とは、たとえば調整用画像内に現れるリング状の像がほぼ回転対称な形状となった状態である。なお、この際、必ずしもリング状の像が回転対称な形状にならなくてもよく、回転対称な形状に最も近づけるように調整するようにすればよい。
また、この際に取得される調整用画像の特徴量としては、たとえば調整用画像の背景情報があり、具体的には、調整用画像に対してローパスフィルタ処理を施すことによって低周波成分の画像が取得される。そして、この低周波成分の画像からリング状の画像を抽出し、たとえばパターンマッチングなどを行うことによって回転対称からのずれ量を算出し、そのずれ量が所定の閾値よりも大きい場合に、調整光学系駆動部22に制御信号が出力される。
そして、調整光学系駆動部22は、入力された制御信号に基づいて、調整用光学素子21のX方向およびY方向の位置と、調整用光学素子21の光軸の回転を、上述した変更調整量だけ調整する(S54)。
そして、再び、撮像部40の撮像素子42によって調整用画像が取得され、調整光学系制御部51に入力される。調整光学系制御部51は、入力された調整用画像の濃度の均一性を表す特徴量を再び取得し、調整用画像の濃度の均一性が適切な状態でない場合には、調整光学系駆動部22に再び制御信号を出力する。調整光学系駆動部22は、入力された制御信号に基づいて、再び調整用光学素子21のX方向およびY方向の位置と、調整用光学素子21の光軸の回転を、上述した変更調整量だけ調整する。
このように調整用画像の撮像と、その調整用画像の濃度の均一性を表す特徴量に基づく調整用光学素子21のX−Y方向の位置および光軸の回転の調整とが、上述した変更上限回数を上限として繰り返して行われ、調整用画像の濃度の均一性が適切な状態となるように調整用光学素子21のX−Y方向の位置および光軸の回転が調整される。
そして、上記のようにして調整用光学素子21のX−Y方向の位置および光軸の回転の調整が終了した後、次に、調整光学系制御部51は、調整用画像のコントラストを表す特徴量を取得する(S56)。そして、調整光学系制御部51は、調整用画像のコントラストが適切な状態でない場合には、調整光学系駆動部22に制御信号を出力し、調整光学系駆動部22は、入力された制御信号に基づいて、調整用光学素子21のZ方向の位置および調整用光学素子21の屈折力を、上述した変更調整量だけ調整する。
調整用画像のコントラストを表す特徴量としては、たとえば調整用画像に対してハイパスフィルタ処理を施すことによって高周波成分の画像が取得される。そして、この高周波成分の画像からコントラストを算出し、そのコントラストが所定の閾値以下である場合に、調整光学系駆動部22に制御信号が出力される。
そして、再び、撮像部40の撮像素子42によって調整用画像が取得され、調整光学系制御部51に入力される。調整光学系制御部51は、入力された調整用画像のコントラストを表す特徴量を再び取得し、調整用画像のコントラストが適切な状態でない場合には、調整光学系駆動部22に再び制御信号を出力する。調整光学系駆動部22は、入力された制御信号に基づいて、再び調整用光学素子21のZ方向の位置および調整用光学素子21の屈折力を、上述した変更調整量だけ調整する。
このように調整用画像の撮像と、その調整用画像のコントラストを表す特徴量に基づく調整用光学素子21のZ方向の位置および屈折力の調整とが、上述した変更上限回数を上限として繰り返して行われ、調整用画像のコントラストが最大となるように調整用光学素子21のZ方向の位置および屈折力が調整される(S58)。
そして、調整用光学素子21のZ方向の位置および屈折力の調整が行われた後、撮像部40は、再び、低解像度の撮像素子42から高解像度の撮像素子41に切り換える(S60)。そして、高解像度の撮像素子41によって高解像度位相差画像が観察用画像として撮像される(S62)。
次いで、ステージ駆動部62によりステージ61がX方向およびY方向に移動することによって、各撮像領域について、上述した調整光学系20の光学特性の調整および観察用画像の撮像が行われ、各撮像領域の観察用画像が、顕微鏡制御装置50における記憶部に順次記憶される。
そして、顕微鏡制御装置50において各撮像領域の観察用画像が合成され、その合成された観察用画像が表示装置90に表示される(S64)。
上記別の実施形態の顕微鏡システムによれば、先の実施形態のようにパターン光の透過光を検出する透過光検出部80を設けなくてもよいので、位相差顕微鏡本体を小型化することができ、コストの削減を図ることができる。
また、オートフォーカス制御の際には、高解像度位相差画像を用いるようにしたので、高精度なオートフォーカス制御を行うことができる。一方、調整光学系20の光学特性を調整する場合には、上述したように画像の均一性を主に評価するので、オートフォーカス制御の場合ほど高解像度の位相差画像を用いる必要がない。調整光学系20の光学特性を調整する場合には低解像度位相差画像を用いることによって、均一性を表す特徴量やコントラストを表す特徴量の演算負荷を下げることができ、調整光学系20の光学特性の調整を高速化することができる。
また、上記別の実施形態の顕微鏡システムにおいては、解像度の異なる2つの撮像素子を切り替えることによって低解像度位相差画像と高解像度位相差画像を撮像するようにしたが、これに限らず、たとえば1つの高解像度な撮像素子を用いて、いわゆるビニング読み出しを行うことによって低解像度位相差画像を取得するようにしてもよい。高解像度位相差画像については、ビニング読み出しを行うことなく、通常の読み出しを行うようにすればよい。なお、ビニング読み出しとは、撮像素子における隣接する複数の光電変換素子の電荷信号をまとめて読み出して1つの画素信号として取得する読み出し方法である。
また、ビニング読み出しを行うのではなく、撮像部40が、1つの高解像度な撮像素子から高解像度位相差画像を読み出した後に、その高解像度位相差画像における隣接する複数の画素信号を加算することによって低解像度位相差画像を取得するようにしてもよい。
10 位相差計測用照明光照射部
11 位相差計測用白色光源
12 スリット板
12a スリット
12b 遮光板
13 コンデンサレンズ
20 調整光学系
21 調整用光学素子
22 調整光学系駆動部
30 結像光学系
31 対物レンズ
32 位相板
32a 位相リング
32b 透明板
33 結像レンズ
34 結像光学系駆動部
40 撮像部
41,42 撮像素子
50 顕微鏡制御装置
51 調整光学系制御部
52 結像光学系制御部
53 ステージ制御部
60 培養容器
61 ステージ
62 ステージ駆動部
70 パターン光照射部
71 パターン光用近赤外光源
72 グリッド
73 照射レンズ
74 第1のダイクロイックミラー
75 反射光検出部
76 ハーフミラー
77 光路差プリズム
78 第1のラインセンサ
80 透過光検出部
81 第2のダイクロイックミラー
82 集光レンズ
83 フィルタ部
84 第2のラインセンサ
90 表示装置
95 入力装置

Claims (14)

  1. 液体および観察対象が収容された容器に対して位相差計測のための照明光を照射する位相差計測用照明光照射部と、
    前記照明光を照射した前記観察対象を撮像する撮像部と、
    前記容器内の液体の液面形状に起因する前記照明光の屈折を調整する調整光学系と、
    前記容器に対して予め設定された明暗のパターンを有するパターン光を照射するパターン光照射部と、
    前記パターン光の照射によって前記容器内の液体を透過した透過光を検出する透過光検出部と、
    該透過光検出部によって検出された前記透過光に基づく検出信号に基づいて、前記明暗のパターンによって生じる前記透過光の濃度のばらつきが予め設定された閾値以上の場合に、濃度のばらつきが小さくなるように前記調整光学系の光学特性を調整する調整光学系制御部と
    を備えたことを特徴とする位相差顕微鏡。
  2. 前記照明光の照射による前記観察対象の像を前記撮像部に結像し、オートフォーカス制御される結像光学系と、
    前記パターン光の照射によって前記容器の底面を反射した前記パターン光の反射光を検出する反射光検出部と、
    前記反射光検出部によって検出された前記反射光に基づく検出信号に基づいて、前記結像光学系をオートフォーカス制御する結像光学系制御部とを備えた請求項1記載の位相差顕微鏡。
  3. 前記調整光学系制御部が、前記透過光に基づく検出信号の均一性およびコントラストの少なくとも1つの評価結果に基づいて、前記調整光学系の光学特性を調整する請求項1または2記載の位相差顕微鏡。
  4. 前記照明光の照射によって前記容器内の液体の液面を反射した前記照明光の反射光の前記透過光検出部への入射を抑制するフィルタ部を備えた請求項1から3いずれか1項記載の位相差顕微鏡。
  5. 前記フィルタ部が、前記照明光の波長に応じて分光特性を変更可能である請求項4記載の位相差顕微鏡。
  6. 前記パターン光が、前記明暗のパターンとしての縞状のパターンを有する請求項1から5いずれか1項記載の位相差顕微鏡。
  7. 前記調整光学系制御部が、前記結像光学系制御部によるオートフォーカス制御の後に、前記調整光学系の光学特性を調整する請求項2記載の位相差顕微鏡。
  8. 前記調整光学系が、屈折力を調整可能な光学素子を有する請求項1から7いずれか1項記載の位相差顕微鏡。
  9. 前記光学素子が、前記照明光の入射面および出射面のうちの少なくとも一方に曲率を有する請求項8記載の位相差顕微鏡。
  10. 前記光学素子が、前記曲率を調整可能である請求項9記載の位相差顕微鏡。
  11. 前記調整光学系制御部が、前記調整光学系の調整条件を取得し、該調整条件に基づいて前記調整光学系の光学特性の調整を行う請求項1から10いずれか1項記載の位相差顕微鏡。
  12. 前記調整条件が、前記観察対象の画像を結像する結像光学系の光学倍率、前記容器の種類、前記観察対象の種類、前記観察対象の数、前記液体の種類、前記液体の量、環境温度、環境湿度、前記容器内の撮像位置および前記容器内の撮像領域の大きさの少なくとも1つに基づいて決定される請求項11記載の位相差顕微鏡。
  13. 前記位相差計測用照明光照射部が、光源および該光源から出射された光を通過させるスリットが設けられたスリット板を有し、該スリット板を通過した光を前記照明光として前記観察対象に照射する請求項1から12いずれか1項記載の位相差顕微鏡。
  14. 液体および観察対象が収容された容器に対して予め設定された明暗のパターンを有するパターン光を照射し、
    前記パターン光の照射によって前記容器内の液体を透過した透過光を検出し、
    該検出した透過光に基づく検出信号に基づいて、前記明暗のパターンによって生じる前記透過光の濃度のばらつきが予め設定された閾値以上の場合に、濃度のばらつきが小さくなるように前記容器内の液体の液面形状に起因する光の屈折を調整する調整光学系の光学特性を調整し、
    該調整の後、前記容器に対して位相差計測のための照明光を照射し、
    前記照明光を照射した前記観察対象を撮像することを特徴とする撮像方法。
JP2015130873A 2015-06-30 2015-06-30 位相差顕微鏡および撮像方法 Expired - Fee Related JP6513507B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015130873A JP6513507B2 (ja) 2015-06-30 2015-06-30 位相差顕微鏡および撮像方法
EP16817560.2A EP3318913B1 (en) 2015-06-30 2016-05-10 Phase difference microscope and imaging method
PCT/JP2016/063804 WO2017002451A1 (ja) 2015-06-30 2016-05-10 位相差顕微鏡および撮像方法
US15/850,969 US10649192B2 (en) 2015-06-30 2017-12-21 Phase-contrast microscope and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015130873A JP6513507B2 (ja) 2015-06-30 2015-06-30 位相差顕微鏡および撮像方法

Publications (2)

Publication Number Publication Date
JP2017015856A JP2017015856A (ja) 2017-01-19
JP6513507B2 true JP6513507B2 (ja) 2019-05-15

Family

ID=57608348

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015130873A Expired - Fee Related JP6513507B2 (ja) 2015-06-30 2015-06-30 位相差顕微鏡および撮像方法

Country Status (4)

Country Link
US (1) US10649192B2 (ja)
EP (1) EP3318913B1 (ja)
JP (1) JP6513507B2 (ja)
WO (1) WO2017002451A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6594223B2 (ja) * 2016-02-22 2019-10-23 富士フイルム株式会社 位相差顕微鏡および撮像方法
JP6522533B2 (ja) * 2016-02-26 2019-05-29 富士フイルム株式会社 顕微鏡および観察方法
EP3578511A4 (en) 2017-01-31 2020-07-08 Mitsui Chemicals, Inc. METHOD FOR PRODUCING LITHIUM DIFLUORPHOSPHATE
JP6815477B2 (ja) * 2017-02-27 2021-01-20 富士フイルム株式会社 顕微鏡装置および観察方法並びに顕微鏡装置制御プログラム
KR20200019250A (ko) * 2017-08-25 2020-02-21 후지필름 가부시키가이샤 판별기의 학습 장치, 방법 및 프로그램과, 판별기
JP6867916B2 (ja) 2017-09-05 2021-05-12 オリンパス株式会社 観察装置
AU2018375358B2 (en) * 2017-11-28 2021-02-04 Leica Biosystems Imaging, Inc. Dual processor image processing

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05232384A (ja) * 1992-02-18 1993-09-10 Olympus Optical Co Ltd 干渉顕微鏡
US6924893B2 (en) * 2002-05-13 2005-08-02 Marine Biological Laboratory Enhancing polarized light microscopy
JP4909732B2 (ja) 2006-03-28 2012-04-04 三洋電機株式会社 位相差顕微観察装置
JP2007316133A (ja) * 2006-05-23 2007-12-06 Nikon Corp 観察装置
JP2009122356A (ja) 2007-11-14 2009-06-04 Nikon Corp 位相差顕微鏡
JP2010271537A (ja) * 2009-05-21 2010-12-02 Olympus Corp 位相差顕微鏡
US9069175B2 (en) * 2011-04-08 2015-06-30 Kairos Instruments, Llc Adaptive phase contrast microscope
US20140193892A1 (en) * 2012-07-25 2014-07-10 Theranos, Inc. Image analysis and measurement of biological samples
JP6256351B2 (ja) * 2012-12-14 2018-01-10 ソニー株式会社 位相差顕微鏡、位相差顕微鏡の制御装置及び位相差顕微鏡の制御方法
WO2014093838A2 (en) * 2012-12-14 2014-06-19 The J. David Gladstone Institutes Automated robotic microscopy systems
US9830501B2 (en) * 2013-07-23 2017-11-28 Northwestern University High throughput partial wave spectroscopic microscopy and associated systems and methods
JP6411294B2 (ja) * 2015-06-30 2018-10-24 富士フイルム株式会社 位相差顕微鏡および撮像方法

Also Published As

Publication number Publication date
US20180113295A1 (en) 2018-04-26
EP3318913A4 (en) 2018-06-27
US10649192B2 (en) 2020-05-12
JP2017015856A (ja) 2017-01-19
WO2017002451A1 (ja) 2017-01-05
EP3318913B1 (en) 2019-11-06
EP3318913A1 (en) 2018-05-09

Similar Documents

Publication Publication Date Title
JP6513507B2 (ja) 位相差顕微鏡および撮像方法
JP6380983B2 (ja) 位相差顕微鏡
US10466462B2 (en) Phase-contrast microscope and imagine method
US8675062B2 (en) Shape measuring device, observation device, and image processing method
US10831009B2 (en) Phase contrast microscope and imaging method
WO2017145487A1 (ja) 顕微鏡および観察方法
KR101356706B1 (ko) 광량 변조와 스캐닝 시스템 기반의 구조 조명 현미경
US20220244516A1 (en) Microscope device and data generation method using microscope
EP3460557B1 (en) Observation device and method, and observation device control program
JP2007286147A (ja) 赤外顕微鏡
JP2015161859A (ja) 観察装置
JP2019204026A (ja) 顕微鏡システム
US20210199944A1 (en) Sample observation apparatus
JP2016161610A (ja) 撮像装置および方法
JP2023154669A (ja) 顕微鏡

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170522

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170908

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190410

R150 Certificate of patent or registration of utility model

Ref document number: 6513507

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees