JPWO2017090211A1 - 顕微鏡装置 - Google Patents

顕微鏡装置 Download PDF

Info

Publication number
JPWO2017090211A1
JPWO2017090211A1 JP2017552258A JP2017552258A JPWO2017090211A1 JP WO2017090211 A1 JPWO2017090211 A1 JP WO2017090211A1 JP 2017552258 A JP2017552258 A JP 2017552258A JP 2017552258 A JP2017552258 A JP 2017552258A JP WO2017090211 A1 JPWO2017090211 A1 JP WO2017090211A1
Authority
JP
Japan
Prior art keywords
imaging
imaging position
image
optical system
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017552258A
Other languages
English (en)
Other versions
JP6617774B2 (ja
Inventor
一郎 佐瀬
一郎 佐瀬
泰俊 金子
泰俊 金子
福井 達雄
達雄 福井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2017090211A1 publication Critical patent/JPWO2017090211A1/ja
Application granted granted Critical
Publication of JP6617774B2 publication Critical patent/JP6617774B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/061Sources
    • G01N2201/06113Coherent sources; lasers

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)

Abstract

試料に含まれる蛍光物質の一部を活性化する活性化光と、活性化された蛍光物質の少なくとも一部を励起する励起光を照射する照明光学系と、対物レンズと、蛍光物質からの蛍光の少なくとも一部に対して非点収差を発生させる非点収差光学系を有し、蛍光の像を形成する結像光学系と、結像光学系が形成した像を撮像する撮像部と、試料における撮像位置を対物レンズの光軸方向に沿って移動する駆動部と、制御部とを有する顕微鏡であって、制御部は、撮像部に、第1の撮像位置および第1の撮像位置とは異なる第2の撮像位置において、それぞれ複数のフレーム数で撮像させる。

Description

本発明は、顕微鏡装置、撮像方法およびプログラムに関する。
STORM、PALM等のSingle-molecule Localization Microscopy法を利用した顕微鏡装置がある(例えば、特許文献1参照)。
特許文献1 米国特許出願公開公報2008/0182336号
当該顕微鏡装置において、試料の厚み方向について広い範囲で試料の構造を再構成するには、試料と光学系とを光軸方向に相対的に移動して、複数の撮像位置で蛍光を撮像する必要がある。そこで、複数の撮像位置で撮像した撮像結果を用いた再構成画像の品質の向上が求められている。
本発明の第1の態様においては、試料に含まれる蛍光物質の一部を活性化する活性化光と、活性化された蛍光物質の少なくとも一部を励起する励起光を照射する照明光学系と、対物レンズと、蛍光物質からの蛍光の少なくとも一部に対して非点収差を発生させる非点収差光学系を有し、蛍光の像を形成する結像光学系と、結像光学系が形成した像を撮像する撮像部と、試料における撮像位置を対物レンズの光軸方向に沿って移動する駆動部と、制御部とを有する顕微鏡であって、制御部は、撮像部に、第1の撮像位置および第1の撮像位置とは異なる第2の撮像位置において、それぞれ複数のフレーム数で撮像させる。
本発明の第2の態様においては、試料に含まれる蛍光物質の一部を活性化する活性化光と、活性化された蛍光物質の少なくとも一部を励起する励起光を照射する照明光学系と、対物レンズと、蛍光物質からの蛍光の少なくとも一部に対して非点収差を発生させる非点収差光学系を有し、蛍光の像を形成する結像光学系と、結像光学系が形成した像を撮像する撮像部と、試料における撮像位置を対物レンズの光軸方向に沿って移動する駆動部とを有する顕微鏡装置において、撮像部に、第1の撮像位置および第1の撮像位置とは異なる第2の撮像位置において、それぞれ複数のフレーム数で撮像させる撮像方法が提供される。
本発明の第3の態様においては、試料に含まれる蛍光物質の一部を活性化する活性化光と、活性化された蛍光物質の少なくとも一部を励起する励起光を照射する照明光学系と、対物レンズと、蛍光物質からの蛍光の少なくとも一部に対して非点収差を発生させる非点収差光学系を有し、蛍光の像を形成する結像光学系と、結像光学系が形成した像を撮像する撮像部と、試料における撮像位置を対物レンズの光軸方向に沿って移動する駆動部とを有する顕微鏡装置を制御するコンピュータに、撮像部に、第1の撮像位置および第1の撮像位置とは異なる第2の撮像位置において、それぞれ複数のフレーム数で撮像させる手順を実行させるプログラムが提供される。
なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本実施形態に係る顕微鏡装置1を示す図である。 結像光学系5および撮像素子40を示す図である。 試料Wにおける位置Z2からの蛍光の光路および蛍光の像を示す図である。 試料Wにおける位置Z1に存在する蛍光物質からの蛍光の光路および蛍光の像を示す図である。 試料Wにおける位置Z3に存在する蛍光物質からの蛍光の光路および蛍光の像を示す図である。 画像処理部7による画像処理の一例を示す図である。 重心位置Qの3次元分布情報のデータ構成45の一例である。 顕微鏡装置1の動作シーケンスの模式図である。 顕微鏡装置1の撮像処理を示すフローチャートである。 撮像処理における撮像条件を入力する画面の一例である。 蛍光の重心位置の3次元分布情報を示す模式図である。 試料Wの再構成の表示画像を設定する画面150の一例である。 レイヤごとに色分けされた表示画像CL1を示す。 レイヤ間における試料の厚み方向の重なりを示す模式図である。 重なりLwに含まれる重心位置を表示する表示画像CL2を説明する模式図である。 顕微鏡装置1の他の動作シーケンスの模式図である。 撮像処理における撮像条件を入力する画面の他例である。 蛍光の重心位置の3次元分布情報を示す模式図である。 レイヤごとに色分けされた表示画像CL3を示す。 パスごとに色分けされた表示画像CL4を示す。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
実施形態に係る顕微鏡装置は、例えば、STORM、PALM等のSingle-molecule Localization Microscopy法を利用した顕微鏡装置である。本実施形態に係る顕微鏡装置は、3次元の超解像画像を生成可能である。実施形態に係る顕微鏡装置は、1種類の蛍光物質で標識(ラベル)された試料の蛍光観察、及び2種類以上の蛍光物質で標識された試料の蛍光観察のいずれにも利用できる。
試料は、生きた細胞(ライブセル)を含むものでもよいし、ホルムアルデヒド溶液等の組織固定液を用いて固定された細胞を含むものでもよく、組織等でもよい。蛍光物質は、シアニン(cyanine)染料等の蛍光色素でもよいし、蛍光タンパク質でもよい。蛍光色素は、活性化された状態である活性化状態で励起光を受けた場合に蛍光を発するレポータ色素を含む。また、蛍光色素は、活性化光を受けてレポータ色素を活性化状態にするアクティベータ色素を含む場合がある。蛍光色素がアクティベータ色素を含まない場合、レポータ色素は、活性化光を受けて活性化状態になる。蛍光色素は、例えば、2種類のシアニン(cyanine)染料を結合させた染料対(例、Cy3−Cy5染料対(Cy3、Cy5は登録商標)、Cy2−Cy5染料対(Cy2、Cy5は登録商標)、Cy3−Alexa Fluor647染料対(Cy3、Alexa Fluorは登録商標))、1種類の染料(例、Alexa Fluor647(Alexa Fluorは登録商標))である。蛍光タンパク質は、例えばPA−GFP、Dronpaなどである。
図1は、本実施形態に係る顕微鏡装置1を示す図である。顕微鏡装置1は、ステージ2、光源装置3と、照明光学系4と、結像光学系5と、撮像部6と、画像処理部7と、制御装置8とを備える。制御装置8は、顕微鏡装置1の各部を包括的に制御する制御部42を備える。制御装置8は、ソフトウェアプログラムを読み込むことによって、後述する手順を実行するコンピュータであってよい。
ステージ2は、カバーガラス51を保持する。カバーガラス51は、観察対象の試料Wを保持する。より具体的には、図1に示すように、ステージ2上にカバーガラス51が載置され、カバーガラス51上に試料Wが載置されている。なお、ステージ2はXY面内で移動してもよいし、しなくてもよい。
光源装置3は、活性化光源10a、励起光源10b、シャッタ11a、及びシャッタ11bを備える。活性化光源10aは、試料Wに含まれる蛍光物質の一部を活性化する活性化光L2を発する。ここでは、蛍光物質がレポータ色素を含み、アクティベータ色素を含まないものとする。蛍光物質のレポータ色素は、活性化光L2が照射されることで、蛍光を発することが可能な活性化状態となる。蛍光物質は、レポータ色素およびアクティベータ色素を含むものでもよく、この場合、アクティベータ色素は、活性化光L2を受けた場合にレポータ色素を活性状態にする。なお、蛍光物質は、例えばPA−GFP、Dronpaなどの蛍光タンパク質でもよい。
励起光源10bは、試料Wにおいて活性化された蛍光物質の少なくとも一部を励起する励起光L1を発する。蛍光物質は、活性化状態において励起光L1が照射されると、蛍光を発するか、不活性化される。蛍光物質は、不活性化された状態(以下、不活性化状態という)において活性化光L2が照射されると、再度、活性化状態となる。
活性化光源10aおよび励起光源10bは、例えば、レーザ光源などの固体光源を含み、それぞれ、蛍光物質の種類に応じた波長のレーザ光を発する。活性化光源10aの射出波長、励起光源10bの射出波長は、例えば、約405nm、約457nm、約488nm、約532nm、約561nm、約640nm、約647nmなどから選択される。ここでは、活性化光源10aの射出波長が約405nmであり、励起光源10bの射出波長が約488nm、約561nm、約647nmから選択される波長であるとする。
シャッタ11aは、制御部42により制御され、活性化光源10aからの活性化光L2を通す状態と、活性化光L2を遮る状態とを切り替え可能である。シャッタ11bは、制御部42により制御され、励起光源10bからの励起光L1を通す状態と、励起光L1を遮る状態とを切り替え可能である。
また、光源装置3は、ミラー12、ダイクロイックミラー13、音響光学素子14、及びレンズ15を備える。ミラー12は、例えば、励起光源10bの射出側に設けられる。励起光源10bからの励起光L1は、ミラー12で反射し、ダイクロイックミラー13に入射する。
ダイクロイックミラー13は、例えば、活性化光源10aの射出側に設けられる。ダイクロイックミラー13は、活性化光L2を透過し、励起光L1を反射する特性を有する。ダイクロイックミラー13を透過した活性化光L2と、ダイクロイックミラー13で反射した励起光L1は、同じ光路を通って音響光学素子14に入射する。
音響光学素子14は、例えば音響光学フィルタなどである。音響光学素子14は、制御部42に制御され、活性化光L2の光強度および励起光L1の光強度のそれぞれを調整可能である。また、音響光学素子14は、制御部42に制御され、活性化光L2、励起光L1のそれぞれについて、音響光学素子14を通る状態である通光状態と、音響光学素子14により遮られる状態または強度が低減される状態である遮光状態とを切り替え可能である。例えば、蛍光物質がレポータ色素を含みアクティベータ色素を含まない場合、制御部42は、試料Wに対し、活性化光L2および励起光L1が同時に照射されるように、音響光学素子14を制御する。また、蛍光物質がレポータ色素およびアクティベータ色素を含む場合、制御部42は、例えば、活性化光L2の照射後に励起光L1が試料Wに照射されるように、音響光学素子14を制御する。
レンズ15は、例えばカプラであり、音響光学素子14からの活性化光L2、励起光L1を導光部材16に集光する。なお、顕微鏡装置1は、光源装置3の少なくとも一部を備えなくてもよい。例えば、光源装置3は、ユニット化されており、顕微鏡装置1に交換可能(取り付け可能、取り外し可能)に設けられていてもよい。例えば、光源装置3は、顕微鏡装置1による観察時などに、顕微鏡装置1に取り付けられてもよい。
照明光学系4は、試料Wに含まれる蛍光物質の一部を活性化する活性化光L2と、活性化された蛍光物質の少なくとも一部を励起する励起光L1とを照射する。照明光学系4は、光源装置3からの活性化光L2と励起光L1とを試料Wに照射する。照明光学系4は、導光部材16、レンズ17、レンズ18、フィルタ19、ダイクロイックミラー20、及び対物レンズ21を備える。
導光部材16は、例えば光ファイバであり、活性化光L2、励起光L1をレンズ17へ導く。図1等において、導光部材16の射出端から試料Wまでの光路を点線で示す。レンズ17は、例えばコリメータであり、活性化光L2、励起光L1を平行光に変換する。レンズ18は、例えば、活性化光L2、励起光L1を対物レンズ21の瞳面の位置に集光する。フィルタ19は、例えば、活性化光L2および励起光L1を透過し、他の波長の光の少なくとも一部を遮る特性を有する。ダイクロイックミラー20は、活性化光L2および励起光L1を反射し、試料Wの蛍光物質が発する蛍光の波長帯の光を透過する特性を有する。フィルタ19からの光は、ダイクロイックミラー20で反射し、対物レンズ21に入射する。試料Wは、観察時に対物レンズ21の前側焦点面に配置される。
活性化光L2、励起光L1は、上述のような照明光学系4により、試料Wに照射される。なお、上述した照明光学系4は一例であり、適宜、変更可能である。例えば、上述した照明光学系4の一部が省略されてもよい。また、照明光学系4は、光源装置3の少なくとも一部を含んでいてもよい。また、照明光学系4は、開口絞り、照野絞りなどを備えてもよい。
結像光学系5は、試料Wに含まれる蛍光物質からの蛍光の像を形成する。結像光学系5は、試料Wから射出された蛍光の一次像を形成する第1光学系5Aと、第1光学系5Aにおいて生成された一次像から、撮像部6における二次像としての蛍光の像を形成する第2光学系5Bとを備える。第1光学系5Aは、対物レンズ21、ダイクロイックミラー20、フィルタ24、レンズ25、光路切替部材26を備える。第2光学系5Bは、レンズ27、レンズ28、及び非点収差光学系としてのシリンドリカルレンズ61を備える。
結像光学系5は、対物レンズ21およびダイクロイックミラー20を照明光学系4と共用している。図1などにおいて、試料Wと撮像部6との間の光路を実線で示す。また、駆動部50は対物レンズ21を当該対物レンズ21の光軸方向、すなわち図1におけるZ方向に移動する。
試料Wからの蛍光は、対物レンズ21およびダイクロイックミラー20を通ってフィルタ24に入射する。フィルタ24は、試料Wからの光のうち所定の波長帯の光が選択的に通る特性を有する。フィルタ24は、例えば、試料Wで反射した照明光、外光、迷光などを遮断する。フィルタ24は、例えば、フィルタ19およびダイクロイックミラー20とユニット化され、このフィルタユニット29は、交換可能に設けられる。フィルタユニット29は、例えば、光源装置3から射出される光の波長(例、活性化光L2の波長、励起光L1の波長)、試料Wから放射される蛍光の波長などに応じて交換しても良いし、複数の励起、蛍光波長に対応した単一のフィルタユニットを利用しても良い。
フィルタ24を通った光は、レンズ25を介して光路切替部材26に入射する。レンズ25から射出された光は、光路切替部材26を通過した後、中間像面5bに一次像を結ぶ。光路切替部材26は、例えばプリズムであり、結像光学系5の光路に挿脱可能に設けられる。光路切替部材26は、例えば、制御部42により制御される駆動部(図示せず)によって、結像光学系5の光路に挿脱される。光路切替部材26は、結像光学系5の光路に挿入された状態において、試料Wからの蛍光を内面反射によって撮像部6へ向かう光路へ導く。
撮像部6は、結像光学系5(第1観察光学系5)が形成した像を撮像する。撮像部6は、撮像素子40および制御部41を備える。撮像素子40は、例えばCMOSイメージセンサであるが、CCDイメージセンサなどでもよい。撮像素子40は、例えば、二次元的に配列された複数の画素を有し、各画素にフォトダイオードなどの光電変換素子が配置された構造である。撮像素子40は、例えば、光電変換素子に蓄積された電荷を、読出回路によって読み出す。撮像素子40は、読み出された電荷をデジタルデータに変換し、画素の位置と階調値とを関連付けたデジタル形式のデータ(例、画像のデータ)を出力する。制御部41は、制御装置8の制御部42から入力される制御信号に基づいて撮像素子40を動作させ、撮像画像のデータを制御装置8に出力する。また、制御部41は、電荷の蓄積期間と電荷の読み出し期間を制御装置8に出力する。
なお、上述した結像光学系5は一例であり、適宜、変更可能である。例えば、上述した結像光学系5の一部が省略されてもよい。また、結像光学系5は、開口絞り、視野絞りなどを備えてもよい。
本実施形態に係る顕微鏡装置1は、観察範囲の設定などに利用される第2観察光学系30を備える。第2観察光学系30は、試料Wから観察者の視点Vpに向かう順に、対物レンズ21、ダイクロイックミラー20、フィルタ24、レンズ25、ミラー31、レンズ32、ミラー33、レンズ34、レンズ35、ミラー36、及びレンズ37を備える。観察光学系30は、対物レンズ21からレンズ25までの構成を結像光学系5と共用している。
試料Wからの光は、レンズ25を通った後に、光路切替部材26が結像光学系5の光路から退避した状態において、ミラー31に入射する。ミラー31で反射した光は、レンズ32を介してミラー33に入射し、ミラー33で反射した後に、レンズ34およびレンズ35を介してミラー36に入射する。ミラー36で反射した光は、レンズ37を介して、視点Vpに入射する。第2観察光学系30は、例えば、レンズ35とレンズ37との間の光路に試料Wの中間像を形成する。レンズ37は、例えば接眼レンズであり、観察者は、中間像を観察することにより観察範囲の設定などを行うことができる。
制御装置8は、顕微鏡装置1の各部を総括して制御する。制御装置8は、制御部42および画像処理部7を備える。制御部42は、制御部41から供給される電荷の蓄積期間と電荷の読み出し期間を示す信号に基づいて、音響光学素子14に、光源装置3からの光を通す通光状態と、光源装置3からの光を遮る遮光状態とを切り替える制御信号を供給する。音響光学素子14は、この制御信号に基づいて、通光状態と遮光状態とを切り替える。制御部42は、音響光学素子14を制御し、試料Wに活性化光L2が照射される期間、及び試料Wに活性化光L2が照射されない期間を制御する。また、制御部42は、音響光学素子14を制御し、試料Wに励起光L1が照射される期間、及び、試料Wに励起光L1が照射されない期間を制御する。制御部42は、音響光学素子14を制御し、試料Wに照射される活性化光L2の光強度および励起光L1の光強度を制御する。制御部42は、撮像部6を制御し、撮像素子40に撮像を実行させる。
なお、制御部42の代わりに制御部41は、電荷の蓄積期間と電荷の読み出し期間を示す信号(撮像タイミングの情報)に基づいて、音響光学素子14に遮光状態と通光状態とを切り替える制御信号を供給し、音響光学素子14を制御してもよい。制御部42は、撮像部6から撮像結果としてのデータを取得する。画像処理部7は、撮像部6の撮像結果を用いて、個々の像の重心位置を求めるなどの画像処理を行う。制御部42は、撮像部6に複数のフレーム期間で撮像させ、画像処理部7は、複数のフレーム期間で得られた撮像結果の少なくとも一部を用いて1枚の画像を生成する。
制御装置8は、例えば、記憶装置43および表示装置44のそれぞれと通信可能に接続される。表示装置44は、例えば、液晶ディスプレイなどである。表示装置44は、例えば、顕微鏡装置1の各種設定を示す画像、撮像部6による撮像画像、撮像画像から生成された画像などの各種画像を表示する。制御部42は、表示装置44を制御し、表示装置44に各種画像を表示させる。例えば、制御部42は、画像処理部7が生成したSTORM画像、PALM画像などの超解像画像のデータを表示装置44に供給し、この画像を表示装置44に表示させる。例えば、顕微鏡装置1は、観察対象の試料Wの超解像画像をライブ映像で表示すること等もできる。記憶装置43は、例えば磁気ディスクや光学ディスクなどであり、顕微鏡装置1の各種設定のデータ、撮像部6による撮像結果のデータ、画像処理部7が生成した画像のデータなど各種データを記憶する。制御部42は、例えば、記憶装置43に記憶された超解像画像のデータを表示装置44に供給し、超解像画像を表示装置44に表示させることができる。制御部42は、記憶装置43を制御し、各種データを記憶装置43に記憶させる。
図2は、結像光学系5および撮像素子40を示す図である。なお、図1において結像光学系5は光路切替部材26で光軸5aが折れ曲がる光学系であるが、図2では、結像光学系5をストレートな光学系として概念的に示した。また、図2において、対物レンズ21とシリンドリカルレンズ61との間の構成の図示を省略した。ここでは、結像光学系5の光軸5aに平行な方向をZ方向とし、Z方向に垂直かつ互いに垂直な2方向をX方向、Y方向とする。X方向は、例えば、撮像素子40の水平方向であり、Y方向は例えば撮像素子40の垂直方向である。
シリンドリカルレンズ61は、垂直方向と水平方向のいずれか一方だけにパワー(屈折力)を有する光学部材である。ここでは、シリンドリカルレンズ61は、XZ面内でパワーを有し、YZ面内でパワーを有さないものとして説明する。なお、非点収差光学系は、シリンドリカルレンズ61の代わりに、垂直方向と水平方向の双方にパワーを持ち、これら2方向でパワーが異なるトロイダルレンズを使用したものでもよい。
図3は、試料Wにおける位置Z2からの蛍光の光路および蛍光の像を示す図である。まず、XZ面における光路について説明する。シリンドリカルレンズ61には、試料Wにおいて位置Z2に存在する蛍光物質からの蛍光が平行光として入射する。この蛍光は、シリンドリカルレンズ61での屈折により集光しつつ撮像素子40へ向かう。X方向における蛍光の像の幅Wxは、XZ面における焦点に相当する位置Z4において最小となる。また、幅Wxは、位置Z4から、試料Wと反対側(+Z側)に離れるにつれて、大きくなる。
次に、YZ面における光路について説明する。シリンドリカルレンズ61には、試料Wにおける位置Z2に存在する蛍光物質からの蛍光が平行光として入射する。この蛍光は、シリンドリカルレンズ61でほぼ屈折せずに、レンズ28入射する。この蛍光は、レンズ28の屈折により集光しつつ撮像素子40へ向かう。Y方向における蛍光の像の幅Wyは、YZ面における焦点に相当する位置Z6において最小となる。幅Wyは、位置Z6から、試料Wと同じ側(−Z側)に離れるにつれて、大きくなる。
位置Z4と位置Z6の中間の位置Z5においては、X方向における蛍光の像の幅WxとX方向における蛍光の像の幅Wyが等しくなり、蛍光の像は真円となる。したがって、位置Z5に撮像素子40を配置した場合、試料Wにおける位置Z2に存在する蛍光物質からの蛍光の像として真円の像が取得される。
図4は、試料Wにおける位置Z1に存在する蛍光物質からの蛍光の光路および蛍光の像を示す図である。位置Z1は、位置Z2に対して、撮像素子40と反対側(−Z側)である。XZ面において、X方向における蛍光の像の幅Wxは、位置Z4より試料W側(−Z側)に離れた位置で最小となる。一方、YZ面において、Y方向における蛍光の像の幅Wyは、位置Z5において最小となる。したがって、位置Z5に撮像素子40を配置した場合、試料Wにおける位置Z1に存在する蛍光物質からの蛍光の像としてX方向を長軸とする楕円形の像が取得される。
図5は、試料Wにおける位置Z3に存在する蛍光物質からの蛍光の光路および蛍光の像を示す図である。位置Z3は、位置Z2に対して、撮像素子40と同じ側(+Z側)である。XZ面において、X方向における蛍光の像の幅Wxは、位置Z5において最小となる。一方、YZ面において、Y方向における蛍光の像の幅Wyは、位置Z6より試料Wと反対側(+Z側)に離れた位置で最小となる。したがって、位置Z5に撮像素子40を配置した場合、試料Wにおける位置Z3に存在する蛍光物質からの蛍光の像としてY方向を長軸とする楕円形の像が取得される。
このように、蛍光の像の幅Wxと幅Wyとの関係、例えば比率は、試料WにおけるZ方向(対物レンズ21の光軸21aと同じ方向)の位置に応じて変化する。よって、画像処理部7は、例えば、楕円ガウシアンフィッティングを行って、蛍光の像の重心位置に加えて幅Wxおよび幅Wyを特定する。これにより、画像処理部7は重心位置から蛍光の像に対応する蛍光物質のXY面内の位置を特定するとともに、幅Wxおよび幅Wyの関係に基づいてZ方向の位置を特定することができる。
図6は、所定の撮像位置における、画像処理部7による画像処理の一例を示す図である。ここで、撮像位置とは、試料Wにおける対物レンズ21の前側焦点の位置である。
図6において、符号P1からPnは予め定められた撮像フレーム期間で得られた撮像結果を表す。活性化光L2強度に応じた確率で活性化された蛍光物質が、励起光L1の照射により蛍光を発するので、1フレームにおいては当該確率に応じた数の蛍光物質が蛍光を発し、フレーム間で見ると互いに異なる蛍光物質が蛍光を発している。
画像処理部7は、撮像画像P1からPnのそれぞれについて、各画像に含まれる蛍光の像の重心位置およびXY方向のそれぞれの幅を算出する。画像処理部7は、例えば、この領域の画素値の分布に対して楕円ガウシアンフィッティングを行うことにより、重心のXY位置および幅Wx、Wyを算出する。画像処理部7は、算出された幅Wx、Wyの関係から、予め格納されたテーブル等を参照して当該重心のZ方向の位置も特定する。これにより、画像処理部7は、例えば、蛍光の像Imの重心位置Qが算出され、複数の撮像画像P1からPnに含まれる複数の蛍光の像に応じた複数の重心位置Qの少なくとも一部を用いて、重心位置Qの3次元分布情報を生成する。また、3次元分布情報に基づいて、3次元超解像画像SP1を生成し、表示する。当該超解像画像SP1は試料Wの3次元構造を再構成したものになっている。なお、所定の撮像位置において得られた3次元分布情報をレイヤと称する。
図6の例で、3次元超解像度画像SP1は、見る方向をユーザが指定できるような3次元画像として示されている。これに代えてまたはこれに加えて、XY平面への投影画像SP2およびXZ平面への投影画像SP3が表示されてもよい。
図7は、重心位置Qの3次元分布情報のデータ構成45の一例である。図7の例において、重心位置Qを識別する番号に当該重心位置QのXYZ座標が対応付けられている。さらに、輝度Bおよび幅Wx、Wyが対応付けられてよい。当該構成による3次元分布情報が記憶装置43に記憶される。
上記図6で説明した通り、顕微鏡装置1によれば対物レンズ21を光軸方向に固定した状態でも、試料Wの厚さ方向(すなわち対物レンズの光軸方向21a)の構造を再構成することができる。しかしながら、対物レンズ21を光軸方向21aについて固定した状態では、構造を再構成できる厚さ方向の範囲は、撮像位置を中心として、結像光学系5の被写界深度や蛍光の強度、撮像素子のS/N比、シリンドリカルレンズ61の焦点距離等により制限されてしまう。試料Wを観察する場合に、構造を再構成できる厚み方向の範囲は300nm程度である。そこで、本実施形態では、対物レンズ21を駆動部50により対物レンズ21の光軸方向21aに移動させつつ撮像部6により蛍光の像を撮像することで、厚み方向に広い範囲にわたって試料Wの構造を再構成する。
図8は顕微鏡装置1の動作シーケンスの模式図である。図9は顕微鏡装置1の撮像処理を示すフローチャートである。また、図10は撮像処理における撮像条件を入力する画面の一例である。
撮像部6が所定の撮像位置において複数回の撮像を行うことを1の撮像処理単位とする。また、図7に示すように、予め決められた複数の撮像位置における画像取得手順をパスという。よって、パスは、例えば、撮像位置1から撮像位置8まで対物レンズ21が、対物レンズ21の光軸5aの方向に移動し、撮像することである。なお、これらの用語は説明を簡略化するために用いているものであって、権利範囲を限定するものではない。
図9のフローチャートに示されるように、まず、撮像処理において撮像条件が設定される(S100)。この場合に、顕微鏡装置1は表示装置44に図10に示すような画面100を表示する。制御装置8は、画面100を通じて、撮像条件としての、撮像最下面の位置、撮像最上面の位置、Z方向のステップサイズ、各撮像位置で取得するフレーム数および3次元分布情報を記憶するファイル名の入力を受け付ける。
図10の例では、ユーザにより撮像位置の番号とそれに対応するフレーム数が手動で入力される。これに代えて、あらかじめ定められたルールに基づいて、撮像位置に対するフレーム数が自動的に計算されてもよい。例えば、染色された細胞内組織の密度が細胞の下層ほど高く、上層ほど密度が低くなるような場合に、撮像位置がカバーガラス51から離れるほどフレーム数を多くすることが好ましい。
さらに各パス内における撮像順序も指定できてよい。例えば、初期設定では、上記のように下の撮像位置から上の撮像位置への順次移動が選択されている。この撮像順序に代えて、上から下、偶数番号の撮像位置が先で奇数番号の撮像位置が後、ランダム等の撮像順序が選択できるようになっていてもよい。
また、例えば、図8に示すZ1〜Z8の撮像位置に移動する場合に、Z1、Z8、Z2、Z7、Z3、Z6、Z5の撮像順序を指定することもできる。この撮像順序により、試料の輪郭が明瞭な画像を得ることが可能となる。
上記撮像条件が入力されて撮像開始ボタンが押されると、制御装置8は当該撮像条件から撮像位置、すなわち駆動部50による駆動量を算出する(S102)。この場合に、隣接するレイヤ間で試料Wの厚み方向の一部が重なるよう撮像位置および・または他の撮像条件が設定されることが好ましい。図8には、レイヤ数が8でパス数が1の動作シーケンスの例が示されている。
照明光学系4は光源3からの活性化光L2および励起光L1を試料W1に照射し(S104)、撮像部6による撮像(S106)を撮像位置に対応した所定のフレーム数行う(S108:No)。
所定のフレーム数の撮像が完了したら(S108:Yes)、駆動部50は対物レンズ21を次の撮像位置に移動させる(S109)。算出された撮像位置について上記ステップS104からS109を繰り返す(S110:No)。
最終の撮像位置における撮像が完了したら(S110:Yes)、制御部8は最終のパスに至ったか否かを判断する(S111)。最終のパスに至っていない場合に(S111:No)、次のパスへ移行し、ステップS104からS110を繰り返す。最終のパスに至った場合に(S111:Yes)、撮像処理が終了する。
以上、本実施形態によれば、STORM等の方法で試料の構造を再構成する場合において、シリンドリカルレンズの焦点距離 等から制限される厚み方向の範囲よりも広い範囲で、試料の構造を再構成することができる。特に、撮像位置ごとに異なるフレーム数の撮像結果を基にして試料の構造を再構成するので、試料の形状や性質に応じた再構成画像の画質の向上を見込むことができる。
上記撮像処理中にまたは撮像処理後に、画像処理部7は各々の撮像フレームにおいて図6で説明したように、蛍光の重心位置を特定する。画像処理部7はさらに、撮像位置ごとに撮像処理単位に含まれる各々の撮像フレームで特定された重心位置の3次元分布情報を図7に示したデータ構成のファイルとして記憶装置43に記憶する。
図11は、複数の撮像位置での撮像により特定された複数のレイヤを示す模式図である。図11には、レイヤ数が3でパス数が1の場合が示されている。
画像処理部7は、パスごとかつレイヤごと、すなわち、撮影処理単位ごとに特定した蛍光の重心位置を、パスおよびレイヤを識別する情報に対応付けて、記憶装置43に記憶する。試料空間における各蛍光の重心のZ位置は、駆動部50の駆動量に基づく撮像位置と、各レイヤ内での蛍光の重心のZ位置(撮像された蛍光画像から算出される重心のZ位置)とを用いて特定される。撮像位置とは、上述したように、試料における対物レンズ21の前側焦点の位置であるが、前側焦点の位置は、カバーガラス51を基準とした位置でもよい。
図12は、試料Wの再構成の表示画像を設定する画面150の一例である。画面150は表示装置44に表示されて、パス、レイヤまたはその両方を視覚的に区別して表示するか否かの設定を受け付ける。
図12では、視覚的に区別する方法として表示色を用いる例が示されている。この場合にパスとレイヤとで色の三属性のうちの異なるもの、例えばパスは色相、レイヤは明度、で区別してもよい。これにより、パスごとかつレイヤごとの両方を視覚的に区別することができる。
表示色に代えてまたは表示色に加えて、ハッチングや形状、例えば丸、三角、バツ印等で視覚的に区別できるようにしてもよい。
画面150の領域152は、レイヤごとの色分けをするか否かを選択するものであり、領域154はパスごとの色分けをするか否かを選択するものである。領域152の右側には、白抜きの各レイヤが上下方向に並んだ状態が模式的に表されており、さらにその右側には、色分けを選択した場合にレイヤごとに色分けがされる状態が模式的に表されている。領域154の右側には、白抜きの各パスが左右方向に並んだ状態が模式的に表されており、さらにその右側には、色分けを選択した場合にパスごとに色分けがされる状態が模式的に表されている。また、ボックス156は表示するZ方向の範囲の下限を入力するものであり、ボックス157は上限を入力するものである。さらに、ボックス158は表示するパスの下限を入力するものであり、ボックス159は上限を入力するものである。
画面150にはさらに撮影処理で得られたデータ構成及びデータ範囲の情報が表示される。データ構成としては、レイヤの厚み、レイヤ数及びパス数が表示される。
図13は、図11の3次元分布情報を用いて、図12の設定によりレイヤごとに色分けされた表示画像CL1を示す。ただし、図中にカラーを用いることができないので、白、ハッチング、黒を用いてカラーの代用とした。
画像処理部7は、記憶装置43に記憶された蛍光の重心位置を呼び出し、レイヤを識別する情報に基づいて、色を割り当てる。画像処理部7は、レイヤ1の蛍光の重心位置に白を割り当て、レイヤ2の蛍光の重心位置にハッチングを割り当て、レイヤ3の蛍光の重心位置に黒を割り当て、表示画像CL1を生成して、表示装置44に表示する。
以上、本実施形態によれば、画像処理部7が複数のレイヤのいずれに属する重心位置であるかを視覚的に区別可能に表示するので、レイヤ間において対物レンズ21とステージ2のドリフト(例えば、位置ずれとして現れる)がどの程度あったかをユーザが容易に認識することができる。
図14は、レイヤ間における試料の厚み方向の重なりを示す模式図である。上記した通り、複数の撮像位置は、その結果として生成される3次元分布情報の一部が、試料の厚み方向に重なるように設定されることが好ましい。図14においては、レイヤ1とレイヤ2との間に重なりLwがあることを示している。そこで、図12の設定画面150において、手動によりまたは自動により、重なりLwに含まれる重心位置を表示するよう設定できることが好ましい。
図15は、重なりLwに含まれる重心位置を表示する表示画像CL2を説明する模式図である。画像処理部7は、各レイヤの3次元分布情報の中から、重なりLwに含まれるZ座標を有する重心位置を特定する。図15に示す例では、レイヤ1およびレイヤ2で破線で囲まれた重心位置が、重なりLwに含まれるものであると特定されている。
画像処理部7は、レイヤ1における上記重心位置に白を割り当て、レイヤ2の上記重心位置にハッチングを割り当てて、表示画像CL2を生成して、表示装置44に表示する。これにより、レイヤ間における対物レンズ21とステージ2のドリフトの程度をより容易に認識することができる。
図16は、顕微鏡装置1の他の動作シーケンスの模式図である。図17は図16に対応した撮像処理における撮像条件を入力する画面110の例である。
図16の例において、顕微鏡装置1はパスを複数回繰り返す。具体的には、パス1からパス10まで10回のパスを繰り返す。
パスの数は、図17の画面110を用いてユーザから入力される。さらに、画面110は、図10の画面100と同様に、撮像最下面の位置、撮像最上面の位置、Z方向のステップサイズ、各パス内における撮像順序および3次元分布情報を記憶するファイル名の入力を受け付ける。画面110はさらに、各レイヤに用いる全フレーム数の入力も受け付ける。
図16および図17の撮像処理も、図9のフローチャートに沿って実行されてよい。この場合に、ステップS102において、画面110から入力された全フレーム数をパス数で割ることにより、各パスの各撮像位置で取得するフレーム数、すなわち各撮像処理単位のフレーム数が算出される。例えば各撮像位置について全パスの合計で用いるフレーム数が10000であり、パス数が10の場合に、各撮像位置で得るフレーム数は1000となる。なお、図8から図10の例のように、撮像位置ごとにフレーム数が異なってもよい。
これにより、図16に示すように、撮像位置1から8を順に移動する動作を1パスとして、これを10回繰り返す。言い換えると、各撮像位置にパスの回数分移動し、それぞれの撮像位置で上記撮像処理単位分のフレームが撮像される。
STORM、PALM等のSingle-molecule Localization Microscopy法を利用した顕微鏡装置では、上述したように、撮像フレーム数が多くなるため、パスを1回に設定して撮像を行うと、撮像時間が後になるにつれて蛍光物質が褪色してしまい、例えば、一番最初の撮像位置におけるレイヤと、一番最後の撮像位置におけるレイヤとで、蛍光物質の量が大きく異なってしまう場合がある。
本実施形態によれば、複数パスを設定することが出来るので、レイヤ間での退色による蛍光物質の量の差を低減することができ、レイヤ間での画質の差を低減することができる。
図18は、複数のパスおよび複数の撮像位置での撮像により特定された複数のレイヤを示す模式図である。図18には、レイヤ数が3でパス数が2の場合が示されている。
図19は、図18のパスを用いて、レイヤごとに色分けされた表示画像CL3を示す。ただし、図13と同様の理由により、白、ハッチング、黒を用いてカラーの代用とした。
画像処理部7は、記憶装置43に記憶された蛍光の像のXYZ位置を呼び出し、少なくともレイヤを識別する情報に基づいて、色を割り当てる。画像処理部7は、全パスに含まれるレイヤ1の蛍光の像に白を割り当て、全パスに含まれるレイヤ2の蛍光の像にハッチングを割り当て、全パスに含まれるレイヤ3の蛍光の像に黒を割り当てた表示画像CL3を生成し、表示装置44に表示する。この場合に、レイヤ1からレイヤ3まで色を凡例として示すとともに、パスごとには区別されていないことを「全パス」の文字列等で示すことが好ましい。
以上、本実施形態によれば、画像処理部7が複数のレイヤのいずれの撮像結果に基づいて特定された3次元位置であるかを視覚的に区別可能に表示するので、レイヤ間の撮像時間の違いにより生じる試料Wと対物レンズ間において生じるドリフト(位置ずれ)が
がどの程度あったかをユーザが容易に認識することができる。
図20は、図18のレイヤを用いて、パスごとに色分けされた表示画像CL4を示す。ただし、白と黒を用いてカラーの代用とした。
画像処理部7は、記憶装置43に記憶された蛍光の像のXYZ位置を呼び出し、少なくともパスを識別する情報に基づいて、色を割り当てる。図12の例において、画像処理部7は、パス1に含まれる全レイヤの蛍光の像に白を割り当て、パス2に含まれる全レイヤの蛍光の像に黒を割り当て、表示画像CL4を生成し、表示装置44に表示する。その場合に、画像処理部7は凡例として、パス1の色とパス2の色を示すとともに、レイヤごとには区別されていないことを「全レイヤ」の文字列等で示すことが好ましい。
以上、本実施形態によれば、画像処理部7が複数のパスのいずれの撮像結果に基づいて特定された3次元位置であるかを視覚的に区別可能に表示するので、パス間において試料Wのドリフトがどの程度あったかをユーザが容易に認識することができる。
また、各撮像位置でフレーム数を全て撮像してから次の撮像位置に移動していくと、時間的に後の撮像位置ほど蛍光が退色してしまっており、十分な画質が得られないおそれがある。これに対し、図16のシーケンスを用いた実施形態によれば、各レイヤで用いるフレーム数を複数のパスに分散して撮像するので、時間的に後の撮像位置でも良好な画質を得ることができる。
なお、図11、図15、図18から図20では、3次元分布情報が「画像」として示されているが、これは説明のためのものである。すなわち、表示装置44に「表示画像」として表示させる場合以外においては、画像処理部7は画像を生成しなくてよく、図7に示されるようなデータのまま扱えばよい。
なお、上記実施形態においては、駆動部50が対物レンズ21を光軸方向5aに移動することにより撮像位置を移動させた。これに代えて、駆動部50がステージ2を対物レンズ21の光軸方向5aすることにより撮像位置を移動させてもよい。
また、2種類の蛍光物質を用いる場合には、例えば複数パスのうち奇数のパスには一の蛍光物質を励起する波長の励起光を照射し、偶数のパスに他の蛍光物質を励起する波長の励起光を照射してもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
1 顕微鏡装置、2 ステージ、3 光源装置、4 照明光学系、5 結像光学系、6 撮像部、7 画像処理部、8 制御装置、10a 活性化光源、10b 励起光源、11a シャッタ、11b シャッタ、13 ダイクロイックミラー、14 音響光学素子、15 レンズ、16 導光部材、17 レンズ、18 レンズ、19 フィルタ、20 ダイクロイックミラー、21 対物レンズ、24 フィルタ、25 レンズ、26 光路切替部材、28 レンズ、29 フィルタユニット、30 観察光学系、31 ミラー、32 レンズ、33 ミラー、34 レンズ、35 レンズ、36 ミラー、37 レンズ、40撮像素子、41 制御部、42 制御部、43 記憶装置、44 表示装置、50 駆動部、51 カバーガラス、61 シリンドリカルレンズ、100 画面、110 画面、150 画面、152 領域、154 領域、156 ボックス、157 ボックス、158 ボックス、159 ボックス

Claims (15)

  1. 試料に含まれる蛍光物質の一部を活性化する活性化光と、前記活性化された蛍光物質の少なくとも一部を励起する励起光を照射する照明光学系と、
    対物レンズと、前記蛍光物質からの蛍光の少なくとも一部に対して非点収差を発生させる非点収差光学系を有し、前記蛍光の像を形成する結像光学系と、
    前記結像光学系が形成した像を撮像する撮像部と、
    前記試料における撮像位置を前記対物レンズの光軸方向に沿って移動する駆動部と、
    制御部と
    を有し、
    前記制御部は、前記撮像部に、第1の撮像位置および前記第1の撮像位置とは異なる第2の撮像位置において、それぞれ複数のフレーム数で撮像させることを特徴とする
    顕微鏡装置。
  2. 前記制御部は、前記撮像部に、第1の撮像位置において第1のフレーム数で撮像させ、前記第2の撮像位置において、第1のフレーム数とは異なる第2のフレーム数で撮像させることを特徴とする
    請求項1に記載の顕微鏡装置。
  3. 前記駆動部は、前記試料を保持するステージおよび前記対物レンズの少なくとも一方を前記対物レンズの光軸方向に移動させることにより、前記撮像位置を移動させることを特徴とする
    請求項1または2に記載の顕微鏡装置。
  4. 前記第2の撮像位置と前記ステージとの距離が、前記第1の撮像位置と前記ステージとの距離よりも大きい場合、前記第2の撮像位置のフレーム数は、前記第1の撮像位置のフレーム数よりも多いことを特徴とする
    請求項3に記載の顕微鏡装置。
  5. 表示装置をさらに有し、
    前記制御部は、前記複数のフレーム数の撮像により得られた第1の撮像位置における撮像結果に基づいて、第1の撮像位置における3次元画像を生成し、
    前記複数のフレーム数の撮像により得られた第2の撮像位置における撮像結果に基づいて、第2の撮像位置における3次元画像を生成し、
    前記第1の撮像位置における3次元画像と、第2の撮像位置における3次元画像とを異なる表示色で前記表示装置に表示させることを特徴とする
    請求項1から4のいずれか1項に記載の顕微鏡装置。
  6. 前記制御部は、前記第1の撮像位置における撮像と、第2の撮像位置における撮像とを行う撮像動作を複数回行うことを特徴とする
    請求項1から4のいずれか1項に顕微鏡装置。
  7. 表示装置をさらに有し、
    前記制御部は、前記複数回の撮像動作により得られた第1の撮像位置における撮像結果に基づいて、第1の撮像位置における3次元画像を生成し、
    前記複数回の撮像動作により得られた第2の撮像位置における撮像結果に基づいて、第2の撮像位置における3次元画像を生成し、
    前記第1の撮像位置における3次元画像と、第2の撮像位置における3次元画像とを異なる表示色で前記表示装置に表示させることを特徴とする
    請求項6に記載の顕微鏡装置。
  8. 前記制御部は、前記第1の撮像位置における3次元画像と、第2の撮像位置における3次元画像とを異なる表示色で前記表示装置に表示させる場合に、対物レンズの光軸方向の指定された領域のみを表示させることを特徴とする
    請求項5または7に記載の顕微鏡装置。
  9. 前記制御部は、前記第1の撮像位置における3次元画像と、第2の撮像位置における3次元画像とを異なる表示色で前記表示装置に表示させる場合に、重複領域のみを表示させることを特徴とする
    請求項5または7に記載の顕微鏡装置。
  10. 表示装置をさらに有し、
    前記撮像動作毎に得られた前記第1の撮像位置および第2の撮像位置における撮像結果に基づいて、撮像動作毎の3次元画像を生成し、
    前記撮像動作毎の3次元画像を互いに異なる表示色で前記表示装置に表示させることを特徴とする
    請求項6に記載の顕微鏡装置。
  11. 表示装置をさらに有し、
    前記制御部は、前記複数回の撮像動作により得られた第1の撮像位置における撮像結果に基づいて、第1の撮像位置における3次元画像を生成し、
    前記複数回の撮像動作により得られた第2の撮像位置における撮像結果に基づいて、第2の撮像位置における3次元画像を生成し、
    前記撮像動作毎に得られた前記第1の撮像位置および第2の撮像位置における撮像結果に基づいて、撮像動作毎の3次元画像を生成し、
    前記第1の撮像位置における3次元画像と、第2の撮像位置における3次元画像とを異なる表示色で表示装置に表示させる第1の表示モードと、前記撮像動作毎の3次元画像を互いに異なる表示色で前記表示装置に表示させる第2の表示モードとを切り替えることを特徴とする
    請求項7に記載の顕微鏡装置。
  12. 前記3次元画像は、前記蛍光物質の3次元位置情報を含むことを特徴とする
    請求項1から11のいずれか1項に記載の顕微鏡装置。
  13. 前記制御部は、
    前記非点収差に基づいて前記蛍光物質の3次元位置情報を算出することを特徴とする
    請求項1から12のいずれか1項に記載の顕微鏡装置。
  14. 試料に含まれる蛍光物質の一部を活性化する活性化光と、前記活性化された蛍光物質の少なくとも一部を励起する励起光を照射する照明光学系と、
    対物レンズと、前記蛍光物質からの蛍光の少なくとも一部に対して非点収差を発生させる非点収差光学系を有し、前記蛍光の像を形成する結像光学系と、
    前記結像光学系が形成した像を撮像する撮像部と、
    前記試料における撮像位置を前記対物レンズの光軸方向に沿って移動する駆動部とを有する顕微鏡装置において、
    前記撮像部に、第1の撮像位置および前記第1の撮像位置とは異なる第2の撮像位置において、それぞれ複数のフレーム数で撮像させる撮像方法。
  15. 試料に含まれる蛍光物質の一部を活性化する活性化光と、前記活性化された蛍光物質の少なくとも一部を励起する励起光を照射する照明光学系と、
    対物レンズと、前記蛍光物質からの蛍光の少なくとも一部に対して非点収差を発生させる非点収差光学系を有し、前記蛍光の像を形成する結像光学系と、
    前記結像光学系が形成した像を撮像する撮像部と、
    前記試料における撮像位置を前記対物レンズの光軸方向に沿って移動する駆動部とを有する顕微鏡装置を制御するコンピュータに、
    前記撮像部に、第1の撮像位置および前記第1の撮像位置とは異なる第2の撮像位置において、それぞれ複数のフレーム数で撮像させる手順を実行させるプログラム。
JP2017552258A 2015-11-27 2015-11-27 顕微鏡装置 Active JP6617774B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/083511 WO2017090211A1 (ja) 2015-11-27 2015-11-27 顕微鏡装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019205965A Division JP2020042283A (ja) 2019-11-14 2019-11-14 顕微鏡装置

Publications (2)

Publication Number Publication Date
JPWO2017090211A1 true JPWO2017090211A1 (ja) 2018-09-06
JP6617774B2 JP6617774B2 (ja) 2019-12-11

Family

ID=58763206

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017552258A Active JP6617774B2 (ja) 2015-11-27 2015-11-27 顕微鏡装置

Country Status (4)

Country Link
US (2) US20180275061A1 (ja)
EP (1) EP3385769A4 (ja)
JP (1) JP6617774B2 (ja)
WO (1) WO2017090211A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7137422B2 (ja) * 2018-09-28 2022-09-14 シスメックス株式会社 顕微鏡装置
CN211830951U (zh) * 2020-09-23 2020-10-30 常州市瑞泰光电有限公司 影像采集装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011508214A (ja) * 2007-12-21 2011-03-10 プレジデント アンド フェロウズ オブ ハーバード カレッジ 三次元の回折限界未満の画像解像技術
WO2011152523A1 (ja) * 2010-06-03 2011-12-08 株式会社ニコン 顕微鏡装置
JP2013015665A (ja) * 2011-07-04 2013-01-24 Nikon Corp 顕微鏡装置及び画像形成方法
JP2013515249A (ja) * 2009-12-22 2013-05-02 カール ツァイス マイクロスコピー ゲーエムベーハー 物体の2次元または3次元の位置調整のための高解像度顕微鏡および方法
JP2014089311A (ja) * 2012-10-30 2014-05-15 Nikon Corp 顕微鏡装置及び画像形成方法
JP2015502566A (ja) * 2011-10-25 2015-01-22 サンフォード−バーナム メディカル リサーチ インスティテュート 自動化された顕微鏡使用のための多関数型自動焦点システムおよび方法
JP2015506498A (ja) * 2012-01-11 2015-03-02 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 高分解能3d蛍光顕微鏡法のための顕微鏡および方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4468684B2 (ja) 2003-12-05 2010-05-26 オリンパス株式会社 走査型共焦点顕微鏡装置
US7838302B2 (en) 2006-08-07 2010-11-23 President And Fellows Of Harvard College Sub-diffraction limit image resolution and other imaging techniques
JP4996319B2 (ja) 2007-04-26 2012-08-08 オリンパス株式会社 レーザ顕微鏡とその画像表示方法
JP4968337B2 (ja) 2007-06-15 2012-07-04 株式会社ニコン 共焦点顕微鏡装置
US9946058B2 (en) * 2010-06-11 2018-04-17 Nikon Corporation Microscope apparatus and observation method
EP2660639B1 (en) * 2012-05-02 2016-04-13 Centre National De La Recherche Scientifique Method and apparatus for single-particle localization using wavelet analysis
US8818117B2 (en) 2012-07-19 2014-08-26 Sony Corporation Method and apparatus for compressing Z-stack microscopy images
CA2991920C (en) * 2015-04-23 2024-05-14 The University Of British Columbia Multifocal method and apparatus for stabilization of optical systems
US20180329225A1 (en) * 2015-08-31 2018-11-15 President And Fellows Of Harvard College Pattern Detection at Low Signal-To-Noise Ratio
JP6635125B2 (ja) 2015-11-27 2020-01-22 株式会社ニコン 顕微鏡、観察方法、及び画像処理プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011508214A (ja) * 2007-12-21 2011-03-10 プレジデント アンド フェロウズ オブ ハーバード カレッジ 三次元の回折限界未満の画像解像技術
JP2013515249A (ja) * 2009-12-22 2013-05-02 カール ツァイス マイクロスコピー ゲーエムベーハー 物体の2次元または3次元の位置調整のための高解像度顕微鏡および方法
WO2011152523A1 (ja) * 2010-06-03 2011-12-08 株式会社ニコン 顕微鏡装置
JP2013015665A (ja) * 2011-07-04 2013-01-24 Nikon Corp 顕微鏡装置及び画像形成方法
JP2015502566A (ja) * 2011-10-25 2015-01-22 サンフォード−バーナム メディカル リサーチ インスティテュート 自動化された顕微鏡使用のための多関数型自動焦点システムおよび方法
JP2015506498A (ja) * 2012-01-11 2015-03-02 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 高分解能3d蛍光顕微鏡法のための顕微鏡および方法
JP2014089311A (ja) * 2012-10-30 2014-05-15 Nikon Corp 顕微鏡装置及び画像形成方法

Also Published As

Publication number Publication date
JP6617774B2 (ja) 2019-12-11
US20180275061A1 (en) 2018-09-27
US11906431B2 (en) 2024-02-20
EP3385769A4 (en) 2019-10-30
WO2017090211A1 (ja) 2017-06-01
EP3385769A1 (en) 2018-10-10
US20210172877A1 (en) 2021-06-10

Similar Documents

Publication Publication Date Title
US10768402B2 (en) Microscopy of a tissue sample using structured illumination
JP7424286B2 (ja) 蛍光観察装置及び蛍光観察方法
JP6375254B2 (ja) 蛍光観察用ユニットおよび蛍光観察装置
US20120016230A1 (en) Imaging apparatus, imaging system, surgical navigation system, and imaging method
JP2015135463A (ja) 顕微鏡装置、及び、顕微鏡システム
US20150109432A1 (en) Scanner With Increased Dynamic Range
WO2009139058A1 (ja) 生体画像撮影装置
CN104122662B (zh) 一种超高密度超分辨光学闪烁显微成像系统及方法
JP6292238B2 (ja) 装置、システム、方法、及びプログラム
JPWO2018116851A1 (ja) 情報処理装置、画像処理装置、顕微鏡、情報処理方法、及び情報処理プログラム
JP2012237693A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US11906431B2 (en) Microscope apparatus
TW201219743A (en) Optical apparatus and method for creating an image of an object
US10725278B2 (en) Microscope, observation method, and storage medium
US20120140057A1 (en) Microscope for Measuring Total Reflection Fluorescence
JP6253509B2 (ja) 画像表示方法、制御装置、顕微鏡システム
JP6928757B2 (ja) 光学顕微鏡における画像処理のためのシステムおよび方法
JP6451833B2 (ja) 顕微鏡装置、観察方法、及び制御プログラム
JP2020042283A (ja) 顕微鏡装置
WO2017090209A1 (ja) 顕微鏡、観察方法、及び制御プログラム
WO2015194410A1 (ja) 画像入力装置及び顕微鏡装置
JP2018161081A (ja) 細胞観察装置および細胞観察方法
JP2019159341A (ja) 顕微鏡、観察方法、及び制御プログラム
JPWO2019229913A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム、及び顕微鏡

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190521

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191028

R150 Certificate of patent or registration of utility model

Ref document number: 6617774

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250