JPWO2019230878A1 - 蛍光観察装置及び蛍光観察方法 - Google Patents

蛍光観察装置及び蛍光観察方法 Download PDF

Info

Publication number
JPWO2019230878A1
JPWO2019230878A1 JP2020522587A JP2020522587A JPWO2019230878A1 JP WO2019230878 A1 JPWO2019230878 A1 JP WO2019230878A1 JP 2020522587 A JP2020522587 A JP 2020522587A JP 2020522587 A JP2020522587 A JP 2020522587A JP WO2019230878 A1 JPWO2019230878 A1 JP WO2019230878A1
Authority
JP
Japan
Prior art keywords
fluorescence
fluorescence observation
unit
observation device
line illuminations
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020522587A
Other languages
English (en)
Other versions
JP7424286B2 (ja
Inventor
寛和 辰田
寛和 辰田
学治 橋本
学治 橋本
哲朗 桑山
哲朗 桑山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019230878A1 publication Critical patent/JPWO2019230878A1/ja
Priority to JP2024006267A priority Critical patent/JP2024038437A/ja
Application granted granted Critical
Publication of JP7424286B2 publication Critical patent/JP7424286B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0064Optical details of the image generation multi-spectral or wavelength-selective arrangements, e.g. wavelength fan-out, chromatic profiling
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1006Beam splitting or combining systems for splitting or combining different wavelengths
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/14Beam splitting or combining systems operating by reflection only
    • G02B27/141Beam splitting or combining systems operating by reflection only using dichroic mirrors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • G01N2021/6419Excitation at two or more wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • G01N2021/6423Spectral mapping, video display
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing
    • G01N2201/127Calibration; base line adjustment; drift compensation
    • G01N2201/12746Calibration values determination
    • G01N2201/12761Precalibration, e.g. for a given series of reagents

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本技術の一形態に係る蛍光観察装置は、ステージと、励起部と、分光イメージング部とを具備する。前記ステージは、蛍光染色された病理標本を支持可能に構成される。前記励起部は、それぞれ異なる波長で構成された異軸かつ一軸方向に平行な複数のライン照明を、前記ステージ上の前記病理標本に照射する。前記分光イメージング部は、前記複数のライン照明によって励起された蛍光を個々に受光可能な少なくとも1つの撮像素子を有する。【選択図】図2

Description

本技術は、例えば、病理画像の診断に用いられる蛍光観察装置及び蛍光観察方法に関する。
定量性や多色性に優れた手法として、蛍光染色による病理画像診断法が提案されている(例えば特許文献1参照)。蛍光手法によると、着色染色に比べて多重化が容易で、詳細な診断情報が得られる点で有利である。病理診断以外の蛍光イメージングにおいても、色数の増加は、サンプルに発現するさまざまな抗原を一度に調べることを可能とする。
一般の蛍光撮影法は、色素の吸収波長(励起波長)の励起光を照射し、それによって発光する色素スペクトルをバンドパスフィルタによって選択的に取り込む。複数色ある場合には、色素によって吸収波長(励起波長)が様々であるため、色素ごとにフィルタを切り替えて撮影する方法が採られる。しかしながら、色素の吸収スペクトルも発光スペクトルもブロードで重なりがあるため、複数色染色した場合には、一つの励起波長において、複数の色素を励起してしまう。さらにバンドパスフィルタにも隣接する色素の蛍光が漏れ込み、混色が生じる。
一方、時分割的に励起光の波長及び検出する蛍光の波長を切り替えて撮影する方法が知られている(例えば非特許文献1)。しかしながら、この方法は、色が増えると、リニアに撮影時間も増加するという問題がある。
以上のような事情に鑑み、本技術の目的は、観察対象の色素数の増加に伴う撮影時間の増加を抑えることができる蛍光観察装置及び蛍光観察方法を提供することにある。
本技術の一形態に係る蛍光観察装置は、ステージと、励起部と、分光イメージング部とを具備する。
前記ステージは、蛍光染色された病理標本を支持可能に構成される。
前記励起部は、それぞれ異なる波長で構成された異軸かつ一軸方向に平行な複数のライン照明を、前記ステージ上の前記病理標本に照射する。
前記分光イメージング部は、前記複数のライン照明によって励起された蛍光を個々に受光可能な少なくとも1つの撮像素子を有する。
これにより、観察対象の色素数の増加に伴う撮影時間の増加を抑えることができる。
前記励起部は、前記複数のライン照明として、それぞれ異なる波長の組み合わせで構成された複数のライン照明を前記病理標本に照射するように構成されてもよい。
前記分光イメージング部は、前記複数のライン照明によって励起された蛍光を分光する波長分散素子をさらに有してもよい。
前記分光イメージング部は、前記複数のライン照明によって励起された蛍光がそれぞれ通過可能な複数のスリット部を有する観測スリットをさらに有してもよい。
前記蛍光観察装置は、前記ステージに対して前記複数のライン照明を前記一軸方向に垂直な方向に走査する走査機構をさらに具備してもよい。
前記蛍光観察装置は、前記複数のライン照明の波長と前記撮像素子で受光された蛍光との相関を表す分光データを記憶する記憶部を有する処理ユニットをさらに具備してもよい。
前記処理ユニットは、前記記憶部に記憶された分光データと、前記複数のライン照明の間隔とに基づいて、前記病理標本の蛍光画像を形成する画像形成部をさらに有してもよい。
前記画像形成部は、前記蛍光画像として、前記複数のライン照明の間隔に相当する値で前記撮像素子の検出座標が補正された画像を形成するように構成されてもよい。
前記処理ユニットは、前記記憶部に記憶された分光データを校正するデータ校正部をさらに有してもよい。
前記記憶部は、前記病理標本に関する自家蛍光の標準スペクトル及び前記病理標本を染色する色素単体の標準スペクトルをあらかじめ記憶し、前記画像形成部は、前記自家蛍光及び前記色素単体の標準スペクトルを基に、前記分光データの成分分布を出力するように構成されてもよい。
前記撮像素子は、前記観測スリットを通過した蛍光をそれぞれ受光可能な複数の撮像素子を含んでもよい。
前記蛍光観察装置は、前記ステージ上の前記病理標本を照明する光源と、前記病理標本の非蛍光画像を取得する撮像部とを有する非蛍光観察部をさらに具備してもよい。
前記蛍光観察装置は、複数のライン照明ごとに、前記複数のライン照明によって励起された蛍光スペクトルを分けて表示する表示部をさらに具備してもよい。
前記表示部は、前記複数のライン照明の波長と出力とを設定可能な操作領域を有してもよい。
前記表示部は、前記蛍光スペクトルの検出波長範囲を表示する表示領域を有してもよい。
本技術の一形態に係る蛍光観察方法は、
それぞれ異なる波長で構成された異軸かつ一軸方向に平行な複数のライン照明を、ステージ上の病理標本に照射し、
前記複数のライン照明によって励起された蛍光を個々に受光する。
前記蛍光観察方法は、さらに、前記ステージに対して前記複数のライン照明を前記一軸方向に垂直な方向に走査してもよい。
前記複数のライン照明として、それぞれ異なる波長の組み合わせで構成された複数のライン照明が用いられてもよい。
以上のように、本技術によれば、観察対象の色素数の増加に伴う撮影時間の増加を抑えることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係る蛍光観察装置の概略ブロック図である。 上記蛍光観察装置における光学系の一例を示す図である。 観察対象である病理標本の概略図である。 上記観察対象に照射されるライン照明の様子を示す概略図である。 上記蛍光観察装置における撮像素子が単一のイメージセンサで構成される場合の分光データの取得方法を説明する図である。 図5で取得される分光データの波長特性を示す図である。 上記撮像素子が複数のイメージセンサで構成される場合の分光データの取得方法を説明する図である。 上記観察対象に照射されるライン照明の走査方法を説明する概念図である。 複数のライン照明で取得される3次元データ(X、Y、λ)を説明する概念図である。 上記蛍光観察装置における励起部の波長の構成例を示す図である。 上記蛍光観察装置における分光イメージング部の他の構成例を示す概略図である。 上記蛍光観察装置における処理ユニットにおいて実行される処理の手順の一例を示すフローチャートである。 上記蛍光観察装置における表示部の画面を説明する図である。 上記表示部における励起部の設定領域の画面構成の一例を示す図である 上記表示部における一のライン照明由来の蛍光スペクトルの検出設定領域の画面構成の一例を示す図である。 上記表示部における他のライン照明由来の蛍光スペクトルの検出設定領域の画面構成の一例を示す図である。 蛍光スペクトルデータと表示部に表示される蛍光画像との関係を概念的に示す模式図である。 上記処理ユニットにおいて実行される処理の手順の一変形例を示すフローチャートである。 上記処理ユニットにおいて実行される処理の手順の他の変形例を示すフローチャートである。 上記蛍光観察装置の一変形例を示す概略ブロック図である。 上記蛍光観察装置の他の変形例を示す概略ブロック図である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
図1は、本技術の一実施形態に係る蛍光観察装置の概略ブロック図、図2は、蛍光観察装置における光学系の一例を示す図である。
[全体構成]
本実施形態の蛍光観察装置100は、観察ユニット1を備える。観察ユニット1は、異軸平行に配置された波長の異なる複数のライン照明を病理標本(病理サンプル)に照射する励起部10と、病理標本を支持するステージ20と、ライン状に励起された病理標本の蛍光スペクトル(分光データ)を取得する分光イメージング部30とを有する。
ここで、異軸平行とは、複数のライン照明が異軸かつ平行であることをいう。異軸とは、同軸上にないことをいい、軸間の距離は特に限定されない。平行とは、厳密な意味での平行に限られず、ほぼ平行である状態も含む。例えば、レンズ等の光学系由来のディストーションや製造公差による平行状態からの逸脱があってもよく、この場合も平行とみなす。
蛍光観察装置100は、処理ユニット2をさらに備える。処理ユニット2は、観察ユニット1によって取得された病理標本(以下、サンプルSともいう)の蛍光スペクトルに基づいて、典型的には、病理標本の画像を形成し、あるいは蛍光スペクトルの分布を出力する。ここでいう画像とは、そのスペクトルを構成する色素やサンプル由来の自家蛍光などの構成比率、波形からRGB(赤緑青)カラーに変換されたもの、特定の波長帯の輝度分布などをいう。
ステージ20に対して、対物レンズ44などの観察光学系40を介して、励起部10と分光イメージング部30が接続されている。観察光学系40はフォーカス機構60によって最適な焦点に追従する機能を持っている。観察光学系40には、暗視野観察、明視野観察などの非蛍光観察部70が接続されてもよい。
蛍光観察装置100は、励起部(LDやシャッターの制御)、走査機構であるXYステージ、分光イメージング部(カメラ)、フォーカス機構(検出器とZステージ)、非蛍光観察部(カメラ)などを制御する制御部80と接続されていてもよい。
励起部10は複数の励起波長Ex1,Ex2,・・・の光を出力することができる複数の光源L1,L2,・・・を備える。複数の光源は、典型的には、発光ダイオード(LED)、レーザダイオード(LD)、水銀ランプなどで構成され、それぞれの光がライン照明化され、ステージ20のサンプルSに照射される。
サンプルSは、典型的には、図3に示すような組織切片等の観察対象Saを含むスライドで構成されるが、勿論それ以外であってもよい。サンプルS(観察対象Sa)は、複数の蛍光色素によって染色されている。観察ユニット1は、サンプルSを所望の倍率に拡大して観察する。図3のAの部分を拡大すると、照明部は図4に示すように、ライン照明が複数(図示の例では2つ(Ex1,Ex2))配置されており、それぞれの照明エリアに重なるように分光イメージング部30の撮影エリアR1,R2が配置される。2つのライン照明Ex1,Ex2はそれぞれZ軸方向に平行であり、Y軸方向に所定の距離(Δy)離れて配置される。
撮影エリアR1,R2は、分光イメージング部30における観測スリット31(図2)の各スリット部にそれぞれ対応する。つまり、分光イメージング部30のスリット部もライン照明と同数配置される。図4では照明のライン幅の方がスリット幅よりも広くなっているが、これらの大小関係はどちらであってもよい。照明のライン幅がスリット幅よりも大きい場合、分光イメージング部30に対する励起部10の位置合わせマージンを大きくすることができる。
1つめのライン照明Ex1を構成する波長と、2つめのライン照明Ex2を構成する波長は相互に異なっている。これらライン照明Ex1,Ex2により励起されるライン状の蛍光は、観察光学系40を介して分光イメージング部30において観測される。
分光イメージング部30は、複数のライン照明によって励起された蛍光がそれぞれ通過可能な複数のスリット部を有する観測スリット31と、観測スリット31を通過した蛍光を個々に受光可能な少なくとも1つの撮像素子32とを有する。撮像素子32には、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などの2次元イメージャが採用される。観測スリット31を光路上に配置することで、それぞれのラインで励起された蛍光スペクトルを重なりなく検出することができる。
分光イメージング部30は、それぞれのライン照明Ex1,Ex2から、撮像素子32の1方向(例えば垂直方向)の画素アレイを波長のチャンネルとして利用した蛍光の分光データ(x、λ)を取得する。得られた分光データ(x、λ)は、それぞれどの励起波長から励起された分光データであるかが紐づけられた状態で処理ユニット2に記録される。
処理ユニット2は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等のコンピュータに用いられるハードウェア要素および必要なソフトウェアにより実現され得る。CPUに代えて、またはこれに加えて、FPGA(Field Programmable Gate Array)等のPLD(Programmable Logic Device)、あるいは、DSP(Digital Signal Processor)、その他ASIC(Application Specific Integrated Circuit)等が用いられてもよい。
処理ユニット2は、複数のライン照明Ex1,Ex2の波長と撮像素子32で受光された蛍光との相関を表す分光データを記憶する記憶部21を有する。記憶部21には、不揮発性半導体メモリ、ハードディスクドライブ等の記憶装置が用いられ、サンプルSに関する自家蛍光の標準スペクトル、サンプルSを染色する色素単体の標準スペクトルがあらかじめ格納されている。撮像素子32で受光した分光データ(x、λ)は、例えば、図5及び図6に示すように取得されて、記憶部21に記憶される。本実施形態では、サンプルSの自家蛍光及び色素単体の標準スペクトルを記憶する記憶部と撮像素子32で取得されるサンプルSの分光データ(測定スペクトル)を記憶する記憶部とが共通の記憶部21で構成されるが、これに限られず、別々の記憶部で構成されてもよい。
図5及び図6は、撮像素子32が観測スリット31を通過した蛍光を共通に受光する単一のイメージセンサで構成される場合の分光データの取得方法を説明する図である。この例において、ライン照明Ex1,Ex2によって励起された蛍光スペクトルFs1,Fs2は、分光光学系(後述)を介して、最終的にΔy(図4参照)に比例する量だけずれた状態で撮像素子32の受光面に結像される。
図5に示すように、ライン照明Ex1から得られる情報はRow_a,Row_bとして、ライン照明Ex2から得られる情報はRow_c、Row_dとして、それぞれ記録される。これらの領域以外のデータは読み出さない。それによって撮像素子32のフレームレートはフルフレームで読み出す場合の、Row_full/(Row_b−Row_a+Row_d−Row_c)倍早くすること出来る。
図2に示すように、光路の途中にダイクロイックミラー42やバンドパスフィルタ45が挿入され、励起光(Ex1,Ex2)が撮像素子32に到達しないようにする。この場合、撮像素子32上に結像する蛍光スペクトルFs1には間欠部IFが生じる(図5、図6参照)。このような間欠部IFも読出し領域から除外することによって、さらにフレームレートを向上させることができる。
撮像素子32は、図2に示すように、観測スリット31を通過した蛍光をそれぞれ受光可能な複数の撮像素子32a,32bを含んでもよい。この場合、各ライン照明Ex1,Ex2によって励起される蛍光スペクトルFs1,Fs2は、撮像素子32a,32b上に図7に示すように取得され、記憶部21に励起光と紐づけて記憶される。
ライン照明Ex1,Ex2は単一の波長で構成される場合に限られず、それぞれが複数の波長で構成されてもよい。ライン照明Ex1,Ex2がそれぞれ複数の波長で構成される場合、これらで励起される蛍光もそれぞれ複数のスペクトルを含む。この場合、分光イメージング部30は、当該蛍光を励起波長に由来するスペクトルに分離するための波長分散素子を有する。波長分散素子は、回折格子やプリズムなどで構成され、典型的には、観測スリット31と撮像素子32との間の光路上に配置される。
観測ユニット1はさらに、ステージ20に対して複数のライン照明Ex1,Ex2をY軸方向、つまり、各ライン照明Ex1,Ex2の配列方向に走査する走査機構50を備える。走査機構50を用いることで、サンプルS(観察対象Sa)上において空間的にΔyだけ離れた、それぞれ異なる励起波長で励起された色素スペクトル(蛍光スペクトル)をY軸方向に連続的に記録することができる。この場合、例えば図8に示すように撮影領域RsがX軸方向に複数に分割され、Y軸方向にサンプルSをスキャンし、その後、X軸方向に移動し、さらにY軸方向へのスキャンを行うといった動作が繰り返される。1回のスキャンで数種の励起波長によって励起されたサンプル由来の分光スペクトルイメージを撮影することができる。
走査機構50は、典型的には、ステージ20がY軸方向に走査されるが、光学系の途中に配置されたガルバノミラーによって複数のライン照明Ex1,Ex2がY軸方向に走査されてもよい。最終的に、図9に示すような(X、Y、λ)の3次元データが複数のライン照明Ex1、Ex2についてそれぞれ取得される。各ライン照明Ex1,Ex2由来の3次元データはY軸についてΔyだけ座標がシフトしたデータになるので、あらかじめ記録されたΔy、または撮像素子32の出力から計算されるΔyの値に基づいて、補正され出力される。
ここまでの例では励起光としてのライン照明は2本で構成されたが、これに限定されず、3本、4本あるいは5本以上であってもよい。またそれぞれのライン照明は、色分離性能がなるべく劣化しないように選択された複数の励起波長を含んでもよい。またライン照明が1本であっても、複数の励起波長から構成される励起光源で、かつそれぞれの励起波長と、撮像素子で所得されるRowデータとを紐づけて記録すれば、異軸平行ほどの分離能は得られないが、多色スペクトルを得ることができる。例えば図10に示すような構成がとられてもよい。
[観測ユニット]
続いて、図2を参照して観測ユニット1の詳細について説明する。ここでは、図10における構成例2で観測ユニット1が構成される例について説明する。
励起部10は、複数(本例では4つ)の励起光源L1,L2,L3,L4を有する。各励起光源L1〜L4は、波長がそれぞれ405nm、488nm、561nm及び645nmのレーザ光を出力するレーザ光源で構成される。
励起部10は、各励起光源L1〜L4に対応するように複数のコリメータレンズ11及びレーザラインフィルタ12と、ダイクロイックミラー13a,13b,13cと、ホモジナイザ14と、コンデンサレンズ15と、入射スリット16とをさらに有する。
励起光源L1から出射されるレーザ光と励起光源L3から出射されるレーザ光は、それぞれコリメータレンズ11によって平行光になった後、各々の波長帯域の裾野をカットするためのレーザラインフィルタ12を透過し、ダイクロイックミラー13aによって同軸にされる。同軸化された2つのレーザ光は、さらに、ライン照明Ex1となるべくフライアイレンズなどのホモジナイザ14とコンデンサレンズ15によってビーム成形される。
励起光源L2から出射されるレーザ光と励起光源L4から出射されるレーザ光も同様にダイクロイックミラー13b,13cによって同軸化され、ライン照明Ex1とは異軸のライン照明Ex2となるようにライン照明化される。ライン照明Ex1,Ex2は、各々が通過可能な複数のスリット部を有する入射スリット16(スリット共役)においてΔyだけ離れた異軸ライン照明(1次像)を形成する。
この1次像は、観察光学系40を介してステージ20上のサンプルSに照射される。観察光学系40は、コンデンサレンズ41と、ダイクロイックミラー42,43と、対物レンズ44と、バンドパスフィルタ45と、コンデンサレンズ46とを有する。ライン照明Ex1,Ex2は、対物レンズ44と対になったコンデンサレンズ41で平行光にされ、ダイクロイックミラー42,43を反射して対物レンズ44を透過し、サンプルSに照射される。
サンプルS面においては図4のような照明が形成される。これらの照明によって励起された蛍光は、対物レンズ44によって集光され、ダイクロイックミラー43を反射し、ダイクロイックミラー42及び励起光をカットするバンドパスフィルタ45を透過し、コンデンサレンズ46で再び集光されて、分光イメージング部30へ入射する。
分光イメージング部30は、観測スリット31と、撮像素子32(32a,32b)と、第1プリズム33と、ミラー34と、回折格子35(波長分散素子)と、第2プリズム36とを有する。
観測スリット31は、コンデンサレンズ46の集光点に配置され、励起ライン数と同じ数のスリット部を有する。観測スリット31を通過した2つの励起ライン由来の蛍光スペクトルは、第1プリズム33で分離され、それぞれミラー34を介して回折格子35の格子面で反射することにより、励起波長各々の蛍光スペクトルにさらに分離される。このようにして分離された4つの蛍光スペクトルは、ミラー34及び第2プリズム36を介して撮像素子32a,32bに入射し、分光データとして(x、λ)情報に展開される。
撮像素子32a,32bの画素サイズ(nm/Pixel)は特に限定されず、例えば、2nm以上20nm以下に設定される。この分散値は、回折格子35のピッチや光学的に実現しても良いし、撮像素子32a,32bのハードウェアビニングをつかって実現しても良い。
ステージ20及び走査機構50は、X−Yステージを構成し、サンプルSの蛍光画像を取得するため、サンプルSをX軸方向及びY軸方向へ移動させる。WSI(Whole slide imaging)では、Y軸方向にサンプルSをスキャンし、その後、X軸方向に移動し、さらにY軸方向へのスキャンを行うといった動作が繰り返される(図8参照)。
非蛍光観察部70は、光源71、ダイクロイックミラー43、対物レンズ44、コンデンサレンズ72、撮像素子73などにより構成される。非蛍光観察系においては、図2では、暗視野照明による観察系を示している。
光源71は、ステージ20の下方に配置され、ステージ20上のサンプルSに対して、ライン照明Ex1,Ex2とは反対側から照明光を照射する。暗視野照明の場合、光源71は、対物レンズ44のNA(開口数)の外側から照明し、サンプルSで回折した光(暗視野像)を対物レンズ44、ダイクロイックミラー43及びコンデンサレンズ72を介して撮像素子73で撮影する。暗視野照明を用いることで、蛍光染色サンプルのような一見透明なサンプルであってもコントラストを付けて観察することができる。
なお、この暗視野像を蛍光と同時に観察して、リアルタイムのフォーカスに使ってもよい。この場合、照明波長は、蛍光観察に影響のない波長を選択すればよい。非蛍光観察部70は、暗視野画像を取得する観察系に限られず、明視野画像、位相差画像、位相像、インラインホログラム(In-line hologram)画像などの非蛍光画像を取得可能な観察系で構成されてもよい。例えば、非蛍光画像の取得方法として、シュリーレン法、位相差コントラスト法、偏光観察法、落射照明法などの種々の観察法が採用可能である。照明用光源の位置もステージの下方に限られず、ステージの上方や対物レンズの周りにあってもよい。また、リアルタイムでフォーカス制御を行う方式だけでなく、あらかじめフォーカス座標(Z座標)を記録しておくプレフォーカスマップ方式等の他の方式が採用されてもよい。
図11は、分光イメージング部の他の構成例を示す概略図である。同図に示す分光イメージング部130は、単一の撮像素子32を有する。励起ライン数と一致したスリット部を有する観測スリット31を抜けたそれぞれの蛍光は、リレー光学系(第1プリズム33、ミラー34,37)とその途中に配置された波長分散素子(プリズムなど)38を介して撮像素子32上へ再結像し、(x、λ)データへと展開される(図5参照)。このとき励起光間隔Δyをpixelに換算した値は、分散したスペクトルが、撮像素子32上で重ならないように決定される。
[処理ユニット]
撮像素子32(32a,32b)で取得された蛍光スペクトルは、処理ユニット2に出力される。処理ユニット2は、記憶部21と、記憶部21に記憶された分光データを校正するデータ校正部22と、当該分光データと複数のライン照明Ex1,Ex2の間隔Δyとに基づいて、サンプルSの蛍光画像を形成する画像形成部23をさらに有する。
図12は、処理ユニット2において実行される処理の手順の一例を示すフローチャートである。
記憶部21は、分光イメージング部30で取得した分光データ(蛍光スペクトルFs1,Fs2(図5,7参照))を記憶する。(ステップ101)。記憶部21には、サンプルSに関する自家蛍光や色素単体の標準スペクトルがあらかじめ格納されている。
記憶部21は、撮像素子32の波長方向の画素アレイから注目波長領域のみを抽出することによって、記録フレームレートを向上させる。注目波長領域とは、例えば、可視光の範囲(380nm〜780nm)、あるいは、サンプルを染色した色素の発光波長によって決まる波長範囲に相当する。
注目波長領域以外の波長領域としては、例えば、不要な波長の光があるセンサ領域や明らかに信号のないセンサ領域、光路途中にあるダイクロイックミラー42やバンドパスフィルタ45でカットされるべき励起波長の領域などが挙げられる。さらに、そのセンサ上の注目波長領域は、ライン照明の状況によって切り替えられてもよい。例えば、ライン照明に使われる励起波長が少ないときは、センサ上の波長領域も制限され、制限した分、フレームレートを高速化させることができる。
データ校正部22は、記憶部21に記憶された分光データを、ピクセルデータ(x、λ)から波長に換算し、全てのスペクトルデータが共通の離散値を持った波長単位([nm]、[μm]など)に補完されて出力されるよう校正する(ステップ102)。
ピクセルデータ(x、λ)は、撮像素子32のピクセル列に綺麗に整列すると限られず、僅かな傾きや光学系のディストーションによって歪められている場合がある。したがって、例えば波長既知の光源を用いてピクセルから波長単位に変換すると、すべてのx座標において異なる波長(nm値)に換算されてしまう。この状態ではデータの扱いが煩雑であるため、データは補完法(例えば、線形補完やスプライン補完)によって整数に整列されたデータに変換される(ステップ102)。
さらに、ライン照明の長軸方向(X軸方向)の感度ムラが発生する場合がある。感度ムラは照明のムラや、スリット幅のバラつきによって発生し、撮影画像の輝度ムラに繋がる。そこで、データ校正部22は、このムラを解消するため、任意の光源とその代表スペクトル(平均スペクトルや光源の分光放射輝度)を用いて、均一化して出力する(ステップ103)。均一化することによって機差がなくなり、スペクトルの波形解析において、個々の成分スペクトルを毎回測定する手間を削減することができる。さらに、感度校正された輝度値から蛍光色素数の概算定量値も出力することができる。
校正されたスペクトルに分光放射輝度[W/(sr・m・nm)]を採用すれば、各波長に相当する撮像素子32の感度も補正される。このように、基準となるスペクトルに校正することによって、色分離計算に用いる基準スペクトルを機器毎に測定する必要がなくなる。同じロットで安定的な色素であれば、1度撮影すれば流用が可能になる。さらに、色素1分子あたりの蛍光スペクトル強度が予め与えられていれば、感度校正された輝度値から換算した蛍光色素分子数の概算値を出力できる。この値は自家蛍光成分も分離されており、定量性が高い。
以上の処理は、Y軸方向に走査されるサンプルSにおけるライン照明Ex1,Ex2による照明範囲について同様に実行される。これにより、サンプルSの全範囲について各蛍光スペクトルの分光データ(x、y、λ)が得られる。得られた分光データ(x、y、λ)は、記憶部21に保存される。
画像形成部23は、記憶部21に記憶された分光データ(あるいはデータ校正部22によって校正された分光データ)と、励起ラインEx1,Ex2の軸間距離(Δy)に相当する間隔とに基づいて、サンプルSの蛍光画像を形成する(ステップ104)。本実施形態において画像形成部23は、蛍光画像として、複数のライン照明Ex1,Ex2の間隔(Δy)に相当する値で撮像素子32の検出座標が補正された画像を形成する。
各ライン照明Ex1,Ex2由来の3次元データは、Y軸についてΔyだけ座標がシフトしたデータになるので、あらかじめ記録されたΔy、または撮像素子32の出力から計算されるΔyの値に基づいて補正され、出力される。ここでは、各ライン照明Ex1、Ex2由来の3次元データが同一座標上のデータとなるように、撮像素子32での検出座標の相違が補正される。
画像形成部23は、撮影した画像を繋げて1つの大きな画像(WSI)にするための処理(スティッチング)を実行する(ステップ105)。これにより、多重化されたサンプルS(観察対象Sa)に関する病理画像を取得することができる。形成された蛍光画像は、表示部3に出力される(ステップ106)
さらに画像形成部23は、記憶部21にあらかじめ記憶されたサンプルSの自家蛍光及び色素単体の各標準スペクトルを基に、撮影された分光データ(測定スペクトル)からサンプルSの自家蛍光及び色素の成分分布を分離計算する。演算方法としては、最小二乗法、重み付け最小二乗法などが採用可能であり、撮影された分光データが上記標準スペクトルの線形和になるような係数を計算する。算出された係数の分布は、記憶部21に記憶されるとともに、表示部3へ出力されて画像として表示される(ステップ107,108)。
[まとめ]
以上のように本実施形態によれば、観察対象の色素数が増えても撮影時間が増加しない多重蛍光スキャナを提供することができる。
つまり、多重蛍光スキャナで取り込まれるデータは(x、y、λ)の3次元データになる。したがって、面撮影の場合、一度にすべてのデータ(x、y、λ)を取得することができないため、λを時系列的に切り替えて撮影する必要がある。さらに、面光源(x、y)を照射して励起する場合、物理的な制約から時系列的に励起波長を切り替える方法が必須になる。これらの課題を解決するため、本実施形態では異軸平行に配置された波長の異なる複数のライン照明で蛍光を励起する。ライン状に励起された蛍光スペクトルは、それぞれ、(x、λ)に分光され、2次元のセンサ(撮像素子)によって1度に撮影する。この構成によって、時間ではなく、空間的に励起波長を分離することが出来るので、観察対象の色素数が増えても撮影時間が増加することがない。
この方法は2次元データを取得するのに1次元のスキャン(Y方向)を要するため、一見、面励起にくらべて撮影時間が遅くなるように見える。しかし、蛍光の特性上、色素のエネルギー吸収が飽和するまでは、励起パワー密度に対してリニアに蛍光強度が増加するため、仮に、面励起と同じ光源出射パワーを使えるとすると、ライン照射の場合は、面積が小さい分高いパワー密度が得られるので、蛍光を明るく励起することが出来る。その結果、露光時間が短くなるので、原理上の最速条件で(x、y、λ)を撮影することが出来る。(励起した蛍光を捨てることがないため、エネルギー効率が高く、高速なデータ取得を行うことができる。)さらに本手法は定速でスキャンすることが出来るのでStop&Goを繰り返す必要がある面励起方式よりも大面積撮影に優れているという利点がある。
さらに本実施形態によれば、時間分割方式の面励起分光イメージング機器と比較して、エネルギー効率のよい蛍光色素の高速撮影が可能になる。また、色分離計算に用いる基準スペクトルを機器毎に測定する必要がなくなるため、同じロットで安定的な色素であれば、1度撮影すれば次回の測定にそれを流用することができる。さらに、色素分子を定量的に測定することにより、組織、細胞表面の抗原数を定量的に評価することができる。
[表示部]
続いて、表示部3について説明する。
図13は、表示部3の画面を説明する図である。表示部3は、処理ユニット2に一体的に取り付けられたモニタで構成されてもよいし、処理ユニット2に接続された表示装置であってもよい。表示部3は、液晶デバイスあるいは有機ELデバイス等の表示素子と、タッチセンサとを備え、撮影条件の入力設定や撮影画像等を表示するUI(User Interface)として構成される。
表示部3は、図13に示すように、主画面301と、サムネイル画像の表示画面302と、スライド情報の表示画面303と、撮影済みスライドリストの表示画面304とを有する。主画面301には、撮影用の操作ボタン(キー)類の表示領域305、励起レーザ(励起部10)の設定領域306、ライン照明Ex1,Ex2由来の蛍光スペクトルの検出設定領域307,308等を有する。これらの表示領域305〜308は常に少なくとも1つあればよく、また、1つの表示領域に他の表示領域が含まれていてもよい。
蛍光観察装置100は、図示しないスライドラックからのスライド(サンプルS)の取り出し、スライド情報の読み取り、スライドのサムネイル撮影、露光時間の設定などを順に行う。スライド情報には患者情報、組織部位、疾患、染色情報等が含まれており、スライドに付されたバーコードやQRコード(登録商標)などから読み取られる。サンプルSのサムネイル画像及びスライド情報は、表示画面302,303にそれぞれ表示される。表示画面304には、撮影済みのスライド情報がリストとして表示される。
主画面301には、サンプルSの蛍光画像のほか、現在撮影中のスライドの撮影状況が表示される。励起レーザ(ライン照明Ex1,Ex2)は、設定領域306において表示あるいは設定され、励起レーザに由来する蛍光スペクトルは、検出設定領域307,308において表示あるいは設定される。
図14は、励起レーザの設定領域306の画面構成の一例を示す図である。ここには、各励起光源L1〜L4の出力のON/OFFがチェックボックス81へのタッチ操作により選択、切り替えられる。また、各光源の出力の大きさは操作部82を介して設定される。この例では、ライン照明Ex1が励起光源L1の単一波長に設定された例を示している。
図15は、ライン照明Ex1由来の蛍光スペクトルの検出設定領域307の画面構成の一例を示す図である。図16は、ライン照明Ex2由来の蛍光スペクトルの検出設定領域308の画面構成の一例を示す図である。縦軸は輝度、横軸は波長を示している。
図15及び図16において、指標83は、励起光源(L1,L2,L4)が点灯していることを表しており、指標83の長さが大きいほど光源のパワーが大きいことを示している。蛍光スペクトル85の検出波長範囲は設定バー84によって設定される。
蛍光スペクトル85の表示方法は特に限定されず、例えば、撮像素子32の全画素平均スペクトル(波長×強度)で表示される。蛍光スペクトル85は、励起光源の波長やパワーに応じて設定可能である。蛍光スペクトル85は、現在の平均、または最後に撮影した波形から設定変更分を加味して計算される波形で表示される。
また、蛍光スペクトル85は、図15及び図16に示すように、値の頻度情報を濃淡で表現するヒートマップ方式で表示されてもよい。この場合、平均値ではわからなかった信号の分散も可視化することができる。
なお、蛍光スペクトル85を表示するグラフの縦軸は、線形軸に限られず、対数軸やハイブリッド軸(バイエクスポーネンシャル軸)であってもよい。
表示部3は、励起ライン(Ex1,Ex2)ごとに蛍光スペクトルを分けて表示することが可能に構成される。また、表示部3は、それぞれの励起ラインに照射される光源波長とパワーを明示的に表示する操作領域を有するUIを備えている。さらに、表示部3は、それぞれの蛍光スペクトルに対して、検出波長範囲を表示するUIを備えている。つまり、その設定波長範囲に基づいて、撮像素子32の読み出し領域が変化するように構成される。
これにより、異軸励起方式の蛍光観察装置において、撮影条件をユーザへ分かりやすく提示することができる。特に、表示部3に蛍光スペクトルの検出設定領域307,308を設けることで、異軸励起の場合においても、励起ラインと励起波長の関係、励起波長と撮影波長範囲の関係を分かりやすく表示することができる。
表示部3は、画像形成部23から出力されたサンプルSの蛍光画像を主画面301に表示する。画像形成部23から表示部3へ出力される蛍光画像は、異軸スリット(観測スリット31の各スリット部)間の検出座標の違いに相当する値(ライン照明Ex1,Ex2の間隔Δy)を補正された状態でユーザへ提示される。このため、ユーザは、異軸検出位置の違いを意識することなく、それぞれの分解画像データが多重表示された画像を認識することができる。
例えば図17に示すように、複数のライン照明Ex1,Ex2由来のスペクトルデータから複数の分解画像(色素1に関する画像、色素2に関する画像)を生成し、それぞれの画像を異なる色で重ね合わせた状態で主画面301に表示される。ここでは、色素1に関する画像が、Δyに相当するY座標の相違が補正されることで、色素2に関する画像と重ね合わされる。
各分解画像は、分離計算に用いた標準スペクトル、すなわち染色色素に対応している。主画面301には、各分解画像が重なり合った色素画像のほか、表示色素の選択画面が表示されてもよい。この場合、色素選択と連動して画像表示が切り替わり、図17に示すように色素1,2を選択したときにそれらの画像に相当するものだけが表示される。
上記Δyの補正値は、記憶部21に格納され、内部情報として管理される。表示部3は、Δyに関する情報を表示可能に構成されてもよいし、表示されたΔyを変更可能に構成されてもよい。補正値(Δy)は、スリット間の距離(あるいはライン照明の間隔)の補正だけでなく、光学系におけるディストーションのような歪量等を含んでもよい。また、各色素のスペクトルを異なるカメラ(撮像素子)で検出する場合には、各カメラにおけるY軸方向の検出座標に関する補正量を含んでいてもよい。
<変形例>
以上の実施形態では、処理ユニット2において、Δy画像合わせ処理(図12におけるS104)とスティッチング処理(同S105)とがそれぞれ色分離計算処理(同S107)の前に実行されたが、これに限られない。この手順によれば、色分離画像だけでなく、スペクトルデータ(分光データ)のスティッチデータが得られるという利点がある一方で、記憶部21に格納されるデータ量が巨大になる。このため、Δy画像合わせ処理及びスティッチング処理の少なくとも一方は、図18及び図19に示すように、色分離計算処理後に実行されてもよい。
図18は、スティッチング処理(S105)が色分離計算処理(S107)の後に実行される処理手順例を示す。この例では、データの大きいスペクトルデータでのスティッチングを行わず、色分離計算した画像のみスティッチングが行なわれる。この場合、Δy画像合わせ処理(S104)は、色分離計算前のスペクトルデータの時点で行われる。本例によれば、複数の励起ラインのスペクトルデータを連結したデータで色分離することで、分離画像のSN比の改善を図ることができる。
一方、図19は、Δy画像合わせ処理(S104)及びスティッチング処理(S105)が色分離計算処理(S107)の後に実行される処理手順例を示す。この例では、スペクトルデータに対してはスティッチングを行わないため分離画像のSN比の改善は望めないが、データ量の小さい分離画像に対してΔy画像合わせ処理を行うため、サブピクセルを考慮するなどより高度な位置合わせ補正が可能となる。
続いて、上述した蛍光観察装置100の構成の変形例について説明する。
図20は、変形例1に係る蛍光観察装置101の概略ブロック図、図21は、変形例2に係る蛍光観察装置102の概略ブロック図である。蛍光観察装置101,102は、観察ユニット1と、処理ユニット2と、表示部3と、制御用プログラム81とを有する。
制御用プログラム81は、前述した蛍光観察装置100の制御部80が行う制御機能と同様の機能を、蛍光観察装置101,102に実行させるプログラムである。図20に示す蛍光観察装置101において、制御用プログラム81は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等の記録媒体に格納された状態で提供され、これを蛍光観察装置101に接続された電子計算機C等にダウンロードして用いられる。
一方、図21に示す蛍光観察装置102においては、インターネット等のネットワークを介して、外部から配信された制御用プログラム81を、電子計算機C等にダウンロードして用いられる。この場合、蛍光観察装置102と、制御用プログラム81を取得するためのコードと、がパッケージされた状態で提供される。
制御用プログラム81がダウンロードされた電子計算機Cは、励起部10、分光イメージング部30、走査機構50、フォーカス機構60、非蛍光観察部70などを制御する各種のデータを取得し、ダウンロードされた制御用プログラム81の制御アルゴリズムが実行され、蛍光観察装置101,102の制御条件が算出される。電子計算機Cが、算出された条件に基づいて、蛍光観察装置101,102へ指令を出すことにより、蛍光観察装置101,102の条件が自動制御される。
なお、本技術は以下のような構成もとることができる。
(1) 蛍光染色された病理標本を支持可能なステージと、
それぞれ異なる波長で構成された異軸かつ一軸方向に平行な複数のライン照明を、前記ステージ上の前記病理標本に照射する励起部と、
前記複数のライン照明によって励起された蛍光を個々に受光可能な少なくとも1つの撮像素子を有する分光イメージング部と
を具備する蛍光観察装置。
(2)上記(1)に記載の蛍光観察装置であって、
前記励起部は、前記複数のライン照明として、それぞれ異なる波長の組み合わせで構成された複数のライン照明を前記病理標本に照射する
蛍光観察装置。
(3)上記(2)に記載の蛍光観察装置であって、
前記分光イメージング部は、前記複数のライン照明によって励起された蛍光を分光する波長分散素子をさらに有する
蛍光観察装置。
(4)上記(1)〜(3)のいずれか1つに記載の蛍光観察装置であって、
前記分光イメージング部は、前記複数のライン照明によって励起された蛍光がそれぞれ通過可能な複数のスリット部を有する観測スリットをさらに有する
蛍光観察装置。
(5)上記(1)〜(5)のいずれか1つに記載の蛍光観察装置であって、
前記ステージに対して前記複数のライン照明を前記一軸方向に垂直な方向に走査する走査機構をさらに具備する
蛍光観察装置。
(6)上記(1)〜(5)のいずれか1つに記載の蛍光観察装置であって、
前記複数のライン照明の波長と前記撮像素子で受光された蛍光との相関を表す分光データを記憶する記憶部を有する処理ユニットをさらに具備する
蛍光観察装置。
(7)上記(6)に記載の蛍光観察装置であって、
前記処理ユニットは、前記記憶部に記憶された分光データと、前記複数のライン照明の間隔とに基づいて、前記病理標本の蛍光画像を形成する画像形成部をさらに有する
蛍光観察装置。
(8)上記(7)に記載の蛍光観察装置であって、
前記画像形成部は、前記蛍光画像として、前記複数のライン照明の間隔に相当する値で前記撮像素子の検出座標が補正された画像を形成する
蛍光観察装置。
(9)上記(6)に記載の蛍光観察装置であって、
前記処理ユニットは、前記記憶部に記憶された分光データを校正するデータ校正部をさらに有する
蛍光観察装置。
(10)上記(7)〜(9)のいずれか1つに記載の蛍光観察装置であって、
前記記憶部は、前記病理標本に関する自家蛍光の標準スペクトル及び前記病理標本を染色する色素単体の標準スペクトルをあらかじめ記憶し、
前記画像形成部は、前記自家蛍光及び前記色素単体の標準スペクトルを基に、前記分光データの成分分布を出力する
蛍光観察装置。
(11)上記(4)に記載の蛍光観察装置であって、
前記撮像素子は、前記観測スリットを通過した蛍光をそれぞれ受光可能な複数の撮像素子を含む
蛍光観察装置。
(12)上記(1)〜(11)のいずれか1つに記載の蛍光観察装置であって、
前記ステージ上の前記病理標本を照明する光源と、前記病理標本の非蛍光画像を取得する撮像部とを有する非蛍光観察部をさらに具備する
蛍光観察装置。
(13)上記(1)〜(12)のいずれか1つに記載の蛍光観察装置であって、
複数のライン照明ごとに、前記複数のライン照明によって励起された蛍光スペクトルを分けて表示する表示部をさらに具備する
蛍光観察装置。
(14)上記(13)に記載の蛍光観察装置であって、
前記表示部は、前記複数のライン照明の波長と出力とを設定可能な操作領域を有する
蛍光観察装置。
(15)上記(13)又は(14)に記載の蛍光観察装置であって、
前記表示部は、前記蛍光スペクトルの検出波長範囲を表示する表示領域を有する
蛍光観察装置。
(16) それぞれ異なる波長で構成された異軸かつ一軸方向に平行な複数のライン照明を、ステージ上の病理標本に照射し、
前記複数のライン照明によって励起された蛍光を個々に受光する
蛍光観察方法。
(17)上記(16)に記載の蛍光観察方法であって、さらに、
前記ステージに対して前記複数のライン照明を前記一軸方向に垂直な方向に走査する
蛍光観察方法。
(18)上記(16)又は(17)に記載の蛍光観察方法であって、
前記複数のライン照明として、それぞれ異なる波長の組み合わせで構成された複数のライン照明を用いる
蛍光観察方法。
1…観察ユニット
2…処理ユニット
3…表示部
10…励起部
20…ステージ
21…記憶部
22…データ校正部
23…画像形成部
30,130…分光イメージング部
31…観測スリット
32,32a,32b…撮像素子
35…回折格子
38…プリズム
50…走査機構
70…非蛍光観察部
80…制御部
81…制御用プログラム
100,101,102…蛍光観察装置
Ex1,Ex2…ライン照明
S…サンプル

Claims (18)

  1. 蛍光染色された病理標本を支持可能なステージと、
    それぞれ異なる波長で構成された異軸かつ一軸方向に平行な複数のライン照明を、前記ステージ上の前記病理標本に照射する励起部と、
    前記複数のライン照明によって励起された蛍光を個々に受光可能な少なくとも1つの撮像素子を有する分光イメージング部と
    を具備する蛍光観察装置。
  2. 請求項1に記載の蛍光観察装置であって、
    前記励起部は、前記複数のライン照明として、それぞれ異なる波長の組み合わせで構成された複数のライン照明を前記病理標本に照射するように構成される
    蛍光観察装置。
  3. 請求項2に記載の蛍光観察装置であって、
    前記分光イメージング部は、前記複数のライン照明によって励起された蛍光を分光する波長分散素子をさらに有する
    蛍光観察装置。
  4. 請求項1に記載の蛍光観察装置であって、
    前記分光イメージング部は、前記複数のライン照明によって励起された蛍光がそれぞれ通過可能な複数のスリット部を有する観測スリットをさらに有する
    蛍光観察装置。
  5. 請求項1に記載の蛍光観察装置であって、
    前記ステージに対して前記複数のライン照明を前記一軸方向に垂直な方向に走査する走査機構をさらに具備する
    蛍光観察装置。
  6. 請求項1に記載の蛍光観察装置であって、
    前記複数のライン照明の波長と前記撮像素子で受光された蛍光との相関を表す分光データを記憶する記憶部を有する処理ユニットをさらに具備する
    蛍光観察装置。
  7. 請求項6に記載の蛍光観察装置であって、
    前記処理ユニットは、前記記憶部に記憶された分光データと、前記複数のライン照明の間隔とに基づいて、前記病理標本の蛍光画像を形成する画像形成部をさらに有する
    蛍光観察装置。
  8. 請求項7に記載の蛍光観察装置であって、
    前記画像形成部は、前記蛍光画像として、前記複数のライン照明の間隔に相当する値で前記撮像素子の検出座標が補正された画像を形成する
    蛍光観察装置。
  9. 請求項6に記載の蛍光観察装置であって、
    前記処理ユニットは、前記記憶部に記憶された分光データを校正するデータ校正部をさらに有する
    蛍光観察装置。
  10. 請求項7に記載の蛍光観察装置であって、
    前記記憶部は、前記病理標本に関する自家蛍光の標準スペクトル及び前記病理標本を染色する色素単体の標準スペクトルをあらかじめ記憶し、
    前記画像形成部は、前記自家蛍光及び前記色素単体の標準スペクトルを基に、前記分光データの成分分布を出力する
    蛍光観察装置。
  11. 請求項4に記載の蛍光観察装置であって、
    前記撮像素子は、前記観測スリットを通過した蛍光をそれぞれ受光可能な複数の撮像素子を含む
    蛍光観察装置。
  12. 請求項1に記載の蛍光観察装置であって、
    前記ステージ上の前記病理標本を照明する光源と、前記病理標本の非蛍光画像を取得する撮像部とを有する非蛍光観察部をさらに具備する
    蛍光観察装置。
  13. 請求項1に記載の蛍光観察装置であって、
    複数のライン照明ごとに、前記複数のライン照明によって励起された蛍光スペクトルを分けて表示する表示部をさらに具備する
    蛍光観察装置。
  14. 請求項13に記載の蛍光観察装置であって、
    前記表示部は、前記複数のライン照明の波長と出力とを設定可能な操作領域を有する
    蛍光観察装置。
  15. 請求項13に記載の蛍光観察装置であって、
    前記表示部は、前記蛍光スペクトルの検出波長範囲を表示する表示領域を有する
    蛍光観察装置。
  16. それぞれ異なる波長で構成された異軸かつ一軸方向に平行な複数のライン照明を、ステージ上の病理標本に照射し、
    前記複数のライン照明によって励起された蛍光を個々に受光する
    蛍光観察方法。
  17. 請求項16に記載の蛍光観察方法であって、さらに、
    前記ステージに対して前記複数のライン照明を前記一軸方向に垂直な方向に走査する
    蛍光観察方法。
  18. 請求項16に記載の蛍光観察方法であって、
    前記複数のライン照明として、それぞれ異なる波長の組み合わせで構成された複数のライン照明を用いる
    蛍光観察方法。
JP2020522587A 2018-05-30 2019-05-30 蛍光観察装置及び蛍光観察方法 Active JP7424286B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024006267A JP2024038437A (ja) 2018-05-30 2024-01-18 蛍光観察装置及び蛍光観察方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018103507 2018-05-30
JP2018103507 2018-05-30
PCT/JP2019/021509 WO2019230878A1 (ja) 2018-05-30 2019-05-30 蛍光観察装置及び蛍光観察方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024006267A Division JP2024038437A (ja) 2018-05-30 2024-01-18 蛍光観察装置及び蛍光観察方法

Publications (2)

Publication Number Publication Date
JPWO2019230878A1 true JPWO2019230878A1 (ja) 2021-07-26
JP7424286B2 JP7424286B2 (ja) 2024-01-30

Family

ID=68698787

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020522587A Active JP7424286B2 (ja) 2018-05-30 2019-05-30 蛍光観察装置及び蛍光観察方法
JP2024006267A Pending JP2024038437A (ja) 2018-05-30 2024-01-18 蛍光観察装置及び蛍光観察方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024006267A Pending JP2024038437A (ja) 2018-05-30 2024-01-18 蛍光観察装置及び蛍光観察方法

Country Status (5)

Country Link
US (2) US11662316B2 (ja)
EP (1) EP3805739A4 (ja)
JP (2) JP7424286B2 (ja)
CN (1) CN112166314A (ja)
WO (1) WO2019230878A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112166314A (zh) 2018-05-30 2021-01-01 索尼公司 荧光观察设备和荧光观察方法
JPWO2021167044A1 (ja) * 2020-02-20 2021-08-26
CN113391437A (zh) * 2020-03-12 2021-09-14 平湖莱顿光学仪器制造有限公司 一种荧光显微镜成像系统及其荧光成像方法
JP2021143988A (ja) * 2020-03-13 2021-09-24 ソニーグループ株式会社 粒子解析システムおよび粒子解析方法
WO2021193325A1 (ja) * 2020-03-27 2021-09-30 ソニーグループ株式会社 顕微鏡システム、撮像方法、および撮像装置
US11320380B2 (en) * 2020-04-21 2022-05-03 Sartorius Bioanalytical Instruments, Inc. Optical module with three or more color fluorescent light sources and methods for use thereof
US20230243839A1 (en) * 2020-06-30 2023-08-03 Sony Group Corporation Information processing device, information processing method, program, microscope system, and analysis system
WO2022080189A1 (ja) * 2020-10-15 2022-04-21 ソニーグループ株式会社 生体試料検出システム、顕微鏡システム、蛍光顕微鏡システム、生体試料検出方法及びプログラム
WO2022138374A1 (ja) * 2020-12-24 2022-06-30 ソニーグループ株式会社 データ生成方法、蛍光観察システムおよび情報処理装置
CN113109307A (zh) * 2021-04-01 2021-07-13 南京超维景生物科技有限公司 位移控制方法及装置、电子设备及多光子荧光成像设备
CN117396749A (zh) * 2021-05-27 2024-01-12 索尼集团公司 信息处理方法、信息处理装置及程序
WO2022264539A1 (ja) * 2021-06-17 2022-12-22 ソニーグループ株式会社 情報処理システム、情報処理方法及び蛍光体構造体
WO2022269961A1 (ja) * 2021-06-25 2022-12-29 ソニーグループ株式会社 顕微鏡システム、情報処理装置及び制御方法
EP4321917A1 (en) * 2021-07-26 2024-02-14 Hamamatsu Photonics K.K. Sample observation device and sample observation method
WO2023189393A1 (ja) * 2022-03-29 2023-10-05 ソニーグループ株式会社 生体試料観察システム、情報処理装置及び画像生成方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090185167A1 (en) * 2008-01-18 2009-07-23 Ffei Ltd. Image scanning apparatus and method
US20090310213A1 (en) * 2005-06-13 2009-12-17 Paul Hing Microscope
CN101793829A (zh) * 2010-02-04 2010-08-04 深圳大学 一种荧光显微成像方法及系统
US20130157261A1 (en) * 2011-06-01 2013-06-20 The Methodist Hospital Research Institute Compositions and Methods for Quantitative Histology, Calibration of Images in Fluorescence Microscopy, and ddTUNEL Analyses
US20130250088A1 (en) * 2012-03-22 2013-09-26 Molecular Devices, Llc Multi-color confocal microscope and imaging methods
US20140056505A1 (en) * 2012-08-21 2014-02-27 Cambridge Research & Instrumentation, Inc. Visualization and measurement of cell compartments
US20140233095A1 (en) * 2013-02-15 2014-08-21 Dicon Fiberoptics, Inc. Broad-spectrum illuminator for microscopy applications, using the emissions of luminescent materials
JP2018010018A (ja) * 2016-05-31 2018-01-18 シスメックス株式会社 蛍光画像分析装置および分析方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10033180B4 (de) 2000-06-29 2006-08-31 Carl Zeiss Jena Gmbh Verfahren zur Detektion von Farbstoffen in der Fluoreszenzmikroskopie
US7274446B2 (en) * 2001-04-07 2007-09-25 Carl Zeiss Jena Gmbh Method and arrangement for the deep resolved optical recording of a sample
DE10317669B4 (de) * 2003-04-17 2017-03-09 Leica Microsystems Cms Gmbh Verfahren zur Separierung von Detektionskanälen eines mikroskopischen Systems
CN100416333C (zh) * 2004-03-31 2008-09-03 奥林巴斯株式会社 观察装置
JP4673000B2 (ja) * 2004-05-21 2011-04-20 株式会社キーエンス 蛍光顕微鏡、蛍光顕微鏡装置を使用した表示方法、蛍光顕微鏡画像表示プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器
US8164622B2 (en) * 2005-07-01 2012-04-24 Aperio Technologies, Inc. System and method for single optical axis multi-detector microscope slide scanner
JP2012003198A (ja) 2010-06-21 2012-01-05 Olympus Corp 顕微鏡
US9103721B2 (en) * 2011-04-07 2015-08-11 Uwm Research Foundation, Inc. High speed microscope with spectral resolution
EP3252456B1 (en) 2016-05-31 2023-04-05 Sysmex Corporation Fluorescent image analyzer and corresponding analyzing method
US10838190B2 (en) * 2016-06-21 2020-11-17 Sri International Hyperspectral imaging methods and apparatuses
CN112166314A (zh) 2018-05-30 2021-01-01 索尼公司 荧光观察设备和荧光观察方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090310213A1 (en) * 2005-06-13 2009-12-17 Paul Hing Microscope
US20090185167A1 (en) * 2008-01-18 2009-07-23 Ffei Ltd. Image scanning apparatus and method
CN101793829A (zh) * 2010-02-04 2010-08-04 深圳大学 一种荧光显微成像方法及系统
US20130157261A1 (en) * 2011-06-01 2013-06-20 The Methodist Hospital Research Institute Compositions and Methods for Quantitative Histology, Calibration of Images in Fluorescence Microscopy, and ddTUNEL Analyses
US20130250088A1 (en) * 2012-03-22 2013-09-26 Molecular Devices, Llc Multi-color confocal microscope and imaging methods
US20140056505A1 (en) * 2012-08-21 2014-02-27 Cambridge Research & Instrumentation, Inc. Visualization and measurement of cell compartments
US20140233095A1 (en) * 2013-02-15 2014-08-21 Dicon Fiberoptics, Inc. Broad-spectrum illuminator for microscopy applications, using the emissions of luminescent materials
JP2018010018A (ja) * 2016-05-31 2018-01-18 シスメックス株式会社 蛍光画像分析装置および分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IM ET AL.: "Simple high-speed confocal line-scanning microscope", OPTICS EXPRESS, vol. 13, no. 13, JPN6019032849, 27 June 2005 (2005-06-27), pages 5151 - 5156, XP002445705, ISSN: 0005070613, DOI: 10.1364/OPEX.13.005151 *

Also Published As

Publication number Publication date
US20210199585A1 (en) 2021-07-01
WO2019230878A1 (ja) 2019-12-05
JP2024038437A (ja) 2024-03-19
EP3805739A1 (en) 2021-04-14
US20230266245A1 (en) 2023-08-24
JP7424286B2 (ja) 2024-01-30
EP3805739A4 (en) 2021-08-11
US11971355B2 (en) 2024-04-30
CN112166314A (zh) 2021-01-01
US11662316B2 (en) 2023-05-30

Similar Documents

Publication Publication Date Title
JP7424286B2 (ja) 蛍光観察装置及び蛍光観察方法
JP5806504B2 (ja) 撮像装置およびこれを備える顕微鏡システム
US11269171B2 (en) Spectrally-resolved scanning microscope
JP2009260411A (ja) 撮像装置
JP2010271246A (ja) 色彩輝度測定装置及び色彩輝度測定方法
US20120229815A1 (en) Laser scanning microscope and method for operation thereof
JP2010054391A (ja) 光学顕微鏡、及びカラー画像の表示方法
US11143855B2 (en) Scanning microscope using pulsed illumination and MSIA
JP7501364B2 (ja) 分光イメージング装置および蛍光観察装置
WO2021177446A1 (en) Signal acquisition apparatus, signal acquisition system, and signal acquisition method
CN115066641A (zh) 显微镜系统、成像方法和成像设备
JP2013003386A (ja) 撮像装置およびバーチャルスライド装置
JP3952499B2 (ja) 共焦点スキャナ顕微鏡
WO2022138374A1 (ja) データ生成方法、蛍光観察システムおよび情報処理装置
WO2021106772A1 (ja) 顕微鏡装置、分光器、および、顕微鏡システム
WO2022080189A1 (ja) 生体試料検出システム、顕微鏡システム、蛍光顕微鏡システム、生体試料検出方法及びプログラム
JP6617774B2 (ja) 顕微鏡装置
CN114460020A (zh) 一种基于数字微反射镜的高光谱扫描系统及方法
JP4185712B2 (ja) カラー顕微鏡
WO2022249598A1 (ja) 情報処理方法、情報処理装置、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220419

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240101

R151 Written notification of patent or utility model registration

Ref document number: 7424286

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151