JP6722883B2 - 画像取得装置および画像取得方法 - Google Patents

画像取得装置および画像取得方法 Download PDF

Info

Publication number
JP6722883B2
JP6722883B2 JP2016074204A JP2016074204A JP6722883B2 JP 6722883 B2 JP6722883 B2 JP 6722883B2 JP 2016074204 A JP2016074204 A JP 2016074204A JP 2016074204 A JP2016074204 A JP 2016074204A JP 6722883 B2 JP6722883 B2 JP 6722883B2
Authority
JP
Japan
Prior art keywords
image forming
image
irradiation
light
observation object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016074204A
Other languages
English (en)
Other versions
JP2017187532A (ja
Inventor
直也 松本
直也 松本
岡崎 茂俊
茂俊 岡崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu University School of Medicine NUC
Hamamatsu Photonics KK
Original Assignee
Hamamatsu University School of Medicine NUC
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu University School of Medicine NUC, Hamamatsu Photonics KK filed Critical Hamamatsu University School of Medicine NUC
Priority to JP2016074204A priority Critical patent/JP6722883B2/ja
Priority to CN201780020100.2A priority patent/CN109073873B/zh
Priority to US16/089,394 priority patent/US10890530B2/en
Priority to PCT/JP2017/009269 priority patent/WO2017169597A1/ja
Priority to DE112017001734.3T priority patent/DE112017001734T5/de
Publication of JP2017187532A publication Critical patent/JP2017187532A/ja
Application granted granted Critical
Publication of JP6722883B2 publication Critical patent/JP6722883B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/02Objectives
    • G02B21/025Objectives with variable magnification
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N2021/6463Optics
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/067Electro-optic, magneto-optic, acousto-optic elements
    • G01N2201/0675SLM
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing
    • G01N2201/121Correction signals

Description

本発明の一側面は、観察対象物の表面または内部における複数の照射領域に光を集光照射するとともに、これら複数の照射領域を走査し、これら複数の照射領域それぞれで発生する光を検出して、観察対象物の画像を作成する装置および方法に関するものである。
非特許文献1,2に記載された画像取得装置は、観察対象物の表面または内部における複数の照射領域に光を集光照射するとともに、これら複数の照射領域を走査し、これら複数の照射領域それぞれで発生する光(例えば、蛍光、高調波光、反射散乱光など)を検出して、観察対象物の画像を作成することができる。単一の照射光ビームにより単一の照射領域を走査する場合(以下「単点走査」という。)と比べて、N個の照射光ビームによりN個の照射領域を同時に走査する場合(以下「多点走査」または「N点走査」という。)には、各照射領域の走査範囲の大きさを1/Nにすることができるので、観察対象物の画像を作成するためのデータの収集に要する計測時間を1/Nに短縮することができる。ここで、Nは2以上の整数である。
観察対象物への光照射の方向をz方向とするxyz直交座標系を想定する。z方向の或る1点におけるxy平面の画像を取得する場合、例えば、単点走査に要する時間が0.24秒であれば、4点走査に要する時間は0.06秒でよい。また、z方向の1000点それぞれにおいてxy平面の画像を取得する場合(すなわち、3次元画像を取得する場合)、単点走査に要する時間は240秒であり、4点走査に要する時間は60秒となる。このように、単点走査と比べて多点走査では、短時間にデータ収集をして観察対象物の画像を作成することができる。
また、N点走査において、単点走査に要する時間と同じ時間を要してもかまわないのであれば、各照射領域で発生する光を受光する時間(露光時間)をN倍にすることができ、観察対象物への光照射量を低減することができる。このことは、観察対象物や蛍光分子に与えるダメージの軽減につながり、また、タイムラプスなどの繰り返しの測定を行う際に有効である。
多点走査の場合には、複数の照射領域それぞれで発生する光を個別に検出する検出部を用いる必要がある。すなわち、観察対象物の各照射領域で発生する光を検出部の受光面において対応する結像領域に結像して、各結像領域から個別に検出信号を取り出す。観察対象物の複数の照射領域が互いに別個のものであるのと同様に、検出部の受光面における複数の結像領域も互いに別個のものとして区切られる。
観察対象物の或る照射領域で発生した光は、検出部の受光面において該照射領域に対応する結像領域で受光されるべきであるが、観察対象物の内部における散乱や収差の影響に因り、他の結像領域で一部がノイズ光として受光される場合がある。このノイズ光は、生成される観察対象物の画像におけるバックグラウンドノイズとなったり、その画像において本来の像の位置と異なる位置にゴースト像を生じさせたりして、SN(Signal-to-noise)比を低下させる。観測対象物における照射領域が表面から深くなると、このような現象は顕著になる。
非特許文献1,2には、観察対象物の画像のSN比の改善を図る技術が記載されている。非特許文献1に記載されたSN比改善技術は、単一の蛍光発生領域が存在する観察対象物に対して単点走査を行なって検出部の受光面上における光の広がりを求め、多点走査により取得された観察対象物の画像と上記の光の広がりとのデコンボリューションを計算することで、観察対象物の画像のSN比を改善することを意図する。非特許文献2に記載されたSN比改善技術は、多点走査により取得された観察対象物の画像に基づいて最尤推定法による推定を行って、SN比が改善された観察対象物の画像を求めることを意図している。
K. H. Kim et al., "Multifocalmultiphoton microscopy based on multianode photomultiplier tubes,"optics express, vol.15, No.18, 11658-11678 (2007). J. W. Cha et al., "Reassignmentof Scattered Emission Photons in Multifocal Multiphoton Microscopy,"scientific report 4:5153 (2014).
非特許文献1に記載されたSN比改善技術は、検出部の受光面上における光の広がりを求めるために単点走査を行なう必要がある。検出部の受光面上における光の広がりの程度は、観察対象物における照射領域の深さ(z方向の位置)によって異なるので、z方向の各位置に照射領域を設定して求める必要がある。多点走査は計測時間の短縮を目的とするにも拘らず、多点走査の他に単点走査も行う必要があることがら、この目的に反して計測時間が長くなる。そもそも単点走査を行うのであれば多点走査をする必要がない。非特許文献2に記載されたSN比改善技術は、最尤推定法による推定を行う際に計算を繰り返して行う必要があり、その繰り返し計算に長時間を要する。
本発明の一側面は、上記問題点を解消する為になされたものであり、多点走査により生成される観察対象物の画像のSN比を容易に改善することができる画像取得装置および画像取得方法を提供することを目的とする。
本発明の一側面による画像取得装置は、(1) 光を出力する光源と、(2) 光源から出力される光を観察対象物の表面または内部における複数の照射領域に集光照射する照射光学系と、(3) 照射光学系による観察対象物への光照射の方向の光軸に交差する方向に複数の照射領域を走査する走査部と、(4) 照射光学系による観察対象物への光照射に伴って複数の照射領域それぞれで発生する光を導いて結像する結像光学系と、(5) 複数の照射領域が結像光学系により結像される受光面を有し、その受光面上に1次元状または2次元状に複数の画素が配列されており、複数の画素それぞれにおける受光量に応じた値の検出信号を出力する検出部と、(6) 検出部から出力される検出信号に基づいて観察対象物の画像を作成する画像作成部と、を備える。
さらに、上記構成において、(a) 検出部は、受光面上において、観察対象物における複数の照射領域に対して結像光学系による結像関係にある複数の結像領域を有し、複数の結像領域それぞれが1または2以上の画素に対応し、複数の結像領域の何れにも対応しない画素が各結像領域の隣に存在し、(b) 画像作成部は、複数の結像領域それぞれに対応する画素の検出信号を、各結像領域の隣にあって複数の結像領域の何れにも対応しない1または2以上の画素の検出信号に基づいて補正し、その補正後の検出信号に基づいて観察対象物の画像を作成する。
検出部は、受光面上において複数の結像領域の何れにも対応しない画素が各結像領域の両隣に存在し、画像作成部は、複数の結像領域それぞれに対応する画素の検出信号を、各結像領域の両隣にあって複数の結像領域の何れにも対応しない2つの画素の検出信号に基づいて補正し、その補正後の検出信号に基づいて観察対象物の画像を作成するのが好適である。
検出部は、受光面上において、複数の結像領域が2次元配列され、各結像領域の四方の隣に複数の結像領域の何れにも対応しない4つの画素が存在し、画像作成部は、複数の結像領域それぞれに対応する画素の検出信号を、各結像領域の四方の隣であって複数の結像領域の何れにも対応しない4つの画素の検出信号に基づいて補正し、その補正後の検出信号に基づいて観察対象物の画像を作成するのも好適である。
検出部は、受光面上において、複数の結像領域のうち隣り合う2つの結像領域の間に、複数の結像領域の何れにも対応しない2以上の画素が存在するのも好適である。
照射光学系は、光源から出力される光を空間的に変調する空間光変調器を含み、空間光変調器に変調パターンを呈示することにより当該変調後の光を複数の照射領域に集光照射するのが好適である。また、照射光学系は、光源から出力される光を回折させる回折光学素子を含み、回折光学素子による回折後の光を複数の照射領域に集光照射するのも好適である。
走査部は、照射光学系の光路上に設けられた光スキャナを含み、この光スキャナを駆動することにより複数の照射領域を走査するのが好適である。また、走査部は、照射光学系による観察対象物への光照射の方向にも複数の照射領域を走査するのが好適である。
結像光学系の結像倍率が可変であるのが好適である。検出部は、複数の画素として複数のアノードを有するマルチアノード光電子増倍管を含むのが好適であり、また、複数の画素として複数のアバランシェフォトダイオードが配列されたものを含むのも好適である。
本発明の一側面による画像取得方法は、上記の光源、照射光学系、走査部、結像光学系および検出部を用いて、検出部から出力される検出信号に基づいて観察対象物の画像を作成する画像取得方法であって、(a) 検出部の受光面上において、観察対象物における複数の照射領域に対して結像光学系による結像関係にある複数の結像領域を有し、複数の結像領域それぞれが1または2以上の画素に対応し、複数の結像領域の何れにも対応しない画素が各結像領域の隣に存在する構成とし、(b) 複数の結像領域それぞれに対応する画素の検出信号を、各結像領域の隣にあって複数の結像領域の何れにも対応しない1または2以上の画素の検出信号に基づいて補正し、その補正後の検出信号に基づいて観察対象物の画像を作成する。また、上記構成において、上記の画像取得装置の好適な態様と同様の態様とすることができる。
本発明の一側面によれば、多点走査により生成される観察対象物の画像のSN比を容易に改善することができる。
図1は、画像取得装置1の構成を示す図である。 図2は、画像取得装置2の構成を示す図である。 図3は、単点走査および多点走査について説明する図である。 図4は、観察対象物Sにおける照射領域A〜Aおよび検出部32の受光面における結像領域B〜Bについて説明する図である。 図5は、観察対象物Sにおける照射領域A〜Aおよび蛍光ビーズの分布を示す図である。 図6は、検出部32の受光面における受光領域の広がりについて説明する図である。 図7は、単点走査の場合の検出部32の各画素での蛍光強度を示すグラフである。 図8は、2点走査の場合の検出部32の各画素での蛍光強度を示すグラフである。 図9は、単点走査および4点走査それぞれの場合の観察対象物の蛍光画像を示す図である。 図10は、検出部32の受光面における画素構造と結像領域との間の関係を説明する図である。 図11は、検出部32から出力される検出信号と観察対象物Sの画像との関係を説明する図である。 図12は、検出信号の補正の効果を確認するシミュレーションの結果を示すグラフである。 図13は、検出信号の補正の効果を確認するシミュレーションの結果を示すグラフである。 図14は、第1実施例によるSN比改善の効果を示す観察対象物の蛍光画像である。 図15は、第2実施例によるSN比改善の効果を示す観察対象物の蛍光画像である。 図16は、第2実施例によるSN比改善の効果を示す観察対象物の蛍光画像である。 図17は、第2実施例によるSN比改善の効果を示す観察対象物の蛍光画像である。 図18は、第3実施例によるSN比改善の効果を示す観察対象物の蛍光画像である。 図19は、第3実施例と対比される比較例による観察対象物の蛍光画像である。 図20は、受光面において複数の画素が2次元配列された検出部を用いる場合の画素構造と結像領域との間の関係を説明する図である。 図21は、受光面において複数の画素が2次元配列された検出部を用いる場合の画素構造と結像領域との間の関係を説明する図である。 図22は、受光面において複数の画素が2次元配列された検出部を用いる場合の画素構造と結像領域との間の関係を説明する図である。 図23は、検出部の受光面における画素構造と結像領域との間の関係を説明する図である。 図24は、可変焦点レンズの構成例を示す図である。 図25は、他の多点走査の例について説明する図である。
以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
本実施形態の画像取得装置および画像取得方法は観察対象物の表面または内部で発生する蛍光、高調波光、反射散乱光などの像を取得することができるが、以下では観察対象物の蛍光画像を取得する実施形態について主に説明する。また、各図において、観察対象物と光照射方向との関係等を説明する便宜のためにxyz直交座標系が示されている。
図1は、画像取得装置1の構成を示す図である。画像取得装置1は、光源10、空間光変調器11、ダイクロイックミラー13、光スキャナ14、対物レンズ21、ステージ23、結像レンズ31、検出部32および制御部70等を備える。
光源10は、観察対象物Sに含まれる蛍光標識を励起し得る波長の励起光を出力するものであり、好適にはレーザ光源である。観察対象物Sにおいて多光子吸収による蛍光を発生させるには、光源10は、フェムト秒、ピコ秒、ナノ秒などの短パルスのレーザ光を励起光として出力するレーザ光源が好適である。
光源10から出力された励起光を入力するレンズ41,42は、ビーム径を調整して励起光を出力するビームエキスパンダを構成している。ビームエキスパンダは、一般に複数枚のレンズで構成される。ビームエキスパンダから出力される励起光のビーム径は、対物レンズ21の瞳径に応じて適切に設定される。
空間光変調器11は、光源10から出力されビームエキスパンダ(レンズ41,42)を経てミラー51で反射された励起光を入力し、その入力した励起光を空間的に変調して出力する。空間光変調器11は、位相変調型のものであってもよいし、振幅変調型のものであってもよい。空間光変調器11は、図1では反射型のものとして示されているが、透過型のものであってもよい。空間光変調器11は、呈示される変調パターンに応じて、出力光のビーム断面において空間的に位相または振幅を変調することができる。
空間光変調器11は、所定の変調パターンが呈示されることにより、変調後の励起光を観察対象物Sの表面または内部における複数の照射領域に集光照射することができる。この場合、空間光変調器11は、光源10から出力される単一の光ビームから複数の光ビームを生成する多点生成素子として用いられる。多点生成素子として用いられる空間光変調器11は、光ビームの本数、光ビームの間隔、各光ビームの集光位置の深さ(z方向位置)等を、制御部70から与えられる電気的制御信号により呈示される変調パターンに応じて自由に設定することができる。これらは、観察対象物Sのうちの観察すべき領域を複数の部分領域に区分した際の部分領域の個数や各部分領域の大きさに応じて設定される。なお、多点生成素子として、空間光変調器以外に、回折光学素子、マイクロレンズアレイ、ビームスプリッタなども用いられ得る。
また、空間光変調器11は、呈示される変調パターンを変化させることにより、観察対象物Sにおける複数の照射領域を走査する走査部としても用いられ得る。さらに、空間光変調器11は、所定の変調パターンが呈示されることにより、観察対象物Sにおける複数の照射領域に至るまでの光路の収差を補正して、各照射領域を小さくすることができ、取得される画像の分解能を高めることができる。
ダイクロイックミラー13は、励起光および蛍光のうち励起光を選択的に透過させ、蛍光を選択的に反射させる。すなわち、ダイクロイックミラー13は、空間光変調器11から到達した励起光を入力し、その励起光をレンズ43へ透過させる。また、ダイクロイックミラー13は、レンズ43から到達した蛍光を入力し、その蛍光をズームレンズ47へ反射させる。
ダイクロイックミラー13から出力された励起光を入力するレンズ43,44は、テレセントリックリレーレンズ系を構成している。
光スキャナ14は、ダイクロイックミラー13から出力されテレセントリックリレーレンズ系(レンズ43,44)を経た励起光を入力して、観察対象物Sへの励起光照射の方向(z方向)に交差する方向に照射領域を走査する走査部として用いられる。また、光スキャナ14は、観察対象物Sの照射領域で発生した蛍光を入力してデスキャンすることで、ダイクロイックミラー13と光スキャナ14との間における励起光および蛍光それぞれの主光線を互いに一致させることができる。光スキャナ14は、例えば、ガルバノミラー、ポリゴンミラー、MEMS(Micro Electro Mechanical Systems)ミラー、ジンバル(Gimbal)ミラーを含む。
光スキャナ14から出力されてミラー52により反射された励起光を入力するレンズ45,46は、テレセントリックリレーレンズ系を構成している。テレセントリックリレーレンズ系(レンズ43,44)およびテレセントリックリレーレンズ系(レンズ45,46)は、空間光変調器11により変調されて生成された励起光の波面を対物レンズ21の後側焦点面へ転送する。
なお、多点生成素子としてマイクロレンズアレイを用いる場合には、これらのテレセントリックリレーレンズ系は、マイクロレンズアレイ近傍の集光点を対物レンズ21の後側焦点面へ転送する。多点生成素子と対物レンズ21とが互いに極めて近い場合には、これらのテレセントリックリレーレンズ系は設けられなくてもよい。
対物レンズ21は、ステージ23上の観察対象物Sに対峙するように配置される。対物レンズ21は、テレセントリックリレーレンズ系(レンズ45,46)から出力されミラー53により反射された励起光を入力し、ステージ23上の観察対象物Sの表面または内部における複数の照射領域に励起光を集光照射する。また、対物レンズ21は、観察対象物Sの何れかの照射領域で蛍光が発生した場合に該蛍光を入力し、その蛍光をミラー53へ出力する。
対物レンズ21は、対物レンズ移動機構22の作用により、光軸方向すなわち観察対象物Sの深さ方向(z方向)に移動可能である。ステージ23は、ステージ移動機構24の作用により、対物レンズ21の光軸方向と交差する方向(好適にはxy面に平行な方向)に移動可能であり、また、光軸方向すなわち観察対象物Sの深さ方向(z方向)に移動可能である。対物レンズ移動機構22およびステージ移動機構24も、観察対象物Sにおける複数の照射領域を走査する走査部として用いられる。対物レンズ移動機構22およびステージ移動機構24それぞれは、例えばステッピングモータやピエゾアクチュエータなどを含む。
図1に示される構成では単一の対物レンズ21が励起光照射用および蛍光観察用の双方を兼ねているが、励起光照射用の対物レンズと蛍光観察用の対物レンズとが別個に設けられてもよい。励起光照射用の対物レンズとして高NAのものを用いることで、収差の影響を低減して局所的に集光することができる。蛍光観察用の対物レンズとして瞳径が大きいものを用いることで、より多くの蛍光を入力することができる。
図1では対物レンズ21を含む顕微鏡は倒立型の構成であるが、正立型の顕微鏡の構成であってもよい。
観察対象物Sの照射領域で発生して対物レンズ21に入力された蛍光は、励起光の経路と同じ経路を逆方向に辿ってダイクロイックミラー13に到達し、ダイクロイックミラー13で反射される。ダイクロイックミラー13で反射された蛍光を入力するズームレンズ47および結像レンズ31は、観察対象物Sの照射領域で発生する蛍光を検出部32の受光面に導いて、受光面上に蛍光画像を形成する。フィルタ54は、ダイクロイックミラー13と検出部32との間の光路上に設けられ、励起光および蛍光のうち蛍光を選択的に透過させ励起光を選択的に遮断する。フィルタ54は、観察対象物S等で散乱または反射された励起光のうちダイクロイックミラー13で一部反射された励起光を検出部32が受光することを抑制することができる。
なお、光源10から観察対象物Sに至るまでの励起光の光路上にある要素群は、光源10から出力される励起光を観察対象物Sの表面または内部における複数の照射領域に集光照射する照射光学系を構成している。観察対象物Sから検出部32に至るまでの蛍光の光路上にある要素群は、照射光学系による観察対象物Sへの励起光照射に伴って複数の照射領域それぞれで発生する光を導いて結像する結像光学系を構成している。
検出部32は、観察対象物Sにおける複数の照射領域が結像光学系により結像される受光面を有し、その受光面上に1次元状または2次元状に複数の画素が配列されており、これら複数の画素それぞれにおける受光量に応じた値の検出信号を出力する。検出部32は、例えばマルチアノード光電子増倍管、MPPC(登録商標)、フォトダイオードアレイ、アバランシェフォトダイオードアレイ、CCDイメージセンサ、CMOSイメージセンサなどの光検出器を含む。
マルチアノード光電子増倍管(multi-anode photo multiplier tube、以下「mPMT」という。)は、複数の画素として複数のアノードを有し、各アノードの受光量に応じた検出信号を出力することができる。MPPC(Multi-Pixel Photon Counter)は、ガイガーモードで動作するアバランシェフォトダイオードにクエンチング抵抗が接続されたものを1つの画素として、複数の画素が2次元配列されたものである。これらは高速・高感度の光検出をすることができる。
検出部32の受光面の前にピンホールアレイを配置して、観察対象物Sの照射領域とピンホールとの間の光学系を共焦点光学系としてもよい。ピンホールアレイは、検出部32の受光面の直前に配置されてもよいし、検出部32の受光面に対してリレーレンズ系を介した位置に配置されてもよい。これは、単光子励起による蛍光を検出する場合や、反射散乱光を検出する場合に有効である。
制御部70は、画像取得装置1の全体の動作を制御する。具体的には、制御部70は、光源10による光出力動作を制御し、また、空間光変調器11に与える変調パターンを生成して、その変調パターンを空間光変調器11に与える。制御部70は、光スキャナ14を駆動し、また、対物レンズ移動機構22を駆動することにより対物レンズ21を移動させることで、観察対象物Sにおける照射領域を走査する。制御部70は、ステージ移動機構24を駆動することによりステージ23を移動させることでも、観察対象物Sにおける照射領域を走査することができる。
さらに、制御部70は、検出部32による光検出動作を制御する。制御部70は、検出部32から出力される検出信号を受け取り、この検出信号に基づいて観察対象物Sの画像を作成する画像作成部としても用いられる。これについては後述する。
制御部70は、例えばコンピュータであり、少なくとも画像処理回路を有する。制御部70は、入力部71および表示部72とともに用いられる。入力部71は、例えば、キーボードやマウスであり、計測開始の指示や計測条件に関する指示等を入力する。表示部72は、例えば、ディスプレイであり、計測条件を表示したり、観察対象物Sの画像を表示したりする。
この画像取得装置1の概略動作は以下のとおりである。光源10から出力された励起光は、照射光学系により、観察対象物Sの表面または内部における複数の照射領域に集光照射される。すなわち、光源10から出力された励起光は、ビームエキスパンダ(レンズ41,42)によりビーム径が調整され、ミラー51で反射されて、空間光変調器11に入力される。制御部70から与えられた変調パターンが呈示された空間光変調器11により、励起光のビーム断面において空間的に位相または振幅が変調され、その変調後の励起光が空間光変調器11から出力される。
空間光変調器11から出力された励起光は、ダイクロイックミラー13を透過し、テレセントリックリレーレンズ系(レンズ43,44)を経て、光スキャナ14に入力される。光スキャナ14により、光スキャナ14からの励起光の出力方向が変化する。光スキャナ14から出力された励起光は、ミラー52で反射され、テレセントリックリレーレンズ系(レンズ45,46)を経て、ミラー53で反射されて、対物レンズ21に入力される。
対物レンズ21に入力された励起光は、ステージ23上の観察対象物Sの表面または内部に集光照射される。このとき、観察対象物Sにおける照射領域の個数や間隔などは、制御部70により空間光変調器11に呈示された変調パターンに応じて設定される。観察対象物Sにおける照射領域のxy面上の位置は、制御部70により駆動された光スキャナ14により走査される。観察対象物Sにおける照射領域のz方向の位置は、制御部70により駆動された対物レンズ移動機構22により対物レンズ21がz方向に移動することで走査され、または、制御部70により駆動されたステージ移動機構24によりステージ23がz方向に移動することで走査される。
観察対象物Sの照射領域で発生して対物レンズ21に入力された蛍光は、結像光学系により、検出部32の受光面に結像される。すなわち、この蛍光は、対物レンズ21、ミラー53、テレセントリックリレーレンズ系(レンズ46,45)、ミラー52、光スキャナ14およびテレセントリックリレーレンズ系(レンズ44,43)を経て、ダイクロイックミラー13で反射される。蛍光に対する光スキャナ14のデスキャン作用により、ダイクロイックミラー13と光スキャナ14との間における励起光および蛍光それぞれの主光線は互いに一致する。ダイクロイックミラー13で反射された蛍光は、ズームレンズ47、フィルタ54および結像レンズ31を経て、検出部32の受光面に到達する。観察対象物Sにおける照射領域が検出部32の受光面上に結像される。
そして、検出部32の受光面上に配列された複数の画素それぞれにおける受光量に応じた値の検出信号が検出部32から出力される。検出部32から出力された検出信号は制御部70に入力される。画像作成部としての制御部70により、検出部32から出力される検出信号に基づいて観察対象物Sの画像が作成される。その画像は表示部72により表示される。
図1に示された画像取得装置1は反射型の空間光変調器を備えるものであったが、図2に示されるように透過型の空間光変調器を備える画像取得装置2の構成としてもよい。図2は、画像取得装置2の構成を示す図である。この図は、透過型の空間光変調器12から観察対象物Sまでの励起光の照射光学系、および、観察対象物Sから検出部32までの蛍光の結像光学系を示す。
図2に示される画像取得装置2に含まれるダイクロイックミラー13、対物レンズ21、ステージ23、結像レンズ31および検出部32それぞれは、図1に示される画像取得装置1に含まれるそれらと同様のものである。画像取得装置2は、画像取得装置1の構成と同様に、光源、ビームエキスパンダ、対物レンズ駆動機構、ステージ駆動機構および制御部等を備えるが、これらについては図2では図示が省略されている。
空間光変調器12は、励起光を透過させる際に、励起光のビーム断面において空間的に位相または振幅を変調することができる。透過型の空間光変調器12は、反射型の空間光変調器11と同様に、変調後の励起光を観察対象物Sの表面または内部における複数の照射領域に集光照射することができ、観察対象物Sにおける複数の照射領域を走査する走査部としても用いることができ、また、観察対象物Sにおける複数の照射領域に至るまでの光路の収差を補正することができる。
観察対象物Sへの励起光照射の方向に交差する方向に照射領域を走査する走査部として、光スキャナ14a,14bが設けられている。一方の光スキャナ14aは、空間光変調器12からダイクロイックミラー13およびテレセントリックリレーレンズ系(レンズ61,62)を経て到達した励起光を入力し、観察対象物Sへの励起光照射の方向に交差する第1方向に照射領域を走査する。他方の光スキャナ14bは、光スキャナ14aからテレセントリックリレーレンズ系(レンズ63,64)を経て到達した励起光を入力し、観察対象物Sへの励起光照射の方向に交差する第2方向に照射領域を走査する。例えば、第1方向および第2方向のうち一方はx方向であり、他方はy方向である。
この画像取得装置2の概略動作は以下のとおりである。光源から出力された励起光は、照射光学系により、観察対象物Sの表面または内部における複数の照射領域に集光照射される。すなわち、光源から出力された励起光は、ビームエキスパンダによりビーム径が調整され、空間光変調器12に入力される。所定の変調パターンが呈示された空間光変調器12により、励起光のビーム断面において空間的に位相または振幅が変調され、その変調後の励起光が空間光変調器12から出力される。
空間光変調器12から出力された励起光は、ダイクロイックミラー13を透過し、テレセントリックリレーレンズ系(レンズ61,62)を経て、光スキャナ14aに入力される。光スキャナ14aにより、光スキャナ14aからの励起光の出力方向が変化する。光スキャナ14aから出力された励起光は、テレセントリックリレーレンズ系(レンズ63,64)を経て、光スキャナ14bに入力される。光スキャナ14bにより、光スキャナ14bからの励起光の出力方向が変化する。光スキャナ14bから出力された励起光は、テレセントリックリレーレンズ系(レンズ65,66)を経て、対物レンズ21に入力される。
対物レンズ21に入力された励起光は、ステージ23上の観察対象物Sの表面または内部に集光照射される。このとき、観察対象物Sにおける照射領域の個数や間隔などは、空間光変調器12に呈示された変調パターンに応じて設定される。観察対象物Sにおける照射領域のxy面上の位置は、光スキャナ14a,14bにより走査される。観察対象物Sにおける照射領域のz方向の位置は、対物レンズ移動機構により対物レンズ21がz方向に移動することで走査され、または、ステージ移動機構によりステージ23がz方向に移動することで走査される。
観察対象物Sの照射領域で発生して対物レンズ21に入力された蛍光は、結像光学系により、検出部32の受光面に結像される。すなわち、この蛍光は、対物レンズ21、テレセントリックリレーレンズ系(レンズ66,65)、光スキャナ14b、テレセントリックリレーレンズ系(レンズ64,63)、光スキャナ14a、テレセントリックリレーレンズ系(レンズ62,61)を経て、ダイクロイックミラー13で反射される。蛍光に対する光スキャナ14a,14bのデスキャン作用により、ダイクロイックミラー13と光スキャナ14bとの間における励起光および蛍光それぞれの主光線は互いに一致する。ダイクロイックミラー13で反射された蛍光は、結像レンズ31を経て、検出部32の受光面に到達する。観察対象物Sにおける照射領域が検出部32の受光面上に結像される。
そして、検出部32の受光面上に配列された複数の画素それぞれにおける受光量に応じた値の検出信号が検出部32から出力される。画像作成部としての制御部により、検出部32から出力される検出信号に基づいて観察対象物Sの画像が作成される。その画像は表示部により表示される。
図1および図2に示された2つの構成の何れに対しても本発明の適用が可能である。本実施形態の画像取得装置および画像取得方法は、主として、観察対象物Sにおける複数の照射領域ならびに検出部32の受光面における画素構造と結像領域との間の関係に関するものであり、また、この関係に基づいて観察対象物Sの画像のSN比の改善を図るものである。
画像取得装置1,2は、多点走査を行うレーザ走査型蛍光顕微鏡(Laser scanning fluorescence microscopy、以下「LSFM」という。)として好適に用いられる。また、多点走査を行うLSFMのうち、短パルスレーザ光を励起光として観察対象物Sに照射して多光子励起による蛍光を検出するものは、多焦点多光子励起蛍光顕微鏡(multifocal multiphoton microscopy、以下「MMM」という。)と呼ばれる。画像取得装置1,2は、MMMとしても好適に用いられ得る。
単光子励起の場合と比べて、多光子励起の場合には、励起光の波長が長く、観察対象物において励起光の光子密度が高い限定された領域のみで蛍光が発生する。したがって、多光子励起の場合には、励起光の散乱や吸収の影響が小さく、観察対象物の特に深部の蛍光画像の取得に好適である。また、空間光変調器により励起光の波面を制御することにより、観察対象物と周囲の媒体(例えば、水、空気、オイルなど)との間の屈折率差に因る収差を補正して、観察対象物の内部の局所的な照射領域に励起光を集光照射することができる。これらのことから、多光子励起の場合には、観察対象物の深い位置でも蛍光強度および解像度の双方が高い画像を得ることができ、また、多点走査と収差補正とを組み合わせることで観察対象物の深部の蛍光画像をも高速に取得することができる。
観察対象物Sに含まれる蛍光分子を励起して蛍光を発生させるのに必要な励起光強度に対して、光源10から出力される励起光の強度が十分な余裕を有していて、かつ、多点走査をしても観察対象物Sへのダメージが少ない場合には、多点走査を行うLSFMまたはMMMは高速化に極めて有効である。例えば、2光子励起蛍光顕微鏡では、フェムト秒ないしピコ秒のパルス幅を有するパルスレーザ光を出力するレーザ光源が用いられるが、そのレーザ光源において安定した出力を得るためにレーザ光出力は3W程度と極めて大きい。一方で、観察対象物において蛍光を発生させるために照射する励起光の光量は、観察対象物の表面に近い浅い位置では10mW程度でよい。このように、蛍光発生に必要な励起光強度に対してレーザ光出力は300倍程度の余裕がある。また、隣り合う2つの照射位置が極端に近接していない限りは熱の蓄積が小さい。
図3は、単点走査および多点走査について説明する図である。この図は、z方向に平行に見たときの観察対象物Sにおける照射領域の走査の様子を示している。図3(a)に示される単点走査では、観察対象物Sのうちの観察すべき領域の全体において1つの照射領域Aをラスタスキャンする。図3(b)に示される4点走査では、観察対象物Sのうちの観察すべき領域を4等分して部分領域S〜Sとして、各部分領域Sにおいて照射領域Aをラスタスキャンする。4点走査では4つの照射領域A〜Aを同時に走査する。したがって、単点走査と比べて4点走査では計測時間を1/4に短縮することができる。
図25は、他の多点走査の例について説明する図である。この図も、z方向に平行に見たときの観察対象物Sにおける照射領域A〜Aの走査の様子を示している。この例では、図25(a)に示されるように、照射領域A〜Aは、ラスタスキャンの際の高速軸に平行な直線上に配列されている。このような多点走査では、計測時間を短縮することができないが、図25(b)に示されるハッチング領域(照射領域A〜Aの走査範囲が重なる領域)内の各位置を短い時間間隔で照射領域A〜Aが順次に通過する。したがって、例えば蛍光を発するタンパク質などの移動を容易に確認することができる。この多点走査では、観察対象物Sにおける或る観測点において時刻が異なる複数枚の画像がそれぞれ出力される。この場合も、結局は、多点について同時に計測をしているので、他の励起光によって励起された蛍光の散乱も別の画像に含まれる。
図4は、4点走査の場合の観察対象物Sにおける照射領域A〜Aおよび検出部32の受光面における結像領域B〜Bについて説明する図である。図4(a)は、対物レンズ21および観察対象物Sを示し、また、観察対象物Sにおける4つの照射領域A〜Aを模式的に示す。図4(b)は、結像レンズ31および検出部32を示し、また、検出部32の受光面における4つの画素P〜Pおよび4つの結像領域B〜Bを模式的に示す。
検出部32の受光面における各結像領域Bは、観察対象物Sにおける照射領域Aに対して結像光学系による結像関係にある。観察対象物Sにおいて4つの照射領域A〜Aは互いに分離しており、また、検出部32の受光面において4つの結像領域B〜Bも互いに分離している。各画素Pは、結像領域Bに対応しており、この結像領域Bにおける受光量に応じた値の検出信号を出力する。
図5は、4点走査の場合の観察対象物Sにおける照射領域A〜Aおよび蛍光ビーズの分布を示す図である。この図では、観察対象物Sとして、各々実線の円で示された複数の蛍光ビーズがエポキシ樹脂中に分散されたものを想定している。また、この図では、照射領域A,Aそれぞれには蛍光ビーズが存在するとし、各々破線の円で示された照射領域A,Aには蛍光ビーズが存在しないとしている。この図に示された例の場合、検出部32の受光面における4つの結像領域B〜Bのうち、結像領域B,Bそれぞれには蛍光が到達し、結像領域B,Bには蛍光が到達しない。
しかし、対物レンズ21と観察対象物S中の各照射領域との間の励起光および蛍光の光路には、散乱、回折および収差の要因となる蛍光ビーズが存在する。このことから、検出部32の受光面において実際に蛍光が到達する受光領域は、観察対象物Sにおける照射領域に対する結像光学系による結像関係に基づく結像領域より広くなる。その広がりの程度は、観察対象物Sでの散乱や収差の大きさによる。一般的に、照射領域が観察対象物の表面付近にある場合に、受光領域の広がりの程度は最も小さい。照射領域が観察対象物の内部において深くなるほど、受光領域の広がりの程度は大きくなる。このことは、実際の観察対象物である生体等についても当て嵌まる。
図6は、4点走査の場合の検出部32の受光面における受光領域の広がりについて説明する図である。この図では、実際に蛍光が到達する受光領域の広さを、円の大きさで示している。図6(a)は、照射領域が観察対象物の表面付近にある場合を示す。図6(b)は、照射領域が観察対象物の内部の浅い位置にある場合を示す。また、図6(c)は、照射領域が観察対象物の内部の深い位置にある場合を示す。
図6(a)に示されるように、照射領域が観察対象物の表面付近にある場合には、受光領域Cは、結像領域Bと同程度の広がりであり、本来対応する画素Pのみに収まっている。しかし、照射領域が観察対象物の内部において深くなるほど、受光領域Cの広がりの程度は結像領域Bより大きくなっていく。図6(c)に示されるように、受光領域Cは、本来対応する画素Pだけでなく、隣の画素Pn−1,Pn+1まで及ぶことになる。すなわち、本来は画素Pから出力されるべき検出信号の一部は、隣の画素Pn−1,Pn+1から出力される検出信号に加えられてしまう。その結果、検出信号に基づいて生成される観察対象物Sの蛍光画像のSN比が悪くなる。
図7は、単点走査の場合の検出部32の各画素での蛍光強度を示すグラフである。ここでは、観察対象物Sとして蛍光ビーズがエポキシ樹脂中に分散されたものを用い、検出部32としてmPMTを用いた。観察対象物Sの表面または内部において単一の照射領域を走査することができるように、空間光変調器に所定の変調パターンを呈示させた。この図は、観察対象物Sの表面(深さ0μm)、深さ250μm、深さ500μmおよび深さ1250μmそれぞれに単一の照射領域を設定したときの検出部32の受光面における受光領域の広がりを示す。横軸は、検出部32としてのmPMTのアノード番号(画素位置)を表す。
観察対象物Sの表面(深さ0μm)に単一の照射領域を設定したとき、mPMTの9個のアノード1〜9のうち単一のアノード6のみに蛍光が到達した。このことは、観察対象物Sにおける照射領域に対して結像関係にある受光面上の結像領域にあるのはアノード6のみであることを示している。観察対象物Sの表面(深さ0μm)では散乱の影響がないので、蛍光はアノード6のみに到達する。
観察対象物Sの内部における単一の照射領域の位置が深くなるに従って、アノード6の隣にあるアノード5,7等に到達する蛍光の量が増えていき、検出部32の受光面における受光領域が広がっていった。アノード5,7等は、観察対象物Sにおける照射領域に対して結像関係にある結像領域にない。このような受光面における受光領域の広がりは、観察対象物Sにおける散乱や収差の影響により生じたものである。
単点走査の場合には、全てのアノード1〜9から出力される検出信号の総和を求めることで、検出部32の受光面の全体に到達する蛍光の総量を求めればよい。或いは、単点走査の場合には、受光面において複数の画素が配列された検出部32に替えて、単一チャネル(単一画素)の検出部を用いて、蛍光の総量を求めればよい。特に多光子励起の場合には、光子密度が高い集光点近傍においてのみ励起確率が高くなって蛍光が生じるので、励起光に対して収差や散乱の影響がなければ、観察したい位置(すなわち、励起光が集光した位置の近傍)のみから蛍光が生じる。このことから、或る局所的な照射領域から生じた蛍光が検出部の受光面で広がっていたとしても、その蛍光の総量を検出すればよい。そのときに検出部から出力される検出信号は、吸収の影響を無視すれば、局所的な照射領域から生じた蛍光を全て集めたものといえる。
これに対して、多点走査の場合には、観察対象物Sにおいて互いに区分された複数の照射領域に対して、結像光学系による結像関係により、検出部32の受光面において互いに区分された複数の結像領域が存在する。観察対象物Sにおける複数の照射領域のうち何れかの照射領域で蛍光が発生すれば、検出部32の受光面上では、蛍光が発生した照射領域に対し結像関係にある結像領域に蛍光が到達し、また、散乱や収差の影響があると実際の受光領域は結像領域より広がることになる。
図8は、2点走査の場合の検出部32の各画素での蛍光強度を示すグラフである。この図は、図7に示された実測結果を用いて行った2点走査の場合のシミュレーションの結果を示すものである。この図は、観察対象物Sの表面(深さ0μm)、深さ250μm、深さ500μmおよび深さ1250μmそれぞれに2つの照射領域を設定したときの検出部32の受光面における受光領域の広がりを示す。
観察対象物Sの表面(深さ0μm)に2つの照射領域を設定したとき、mPMTの9個のアノード1〜9のうち2つのアノード5,7のみに蛍光が到達する。このことは、観察対象物Sにおける一方の照射領域に対して結像関係にある受光面上の結像領域にあるのはアノード5であること、および、観察対象物Sにおける他方の照射領域に対して結像関係にある受光面上の結像領域にあるのはアノード7であることを示している。
観察対象物Sの内部における2つの照射領域の位置が深くなるに従って、アノード5,7以外のアノード4,6,8等に到達する蛍光の量が増えていく。アノード4,6,8等は、観察対象物Sにおける2つの照射領域に対して結像関係にある2つの結像領域にない。アノード4,6,8等により検出される蛍光は、これらのアノードにより本来は検出されるべきものではない。アノード5,7以外のアノード4,6,8等から出力される検出信号は、観察対象物Sの蛍光画像の作成に際してノイズとなる。
このノイズの影響により、作成される観察対象物Sの蛍光画像において、ゴースト像が発生したり、バックグラウンドノイズが増加したりする。ゴースト像およびバックグラウンドノイズは、本来は検出すべきでない蛍光を検出した画素から出力される検出信号(ノイズ)に起因する。しかし、観察対象物Sの蛍光画像において、或る場合にはノイズの影響がゴースト像として現れ、他の或る場合にはノイズの影響がバックグラウンドノイズとして現れる。
ゴースト像は、観察対象物Sの広い範囲において蛍光発生領域が比較的まばらであるときや、蛍光の信号のSN比が高い場合に生じる。例えば、観察対象物Sとして蛍光ビーズがエポキシ樹脂中に分散されたものを用いて多点走査する場合を想定する。蛍光ビーズの分散密度が比較的小さい場合には、蛍光が発生し得る領域は少なく、多点走査の場合に複数の照射領域のうちの或る1つの照射領域のみにおいて蛍光が生じることがある。また、蛍光強度が強いことからSN比が比較的高い。このとき、前述のように検出部32の受光面上において実際の受光領域が広がることで、ノイズとして他の画素で観測される。この画素において本来生じる暗電流や読み出しノイズなどのノイズに比べて実際の受光領域の広がりによるノイズが比較的強く、また、この画素に他の蛍光が到達しなければ、この画素により、本来ないはずのビーズ、つまりゴースト像が観測されることになる。
図9は、単点走査および4点走査それぞれの場合の観察対象物の蛍光画像を示す図である。ここでは、観察対象物Sとして蛍光ビーズがエポキシ樹脂中に分散されたものを用いた。図9(a)は、単点走査の場合の観察対象物の蛍光画像を示す。図9(b)は、4点走査の場合の観察対象物の蛍光画像を示す。また、図9(b)は、観察対象物Sのうちの観察すべき領域を4等分して4つの部分領域S〜Sとしたときの各部分領域での走査(ラスタスキャン)の開始位置を矢印で示している。4点走査の場合の蛍光画像(図9(b))の部分領域Sにおいて、単点走査の場合の蛍光画像(図9(a))における蛍光ビーズの位置と同じ位置に蛍光ビーズの存在が認められる。加えて、4点走査の場合の蛍光画像(図9(b))の部分領域S,Sにおいて、破線の円で囲った範囲に、ゴーストの発生により蛍光ビーズが存在しているように観察されている。
一方、観察対象物Sの全体の観察領域において蛍光発生領域が比較的まばらでない場合であって、蛍光の信号のSN比が低い場合に、散乱による蛍光はバックグランドノイズとして観測される。例えば、検出部32の各画素において2以上の蛍光信号が混合したり、観測される蛍光が画像において広範囲にわたっていたりする場合である。
いずれにしても、ゴースト像であれば、観測されないはずの像が観測されてしまい、バックグランドノイズであれば、SN比の低下が生じる。その結果、観察対象物Sにおける観測深さが制限されてしまうことになる。本実施形態は、このようなノイズの影響を低減して、多点走査により生成される観察対象物の画像のSN比を改善することを図るものである。
図10は、検出部32の受光面における画素構造と結像領域との間の関係を説明する図である。この図では、検出部32の受光面において1次元配列された10個の画素P〜P10が示されている。
図10(a)の例では、画素Pは結像領域Bに対応し、画素Pは結像領域Bに対応し、画素Pは結像領域Bに対応し、画素Pは結像領域Bに対応する。画素P〜P,P〜P10は何れの結像領域にも対応しない。
図10(b)の例では、画素Pは結像領域Bに対応し、画素Pは結像領域Bに対応し、画素Pは結像領域Bに対応し、画素Pは結像領域Bに対応する。画素P,P,P,P,P,P10は何れの結像領域にも対応しない。
図10(c)の例では、画素Pは結像領域Bに対応し、画素Pは結像領域Bに対応し、画素Pは結像領域Bに対応する。画素P,P,P,P,P,P,P10は何れの結像領域にも対応しない。
図10(d)の例では、画素PおよびPは結像領域Bに対応し、画素PおよびPは結像領域Bに対応する。画素P〜P,P,P,P10は何れの結像領域にも対応しない。
なお、画素と結像領域とが対応するとは、該画素の光電変換領域と該結像領域とが少なくとも一部で互いに重なることを意味する。
図10(b)〜(d)の例では、検出部32の受光面において何れの結像領域にも対応しない画素が各結像領域の両隣に存在する。図10(b)の例では、隣り合う2つの結像領域の間に、何れの結像領域にも対応しない画素が1つ存在する。図10(c),(d)の例では、隣り合う2つの結像領域の間に、何れの結像領域にも対応しない画素が2つ存在する。図10(d)の例では、各結像領域に2つの画素が対応するので、画素PおよびPそれぞれの検出信号値の和を結像領域Bに到達する光の強度とし、画素PおよびPそれぞれの検出信号値の和を結像領域Bに到達する光の強度とすればよい。
本実施形態では、検出部32は、受光面上において、観察対象物Sにおける複数の照射領域に対して結像光学系による結像関係にある複数の結像領域を有し、複数の結像領域それぞれが1以上の画素に対応し、複数の結像領域の何れにも対応しない画素が各結像領域の少なくとも一方側の隣に存在する。本実施形態では、このような関係が満たされるように、観察対象物Sにおける複数の照射領域の間隔や結像光学系の結像倍率が調整される。
図11は、検出部32から出力される検出信号と観察対象物Sの画像との関係を説明する図である。図10(b)に示される例において検出部32の受光面における受光領域が結像領域より広がらない場合、検出部32から出力される検出信号は、図11(a)に示されるように、何れかの結像領域に対応する画素P,P,P,Pそれぞれについては各画素の受光量に応じた値となり、他の画素P,P,P,P,P,P10それぞれについては暗電流ノイズレベルとなる。
一般に検出部から出力される検出信号は電流信号であるので、この電流信号は電流-電圧変換回路により電圧信号に変換される。その後、図11(b)に示されるように、画像作成部としての制御部70により、観察対象物Sにおける各照射領域の位置に対応する画像上の位置に電圧信号値が記憶される。また、この際に、必要に応じて電圧信号に対してオフセット補正等が施される。
観察対象物Sの表面付近に照射領域があって検出部32の受光面において受光領域が結像領域より広がらない場合には上記のとおりでよい。一方、観察対象物Sの内部の深い位置に照射領域があって検出部32の受光面において受光領域が結像領域より広がる場合、作成される観察対象物Sの画像のSN比を改善するために、画像作成部としての制御部70は、各結像領域に対応する画素の検出信号を、該結像領域の隣にあって何れの結像領域にも対応しない1または2以上の画素の検出信号に基づいて補正し、その補正後の検出信号に基づいて観察対象物Sの画像を作成する。具体的には以下のとおりである。
結像領域に対応する画素Pの検出信号値をVsignal_nとし、該結像領域の両隣にある画素Pn−1,Pn+1の検出信号値をVsample_n-1,Vsample_n+1とする。制御部70は、該結像領域に対応する画素Pの補正後の検出信号値Voutput_nを下記(1)式で求める。ただし、αは係数であり通常は1程度でよい。
図12は、検出信号の補正の効果を確認するシミュレーションの結果を示すグラフである。この図は、4点走査を行った場合において観察対象物における4つの照射領域のうち1つの照射領域で蛍光が発生し、その蛍光が発生した照射領域に対応する検出部32の受光面上の結像領域が画素P(アノード番号6)に対応する場合を示す。図12(a)は、シミュレーション条件を示すものであって、図7に示された観察対象物Sの深さ500μmに単一の照射領域を設定したときの検出部32の受光面における受光領域の広がりを示す。図12(b)は、実施例(上記(1)式による補正をした場合)および比較例(補正をしない場合)それぞれについて、何れかの結像領域に対応する画素P,P,P,Pの各検出信号を示す。
図12(a)および図12(b)の比較例を見ると、検出部32の受光面において受光領域が結像領域より広がったことにより、該結像領域に対応する画素Pから検出信号が出力されるだけでなく、他の結像領域に対応する画素P,P等からノイズが出力されている。これら画素P,P等のノイズを低減することで、観察対象物Sの画像のSN比を改善することができる。画素Pを中心とする画素P〜Pそれぞれの検出信号値に注目すると、画素Pの検出信号値が最も大きく、この画素Pから遠くなるに従って画素の出力値が小さくなっていくことが分かる。また、画素Pの出力値は、両隣の画素P,Pそれぞれの出力値の略平均の値である。そこで、上記(1)式においてn=4として画素Pの補正後の検出信号値Voutput_4を求めればよい。画素P,P,Pについても同様である。このような補正をした結果が図12(b)の実施例のグラフである。比較例と比べて実施例では、画素P,Pそれぞれのノイズレベルが補正により1/2以下に低減されている。
図13も、検出信号の補正の効果を確認するシミュレーションの結果を示すグラフである。この図は、4点走査を行った場合において観察対象物における4つの照射領域のうち2つの照射領域で蛍光が発生し、その蛍光が発生した照射領域に対応する検出部32の受光面上の一方の結像領域が画素P(アノード番号2)に対応し、他方の結像領域が画素P(アノード番号6)に対応する場合を示す。図12(a)は、シミュレーション条件を示すものであって、図7に示された観察対象物Sの表面(深さ0μm)および深さ500μmそれぞれに2つの照射領域を設定したときの検出部32の受光面における受光領域の広がりを示す。図12(b)は、実施例(上記(1)式による補正をした場合)および比較例(補正をしない場合)それぞれについて、何れかの結像領域に対応する画素P,P,P,Pの各検出信号を示す。
図13(a)および図13(b)の比較例を見ると、観察対象物Sの表面(深さ0μm)に2つの照射領域を設定した場合、検出部32の受光面において結像領域と比べて受光領域の広がりが殆どなく、画素P,Pから検出信号が出力されるのみで、他の画素P,Pからノイズが殆ど出力されていない。これに対して、観察対象物Sの深さ500μmに2つの照射領域を設定した場合、検出部32の受光面において受光領域が結像領域より広がったことにより、画素P,Pから検出信号が出力されるだけでなく、他の画素P,Pからノイズが出力されている。上記と同様にして、これら画素P,P等のノイズを低減することで、観察対象物Sの画像のSN比を改善することができる。画素P,Pについても同様である。このような補正をした結果が図13(b)の実施例のグラフである。この場合にも、比較例と比べて実施例では、画素P,Pそれぞれのノイズレベルが補正により1/2以下に低減されている。
このような補正は、画素P,Pの出力値についてだけでなく、画素P,Pの出力値についても行われる。画素P,Pの出力値には画素Pの出力値の影響が及んでいるので、画素Pの出力値について上記の補正をすると、画素Pの出力値を過剰に低減することになる。同様に、画素P,Pの出力値には画素Pの出力値の影響が及んでいるので、画素Pの出力値について上記の補正をすると、画素Pの出力値を過剰に低減することになる。しかし、画素P,Pの出力値は元々大きいのに対して、補正による低減量は小さい。したがって、観察対象物Sの画像のSN比を改善する為に、画素P,Pの出力値を僅かに犠牲にしても問題は殆どない。
次に、非特許文献1,2に記載された従来のSN比改善技術と対比して、本実施形態の効果について説明する。これらの従来のSN比改善技術では、検出部の受光面において、複数の結像領域の間に、何れの結像領域にも対応しない画素は設けられていない。
非特許文献1に記載されたSN比改善技術では、単一の蛍光発生領域が存在する観察対象物に対して単点走査を行なって検出部の受光面上に広がった受光量分布(図12(a)に相当)を求め、多点走査により取得された観察対象物の画像と上記の受光量分布とのデコンボリューションを計算する。このSN比改善技術は、多点走査とは別に単点走査を行なって検出部の受光面上に広がった受光量分布を求める必要がある。また、この受光量分布は、観察対象物における蛍光発生領域の深さ(z方向の位置)によって異なるので、z方向の各位置に照射領域を設定して求める必要があり、データ取得に長時間を要する。
非特許文献2に記載されたSN比改善技術では、多点走査により取得された観察対象物の画像に基づいて最尤推定法による推定を行うことから、その最尤推定法による推定を行う際に計算を繰り返して行う必要があり、その繰り返し計算に長時間を要する。
これらの従来のSN比改善技術は、データ取得または計算に長時間を要し、リアルタイム処理が困難である。そもそも、多点走査は計測時間の短縮を目的とするにも拘らず、これらの従来のSN比改善技術は、データ取得または計算に長時間を要することから、却って単点走査の場合より長時間を要する場合がある。
これに対して、本実施形態では、補正を行う上で必要な信号を多点走査により取得することができ、しかも、簡単な計算処理で補正を行うことができるので、補正を行わない場合と比較して所要時間が殆ど異ならない。このように、本実施形態では、多点走査により生成される観察対象物の画像のSN比を容易に改善することができる。
次に、本実施形態のSN比改善技術を適用した実施例について説明する。
図14は、第1実施例によるSN比改善の効果を示す観察対象物の蛍光画像である。第1実施例では、蛍光ビーズがエポキシ樹脂中に分散されたものを観察対象物として用いて、4点走査を行った。この図では、観察対象物のうちの観察すべき領域を4等分して4つの部分領域としたときの各部分領域での走査(ラスタスキャン)の開始位置を矢印で示している。図14(a)は、図9(b)と同じであり、補正前の蛍光画像である。この補正前の蛍光画像では、破線の円で囲った範囲に、ゴーストの発生により蛍光ビーズが存在しているように観察されている。図14(b)は、上記(1)式による補正後の蛍光画像である。この補正後の蛍光画像では、ゴースト像は認められない。補正前の蛍光画像(図14(a))と比較して、補正後の蛍光画像(図14(b))ではSN比が改善されていることが分かる。補正前の蛍光画像(図14(a))に対して上記(1)式の簡単な計算処理による補正を行うだけで、SN比が改善された蛍光画像(図14(b))を容易かつ短時間に得ることができる。
図15〜図17は、第2実施例によるSN比改善の効果を示す観察対象物の蛍光画像である。第2実施例で用いた観察対象物は、第1実施例で用いたものと比べてエポキシ樹脂中における蛍光ビーズの分散密度が高いものであった。観察対象物の表面をz=0として、z=1000μm〜1030μmの範囲を0.6μmピッチで対物レンズを移動させて、3次元画像を取得した。なお、観察対象物中の深さ方向の実際の移動量は、対物レンズ移動量に観察対象物の屈折率を乗じたものとなる。また、観察対象物への光照射の際に収差補正を行った。
図15(a)は、単点走査を行なった場合のyz平面の画像であり、図15(b)は、図15(a)中の破線で示した深さにおけるxy平面画像である。図16(a)は、4点走査を行い且つ上記(1)式による補正を行った場合のyz平面画像であり、図16(b)は、図16(a)中の破線で示した深さにおけるxy平面画像である。図17(a)は、4点走査を行い且つ上記(1)式による補正を行わなかった場合のyz平面画像であり、図17(b)は、図17(a)中の破線で示した深さにおけるxy平面画像である。図16および図17には、観察対象物のうちの観察すべき領域を4等分して4つの部分領域としたときの各部分領域での走査(ラスタスキャン)の開始位置を矢印で示している。
図15中の矢印は、注目すべきポイントを指し示している。図15〜図17を対比すると、4点走査を行い且つ上記(1)式による補正を行った実施例(図16)のSN比は、4点走査を行い且つ上記(1)式による補正を行わなかった比較例(図17)と比べて改善されており、単点走査を行なった場合(図15)のSN比と同程度であることが分かる。
図18は、第3実施例によるSN比改善の効果を示す観察対象物の蛍光画像である。第3実施例では、潅流固定により血管内にFluorescein Isothiocyanate-Dextranを固定したラットの脳を観察対象物として用い、深さ100μm程度に照射領域を設定して4点走査を行った。図18は、上記(1)式による補正を行った場合(実施例)の蛍光画像である。図19は、上記(1)式による補正を行わなかった場合(比較例)の蛍光画像である。図18の蛍光画像(実施例)では、観察対象物Sの部分領域S〜Sのうちの部分領域Sに、手前から奥行方向に光軸に平行に伸びる血管像が認められる。これに対して、図19の蛍光画像(比較例)では、部分領域S,Sに血管像のゴーストが認められる。図18の蛍光画像(実施例)では、ゴースト像はノイズレベル程度に抑えられている。
次に、変形例について説明する。例えば、以下のような様々な変形例の構成とすることができる。
補正式は上記(1)式に限られない。例えば、制御部70は、検出部32の受光面における結像領域に対応する画素Pの補正後の検出信号値Voutput_nを下記(2)式で求めてもよい。この(2)式は、結像領域に対応する画素Pの検出信号値Vsignal_nから補正後の検出信号値Voutput_nを求めるに際して、該結像領域の両隣にある画素Pn−1,Pn+1の検出信号値Vsample_n-1,Vsample_n+1だけでなく、更に隣にある画素Pn−2,Pn+2の検出信号値Vsignal_n-2,Vsignal_n+2をも考慮して、重みづけを行うものである。他にも様々な補正式が有り得るが、基本的には、何れの結像領域にも対応しない画素の検出信号を用いて、結像領域に対応する画素の検出信号を補正すればよい。
上記の実施形態では、受光面において複数の画素が1次元配列された検出部を用いた場合を説明したが、受光面において複数の画素が2次元配列された検出部を用いてもよい。図20〜図22は、受光面において複数の画素が2次元配列された検出部を用いる場合の画素構造と結像領域との間の関係を説明する図である。これらの図において、矩形枠は画素を表し、円領域は結像領域を表す。
図20の例では、検出部の受光面において、各結像領域の四方の隣に、何れの結像領域にも対応しない4つの画素が存在する。この場合、結像領域に対応する画素Pm,nの検出信号値Vsignal_m,nから補正後の検出信号値Voutput_m,nを例えば下記(3)式で求めることができる。Vsample_m-1,n,Vsample_m+1,n,Vsample_m,n-1,Vsample_m,n+1 は、それぞれ、結像領域の四方の隣にある画素Pm-1,n,Pm+1,n,Pm,n-1,Pm,n+1 の検出信号値である。
図21の例では、検出部の受光面において、各結像領域の両隣に、何れの結像領域にも対応しない2つの画素が存在する。この場合、結像領域に対応する画素Pm,nの検出信号値Vsignal_m,nから補正後の検出信号値Voutput_m,nを例えば下記(4)式で求めることができる。Vsignal_m-1,n,Vsignale_m+1,n,Vsample_m,n-1,Vsample_m,n+1 は、それぞれ、結像領域の四方の隣にある画素Pm-1,n,Pm+1,n,Pm,n-1,Pm,n+1 の検出信号値である。
図22の例では、検出部の受光面において、各結像領域の一方側の隣に、何れの結像領域にも対応しない1つの画素が存在する。この場合、結像領域に対応する画素Pm,nの検出信号値Vsignal_m,nから補正後の検出信号値Voutput_m,nを例えば下記(5)式で求めることができる。Vsignal_m-1,n,Vsignale_m+1,n,Vsample_m,n-1,Vsignal_m,n+1 は、それぞれ、結像領域の四方の隣にある画素Pm-1,n,Pm+1,n,Pm,n-1,Pm,n+1 の検出信号値である。
なお、図21および図22の例では、補正によるSN比改善の程度は小さいものの、補正前の画像のSN比が非常に低い場合には補正によるSN比改善効果が十分に認められる。
上記(1)〜(5)の各式における係数αは、通常は1程度でよいが、検出部の各画素の検出信号値に基づいて設定することができる。例えば、検出部の受光面において何れの結像領域にも対応しない画素の検出信号値は本来は0になるべきであるので、この画素の検出信号値に対して補正をした結果が0となるように、係数αの値を設定すればよい。
上記の実施形態では主に観察対象物の蛍光画像を作成する場合について説明したが、観察対象物の高調波光や反射散乱光の蛍光画像を作成する場合にも適用可能である。蛍光画像を作成する場合、単光子励起であってもよいし、多光子励起であってもよい。また、自家蛍光の画像を作成することもできる。
上記の実施形態では主に空間光変調器を用いて観察対象物における複数の照射領域に光を照射する場合について説明したが、セグメントタイプのデフォーマブルミラー、回折光学素子、マイクロレンズアレイ、ビームスプリッタなどを用いて、観察対象物における複数の照射領域に光を照射してもよい。また、観察対象物において複数の照射領域は深さが異なっていてもよい。
上記の実施形態では主に検出部としてmPMTを用いる場合について説明したが、MPPC(登録商標)、フォトダイオードアレイ、アバランシェフォトダイオードアレイ、CCDイメージセンサ、CMOSイメージセンサなどを検出部として用いることもできる。
観察対象物における照射領域で発生する光を導いて検出部の受光面上の結像領域に結像する結像光学系の結像倍率は、可変であるのが好適である。例えば、図1に示される画像取得装置1の構成において検出部32の前段に設けられた結像レンズ31もしくはズームレンズ47、または、図2に示される画像取得装置2の構成において検出部32の前段に設けられた結像レンズ31は、可変焦点レンズであるのが好適である。ズーム倍率は、制御部から与えられる電気信号により制御されるのが好適である。可変焦点レンズは、電気信号により制御される素子単体でもよく、あるいは、BK7などのガラス材料などで構成される固定焦点距離のレンズを1枚以上組み合わせた構成でもよい。
画像取得装置1,2では、走査部(光スキャナ14,14a,14b)の走査範囲、検出部32の受光面における結像領域の間隔および数、ならびに、観察対象物における照射領域の大きさによって、視野範囲および分解能がほぼ決まる。例えば、広い視野範囲を観察したい場合には走査範囲を広く設定して走査させる。逆に、狭い視野範囲を観察したい場合には走査範囲を狭く設定して走査させる。
多点走査を行う場合、空間光変調器に呈示する変調パターンによって観察対象物における複数の照射領域の間隔を変更することができ、視野範囲を変更することができる。一方、検出部の受光面において配列されている複数の画素の間隔は固定である。したがって、観察対象物における複数の照射領域の間隔を変更すると、検出部の受光面における結像領域と画素との間の対応関係が異なってしまう。
例えば、観察対象物における複数の照射領域が或る一定間隔で配置されているとき、図23(a)に示されるように、隣り合う2つの結像領域の間に、何れの結像領域にも対応しない画素が存在していたとする。しかし、観察対象物における複数の照射領域が別の間隔で配置されると、図23(b)に示されるように、隣り合う2つの結像領域の間に、何れの結像領域にも対応しない画素が存在しない事態が生じる場合がある。このような事態の発生を回避するために、検出部32の前段に配置された可変焦点レンズを調整することで、観察対象物における複数の照射領域の間隔を変更した場合であっても、図23(a)に示されるような画素構造と結像領域との間の好適な関係を満たすようにすることができる。
空間光変調器を用いて光を回折させて複数の照射領域を形成する場合には、回折格子や複数の照射領域を生成するための変調パターン(ホログラムパターン)を空間光変調器に呈示させる。これらホログラムパターンの最大回折角θmaxは、空間光変調器で表現できる最も空間周波数の高い回折格子パターン(2値2画素周期)の格子間隔aおよび被変調光の波長λから、次式で求められる。
また、観察対象物における+1次回折光と0次回折光(回折格子を表示しないときの集光位置)との間の間隔Lは、対物レンズの焦点距離fobjおよびθmaxを用いて、次式で求められる。したがって、空間光変調器は、観察対象物において光軸を中心に2L×2Lだけ離れた範囲内に照射領域を形成することができる。
ここで、光の波長を800nmとし、格子間隔aを40μmとし、対物レンズの焦点距離fobjを4.5mmとすると、L=90μmが得られる。
観察対象物において複数の照射領域を形成するには、その為のホログラムパターンを空間光変調器に呈示する。ここで、観察対象物において一定間隔で配置された4つの照射領域を形成して走査するものとし、その間隔については次の3とおりを想定して、以下に説明する。
(a)5μm、 (b)10μm、 (c)15μm
観察対象物において照射領域を走査する場合、走査可能範囲は例えば次のようになる。
(a)20×20μm、 (b)40×40μm、 (c)60×60μm
このとき、隣り合う2つの照射範囲で構成される回折角度θはそれぞれ次のようになる。
(a)0.0011[rad]、 (b)0.0022[rad]、 (c)0.0033[rad]
検出部の前段に設けられる可変焦点レンズの焦点距離f1を200mmとする。検出部の受光面における隣り合う2つの結像領域の間の間隔L1は、回折角度θおよび焦点距離f1から下記(8)式で表され、次のようになる。
(a)222μm、 (b)444μm、 (c)666μm
検出部の受光面において配列された複数の画素の間隔を400μmとする。このとき、(a)の条件では、1つの画素に複数の結像領域が対応する恐れがあり、(c)の条件では、蛍光が入射しない画素が生じることになる。
このような問題を解決するために可変焦点レンズを採用する。そして、電気制御のズームレンズを用いて、検出部の受光面における隣り合う2つの結像領域の間の間隔を次のように拡大または縮小する。
(a)3.6倍、 (b)1.8倍、 (c)1.2倍
このようにすることで、隣り合う2つの結像領域の間の間隔を800μmとすることができ、隣り合う2つの結像領域の間に、何れの結像領域にも対応しない画素が存在することになる。
以上より、検出部の複数の画素の間隔p、空間光変調器により形成される複数の照射領域のうちの隣り合う2つの照射領域で構成される回折角度θ、および、検出部の直前に配置されたレンズの焦点距離f1がわかると、次式より、可変焦点レンズが拡大または縮小すべき倍率Mを決定することができ、これに基づいて自動的に調整が実施される。
このMは、実際の実験では理論値と異なる場合がある。まず初めにキャリブレーションを行い理論値と実測とのズレ量を計測し、その実測値も記憶しておく。その後に形成される照射領域の間隔が変化した場合には、ズームレンズの理論値と実測とのズレを考慮して自動的に倍率を変更する。例えば、照射領域の間隔が理論値において1/2に変化した場合には、実測値から1/2となるように倍率を変更すればよい。
可変焦点レンズは、複数枚のレンズを組み合わせた構成とする場合、図24に示されるように固定レンズ101および可変レンズ102により構成することができる。この場合の可変焦点レンズの合成焦点距離f1は、固定レンズ101の焦点距離fsta、可変レンズ102の焦点距離feleおよび両レンズ間の間隔dから、次式で表される。必要な合成焦点距離f1を上記の方法により求めた後、次式から、可変レンズ102の焦点距離feleを求めればよい。
何れにしても、空間光変調器によって生成される複数の照射領域の間隔に応じて、可変焦点レンズの焦点距離を自動的に決めることができる。
なお、励起光および蛍光それぞれのテレセントリックリレーレンズ系の結像倍率が互いに異なる場合には、その結像倍率も考慮する必要がある。例えば、励起光の光学系が3つのリレーレンズ系で構成され、一方、蛍光の光学系が2つのリレーレンズ系で構成される場合に、特に考慮する必要がある。また、レンズに色収差(レンズの焦点距離が波長によって異なる現象)が存在する場合には、その補正が必要となるので、調整のためのフィードバックなどを含めるのが好ましい。
また、可変レンズの倍率が変わっても集光位置が変化しない構成とすることが望ましい。集光位置が変化する場合は、検出器を移動させる構成とすることが望ましい。
1,2…画像取得装置、10…光源、11,12…空間光変調器、13…ダイクロイックミラー、14,14a,14b…光スキャナ、21…対物レンズ、22…対物レンズ移動機構、23…ステージ、24…ステージ移動機構、31…結像レンズ、32…検出部、41〜46…レンズ、47…ズームレンズ、51〜53…ミラー、54…フィルタ、61〜66…レンズ、70…制御部、71…入力部、72…表示部、S…観察対象物。

Claims (22)

  1. 光を出力する光源と、
    前記光源から出力される光を観察対象物の表面または内部における複数の照射領域に集光照射する照射光学系と、
    前記照射光学系による前記観察対象物への光照射の方向の光軸に交差する方向に前記複数の照射領域を走査する走査部と、
    前記照射光学系による前記観察対象物への光照射に伴って前記複数の照射領域それぞれで発生する光を導いて結像する結像光学系と、
    前記複数の照射領域が前記結像光学系により結像される受光面を有し、その受光面上に1次元状または2次元状に複数の画素が配列されており、前記複数の画素それぞれにおける受光量に応じた値の検出信号を出力する検出部と、
    前記検出部から出力される検出信号に基づいて前記観察対象物の画像を作成する画像作成部と、
    を備え、
    前記検出部は、前記受光面上において、前記観察対象物における前記複数の照射領域に対して前記結像光学系による結像関係にある複数の結像領域を有し、前記複数の結像領域それぞれが1または2以上の画素に対応し、前記複数の結像領域の何れにも対応しない画素が各結像領域の隣に存在し、
    前記画像作成部は、前記複数の結像領域それぞれに対応する画素の検出信号を、各結像領域の隣にあって前記複数の結像領域の何れにも対応しない1または2以上の画素の検出信号に基づいて補正し、その補正後の検出信号に基づいて前記観察対象物の画像を作成する、
    画像取得装置。
  2. 前記検出部は、前記受光面上において前記複数の結像領域の何れにも対応しない画素が各結像領域の両隣に存在し、
    前記画像作成部は、前記複数の結像領域それぞれに対応する画素の検出信号を、各結像領域の両隣にあって前記複数の結像領域の何れにも対応しない2つの画素の検出信号に基づいて補正し、その補正後の検出信号に基づいて前記観察対象物の画像を作成する、
    請求項1に記載の画像取得装置。
  3. 前記検出部は、前記受光面上において、前記複数の結像領域が2次元配列され、各結像領域の四方の隣に前記複数の結像領域の何れにも対応しない4つの画素が存在し、
    前記画像作成部は、前記複数の結像領域それぞれに対応する画素の検出信号を、各結像領域の四方の隣であって前記複数の結像領域の何れにも対応しない4つの画素の検出信号に基づいて補正し、その補正後の検出信号に基づいて前記観察対象物の画像を作成する、
    請求項1または2に記載の画像取得装置。
  4. 前記検出部は、前記受光面上において、前記複数の結像領域のうち隣り合う2つの結像領域の間に、前記複数の結像領域の何れにも対応しない2以上の画素が存在する、
    請求項1〜3の何れか1項に記載の画像取得装置。
  5. 前記照射光学系は、前記光源から出力される光を空間的に変調する空間光変調器を含み、前記空間光変調器に変調パターンを呈示することにより当該変調後の光を前記複数の照射領域に集光照射する、
    請求項1〜4の何れか1項に記載の画像取得装置。
  6. 前記照射光学系は、前記光源から出力される光を回折させる回折光学素子を含み、前記回折光学素子による回折後の光を前記複数の照射領域に集光照射する、
    請求項1〜4の何れか1項に記載の画像取得装置。
  7. 前記走査部は、前記照射光学系の光路上に設けられた光スキャナを含み、この光スキャナを駆動することにより前記複数の照射領域を走査する、
    請求項1〜6の何れか1項に記載の画像取得装置。
  8. 前記走査部は、前記照射光学系による前記観察対象物への光照射の方向にも前記複数の照射領域を走査する、
    請求項1〜7の何れか1項に記載の画像取得装置。
  9. 前記結像光学系の結像倍率が可変である、
    請求項1〜8の何れか1項に記載の画像取得装置。
  10. 前記検出部は、前記複数の画素として複数のアノードを有するマルチアノード光電子増倍管を含む、
    請求項1〜9の何れか1項に記載の画像取得装置。
  11. 前記検出部は、前記複数の画素として複数のアバランシェフォトダイオードが配列されたものを含む、
    請求項1〜9の何れか1項に記載の画像取得装置。
  12. 光を出力する光源と、
    前記光源から出力される光を観察対象物の表面または内部における複数の照射領域に集光照射する照射光学系と、
    前記照射光学系による前記観察対象物への光照射の方向の光軸に交差する方向に前記複数の照射領域を走査する走査部と、
    前記照射光学系による前記観察対象物への光照射に伴って前記複数の照射領域それぞれで発生する光を導いて結像する結像光学系と、
    前記複数の照射領域が前記結像光学系により結像される受光面を有し、その受光面上に1次元状または2次元状に複数の画素が配列されており、前記複数の画素それぞれにおける受光量に応じた値の検出信号を出力する検出部と、
    を用いて、前記検出部から出力される検出信号に基づいて前記観察対象物の画像を作成する画像取得方法であって、
    前記検出部の前記受光面上において、前記観察対象物における前記複数の照射領域に対して前記結像光学系による結像関係にある複数の結像領域を有し、前記複数の結像領域それぞれが1または2以上の画素に対応し、前記複数の結像領域の何れにも対応しない画素が各結像領域の隣に存在する構成とし、
    前記複数の結像領域それぞれに対応する画素の検出信号を、各結像領域の隣にあって前記複数の結像領域の何れにも対応しない1または2以上の画素の検出信号に基づいて補正し、その補正後の検出信号に基づいて前記観察対象物の画像を作成する、
    画像取得方法。
  13. 前記検出部の前記受光面上において、前記複数の結像領域の何れにも対応しない画素が各結像領域の両隣に存在する構成とし、
    前記複数の結像領域それぞれに対応する画素の検出信号を、各結像領域の両隣にあって前記複数の結像領域の何れにも対応しない2つの画素の検出信号に基づいて補正し、その補正後の検出信号に基づいて前記観察対象物の画像を作成する、
    請求項12に記載の画像取得方法。
  14. 前記検出部の前記受光面上において、前記複数の結像領域が2次元配列され、各結像領域の四方の隣に前記複数の結像領域の何れにも対応しない4つの画素が存在する構成とし、
    前記複数の結像領域それぞれに対応する画素の検出信号を、各結像領域の四方の隣であって前記複数の結像領域の何れにも対応しない4つの画素の検出信号に基づいて補正し、その補正後の検出信号に基づいて前記観察対象物の画像を作成する、
    請求項12または13に記載の画像取得方法。
  15. 前記検出部の前記受光面上において、前記複数の結像領域のうち隣り合う2つの結像領域の間に、前記複数の結像領域の何れにも対応しない2以上の画素が存在する構成とする、
    請求項12〜14の何れか1項に記載の画像取得方法。
  16. 前記照射光学系は、前記光源から出力される光を空間的に変調する空間光変調器を含む構成とし、前記空間光変調器に変調パターンを呈示することにより当該変調後の光を前記複数の照射領域に集光照射する、
    請求項12〜15の何れか1項に記載の画像取得方法。
  17. 前記照射光学系は、前記光源から出力される光を回折させる回折光学素子を含む構成とし、前記回折光学素子による回折後の光を前記複数の照射領域に集光照射する、
    請求項12〜15の何れか1項に記載の画像取得方法。
  18. 前記走査部は、前記照射光学系の光路上に設けられた光スキャナを含む構成とし、この光スキャナを駆動することにより前記複数の照射領域を走査する、
    請求項12〜17の何れか1項に記載の画像取得方法。
  19. 前記走査部により、前記照射光学系による前記観察対象物への光照射の方向にも前記複数の照射領域を走査する、
    請求項12〜18の何れか1項に記載の画像取得方法。
  20. 前記結像光学系の結像倍率が可変である、
    請求項12〜19の何れか1項に記載の画像取得方法。
  21. 前記検出部は、前記複数の画素として複数のアノードを有するマルチアノード光電子増倍管を含む、
    請求項12〜20の何れか1項に記載の画像取得方法。
  22. 前記検出部は、前記複数の画素として複数のアバランシェフォトダイオードが配列されたものを含む、
    請求項12〜20の何れか1項に記載の画像取得方法。
JP2016074204A 2016-04-01 2016-04-01 画像取得装置および画像取得方法 Active JP6722883B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016074204A JP6722883B2 (ja) 2016-04-01 2016-04-01 画像取得装置および画像取得方法
CN201780020100.2A CN109073873B (zh) 2016-04-01 2017-03-08 图像取得装置以及图像取得方法
US16/089,394 US10890530B2 (en) 2016-04-01 2017-03-08 Image acquisition device and image acquisition method
PCT/JP2017/009269 WO2017169597A1 (ja) 2016-04-01 2017-03-08 画像取得装置および画像取得方法
DE112017001734.3T DE112017001734T5 (de) 2016-04-01 2017-03-08 Bilderfassungsvorrichtung und Bilderfassungsverfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016074204A JP6722883B2 (ja) 2016-04-01 2016-04-01 画像取得装置および画像取得方法

Publications (2)

Publication Number Publication Date
JP2017187532A JP2017187532A (ja) 2017-10-12
JP6722883B2 true JP6722883B2 (ja) 2020-07-15

Family

ID=59964101

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016074204A Active JP6722883B2 (ja) 2016-04-01 2016-04-01 画像取得装置および画像取得方法

Country Status (5)

Country Link
US (1) US10890530B2 (ja)
JP (1) JP6722883B2 (ja)
CN (1) CN109073873B (ja)
DE (1) DE112017001734T5 (ja)
WO (1) WO2017169597A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7007227B2 (ja) 2018-04-09 2022-01-24 浜松ホトニクス株式会社 試料観察装置及び試料観察方法
KR102104238B1 (ko) * 2018-10-19 2020-04-24 한국과학기술연구원 광변조기 기반 구조 조명 현미경 시스템 및 상기 시스템에 의해 수행되는 이미지 생성 방법
DE102020209889A1 (de) * 2020-08-05 2022-02-10 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zur mikroskopischen Bildaufnahme mit variabler Beleuchtung

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100530218C (zh) 2002-09-09 2009-08-19 宇东科技股份有限公司 借助校正数据参数调整影像的方法
US20040213463A1 (en) * 2003-04-22 2004-10-28 Morrison Rick Lee Multiplexed, spatially encoded illumination system for determining imaging and range estimation
JP4425098B2 (ja) * 2004-09-06 2010-03-03 浜松ホトニクス株式会社 蛍光顕微鏡および蛍光相関分光解析装置
US20070057211A1 (en) * 2005-05-25 2007-03-15 Karsten Bahlman Multifocal imaging systems and method
JP2008049393A (ja) * 2006-08-28 2008-03-06 Univ Of Tokushima レーザ加工装置及びレーザ加工方法
US8463068B2 (en) * 2007-08-09 2013-06-11 Micron Technology, Inc. Methods, systems and apparatuses for pixel value correction using multiple vertical and/or horizontal correction curves
JP2009130777A (ja) * 2007-11-27 2009-06-11 Victor Co Of Japan Ltd 撮像装置
US9767342B2 (en) * 2009-05-22 2017-09-19 Affymetrix, Inc. Methods and devices for reading microarrays
DE102009024943A1 (de) * 2009-06-10 2010-12-16 W.O.M. World Of Medicine Ag Bildgebungssystem und Verfahren zur fluoreszenz-optischen Visualisierung eines Objekts
JP2011128572A (ja) 2009-12-21 2011-06-30 Olympus Corp ホログラム像投影方法およびホログラム像投影装置
US9946058B2 (en) 2010-06-11 2018-04-17 Nikon Corporation Microscope apparatus and observation method
US8384041B2 (en) 2010-07-21 2013-02-26 Carestream Health, Inc. Digital radiographic imaging arrays with reduced noise
US8872946B2 (en) * 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
US8917336B2 (en) * 2012-05-31 2014-12-23 Apple Inc. Image signal processing involving geometric distortion correction
JP6116142B2 (ja) 2012-06-21 2017-04-19 オリンパス株式会社 走査型共焦点レーザ顕微鏡
JP6047325B2 (ja) * 2012-07-26 2016-12-21 浜松ホトニクス株式会社 光変調方法、光変調プログラム、光変調装置、及び光照射装置
WO2014020967A1 (ja) 2012-08-02 2014-02-06 オリンパス株式会社 共焦点顕微鏡又は多光子顕微鏡の光学系を用いた光分析装置、光分析方法及び光分析用コンピュータプログラム
WO2014041660A1 (ja) * 2012-09-13 2014-03-20 浜松ホトニクス株式会社 光変調制御方法、制御プログラム、制御装置、及びレーザ光照射装置
CN105379253A (zh) 2013-01-25 2016-03-02 纽约市哥伦比亚大学理事会 景深3d成像空间光调制器显微镜
CN105026916B (zh) 2013-03-06 2017-07-14 浜松光子学株式会社 荧光受光装置以及荧光受光方法
US9224782B2 (en) * 2013-04-19 2015-12-29 Semiconductor Components Industries, Llc Imaging systems with reference pixels for image flare mitigation
JP2015001674A (ja) * 2013-06-17 2015-01-05 オリンパス株式会社 空間光変調器を用いた光の変調方法、及び、空間光変調器を備えた装置
DE102013019347A1 (de) * 2013-08-15 2015-02-19 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
JP6584131B2 (ja) * 2015-05-08 2019-10-02 キヤノン株式会社 撮像装置、撮像システム、および信号処理方法

Also Published As

Publication number Publication date
WO2017169597A1 (ja) 2017-10-05
CN109073873B (zh) 2020-12-29
JP2017187532A (ja) 2017-10-12
DE112017001734T5 (de) 2018-12-20
CN109073873A (zh) 2018-12-21
US10890530B2 (en) 2021-01-12
US20200300762A1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
JP6411472B2 (ja) レーザスキャニング顕微鏡、および特に高解像度のスキャニング顕微鏡法で結像収差を修正する方法
US10168521B2 (en) Stimulated emission depletion microscope
JP6276749B2 (ja) 蛍光受光装置および蛍光受光方法
US10191263B2 (en) Scanning microscopy system
US10352819B2 (en) Method of measuring transmission characteristics of optical transfer medium and image acquisition device using the same
US20130120563A1 (en) Image generation device
JP6570427B2 (ja) 画像取得装置、画像取得方法、及び空間光変調ユニット
JP6722883B2 (ja) 画像取得装置および画像取得方法
US10746657B2 (en) Method for accelerated high-resolution scanning microscopy
US20130250088A1 (en) Multi-color confocal microscope and imaging methods
JP6210754B2 (ja) 走査型光学顕微鏡
JP2006301541A (ja) 走査型蛍光観察装置
KR101080382B1 (ko) 공초점 레이저 주사 현미경
JP6260391B2 (ja) 共焦点顕微鏡装置及び共焦点観察方法
JP6639595B2 (ja) 誘導放射抑制顕微鏡装置
JP2010164635A (ja) 共焦点顕微鏡
JP2010039323A (ja) 共焦点顕微鏡
JP6539052B2 (ja) 画像取得装置および画像取得方法
WO2023074326A1 (ja) 顕微鏡装置及び画像取得方法
JP6003072B2 (ja) 顕微鏡装置
JP5765569B2 (ja) 顕微鏡装置
JP2023065883A (ja) 光照射装置、顕微鏡装置、光照射方法、及び画像取得方法
JP2008210977A (ja) 光源装置、観察装置および加工装置
WO2020179068A1 (ja) 顕微鏡
JP2019215560A (ja) 画像取得装置、画像取得方法、及び空間光変調ユニット

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200605

R150 Certificate of patent or registration of utility model

Ref document number: 6722883

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250