JPWO2020013325A1 - 画像生成装置及び画像生成方法 - Google Patents

画像生成装置及び画像生成方法 Download PDF

Info

Publication number
JPWO2020013325A1
JPWO2020013325A1 JP2020530281A JP2020530281A JPWO2020013325A1 JP WO2020013325 A1 JPWO2020013325 A1 JP WO2020013325A1 JP 2020530281 A JP2020530281 A JP 2020530281A JP 2020530281 A JP2020530281 A JP 2020530281A JP WO2020013325 A1 JPWO2020013325 A1 JP WO2020013325A1
Authority
JP
Japan
Prior art keywords
image
sample
infrared light
light
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020530281A
Other languages
English (en)
Other versions
JP7012315B2 (ja
Inventor
拓郎 井手口
拓郎 井手口
圭一郎 戸田
圭一郎 戸田
未侑 玉光
未侑 玉光
和樹 橋本
和樹 橋本
遼一 堀▲崎▼
遼一 堀▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Osaka University NUC
University of Tokyo NUC
Original Assignee
Osaka University NUC
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osaka University NUC, University of Tokyo NUC filed Critical Osaka University NUC
Publication of JPWO2020013325A1 publication Critical patent/JPWO2020013325A1/ja
Application granted granted Critical
Publication of JP7012315B2 publication Critical patent/JP7012315B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/1717Systems in which incident light is modified in accordance with the properties of the material investigated with a modulation of one or more physical properties of the sample during the optical investigation, e.g. electro-reflectance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3563Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/45Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N21/4788Diffraction
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0092Polarisation microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/14Condensers affording illumination for phase-contrast observation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/1717Systems in which incident light is modified in accordance with the properties of the material investigated with a modulation of one or more physical properties of the sample during the optical investigation, e.g. electro-reflectance
    • G01N2021/1725Modulation of properties by light, e.g. photoreflectance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)

Abstract

試料内に存在する観察対象物質の赤外吸収スペクトルに対応する波長の試料に対する赤外光IRの照射を第1状態および第2状態の間で切り替えつつ、可視領域の照射光を試料に照射して、赤外光IR照射の第1状態及び第2状態の切り替えに同期して、試料を透過した照射光を含む光の位相の分布、強度の分布及び偏光方向の分布に基づき第1画像及び第2画像を生成する。そして、第1画像と第2画像の画素毎の画素値の差分および/または比率から観察対象物質の位置、大きさ及び形状の少なくとも1以上を示す出力画像を生成する。

Description

本発明は、試料に光を照射しつつ、当該試料の2次元または3次元画像を生成する画像生成装置などに関する。
近年、薬理学やバイオテクノロジー等の生命科学分野においては試料(サンプル)となる細胞を変質させることなく、生体内において特定の分子が、いつ、どこで、どの分子と連関して機能しているかを非侵襲に観察することの重要性が増してきている。
しかしながら、この種の生体試料は、通常の光学顕微鏡では、形状以外の情報を得ることが難しく、その内部構造や試料内に存在する分子の振る舞いを、ユーザ(観察者)が観察可能な状態にし、又は、画像化して、可視化することが難しい。
このため、従来から、試料内の無色透明な観察対象物質(例えば、所定のタンパク質やDNA(デオキシリボ核酸)等)を可視化する方法として、蛍光イメージング技術が利用されている。
蛍光イメージングにおいては、特定の波長を持った励起光に反応して蛍光と呼ばれる別の波長の光を発する性質を持つ蛍光プローブ(例えば、有機色素や量子ドット等)を、観察対象となる細胞内の生理活性分子と反応及び結合させることによってサンプル内に導入し、このプローブから発せられる蛍光を検出することによって、対象の生理活性分子の空間的な分布を間接的に可視化する方法が採用されている。
しかしながら、細胞等の生体試料に蛍光プローブを導入した場合には、蛍光プローブに起因する擾乱(例えば、蛍光プローブの毒性による生体試料の細胞死等)により生体試料が本来の状態から変質し、試料本来の状態を観察することが難しくなる可能性がある。
また、蛍光プローブは、励起光を照射したのち数分程度で退色するため、長時間の観察(例えば、幹細胞の分化状態の観察や細胞内への薬剤の浸透観察等)に不向きである。
さらに、蛍光プローブを用いる場合には、観察対象となる生理活性分子毎に異なる蛍光プローブを準備する必要があるが、現状、実用化されている蛍光プローブの数には限りがあるので、観察可能な生理活性分子の数や種類は制限される。
そこで、近年では、蛍光プローブを用いないラベルフリーのイメージング手法として、観察対象となる生理活性分子の分子振動を可視化する赤外分光イメージング技術(例えば、特許文献1)やラマン分光イメージング技術(例えば、特許文献2)が実用化されてきている。
特に、赤外分光イメージング技術においては、対象分子の分子振動に共鳴した赤外光を生体等の試料に照射して、当該分子による照明赤外光のエネルギーの吸収を引き起こし、その透過及び反射係数を検出することで、当該分子の空間的な存在と濃度が定量的に画像化される。
そして、この方法によれば、照明赤外光の波長を掃引などすることにより広帯域の(すなわち、多種多様な)分子振動を走査および特定することが可能であり、かつ、高い感度で分子振動共鳴による赤外吸収現象が検出される。
また、この方法によれば、ラマン分光イメージングと比較して、対象分子の分子振動に対する高い検出感度を実現し、高い感度で観察対象分子を検出できるようになっている。
しかしながら、赤外分光イメージング技術においては、検出可能な空間分解能が利用する光の波長に依存するため、赤外光の回折限界である数μm〜数十μm程度の空間分解能しか得られない。
一方、ラマン分光イメージング技術においては、生体等の試料に照射した光のうち分子振動の周波数分だけ波長がシフトした、ラマン散乱光と呼ばれる成分を検出することによって、サンプル内の対象分子の存在を検出できる。
この方法によれば、赤外光と比較して短波長の電磁波を利用したイメージングが実現できるため、数百nm程度の高い空間解像度を実現できる。
しかしながら、ラマン散乱の散乱断面積(すなわち、1つの分子からラマン散乱光子1つを得るために必要な光子密度の逆数)は、約10−30cm程度であり、一般的な蛍光分子の吸収断面積が、10−16cmであることと比較すると、ラマン散乱の効率は低く、観察対象分子の検出感度を向上させることが難しい。
一方、最近では、試料に対して画像生成用の可視光レーザと同時に観察対象分子の吸収線に対応する赤外光を照射し、観察対象分子の屈折率を変化させつつ、サンプルの屈折率変化を、可視光を用いて観察することにより、観察対象となる生理活性分子を、高感度かつ高解像度にて画像化する光学顕微鏡も提案されている(例えば、非特許文献1)。
特開平5−241078号公報 特開2013−183108号公報
Delong Zhang,Chen Li,Chi Zhang ,Mikhail N.Slipchenko,Gregory Eakins,J o−Xin Cheng"Depth−resolved mid−infrare d photothermal imaging of living cells and organisms with submicrometer spat ial resolution"Science advances Vol.2, no.9,e1600521(Sep.2016)
しかしながら、上記非特許文献1に記載の装置にあっては、1次元的な計測点を試料上で掃引することによって2次元画像の構成を行うため、例えば、100×100画素の2次元画像を生成するためには1万点の計測を行う必要があり、撮影速度を向上させることが難しい。
本発明は、上述した課題に鑑みたものであり、生体細胞等の各種試料に含まれる観察対象分子の高感度かつ高空間分解能な画像を短時間で取得することが可能な画像生成装置を提供することにある。
本発明のある態様は、画像生成装置に関する。画像生成装置は、
試料に含まれる観察対象物質の赤外吸収線に共鳴した波長の刺激入力用赤外光を照射する刺激入力手段と、
前記刺激入力用赤外光よりも波長が短い照射光を発生する光源と、
前記照射光を試料に照射する照射光学部と、
前記刺激入力手段による前記刺激入力用赤外光の照射を第1状態および第2状態の間で切り替える制御手段と、
前記試料を透過した前記照射光及び前記試料により反射された前記照射光の少なくとも一方における(1)位相の分布、(2)強度の分布及び(3)偏光方向の分布のうち少なくともひとつを検出する検出手段と、
前記検出手段の出力に応じて前記試料の特性を示す出力画像を生成する生成手段と、
を備える。
前記生成手段は、
前記第1状態における前記検出手段の出力にもとづく第1画像と、前記第2状態における前記検出手段の出力にもとづく第2画像と、を生成し、
前記第1画像および前記第2画像の対応する画素同士の差分および/または比率を算出し、
各画素の差分および/または比率にもとづいて前記出力画像を生成する。
第1実施形態における画像生成装置の構成を示すブロック図である。 シリカビーズの赤外吸収スペクトルの一例を示す図である。 図1の画像生成装置により撮像したシリカビーズとポリスチレンビーズを含む試料を撮影した画像を示す図であって、オフ画像及びオフ−オフ差分画像を示す図である。 図1の画像生成装置により撮像したシリカビーズとポリスチレンビーズを含む試料を撮影した画像を示す図であって、オン−オフ差分画像及びその画像の拡大画像を示す図である。 図1の画像生成装置により撮像したシリカビーズとポリスチレンビーズを含む試料を撮像した画像を示す図であって、オフ画像及びオフ−オフ差分画像を示す図である。 図1の画像生成装置により撮像したシリカビーズとポリスチレンビーズを含む試料を撮像した画像を示す図であって、オン−オフ差分画像を示す図である。 図7(a)〜(d)は、図1の画像生成装置により、シリカビーズとポリスチレンビーズを含む試料を撮影した結果を示す図である。 図1の画像生成装置により豚の筋肉組織を撮像した画像を示す図であって、オフ画像及びオフ−オフ差分画像を示す図である。 図1の画像生成装置により豚の筋肉組織を撮像した画像を示す図であって、オン−オフ差分画像を示す図である。 図10(a)、(b)は、図1の画像生成装置により、HeLa細胞を観察したときの結果を示す図である。 第2実施形態における画像生成装置の構成を示すブロック図である。 変形例1の画像生成装置により撮像したシリカビーズの撮像画像を示す図であって、オフ画像及びオフ−オフ差分画像を示す図である。 変形例1の画像生成装置により撮像したシリカビーズの撮像画像を示す図であって、オン−オフ差分画像を示す図である。 変形例2の画像生成装置により撮像したシリカビーズの撮像画像を示す図であって、オフ画像及びオフ−オフ差分画像を示す図である。 変形例2の画像生成装置により撮像したシリカビーズの撮像画像を示す図であって、オン−オフ差分画像を示す図である。 変形例3の画像生成装置により撮像した豚の筋肉組織の撮像画像を示す図であって、オフ画像及びオフ−オフ差分画像を示す図である。 変形例3の画像生成装置により撮像した豚の筋肉組織の撮像画像を示す図であって、オン−オフ差分画像を示す図である。 第3実施形態に係る画像生成装置の構成を示すブロック図である。 図18の画像生成装置の動作を説明するタイムチャートである。 図20(a)〜(d)は、図18の画像生成装置によって得られるオイルの測定結果を示す図である。 図21(a)〜(d)は、図18の画像生成装置によって得られるマイクロビーズの測定結果を示す図である。 図22(a)、(b)は、図18の画像生成装置によって得られる生体試料の測定結果を示す図である。 第4実施形態に係る画像生成装置の構成を示すブロック図である。 図24(a)、(b)は、図23の画像生成装置によって得られるマイクロビーズの測定結果を示す図である。
以下、本発明の実施形態について説明する。なお、以下に説明する実施形態は、細胞などの無色透明な生体試料の2次元もしくは3次元の画像を生成する光学顕微鏡に対して、本願の画像生成装置及び画像生成方法を適用した場合の実施形態である。また、本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、以下の実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
(実施の形態の概要)
(1)本明細書に開示されるいくつかの実施の形態は画像生成装置に関する。画像生成装置は、
試料に含まれる観察対象物質の赤外吸収線に共鳴した波長の刺激入力用赤外光を照射する刺激入力手段と、
前記刺激入力用赤外光よりも波長が短い照射光を発生する光源と、
前記照射光を試料に照射する照射光学部と、
前記刺激入力手段による前記刺激入力用赤外光の照射を第1状態および第2状態の間で切り替える制御手段と、
前記試料を透過した前記照射光及び前記試料により反射された前記照射光の少なくとも一方における(1)位相の分布、(2)強度の分布及び(3)偏光方向の分布のうち少なくともひとつを検出する検出手段と、
前記検出手段の出力に応じて前記試料の特性を示す出力画像を生成する生成手段と、
を備える。
前記生成手段は、
前記第1状態における前記検出手段の出力にもとづく第1画像と、前記第2状態における前記検出手段の出力にもとづく第2画像と、を生成し、
前記第1画像および前記第2画像の対応する画素同士の差分および/または比率を算出し、
各画素の差分および/または比率にもとづいて前記出力画像を生成する。
この構成により、試料に含まれる観察対象物質の分子的な情報を非侵襲に画像化し、可視化することができる。
一般的には、試料に含まれる観察対象物質は、自身の赤外吸収線に対応する刺激入力用赤外光が照射されると分子振動吸収を生じ、屈折率、形状、透過率、反射率等の物理特性がフォトサーマル効果(光熱効果)により変化する。
したがって、試料に照射する刺激入力用赤外光を2状態で変化させた場合、2状態において得られた2つの画像(第1画像と第2画像)には、刺激入力用赤外光の変化が反映される。したがって、第1画像と第2画像の対応する画素同士の差分や比率にもとづく画像を生成することで、試料に含まれる観察対象の物質を選択的に観察したり、その物質が吸収するスペクトルを調べたりすることが可能となる。
(2) 一実施の形態において、第1状態において刺激入力用赤外光はオンであり、第2状態において刺激入力用赤外光はオフであってもよい。
この場合、試料に刺激入力用赤外光が照射された状態(当該刺激入力用赤外光が試料上においてオンなっている状態(以下、「オン状態」ともいう。)になると、試料に含まれる物質において刺激入力用赤外光を吸収した分子および/または、その周辺媒質のみ物理特性が変化した状態になる。
すなわち、刺激入力用赤外光のオン状態において、試料に刺激入力用赤外光よりも波長が短く、近赤外領域、可視領域及び紫外領域の何れかの波長範囲内の照射光が照射されると、試料を透過した照射光(以下、「透過光」ともいう。)、又は、試料にて反射される照射光(以下、「反射光」ともいう。)における位相、振幅、又は、偏光状態が変化し、これらの光における位相の分布、強度の分布、及び、偏光方向の分布のうち少なくとも1以上を検出すれば、試料に含まれる観察対象物質の位置、濃度、大きさ、及び、形状などを画像として可視化することができるようになる。
また、このように可視化される試料には、観察対象物質が含まれており、当該観察対象物質を含み刺激入力用赤外光がオン状態の試料の画像(第1画像、あるいは、オン画像という)には、基本的には、観察対象物質以外の物質に対応する画素値成分も含まれている。
しかしながら、試料に対する刺激入力用赤外光の照射がオフの状態(以下、「オフ状態」ともいう。)にて試料を透過した照射光(透過光)若しくは試料により反射された照射光(反射光)における位相の分布、強度の分布、又は、偏光方向の分布を検出して生成した画像(第2画像あるいはオフ画像という)とオン画像との画素毎の画素値の差分を算出すれば、観察対象物質以外の物質に起因する画素値成分を除去することができる。
したがって、この実施の形態によれば、励起用(刺激入力用)の赤外光を照射することによって試料に含まれる観察対象物質の分子振動吸収を発生させ、観察対象物質の屈折率、形状、又は、透過率の変化を誘起するとともに、刺激入力用赤外光よりも波長が短く、近赤外領域、可視領域及び紫外領域の何れかの波長範囲内の照射光を用いてオン画像及びオフ画像を取得し、これらを画像処理することによって、試料に含まれる観察対象物質の分子情報を非侵襲に画像化し、可視化することができる。
また、この実施の形態によれば、励起光として赤外光(すなわち、刺激入力用赤外光)を用いているので、小さい光エネルギーおよび光量で高感度な分子振動イメージングを行うことが可能となり、ラマン分光イメージングなどに比べて、電子遷移過程などに由来するサンプルに対する光ダメージを低減することが期待できる。
さらに、照射光として刺激入力用赤外光よりも波長が短く、近赤外領域、可視領域及び紫外領域の何れかの波長範囲内の光を用いるので、赤外分光イメージングよりも高い空間解像度を実現し、数百nm程度の空間分解能にて対象の2次元情報を検出できる。
また必要に応じて、レンズ系と一般的な2次元イメージセンサを用いた結像光学系に基づく計測によって2次元画像あるいは3次元画像を取得することも可能である。また、観察対象物質の2次元あるいは3次元画像生成を高速化して、単位時間当たりの検出感度を向上させることも可能である。
なお、画像生成装置を、超解像顕微鏡として構成した場合には、数nm〜数十nm程度の空間解像度を実現することも可能である。また、空間分解能は、波長に依存し、数10nm程度の波長の照明光を使うことにより数10nmから数nm程度の空間解像度を実現することもできる。
なお、試料を透過した照射光及び試料により反射された照射光の少なくとも一方における(1)位相の分布、(2)強度の分布及び(3)偏光方向の分布の少なくともひとつに基づき、オン画像及びオフ画像を生成する方法については特に限定されない。
例えば、従来の位相差顕微鏡、微分干渉顕微鏡、デジタルホログラフィック顕微鏡、明視野および暗視野光学顕微鏡、偏光干渉計等と同様に、光の物理特性の分布を何らかの手段で検出可能にした光学系を通して試料の像を2次元検出器(CCD(Charge−Coupled Device)やCMOS(Complementary Metal−Oxide−Semiconductor)イメージセンサなど)上に結像し、オン画像及びオフ画像を取得するようにすればよい。
上記に加えて、前記試料から前記検出手段まで至る光路が、前記観察対象物質の分子振動に共鳴する赤外光を非吸収とする材質によって構成されていてもよい。
例えば、この場合には、試料から検出手段までの間に赤外光が吸収されることによって、試料を透過した照射光、又は、試料にて反射された反射光の位相等の物理特性が変調されること、及び、生成される出力画像におけるノイズの発生を防止することができる。
そして、例えば、試料から検出手段までの間に設けられる部材としては、後述のスライドガラスや対物レンズなどがある。
また、赤外領域には空気中の水の吸収線なども含まれるので、生成画像における空気中の水による吸収の影響を低減するためには、試料から検出手段までの光路を窒素等の物質によりパージし、当該光路の雰囲気中に水分子が介在しない状態を創り出すことが好ましい。
さらに、光路中の水分子を除去するため、窒素等をパージする具体的な手法については、任意であり、例えば、光路を密閉して、窒素を注入しつつ、密閉空間内の空気を排気して、光路雰囲気中の水分子を除去するようにしてもよい。
(3)前記刺激入力手段は、前記刺激入力用赤外光の波長を可変に構成されてもよい。
この構成により、観察対象物質の種類が多岐に渡る場合においても、複数種類の物質それぞれの赤外吸収線に対応する複数の異なる刺激入力用赤外光を照射することにより、試料中の観察対象物質を可視化、差別化、及び、同定することができる。
なお、各物質の赤外吸収スペクトル自体は、FTIR(フーリエ変換赤外分光学)等において既知であるため、観察したいと考える物質に対応する吸収線に合わせて試料に照射する刺激入力用赤外光の波長を予め設定してもよいし、所定の範囲内で刺激入力用赤外光の波長を連続的に掃引し、オン画像とオフ画像間の変化が最も顕著である波長の画像を採用してもよい。
(4)第1状態と第2状態において、刺激入力用赤外光の強度が異なっていてもよい。すなわち、刺激入力手段は、第1の強度を有する第1刺激入力用赤外光と、前記第1刺激入力用赤外光と同一の波長を有するとともに、前記第1の強度とは異なる第2の強度を有する第2刺激入力用赤外光と、を切り替え可能に構成されてもよい。
この構成により、刺激入力手段から試料に照射する励起用の赤外光の強度を第1の強度と第2の強度の間で繰り返し切り替えつつ、第1画像と、第2画像を生成し、第1画像と、第2画像の対応する画素同士の差分や比率を算出することにより、第1画像に含まれる観察対象物質以外に起因する画素成分を除去して、試料中に含まれる観察対象物質の分子情報を非侵襲に画像化し、可視化することができる。
(5) 第1状態と第2状態において、刺激入力用赤外光の波長が異なっていてもよい。すなわち刺激入力手段は、試料に含まれる観察対象物質の赤外吸収線に共鳴した第1の波長を有する第1刺激入力用赤外光と、前記第1刺激入力用赤外光とは異なる第2の波長を有する第2刺激入力用赤外光と、を切り替えて照射可能に構成されてもよい。
この構成により、刺激入力手段から試料に照射する赤外光の波長を第1の波長と第2の波長の間で繰り返し切り替えつつ、第1画像と、第2画像を生成し、第1画像と第2画像の対応する画素同士の差分および/または比率を算出することにより、第1画像に含まれる観察対象物質以外に起因する画素成分を除去して、試料中に含まれる観察対象物質の分子情報を非侵襲に画像化し、可視化することができる。
(6)前記検出手段は、前記試料に相対する位置に設けられ、当該試料の像の一部を拡大する対物レンズを更に備えてもよい。
この構成により、出力画像として、観察対象物質を含む試料の拡大画像を生成することができるので、光学顕微鏡としての機能を有した画像生成装置を提供することができる。
なお、この対物レンズは、スライドガラスと同様に観察対象物質の分子振動に共鳴する赤外光を非吸収とする材質によって構成されてもよく、一般的なガラス等により構成されてもよい。
(4)また本明細書には、試料の画像を生成する画像生成方法が開示される。
画像生成方法は、
前記試料に含まれる観察対象物質の赤外吸収線に共鳴した波長の刺激入力用赤外光を前記試料に照射し、前記刺激入力用赤外光の状態を、第1状態と第2状態とで切り替えるステップと、
前記刺激入力用赤外光よりも波長が短い照射光を、前記刺激入力用赤外光と同時に前記試料に照射するステップと、
前記刺激入力用赤外光の前記第1状態において、前記試料を透過した前記照射光及び前記試料により照射光が反射された反射光の少なくとも一方における(1)位相の分布、(2)強度の分布及び(3)偏光方向の分布のうち少なくともひとつを検出し、当該検出結果に応じて第1画像を生成するステップと、
前記刺激入力用赤外光の前記第2状態において、前記試料を透過した前記照射光及び前記反射光の少なくとも一方における(1)前記位相の分布、(2)前記強度の分布及び(3)前記偏光方向の分布のうち少なくともひとつを検出し、当該検出結果に応じて第2画像を生成するステップと、
前記第1画像及び前記第2画像の対応する画素同士の差分および/または比率を算出し、各画素の差分および/または比率にもとづいて前記試料の画像を生成するステップと、
を備える。
試料に近赤外領域、可視領域及び紫外領域の何れかの波長範囲内の照射光を照射しつつ、励起用の赤外光(すなわち、刺激入力用赤外光)を照射することによって観察対象物質による赤外光のエネルギーの分子振動吸収を発生させ、それにより観察対象物質の屈折率、形状、又は、透過率等を確実に変化させることができるので、試料に含まれる観察対象物質の分子情報を非侵襲に画像化し、可視化することができる。
[1]第1実施形態
[1.1]構成
まず、図1を用いて本願の第1実施形態における画像生成装置1の構成について説明する。なお、図1は、本実施形態の画像生成装置1の構成を示すブロック図である。この画像生成装置1を、赤外フォトサーマル位相差顕微鏡と称する。
本実施形態の画像生成装置1は、可視領域の波長範囲内の光を射出する光源110と、位相差観察用コンデンサ120と、試料が載置されるスライドガラス130と、対物レンズ部140と、イメージセンサ150と、画像生成処理部160と、赤外光照射部170と、を有している。
そして、光源110、位相差観察用コンデンサ120、スライドガラス130、対物レンズ部140及びイメージセンサ150は、中心軸を合わせた状態で設置され、全体として透過型の位相差顕微鏡としての各機能を実現する。
なお、例えば、本実施形態の位相差観察用コンデンサ120は、本発明の「照射光学部」を構成し、対物レンズ部140及びイメージセンサ150は、本発明の「検出手段」を構成する。また、例えば、本実施形態の画像生成処理部160及び赤外光照射部170は、それぞれ、本発明の「生成手段」及び「刺激入力手段」を構成する。
光源110は、例えば、可視領域の波長(400nm〜700nm程度)の光を射出するLED(Light−Emitting Diode)などによって構成することができ、位相差観察用コンデンサ120に対して走査用の可視光を出力する。なお、光源110は、広帯域の可視光を射出するものを用いてもよく、所定波長の可視光(例えば、赤や緑の可視光)を射出するものを用いてもよい。
位相差観察用コンデンサ120は、光源110から出力された走査用可視光を受光し、照射光ILとして試料が載置されるスライドガラス130に出力する。
特に、位相差観察用コンデンサ120は、コンデンサレンズ122の前側焦点面上に配置されたリング形状のスリット121Aを有するリング絞り121と、当該リング絞り121のスリット121Aを通って、入射された光を集光し、集光した光束を照射光ILとして試料に対して出力するコンデンサレンズ122と、から構成される。
スライドガラス130は、照射光ILの光路上に形成されており、試料が載置される部材である。特に、スライドガラス130は、試料に照射された照射光ILを透過する材質によって形成されている。
対物レンズ部140は、照射光ILが試料による変調を受けずに透過したゼロ次の回折光、及び、照射光ILが試料による変調を受けた高次の回折光が入射される対物レンズ141と、λ/4だけ光の位相を遅らせる(あるいは、進ませる)リング状の位相膜142Aを有し、対物レンズ141の後側焦点面上に配置された透明基板142と、から構成される。
なお、ゼロ次の回折光は、対物レンズ141と、対物レンズ141の後側焦点面上に配置された透明基板142上に設けられたリング状の前記位相膜142Aを透過することにより、λ/4だけ位相を遅延させられた(あるいは、進ませられた)状態で、イメージセンサ150に到達する。
一方、高次の回折光のほとんどは、位相膜142Aを透過することなく、透明基板142において位相膜142Aの設けられていない透明領域142Bを透過し、位相を遅らせられる(あるいは、進ませられる)ことなく、イメージセンサ150に到達する。
なお、生体細胞などの弱位相物体を試料とする場合においては、試料を透過した高次の回折光はゼロ次の回折光に比べてもともと位相がλ/4程度遅れている状態であるが、ゼロ次回折光が前記位相膜142Aを透過することによりλ/4の位相変化(遅れるか進むかは位相膜142Aの種類による)を経験するため、最終的にゼロ次回折光と高次回折光の位相差は0又はλ/2となる。
そして、透過光と回折光の位相差が0になるとき、透過光と回折光が干渉して強め合い、位相物体(試料中の観察対象物質等)のコントラストが明るく、背景が暗いブライトコントラスト像が得られることになる。
また、透過光と回折光の位相差がλ/2になるとき、両者が干渉して弱め合い、位相物体が暗く、背景が明るいダークコントラスト像が得られることとなる。
さらに、位相膜142Aとしてアポディゼーション位相膜を用いて、イメージセンサ150において検出されるゼロ次回折光及び高次回折光の干渉像のコントラストを強調するようにしてもよい。
イメージセンサ150は、例えば、CCDやCMOSイメージセンサ等に代表される2次元の検出器である。
そして、イメージセンサ150は、対物レンズ部140を介して照射されるゼロ次回折光及び高次回折光の干渉光を受光し、受光した干渉光に対応する電気信号を生成しつつ、画像生成処理部160にその画素情報を供給する。
なお、一般的にイメージセンサは光の強度(振幅の2乗)のみ検出することが可能であるが、イメージセンサ150上に結像される干渉像においては、前述のように、試料の位相情報が光の振幅情報へと変換されているため、本実施形態の画像生成装置1では、無色透明な試料であっても、位相(すなわち屈折率の厚み方向の積分)の2次元的な分布を強度情報に基づいた像として、検出及び画像として可視化できるようになっている。
画像生成処理部160は、イメージセンサ150から供給される電気信号に基づき、試料の2次元画像を生成する。
また、画像生成処理部160が生成する試料の2次元画像は、いかなる撮影速度で取得をしてもよいが、本実施形態においては、後述する理由により1000fps(frames per second)程度のフレームレートにて、複数の位相差画像を撮像及び生成することが可能となっている。
さらに、画像生成処理部160は、画像生成装置1と一体的に構成してもよく、USB(Universal Serial Bus)などの各種の入出力インターフェースを介して、PC(Personal Computer)等の外部機器を接続し、イメージセンサ150から供給される信号を、インターフェースを介して外部機器に出力し、外部機器において画像の生成処理を実行するようにしてもよい。
一方、画像生成処理部160は、液晶パネルや有機EL(Electro−Luminescence)パネル等の表示パネルを有し、生成した2次元画像をユーザが視認可能な状態で表示させる機能を有している。
なお、画像生成装置1にCPU(Central Processing Unit)やGPU(Graphical Processing Unit)などの画像生成処理用の演算機構、及び、HDMI(High−Definition Multimedia Interface)端子等を設け、イメージセンサ150から供給される信号に基づき、演算機構において生成した画像を外部のモニタに表示させる構成にしてもよい。
赤外光照射部170は、試料中の観察対象物質の赤外吸収線に対応する刺激入力用の赤外光(以下、単に「赤外光」という。)IRを試料に照射するための構成を有している。
具体的には、赤外光照射部170は、(1)赤外光IRを出力する赤外光源171と、(2)光チョッパー172と、(3)光チョッパー172を制御して、赤外光IRの試料に対する照射のオン及びオフを制御するオンオフ制御部173と、を有している。
なお、例えば、本実施形態の赤外光照射部170は、例えば、本発明の「刺激入力手段」を構成し、光チョッパー172及びオンオフ制御部173は、連動して本発明の「制御手段」を構成する。
赤外光源171は、観察対象物質の赤外吸収線に対応する赤外光IRを射出可能なものであれば構成は問わない。
なお、各物質の赤外吸収スペクトルは、FTIR等において、既知であるため、基本的に、観察したい物質の赤外吸収線に対応する波長を既知のものからユーザに設定させ、当該設定された波長の赤外光IRを赤外光源171は、出力するようにすればよい。
また、赤外光源171から射出する赤外光IRの波長は、ユーザの設定した1つの波長に固定するようにしてもよく、光源から射出する赤外光IRの波長を何らかの機構により掃引させるようにしてもよい。
光チョッパー172は、赤外光源171から試料に至る光路上に設けられた図示せぬシャッター又は光チョッパーホイールと、これらを駆動するモータ(図示しない)と、を有している。
そして、光チョッパー172は、オンオフ制御部173から供給される制御信号に基づき、光チョッパーホイールを回転させ、又は、シャッターを開閉させ、赤外光源171から射出された赤外光IRの試料に対する照射をオン及びオフさせる。
[1.2]動作原理
次に、本実施形態における画像生成装置1の動作原理について説明する。
本実施形態における画像生成装置1は、光源110、位相差観察用コンデンサ120、スライドガラス130、対物レンズ部140及びイメージセンサ150によって、透過型の位相差顕微鏡として駆動中に、赤外光IRの試料への照射及びその照射の遮断(すなわち、オン及びオフ)を繰り返し、赤外光IRの試料への照射時(オン時)の画像(すなわち、オン画像)及び当該赤外光IRの試料への照射が遮断されている遮断時(オフ時)の画像(すなわち、オフ画像)を生成し、表示(出力)する。
特に、画像生成装置1においては、赤外光源171により照射された赤外光IRが光チョッパー172により遮断されていない場合には、当該赤外光IRが試料に照射され、可視光である照射光ILの照射中に、当該試料に赤外光IRが照射された状態(すなわち、オン状態)になる。
そして、当該オン状態になると、試料に含まれる物質中おいて、観察対象物質の屈折率等の物理特性が変化するが、それ以外の物質の物理特性は変化しない、という状態が維持されることとなる。
この結果 、オン状態においては、観察対象物質と相互作用を起こした照射光ILの位相がオフ状態の場合から変化していることとなり、観察対象物質以外の物質と相互作用を起こした照射光ILの位相はオフ状態の場合から変化していないこととなる。
そして、イメージセンサ150によって、試料を透過したゼロ次回折光ILと高次回折光ILの間における干渉像が検出されると、画像生成処理部160は、オン状態における試料の位相差分布を示す2次元のオン画像を生成する。
一方、赤外光源171により照射された赤外光IRが光チョッパー172により遮断されている場合には、当該赤外光IRが試料に照射されず、可視光である照射光ILのみ当該試料に照射された状態(すなわちオフ状態)になる。
そして、イメージセンサ150によって、試料を透過したゼロ次回折光ILと高次回折光ILの間における干渉像が検出されると、画像生成処理部160は、オフ状態における試料の位相差分布を示す2次元のオフ画像を生成する。
他方、画像生成処理部160は、オン画像及びオフ画像を生成すると、画素毎にオン画像とオフ画像の画素値の差分を算出し、試料の位相差の変化量を示す2次元的な画像(以下、「オン−オフ差分画像」という。)を生成する。
なお、オン画像には、試料中に含まれる観察対象物質以外の物質に対応する画素値成分も含まれ、観察対象物質とそれ以外の物質の見分けがつき難いケースも存在することが想定される。
しかしながら、画素毎にオフ画像の画素値をオン画像の画素値から減算して、2次元のオン−オフ差分画像を生成することによって、オン画像に含まれる観察対象物質以外の物質に起因する画素値成分を除去することができるようになっている。
したがって、本実施形態の画像生成装置1によれば、観察対象物質の位置、大きさ及び形状の少なくとも1以上を含む2次元位相差画像を生成して、観察対象物質を可視化することができるようになっている。
なお、赤外光照射部170により観察対象物質の赤外吸収線に対応する赤外光IRを照射する場合に、当該赤外吸収線と少なくとも一部が重複する赤外吸収スペクトル帯域を有する素材により構成されたスライドガラス130を利用すると、スライドガラス130が赤外光IRを吸収して、その吸収に起因したバックグランドノイズが生じ、観察対象物質の正確な画像を生成できなくなる可能性がある。
そこで、本実施形態の画像生成装置1においては、スライドガラス130として、例えば誘電体などの赤外光IRを吸収せず、反射する素材によりコーティングしたガラスを利用するようになっている。
この構成により、本実施形態の画像生成装置1は、スライドガラス130に起因するバックグランドノイズを低減して、観察対象物質に関する鮮明な画像を生成することができるようになっている。
なお、スライドガラス130は、フッ化カルシウムなどの赤外光を吸収せずに透過する素材から作られた物を利用した場合にも、スライドガラス130にて発生する赤外光の吸収に起因するバックグランドノイズを低減して、鮮明な画像を生成することができる。
この場合には、対物レンズ141に関しても誘電体によりコーティングされたガラスやフッ化カルシウムなどから作られたレンズを用いることにより、対物レンズ141における赤外光IRの吸収に起因するバックグランドノイズを低減できるようにすることが望ましい。なお、スライドガラス130として赤外光IRを反射するものを用いる場合には、赤外光IRがスライドガラス130により反射され、対物レンズ141に到達しないので、対物レンズ141における赤外光IRの吸収を加味する必要性はなく、一般的なガラスにより対物レンズ141を構成した場合であっても、試料からイメージセンサ150に至る光路上にて発生する赤外光IRの吸収により、画像生成装置1において生成される試料画像におけるノイズを低減して、鮮明な画像を得ることができる。
また、赤外領域には空気中の水の吸収線なども含まれるので、生成画像における空気中の水による吸収の影響を低減するためには、試料からイメージセンサ150までの光路を窒素等の物質によりパージし、当該光路の雰囲気中に水分子が介在しない状態を創り出すことが好ましい。
なお、光路中の水分子を除去するため、窒素等をパージする具体的な手法については、任意であり、例えば、光路を密閉して、窒素を注入しつつ、密閉空間内の空気を排気して、光路雰囲気中の水分子を除去するようにしてもよい。
また、本実施形態の画像生成装置1は、赤外光照射部170により観察対象物質の赤外吸収線に対応する赤外光IRを試料に照射して、観察対象物質においてのみ分子振動吸収を発生させ、観察対象物質近傍の屈折率のみを変化させつつ可視領域の照射光ILを用いて試料に含まれる観察対象物質の2次元画像を生成する構成になっているので、数百nm程度の空間分解能を実現することができる。なお、画像生成装置1を超解像顕微鏡として構成することにより、数nm〜数十nmの空間分解能を実現することも可能である。
さらに、本実施形態の画像生成装置1は、位相差顕微鏡の観察像を2次元のイメージセンサ150により1000fps程度のフレームレートで検出可能な構成になっているので、試料のオン画像、オフ画像及びオン−オフ差分画像を撮像及び生成する画像生成処理の高速化を実現することができる。
[1.3]画像生成装置による試料の観察結果
[1.3.1]シリカビーズ及びシリカビーズ以外の物質が存在する場合の観察結果1
次に、図2〜図4を用いて本実施形態の画像生成装置1における無色透明なシリカ(SiO)ビーズおよびポリスチレンビーズの混合サンプルを用いた観察結果について説明する。
なお、図2は、観察対象となるシリカ(SiO)の赤外吸収スペクトルを示す図であり、図3は、本実施形態の画像生成装置1により撮像及び処理したシリカビーズとポリスチレンビーズの混合サンプルの画像の一例を示す図であって、オフ画像及びオフ画像とオフ画像の画素毎の画素値の差分を示す画像(以下、「オフ−オフ差分画像」という。)を示す図である。
また、図4は、本実施形態の画像生成装置1により生成されたオン−オフ差分画像及びその拡大画像の一例を示す図である。
そして、図3及び図4においては、縦軸及び横軸にイメージセンサ150における画素座標位置(紙面に向かって左上が(0,0))を付す。
さらに、図3(A)においては、イメージセンサ150の各画素領域にて検出された光の強度を12bitの階調(すなわち、212=4096階調)にて表現し、階調値のスケールをカラーバーにより示している。これに対して、図3(B)及び図4の差分画像においては、単に階調値の差分値を認識可能なスケールとしてカラーバーによって示している。
そして、図4のオン−オフ差分画像においては、赤外光IRの照射エリアを破線にて示している。
本観察においては、以下の条件によって、シリカビーズの観察を行った。
<条件1>スライドガラス130上に屈折率1.50のマッチングオイルとともに、観察対象物質となる直径約5μmの無色透明なシリカビーズ(屈折率1.46)と直径約1μmの無色透明なポリスチレンビーズ(屈折率1.59)を載置し、位相差観察用コンデンサ120、対物レンズ部140及びイメージセンサ150の中心軸にあわせて設置する。
<条件2>図2に示すように、シリカは、Si−O振動モードにおいて1087.6cm−1に赤外吸収スペクトルのピークがあるので、シリカの赤外吸収線に合わせるため、赤外光源171から照射する赤外光IRを波長9.56μm、波数1045cm−1に設定して、試料に赤外光IRを照射する。
<条件3>光源110として波長628nm(赤の可視光)のLEDを使用する。
<条件4>赤外光源171の出力を14mWとし、スライドガラス130上にて中心軸の周囲540×300μmの楕円領域を赤外光の照射エリアに設定する。
<条件5>撮像時の露光時間を9ミリ秒に設定する。
そして、イメージセンサ150及び画像生成処理部160により2.5fpsのフレームレートにて、試料(マッチングオイル内のシリカビーズ)を撮像した結果、オフ状態においては、図3(A)に示すような位相差画像(すなわちオフ画像)が撮像された。
本観察では原理検証用に意図的に大きさの異なるシリカビーズとポリスチレンビーズの混合サンプルを使用しているため、図3(A)に示すように、オフ画像のみによって、大きさ、あるいは画素値(すなわち位相情報)から両者を判別することが可能である。しかしながら、現実的なサンプルでは、それに含まれる物質のサイズや位相情報が近似する場合もあり、オフ画像のみから、物質を区別することが難しい場合もある。そのような場合には、以下で説明するように、オン画像とオフ画像の差分画像(オン−オフ差分画像)を生成することにより、特定の物質のみを抽出して画像化することが可能となり、物質の区別が可能となる。
オフ画像間で画素毎に画素値の差分をとってオフ−オフ差分画像を生成しつつ、45フレーム分のオフ−オフ差分画像の各画素に対応する画素値の平均を算出したところ、図3(B)に示すようにほぼ全ての画素において、差分値が0となり、シリカビーズは可視化されない。
一方、オン画像とオフ画像を撮像し、オン−オフ差分画像を生成するとともに、オン−オフ差分画像90フレーム分の各画素の画素値の平均を算出したところ、図4に示すような画像が得られ、シリカビーズのみが選択的に可視化されることがわかる。
なお、図3(B)及び図4(A)には、参照として100μmのスケールバーを白線により示すとともに、図4(A)においては、赤外光の照射領域を破線にて示している。
また、赤外光照射による画像への影響(すなわちシリカビーズの可視化の成功度)を確認するため、図4(A)にて破線により示される赤外光照射エリアの拡大画像を図4(B)に示す。
なお、図4(B)においては、シリカビーズが弱位相物体であることを仮定し、オン状態とオフ状態の間における試料の位相差画像の画素値の変化量から位相の変化量(radian)を概算したものを、カラーバーにて示している。
図4(B)に示すように直径5μmのシリカビーズの映り込んでいる領域(画素)に関しては、オン−オフ差分画像(90フレームの平均)の画素値の差分は、0.03〜0.05radianとなったのに対して、それ以外の領域(すなわち、マッチングオイルまたはポリスチレンビーズが映り込んでいる領域及びスライドガラス130のみが映り込んでいる領域)に関しては、画素値の差分値がおおよそ0radianとなり、観察対象物質であるシリカビーズ以外の画素値成分をキャンセルし、シリカビーズを選択的に可視化できることが確認できた。そして、オン−オフ差分画像にてコントラストの生じている領域は、図3(A)にてシリカビーズ(すなわち、比較的大きな円形像)の存在していた領域に対応していることがわかる。
[1.3.2]シリカビーズ及びシリカビーズ以外の物質が存在する場合の観察結果2
次に、図5及び図6を用いて本実施形態の画像生成装置1におけるシリカビーズ及びシリカビーズ以外の物質が存在する場合の観察結果について説明する。
なお、図5は、本実施形態の画像生成装置1により撮像したシリカビーズとポリスチレンビーズを含む試料を撮像した画像を示す図であって、オフ画像及びオフ−オフ差分画像を示す図であり、図6は、そのオン−オフ差分画像を示す図である。
具体的には、スライドガラス130上に、屈折率1.50のマッチングオイルとともに、直径約5μmのシリカビーズ(屈折率1.46)及び直径4.5μmのポリスチレンビーズ(屈折率1.59)を載置し、かつ、スライドガラス130を、位相差観察用コンデンサ120、対物レンズ部140及びイメージセンサ150の中心軸に合わせて設置した。
また、本観察においては、シリカビーズの赤外吸収線に合わせるため、上記例と同様に赤外光源171の出力する赤外光IRを波長9.56μm、波数1045cm−1に設定し、図6において破線で示される照射エリアに20mWの出力で赤外光IRを照射しつつ、105Hzにて赤外光IRのオンオフ切り替えを行うとともに、10fpsのフレームレートにて試料を撮像して、オン画像とオフ画像を生成し、オフ−オフ差分画像及びオン−オフ差分画像を生成した。そして、この結果、図5及び図6のような観察結果が得られた。なお、本観測において露光時間は、0.69ミリ秒に設定している。
なお、図5及び図6においては、図3及び図4と同様に、縦軸及び横軸にイメージセンサ150における画素座標位置(紙面に向かって左上が(0,0))を付す。
また、図5(A)においては、図3と同様にイメージセンサ150の各画素領域にて検出された光の強度を12bitの階調にて表現し、階調値のスケールをカラーバーにより示している。これに対して、図5(B)及び図6の差分画像においては、単に階調値の差分値を認識可能なスケールとしてカラーバーによって示している。
さらに、図6のオン−オフ差分画像においては、赤外光IRの照射エリアを破線にて示している。
図5(A)に示すように、オフ画像においても、シリカビーズと、ポリスチレンビーズは判別可能であることが分かる。これは、原理検証用に用いたシリカビーズとポリスチレンビーズの間の屈折率の違いが大きいことに起因するものであると考えられるが、実際の生体試料などを観察する場合には、試料に含まれる物質間の屈折率差が小さいと考えられるため観察対象物質を明確に区別することが難しくなる可能性が高い。
そこで、100フレーム分のオン−オフ差分画像の各画素の画素値の平均を算出したところ、図6のような画像が得られるとともに、100フレーム分のオフ−オフ差分画像の各画素の画素値の平均を算出したところ、図5(B)のような画像が得られた。
図5(B)に示すようにオフ−オフ差分画像の各画素の平均値から得られた画像では、ほぼ全ての画素の画素値の差分がおおよそ0となり、シリカビーズを判別できなかった。
一方、オン−オフ差分画像の各画素の画素値の平均から得られた画像(図6)では、ポリスチレンビーズの存在する領域であっても、シリカビーズの映り込んでいない領域においては差分値がおおよそ0となるとともに、シリカビーズの映り込んだ領域については屈折率の変化が観察され、シリカビーズのみが浮き出たような画像が得られ、ポチスチレンビーズは可視化されず、試料内においてシリカビーズのみの位置、大きさ及び形状を特定可能な2次元画像を生成できることが確認できた。
図7(a)〜(d)は、シリカビーズとポリスチレンビーズを含む試料の撮影結果を示す図である。図7(a)は、赤外線IRがオフのときの位相差画像(オフ画像)を示す。図7(b)は、図7(a)のオフ画像のうち、シリカビーズとポリスチレンビーズが現れる画素(矢印にて示す)の画素値の時間的な変化を示す。赤外線IRに対して共鳴スペクトルを有するシリカビーズについては、赤外線IRのオン、オフと連動して、画素値が変動しているのに対して、赤外線IRに対して非共鳴のポリスチレンビーズについては、赤外線IRのオン、オフにかかわらず、画素値が一定である。なお赤外線IRは、3000Hzにてオン、オフさせている。
図7(c)の右画像は、赤外線IRのオフ状態と赤外線IRのオフ状態の位相差(PC:Phase contrast)画像の輝度値の差分を取ったオフ−オフ差分画像であり、何も可視化されていない。図7(c)の左画像は、赤外線IRのオフ状態と赤外線IRのオン状態の位相差画像の輝度値の差分を取った分子コントラスト(MC:Molecular contrast)画像すなわちオン−オフ差分画像であり、入射した赤外光IRに共鳴するシリカビーズのみ可視化されていることがわかる。ここでの画像取得レートは3000枚/秒である。図7(d)は、図7(a)のオフ画像に、図7(c)の左のオン−オフ差分画像を重ねたものである。
ここで、イメージセンサ150及び画像生成処理部160により実現されるカメラ機能のダイナミックレンジは、試料における最大屈折率差により制限され、試料の最大屈折率差に相当する位相差信号をカメラの検出最大値に設定することにより、カメラにて検出可能な最小位相差が決定される。
このため、本実施形態の画像生成装置1における位相検出感度は、試料の屈折率分布幅に反比例し、上記シリカビーズとマッチングオイルの組み合わせの例のように最大屈折率差が0.04(すなわち、1.5−1.46)の場合には、オン−オフ差分画像の1フレームあたりの位相検出感度が0.01radianとなる。なお、この値は1ピクセルあたり約30000e-の飽和電荷量を持つ撮像素子を用いた場合のショットノイズ限界の値を表している。
その一方、実際の生体試料を観察する場合には、厚さ5μm程度、濃度1mM(ミリ・モーラー)程度でタンパク質等の生理活性分子を観察できるようにすることが望ましい。
特に、本実験条件に相当する赤外光照射においては、厚さ5μm、濃度1mM程度のタンパク質における位相変化量は、0.005radian程度になると推定されることから、本実施形態の画像生成装置1を、実際の生体試料観察に応用可能にするためには、およそ50倍程度の感度が必要となる。検出系はショットノイズ限界となっているため、2500フレーム程度のオン−オフ差分画像を生成し、これらオン−オフ差分画像の各画素の画素値の平均を算出しつつ、オン−オフ差分画像を生成することにより、SNR(Signal−to−Noise Ratio)を50倍程度(すなわち、50=2500フレーム)に向上させる必要がある。
また、上記の生体試料観察においては、2500フレームのオン−オフ差分画像を1秒程度の時間で生成することが望ましい。
そこで、本実施形態においては、上記のようにイメージセンサ150と画像生成処理部160を連動させつつ、1000fps程度のフレームレートにて試料の画像を撮像して、オン−オフ差分画像を生成し、試料の2次元位相差画像を生成する構成を採用することとした。なお、1000fpsのフレームレートは、近年製品化されているハイスピードカメラを流用すればよい。
[1.3.3]生体試料の観察結果について
次に、図8及び図9を用いて生体試料(豚の筋肉細胞)内に存在する生体分子を観察した結果について説明する。
なお、図8は、本実施形態の画像生成装置1により豚の筋肉細胞(厚さ10μmの切片)を撮像した撮像画像を示す図であって、オフ画像及びオフ−オフ差分画像を示す図であり、図9は、そのオン−オフ差分画像を示す図である。
なお、図8及び図9においては、図3及び図4と同様に、縦軸及び横軸にイメージセンサ150における画素座標位置(紙面に向かって左上が(0,0))を付す。
また、図8(A)においては、図3と同様に、イメージセンサ150の各画素領域にて検出された光の強度を12bitの階調にて表現し、階調値のスケールをカラーバーにより示している、これに対して、図8(B)及び図9の差分画像においては、単に階調値の差分値を認識可能なスケールをカラーバーとして示している。
さらに、図9のオン−オフ差分画像においては、赤外光IRの照射エリアを破線にて示している。
本観察においては、以下の条件の下、筋肉細胞の観察を行った。
<条件1>スライドガラス130上に厚さ10μmの豚の筋肉組織の切片を載置し、位相差観察用コンデンサ120、対物レンズ部140及びイメージセンサ150の中心軸に言わせて設置する。
<条件2>試料内に存在する観察対象タンパク質を可視化するため、赤外光源171から照射する赤外光IRを波長6.07μmに設定し、タンパク質のペプチド結合におけるC=O伸縮振動に対応するアミドIバンドの分子振動吸収を試料内において発生させる。
<条件3>光源110として、波長628nm(赤の可視光)のLEDを利用する。
<条件4>赤外光源171の出力を7mWとし、スライドガラス130上にて中心軸の周囲において図9の破線で示す楕円領域を赤外光の照射エリアに設定する。
<条件5>露光時間を2.5ミリ秒に設定する。
そして、4Hzにて赤外光IRのオンオフ切り替えを行いつつ、イメージセンサ150及び画像生成処理部160により8fpsのフレームレートにて、試料(すなわち、豚の筋肉組織)を撮像した結果、オフ状態においては、図8(A)に示すような位相差画像(すなわち、オフ画像)が撮像された。
また、オフ−オフ差分画像の各画素の画素値を100フレーム分の平均化した結果、図8(B)に示すような画像が得られ、ほぼ全ての画素において差分値が0となった。
その一方、オン−オフ差分画像を100フレーム分平均化した結果、図9に示すように、観察対象物質となるタンパク質が浮き上がって見える画像が生成され、生体試料内の観察対象タンパク質の位置、大きさ及び形状を特定可能なオン−オフ差分画像を生成できることが証明された。
図10(a)、(b)は、図1の画像生成装置により、HeLa細胞を観察したときの結果を示す図である。この観測においては、オン状態における赤外光IRの波数をスイープさせている。なお赤外線の変調周波数は250Hz、赤外パワーは16〜40mW(照射スポット〜100×100μm)、カメラのフレームレートは10000fpsである。
図10(a)は、赤外線IRがオフ状態のHeLa細胞の位相差画像に、赤外光の波数1530cm−1におけるオン−オフ差分画像を重ねた画像である。図10(b)は、図10(a)において矢印で示す画素について、赤外光IRの波数を1492.5〜1615cm−1まで変化させたときのオン−オフ差分画像、すなわち分子コントラスト(MC)の変化を示す図である。タンパク質の赤外スペクトルによく見られるアミドII結合のピーク(1530cm−1付近)が可視化されていることがわかる。赤外光の強度は各波数で異なるため、MCは赤外光のパワーで規格化されている。
[2]第2実施形態
[2.1]構成
次に、図11を用いて本願の第2実施形態について説明する。なお、図11は、本実施形態の画像生成装置2の構成を示すブロック図である。
本実施形態は、第1実施形態における画像生成装置を位相差顕微鏡として用いる点に代えて、オフ・アクシス型のデジタルホログラフィック顕微鏡として用いる点に特徴がある。
すなわち、本実施形態は、無色透明な試料の位相情報をオフ・アクシス型のデジタルホログラフィック顕微鏡を用いて定量的に検出することにより、試料に含まれる観察対象物質を可視化するためのものである。
デジタルホログラフィック顕微鏡においては、試料により変調を受けた照射光ILと試料による変調を受けていない参照光RLとの間の干渉像をデジタル画像として検出し、これに適切な画像処理を施すことで試料の定量的な位相分布を示す2次元画像を生成することが可能である。
したがって、赤外光IRのオンとオフそれぞれの状態における定量位相画像及びその差分画像を生成することで、無色透明な試料中の観察対象物質近傍で赤外光IRにより誘起される屈折率変化の様子を可視化する。
本実施形態は、試料の位相情報として、第1実施形態において位相差顕微鏡により検出した位相差画像を用いていた点に代えて、デジタルホログラフィック顕微鏡により検出した定量位相画像を用いる点に特徴がある。
なお、本実施形態においては、第1実施形態と同一の部材については、同一の符号を付してその説明を省略する。
本実施形態の画像生成装置2は、図11に示すように、可視領域の光を出力する単一周波数のレーザ201と、ビームスプリッタ202と、ミラー203と、波長選択性透過膜204と、ビームエキスパンダ205と、スライドガラス130と、対物レンズ141と、ビームスプリッタ207と、イメージセンサ150と、画像生成処理部160と、を有している。
そして、画像生成装置2は、第1実施形態の画像生成装置1と同様に、赤外光IRを射出する赤外光源171と、光チョッパー172及びオンオフ制御部173を有する赤外光照射部170を有している。
なお、例えば、本実施形態のビームスプリッタ202及び波長選択性透過膜204は、本発明の「照射光学部」を構成し、対物レンズ141及びイメージセンサ150は連動して本発明の「検出手段」を構成する。また、例えば、本実施形態の画像生成処理部160及び赤外光照射部170は、それぞれ、本発明の「生成手段」及び「刺激入力手段」を構成する。
単一周波数可視光レーザ201は、所定の周波数における可視領域の光(すなわち、可視光)をビームスプリッタ202に照射する。
ビームスプリッタ202は、入射された可視光を、参照光RLと照射光ILとに分離し、参照光RLをミラー203に、照射光ILを波長選択性透過膜204に向けて出力する。
ビームスプリッタ202によって、ミラー203に出力された参照光RLは、対物レンズ部141と同様のレンズにより構成されたビームエキスパンダ205により拡大されて、ビームスプリッタ207に出力される。
波長選択性透過膜204は、赤外領域の光を透過させる一方、可視領域の光を反射させる光フィルタとして機能し、赤外光照射部170から照射される赤外光IRをそのまま透過させて、スライドガラス130に載置された試料に照射させる。
また、波長選択性透過膜204は、ビームスプリッタ202から照射される照射光ILに関しては反射して、スライドガラス130に載置された試料に照射させる。
ビームスプリッタ207は、対物レンズ141を介して試料を透過した光の半分を透過し、参照光の半分を反射させて、それぞれイメージセンサ150に照射させる。
[2.2]動作原理
次に、本実施形態の動作原理について説明する。
オンオフ制御部173において、試料に対する赤外光の照射をオンにした状態としては、赤外光IRが光チョッパー172により遮断されることなく波長選択性透過膜204を透過して、スライドガラス130上の試料に照射される。
そして、赤外光IRが試料に照射されると、当該試料に含まれる観察対象物質による分子振動吸収が生じ、観察対象物質近傍の屈折率が変化する。
したがって、第1実施形態と同様に、ビームスプリッタ207により反射された参照光RLと試料を透過した照射光ILの干渉により生じる干渉像が、イメージセンサ150によって検出される。
また、画像生成処理部160は、このようにしてイメージセンサ150において検出された干渉像に対して、デジタルホログラフィの原理に基づいた画像処理を施すことによって、試料の定量的な2次元位相画像を生成し、これに基づいて、試料に対する赤外光IRの照射のオン画像、オフ画像及び、オン画像とオフ画像の画素毎の画素値の差分を算出することによって、試料のオン−オフ差分画像を生成する。
このとき、画像生成処理部160は、イメージセンサ150と連動しつつ、1000fps程度のフレームレートにて試料の画像を撮像及び生成する。この構成により、本実施形態の画像生成装置2は、厚さ5μm程度の生体試料に含まれる濃度1mM程度の生理活性分子(タンパク質等)を画像化し、可視化することができる。
なお、画像生成処理部160は、第1実施形態と同様に画像生成装置2内に設けてもよく、USB等のインターフェースにより接続されたPC等の外部機器により実現するようにしてもよい。
また、本実施形態においてもスライドガラス130において観察対象物質の赤外吸収線に共鳴した波長の赤外光IRの吸収が生じると、画像生成処理部160において生成されるオン画像及びオン−オフ差分画像にバックグランドノイズが生じる可能性があるので、スライドガラス130として、赤外光IRを吸収せずに反射する素材により加工されたスライドガラスを使用する構成とすることが好ましい。なお、対物レンズ141に関しても、スライドガラス130と同様に赤外光IRを吸収しない物質にてコーティングされたガラス等により構成するようにしてもよい。
なお、対物レンズ141に関しては、第1実施形態と同様の理由によりスライドガラス130として、赤外光IRを反射するものを利用する場合には、一般的なガラスを用いれば足り、スライドガラス130として赤外光IRを透過するものを利用する場合には、赤外光IRを反射又は透過し、吸収しない構成とすることが望ましい。
[3]変形例
[3.1]変形例1
まず、図12及び図13を用いて変形例1として、一般的なガラスで形成されたスライドガラスの変形例を変形例1として説明する。
なお、図12(A)は、当該スライドガラスを用いて撮影されたオフ画像を示す図であり、図12(B)は、当該スライドガラスを用いて撮影されたオフ−オフ差分画像の100フレーム分の平均を示す図である。また、図13は、オン−オフ差分画像の100フレームの平均を示す図である。
本変形例は、上記実施形態において赤外光IRを吸収せずに反射又は透過するスライドガラス130等を利用して、バックグランドノイズを削減する構成を有する点に代えて、普通のガラスにより構成されたスライドガラスを利用する点に特徴がある。
また、本変形例においては、ガラスの種別による観察画像への影響を調査するため、一般的なガラスにて構成されたスライドガラス上に屈折率1.5のマッチングオイルとともにシリカビーズを載置し、第1実施形態の画像生成装置1にてシリカビーズのオン画像、オフ画像及びオン−オフ差分画像を生成し、これらの画像に基づいて観察を行った。
本観察においては、シリカビーズの赤外吸収線に合わせて、赤外光源の波長を9.56μmに設定し、図13において破線で示した領域に20mWの出力で赤外光IRを照射するとともに、100Hzにて赤外光IRのオンオフ切り替えを行いつつ、1000fpsのフレームレートにて試料を撮像して、オン画像、オフ画像及びオン−オフ差分画像を生成した。
この結果、図13に示すように、一般的なガラスを利用したスライドガラス130を利用した場合にも、オン−オフ差分画像を生成することにより、シリカビーズを可視化できることが確認された。
なお、図12及び図13においては、図3及び図4と同様に、縦軸及び横軸にイメージセンサ150における画素座標位置(紙面に向かって左上が(0,0))を付す。
さらに、図12(A)においては、図5及び図6と同様に、イメージセンサ150の各画素領域にて検出された光の強度を16bitの階調(すなわち、216=65536階調)にて表現し、階調値のスケールをカラーバーにより示している。
これに対して、図12(B)及び図13の差分画像においては、単に階調値の差分値を認識可能なスケールとしてカラーバーによって示している。
さらに、図13のオン−オフ差分画像においては、赤外光IRの照射エリアを破線にて示している。
[3.2]変形例2
まず、図14及び図15を用いて微分干渉顕微鏡を有する画像生成装置の変形例を変形例2として説明する。
なお、図14は、本変形例の微分干渉顕微鏡を有する画像生成装置にて撮像されたシリカビーズの画像を示す図であって、100フレーム分の平均を示す(A)オフ画像及び(B)オフ−オフ差分画像を示す図であり、図15は、本変形例の微分干渉顕微鏡を有する画像生成装置にて撮像されたシリカビーズの画像を示す図であって、100フレーム分の平均を示すオン−オフ差分画像を示す図である。
なお、図14及び図15においては、図3及び図4と同様に、縦軸及び横軸にイメージセンサ150における画素座標位置(紙面に向かって左上が(0,0))を付す。
また、図14(A)のオフ画像においては、12bit階調にて画像を生成し、12bitの階調値のスケールをカラーバーによって示すとともに、図14(B)及び図15の差分画像においては、単に階調値の差分値を認識可能なスケールとしてカラーバーによって示している。
さらに、図15のオン−オフ差分画像においては、赤外光IRの照射エリアを破線にて示している。
本変形例は、上記各実施形態において本願の画像生成装置を位相差顕微鏡及びデジタルホログラフィック顕微鏡として構成する点に代えて、微分干渉顕微鏡として構成することに特徴がある。
具体的には、本変形例の画像生成装置1は、従来の微分干渉顕微鏡に対して、上記各実施形態と同様に、赤外光照射部170を有し、観察対象物質の赤外吸収線に対応する波長の赤外光IRの試料に対する照射をオンオフさせる構成を有している。
また、本変形例の画像生成装置1においては、微分干渉顕微鏡の像が結像する位置に設けられたイメージセンサ150を設け、上記各実施形態と同様に、画像生成処理部160を設けるようになっている。
そして、本変形例の画像生成装置1は、試料に対する赤外光IRの照射がオンの状態で、画像生成処理部160がイメージセンサ150から出力される信号に基づきオン画像の撮像及び生成を行うとともに、赤外光IRの照射がオフの状態においてオフ画像の撮像及び生成を行う。
さらに、この画像生成処理部においてオン画像とオフ画像の画素毎の画素値の差分を算出して、オン−オフ差分画像を生成するようにすればよい。
なお、本変形例の微分干渉顕微鏡部分の構成は、従来の微分干渉顕微鏡と同様である。また、本変形例の画像生成装置1は、従来の微分干渉顕微鏡に、赤外光照射部及び画像生成処理部の機能を新たに追加した構成を有している。
そして、本変形例の画像生成装置1は、試料に観察対象物質の吸収線に対応する赤外光IRの照射をオンオフしつつ、オン画像、オフ画像及びオン−オフ差分画像を生成する構成を有していればよいので、当該本変形例においては、装置の具体的な構成については省略する。
さらに、本変形例においては、画像生成処理部は、上記各実施形態と同様に、微分干渉顕微鏡内に設けてもよく、USB等のインターフェースによりPC等の外部機器を接続し、外部機器を画像生成処理部として利用するようにしてもよい。この場合には、イメージセンサから供給される信号に基づき、外部機器にてオン画像等の生成を行うようにすればよい。
本変形例の画像生成装置により、実際に無色透明な試料中に存在する観察対象物質を可視化できるか否かを検証するため、直径5μmのシリカビーズを、屈折率1.50のマッチングオイルとともにスライドガラス上に載置して実際に試料の2次元画像を撮像及び生成した。
そして、シリカビーズの赤外吸収線に対応した波長9.56μmの赤外光IRを20mWの出力と10Hzのオンオフ変調周波数で試料に照射し、10fpsのフレームレートにてオン画像及びオフ画像を撮像及び生成し、オフ−オフ差分画像及びオン−オフ差分画像を生成した。なお、本観察において露光時間は10ミリ秒とした。
この結果、図14及び図15に示すような画像が得られた。図14(A)に示すようにオフ状態ではシリカビーズの微分干渉像を確認することができ、図14(B)に示すようにオフ−オフ差分画像ではほぼ全ての画素において差分値が0となった。
これに対して、図15に示すように、オン−オフ差分画像では、赤外光IRの照射領域内にシリカビーズが浮かび上がり、本変形例の画像生成装置においてもシリカビーズの存在する領域で屈折率変化の信号を検出することができた。
[3.3]変形例3
まず、図16及び図17を用いて明視野光学顕微鏡を有する画像生成装置の変形例を変形例3として説明する。なお、図16は、本変形例の明視野光学顕微鏡を有する画像生成装置にて撮像された豚の筋肉組織の画像を示す図であって、100フレーム分の平均を示すオフ画像及びオフ−オフ差分画像を示す図であり、図17は、本変形例の明視野光学顕微鏡を有する画像生成装置にて撮像された豚の筋肉組織の画像を示す図であって、100フレーム分の平均を示すオン−オフ差分画像を示す図である。
そして、図16及び図17においては、図3及び図4と同様に、縦軸及び横軸にイメージセンサ150における画素座標位置(紙面に向かって左上が(0,0))を付す。
また、図16(A)のオフ画像においては、12bit階調にて画像を生成し、当該12bitの階調値のスケールをカラーバーによって示し、図16(B)及び図17の差分画像においては、単に階調値の差分値を認識可能なスケールとしてカラーバーによって示している。
さらに、図17のオン−オフ差分画像においては、赤外光IRの照射エリアを破線にて示している。
本変形例は、上記各実施形態において本願の画像生成装置を位相差顕微鏡及びデジタルホログラフィック顕微鏡として構成する点に代えて、明視野顕微鏡として構成することに特徴がある。
具体的には、本変形例の画像生成装置1は、従来の一般的な明視野光学顕微鏡に対して、上記各実施形態と同様に、赤外光照射部170を有し、観察対象物質の赤外吸収線に対応する波長の赤外光IRの試料に対する照射をオンオフさせる構成を有している。
また、本変形例の画像生成装置1においては、明視野光学顕微鏡像が結像する位置に設けられたイメージセンサ150を設け、上記各実施形態と同様に、画像生成処理部160を設けるようになっている。
そして、本変形例の画像生成装置1は、試料に対する赤外光IRの照射がオンの状態で、画像生成処理部160がイメージセンサ150から出力される信号に基づきオン画像の撮像及び生成を行うとともに、赤外光IRの照射がオフの状態においてオフ画像の撮像及び生成を行う。
さらに、この画像生成処理部においてオン画像とオフ画像の画素毎の画素値の差分を算出して、オン−オフ差分画像を生成するようにすればよい。
なお、本変形例の明視野光学顕微鏡部分の構成は、従来の明視野光学顕微鏡と同様である。また、本変形例の画像生成装置1は、従来の明視野光学顕微鏡に、赤外光照射部及び画像生成処理部の機能を新たに追加した構成を有している。
そして、本変形例の画像生成装置1は、試料に観察対象物質の赤外吸収線に対応する赤外光IRの照射をオンオフしつつ、オン画像、オフ画像及びオン−オフ差分画像を生成する構成有していればよいので、当該本変形例においては、装置の具体的な構成については省略する。
本変形例の画像生成装置により、実際に無色透明な試料中に存在する観察対象物質を可視化できるか否かを検証するため、厚さ10μmの豚の筋肉組織の切片を、スライドガラス上に載置した。
そして、タンパク質のペプチド結合におけるC=O伸縮振動(アミドIバンド)に対応する波長6.07μmの赤外光IRを7mWの出力と4Hzのオンオフ変調周波数で照射し、8fpsのフレームレートにてオン画像及びオフ画像を撮像及び生成し、オフ−オフ差分画像及びオン−オフ差分画像を生成した。なお、本観察において露光時間は0.3ミリ秒とした。
この結果、図16及び図17に示すような結果が得られた。なお、図16(A)及び図16(B)に示すように、オフ画像及びオフ−オフ差分画像では、豚の筋肉組織内のタンパク質のみを特定的に可視化することができなかった。
これに対して、図17に示すように、オン−オフ差分画像では、赤外光IRの照射領域内に筋肉組織内に存在する観察対象タンパク質が浮き上がっているように見え、本変形例の明視野光学顕微鏡においても観察対象物質を可視化できることが確認できた。
なお、本変形例は、明視野光学顕微鏡のみならず、暗視野光学顕微鏡に対して適用することもできる。
この場合には、暗視野光学顕微鏡に対して赤外光照射部、イメージセンサ及び画像生成部を設け、試料に対する赤外光IR照射のオンオフ切り替えに合わせて、画像生成処理部がイメージセンサから供給される信号に基づきにてオン画像、オフ画像及びオン−オフ差分画像を生成するようにすればよい。
この構成により、暗視野光学顕微鏡においても無色透明な試料中の観察対象物質を可視化することができる。
[3.4]変形例4
本変形例の画像生成装置は、上記の各実施形態又は変形例において、試料に対する赤外光照射のオンオフを切り替えることによって、試料内において発生した観察対象物質の物理特性の変化を、試料を透過した照射光ILの位相や強度の分布に基づいて検出して、オン画像、オフ画像及びオン−オフ差分画像を生成する点に代えて、当該赤外光照射のオンオフを切り替えることによって、分子振動吸収に伴い、観察対象物質にて生じる屈折率の異方性(複屈折性)に起因して発生する照射光ILの透過光における偏光方向の変化を検出し、試料中の観察対象物質を可視化する点にある。
この場合には、試料に対する赤外光IR(観察対象物質の赤外吸収線に対応する赤外光)の照射をオンオフさせ、オン状態及びオフ状態にてイメージセンサから供給される信号に基づき、画像生成処理部にてオン画像と、オフ画像を生成し、オン画像とオフ画像の画素毎の画素値の差分を算出しつつ、オン−オフ差分画像を生成するようにすればよい。
この構成により、試料中の観察対象物質の複屈折性を検出して、観察対象物質を可視化することができる。
[3.5]変形例5
本変形例の画像生成装置は、上記各実施形態及び変形例においては、画像生成装置を透過型の光学顕微鏡として構成する場合について例示したが、反射型のデジタルホログラフィック顕微鏡、位相差顕微鏡、微分干渉顕微鏡、明視野又は暗視野光学顕微鏡によって構成されていてもよい。
この場合においても、試料中の観察対象物質の反射率が分子振動吸収により変化し、反射光における位相の分布等に基づき、観察対象物質を可視化することができる。
[3.6]変形例6
本変形例は、上記実施形態及び各変形例において赤外光源171のコントローラ(図示しない)が、ユーザの指定した1の波長に固定して、赤外光IRが照射されるように光源を制御する点に代えて、赤外光源から射出される赤外光IRの波長を、所定の波長範囲内(例えば、750nm〜10000nmの範囲)で掃引させつつ、オン画像、オフ画像及びオン−オフ差分画像を生成する点を特徴とする。
特に、本変形例においては、赤外光源171の光源(図示しない)から射出させる赤外光IRの波長を掃引させる際に、いかなるタイミングにて赤外光IRをオン及びオフさせ、オン画像、オフ画像及びオン−オフ差分画像を生成するのかについては任意である。
例えば、10nm、50nm、100nm等、赤外光IRの波長が所定量変化するタイミング毎に、赤外光IRの照射をオン及びオフさせつつ、コントローラが、赤外光IRのオンタイミング及びオフタイミングにてイメージセンサ150及び画像生成処理部160に画像生成指示コマンドを出力し、当該コマンドの入力タイミングにてオン画像及びオフ画像を生成し、両者の画素毎の画素値の差分に基づきオン−オフ差分画像を生成するようにしてもよい。
また、赤外光源171から射出される赤外光IRの波長を、所定の変化速度にて掃引させるとともに、所定の時間間隔(例えば、2ミリ秒間隔)にて赤外光IRの射出をオン及びオフさせ、当該タイミングに同期して、イメージセンサ150及び画像生成処理部160によりオン画像、オフ画像及びオン−オフ差分画像を生成するようにしてもよい。
さらに、本変形例により、波長を掃引させつつ、オン画像、オフ画像及びオン−オフ差分画像を生成する場合には、観察対象物質が最も高いコントラストで可視化できた条件(すなわち、観察対象物質の赤外吸収線に赤外光IRの波長が合致した条件)にて、赤外光源171から射出する赤外光IRの波長を固定することが試料中の対象物質を観察するためには望ましい。
なお、このときの具体的な手法は任意であり、画像生成処理部160の図示せぬモニタ上に表示されたオン−オフ差分画像をユーザが視認しつつ、試料中の特定物質がモニタ上で最もはっきりと可視化されたタイミングにてユーザに所定の入力操作(例えば、画像生成処理部160を構成するPC等の外部機器に対する所定操作)を行わせ、赤外光源171から射出する赤外光IRの波長を固定するようにしてもよい。
また、本変形例の構成において、画像生成処理部160により生成されたオン−オフ差分画像に基づき、試料中に含まれる物質の同定を行う構成を採用してもよい。
すなわち、試料に照射される赤外光IRの波長が、試料内の対象物質の赤外吸収線に合致していない状態では、試料において、ほとんど分子振動吸収が生じず、当該対象物質において屈折率等の物理特性が変化することはない。
このため、この状態においては、オン画像とオフ画像の間に差異は生じず、オン−オフ差分画像を生成すると、当該画像の各画素の画素値は「0」近傍に収束し、試料中の特定の物質が可視化されることはない。
したがって、例えば、数nm刻み(例えば、1〜5nm)にて、赤外光IRの波長を変化させつつ、当該波長の赤外光IRを照射した状態にてオン−オフ差分画像を生成し、当該オン−オフ差分画像に対して、所定の画像処理(例えば、エッジ検出処理等)を施して、画像中に映り込んだ物体のコントラストを定量化するようにすれば、試料中の対象物質が最も可視化できているオン−オフ差分画像を特定することができる。
そして、このオン−オフ差分画像生成時における赤外光IRの波長から試料中に含まれる物質の分子情報を同定するようにすればよい。
特に、各物質の赤外吸収スペクトルは、FTIR等において、既知であるため、試料中の対象物質を可視化できたオン−オフ差分画像生成時に照射されていた赤外光IRの波長から、試料中に含まれる物質の分子情報を同定することが可能となる。
この場合においては、赤外光IRの波長と、各物質の対応関係を規定するデータを予めデータベース化して、画像生成処理部160又は外部の記録装置に記録させておき、特定されたオン−オフ差分画像生成時の赤外光IRの波長とデータベース内のデータに基づき、画像生成処理部160が、試料内に含まれる物質を自動的に特定して、当該特定した物質に関する情報(例えば、物質名、化学式、物性等の情報)をモニタ上に表示するようにしてもよい。
なお、データベースは、画像生成装置内に設けてもよく、外部機器(例えば、図示せぬネットワーク上のサーバ装置等)に保有させ、必要に応じて、当該外部機器からデータを取得するようにしてもよく、画像生成装置にて生成した画像を当該外部機器に送信して、外部機器側において、試料に含まれる物質を同定して、当該同定した物質に関する情報を配信するようにしてもよい。
[3.7]変形例7
上記各実施形態及び変形例においては、赤外光源171が出力する赤外光の波長の単色性については言及しなかったが、赤外光源171は、スペクトル幅の広い赤外光IRを出力するものを使うことも可能である。
さらに、広帯域のスペクトルを持つ赤外光IRを使う場合には、広帯域の赤外光IRをスキャン型のマイケルソン干渉計に導入した後に試料に照射するようにしてもよい。
この場合には、スキャンするミラーの位置を替えながら、都度、位相差像や干渉像を画像生成装置1及び2により撮像する。
そして、各ピクセルで得られたデータ列をフーリエ変換することにより、当該ピクセルでのスペクトルを取るようにすればよい。換言するならば、この方式を採用した場合には、マイケルソン干渉計で多色の赤外光IRに変調を符号化して、フーリエ変換により復号する変換が行われることとなる。
[3.8]変形例8
上記各実施形態及び変形例においては、オン画像及びオフ画像を生成し、オン画像とオフ画像の画素毎の画素値の差分をとることにより、オン−オフ差分画像を生成し、試料に含まれる観察対象物質を可視化する構成を採用していた。
これに対して、本変形例においては、観察対象物質の赤外吸収線に共鳴した第1の波長を有する第1赤外光(例えば、シリカの赤外吸収線に対応する波長9.56μmの赤外光IR)を照射した状態にて、第1のオン画像を生成するとともに、第1の波長とは異なる第2の波長を有する第2赤外光(例えば、タンパク質のペプチド結合におけるC=O伸縮振動に対応するアミドIバンドの分子振動吸収に対応する波長6.07μmの赤外光IR)を照射した状態にて、第2のオン画像を生成する。
なお、本変形例における第1赤外光及び第2赤外光は、例えば、各々「特許請求の範囲」における「第1刺激入力用赤外光」及び「第2刺激入力用赤外光」に相当する。
観察対象物質が、例えば、シリカビーズである場合には、第2赤外光を照射しても、シリカにおける分子振動吸収は生じず、第2赤外光の照射がオン状態であっても、シリカにおける物理特性の変化は、全く生じないか、あるいは、生じても極微少である。
したがって、第2のオン画像は、オフ画像に近い画素値を有する画像として生成されることとなる。
本変形例においては、以上の性質を利用して、赤外光照射部170から試料に照射する赤外光IRの波長を第1の波長と第2の波長の間で繰り返し切り替えつつ(すなわち、赤外光照射部170から試料に照射する赤外光IRを第1赤外光と第2赤外光の間で繰り返し切り替えつつ)、これに同期して、第1のオン画像と、第2のオン画像を生成する。
そして、第1のオン画像と第2のオン画像の画素毎の画素値の差分を算出することにより、第1のオン画像に含まれる観察対象物質以外に起因する画素成分を除去しつつ、試料の2次元画像を生成する。この構成により、本変形例は、試料中に含まれる観察対象物質を可視化することが可能となる。なお、本変形例の機能を実現するための具体的な装置構成については、上記各実施形態及び変形例と同様の構成により実現可能である。
但し、本変形例の機能を実現するためには、赤外光照射部170から試料に照射する赤外光IRの波長を繰り返し切り替える必要があるので、赤外光照射部170に設ける赤外光源171に波長切り替え用のコントローラ(図示しない)を設け、このコントローラにより、赤外光源171から照射する赤外光IRの波長を第1の波長と第2の波長の間で繰り返し切り替えられるようにする必要があるとともに、赤外光照射部170に光チョッパー172及びオンオフ制御部173を省略する。また、本変形例において第1の波長は、観察対象物質の赤外吸収線に対応する値とする必要がある一方、第2の波長の具体的な値に関しては、第1の波長と異なる値であれば、どのような値としてもよい。
また、本変形例のように、2色(以上)の赤外光IR(例えば、第1赤外光及び第2赤外光)を利用する場合には、各々を異なるオン/オフ変調周波数で制御して、同時に試料に照射するという構成を採用してもよい。
この場合には、連続的に撮像した第1のオン画像及び第2のオン画像には、第1赤外光及び第2赤外光の各色に対する変調周波数が符号化されるので、フーリエ変換等の処理により復号できる。
[3.9]変形例9
上記各実施形態及び変形例においては、オン画像及びオフ画像を生成し、オン画像とオフ画像の画素毎の画素値の差分をとることにより、オン−オフ差分画像を生成し、試料に含まれる観察対象物質を可視化する構成を採用していたが、同一波長の赤外光IRを照射した場合においても、試料に照射する赤外光IRの強度が異なると、試料中に含まれる観察対象物質における物理特性の変化量(例えば、屈折率の変化量等)が異なるので、位相変化等もそれに比例することとなる。
本変形例においては、以上の性質を利用して第1の強度を有する第1赤外光(例えば、5mWの赤外光IR)を照射した状態にて、第1のオン画像を生成するとともに、第2の強度を有する第2赤外光(例えば、10μWの赤外光IR)を照射した状態にて、第2のオン画像を生成する。
なお、本変形例における第1赤外光及び第2赤外光は、例えば、各々「特許請求の範囲」における「第1刺激入力用赤外光」及び「第2刺激入力用赤外光」に相当する。
そして、赤外光照射部170から試料に照射する赤外光IRの強度を第1の強度と第2の強度の間で繰り返し切り替えつつ、第1のオン画像と、第2のオン画像を生成し、第1のオン画像と、第2のオン画像の画素毎の画素値の差分を算出する。この構成により、本変形例は、第1のオン画像に含まれる観察対象物質以外に起因する画素成分を除去して、試料中に含まれる観察対象物質を可視化することができる。なお、本変形例の機能を実現するための具体的な装置構成については、上記各実施形態及び変形例と同様の構成により実現可能である。
但し、本変形例の機能を実現するためには、赤外光照射部170から試料に照射する赤外光IRの強度を繰り返し切り替える必要があるので、赤外光照射部170に設ける赤外光源171に強度切り替え用のコントローラ(図示しない)を設け、このコントローラにより、赤外光源171から照射する赤外光IRの強度を第1の強度と第2の強度の間で繰り返し切り替えられるようにする必要があるとともに、赤外光照射部170に光チョッパー172及びオンオフ制御部173を省略する。
[3.10]変形例10
上記各実施形態においては、位相差顕微鏡やデジタルホログラフィック顕微鏡を有限遠補正光学系及び無限遠補正光学系の何れにより構成するのかについては、特に言及しなかったが、画像生成装置1及び2を無限遠補正光学系として構成する場合には、画像生成装置1及び2を構成する位相差顕微鏡及びデジタルホログラフィック顕微鏡に結像レンズを追加するようにすればよい。
位相差顕微鏡を用いた画像生成装置1を無限遠補正光学系にて構成する場合(第1実施形態の構成の場合)には、図1に示す画像生成装置1において、対物レンズ部140とイメージセンサ150の間に光軸を合わせて結像レンズを設置すればよい。この構成により、結像レンズの焦点面に像が結像され、無限遠補正光学系が実現される。
また、デジタルホログラフィック顕微鏡を用いた画像生成装置2を無限遠補正光学系にて構成する場合(第2実施形態の構成の場合)には、図11に示す画像生成装置1において、対物レンズ141とビームスプリッタ207の間に、光軸を合わせて結像レンズを設置するとともに、ビームエキスパンダ205と、ビームスプリッタ207の間に、光軸を合わせて結像レンズを設置するようにすればよい。
[3.11]変形例11
上記各実施形態及び変形例においては、照射光ILの光源として、可視光を発生する光源110及び単一周波数可視光レーザ201を用いる構成を採用したが、照射光ILの光源として、紫外領域の波長範囲内の照射光ILを発生する光源を利用して、紫外領域の照射光ILを用いつつ、観察対象物質を含む試料のイメージング(画像化)を行うようにしても良い。
この場合には、光源として、波長380〜315nmのUVA、波長315〜280nmのUVB、波長280〜200nm未満のUVC、380〜200nmの近紫外線(near UV)、波長200〜10nmの遠紫外線もしくは真空紫外線((far UV(FUV))、もしくは、(vacuum UV(VUV)))、波長121〜10nmの極紫外線もしくは極端紫外線(extreme UV(EUV)、又は、XUV)の何れかを発生する光源を、光源110及び単一周波数可視光レーザ201の位置に設けるようにする。
また、この場合には、イメージセンサ150として、上記光源により発生された波長範囲内の紫外線を受光して、電気信号を生成するイメージセンサを用い、画像生成処理部160において、イメージセンサ150により生成された電気信号に基づいて、オン画像、オフ画像、オン−オフ差分画像等を生成するようにすればよい。なお、紫外領域の光に基づき、電気信号を生成するイメージセンサは、従来から用いられているものをそのまま利用するようにすればよい。
基本的に、空間分解能は、照射光ILの波長に依存し、短波長の照射光ILを用いれば高い空間分解能を実現できる。したがって、本変形例の構成により、数百nmから数nm程度の空間分解能を実現しつつ、試料中の観察対象物質を確実に可視化することができる。
さらに、照射光ILの光源として、近赤外領域の波長範囲内の照射光ILを発生する光源を利用して、近赤外領域の照射光ILを用いつつ、観察対象物質を含む試料のイメージング(画像化)を行うようにしても良い。
但し、照射光ILとして近赤外光を用いる場合には、照射光ILとしての近赤外光により観察対象物質にて分子振動吸収が生じ、画像生成装置において撮像される画像にノイズが発生することを防止する必要がある。
ここで、刺激入力用の赤外光IRは、分子の振動吸収に合致している必要があるため、分子が振動吸収を持つ波長領域に限定される。一般に分子は、2.7μm以上の波長領域にのみ基準振動がある。したがって、照射光ILとして2.7μm以上の波長を有する中赤外光を照射光ILとして用いると、観察対象物質の赤外吸収線とスペクトルの一部が重複して、照射光ILが観察対象物質にて吸収されてしまう可能性がある。
このため、照射光ILとして近赤外光を用いる場合には、分子の赤外吸収線と重複しない2.7μm未満の近赤外光を発生する光源を光源110及び単一周波数可視光レーザ201の位置に設け、2.7μm未満の波長を有する近赤外光を照射光ILとして用いることが必要となる。
ただし、照射光ILとして近赤外光を用いる場合には、イメージセンサ150において感度を確保可能な波長領域の光を使う必要があるので、Siのイメージセンサを用いる場合には、1.1μm程度まで、InGaAsのイメージセンサを用いる場合には1.7μm程度まで、材質によっては、2.2μm程度までの波長領域の近赤外光を照射光ILとして用いることが必要となる。なお、それ以外の材質で構成されたイメージセンサ150を用いることにより、他の波長への対応も可能である。
そして、この場合には、上記光源により発生された近赤外光を受光し、電気信号を生成するイメージセンサをイメージセンサ150として利用し、イメージセンサ150において生成された電気信号に基づき、オン画像、オフ画像、オン−オフ差分画像等を生成するようにすればよい。
この構成により、赤外光分光イメージングにおいて用いられる赤外光よりも短波長の近赤外光を用いて、試料中の観察対象物質を画像化し、可視化できるので、赤外分光イメージングよりも空間解像度の高い画像を撮像及び生成することができる。
[3.12]変形例12
また、本発明の画像生成装置は、任意の定量位相顕微鏡に対して、赤外光照射部170、イメージセンサ150及び画像生成処理部160を設けて構成し、オン画像、オフ画像及びオン−オフ差分画像を生成することにより、試料中の観察対象物質を可視化するようにしてもよい。
この場合には、例えば、広帯域の照射光ILを利用しつつ、ホログラフィ技術および定量位相イメージング技術を適用してオン画像、オフ画像及びオン−オフ差分画像を生成するようにしてもよい。この構成により、スペックルやマルチリフレクションなどのコヒーレンスノイズの低減による画質の向上を実現できる他、高出力光を用いることができるため、撮影速度を速めることができる。
[4]第3実施形態
[4.1]構成
図18は、第3実施形態に係る画像生成装置3の構成を示すブロック図である。画像生成装置3は、デジタルホログラフィック顕微鏡である。
パルス可視光源310は、パルス幅数マイクロ秒以下の可視域のレーザビームを発生し、これを平行光として試料302に照射する。顕微情報は対物レンズ320によって集められ、チューブレンズ322によりグレーティング324上に結像する。グレーティング324によって回折された光は、レンズL1により集光される。レンズL1の集光面にはピンホール328が設けられており、0次回折光(0th order)が空間的にフィルタリングされ、後続するレンズL2により平面波が生成される。グレーティング324の一次(1st order)以外のその他の回折光は集光面においてビームブロック326によって遮光される。一次光が、レンズL1とL2を通過することによりグレーティング324面での像情報がイメージセンサ330の撮像面に転写される。イメージセンサ330の撮像面上で一次光とゼロ次光が重なることにより干渉縞が形成され、イメージセンサ330がこれを画像情報として記録する。この干渉画像を計算機処理することによって、試料302の位相情報を得ることができる。
パルス中赤外光源340は、パルス幅数マイクロ秒以下の中赤外領域のレーザビームを発生し、これを試料302に照射することで分子振動選択的なフォトサーマル効果を誘起する。中赤外ビームの光路には同期用のチョッパー(シャッター)342が挿入されている。
図19は、図18の画像生成装置3の動作を説明するタイムチャートである。チョッパー342が開く期間、中赤外(MIR)パルスがサンプル302に照射され、フォトサーマル効果が誘起される。チョッパー342が閉じる期間、中赤外パルスは遮光され、サンプル302には照射されない。
中赤外パルスの照射の直後に、パルス可視光源310が生成する可視(VIS)パルスが照射されることにより、フォトサーマル効果による励起状態の試料302の情報を走査する。一方、チョッパー342はイメージセンサ330のフレームレートの半分のレートで中赤外ビームにON/OFF変調を加えているため、イメージセンサ330はフォトサーマル効果のオン状態、オフ状態それぞれにおける試料302の画像(オン画像およびオフ画像)を交互に取得することとなる。これらオン画像とオフ画像の差分を検出することにより、試料302の分子振動選択的な画像を生成することができる。
[4.2]画像生成装置3による試料の観察結果
図18の画像生成装置3によって、いくつかの試料を測定した結果を説明する。
[4.2.1]オイルの観察
はじめの例では500μm厚のフッ化カルシウム基板2枚の間にオイルはさんだものを試料とした。パルス中赤外光源340は、1440〜1640cm−1の間で波長可変な1μsの中赤外光源を採用している。パルス可視光源310は、波長520nm、パルス幅130nsのパルス光源を採用している。中赤外および可視パルスの繰り返しレートは1kHzであり、イメージセンサ330のフレームレートは60Hzである。
図20(a)〜(d)は、図18の画像生成装置3によって得られるオイルの測定結果を示す図である。図20(a)は、試料302の中赤外光OFF−ON差分画像を表す。中赤外光は1501cm−1を選んだ。画像のパターンは、試料面における中赤外光の集光プロファイルを表す。中心部でおよそ60mradの位相変化が得られている。
図20(b)は、フォトサーマル効果による位相変化量の時間変化を示しており、中赤外パルスと可視パルスの時間遅延を掃引したときの、フォトサーマル効果による位相変化の推移をプロットしたものである。データ点は中赤外光の集光プロファイルの中心部に相当する一点を表す。時間推移は指数関数的減衰を示し、1ミリ秒程度で減衰しきることがわかる。
図20(c)は、中赤外光の強度とフォトサーマル効果による位相変化の関係を示す。両者は線形の関係にあることがわかる。図20(d)は、構築した系により得られる中赤外分光スペクトルである。中赤外光の波長を掃引し、各波長で得られるフォトサーマル効果による位相変化量を、その波長における中赤外光のパルスエネルギーで規格化した。得られたスペクトルは、ATR(Attenuated Total Reflection)型フーリエ変換赤外分光(FTIR)装置で得られたスペクトル波形とよく似た形を示すことがわかった。
[4.2.2]マイクロビーズの観察
続いての例では、直径5μm程度のポリスチレンビーズおよび多孔質シリカビーズをフッ化カルシウム基板に貼り付け、周りを屈折率1.56の接触液で満たしたものを、500μm厚のフッ化カルシウム基板2枚の間にはさんだものを試料とした。
中赤外光には波数1045cm−1、パルス幅5μsのパルス光源を用いた。これはシリカのSi−O−Si振動に共鳴する中赤外波長である。可視光には波長520nm、パルス幅130nsのパルス光源を用いた。中赤外および可視パルスの繰り返しは1kHzであり、イメージセンサ330のフレームレートは60Hzである。
図21(a)〜(d)は、図18の画像生成装置3によって得られるマイクロビーズの測定結果を示す図である。図21(a)は、中赤外光のオフ状態における試料302の位相画像である。点線の枠内に中赤外光を照射した。正のコントラストがポリスチレンビーズ、負のコントラストが多孔質シリカビーズを表す。図21(b)は、位相の定量性の実証結果である。ポリスチレンビーズの断面図(図21(a)の画像内における黒破線)をプロットし、これが理論曲線と合うことを確かめた。図21(c)、(d)は、中赤外光のOFF−ON差分画像である。図21(c)は、30回平均、計測時間1秒の結果である。図21(d)は、480回平均、計測時間は16秒の結果である。シリカビーズの存在する領域にのみ選択的に、フォトサーマル効果による位相変化が生じていることが確認された。
[4.2.3]生体試料の観察
次の例では、培養液中の生きた細胞(cos7)を500μm厚のフッ化カルシウム基板2枚の間に挟んだものを試料302とした。中赤外光には波数1530cm−1、パルス幅1μsのパルス光源を用いた。これは、タンパク質のペプチド結合のもつアミドIIと呼ばれる分子振動に相当する波長であり、細胞内のタンパク質分布を可視化する目的で選んだ。可視光には波長532nm、パルス幅10nsのパルス光源を用いた。中赤外および可視パルスの繰り返しは1kHzで、イメージセンサ330のフレームレートは100Hzである。画像の取得には5000回積算(平均)を行い、このときの計測時間は100秒である。
図22(a)、(b)は、図18の画像生成装置3によって得られる生体試料の測定結果を示す図である。図22(a)は、中赤外光のオフ状態における試料302の位相画像である。図22(b)は、中赤外光のOFF−ON差分画像である。細胞内のタンパク質分布を可視化することができている。
[5]第4実施形態
[5.1]構成
図23は、第4実施形態に係る画像生成装置4の構成を示すブロック図である。画像生成装置4は、3次元屈折率顕微鏡である。
パルス可視光源410は、パルス幅数百ナノ秒以下の可視光レーザパルスを発生する。この可視光レーザパルスは、平行光のレーザビームである。ビームスプリッタBS1により、この可視光のレーザビームをサンプルアーム412と基準アーム414に分岐する。
サンプルアーム412のレーザビームは、回動可能なウェッジプリズム416を通ることによってその光路を斜めに屈折させられる。その後、レンズL2と反射型対物レンズ418を通ることにより、試料402に対して斜めの(非ゼロの)入射角で照射される。
この入射角度はウェッジプリズム416を回転することによってその方位角を掃引することが可能である。試料402を通ったビームは、透過型対物レンズ420によって集められる。そして、試料面における試料402の像が透過型対物レンズ420と後続のレンズL2によってイメージセンサ430上に結像される。一方、基準アーム414のビームは、レンズL3L4を通ることによって、レンズL3前に置かれたグレーティング424の像を、イメージセンサ430上に結像する。このとき、グレーティング424から発せられる1次光以外の回折光は遮光される。また、ビームスプリッタBS1とBS2の間における、サンプルアーム412と基準アーム414の時間遅延および時間分散の違いは、基準アーム414に設けられた遅延ライン/分散バランス光学系426によって、それぞれ補正される。
ビームスプリッタBS2によって結合されたサンプルアーム412と基準アーム414の光は、イメージセンサ430上で重なり、これにより生じる干渉像をイメージセンサ430が画像化する。得られた干渉画像を計算機処理することによって、試料402の複素振幅画像を得ることができる。
ウェッジプリズム416を回しながら、異なる方位角で試料402を照明したときの試料402の複素振幅画像が取得される。これらの複素振幅画像をもとに、回折の原理に則り、試料402の3次元的にな屈折率分布を計算器内で推定する。
一方で、パルス中赤外光源440はパルス幅数百ナノ秒以下の中赤外レーザパルスを発生する。これをレンズL5と反射型対物レンズ418を通して試料402に照射することで分子振動選択的なフォトサーマル効果を誘起する。また、可視光を透過し中赤外光を反射するダイクロイックミラー428を用いることで、2つのレーザビームの結合を可能とする。フォトサーマル効果による励起がある場合とない場合の3次元屈折率分布画像の差分を計算することにより、フォトサーマル効果により誘起される分子選択的な屈折率変化を定量する。
中赤外ビームの光路には同期用の442が挿入されている。可視パルス、中赤外パルス、イメージセンサ430およびチョッパー442の同期の方式は、図18の画像生成装置3と同様であり、図19に示すタイムチャートにしたがえばよい。
[5.2]画像生成装置4による試料の観察結果
図23の画像生成装置4によって、試料を測定した結果を説明する。
[5.2.1]マイクロビーズの観察
この例では、直径5μm程度の多孔質シリカビーズをフッ化カルシウム基板に貼り付け、周りを屈折率1.56の接触液で満たしたものを、500μm厚のフッ化カルシウム基板2枚の間にはさんだものを試料402とした。
中赤外光には波数1045cm−1、パルス幅5μsのパルス光源を用いた。これはシリカのSi−O−Si振動に共鳴する中赤外波長である。可視光には波長532nm、パルス幅10nsのパルス光源を用いた。中赤外および可視パルスの繰り返しは1080Hzであり、イメージセンサ43のフレームレートは60Hzである。可視の照明の開口数(Numerical aperture)は0.55で、9個の方位角を用いた。可視の集光のNAは0.85である。積算数は30であり、計測時間は20秒程度である。
図24(a)、(b)は、図23の画像生成装置4によって得られるマイクロビーズの測定結果を示す図である。図24(a)は、中赤外光のオフ状態における試料402の3次元屈折率画像である。図24(b)は、フォトサーマル効果による屈折率変化量の3次元分布画像である。左図は、光軸に対して垂直な断面の画像を、右図は光軸に対して平行な断面の画像を表す。およそ0.0002の屈折率変化が生じていることがわかり、これはおよそ0.5K程度の温度変化に対応する。
本発明は、画像生成装置に利用できる。
1、2 … 画像生成装置
110 … 光源
120 … 位相差観察用コンデンサ
121 … リング絞り
121A … スリット
122 … コンデンサレンズ
130 … スライドガラス
140 … 対物レンズ部
141 … 対物レンズ
142 … 透明基板
142A … 位相膜
142B … 透明領域
150 … イメージセンサ
160 … 画像生成処理部
170 … 赤外光照射部
171 … 赤外光源
172 … 光チョッパー
173 … オンオフ制御部
201 … 単一周波数可視光レーザ
202 …ビームスプリッタ
203 … ミラー
204 … 波長選択透過膜
207 … ビームスプリッタ
3 … 画像生成装置
302 … 試料
310 … パルス可視光源
320 … 対物レンズ
322 … チューブレンズ
324 … グレーティング
326 … ビームブロック
328 … ピンホール
330 … イメージセンサ
340 … パルス中赤外光源
342 … チョッパー
4 … 画像生成装置
402 … 試料
410 … パルス可視光源
BS1 … ビームスプリッタ
412 … サンプルアーム
414 … 基準アーム
416 … ウェッジプリズム
418 … 反射型対物レンズ
420 … 透過型対物レンズ
424 … グレーティング
426 … 遅延ライン/分散バランス光学系
428 … ダイクロイックミラー
430 … イメージセンサ
440 … パルス中赤外光源
442 … チョッパー

Claims (7)

  1. 試料に含まれる観察対象物質の赤外吸収線に共鳴した波長の刺激入力用赤外光を照射する刺激入力手段と、
    前記刺激入力用赤外光よりも波長が短い照射光を発生する光源と、
    前記照射光を試料に照射する照射光学部と、
    前記刺激入力手段による前記刺激入力用赤外光の照射を第1状態および第2状態の間で切り替える制御手段と、
    前記試料を透過した前記照射光及び前記試料により反射された前記照射光の少なくとも一方における(1)位相の分布、(2)強度の分布及び(3)偏光方向の分布のうち少なくともひとつを検出する検出手段と、
    前記検出手段の出力に応じて前記試料の特性を示す出力画像を生成する生成手段と、
    を備え、
    前記生成手段は、
    前記第1状態における前記検出手段の出力にもとづく第1画像と、前記第2状態における前記検出手段の出力にもとづく第2画像と、を生成し、
    前記第1画像および前記第2画像の対応する画素同士の差分および/または比率を算出し、
    各画素の差分および/または比率にもとづいて前記出力画像を生成することを特徴とする画像生成装置。
  2. 前記第1状態において前記刺激入力用赤外光はオンであり、前記第2状態において前記刺激入力用赤外光はオフであることを特徴とする請求項1に記載の画像生成装置。
  3. 前記刺激入力手段は、前記刺激入力用赤外光の波長を可変に構成されることを特徴とする請求項1または2に記載の画像生成装置。
  4. 前記第1状態と前記第2状態において、前記刺激入力用赤外光の強度が異なることを特徴とする請求項1に記載の画像生成装置。
  5. 前記第1状態と前記第2状態において、前記刺激入力用赤外光の波長が異なることを特徴とする請求項1に記載の画像生成装置。
  6. 前記検出手段が、前記試料に相対する位置に設けられ、当該試料の像の一部を拡大する対物レンズを更に備えることを特徴とする請求項1から5のいずれかに記載の画像生成装置。
  7. 試料の画像を生成する画像生成方法であって、
    前記試料に含まれる観察対象物質の赤外吸収線に共鳴した波長の刺激入力用赤外光を前記試料に照射し、前記刺激入力用赤外光の状態を、第1状態と第2状態とで切り替えるステップと、
    前記刺激入力用赤外光よりも波長が短い照射光を、前記刺激入力用赤外光と同時に前記試料に照射するステップと、
    前記刺激入力用赤外光の前記第1状態において、前記試料を透過した前記照射光及び前記試料により照射光が反射された反射光の少なくとも一方における(1)位相の分布、(2)強度の分布及び(3)偏光方向の分布のうち少なくともひとつを検出し、当該検出結果に応じて第1画像を生成するステップと、
    前記刺激入力用赤外光の前記第2状態において、前記試料を透過した前記照射光及び前記反射光の少なくとも一方における(1)前記位相の分布、(2)前記強度の分布及び(3)前記偏光方向の分布のうち少なくともひとつを検出し、当該検出結果に応じて第2画像を生成するステップと、
    前記第1画像及び前記第2画像の対応する画素同士の差分および/または比率を算出し、各画素の差分および/または比率にもとづいて前記試料の画像を生成するステップと、
    を備えることを特徴とする画像生成方法。
JP2020530281A 2018-07-13 2019-07-12 画像生成装置及び画像生成方法 Active JP7012315B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018133711 2018-07-13
JP2018133711 2018-07-13
PCT/JP2019/027754 WO2020013325A1 (ja) 2018-07-13 2019-07-12 画像生成装置及び画像生成方法

Publications (2)

Publication Number Publication Date
JPWO2020013325A1 true JPWO2020013325A1 (ja) 2021-08-26
JP7012315B2 JP7012315B2 (ja) 2022-01-28

Family

ID=69142711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020530281A Active JP7012315B2 (ja) 2018-07-13 2019-07-12 画像生成装置及び画像生成方法

Country Status (5)

Country Link
US (1) US20230010572A1 (ja)
EP (1) EP3822685A4 (ja)
JP (1) JP7012315B2 (ja)
CN (1) CN112771432A (ja)
WO (1) WO2020013325A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3502695A1 (en) * 2017-12-22 2019-06-26 IMEC vzw A method and a system for analysis of cardiomyocyte function
WO2022054305A1 (ja) * 2020-09-11 2022-03-17 浜松ホトニクス株式会社 観察装置および観察方法
WO2022195731A1 (ja) * 2021-03-16 2022-09-22 株式会社エビデント 推定装置、推定システム、推定方法、及び記録媒体
JPWO2022195765A1 (ja) * 2021-03-17 2022-09-22
JP2022146636A (ja) * 2021-03-22 2022-10-05 株式会社東芝 光学装置、光学検査方法及び光学検査プログラム
JP2023079437A (ja) * 2021-11-29 2023-06-08 浜松ホトニクス株式会社 観察装置および観察方法
JP2023079440A (ja) * 2021-11-29 2023-06-08 浜松ホトニクス株式会社 観察装置および観察方法
WO2023095378A1 (ja) * 2021-11-29 2023-06-01 浜松ホトニクス株式会社 評価方法、評価装置および情報処理プログラム
JP7390423B2 (ja) 2022-03-22 2023-12-01 浜松ホトニクス株式会社 細胞評価方法および細胞評価装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05241078A (ja) * 1992-02-28 1993-09-21 Shimadzu Corp 赤外線顕微鏡
JP2005195801A (ja) * 2004-01-06 2005-07-21 Shimadzu Corp 赤外顕微鏡
WO2006085606A1 (ja) * 2005-02-10 2006-08-17 Kanagawa Academy Of Science And Technology 円二色性熱レンズ顕微鏡装置
JP2013183108A (ja) * 2012-03-02 2013-09-12 Sony Corp 照明光学系、分光測定用光照射装置及び分光測定装置
US20150036145A1 (en) * 2011-07-13 2015-02-05 Universität Leipzig Twin-focus photothermal correlation spectroscopy method and device for the characterization of dynamical processes in liquids and biomaterials with the help of absorbing markers

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5241078B2 (ja) 2006-03-31 2013-07-17 Ntn株式会社 固定式等速自在継手
US20170160200A1 (en) * 2014-05-26 2017-06-08 Hitachi, Ltd. Optical analysis device
CN106331442B (zh) * 2015-07-02 2021-01-15 松下知识产权经营株式会社 摄像装置
EP3338075B1 (en) * 2015-08-20 2020-06-10 Massachusetts Institute of Technology Device and method for sensing targets using photothermal speckle detection
US10677722B2 (en) * 2016-04-05 2020-06-09 University Of Notre Dame Du Lac Photothermal imaging device and system
US10033910B2 (en) * 2016-04-15 2018-07-24 General Electric Company Synchronous sampling methods for infrared cameras
CN114812808A (zh) * 2016-11-29 2022-07-29 光热光谱股份有限公司 用于增强光热成像和光谱的方法和设备
US20230236112A1 (en) * 2017-05-12 2023-07-27 Photothermal Spectroscopy Corp Method and apparatus for enhanced photo-thermal imaging and spectroscopy
CN112204375B (zh) * 2018-06-01 2022-07-05 光热光谱股份有限公司 宽区域光学光热红外光谱

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05241078A (ja) * 1992-02-28 1993-09-21 Shimadzu Corp 赤外線顕微鏡
JP2005195801A (ja) * 2004-01-06 2005-07-21 Shimadzu Corp 赤外顕微鏡
WO2006085606A1 (ja) * 2005-02-10 2006-08-17 Kanagawa Academy Of Science And Technology 円二色性熱レンズ顕微鏡装置
US20150036145A1 (en) * 2011-07-13 2015-02-05 Universität Leipzig Twin-focus photothermal correlation spectroscopy method and device for the characterization of dynamical processes in liquids and biomaterials with the help of absorbing markers
JP2013183108A (ja) * 2012-03-02 2013-09-12 Sony Corp 照明光学系、分光測定用光照射装置及び分光測定装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MIYAZAKI JUN, KAWASUMI KOSHI, KOBAYASHI TAKAYOSHI: "Resolution improvement in laser diode-based pump-probe microscopy with an annular pupil filter", OPTICS LETTERS, vol. 39, no. 14, JPN7021005431, 15 July 2014 (2014-07-15), US, pages 4219 - 4222, XP001590821, ISSN: 0004662510, DOI: 10.1364/OL.39.004219 *
MIYAZAKI JUN, TSURUI HIROMICHI, HAYASHI-TAKAGI AKIKO, KASAI HARUO, KOBAYASHI TAKAYOSHI: "Sub-diffraction resolution pump-probe microscopy with shot-noise limited sensitivity using laser dio", OPTICS EXPRESS, vol. 22, no. 8, JPN7021005429, 7 April 2014 (2014-04-07), US, pages 9024 - 9032, XP055481313, ISSN: 0004662512, DOI: 10.1364/OE.22.009024 *
MIYAZAKI JUN, TSURUI HIROMICHI, KAWASUMI KOSHI, KOBAYASHI TAKAYOSHI: "Optimal detection angle in sub-diffraction resolution photothermal microscopy: application for high", OPTICS EXPRESS, vol. 22, no. 16, JPN7021005430, 28 July 2014 (2014-07-28), US, pages 18833 - 18842, XP055674775, ISSN: 0004662511, DOI: 10.1364/OE.22.018833 *

Also Published As

Publication number Publication date
JP7012315B2 (ja) 2022-01-28
EP3822685A4 (en) 2022-03-23
US20230010572A1 (en) 2023-01-12
EP3822685A1 (en) 2021-05-19
WO2020013325A1 (ja) 2020-01-16
CN112771432A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
JP7012315B2 (ja) 画像生成装置及び画像生成方法
JP6671369B2 (ja) 光学測定装置および工程
US8848199B2 (en) Tomographic phase microscopy
US20210108968A1 (en) Systems and methods for bond-selective transient phase imaging
JP5329449B2 (ja) 顕微鏡イメージングを実行する方法
US11885745B2 (en) Fluorescence enhanced photothermal infrared spectroscopy and confocal fluorescence imaging
JP7170342B2 (ja) ホログラフィック3次元マルチスポット光刺激装置及び方法
JP2004538451A (ja) 三次元顕微鏡検査法によってサンプルを得るための方法およびデバイス
US7929132B2 (en) Transmission microscopy using light emitted from nanoparticles
US20220381695A1 (en) Focus scan type imaging device for imaging target object in sample that induces aberration
US20090184240A1 (en) Polariscopic phase microscope
WO2009119005A1 (ja) 位相物体識別装置及び方法
JP5106369B2 (ja) 光学装置
JP5344344B2 (ja) 観察装置
JPH10281876A (ja) 偏光性イメージング装置
JPH07323014A (ja) 皮膚表面観察装置
EP3855252B1 (en) Method and apparatus for the phase retrieval and volumetric imaging reconstruction
US11982621B2 (en) Autofluorescence photothermal characterization systems and methods
Bonati High sensitivity, incoherent differential imaging
KR100960130B1 (ko) 물질 특성 측정 방법 및 장치, 물질 영상화 방법 및 장치
JPH0815155A (ja) 光学的検査方法および光学的検査装置
Tang Label-free Investigation of Cells with Phase Imaging, Diffraction Tomography, and Raman Spectroscopy
WO2022250610A1 (en) Stimulated raman scattering tomography system and method
JP5325697B2 (ja) 観察方法および観察装置
Müllenbroich Sensorless adaptive optics in advanced microscopy techniques

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210113

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A801

Effective date: 20210212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210113

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20210212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220107

R150 Certificate of patent or registration of utility model

Ref document number: 7012315

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150