JP6355961B2 - 標本観察装置 - Google Patents

標本観察装置 Download PDF

Info

Publication number
JP6355961B2
JP6355961B2 JP2014093517A JP2014093517A JP6355961B2 JP 6355961 B2 JP6355961 B2 JP 6355961B2 JP 2014093517 A JP2014093517 A JP 2014093517A JP 2014093517 A JP2014093517 A JP 2014093517A JP 6355961 B2 JP6355961 B2 JP 6355961B2
Authority
JP
Japan
Prior art keywords
image data
specimen
image
sample
scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014093517A
Other languages
English (en)
Other versions
JP2015210471A (ja
Inventor
北川 久雄
久雄 北川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=53181057&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP6355961(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2014093517A priority Critical patent/JP6355961B2/ja
Priority to US14/694,555 priority patent/US10642013B2/en
Priority to EP15165634.5A priority patent/EP2940507A1/en
Publication of JP2015210471A publication Critical patent/JP2015210471A/ja
Application granted granted Critical
Publication of JP6355961B2 publication Critical patent/JP6355961B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036Scanning details, e.g. scanning stages
    • G02B21/0044Scanning details, e.g. scanning stages moving apertures, e.g. Nipkow disks, rotating lens arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036Scanning details, e.g. scanning stages
    • G02B21/0048Scanning details, e.g. scanning stages scanning mirrors, e.g. rotating or galvanomirrors, MEMS mirrors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

本発明は、標本観察装置に関するものである。
ヒトゲノムの解読以降、癌などの疾患機序や心臓・脳神経といった各臓器の発生/分化機序が分子レベルで解明されるようになっている。そして、顕微鏡を用いて細胞などの生体サンプルを観察する場合には、タンパクやDNA/RNAなど、分子レベルの挙動を観測することが求められている。このため、光学分解能を上回る超解像観察の重要性が増々高まっている。
従来、超解像観察を行う装置として、画像演算処理により、標本の画像データに対して高周波成分を強調することで、超解像成分が可視化された超解像画像を生成する標本観察装置が知られている(例えば、特許文献1および特許文献2参照。)。
特開2012−78408号公報 特開2013−20083号公報
しかしながら、特許文献1および特許文献2に記載の標本観察装置のように、標本の画像データに対して高周波成分を強調する場合において、画像データにおける高周波成分の比率が小さいと高周波成分を効率的に強調することができず、良好な超解像画像を生成することができないという問題がある。
本発明は上述した事情に鑑みてなされたものであって、良好な超解像画像を生成可能にすることができる標本観察装置を提供することを目的としている。
上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、光源から発せられたレーザ光を標本に照射する対物レンズと、該対物レンズによりレーザ光が照射された前記標本からの戻り光を検出して画像データを取得する画像データ取得部と、該画像データ取得部により前記標本における同一範囲からの戻り光を繰り返し検出して該同一範囲の画像データを複数取得させる制御部と、前記画像データ取得部により取得された前記同一範囲の複数の画像データを加算する画像データ処理部と、該画像データ処理部により得られた加算画像データに対して高周波成分を強調する画像演算処理部とを備える標本観察装置を提供する。
本発明によれば、標本から発せられたレーザ光が対物レンズにより標本に照射され、標本から戻る戻り光が画像データ取得部により検出されて標本の画像データが取得される。そして、制御部により、画像データ取得部によって繰り返し検出されて取得された標本における同一範囲の複数の画像データが画像データ処理部によって加算される。
これにより、標本上の同一範囲について、1度のレーザ光の照射では十分な光量が得られず画像データにノイズが重畳してしまう場合であっても、画像データを加算した分だけ輝度が増大してノイズが平滑化された高周波成分の比率が大きい画像が得られる。したがって、画像データ処理部により得られる画像を元画像として画像演算処理部により画像演算処理を施すことで、元画像の高周波成分が効率的に強調されて超解像成分が可視化された良好な超解像画像を生成することが可能になる。
上記発明においては、前記対物レンズの焦点位置と光学的に共役な位置に開口するコンフォーカル開口部と、前記対物レンズによりレーザ光が照射された前記標本からの戻り光を集光し、前記コンフォーカル開口部の開口位置に前記戻り光のスポットを投影するコンフォーカルレンズとを備え、前記コンフォーカル開口部の開口が、前記コンフォーカルレンズにより投影された前記戻り光のスポットの径寸法よりも小さい径寸法を有することとしてもよい。
このように構成することで、コンフォーカル開口部により、戻り光の中心部分のみが通過して周囲の部分は遮断されるので、画像データ取得部により高周波成分の比率が高い画像データが取得され、画像データ処理部により標本の同一範囲について高周波成分の比率がより向上した元画像が得られる。これにより、画像演算処理により、元画像の高周波成分をより効率的に強調して超解像成分が可視化されたより良好な超解像画像を生成することが可能になる。
上記発明においては、前記対物レンズにより前記標本に照射するレーザ光を該標本上で主走査方向およびこれに交差する副走査方向に走査させる走査部を備え、前記制御部が、前記走査部により前記主走査方向における同一の走査ライン上でレーザ光を所定の回数繰り返し走査させた後に前記副走査方向の位置を変えて次の走査ラインに移動する動作を繰り返させ、前記画像データ取得部により前記同一の走査ラインごとに画像データを複数取得させることとしてもよい。
このように構成することで、標本として細胞を用いた場合であっても、1点にレーザ光を照射し続けないので光毒性や蛍光飽和が起きるのを防ぐことができる。また、同一範囲を繰り返し走査する時間間隔が長すぎないので、細胞の経時変化や装置の温度ドリフトの影響を低減することができる。したがって、画像データ処理部により、ノイズが少なく高周波成分の比率が高い元画像を生成することができる。
なお、1画素単位で標本の同一範囲からの戻り光を繰り返し検出して画像データを取得すると、レーザ光が標本の1点に照射され続けるため、光毒性の影響が顕著になり、また、蛍光分子が飽和状態に陥りやすい。一方、1画面フレーム単位で標本からの戻り光を繰り返し検出して画像データを取得すると、細胞の経時的な変化や装置の温度ドリフトの影響などが大きく、同一範囲の画像データが変化してしまう。
上記発明においては、ライン状のレーザ光を発生する前記光源を備え、前記画像データ取得部が、ライン状のレーザ光が照射された前記標本から戻る戻り光を撮影するライン状に形成された撮像素子を備えることとしてもよい。
このように構成することで、光源から発せられたライン状のレーザ光が対物レンズによってライン照明される領域を、スキャナによる主走査方向の走査ラインと同様のものとみなすことができる。したがって、ライン状に形成された撮像素子により、標本におけるライン照明された同一範囲からの戻り光を繰り返し検出されて得られた複数の画像データを画像データ処理部により加算することで、スキャナを用いることなく、高周波成分の比率が高い加算画像を簡易に生成することができる。
上記発明においては、周期的に配列されたスリット状またはピンホール状の開口を有し、前記対物レンズに入射するレーザ光を制限するマスクと、該マスクを中心軸回りに高速回転させる駆動部とを備え、前記画像データ取得部が、前記標本から戻る戻り光を撮影する2次元撮像素子を備えることとしてもよい。
このように構成することで、駆動部によってマスクを高速回転させることにより、スキャナを用いることなく、マスクの開口を通過して対物レンズによって標本に照射されるレーザ光が走査される。また、2次元撮像素子により、レーザ光が走査された標本の走査範囲の画像データが取得される。これにより、2次元撮像素子により取得された1フレーム分の複数の画像データを画像データ処理部により加算することで、高周波成分の比率が高い加算画像を簡易に生成することができる。
本発明によれば、良好な超解像画像を生成することができるという効果を奏する。
本発明の一実施形態に係る標本観察装置を示す概略構成図である。 図1のシステム制御PCの概略構成図である。 図1の走査型レーザ顕微鏡を正面から見た図である。 図3の走査型レーザ顕微鏡を側面から見た図である。 図3の走査型レーザ顕微鏡を上方から見た図である。
本発明の一実施形態に係る標本観察装置について図面を参照して以下に説明する。
本実施形態に係る標本観察装置1は、図1〜図5に示すように、走査型レーザ顕微鏡3と、走査型レーザ顕微鏡3の制御等を行うシステム制御PC(Personal Computer)5とを備えている。
走査型レーザ顕微鏡3は、生体細胞組織のような標本Sに励起レーザ光を照射する顕微鏡本体10と、顕微鏡本体10により励起レーザ光が照射された標本Sより集光された蛍光を検出し光強度信号を取得する第1検出ユニット30および第2検出ユニット40とを備えている。
顕微鏡本体10は、標本Sを載置するステージ11(図3〜5参照)と、励起レーザ光を発生する光源(図示略)と、光源から発せられた励起レーザ光を走査するスキャナ(走査部)13と、スキャナ13により走査された励起レーザ光を集光する瞳投影レンズ15と、瞳投影レンズ15により集光された励起レーザ光を平行光に変換する結像レンズ17と、平行光に変換された励起レーザ光を標本Sに照射する一方、標本Sにおいて発生する蛍光を集光する対物レンズ19とを備えている。
また、顕微鏡本体10には、対物レンズ19により集光されて結像レンズ17、瞳投影レンズ15およびスキャナ13を介して励起レーザ光の光路を戻る蛍光(戻り光)を光路から分岐させるダイクロイックミラー21と、ダイクロイックミラー21により分岐された蛍光をリレーするリレーレンズ23と、対物レンズ19の焦点位置と光学的に共役な位置に開口する絞り(コンフォーカル開口部)25と、リレーレンズ23によりリレーされた蛍光の光路を切り替える光路切り替えミラー27とが備えられている。
スキャナ13は、図3〜5に示す走査ユニット(SU)7に収容されている。また、スキャナ13は、互いに対向して配置されて相互に直交する軸線回りに揺動可能な2枚のガルバノミラー(図示略)を備えている。このスキャナ13は、2枚のガルバノミラーを揺動させて励起レーザ光を偏向することで、標本S上で励起レーザ光を2次元的(X軸方向およびY軸方向)に走査することができるようになっている。
一方のガルバノミラーの揺動速度は、他方のガルバノミラーの揺動速度に対して十分に速く設定されている。高速側のガルバノミラーは標本S上における主走査方向(X軸方向)の走査のために使用され、低速側のガルバノミラーは標本S上における走査位置を副走査方向(Y軸方向)に送るために使用される。これら2枚のガルバノミラーは、図示しないモータにより軸線回りに揺動させられるようになっている。
ダイクロイックミラー21は、光源からの励起レーザ光をスキャナ13に向けて反射する一方、標本Sからの蛍光をリレーレンズ23に向けて透過させるようになっている。
リレーレンズ23は、ダイクロイックミラー21を透過した蛍光を集光して絞り25の開口位置に蛍光のスポットを結像して投影するコンフォーカルレンズ24Aと、コンフォーカルレンズ24Aにより結像投影された蛍光を第1検出ユニット30および第2検出ユニット40へ導く検出光導入レンズ24Bとにより構成されている。
絞り25は、システム制御PC5により、開口径を変更することができるようになっている。本実施形態においては、絞り25は、コンフォーカルレンズ24Aにより投影される蛍光のスポット、すなわち、コンフォーカルスポットの径寸法よりも若干小さい開口径に設定されている。
光路切り替えミラー27は、リレーレンズ23によりリレーされた蛍光の光路に挿脱可能に配置されている。この光路切り替えミラー27は、蛍光の光路に挿入されると、リレーレンズ23からの蛍光を第1検出ユニット30に向けて反射するようになっている。蛍光の光路から光路切り替えミラー27が外されると、リレーレンズ23からの蛍光がそのまま第2検出ユニット40に入射するようになっている。
第1検出ユニット30は、走査ユニット7に内蔵されている。この第1検出ユニット30は、リレーレンズ23により導かれた蛍光を検出してその光量に応じた大きさの光強度信号を出力するマルチアルカリPMT(Photo Multiplier Tube、画像データ取得部)31と、マルチアルカリPMT31にHV(High Voltage、印加電圧)を印加する第1HV電源33と、マルチアルカリPMT31から出力された光強度信号を増幅する第1増幅器35とを備えている。
マルチアルカリPMT31は、サイドオン型のPMTであり、蛍光を受光して光電変換するマルチアルカリ光電面(図示略)を備えている。
第2検出ユニット40は、図3〜5に示す高感度検出ユニット(HSD:High Sensitivity Detectors)9に収容されている。この第2検出ユニット40は、リレーレンズ23により導かれた蛍光を検出してその光量に応じた大きさの光強度信号を出力するGaAsP−PMT(Gallium Arsenide Phosphide−PMT、画像データ取得部)41と、GaAsP−PMT41にHVを印加する第2HV電源43と、GaAsP−PMT41から出力された光強度信号を増幅する第2増幅器45とを備えている。
GaAsP−PMT41は、ヘッドオン型のPMTであり、GaAsP化合物を使用した光電面(図示略)を備えている。このGaAsP−PMT41は、マルチアルカリPMT31よりも感度が高く、画像データにノイズが少ない。
システム制御PC5は、図2に示すように、装置の設定、画像データの取得および処理等を行う制御本体部(画像データ取得部、制御部、画像データ処理部、画像演算処理部)51と、制御本体部51に対してユーザに指示を入力させる入力部53と、標本Sの画像等を表示するモニタ55とを備えている。
制御本体部51は、入力部53に入力されるユーザの指示に従い、スキャナ13の走査条件の設定、絞り25の開口径の設定、光路切り替えミラー27の挿脱、第1増幅器35および第2増幅器45の増幅ゲインの設定、第1HV電源33および第2HV電源43のHVの設定等を行うようになっている。
また、制御本体部51は、スキャナ13を制御するとともに、第1増幅器35または第2増幅器45から送られてくる光強度信号をスキャナ13の走査位置に対応する画素毎に輝度情報に変換して、標本Sの画像データを取得するようになっている。また、制御本体部51は、取得した画像データをモニタ55に表示するようになっている。
また、制御本体部51は、スキャナ13および検出ユニット30,40により、標本Sにおける同一範囲からの蛍光を繰り返し検出して同一範囲の画像データを複数取得するようになっている。具体的には、制御本体部51は、スキャナ13の高速側のガルバノミラーにより主走査方向における同一の走査ライン上で励起レーザ光を繰り返し走査させて、同一の走査ラインごとに複数の画像データを取得するようになっている。
また、制御本体部51は、取得した標本Sの同一範囲の複数の画像データを加算して加算画像(加算画像データ)を生成するようになっている。そして、制御本体部51は、生成した加算画像を元画像としてこれに高周波成分を強調する画像演算処理を施すことにより、光学分解能を上回る超解像画像を生成するようになっている。
このように構成された標本観察装置1の作用について説明する。
本実施形態に係る標本観察装置1によりマルチアルカリPMT31を用いて標本Sの画像データを取得する場合は、制御本体部51により、第1HV電源33のHVゲイン、第1増幅器35の増幅器ゲインを設定する。そして、制御本体部51により、蛍光の光路に光路切り替えミラー27を挿入し、光源から励起レーザ光を発生させる。
光源から発せられた励起レーザ光は、ダイクロイックミラー21により反射された後、スキャナ13により偏向されて瞳投影レンズ15により集光され、結像レンズ17により平行光に変換されて対物レンズ19により標本Sに照射される。これにより、スキャナ13の揺動動作に応じて標本S上で励起レーザ光が2次元的に走査される。
励起レーザ光が照射されることにより標本Sにおいて発生する蛍光は、対物レンズ19により集光され、結像レンズ17、瞳投影レンズ15、スキャナ13を介して励起レーザ光の光路を戻り、ダイクロイックミラー21を透過して光路から分岐される。ダイクロイックミラー21を透過した蛍光は、リレーレンズ23によりリレーされて絞り25を通過し、光路切り替えミラー27により反射されて第1検出ユニット30に入射する。
第1検出ユニット30においては、マルチアルカリPMT31により蛍光が検出され、検出した蛍光の量に応じた大きさの光強度信号が出力される。マルチアルカリPMT31から出力された光強度信号は、第1増幅器35により増幅されて、システム制御PC5の制御本体部51に送られる。
制御本体部51においては、入力された光強度信号がスキャナ13の走査位置に対応する画素毎に輝度情報に変換され、標本Sの画像データが取得される。取得された画像データはモニタ55に表示される。
次に、GaAsP−PMT41を用いて標本Sの画像データを取得する場合は、制御本体部51により、第2HV電源43のHVゲイン、第2増幅器45の増幅器ゲインを設定する。そして、制御本体部51により、蛍光の光路から光路切り替えミラー27を外し、マルチアルカリPMT31を用いた場合と同様に顕微鏡本体10により標本S上で励起レーザ光を走査させる。
標本Sにおいて発生した蛍光は、対物レンズ19により集光されて励起レーザ光の光路を戻り、ダイクロイックミラー21を透過してリレーレンズ23によりリレーされた後、光路切り替えミラー27を介さずに第2検出ユニット40に入射する。
第2検出ユニット40においては、GaAsP−PMT41により蛍光が検出されて光強度信号が出力され、第2増幅器45により光強度信号が増幅されて制御本体部51に送られる。そして、制御本体部51により、その光強度信号に基づいて標本Sの画像データが取得される。取得された画像データはモニタ55に表示される。
次に、超解像画像を生成する場合について説明する。
本実施形態に係る標本観察装置1により超解像画像を生成する場合は、画像データに含まれるノイズが少ないGaAsP−PMT41を用いて標本Sの画像データを取得することが望ましい。
この場合、制御本体部51により、画像データの加算回数、および、スキャナ13による走査方法(ラインスキャン)の画像取得パラメータも設定する。そして、光源から励起レーザ光を発生させ、制御本体部51により画像取得パラメータに基づいてスキャナ13を制御する。
具体的には、高速側のガルバノミラーを主走査方向に繰り返し搖動させて、主走査方向における同一の走査ライン上で励起レーザ光を所定の回数だけ繰り返し走査させる。主走査方向における同一の走査ラインが所定の回数だけ走査されたら、低速側のガルバノミラーを搖動させて副走査方向に走査位置をずらし、主走査方向の走査ラインを次の走査ラインに移動させる。この動作を繰り返えす。
これにより、制御本体部51によって、標本Sにおけるスキャナ13の副走査方向の全域にわたり、主走査方向における同一の走査ラインごとに画像データがそれぞれ複数取得される。そして、制御本体部51により、取得した標本Sにおける同一範囲の複数の画像データが加算されて加算画像が生成される。
次いで、制御本体部51により、生成した加算画像に対して高周波成分を強調する画像演算処理が施される。これにより、超解像成分が可視化された超解像画像が生成される。
ここで、生体細胞組織のように生体分子に蛍光標識した細胞を標本Sとして観察する場合、1度の走査では十分な検出光量が得られず、ざらざらしたノイズ(ランダムノイズ)が重畳した画像データが取得されることが多い。このような画像データに対して、高周波成分を強調する処理を適用すると、ノイズが強調された画像になってしまい、良好な超解像画像を得ることができない。
本実施形態においては、制御本体部51により、標本Sにおける同一範囲ごとに画像データをそれぞれ複数取得してこれらを加算することで、標本S上の同一範囲について、画像データを加算した分だけ輝度が増大してノイズが平滑化された高周波成分の比率が大きい加算画像が得られる。
したがって、本実施形態に係る標本観察装置1によれば、同一範囲の画像データを複数加算して生成した加算画像を元画像として画像演算処理を施すことで、元画像の高周波成分が効率的に強調されて超解像成分が可視化された良好な超解像画像を生成することができる。
また、主走査方向における同一の走査ライン上で励起レーザ光を繰り返し走査させて画像データを複数取得することで、標本Sとしての生体細胞組織に対して励起レーザ光を1点に照射し続けなくて済み、光毒性や蛍光飽和(サチュレーション)が起きるのを防ぐことができる。また、同一範囲を繰り返し走査する時間間隔が長くなりすぎず、細胞の経時変化や装置の温度ドリフトの影響を低減することができる。したがって、ノイズが少なく高周波成分の比率が高い元画像を生成することができる。
なお、本実施形態の比較例として、例えば、1画素単位で標本Sの同一範囲からの蛍光を繰り返し検出して画像データを取得した場合は、励起レーザ光が標本Sの1点に照射され続けるため、光毒性の影響が顕著になり、また、蛍光分子が飽和状態に陥りやすい。そのため、元画像を取得できず、超解像画像を生成することができない。
また、例えば、1画面フレーム単位で標本Sからの蛍光を繰り返し検出して画像データを取得した場合は、細胞の経時的な変化や装置の温度ドリフトの影響などが大きくなり、標本Sにおける同一範囲であってもフレーム毎に画像データが変化してしまう。そのため、これを加算して得られる元画像はぼけてしまい、良好な超解像画像を生成することができない。
また、本実施形態においては、制御本体部51が画像データの取得と、標本Sにおける同一範囲の画像データの複数取得と、画像データの加算処理と、加算画像の画像演算処理とを行うこととしたが、これに代えて、例えば、システム制御PC5が、画像データを取得する画像データ取得部と、画像データ取得部により標本Sにおける同一範囲の画像データを複数取得させる制御部と、同一範囲の複数の画像データを加算する画像データ加算部と、加算画像の高周波成分を強調する画像演算処理を行う画像演算処理部とを備えることとしてもよい。
本実施形態は以下のように変形することができる。
すなわち、本実施形態においては、絞り25を、コンフォーカルスポットの径寸法よりも若干小さい開口径に設定することとしたが、第1変形例としては、例えば、絞り25の開口径を、コンフォーカルスポットの径寸法の1/2の大きさに設定することとしてもよい。
このようにすることで、リレーレンズ23によりリレーされる蛍光の内、光束の中心部分のみが絞り25を通過し、周囲の部分は絞り25により遮断される。これにより、コンフォーカルスポットの中心のピーク付近の蛍光が検出されるので、高周波成分の比率を適度に含み、かつ、検出ロスも少なくて済む。
したがって、制御本体部51により、高周波成分の比率が高い画像データを取得し、標本Sの同一範囲について高周波成分の比率をより向上させた元画像を生成することができる。これにより、画像演算処理によって、元画像の高周波成分を効率的に強調して超解像成分が可視化されたより良好な超解像画像を生成することができる。
なお、本変形例の比較例として、絞り25の開口径をコンフォーカルスポットの径寸法とほぼ同じ大きさに設定した場合は、コンフォーカルスポットのほぼ全部の蛍光量を検出することができ検出ロスがほとんどないが、画像データにおける高周波成分の比率が小さくなる。そのため、良好な超解像画像を生成することができない。
また、絞り25の開口径をコンフォーカルスポットの径寸法よりも大幅に小さい大きさ(例えば、1/8以下程度)に設定した場合は、画像データにおける高周波成分の比率が大きくなるが、コンフォーカルスポットのごく一部の蛍光しか検出することができず、検出ロスが大きい。そのため、良好な超解像画像を生成することができない。
第2変形例としては、例えば、スキャナ13を採用せず、光源として、ライン状のレーザ光を発生する光源(図示略)を採用するとともに、画像データ取得部として、ライン状のレーザ光が照射された標本Sからの蛍光を撮影するライン状に形成された撮像素子(図示略)を備えることとしてもよい。
この場合、撮像素子として、蛍光のライン方向にスポット分解能を持つ然るべき検出器、例えば、CCDラインカメラまたは光学マルチチャネル分析器等を採用することとすればよい。また、撮像素子の撮像領域をコンフォーカルスポットに対応する線形像のおよそ1/2の幅に設定することとしてもよい。
このようにすることで、光源から発せられたライン状のレーザ光が対物レンズ19によってライン照明される領域を、スキャナ13による主走査方向の走査ラインと同様のものとみなすことができる。したがって、ライン状に形成された撮像素子により、標本Sにおけるライン照明された同一範囲からの蛍光を繰り返し検出して画像データを複数取得し、制御本体部51により、これら同一範囲の複数の画像データを加算することで、スキャナを用いることなく、高周波成分の比率が高い加算画像を簡易に生成することができる。
本変形例においては、例えば、特開2006−259377号公報に開示されているTDI(Time Delay Integration)モードによる加算積分を採用することとしてもよい。
第3変形例としては、例えば、スキャナ13を採用せず、周期的に配列されたスリット状またはピンホール状の開口を有するマスク(図示略)と、マスクを中心軸回りに高速回転させるモータのような駆動部(図示略)とを備えることとしてもよい。また、画像データ取得部として、標本Sからの蛍光を撮影するCCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)のような2次元撮像素子を採用することとしてもよい。
この場合、対物レンズ19の手前にマスクを配置して、対物レンズ19に入射する励起レーザ光をマスクにより制限することとすればよい。また、制御本体部51は、1画面フレーム単位で標本Sからの蛍光を繰り返し検出して画像データを取得することとすればよい。
このようにすることで、駆動部によってマスクを高速回転させながら励起レーザを発生させることにより、スキャナ13を用いることなく、マスクの開口を通過して対物レンズ19によって標本Sに照射されるレーザ光が走査される。そして、2次元撮像素子により、レーザ光が走査された標本Sの走査範囲の画像データが取得される。これにより、2次元撮像素子により取得された1フレーム分の複数の画像データを制御本体部51により加算することで、高周波成分の比率が高い加算画像を簡易に生成することができる。
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、上記実施形態においては、コンフォーカル開口部として絞り25を例示して説明したが、これに代えて、口径が異なる複数のピンホールを採用することとしてもよい。この場合、制御本体部51により、光路上に配置するピンホールを切り替えることとすればよい。
また、上記実施形態においては、制御本体部51が、取得した画像データを単に加算することとしたが、例えば、画像データの加算方法として、既に取得した画像データに新たに取得した画像データを加算して平均値を算出するカルマンフィルター方式を採用することとしてもよい。
1 標本観察装置
13 スキャナ(走査部)
19 対物レンズ
24A コンフォーカルレンズ
25 絞り(コンフォーカル開口部)
31 マルチアルカリPMT(画像データ取得部)
41 GaAsP−PMT(画像データ取得部)
51 制御本体部(画像データ取得部、制御部、画像データ処理部、画像演算処理部)
S 標本

Claims (5)

  1. 光源から発せられたレーザ光を標本に照射する対物レンズと、
    該対物レンズによりレーザ光が照射された前記標本からの戻り光を検出して画像データを取得する画像データ取得部と、
    該画像データ取得部により前記標本における同一範囲からの戻り光を繰り返し検出して該同一範囲の画像データを複数取得させる制御部と、
    前記画像データ取得部により取得された前記同一範囲の複数の画像データを加算する画像データ処理部と、
    該画像データ処理部により得られた加算画像データに対して高周波成分を強調する画像演算処理部とを備える標本観察装置。
  2. 前記対物レンズの焦点位置と光学的に共役な位置に開口するコンフォーカル開口部と、
    前記対物レンズによりレーザ光が照射された前記標本からの戻り光を集光し、前記コンフォーカル開口部の開口位置に前記戻り光のスポットを投影するコンフォーカルレンズとを備え、
    前記コンフォーカル開口部の開口が、前記コンフォーカルレンズにより投影された前記戻り光のスポットの径寸法よりも小さい径寸法を有する請求項1に記載の標本観察装置。
  3. 前記対物レンズにより前記標本に照射するレーザ光を該標本上で主走査方向およびこれに交差する副走査方向に走査させる走査部を備え、
    前記制御部が、前記走査部により前記主走査方向における同一の走査ライン上でレーザ光を所定の回数繰り返し走査させた後に前記副走査方向の位置を変えて次の走査ラインに移動する動作を繰り返させ、前記画像データ取得部により前記同一の走査ラインごとに画像データを複数取得させる請求項1または請求項2に記載の標本観察装置。
  4. ライン状のレーザ光を発生する前記光源を備え、
    前記画像データ取得部が、ライン状のレーザ光が照射された前記標本から戻る戻り光を撮影するライン状に形成された撮像素子を備える請求項1または請求項2に記載の標本観察装置。
  5. 周期的に配列されたスリット状またはピンホール状の開口を有し、前記対物レンズに入射するレーザ光を制限するマスクと、
    該マスクを中心軸回りに高速回転させる駆動部とを備え、
    前記画像データ取得部が、前記標本から戻る戻り光を撮影する2次元撮像素子を備える請求項1に記載の標本観察装置。
JP2014093517A 2014-04-30 2014-04-30 標本観察装置 Active JP6355961B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014093517A JP6355961B2 (ja) 2014-04-30 2014-04-30 標本観察装置
US14/694,555 US10642013B2 (en) 2014-04-30 2015-04-23 Specimen observation apparatus
EP15165634.5A EP2940507A1 (en) 2014-04-30 2015-04-29 Specimen observation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014093517A JP6355961B2 (ja) 2014-04-30 2014-04-30 標本観察装置

Publications (2)

Publication Number Publication Date
JP2015210471A JP2015210471A (ja) 2015-11-24
JP6355961B2 true JP6355961B2 (ja) 2018-07-11

Family

ID=53181057

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014093517A Active JP6355961B2 (ja) 2014-04-30 2014-04-30 標本観察装置

Country Status (3)

Country Link
US (1) US10642013B2 (ja)
EP (1) EP2940507A1 (ja)
JP (1) JP6355961B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105425411B (zh) * 2015-12-31 2017-11-07 中国科学院光电技术研究所 一种应用于超分辨的光束复振幅复合调制装置和方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4945478A (en) * 1987-11-06 1990-07-31 Center For Innovative Technology Noninvasive medical imaging system and method for the identification and 3-D display of atherosclerosis and the like
JP3708277B2 (ja) 1997-03-19 2005-10-19 オリンパス株式会社 走査型光学測定装置
JP4262319B2 (ja) 1998-03-23 2009-05-13 オリンパス株式会社 走査型レーザ顕微鏡
JP2001117013A (ja) 1999-10-20 2001-04-27 Olympus Optical Co Ltd 共焦点レーザ顕微鏡
DE10229407B4 (de) 2002-06-29 2021-10-14 Leica Microsystems Cms Gmbh Verfahren zur Einstellung der Systemparameter eines Rastermikroskops und Rastermikroskop
US7136518B2 (en) * 2003-04-18 2006-11-14 Medispectra, Inc. Methods and apparatus for displaying diagnostic data
US20040208385A1 (en) * 2003-04-18 2004-10-21 Medispectra, Inc. Methods and apparatus for visually enhancing images
JP4527970B2 (ja) 2003-12-16 2010-08-18 オリンパス株式会社 顕微鏡制御装置、顕微鏡の制御方法、及びプログラム、並びに走査型レーザ顕微鏡
US20050225849A1 (en) 2004-04-05 2005-10-13 Fujifilm Electronic Imaging Ltd. Slit confocal microscope and method
DE102004034970A1 (de) 2004-07-16 2006-02-02 Carl Zeiss Jena Gmbh Lichtrastermikroskop und Verwendung
DE102004034975A1 (de) 2004-07-16 2006-02-16 Carl Zeiss Jena Gmbh Verfahren zur Erfassung von Bildern einer Probe mit einem Mikroskop
JP4786207B2 (ja) 2005-03-17 2011-10-05 浜松ホトニクス株式会社 顕微鏡システム
JP4826585B2 (ja) 2005-07-21 2011-11-30 株式会社ニコン 共焦点顕微鏡装置
JP5024864B2 (ja) * 2006-12-18 2012-09-12 レーザーテック株式会社 コンフォーカル顕微鏡、及びコンフォーカル画像の撮像方法
JP2008197283A (ja) * 2007-02-09 2008-08-28 Nikon Corp スリット走査共焦点顕微鏡、及び画像取得方法
JP4764436B2 (ja) * 2008-02-14 2011-09-07 株式会社日立ハイテクノロジーズ 外観検査方法及び検査装置
JP5006814B2 (ja) * 2008-02-26 2012-08-22 キヤノン株式会社 撮像装置
US9116353B2 (en) * 2008-09-16 2015-08-25 Yokogawa Electric Corporation Microscope device
WO2010141608A1 (en) * 2009-06-02 2010-12-09 Imflux Llc Superresolution optical fluctuation imaging (sofi)
JP5554970B2 (ja) * 2009-11-25 2014-07-23 オリンパス株式会社 走査型顕微鏡
GB201007055D0 (en) * 2010-04-28 2010-06-09 Vib Vzw Method and apparatus for the imaging of a labelled sample
JP2010266452A (ja) 2010-06-28 2010-11-25 Olympus Corp 走査型近接場光学顕微鏡
JP5412394B2 (ja) 2010-09-30 2014-02-12 オリンパス株式会社 標本観察装置
JP5784393B2 (ja) * 2011-07-11 2015-09-24 オリンパス株式会社 標本観察装置
US9052500B2 (en) * 2011-11-01 2015-06-09 Intelligent Imaging Innovations, Inc. Fast pinhole changer for confocal microscopy or spatial filter
JP6140737B2 (ja) * 2012-02-23 2017-05-31 ザ ユナイテッド ステイツ オブ アメリカ, アズ リプレゼンテッド バイ ザ セクレタリー, デパートメント オブ ヘルス アンド ヒューマン サービシーズ 多焦点構造化照射顕微鏡検査システムおよび方法
DE102012208869A1 (de) * 2012-05-25 2013-11-28 Carl Zeiss Microscopy Gmbh Lichtrastermikroskop und Mikroskopierverfahren
JP2013205231A (ja) 2012-03-28 2013-10-07 Sumitomo Osaka Cement Co Ltd ブリルアン散乱顕微鏡
US9575304B2 (en) * 2012-06-25 2017-02-21 Huron Technologies International Inc. Pathology slide scanners for fluorescence and brightfield imaging and method of operation
JP6253266B2 (ja) 2013-06-11 2017-12-27 オリンパス株式会社 共焦点画像生成装置
GB201313681D0 (en) * 2013-07-31 2014-01-08 Mbda Uk Ltd Image processing
GB201318598D0 (en) * 2013-10-21 2013-12-04 Univ Leicester Improvements in or relating to super-resolution microscopy

Also Published As

Publication number Publication date
US20150316757A1 (en) 2015-11-05
US10642013B2 (en) 2020-05-05
EP2940507A1 (en) 2015-11-04
JP2015210471A (ja) 2015-11-24

Similar Documents

Publication Publication Date Title
US9279973B2 (en) Image processing apparatus, fluorescence microscope apparatus, and image processing program
US10955652B2 (en) Three-dimensional imaging using swept, confocally aligned planar excitation with a Powell lens and/or deliberate misalignment
US7902523B2 (en) Fluorescence microscope apparatus
JP2005284136A (ja) 観察装置および観察装置の焦点合わせ方法
JP5038094B2 (ja) レーザー走査型顕微鏡
JP2013212323A (ja) 蛍光観察装置および蛍光観察装置の作動方法
JP5734588B2 (ja) 細胞観察装置および観察方法
JP4883936B2 (ja) 走査型サイトメータの画像処理方法及び装置
JP5346635B2 (ja) 蛍光観察装置
EP2828700A1 (en) Multi-color confocal microscope and imaging methods
JP2010072014A (ja) 顕微鏡装置
JP2010286565A (ja) 蛍光観察装置
JP6161399B2 (ja) 顕微鏡システム
JP4905356B2 (ja) ライン走査型共焦点顕微鏡装置
JP6355961B2 (ja) 標本観察装置
JP6300658B2 (ja) 標本観察装置
WO2023276326A1 (ja) 光学画像処理方法、機械学習方法、学習済みモデル、機械学習の前処理方法、光学画像処理モジュール、光学画像処理プログラム、及び光学画像処理システム
JP2010164635A (ja) 共焦点顕微鏡
JP6564166B2 (ja) 測定装置および蛍光測定方法
JP5649994B2 (ja) 顕微鏡装置
JP2010160371A (ja) 共焦点顕微鏡
JP6552881B2 (ja) 顕微鏡および顕微鏡画像取得方法
WO2017158697A1 (ja) 画像取得方法および画像取得装置
JP5562582B2 (ja) 蛍光観察装置
JP5655434B2 (ja) 観察装置及び観察方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180613

R151 Written notification of patent or utility model registration

Ref document number: 6355961

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R157 Certificate of patent or utility model (correction)

Free format text: JAPANESE INTERMEDIATE CODE: R157

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250