JP6300658B2 - 標本観察装置 - Google Patents

標本観察装置 Download PDF

Info

Publication number
JP6300658B2
JP6300658B2 JP2014126228A JP2014126228A JP6300658B2 JP 6300658 B2 JP6300658 B2 JP 6300658B2 JP 2014126228 A JP2014126228 A JP 2014126228A JP 2014126228 A JP2014126228 A JP 2014126228A JP 6300658 B2 JP6300658 B2 JP 6300658B2
Authority
JP
Japan
Prior art keywords
image data
image
unit
original image
specimen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014126228A
Other languages
English (en)
Other versions
JP2016004230A (ja
Inventor
北川 久雄
久雄 北川
裕介 山下
裕介 山下
松川 康成
康成 松川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2014126228A priority Critical patent/JP6300658B2/ja
Priority to US14/728,396 priority patent/US10552945B2/en
Priority to EP15171381.5A priority patent/EP2957945A1/en
Publication of JP2016004230A publication Critical patent/JP2016004230A/ja
Application granted granted Critical
Publication of JP6300658B2 publication Critical patent/JP6300658B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4053Super resolution, i.e. output image resolution higher than sensor resolution
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0072Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image

Description

本発明は、標本観察装置に関するものである。
ヒトゲノムの解読以降、癌などの疾患機序や心臓・脳神経といった各臓器の発生/分化機序が分子レベルで解明されるようになっている。そして、顕微鏡を用いて細胞などの生体サンプルを観察する場合には、タンパクやDNA/RNAなど、分子レベルの挙動を観測することが求められている。このため、光学分解能を上回る超解像観察の重要性が増々高まっている。
従来、超解像観察を行う装置として、画像演算処理により、標本の画像データを元画像としてその高周波成分を強調することで、超解像成分が可視化された超解像画像を生成する標本観察装置が知られている(例えば、特許文献1および特許文献2参照。)。
特開2012−78408号公報 特開2013−20083号公報
しかしながら、特許文献1および特許文献2に記載の標本観察装置では、元画像としての画像データにおける高周波成分の比率が小さいと高周波成分を効率的に強調することができず、良好な超解像画像を生成することができないという問題がある。
本発明は上述した事情に鑑みてなされたものであって、元画像の生成に掛かる手間を省いて、良好な超解像画像を生成可能にすることができる標本観察装置を提供することを目的としている。
上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、光源から発せられたレーザ光を標本上で2次元的に走査させるスキャナと、超解像画像を作成するための元画像に必要なS/N比情報を記憶する記憶部と、該記憶部に記憶されている前記S/N比情報と所定の画像取得条件とに基づいて、前記元画像を生成するために加算すべき画像データの数を算出する画像データ数算出部と、前記所定の画像取得条件で前記標本からの光を検出して前記画像データを取得する画像データ取得部と、前記画像データ数算出部により算出された数に基づいて、前記スキャナにより前記標本における同一範囲において前記レーザ光を繰り返し走査させるとともに、前記画像データ取得部により前記標本における同一範囲からの光を繰り返し検出させて、該同一範囲の複数の前記画像データを取得させる制御部と、前記画像データ取得部により取得された前記同一範囲の複数の画像データを加算して前記元画像を生成する元画像生成部と、該元画像生成部により生成された前記元画像に対して高周波成分を強調するフィルタを適用することによって、前記超解像画像を生成する超解像画像生成部とを備える標本観察装置を提供する。
本発明によれば、制御部により、画像データ取得部に標本の同一範囲からの光を繰り返し検出させて同一範囲の複数の画像データが取得され、元画像生成部によりこれら同一範囲の画像データが加算されて元画像が生成される。これにより、標本における同一範囲について、1回の撮像では十分な光量が得られず画像データにノイズが重畳してしまう場合であっても、画像データを加算した分だけ輝度が増大してノイズが平滑化された高周波成分の比率が大きい元画像が生成される。したがって、その元画像に高周波成分を強調する画像演算処理を施せば、超解像成分が可視化された良好な超解像画像を生成することができる。
ここで、元画像のS/N比が十分に高くないと、高周波成分を強調することによる超解像効果が得られない。そのため、画像取得条件に応じて元画像のS/N比が低下した場合は、十分なS/N比を確保するために、加算する画像データの数を増加しなければならない。したがって、ノイズを平滑化して高周波成分の比率が大きい元画像を取得するには、画像取得条件と加算する画像データの数とを最適な組み合わせに調整する必要がある。
本発明は、画像データ数算出部により、元画像に必要なS/N比情報と所定の画像取得条件とに基づいて、元画像を生成するために加算すべき画像データの数を算出することで、所定の画像取得条件を採用した場合に必要な画像データ数を容易に把握することができる。これにより、元画像の生成に掛かる手間を省いて、良好な超解像画像を生成可能にすることができる。
上記発明においては、前記制御部が、前記スキャナにより主走査方向における同一の走査ライン上で前記レーザ光を繰り返し走査させ、前記画像データ取得部により前記同一の走査ラインの前記画像データを複数取得させることとしてもよい。
上記発明においては、前記S/N比情報が、前記元画像において所望のS/N比を得るために必要な1画素あたりの光電子数である第1光電子数であり、前記画像データ数算出部が、前記画像データ取得部によって前記所定の画像取得条件で取得される前記画像データの1画素あたりの光電子数である第2光電子数により前記第1光電子数を除算することとしてもよい。
画像データ取得部として光を検出する光電子増倍管(PMT)のような検出器は、画像取得条件としてのHV増倍ゲインが高すぎると、光電子1個あたりの電気信号が大きくなり、少ない光電子数で電気信号が飽和してしまう。そのため、1回の撮像で検出することができる光電子数が少なくなり、加算する画像データの数を増やさないと初期のノイズ平滑化効果が得られない。
この場合において、光電子数はS/N比の2乗に相当するので、第1光電子数は予備実験などで求められる。また、第2光電子数は、画像データ取得部により所定の画像取得条件で予め取得した画像データの輝度情報とその画像取得条件とに基づいて求められる。したがって、第1光電子数および第2光電子数を予め求めておくだけで、必要な画像データ数を容易に把握でき、元画像の生成に掛かる手間を省くことができる。
上記発明においては、前記元画像生成部により生成された前記元画像に基づき、前記画像データを追加して加算するか否かをユーザに入力させる入力部と、該入力部に前記画像データを追加すると入力された場合に、前記制御部が、前記標本の同一範囲について、前記画像データ取得部による前記画像データの取得を継続させることとしてもよい。
標本においては、例えば、生体分子に標識した蛍光分子が劣化したり光化学的に褪色したりするなど、実際に予測するのが困難な要因が存在することがある。ユーザが実際に元画像に基づいて加算する画像データを追加するか否かを判断することで、標本に応じてより適切な元画像を取得することができる。
本発明は、光源から発せられたレーザ光を標本上で2次元的に走査させるスキャナと、標本からの光を検出して画像データを取得する画像データ取得部と、超解像画像を作成するための元画像に必要な第1S/N比情報を記憶する記憶部と、該記憶部に記憶されている前記第1S/N比情報と所定の画像取得時間とに基づいて、前記元画像を生成するために加算する複数の前記画像データにおいて取得すべき第2S/N比情報を算出するS/N比情報算出部と、該S/N比情報算出部により算出された前記第2S/N比情報を満たす前記画像データを取得する画像取得条件を設定する条件設定部と、該条件設定部により設定された前記画像取得条件に基づいて、前記所定の画像取得時間内に、前記スキャナにより前記標本における同一範囲において前記レーザ光を繰り返し走査させるとともに、前記画像データ取得部により前記標本における同一範囲からの光を繰り返し検出させて、該同一範囲の画像データを複数取得させる制御部と、前記画像データ取得部により取得された前記同一範囲の複数の画像データを加算して前記元画像を生成する元画像生成部と、該元画像生成部により生成された前記元画像に対して高周波成分を強調するフィルタを適用することによって、前記超解像画像を生成する超解像画像生成部とを備える標本観察装置を提供する。
本発明によれば、制御部により画像データ取得部に標本の同一範囲からの光を繰り返し検出させて得られた複数の画像データが元画像生成部により加算されることで、標本における同一範囲について、ノイズが平滑化された高周波成分の比率が大きい元画像が生成される。
ここで、標本の状態や実験プログラムにより同一範囲の画像データを繰り返し取得する数が限られている場合は、十分なS/N比を確保するために、画像取得条件を調整しなければならない。
本発明は、S/N比情報算出部により元画像を生成するために所定の画像取得時間内に得られる各画像データにおいて取得すべき第2S/N比情報を算出し、条件設定部によりその第2S/N比情報を満たす画像データを取得する画像取得条件を設定することで、画像取得時間が制限されている場合に必要な画像取得条件を容易に把握することができる。これにより、元画像の生成に掛かる手間を省いて、良好な超解像画像を生成可能にすることができる。
上記発明においては、前記制御部が、前記スキャナにより主走査方向における同一の走査ライン上で前記レーザ光を繰り返し走査させ、前記画像データ取得部により前記同一の走査ラインの前記画像データを複数取得させることとしてもよい。
上記発明においては、前記第1S/N比情報が、前記元画像において所望のS/N比を得るために必要な1画素あたりの光電子数である第1光電子数であり、前記S/N比情報算出部が、前記所定の画像取得時間内に前記画像データを繰り返し取得可能な回数により前記第1光電子数を除算して、前記画像データごとの1画素あたりの光電子数である第2光電子数を前記第2S/N比情報として算出し、前記条件設定部が、前記画像データ取得部により取得される前記画像データの1画素あたりの光電子数である第3光電子数が前記第2光電子数を満たした場合に所望の輝度が得られるような前記画像取得条件を設定することとしてもよい。
このように構成することで、第1光電子数および第2光電子数を予備実験などで予め求めておくだけで、画像取得時間が制限されている場合に必要な画像取得条件を容易に把握でき、元画像の生成に掛かる手間を省くことができる。
上記発明においては、前記制御部が、前記元画像の高周波成分を強調するフィルタの画像処理アルゴリズム、前記画像データ取得部の検出ゲイン、前記標本に照射するレーザ光の強度、前記画像データを取得する方式および/または前記画像データを加算する方式についての各パラメータをそれぞれ単一または複数記憶し、前記光源と、前記制御部により記憶されている各前記パラメータからそれぞれいずれかをユーザに選択させる入力部とを備え、前記制御部が、前記入力部により選択された各前記パラメータにしたがって、前記光源、前記スキャナ、前記画像データ取得部、前記元画像生成部および前記超解像画像生成部を制御することとしてもよい。
このように構成することで、ユーザが実験目的に応じて選択した所望の組み合わせることにより、元画像の生成に掛かる手間を省くことができる。
上記発明においては、前記制御部が、前記元画像の高周波成分を強調するフィルタの画像処理アルゴリズム、前記画像データ取得部の検出ゲイン、前記標本に照射するレーザ光の強度、前記画像データを取得する方式および/または前記画像データを加算する方式の組み合わせを複数記憶し、前記光源と、前記制御部により記憶されている複数の前記組み合わせからいずれかをユーザに選択させる入力部とを備え、前記制御部が、前記入力部により選択された前記組み合わせにしたがって、前記光源、前記スキャナ、前記画像データ取得部、前記元画像生成部および前記超解像画像生成部を制御することとしてもよい。
このように構成することで、ユーザは予め決められているいずれかの組み合わせを選択するだけの簡易な作業だけで、元画像の生成に掛かる手間を省くことができる。
本発明によれば、元画像の生成に掛かる手間を省いて、良好な超解像画像を生成可能にすることができるという効果を奏する。
本発明の第1実施形態に係る標本観察装置を示す概略構成図である。 図1のシステム制御PCの概略構成図である。 図1の走査型レーザ顕微鏡を正面から見た図である。 図3の走査型レーザ顕微鏡を側面から見た図である。 図3の走査型レーザ顕微鏡を上方から見た図である。 図1の標本観察装置により超解像画像を生成する工程を説明するフローチャートである。 本発明の第2実施形態に係る標本観察装置のシステム制御PCを示す概略構成図である。 図7の標本観察装置により超解像画像を生成する工程を説明するフローチャートである。 本発明の第3実施形態に係る標本観察装置を示す概略構成図である。 図9の標本観察装置により超解像画像を生成する工程を説明するフローチャートである。 HVとレーザ強度から平均化走査ライン数を決定するテーブルの一例を示す図である。
〔第1実施形態〕
本発明の第1実施形態に係る標本観察装置について図面を参照して以下に説明する。
本実施形態に係る標本観察装置1は、図1〜図5に示すように、走査型レーザ顕微鏡3と、走査型レーザ顕微鏡3の制御等を行うシステム制御PC(Personal Computer)5とを備えている。
走査型レーザ顕微鏡3は、生体細胞組織のような標本Sに励起レーザ光を照射する顕微鏡本体10と、顕微鏡本体10により励起レーザ光が照射された標本Sより集光された蛍光を検出して光強度信号を取得する第1検出ユニット30および第2検出ユニット40とを備えている。
顕微鏡本体10は、標本Sを載置するステージ11(図3〜5参照)と、励起レーザ光を発生する光源(図示略)と、光源から発せられた励起レーザ光を走査するスキャナ(走査部)13と、スキャナ13により走査された励起レーザ光を集光する瞳投影レンズ15と、瞳投影レンズ15により集光された励起レーザ光を平行光に変換する結像レンズ17と、平行光に変換された励起レーザ光を標本Sに照射する一方、標本Sにおいて発生する蛍光を集光する対物レンズ19とを備えている。
また、顕微鏡本体10には、対物レンズ19により集光されて結像レンズ17、瞳投影レンズ15およびスキャナ13を介して励起レーザ光の光路を戻る蛍光(戻り光)を光路から分岐させるダイクロイックミラー21と、ダイクロイックミラー21により分岐された蛍光をリレーするリレーレンズ23と、対物レンズ19の焦点位置と光学的に共役な位置に開口する絞り25と、リレーレンズ23によりリレーされた蛍光の光路を切り替える光路切り替えミラー27とが備えられている。
スキャナ13は、図3〜5に示す走査ユニット(SU)7に収容されている。また、スキャナ13は、互いに対向して配置されて相互に直交する軸線回りに揺動可能な2枚のガルバノミラー(図示略)を備えている。このスキャナ13は、2枚のガルバノミラーを揺動させて励起レーザ光を偏向することで、標本S上で励起レーザ光を2次元的(X軸方向およびY軸方向)に走査することができるようになっている。
一方のガルバノミラーの揺動速度は、他方のガルバノミラーの揺動速度に対して十分に速く設定されている。高速側のガルバノミラーは標本S上における主走査方向(X軸方向)の走査のために使用され、低速側のガルバノミラーは標本S上における走査位置を副走査方向(Y軸方向)に送るために使用される。これら2枚のガルバノミラーは、図示しないモータにより軸線回りに揺動させられるようになっている。
ダイクロイックミラー21は、光源からの励起レーザ光をスキャナ13に向けて反射する一方、標本Sからの蛍光をリレーレンズ23に向けて透過させるようになっている。
リレーレンズ23は、ダイクロイックミラー21を透過した蛍光を集光して絞り25の開口位置に蛍光のスポットを投影するコンフォーカルレンズ24Aと、コンフォーカルレンズ24Aにより投影された蛍光を結像させる結像レンズ24Bとにより構成されている。
絞り25は、システム制御PC5により、開口径を変更することができるようになっている。本実施形態においては、絞り25は、コンフォーカルレンズ24Aにより投影される蛍光のスポット、すなわち、コンフォーカルスポットの径寸法よりも小さい開口径、例えば、コンフォーカルスポットの径寸法の1/2程度の開口径に設定されている。
光路切り替えミラー27は、リレーレンズ23によりリレーされた蛍光の光路に挿脱可能に配置されている。この光路切り替えミラー27は、蛍光の光路に挿入されると、リレーレンズ23からの蛍光を第1検出ユニット30に向けて反射するようになっている。蛍光の光路から光路切り替えミラー27が外されると、リレーレンズ23からの蛍光がそのまま第2検出ユニット40に入射するようになっている。
第1検出ユニット30は、走査ユニット7に内蔵されている。この第1検出ユニット30は、蛍光を検出してその光量に応じた大きさの光強度信号を出力するマルチアルカリPMT(Photo Multiplier Tube、画像データ取得部)31と、マルチアルカリPMT31にHV(High Voltage、印加電圧)を印加する第1HV電源33と、マルチアルカリPMT31から出力された光強度信号を増幅する第1増幅器35とを備えている。
マルチアルカリPMT31は、サイドオン型のPMTであり、蛍光を受光して光電変換するマルチアルカリ光電面(図示略)を備えている。
第2検出ユニット40は、図3〜5に示す高感度検出ユニット(HSD:High Sensitivity Detectors)9に収容されている。この第2検出ユニット40は、蛍光を検出してその光量に応じた大きさの光強度信号を出力するGaAsP−PMT(Gallium Arsenide Phosphide−PMT、画像データ取得部)41と、GaAsP−PMT41にHVを印加する第2HV電源43と、GaAsP−PMT41から出力された光強度信号を増幅する第2増幅器45とを備えている。
GaAsP−PMT41は、ヘッドオン型のPMTであり、GaAsP化合物を使用した光電面(図示略)を備えている。このGaAsP−PMT41は、マルチアルカリPMT31よりも感度が高く、画像データにノイズが少ない。
システム制御PC5は、図2に示すように、装置の設定、画像データの取得および処理等を行う制御本体部(画像データ取得部、画像データ数算出部、制御部、元画像生成部)51と、制御本体部51に対してユーザに指示を入力させるマウスやキーボードのような入力装置(入力部)53と、標本Sの画像等を表示するLCD(Liquid Crystal display)のようなモニタ55と、超解像画像を作成するための元画像に必要な所望のS/N比に関する装置パラメータA(S/N比情報)を記憶するメモリ(記憶部)57とを備えている。
メモリ57には、装置パラメータAとして、上記元画像において所望のS/N比を得るために必要な1画素あたりの光電子数を記憶させておく。以下、この光電子数のことを「第1光電子数」という。光電子数はS/N比の2乗に相当するので、予備実験などで元画像に必要なS/N比を求めておき、これを2乗することで第1光電子数を算出することができる。
制御本体部51は、入力部53に入力されるユーザの指示に従い、スキャナ13の走査条件の設定、絞り25の開口径の設定、光路切り替えミラー27の挿脱、第1増幅器35および第2増幅器45の増幅ゲインの設定、第1HV電源33および第2HV電源43のHVの設定等を行うようになっている。
また、制御本体部51は、スキャナ13を制御するとともに、第1増幅器35または第2増幅器45から送られてくる光強度信号をスキャナ13の走査位置に対応する画素毎に輝度情報に変換して、標本Sの画像データを取得するようになっている。また、制御本体部51は、取得した画像データをモニタ55に表示するようになっている。
また、制御本体部51は、メモリ57に記憶されている元画像に必要な第1光電子数(装置パラメータA)とHV増倍ゲインや回路ゲイン等の所定の画像取得条件とに基づいて、元画像を生成するために加算すべき画像データの数、すなわち、画像データを加算する回数を算出するようになっている。
具体的には、制御本体部51は、画像パラメータBとして、所定の画像取得条件で取得される画像データの1画素あたりの光電子数を算出する。以下、この光電子数を「第2光電子数」という。そして、算出した第2光電子数で、元画像に必要な第1光電子数を除算することにより、画像データを加算する回数を算出するようになっている。以下、この回数を「繰り返し回数N」という。
第2光電子数は、ユーザが所定の画像取得条件で画像データを予め取得して、その画像データの代表的な明るさ(例えば、最大輝度や中間輝度)の画素の輝度情報とその画像取得条件とに基づいて求めることができる。
所定の画像取得条件は、より具体的には、マルチアルカリPMT31やGaAsP−PMT41のHV増倍ゲインや、検出回路の電流−電圧(I−V)変換特性、光強度信号の増幅アンプ(または、アナログ積分回路)のゲイン、光源のレーザ光強度が挙げられる。
また、制御本体部51は、スキャナ13および検出ユニット30,40により、算出した繰り返し回数Nの数だけ、標本Sにおける同一範囲からの蛍光を繰り返し検出して同一範囲の画像データを取得するようになっている。例えば、制御本体部51は、スキャナ13の高速側のガルバノミラーにより主走査方向における同一の走査ライン上で励起レーザ光をN回走査させたら、低速側のガルバノミラーを揺動させて主走査方向の走査ラインを次の走査ラインに移動させる動作を繰り返えすことで、同一の走査ラインごとにそれぞれN回分の画像データを取得するようになっている。
さらに、制御本体部51は、標本Sの同一範囲ごとに取得したN回分の画像データを加算して元画像を生成するようになっている。そして、制御本体部51は、生成した元画像に対して高周波成分を強調するフィルタを適用することにより、光学分解能を上回る超解像画像を生成するようになっている。
このように構成された標本観察装置1の作用について説明する。
本実施形態に係る標本観察装置1によりマルチアルカリPMT31を用いて標本Sの画像データを取得する場合は、制御本体部51により、第1HV電源33のHVゲイン、第1増幅器35の増幅器ゲインを設定する。そして、制御本体部51により、蛍光の光路に光路切り替えミラー27を挿入し、光源から励起レーザ光を発生させる。
光源から発せられた励起レーザ光は、ダイクロイックミラー21により反射された後、スキャナ13により偏向されて瞳投影レンズ15により集光され、結像レンズ17により平行光に変換されて対物レンズ19により標本Sに照射される。これにより、スキャナ13の揺動動作に応じて標本S上で励起レーザ光が2次元的に走査される。
励起レーザ光が照射されることにより標本Sにおいて発生する蛍光は、対物レンズ19により集光され、結像レンズ17、瞳投影レンズ15、スキャナ13を介して励起レーザ光の光路を戻り、ダイクロイックミラー21を透過して光路から分岐される。ダイクロイックミラー21を透過した蛍光は、リレーレンズ23によりリレーされて絞り25を通過し、光路切り替えミラー27により反射されて第1検出ユニット30に入射する。
第1検出ユニット30においては、マルチアルカリPMT31により蛍光が検出され、検出した蛍光の量に応じた大きさの光強度信号が出力される。マルチアルカリPMT31から出力された光強度信号は、第1増幅器35により増幅されて、システム制御PC5の制御本体部51に送られる。
制御本体部51においては、入力された光強度信号がスキャナ13の走査位置に対応する画素毎に輝度情報に変換され、標本Sの画像データが取得される。取得された画像データはモニタ55に表示される。
次に、GaAsP−PMT41を用いて標本Sの画像データを取得する場合は、制御本体部51により、第2HV電源43のHVゲイン、第2増幅器45の増幅器ゲインを設定する。そして、制御本体部51により、蛍光の光路から光路切り替えミラー27を外し、マルチアルカリPMT31を用いた場合と同様に顕微鏡本体10により標本S上で励起レーザ光を走査させる。
標本Sにおいて発生した蛍光は、対物レンズ19により集光されて励起レーザ光の光路を戻り、ダイクロイックミラー21を透過してリレーレンズ23によりリレーされた後、光路切り替えミラー27を介さずに第2検出ユニット40に入射する。
第2検出ユニット40においては、GaAsP−PMT41により蛍光が検出されて光強度信号が出力され、第2増幅器45により光強度信号が増幅されて制御本体部51に送られる。そして、制御本体部51により、その光強度信号に基づいて標本Sの画像データが取得される。取得された画像データはモニタ55に表示される。
次に、超解像画像を生成する場合について、図6のフローチャートを参照して説明する。
本実施形態に係る標本観察装置1により超解像画像を生成する場合は、画像データに含まれるノイズが少ないGaAsP−PMT41を用いて上記元画像を生成することが好ましい。
まず、本実施形態に係る標本観察装置1では、PMTパラメータとしてのHV増倍ゲインと、回路パラメータとしての増幅ゲイン(または、積算ゲイン)とサンプリング期間とにより、光電子数×増倍ゲイン(HV依存)を演算し、1光電子あたりの電荷(電流)、1光電子あたりの輝度データ増分(平均値)を求めておく。
次いで、制御本体部51により、GaAsP−PMT41に印加するHVと走査時間を含む所定の画像取得条件を設定し、光源のレーザ強度を調節する(ステップSA1)。
次いで、設定した画像取得条件で画像データを取得し、制御本体部51により、取得した画像データの1画素あたりの第2光電子数(画像パラメータB)を算出する。
そして、制御本体部51により、元画像において必要な1画素あたりの第1光電子数(装置パラメータA)をメモリ57から読み出して、第1光電子数を第2光電子数で除算し、画像データを加算する回数(繰り返し回数N)を算出する(ステップSA2)。
続いて、光源から励起レーザ光を発生させて、制御本体部51によりスキャナ13を制御し、主走査方向における同一の走査ライン上でレーザ光を繰り返し走査させて、同一の走査ラインの画像データを複数取得する(ステップSA3)。
制御本体部51により、標本Sにおける同一の走査ラインにおいて画像データがN回取得されたか否かが判定され(ステップSA4)、N回分取得されたと判定されたら次の走査ラインに移動する。これにより、走査ラインごとにそれぞれN回分の画像データが取得される。
次いで、制御本体部51により、標本Sの同一範囲ごとにN回分の画像データが加算されて元画像が生成され(ステップSA5)、モニタ55に表示される。
ここで、生体細胞組織のように生体分子に蛍光標識した細胞を標本Sとして観察する場合は、励起レーザ光を1度走査させただけでは十分な検出光量が得られず、ざらざらしたノイズ(ランダムノイズ)が重畳した画像データが取得されることが多い。このような画像データを元画像としてこれに高周波成分を強調する処理を施すと、ノイズが強調された画像になってしまい、良好な超解像画像を得ることができない。
これに対し、本実施形態においては、制御本体部51により、標本Sにおける同一範囲について繰り返し取得した複数の画像データを加算することで、標本S上の同一範囲について、画像データを加算した分だけ輝度が増大してノイズが平滑化された高周波成分の比率が大きい元画像を得ることができる。
続いて、制御本体部51により、生成した元画像に対して高周波成分を強調するフィルタが適用され、超解像成分が可視化された超解像画像が生成される(ステップSA6)。生成された超解像画像はモニタ55に表示される。
この場合において、PMTのような検出器は、画像取得条件としてのHV増倍ゲインが高すぎると、光電子1個あたりの電気信号が大きくなり、少ない光電子数で電気信号が飽和してしまう。そのため、1回の撮像で検出することができる光電子数が少なくなり、加算する画像データの数を増やさないと初期のノイズ平滑化効果が得られない。したがって、ノイズを平滑化して高周波成分の比率が大きい元画像を取得するには、画像取得条件と加算する画像データの数とを最適な組み合わせに調整する必要がある。
本実施形態に係る蛍光観察装置1によれば、制御本体部51により、元画像において所望のS/N比を得るために必要な1画素あたりの第1光電子数(装置パラメータA)と所定の画像取得条件とに基づいて、元画像を生成するために加算すべき画像データの数(繰り返し回数N)を算出することで、所定の画像取得条件を採用した場合に必要な画像データ数を容易に把握することができる。これにより、元画像の生成に掛かる手間を省いて、良好な超解像画像を生成することができる。
また、主走査方向における同一の走査ライン上で励起レーザ光を繰り返し走査させて画像データを複数取得することで、標本Sとしての生体細胞組織に対して励起レーザ光を1点に照射し続けなくて済み、光毒性や蛍光飽和(サチュレーション)が起きるのを防ぐことができる。また、同一範囲を繰り返し走査する時間間隔が長くなりすぎず、細胞の経時変化や装置の温度ドリフトの影響を低減することができる。
また、絞り25をコンフォーカルスポットの径寸法の1/2程度の開口径に設定することで、リレーレンズ23によりリレーされる蛍光の内、光束の中心部分のみが絞り25を通過し、周囲の部分は絞り25により遮断される。これにより、コンフォーカルスポットの中心のピーク付近の蛍光が検出されるので、高周波成分の比率を適度に含み、かつ、検出ロスも少なくて済む。
本実施形態においては、制御本体部51が画像データの取得と、加算すべき画像データの数を算出と、標本Sにおける同一範囲の複数の画像データの取得と、複数の画像データの加算処理とを行うこととしたが、これに代えて、例えば、システム制御PC5が、画像データを取得する画像データ取得部と、加算すべき画像データの数を算出する画像データ数算出部と、画像データ取得部により標本Sにおける同一範囲の画像データを複数取得させる制御部と、同一範囲の複数の画像データを加算する画像データ加算部とを備えることとしてもよい。
また、本実施形態は以下のように変形することができる。
すなわち、一旦作成した元画像に対して画像データをさらに追加して加算するか否かをユーザに判断させ、画像データを追加して加算する場合は、標本Sの同一範囲について画像データの取得を継続させることとしてもよい。
この場合、制御本体部51により同一範囲の画像データをN回分加算して元画像を生成した段階で、その元画像と、画像データを追加して加算するか否かのメッセージを共にモニタ55に表示することとすればよい。また、画像データをさらに追加して加算するか否かのユーザの指示を入力装置(入力部)53に入力させ、入力装置53に画像データを追加すると入力された場合に、制御本体部51が、標本Sの同一範囲について画像データの取得を継続させることとすればよい。
標本においては、例えば、生体分子に標識した蛍光分子が劣化したり光化学的に褪色したりするなど、実際に予測するのが困難な要因が存在することがある。本変形例によれば、ユーザが実際に元画像に基づいて画像データを追加して加算するか否かを判断することで、ユーザにとって使い勝手がよく、標本Sに応じてより適切な元画像を取得することができる。
〔第2実施形態〕
次に、本発明の第2実施形態に係る標本観察装置について説明する。
本実施形態に係る標本観察装置1は、制御本体部51に代えて、図7に示すように、元画像を生成するために加算する複数の画像データにおいて取得すべき光電子数を算出する光電子数算出部(S/N比情報算出部)61と、画像取得条件の設定等を行う制御本体部(画像データ取得部、条件設定部、制御部、元画像生成部)62とを備える点で第1実施形態と異なる。
以下、第1実施形態に係る標本観察装置1と構成を共通する箇所には、同一符号を付して説明を省略する。
メモリ57には、装置パラメータAとして、元画像において所望のS/N比を得るために必要な1画素あたりの第1光電子数(第1S/N比情報)を記憶しておくと共に、装置パラメータTとして、標本Sの状態が安定している時間や実験プログラとの関係で超解像画像を取得するのに必要または好都合な画像取得時間を記憶しておく。
光電子数算出部61は、装置パラメータPとして、メモリ57に記憶されている第1光電子数と所定の画像取得時間とに基づいて、元画像を生成するために加算する複数の画像データにおいて取得すべき1画素あたりの光電子数(第2S/N比情報)を算出するようになっている。以下、この光電子数を第2光電子数とする。
具体的には、光電子数算出部61は、メモリ57に記憶されている画像取得時間(装置パラメータT)とフレームレート(枚/秒)を乗算して、繰り返し回数Nを算出するようになっている。また、光電子数算出部61は、メモリ57に記憶されている第1光電子数を繰り返し回数Nで除算して、第2光電子数を算出するようになっている。
制御本体部62は、スキャナ13の走査条件の設定、絞り25の開口径の設定、光路切り替えミラー27の挿脱、第1増幅器35および第2増幅器45の増幅ゲインの設定、第1HV電源33および第2HV電源43のHVの設定等を行うようになっている。
また、制御本体部62は、スキャナ13を制御するとともに、第1増幅器35または第2増幅器45から送られてくる光強度信号をスキャナ13の走査位置に対応する画素毎に輝度情報に変換して、標本Sの画像データを取得するようになっている。また、制御本体部62は、取得した画像データをモニタ55に表示するようになっている。
また、制御本体部62は、光電子数算出部61により算出された第2光電子数(装置パラメータP)を満たす画像データを取得する画像取得条件を設定するようになっている。具体的には、制御本体部62は、取得する画像データの1画素あたりの光電子数(第3光電子数)が第2光電子数に満たした場合に所望の輝度(例えば、ダイナミックレンジの最大値または中間値。)が得られるように、マルチアルカリPMT31やGaAsP−PMT41のHV増倍ゲインや、検出回路の電流−電圧(I−V)変換特性、光強度信号の増幅アンプ(または、アナログ積分回路)のゲインを調整するようになっている。また、制御本体部62は、上記の画像取得条件により得られる光強度信号に過不足が生じる場合は、光源のレーザ光強度を加減するようになっている。
また、制御本体部62は、光電子数算出部61により算出された繰り返し回数Nの数だけ、スキャナ13および検出ユニット30,40により、標本Sにおける同一範囲からの蛍光を繰り返し検出して同一範囲の画像データを取得するようになっている。例えば、制御本体部62は、スキャナ13の高速側のガルバノミラーにより主走査方向における同一の走査ライン上で励起レーザ光をN回走査させたら、低速側のガルバノミラーを揺動させて主走査方向の走査ラインを次の走査ラインに移動させる動作を繰り返えすことで、同一の走査ラインごとにそれぞれN回分の画像データを取得するようになっている。
さらに、制御本体部62は、標本Sの同一範囲ごとに取得したN回分の画像データを加算して元画像を生成するようになっている。そして、制御本体部62は、生成した元画像に対して高周波成分を強調するフィルタを適用することにより、光学分解能を上回る超解像画像を生成するようになっている。
このように構成された標本観察装置1の作用について、図8のフローチャートを参照して説明する。
マルチアルカリPMT31およびGaAsP−PMT41を用いた標本Sの画像データの取得方法については、第1実施形態と同様であるので説明を省略する。
本実施形態に係る標本観察装置1により超解像画像を生成する場合は、まず、PMTパラメータとしてのHV増倍ゲインと、回路パラメータとしての増幅ゲイン(または、積算ゲイン)とサンプリング期間とにより、光電子数×増倍ゲイン(HV依存)を演算し、1光電子あたりの電荷(電流)、1光電子あたりの輝度データ増分(平均値)を求めておく。
次いで、光電子数算出部61により、メモリ57に記憶されている画像取得時間(装置パラメータT)とフレームレート(枚/秒)を乗算して、繰り返し回数Nを算出する(ステップSB1)。
次いで、光電子数算出部61は、元画像において必要な1画素あたりの第1光電子数(装置パラメータA)をメモリ57から読み出し、第1光電子数を繰り返し回数Nで除算して、各画像データにおいて取得すべき1画素あたりの第2光電子数(装置パラメータP)を算出する。(ステップSB2)。
続いて、制御本体部62により、取得する画像データの1画素あたりの光電子数(第3光電子数)が第2光電子数を満たした場合に所望の輝度(例えば、ダイナミックレンジの最大値または中間値。)が得られるような画像取得条件を設定する(ステップSB3)。
以下、画像データの取得(ステップSA3)、繰り返し回数Nを満たすか否かの判定(ステップSA4「YES」)、画像データの加算(ステップSA5)および高周波成分を強調するフィルタの適用については、第1実施形態と同様であるので説明を省略する。
この場合において、標本Sの状態や実験プログラムにより同一範囲の画像データを繰り返し取得する数が限られている場合は、十分なS/N比を確保するために、画像取得条件を調整しなければならない。
本実施形態に係る標本観察装置1によれば、光電子数算出部61により、元画像を生成するために所定の画像取得時間内に得られる各画像データにおいて取得すべき第2光電子数(装置パラメータP)を算出し、制御本体部62により、その第2光電子数を満たす画像データを取得する画像取得条件を設定することで、画像取得時間が制限されている場合に必要な画像取得条件を容易に把握することができる。これにより、元画像の生成に掛かる手間を省いて、良好な超解像画像を生成可能にすることができる。
本実施形態においては、制御本体部62が画像データの取得と、画像取得条件の設定と、標本Sにおける同一範囲の複数の画像データの取得と、複数の画像データの加算処理とを行うこととしたが、これに代えて、例えば、システム制御PC5が、画像データを取得する画像データ取得部と、画像取得条件を設定する条件設定部と、画像データ取得部により標本Sにおける同一範囲の画像データを複数取得させる制御部と、同一範囲の複数の画像データを加算する画像データ加算部とを備えることとしてもよい。
また、本実施形態においては、制御本体部62が画像取得条件を自動的に調整することとしてもよいし、システム制御PC5からの警告や調整のガイドラインをモニタ55に表示してユーザが画像取得条件を調整させることとしてもよい。
〔第3実施形態〕
次に、本発明の第3実施形態に係る標本観察装置について説明する。
本実施形態に係る標本観察装置101は、共焦点レーザ顕微鏡(Confocal Laser Scanning Microscope)であり、システム制御PC5に代えて、図9に示すように、ユーザが選択するモードに応じて画像データを加算する数を切り替えるPC(Personal Computer)&PSU(Power Supply Unit)のような制御装置(、条件設定部)105を備える点で第1実施形態および第2実施形態と異なる。
以下、第1実施形態および第2実施形態に係る標本観察装置1と構成を共通する箇所には、同一符号を付して説明を省略する。
標本観察装置101は、励起レーザ光を発生する光源103と、スキャナ13と、対物光学系107と、スキャナ13によりディスキャンされた蛍光を結像させる結像レンズや蛍光の光束を制限するピンホール等を含む共焦点光学系109と、蛍光を検出する光電子増倍管のような光検出器(画像データ取得部)111と、光検出器111から出力された光強度信号を輝度データ(画像データ)に変換するADC回路113と、制御装置105と、モニタ55と、入力装置53とを備えている。
制御装置105は、光源103を制御する光源制御部115と、スキャナ13を制御するスキャン制御部117と、共焦点光学系109を制御する光路制御部119と、光検出器111を制御する検出器制御部121と、所定の走査ライン数分の輝度データを平均化するライン平均化演算部(元画像生成部)123と、これらを制御するCPU(Central Processing Unit、制御部、元画像生成部)125と、光電子数算出部(S/N比情報算出部)61、平均化後の輝度データを蓄積するメインメモリ(記憶部)127と、モニタ55を制御する表示制御部129と、平均化回数に相当する走査ラインの数の輝度データを蓄積するラインバッファメモリ(図示略)とを備えている。
この制御装置105は、モニタ55に表示されるGUI(Graphical User Interface、条件設定部)をユーザが入力装置53を介して操作することで、画像取得条件の選択や設定を行うことができるようになっている。
また、制御装置105は、ソフトウェアによる制御により、画像を構成するXY座標において励起レーザ光を1回のみ走査させて画像化するOne Shotスキャンと、同一の走査ライン上で励起レーザ光を繰り返し走査させて平均化するLine Averageスキャンとをユーザが選択して元画像を取得することができるようになっている。
また、ソフトウェアは、超解像画像を取得する「超解像スキャン有効」と、超解像画像を取得しない「超解像スキャン無効」とを切り替えるGUIを有している。また、ソフトウェアは、超解像スキャンを行う際に、小さなS/N比で超解像画像を取得するのに好適な画像処理アルゴリズムと、その画像処理アルゴリズムを良好に適用することができる元画像のS/N比とをユーザが選択することができる「速度優先モード」と、大きなS/N比で超解像画像を取得するのに好適な画像処理アルゴリズムと、その画像処理アルゴリズムを良好に適用することができる元画像のS/N比とをユーザが選択することができる「画質優先モード」とを切り替えるGUIを有している。「速度優先モード」はより短時間で超解像画像を取得することができ、「画質優先モード」は時間をかけてより高画質に超解像画像を取得することができる。
CPU125は、GUIにより設定された画像取得条件に応じて、光源制御部115、スキャン制御部117、光路制御部119および検出器制御部121に対して、光源103、スキャナ13、共焦点光学系109および光検出器111の条件をそれぞれ設定するようになっている。これにより、CPU125は、光源制御部115、スキャン制御部117、光路制御部119および検出器制御部121を介して、光源103、スキャナ13、共焦点光学系109および光検出器111を制御するようになっている。
このように構成された標本観察装置101の作用について説明する。
本実施形態に係る標本観察装置101においては、光源103から発せられた励起レーザ光がスキャナ13により対物光学系107を介して標本S上で走査される。また、標本Sにおいて発生する蛍光が対物光学系107により集光されてスキャナ13によりディスキャンされ、共焦点光学系109を介して光検出器111により検出される。光検出器111から出力される光検出信号はADC回路113によりデジタル化され、輝度データとして制御装置105に送られる。
制御装置105においては、CPU125とライン平均化演算部123により、所定の走査ライン数分の輝度データが平均化されてメインメモリ127に格納される。メインメモリ127に格納されている輝度データは、表示制御部129によりモニタ55に画像として表示される。
次に、本実施形態に係る標本観察装置101による超解像画像の取得について、図10のフローチャートを参照して説明する。
まず、制御装置105において、アプリソフト上で「超解像スキャン無効」に設定した場合は(ステップSC1「NO」)、ライン平均が行われず(ステップSC2、平均化枚数L=1)、フレーム画像データが生成されてモニタ55に表示される。
一方、アプリソフト上で「超解像スキャン有効」に設定した場合は(ステップSC1「YES」)、「画質優先モード」と「速度優先モード」の2つのモードに分かれる。「画質優先モード」を指定した場合は(ステップSC3「YES」)、平均化走査ライン数Ln=L1として、同一の走査ラインをL1回ずつ繰り返し走査しながら輝度データを平均化する(ステップSC4)。そして、フレーム画像データを生成し、CPU125により超解像フィルタ演算を施して超解像成分が可視化された超解像画像を生成し、モニタ55に表示する。
一方、「速度優先モード」を指定した場合(ステップSC3「NO」)は、平均化走査ライン数Ln=L2として、同一の走査ラインをL2回ずつ繰り返し走査しながら輝度データを平均化する(ステップSC5)。ただし、L2<L1とする。その他の処理手順は「画質優先モード」と同じなので説明を省略する。
以上説明したように本実施形態に係る標本観察装置101によれば、ユーザは、超解像処理に適した画質の元画像を得るために必要な平均化走査ライン数、例えば、図11のテーブル内に示した数値L1、L2を検知したり意識したりする必要がなく、レーザパワーや検出器HVにより画像の露出を調節して超解像画像取得のモードを選択するだけで、適切な条件で画像データを取得し、簡便に超解像画像を得ることができる。図11において、各レーザ強度(Laser)の欄の上段は画質優先モード時の平均化走査ライン数L1を示し、下段は速度優先モード時の平均化走査ライン数L2を示している。
また、超解像画像の取得条件が1通りに限定されるのではなく、「速度優先」および「画質優先」という選択肢を用意することで、ユーザがその実験に掛けることができる時間や褪色・光毒素性を気にするか否かといった意図に応じて、超解像画像の取得条件を調節することができる。
なお、平均化走査ライン数L1、L2は、ユーザの操作や設定によらずに予め決められた固定値でもよく、励起レーザ光の強度や光検出器111のゲインに応じて決定するとなおよい。
励起レーザ光の強度および光検出器111のゲインと平均化走査ライン数L1、L2との関係は、テーブル状のデータとして保持することとしてもよいし、例えば、μWで指定されたパワーと光検出器111の増倍率を決めるHV電圧値とに基づく関数式により規定することとしてもよい。
本実施形態においては、ユーザが選択する「速度優先」モードと「画質優先」モードに応じて画像データの平均化数のみを切り替えることとしたが、これ以外の画像取得に関わるパラメータ、具体的には、元画像の高周波成分を強調するフィルタの画像処理アルゴリズム、GaAsP−PMT41の検出ゲイン、励起レーザ光の強度、画像データを取得する方式および/または画像データを加算する方式がそれぞれ単一または複数個用意しておき、ユーザが実験目的に応じてそれぞれを選択して組み合わせることとしてもよい。
また、元画像の高周波成分を強調するフィルタの画像処理アルゴリズム、光検出器111の検出ゲイン、励起レーザ光の強度、画像データを取得する方式および/または画像データを加算する方式の組み合わせを複数個用意しておき、ユーザが実験目的に応じていずれかの組み合わせを選択することとしてもよい。
この場合、例えば、平均化走査ライン数が少なく相対的に低いS/Nの減画像に対するフィルタ処理では、ノイズによる偽の高周波成分を強調しすぎないような画像処理アルゴリズムを選択するなど、複数のパラメータが連動して好ましい条件が選択されるようにすると、最小の手順でよりよい撮像条件を設定することができる。
このようにすることで、ユーザは予め決められているいずれかの組み合わせを選択するだけの簡易な作業だけで、元画像の生成に掛かる手間を省くことができる。
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明を上記各実施形態および変形例に適用したものに限定されることなく、これらの実施形態および変形例を適宜組み合わせた実施形態に適用してもよく、特に限定されるものではない。
1,101 標本観察装置
51 制御本体部(画像データ取得部、画像データ数算出部、制御部、元画像生成部)
53 入力装置(入力部)
57 メモリ(記憶部)
61 光電子数算出部(S/N比情報算出部)
62 制御本体部(画像データ取得部、条件設定部、制御部、元画像生成部)
111 光検出器(画像データ取得部)
123 ライン平均化演算部(元画像生成部)
125 CPU(制御部、元画像生成部)
127 メインメモリ(記憶部)
S 標本

Claims (9)

  1. 光源から発せられたレーザ光を標本上で2次元的に走査させるスキャナと、
    超解像画像を作成するための元画像に必要なS/N比情報を記憶する記憶部と、
    該記憶部に記憶されている前記S/N比情報と所定の画像取得条件とに基づいて、前記元画像を生成するために加算すべき画像データの数を算出する画像データ数算出部と、
    前記所定の画像取得条件で前記標本からの光を検出して前記画像データを取得する画像データ取得部と、
    前記画像データ数算出部により算出された数に基づいて、前記スキャナにより前記標本における同一範囲において前記レーザ光を繰り返し走査させるとともに、前記画像データ取得部により前記標本における同一範囲からの光を繰り返し検出させて、該同一範囲の複数の前記画像データを取得させる制御部と、
    前記画像データ取得部により取得された前記同一範囲の複数の画像データを加算して前記元画像を生成する元画像生成部と
    該元画像生成部により生成された前記元画像に対して高周波成分を強調するフィルタを適用することによって、前記超解像画像を生成する超解像画像生成部とを備える標本観察装置。
  2. 前記制御部が、前記スキャナにより主走査方向における同一の走査ライン上で前記レーザ光を繰り返し走査させ、前記画像データ取得部により前記同一の走査ラインの前記画像データを複数取得させる請求項1に記載の標本観察装置。
  3. 前記S/N比情報が、前記元画像において所望のS/N比を得るために必要な1画素あたりの光電子数である第1光電子数であり、
    前記画像データ数算出部が、前記画像データ取得部によって前記所定の画像取得条件で取得される前記画像データの1画素あたりの光電子数である第2光電子数により前記第1光電子数を除算する請求項1または請求項2に記載の標本観察装置。
  4. 前記元画像生成部により生成された前記元画像に基づき、前記画像データを追加して加算するか否かをユーザに入力させる入力部と、
    該入力部に前記画像データを追加すると入力された場合に、前記制御部が、前記標本の同一範囲について、前記画像データ取得部による前記画像データの取得を継続させる請求項1から請求項3のいずれかに記載の標本観察装置。
  5. 光源から発せられたレーザ光を標本上で2次元的に走査させるスキャナと、
    前記標本からの光を検出して画像データを取得する画像データ取得部と、
    超解像画像を作成するための元画像に必要な第1S/N比情報を記憶する記憶部と、
    該記憶部に記憶されている前記第1S/N比情報と所定の画像取得時間とに基づいて、前記元画像を生成するために加算する複数の前記画像データにおいて取得すべき第2S/N比情報を算出するS/N比情報算出部と、
    該S/N比情報算出部により算出された前記第2S/N比情報を満たす前記画像データを取得する画像取得条件を設定する条件設定部と、
    該条件設定部により設定された前記画像取得条件に基づいて、前記所定の画像取得時間内に、前記スキャナにより前記標本における同一範囲において前記レーザ光を繰り返し走査させるとともに、前記画像データ取得部により前記標本における同一範囲からの光を繰り返し検出させて、該同一範囲の画像データを複数取得させる制御部と、
    前記画像データ取得部により取得された前記同一範囲の複数の画像データを加算して前記元画像を生成する元画像生成部と
    該元画像生成部により生成された前記元画像に対して高周波成分を強調するフィルタを適用することによって、前記超解像画像を生成する超解像画像生成部とを備える標本観察装置。
  6. 前記制御部が、前記スキャナにより主走査方向における同一の走査ライン上で前記レーザ光を繰り返し走査させ、前記画像データ取得部により前記同一の走査ラインの前記画像データを複数取得させる請求項5に記載の標本観察装置。
  7. 前記第1S/N比情報が、前記元画像において所望のS/N比を得るために必要な1画素あたりの光電子数である第1光電子数であり、
    前記S/N比情報算出部が、前記所定の画像取得時間内に前記画像データを繰り返し取得可能な回数により前記第1光電子数を除算して、前記画像データごとの1画素あたりの光電子数である第2光電子数を前記第2S/N比情報として算出し、
    前記条件設定部が、前記画像データ取得部により取得される前記画像データの1画素あたりの光電子数である第3光電子数が前記第2光電子数を満たした場合に所望の輝度が得られるような前記画像取得条件を設定する請求項5または請求項6に記載の標本観察装置。
  8. 前記制御部が、前記元画像の高周波成分を強調するフィルタの画像処理アルゴリズム、前記画像データ取得部の検出ゲイン、前記標本に照射するレーザ光の強度、前記画像データを取得する方式および/または前記画像データを加算する方式についての各パラメータをそれぞれ単一または複数記憶し、
    前記光源と、
    前記制御部により記憶されている各前記パラメータからそれぞれいずれかをユーザに選択させる入力部とを備え、
    前記制御部が、前記入力部により選択された各前記パラメータにしたがって、前記光源、前記スキャナ、前記画像データ取得部、前記元画像生成部および前記超解像画像生成部を制御する請求項5から請求項7のいずれかに記載の標本観察装置。
  9. 前記制御部が、前記元画像の高周波成分を強調するフィルタの画像処理アルゴリズム、前記画像データ取得部の検出ゲイン、前記標本に照射するレーザ光の強度、前記画像データを取得する方式および/または前記画像データを加算する方式の組み合わせを複数記憶し、
    前記光源と、
    前記制御部により記憶されている複数の前記組み合わせからいずれかをユーザに選択させる入力部とを備え、
    前記制御部が、前記入力部により選択された前記組み合わせにしたがって、前記光源、前記スキャナ、前記画像データ取得部、前記元画像生成部および前記超解像画像生成部を制御する請求項5から請求項7のいずれかに記載の標本観察装置。
JP2014126228A 2014-06-19 2014-06-19 標本観察装置 Active JP6300658B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014126228A JP6300658B2 (ja) 2014-06-19 2014-06-19 標本観察装置
US14/728,396 US10552945B2 (en) 2014-06-19 2015-06-02 Sample observation apparatus and method for generating observation image of sample
EP15171381.5A EP2957945A1 (en) 2014-06-19 2015-06-10 Sample observation apparatus and method for generating observation image of sample

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014126228A JP6300658B2 (ja) 2014-06-19 2014-06-19 標本観察装置

Publications (2)

Publication Number Publication Date
JP2016004230A JP2016004230A (ja) 2016-01-12
JP6300658B2 true JP6300658B2 (ja) 2018-03-28

Family

ID=53491267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014126228A Active JP6300658B2 (ja) 2014-06-19 2014-06-19 標本観察装置

Country Status (3)

Country Link
US (1) US10552945B2 (ja)
EP (1) EP2957945A1 (ja)
JP (1) JP6300658B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110063061B (zh) * 2016-12-12 2022-02-22 株式会社OPTiM 远程控制系统、远程控制方法以及程序
JP7298993B2 (ja) * 2018-04-09 2023-06-27 浜松ホトニクス株式会社 試料観察装置及び試料観察方法
KR102250387B1 (ko) * 2018-06-21 2021-05-10 주식회사 엘지화학 분리막 활성층의 제조 전 분리막 활성층을 구성하는 아민 화합물을 정량하는 방법, 분리막 활성층 중의 폴리아마이드 또는 미반응 아민 화합물을 정량하는 방법, 및 분리막 활성층의 제조 조건의 설정 기준 또는 제조 조건을 설정하는 방법

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5283433A (en) * 1992-10-05 1994-02-01 The Regents Of The University Of California Scanning confocal microscope providing a continuous display
JP4483841B2 (ja) 2006-09-06 2010-06-16 カシオ計算機株式会社 撮像装置
US20090059039A1 (en) * 2007-08-31 2009-03-05 Micron Technology, Inc. Method and apparatus for combining multi-exposure image data
EP2204685B1 (en) * 2007-10-31 2022-04-20 Nikon Corporation Laser-exciting fluorescence microscope
JP5043629B2 (ja) * 2007-12-17 2012-10-10 オリンパス株式会社 レーザ走査型顕微鏡及びその表面形状の測定方法
US8315474B2 (en) * 2008-01-18 2012-11-20 Sanyo Electric Co., Ltd. Image processing device and method, and image sensing apparatus
JP5712342B2 (ja) * 2008-11-27 2015-05-07 ナノフォトン株式会社 光学顕微鏡、及びスペクトル測定方法
WO2010085775A2 (en) * 2009-01-26 2010-07-29 The General Hospital Corporation System, method and computer-accessible medium for providing wide-field superresolution microscopy
WO2010088418A1 (en) * 2009-01-29 2010-08-05 The Regents Of The University Of California High resolution structured illumination microscopy
US8625863B2 (en) * 2009-06-02 2014-01-07 Sofast Gmbh Superresolution optical fluctuation imaging (SOFI)
DE102009060793A1 (de) * 2009-12-22 2011-07-28 Carl Zeiss Microlmaging GmbH, 07745 Hochauflösendes Mikroskop und Verfahren zur zwei- oder dreidimensionalen Positionsbestimmung von Objekten
JP5412394B2 (ja) 2010-09-30 2014-02-12 オリンパス株式会社 標本観察装置
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
EP2535755A1 (en) * 2011-06-14 2012-12-19 Ecole Polytechnique Fédérale de Lausanne (EPFL) Cumulant microscopy
JP5784393B2 (ja) * 2011-07-11 2015-09-24 オリンパス株式会社 標本観察装置
DE102011084315A1 (de) * 2011-10-12 2013-04-18 Carl Zeiss Microscopy Gmbh Hochauflösende Lumineszenzmikroskopie
WO2014057998A1 (ja) * 2012-10-12 2014-04-17 株式会社ニコン 照明装置及び顕微鏡、並びに照明方法及び観察方法
EP2951528B1 (en) * 2013-01-29 2018-07-25 Andrew Robert Korb Methods for analyzing and compressing multiple images
WO2014172035A1 (en) * 2013-03-15 2014-10-23 University Of Utah Research Foundation Coherent fluorescence super-resolution microscopy
JP6253266B2 (ja) * 2013-06-11 2017-12-27 オリンパス株式会社 共焦点画像生成装置
US20150363912A1 (en) * 2014-06-12 2015-12-17 Samsung Electronics Co., Ltd. Rgbw demosaic method by combining rgb chrominance with w luminance

Also Published As

Publication number Publication date
EP2957945A1 (en) 2015-12-23
US20150371368A1 (en) 2015-12-24
US10552945B2 (en) 2020-02-04
JP2016004230A (ja) 2016-01-12

Similar Documents

Publication Publication Date Title
JP4236123B1 (ja) 三次元画像取得装置
JP2007093988A (ja) 走査型レーザ顕微鏡装置及び光量検出装置
US9279973B2 (en) Image processing apparatus, fluorescence microscope apparatus, and image processing program
JP6300658B2 (ja) 標本観察装置
JP3861000B2 (ja) 走査型レーザー顕微鏡
JP4187160B2 (ja) 断層映像装置
JP2010286565A (ja) 蛍光観察装置
JP5208824B2 (ja) 画像取得装置、画像取得方法及びプログラム
JP2009148224A (ja) 試料同定装置および試料同定方法
JP2010250102A (ja) 顕微鏡
WO2023276326A1 (ja) 光学画像処理方法、機械学習方法、学習済みモデル、機械学習の前処理方法、光学画像処理モジュール、光学画像処理プログラム、及び光学画像処理システム
US10429353B2 (en) Photoacoustic microscope and photoacoustic signal detection method
JP4854873B2 (ja) 顕微鏡制御装置、顕微鏡制御方法、及び顕微鏡制御プログラム
JP2003029151A (ja) 共焦点レーザ走査型顕微鏡装置および制御プログラム
JP6898729B2 (ja) 検出装置、顕微鏡システムおよび検出方法
JP6128862B2 (ja) 顕微鏡装置および顕微鏡システム
JP6000671B2 (ja) 光検出システムおよび顕微鏡システム
JP6355961B2 (ja) 標本観察装置
JP4564266B2 (ja) 走査型レーザ顕微鏡
JP6363890B2 (ja) 走査型顕微鏡装置および超解像画像の生成方法
JP2005345764A (ja) 走査型光学装置
JP4045470B2 (ja) コンフォーカル顕微鏡
JP2007024801A (ja) 顕微鏡制御装置及びプログラム
JP2007206388A (ja) 走査型共焦点レーザ顕微鏡、及びその制御方法、並びにプログラム
Chen et al. Real-time focal modulation microscopy

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180227

R151 Written notification of patent or utility model registration

Ref document number: 6300658

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250