JP6292238B2 - 装置、システム、方法、及びプログラム - Google Patents
装置、システム、方法、及びプログラム Download PDFInfo
- Publication number
- JP6292238B2 JP6292238B2 JP2015539385A JP2015539385A JP6292238B2 JP 6292238 B2 JP6292238 B2 JP 6292238B2 JP 2015539385 A JP2015539385 A JP 2015539385A JP 2015539385 A JP2015539385 A JP 2015539385A JP 6292238 B2 JP6292238 B2 JP 6292238B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- image
- bright spot
- information
- quantitative information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 53
- 238000004458 analytical method Methods 0.000 claims description 41
- 230000005284 excitation Effects 0.000 claims description 34
- 230000004913 activation Effects 0.000 claims description 25
- 238000002073 fluorescence micrograph Methods 0.000 claims description 25
- 239000000463 material Substances 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 11
- 230000001678 irradiating effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 27
- 238000005286 illumination Methods 0.000 description 19
- 238000004445 quantitative analysis Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 238000010191 image analysis Methods 0.000 description 13
- 239000000126 substance Substances 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 238000000386 microscopy Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000002866 fluorescence resonance energy transfer Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 230000004397 blinking Effects 0.000 description 3
- 239000006059 cover glass Substances 0.000 description 3
- 238000002376 fluorescence recovery after photobleaching Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 230000012447 hatching Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 238000003703 image analysis method Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 101100001708 Mus musculus Angptl4 gene Proteins 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002124 endocrine Effects 0.000 description 1
- 230000003511 endothelial effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004001 molecular interaction Effects 0.000 description 1
- 230000002186 photoactivation Effects 0.000 description 1
- 230000026447 protein localization Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/56—Optics using evanescent waves, i.e. inhomogeneous waves
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Description
本発明は、装置、システム、方法、及びプログラムに関する。
温顔は、２０１３年９月２７日に出願された日本国２０１３−２００７０５号に基づき優先権を主張し、その内容を援用する。
温顔は、２０１３年９月２７日に出願された日本国２０１３−２００７０５号に基づき優先権を主張し、その内容を援用する。
顕微鏡装置において、蛍光技術を利用して光学系の分解能を越えた観察を可能とする超解像顕微鏡がある。超解像顕微鏡の一形態として、ＳＴＯＲＭ（Stochastic Optical Reconstruction Microscopy）が知られている（例えば特許文献１参照）。このＳＴＯＲＭでは、観察試料として、所定波長の活性化光を照射すると活性化し、後に活性化光とは異なる波長の励起光を照射すると蛍光を発して不活性化する特性を有する蛍光物質又はこの蛍光物質を付着させたものが用いられる。このような観察試料に対して微弱な活性化光を照射することで低密度に蛍光物質を活性化させ、その後に励起光を照射して蛍光物質を発光させることで蛍光画像を取得する。このようにして取得した蛍光画像では、蛍光輝点（蛍光物質の像）が低密度に配置され、個々に分離されたものとなるため、個々の像の重心位置を求めることができる。このような蛍光画像を得るステップを複数回、例えば数百回〜数万回以上繰り返し、得られた複数の蛍光画像を合成する画像処理を行うことにより、高分解能の試料画像を得ることができる。
このようなＳＴＯＲＭにおいて、蛍光輝点の位置を求める手法として、得られた情報に基づいた分布の確率を算出する演算処理（Gaussian分布）の結果から擬似的に蛍光輝点の位置を算出する手法が知られている（例えば、非特許文献１参照）。
このようなＳＴＯＲＭにおいて、蛍光輝点の位置を求める手法として、得られた情報に基づいた分布の確率を算出する演算処理（Gaussian分布）の結果から擬似的に蛍光輝点の位置を算出する手法が知られている（例えば、非特許文献１参照）。
Sara A Jones, Sang-Hee Shim, Jiang He & Xiaowei Zhuang，"Fast, three-dimensional super-resolution imaging of live cells"， Nature America, Inc.，2011
しかしながら、ＳＴＯＲＭは、高分解能にて蛍光画像を得ることができるものであるが、輝点の情報（光子数、楕円率など）が特定の座標（重心位置等）に局在しているため、画像（又は画像間）の画素強度値（蛍光光量）を利用した四則演算を含むような定量解析を行なうことができないという問題があった。
本発明に係る態様は、高分解能の画像を基にした定量解析を行える、装置、システム、方法、及びプログラムを提供することを目的とする。
本発明に係る態様は、高分解能の画像を基にした定量解析を行える、装置、システム、方法、及びプログラムを提供することを目的とする。
本発明に係る一態様の装置は、蛍光画像において、解析対象範囲に複数の第１の領域を規定し、前記第１の領域に含まれる輝点に関する情報に基づいて、前記第１の領域の定量情報を算出し、前記蛍光画像において、前記解析対象範囲に複数の第２の領域を規定し、前記第１の領域の定量情報を用いて前記第２の領域の定量情報を算出する解析部を有する。
本発明に係る一態様のシステムは、蛍光物質を含む試料に活性化光および励起光を照射する光学系と、前記蛍光物質の像を撮像する撮像部と、前記蛍光物質の像の位置情報に基づいて前記蛍光画像を生成する画像形成部と、上記に記載の装置とを有する。
本発明に係る一態様の方法は、蛍光画像において、解析対象範囲に複数の第１の領域を規定し、前記第１の領域に含まれる輝点に関する情報に基づいて、前記第１の領域の定量情報を算出し、前記蛍光画像において、前記解析対象範囲に複数の第２の領域を規定し、前記第１の領域の定量情報を用いて前記第２の領域の定量情報を算出する。
本発明に係る一態様は、蛍光画像において、解析対象範囲に複数の第１の領域を規定し、前記第１の領域に含まれる輝点に関する情報に基づいて、前記第１の領域の定量情報を算出し、前記蛍光画像において、前記解析対象範囲に複数の第２の領域を規定し、前記第１の領域の定量情報を用いて第２の領域の定量情報を算出するステップをコンピュータに実行させるためのプログラムである。
本発明に係る態様によれば、高分解能の画像を基にした定量解析を行うことができる。
以下、図面を参照して顕微鏡装置及び画像生成方法の一実施形態について説明する。
最初に、生きた細胞のように動きのある対象を定量的に解析する解析方法の概要を示す。
例えば、継続的に観察された蛍光画像から、細胞の状態を定量的に解析する解析手法がある。従来の解析手法においては受光素子の画素（ピクセル）を空間の最小単位として取得した蛍光画像を扱うので、蛍光画像の強度分布情報（観察試料に含まれる蛍光物質から発生する蛍光の強度分布等）を「画素」という最小空間単位に割振り、定量的に画素（又は画素間）で強度値（蛍光光量）を利用した四則演算、つまり画像（又は画像間）の画素強度値（蛍光光量）を利用した四則演算を行うことができた。このようにして得た情報を基にして、定量的に解析する方法として、例えば、Ｒａｔｉｏ（「Ｐ−Ｂ比（P-B ratio（peak to background ratio））」ともいう。）やＦＲＡＰ（光褪色後蛍光回復法、fluorescence recovery after photo bleaching）やＦＲＥＴ（fluorescence resonance energy transfer）などの方法がある。上記の方法に関する詳細は、下記の文献を参照とする。
（１）Rajesh Babu Sekar and Ammasi Periasamy,”Fluorescence resonance energy transfer (FRET) microscopy imaging of live cell protein localizations”, The Journal of Cell Biology,Volume 160, Number 5, March 3,2003:629-633
（２）Richard N. Day and Fred Schaufele, ”Imaging Molecular Interactions in Living Cells”, Endocrine Society, Molecular Endocrinology, July 2005, 19(7):1675-1686
（３）Peter F. Davies, Jenny Zilberberg, Brian P. Helmke, ”Spatial Microstimuli in Endothelial Mechanosignaling”, American Heart Association, Journal of the American Heart Association, Circuiation Research 2003;92:359-370
ただし、観察試料に含まれる蛍光物質の位置情報に基づいて作成したＳＴＯＲＭ画像は、輝点の情報（光子数、楕円率など）が位置情報（重心座標）に帰属しているので、強度値（蛍光光量）を画素単位で取得する蛍光画像に対して適用する従来の定量解析方法をそのまま適用することができなかった。
そこで、以下の実施形態に示す手法により、高分解能の試料画像において、複数の輝点を含む蛍光画像の状態を定量化し、定量的な解析を行えるようにする解析方法について説明する。
例えば、継続的に観察された蛍光画像から、細胞の状態を定量的に解析する解析手法がある。従来の解析手法においては受光素子の画素（ピクセル）を空間の最小単位として取得した蛍光画像を扱うので、蛍光画像の強度分布情報（観察試料に含まれる蛍光物質から発生する蛍光の強度分布等）を「画素」という最小空間単位に割振り、定量的に画素（又は画素間）で強度値（蛍光光量）を利用した四則演算、つまり画像（又は画像間）の画素強度値（蛍光光量）を利用した四則演算を行うことができた。このようにして得た情報を基にして、定量的に解析する方法として、例えば、Ｒａｔｉｏ（「Ｐ−Ｂ比（P-B ratio（peak to background ratio））」ともいう。）やＦＲＡＰ（光褪色後蛍光回復法、fluorescence recovery after photo bleaching）やＦＲＥＴ（fluorescence resonance energy transfer）などの方法がある。上記の方法に関する詳細は、下記の文献を参照とする。
（１）Rajesh Babu Sekar and Ammasi Periasamy,”Fluorescence resonance energy transfer (FRET) microscopy imaging of live cell protein localizations”, The Journal of Cell Biology,Volume 160, Number 5, March 3,2003:629-633
（２）Richard N. Day and Fred Schaufele, ”Imaging Molecular Interactions in Living Cells”, Endocrine Society, Molecular Endocrinology, July 2005, 19(7):1675-1686
（３）Peter F. Davies, Jenny Zilberberg, Brian P. Helmke, ”Spatial Microstimuli in Endothelial Mechanosignaling”, American Heart Association, Journal of the American Heart Association, Circuiation Research 2003;92:359-370
ただし、観察試料に含まれる蛍光物質の位置情報に基づいて作成したＳＴＯＲＭ画像は、輝点の情報（光子数、楕円率など）が位置情報（重心座標）に帰属しているので、強度値（蛍光光量）を画素単位で取得する蛍光画像に対して適用する従来の定量解析方法をそのまま適用することができなかった。
そこで、以下の実施形態に示す手法により、高分解能の試料画像において、複数の輝点を含む蛍光画像の状態を定量化し、定量的な解析を行えるようにする解析方法について説明する。
以下の説明では、超解像顕微鏡としてＳＴＯＲＭ（Stochastic Optical Reconstruction Microscopy）を例示して説明する。
一般的なＳＴＯＲＭは、高分解能の試料画像を得ることができるものであるが、時間軸上で離散的に検出された複数の蛍光画像における蛍光輝点を基にして試料画像を生成しており、１枚の試料画像を得るには所定の期間に検出された複数の蛍光画像を必要とする。
ＳＴＯＲＭは、蛍光画像における輝度分布から蛍光輝点の位置を計算によって算出する。
要するに、ＳＴＯＲＭは、蛍光輝点の位置を光学的に得た情報を基に位置を算出して蛍光輝点の位置を示す分解能を高めている。
そのため、一般的なＳＴＯＲＭは、１つの試料画像を得るために、異なる時刻に検出された複数の蛍光画像から蛍光輝点の位置を算出する。蛍光輝点の位置を算出にあたり、蛍光画像の数を多くすることにより、得られる試料画像の分解能を高めることが知られている。ただし、輝度分布を基にして確率的に蛍光輝点の位置を算出するタイプのＳＴＯＲＭでは、分解能を高めるために蛍光画像の数を多くすると、１つの試料画像を得るための時間が長くなるとともに、演算負荷が増加してしまう。逆に、試料画像を得る間隔を短くしようとして、蛍光画像の数を少なくすると、必要な分解能が得られなくなってしまう。
一般的なＳＴＯＲＭは、高分解能の試料画像を得ることができるものであるが、時間軸上で離散的に検出された複数の蛍光画像における蛍光輝点を基にして試料画像を生成しており、１枚の試料画像を得るには所定の期間に検出された複数の蛍光画像を必要とする。
ＳＴＯＲＭは、蛍光画像における輝度分布から蛍光輝点の位置を計算によって算出する。
要するに、ＳＴＯＲＭは、蛍光輝点の位置を光学的に得た情報を基に位置を算出して蛍光輝点の位置を示す分解能を高めている。
そのため、一般的なＳＴＯＲＭは、１つの試料画像を得るために、異なる時刻に検出された複数の蛍光画像から蛍光輝点の位置を算出する。蛍光輝点の位置を算出にあたり、蛍光画像の数を多くすることにより、得られる試料画像の分解能を高めることが知られている。ただし、輝度分布を基にして確率的に蛍光輝点の位置を算出するタイプのＳＴＯＲＭでは、分解能を高めるために蛍光画像の数を多くすると、１つの試料画像を得るための時間が長くなるとともに、演算負荷が増加してしまう。逆に、試料画像を得る間隔を短くしようとして、蛍光画像の数を少なくすると、必要な分解能が得られなくなってしまう。
このような、一般的なＳＴＯＲＭの課題を克服しつつ、高分解能の試料画像における定量的な解析を行えるようにする一手法について説明する。
以下に示す高分解能の試料画像の解析方法は、試料に照射した励起光による輝点を含む蛍光像を複数取得して、蛍光像を示す画像情報から算出された輝点の位置を示す試料画像を基に解析する。また、同解析方法は、試料画像における輝点の位置として算出された位置情報に基づいて、該輝点の位置を含む所定領域を、該輝点に対応する領域として設定している。
以下に示す高分解能の試料画像の解析方法は、試料に照射した励起光による輝点を含む蛍光像を複数取得して、蛍光像を示す画像情報から算出された輝点の位置を示す試料画像を基に解析する。また、同解析方法は、試料画像における輝点の位置として算出された位置情報に基づいて、該輝点の位置を含む所定領域を、該輝点に対応する領域として設定している。
なお、本実施形態は、発明の趣旨をより良く理解させるために具体的に説明するものであり、特に指定のない限り、本発明を限定するものではない。また、以下の説明で用いる図面は、特徴をわかりやすくするために、便宜上、要部となる部分を拡大して示している場合があり、各構成要素の寸法比率などが実際と同じであるとは限らない。
図１は本実施形態に係る顕微鏡装置を示す概略図である。
顕微鏡装置１０は、光源１２と、制御部１４と、顕微鏡本体１５と、記憶部１６と、表示部１７とを備えている。
顕微鏡装置１０は、光源１２と、制御部１４と、顕微鏡本体１５と、記憶部１６と、表示部１７とを備えている。
本実施形態の顕微鏡装置１０は超解像顕微鏡技術（Stochastic Optical Reconstruction Microscopy；ＳＴＯＲＭ）を用いた顕微鏡装置である。顕微鏡装置１０では、活性化状態で励起光Ｌ１が照射されると蛍光を発して不活性化する蛍光物質を標識として付与された試料を用いる。この蛍光物質は、励起光Ｌ１が照射されることで蛍光を発して不活性化した後、励起光Ｌ１とは異なる波長の活性化光Ｌ２が照射されると再度活性化状態となる特性を有している。そして、励起光Ｌ１と活性化光Ｌ２とを用いて試料中の一部の蛍光物質のみを発光させることで離散的に分布した蛍光を観察する動作を繰り返し、これにより取得した多数の蛍光画像を用いて試料画像を形成する。
本実施形態に係る光源１２は、励起照明系１１と、活性化照明系１３と、を含む。
励起照明系１１は、レーザ光源２１と、シャッタ２２と、全反射ミラー３２とを備えており、全反射ミラー３２を介して励起照明系１１と顕微鏡本体１５とが接続されている。
励起照明系１１は、レーザ光源２１と、シャッタ２２と、全反射ミラー３２とを備えており、全反射ミラー３２を介して励起照明系１１と顕微鏡本体１５とが接続されている。
レーザ光源２１は、試料に付与した蛍光物質を発光させるための励起光Ｌ１を顕微鏡本体１５に供給する光源である。レーザ光源２１は、試料に含まれる蛍光物質に適合する波長の励起光Ｌ１を射出するものであればよく、例えば、蛍光物質の種類に応じて、緑色レーザ（波長５３２ｎｍ）、赤色レーザ（波長６３３ｎｍ、６５７ｎｍ）、紫色レーザ（波長４０５ｎｍ）、青色レーザ（波長４５７ｎｍ）などを用いることができる。
シャッタ２２は、顕微鏡本体１５への励起光Ｌ１の供給、停止を切り替える装置であり、例えば、レーザ光源２１から射出される励起光Ｌ１を遮蔽する遮光部材と、この遮光部材を励起光Ｌ１の光路に対して進退させる駆動装置とを備えた構成とすることができる。
あるいはシャッタ２２として、ＡＯＴＦ（Acousto-Optic Tunable Filter；音響光学フィルタ）を用いても良い。全反射ミラー３２は、レーザ光源２１から照射される励起光Ｌ１を後述する顕微鏡本体１５のステージ３１に向けて全反射させるためのものである。
このような構成に基づき、励起照明系１１は、ステージ３１上の観察視野（観察領域）の全域に対して励起光Ｌ１を照射するようになっている。
あるいはシャッタ２２として、ＡＯＴＦ（Acousto-Optic Tunable Filter；音響光学フィルタ）を用いても良い。全反射ミラー３２は、レーザ光源２１から照射される励起光Ｌ１を後述する顕微鏡本体１５のステージ３１に向けて全反射させるためのものである。
このような構成に基づき、励起照明系１１は、ステージ３１上の観察視野（観察領域）の全域に対して励起光Ｌ１を照射するようになっている。
一方、活性化照明系１３は、レーザ光源４２と、スキャナ４３と、ダイクロイックミラー３３とを備えており、ダイクロイックミラー３３が励起光Ｌ１の光路上に挿入されることで、活性化照明系１３と顕微鏡本体１５とが接続されている。ダイクロイックミラー３３は、レーザ光源４２から照射される活性化光Ｌ２をステージ３１に向けて反射させるとともに励起光Ｌ１をステージ３１に向けて透過させるためのものである。
レーザ光源４２は、蛍光物質を活性化するための活性化光Ｌ２を顕微鏡本体１５に向けて照射する。レーザ光源４２は、試料に含まれる蛍光物質に適合する波長の活性化光Ｌ２を射出するものであればよく、例えば、蛍光物質の種類に応じて、緑色レーザ（波長５３２ｎｍ）、赤色レーザ（波長６３３ｎｍ、６５７ｎｍ）、紫色レーザ（波長４０５ｎｍ）、青色レーザ（波長４５７ｎｍ）などを用いることができる。
スキャナ４３は、活性化光Ｌ２を顕微鏡本体１５のステージ３１上で走査する。スキャナ４３としては、例えば、二軸のガルバノスキャナを用いることができる。
このような構成に基づき、活性化照明系１３は、ステージ３１上の観察視野（観察領域）に対して、活性化光Ｌ２をスキャナ４３により走査しながら照射可能になっている。
このような構成に基づき、活性化照明系１３は、ステージ３１上の観察視野（観察領域）に対して、活性化光Ｌ２をスキャナ４３により走査しながら照射可能になっている。
なお、光源１２として、レーザ光源２１とレーザ光源４２とを１つの筐体内に備え、複数種のレーザ光を射出可能に構成されたレーザ光源装置を採用してもよい。このようなレーザ光源装置を備える場合、レーザ光源装置とともにシャッタ２２やスキャナ４３を備えた照明系を構成することで、１つの照明系により励起光Ｌ１と活性化光Ｌ２の両方を顕微鏡本体１５に供給可能となる。
上記顕微鏡本体１５は、例えば、倒立顕微鏡から構成されるものである。顕微鏡本体１５は、観察対象である試料を載置するステージ３１を備えている。また、顕微鏡本体１５には、ステージ３１に載置された試料の蛍光画像を撮像するカメラ３４が接続されている。カメラ３４としては、例えば複数の画素を有したＣＣＤカメラを用いている。
また図示は省略しているが、顕微鏡本体１５には、ステージ３１に励起光Ｌ１及び活性化光Ｌ２を照射する対物レンズや、試料内の蛍光物質から放射された蛍光（観察光）をカメラ３４の受光面に結合させる結像レンズなどが設けられている。上記対物レンズ及び結像レンズは、ステージ３１に載置される試料を観察する本発明の結像光学系として構成している。
ステージ３１は、試料に貼り付けられたカバーガラスと試料との界面で励起光Ｌ１及び活性化光Ｌ２を全反射させる全反射照明が可能に構成されている。
図２は、全反射照明により活性化光Ｌ２（あるいは励起光Ｌ１）を試料Ｓに照射する場合を示す説明図である。図２に示すように、全反射照明によれば、照明光（励起光Ｌ１、活性化光Ｌ２）が全反射する際にカバーガラス３１ａから試料側へにじみ出るエバネッセント光ＥＶにより試料Ｓを照明することができる。エバネッセント光ＥＶが届く範囲は界面から１００〜１５０ｎｍ程度の範囲に限られるため、カバーガラス３１ａ表面近傍に位置する蛍光物質のみを発光させることができ、バックグランウドの蛍光を著しく低減することで高いＳ／Ｎ比で実現することができる。
図２は、全反射照明により活性化光Ｌ２（あるいは励起光Ｌ１）を試料Ｓに照射する場合を示す説明図である。図２に示すように、全反射照明によれば、照明光（励起光Ｌ１、活性化光Ｌ２）が全反射する際にカバーガラス３１ａから試料側へにじみ出るエバネッセント光ＥＶにより試料Ｓを照明することができる。エバネッセント光ＥＶが届く範囲は界面から１００〜１５０ｎｍ程度の範囲に限られるため、カバーガラス３１ａ表面近傍に位置する蛍光物質のみを発光させることができ、バックグランウドの蛍光を著しく低減することで高いＳ／Ｎ比で実現することができる。
なお、本実施形態の顕微鏡本体１５は、上記の全反射照明と、通常の落射照明とを切り替えて使用可能に構成されている。
図１に戻り、上記制御部１４は、顕微鏡装置１０を総合的に制御するコンピュータであり、記憶部１６と、表示部１７と、カメラコントローラ１９とに接続されている。本実施形態において、制御部１４は、少なくとも、これらの装置を制御するための制御信号を生成する制御信号生成機能と、カメラコントローラ１９を介して蛍光画像を取得する蛍光画像取得部１４１と、複数の蛍光画像から試料画像を生成する画像形成部１４２と、生成された試料画像を基に解析する試料画像解析部１４３と、を有する。
また、試料画像解析部１４３は、領域設定部１４３Ａと解析処理部１４３Ｂと、を有する。領域設定部１４３Ａは、画像形成部１４２によって生成された試料画像を基に、輝点に対して、所定領域を設定する。解析処理部１４３Ｂは、領域設定部１４３Ａによって、輝点ごとに設定された所定領域を示す画像情報に基づいて、定量解析処理を行う。例えば、定量解析処理として、Ｒａｔｉｏや、ＦＲＡＰを含めても良い。試料画像解析部１４３の具体的な処理については後述とする。
また、試料画像解析部１４３は、領域設定部１４３Ａと解析処理部１４３Ｂと、を有する。領域設定部１４３Ａは、画像形成部１４２によって生成された試料画像を基に、輝点に対して、所定領域を設定する。解析処理部１４３Ｂは、領域設定部１４３Ａによって、輝点ごとに設定された所定領域を示す画像情報に基づいて、定量解析処理を行う。例えば、定量解析処理として、Ｒａｔｉｏや、ＦＲＡＰを含めても良い。試料画像解析部１４３の具体的な処理については後述とする。
記憶部１６は、例えば半導体メモリやハードディスクなどからなり、制御部１４において使用されるプログラムや制御部１４から供給されるデータ（蛍光画像など）を、制御部１４から読出可能な状態で記憶する。なお、本実施形態の解析処理を行うにあたり、記憶部１６は、輝点のそれぞれに対して、輝点を識別する識別情報に、その輝点の位置を示す位置情報と輝点の状態を示す情報（数値など）とを対応付けて記憶するとともに、輝点に対応付けた領域を示す情報を併せて記憶する。
表示部１７は、例えばモニタ（表示装置）やプリンタ（印刷装置）であり、制御部１４から出力される画像データに基づく映像を表示、印刷する機能を提供する。本実施形態では、表示部１７としてモニタを用いている。
カメラコントローラ１９は、顕微鏡本体１５に接続されたカメラ３４を駆動制御する。
カメラコントローラ１９は、制御部１４から入力される制御信号に基づいてカメラ３４を動作させ、試料から放射された蛍光の画像を取得し、取得した蛍光画像を制御部１４に出力する。
カメラコントローラ１９は、顕微鏡本体１５に接続されたカメラ３４を駆動制御する。
カメラコントローラ１９は、制御部１４から入力される制御信号に基づいてカメラ３４を動作させ、試料から放射された蛍光の画像を取得し、取得した蛍光画像を制御部１４に出力する。
顕微鏡装置１０は、制御部１４に備えられた上記の機能を組み合わせて実行することにより、後述する画像処理方法の実施に必要な各種の動作を実現する。従って、顕微鏡装置１０は、ＳＴＯＲＭ撮影処理及び画像処理により試料画像を生成する、すなわち、取得した蛍光画像に含まれる蛍光物質の像の位置を輝点として表すことにより複数の輝点を含む蛍光画像を生成する試料画像生成装置、及び、生成された試料画像を基に解析する試料画像解析装置を兼ね備えたものである。
次に、顕微鏡装置１０の動作の説明に基づき、本発明の画像解析方法の一例についても説明する。顕微鏡装置１０は超解像顕微鏡技術を用いて撮像して得た試料画像に対して画像解析を行う。
図３は、本実施形態の画像処理方法を示すフローチャートである。以下、顕微鏡装置１０における画像観察方法について説明する中で本実施形態に係る画像処理方法についても述べる。
画像処理方法は、初期化処理ステップＳ１０１と、試料画像生成ステップＳ１０２と、試料画像解析ステップＳ１０３と、からなる。
初期化処理ステップＳ１０１は、顕微鏡装置１０において以降の観察処理に必要とされる初期化処理を行うステップＳ１１を含む。また、試料画像生成ステップＳ１０２は、活性化光Ｌ２を観察視野に照射するステップＳ１２と、活性化光Ｌ２照射後の観察視野に励起光Ｌ１を照射して第２の蛍光画像を取得するステップＳ１３と、第２の蛍光画像を保存するステップＳ１４と、撮影終了を判定するステップＳ１５と、複数の第２の蛍光画像から試料画像を生成するステップＳ１６と、を含む。
また、試料画像解析ステップＳ１０３は、ＳＴＯＲＭ画像（試料画像）を基に解析する処理を行い、ＳＴＯＲＭ画像における輝点の位置として算出された位置情報に基づいて、該輝点の位置を含む所定領域を、該輝点に対応する領域として設定するステップＳ１７を含む。
顕微鏡装置１０による画像観察手順の概略は以下の通りである。
まず、初期化処理ステップＳ１０１において、初期化処理を終えた後、試料画像生成ステップＳ１０２において、活性化光Ｌ２を試料に照射する動作と、励起光Ｌ１を照射して第２の蛍光画像を得る動作とを、数百回から数万回繰り返す（ＳＴＯＲＭ撮影処理）。そして、撮影した多数の第２の蛍光画像を合成することで、高解像度のＳＴＯＲＭ画像を得る（ＳＴＯＲＭ画像処理）。
まず、初期化処理ステップＳ１０１において、初期化処理を終えた後、試料画像生成ステップＳ１０２において、活性化光Ｌ２を試料に照射する動作と、励起光Ｌ１を照射して第２の蛍光画像を得る動作とを、数百回から数万回繰り返す（ＳＴＯＲＭ撮影処理）。そして、撮影した多数の第２の蛍光画像を合成することで、高解像度のＳＴＯＲＭ画像を得る（ＳＴＯＲＭ画像処理）。
図４から図６を参照し、超解像顕微鏡技術を用いずに観察される画像（コンベンショナル画像）と、試料画像生成ステップＳ１０２で取得されるＳＴＯＲＭ画像との違いについて説明する。
図４は、超解像顕微鏡技術を用いずに観察される画像（コンベンショナル画像）と、試料画像生成ステップＳ１０２で取得されるＳＴＯＲＭ画像とを比較した図であり、図４（ａ）はコンベンショナル画像の一例を示し、図４（ｂ）はＳＴＯＲＭ画像の一例を示す図である。また、図５は、コンベンショナル画像を概念的に示す模式図であり、図６は、ＳＴＯＲＭ画像を概念的に示す模式図である。
図４（ａ）に示されるように、コンベンショナル画像は光学的な解像限界から細部まで画像化することができない。図５に示すように、コンベンショナル画像によって示される検出対象は、連続した線として示されている。
一方、図４（ｂ）に示されるように、ＳＴＯＲＭ画像処理で取得されるＳＴＯＲＭ画像は、コンベンショナル画像に比べて高分解能で検出された結果を示す画像である。図６に示されるように、離散的に配置された輝点が示されている。
図４は、超解像顕微鏡技術を用いずに観察される画像（コンベンショナル画像）と、試料画像生成ステップＳ１０２で取得されるＳＴＯＲＭ画像とを比較した図であり、図４（ａ）はコンベンショナル画像の一例を示し、図４（ｂ）はＳＴＯＲＭ画像の一例を示す図である。また、図５は、コンベンショナル画像を概念的に示す模式図であり、図６は、ＳＴＯＲＭ画像を概念的に示す模式図である。
図４（ａ）に示されるように、コンベンショナル画像は光学的な解像限界から細部まで画像化することができない。図５に示すように、コンベンショナル画像によって示される検出対象は、連続した線として示されている。
一方、図４（ｂ）に示されるように、ＳＴＯＲＭ画像処理で取得されるＳＴＯＲＭ画像は、コンベンショナル画像に比べて高分解能で検出された結果を示す画像である。図６に示されるように、離散的に配置された輝点が示されている。
本実施形態に係る顕微鏡装置１０では、上記課題を解決すべく、上記試料画像生成ステップＳ１０２の後、試料画像解析ステップＳ１０３において、ＳＴＯＲＭ画像（試料画像）を基に解析する処理を行う。例えば、領域設定部は、ＳＴＯＲＭ画像における輝点の位置として算出された位置情報に基づいて、該輝点の位置を含む所定領域を、該輝点に対応する領域として設定する（ステップＳ１７）。
（実施形態に共通する原理）
前述の図６を参照し、本実施形態におけるＳＴＯＲＭ画像（試料画像）から解析を行うための原理について説明する。
図６に示されている輝点Ｐ１と輝点Ｐ２が示されている。この試料画像を、人が観察すれば、輝点Ｐ１と輝点Ｐ２は、試料画像において互いに隣接する関係にあることがわかる。
しかしながら、輝点Ｐ１と輝点Ｐ２をそれぞれ示す位置情報（座標位置）からは、所定の距離を隔てて配置していることがわかるに留まる。この試料画像に示される輝点Ｐ１と輝点Ｐ２は、同じ蛍光画像上の点として検出されるものに限られず、別々のタイミングで検出されたデータから導出されたものが、試料画像上に並んだ点として示されている場合がある。
仮にこの点が、それぞれ移動した場合、先に検出されていた点が移動したものなのか、別の点が移動してきたものか、さらに、新たに検出された点であるかを、データ上から判定することが困難である。
そこで、ＳＴＯＲＭによって生成された試料画像における個々の輝点ごとに順に以下の処理を行うことにより、輝点Ｐ１，Ｐ２に対して、輝点Ｐ１、Ｐ２に対応する所定領域Ｃ１、Ｃ２をそれぞれ関連付ける。図示していないが、この領域の関連付けは、試料画像における全ての輝点に対し行う。
前述の図６を参照し、本実施形態におけるＳＴＯＲＭ画像（試料画像）から解析を行うための原理について説明する。
図６に示されている輝点Ｐ１と輝点Ｐ２が示されている。この試料画像を、人が観察すれば、輝点Ｐ１と輝点Ｐ２は、試料画像において互いに隣接する関係にあることがわかる。
しかしながら、輝点Ｐ１と輝点Ｐ２をそれぞれ示す位置情報（座標位置）からは、所定の距離を隔てて配置していることがわかるに留まる。この試料画像に示される輝点Ｐ１と輝点Ｐ２は、同じ蛍光画像上の点として検出されるものに限られず、別々のタイミングで検出されたデータから導出されたものが、試料画像上に並んだ点として示されている場合がある。
仮にこの点が、それぞれ移動した場合、先に検出されていた点が移動したものなのか、別の点が移動してきたものか、さらに、新たに検出された点であるかを、データ上から判定することが困難である。
そこで、ＳＴＯＲＭによって生成された試料画像における個々の輝点ごとに順に以下の処理を行うことにより、輝点Ｐ１，Ｐ２に対して、輝点Ｐ１、Ｐ２に対応する所定領域Ｃ１、Ｃ２をそれぞれ関連付ける。図示していないが、この領域の関連付けは、試料画像における全ての輝点に対し行う。
まず、特定の輝点を基準点として定める。
「輝点の近傍」は、輝点の位置を基準とする所定の条件に含まれる範囲を示す。例えば、「輝点の近傍」の範囲を空間における位置に基づいて定義する。この場合、輝点からの距離によって定められる所定領域を範囲として特定することができる。所定領域を、球として定義した場合、その直径を例えばφ１０ｎｍから２００ｎｍまでの範囲に設定する。
要するに、上記所定領域について、基準とする輝点の位置から、予め定められた所定の距離までに含まれる範囲とする空間窓として定義できる。
「輝点の近傍」は、輝点の位置を基準とする所定の条件に含まれる範囲を示す。例えば、「輝点の近傍」の範囲を空間における位置に基づいて定義する。この場合、輝点からの距離によって定められる所定領域を範囲として特定することができる。所定領域を、球として定義した場合、その直径を例えばφ１０ｎｍから２００ｎｍまでの範囲に設定する。
要するに、上記所定領域について、基準とする輝点の位置から、予め定められた所定の距離までに含まれる範囲とする空間窓として定義できる。
また、例えば、「輝点の近傍」を、輝点が検出された時点からの時間の隔たりによって定義する。この場合、その輝点が検出された時点を時間軸の起点（原点）とすると、起点からの経過時間によって、輝点が検出された時点からの時間の隔たりを特定することができる。また、「輝点の近傍」を定める経過時間の範囲を期間として定義できる。例えば、輝点が検出されてから１ｍ秒（ミリ秒）までの期間から、同１０秒までの期間を範囲として設定することが望ましい。換言すれば、上記期間は、ある輝点が検出されてから、上記の期間が経過するまでの範囲を有効な検出範囲とする時間窓が設定されたものといえる。
この期間内には、ＳＴＯＲＭによる複数の蛍光画像が検出されており、この期間内に含まれる蛍光画像に基づいて、少なくとも１つの試料画像が生成される。
この期間内には、ＳＴＯＲＭによる複数の蛍光画像が検出されており、この期間内に含まれる蛍光画像に基づいて、少なくとも１つの試料画像が生成される。
このように定義した、空間上の所定領域と、時間軸上の期間とにより定められる空間領域（２次元、３次元）の状態を示す値を特定する。定義した空間領域の状態を示す値を特定することにより、異なる条件のもとで検出された結果であっても定量的に比較することができるようになる。例えば、上記の異なる条件を例示すれば、同じ空間上の所定領域、同じ時間軸上の所定の期間にスペクトル帯域が異なる範囲で検出された場合や、空間上の他の所定領域に検出された場合や、時間軸上の他の期間に検出された場合などが挙げられる。また、上記の定量的に比較する方法によって、例えば、異なる条件の基で検出された積分値の差分を取ったり、又は比を取ったりすることにより、具体的な評価値を算出することができる。この評価値が、空間的あるいは時間的に定めた所定の範囲にある場合、異なる条件（位置、時刻、波長など）で検出された積分値であっても、前回検出された試料画像から算出された情報との差が少ない場合には、同一の試料が検出されたと推定することができる。
そこで、上記のように試料画像の輝点に基づいた所定領域を定めることにより、定めた画像情報に基づいた解析処理を行うこととする。
図７を参照し、以下の実施形態の説明に共通する条件を整理する。
図７は、ＳＴＯＲＭ画像における輝点を示す図である。この図７に示されている対象範囲は、３次元空間を示すものとして説明するが、２次元平面上の処理とすることを制限するものではない。
図７は、ＳＴＯＲＭ画像における輝点を示す図である。この図７に示されている対象範囲は、３次元空間を示すものとして説明するが、２次元平面上の処理とすることを制限するものではない。
ここで示されている図７（ａ）と図７（ｂ）の２つの図は、同じ空間上の所定領域における、同じ期間に、光のスペクトルの帯域が異なる条件で検出された試料画像を示している。例えば、図７（ａ）に示す試料画像ＳＰａの光の波長の帯域を５３０ｎｍ（ナノメートル）以上の領域、要するに緑色光より波長が長い領域とし、図７（ｂ）に示す試料画像ＳＰｂの光の波長の帯域を５３０ｎｍ未満とし、要するに緑色光より波長が短い領域とする。以下の説明においても、５３０ｎｍ（ナノメートル）を閾値として定め、各図（ａ）に示す試料画像ＳＰａの光の波長の帯域を５３０ｎｍ（ナノメートル）以上の領域とし、各図（ｂ）に示す試料画像ＳＰｂの光の波長の帯域を５３０ｎｍ未満とする。
図７（ａ）における符号ＯＲ１からＯＲ１０の位置（座標）は個々の輝点の位置（座標）を示す。符号ＣＲ１からＣＲ１０は個々の輝点ＯＲ１からＯＲ１０を基準とする空間上の所定領域を示し、この図７においては所定領域を球（円）とした場合を示している。また、図７（ｂ）における符号ＯＧ１からＯＧ１１の位置は個々の輝点の位置を示し、符号ＣＧ１からＣＧ１１は個々の輝点ＯＧ１からＯＧ１１を基準とする空間上の所定領域を示し、この図７においては所定領域を球（円）とした場合を示している。
図７（ａ）における符号ＯＲ１からＯＲ１０の位置（座標）は個々の輝点の位置（座標）を示す。符号ＣＲ１からＣＲ１０は個々の輝点ＯＲ１からＯＲ１０を基準とする空間上の所定領域を示し、この図７においては所定領域を球（円）とした場合を示している。また、図７（ｂ）における符号ＯＧ１からＯＧ１１の位置は個々の輝点の位置を示し、符号ＣＧ１からＣＧ１１は個々の輝点ＯＧ１からＯＧ１１を基準とする空間上の所定領域を示し、この図７においては所定領域を球（円）とした場合を示している。
図７（ａ）と図７（ｂ）を比べると、検出された輝点の数、位置が異なっていることがわかる。さらに、図７（ａ）と図７（ｂ）とにおいて、それぞれの輝点の位置が異なることにより、波長以外の条件をそろえて検出されている輝点間の距離も相違していることがわかる。
なお、この図７（ａ）と図７（ｂ）に示されるように、試料画像解析部１４３（図１）は、それぞれの試料画像における輝点の位置に応じて、輝点の位置を含む所定領域を輝点に対応する領域として設定する。輝点のそれぞれに対して、輝点の位置情報（座標位置）と輝点の状態を示す情報とを対応付けて、記憶部１６によって記憶されている。試料画像解析部１４３は、輝点の状態を示す情報に基づいた値を所定領域の状態を示す値とする。
試料画像解析部１４３は、位置情報が示す位置を中心とする所定の半径に含まれる領域を所定領域として扱う。例えば、以下の実施形態に示すように、上記の所定領域を、所定領域の大きさより小さい複数の単位格子に対応付けることにより、単位格子の大きさに応じた分解能により解析を行うことができるようになる。試料画像解析部１４３は、単位格子の大きさに応じた分解能による解析としては、Ｒａｔｉｏや、ＦＡＲＰなどの解析手法を適用してもよい。
試料画像解析部１４３は、位置情報が示す位置を中心とする所定の半径に含まれる領域を所定領域として扱う。例えば、以下の実施形態に示すように、上記の所定領域を、所定領域の大きさより小さい複数の単位格子に対応付けることにより、単位格子の大きさに応じた分解能により解析を行うことができるようになる。試料画像解析部１４３は、単位格子の大きさに応じた分解能による解析としては、Ｒａｔｉｏや、ＦＡＲＰなどの解析手法を適用してもよい。
以下、異なる実施態様を各実施形態として順に例示するが、上記の試料画像に示した条件を共通の条件とする。
（第１実施形態）
図８を参照し本実施形態におけるＳＴＯＲＭ画像における輝点の位置に基づいて、輝点に対応する領域を設定する一態様について説明する。
図８は、本実施形態におけるＳＴＯＲＭ画像における輝点に対応する領域の設定方法を示す図である。
図８を参照し本実施形態におけるＳＴＯＲＭ画像における輝点の位置に基づいて、輝点に対応する領域を設定する一態様について説明する。
図８は、本実施形態におけるＳＴＯＲＭ画像における輝点に対応する領域の設定方法を示す図である。
本実施形態は、次に示す設定方法１として定めたルールに従って試料画像を解析する。
（設定方法１：所定領域を所定の値で埋める（球内を球内の一つの輝点の状態を示す値で均一に埋める）場合について）
本実施形態において、それぞれの所定領域内に所定の値を割り付ける場合について説明する。
ルール１：まず、所定領域（球）ごとに対応付けられている一つの輝点の状態を示す値を、予め定められる所定の定数に設定する。例えば、試料（分子）から発せられ、輝点を形成する蛍光像の強度（光子数）、つまり輝点の光子数に比例する数値を、輝点の状態を示す値としてもよい。
ルール２：所定領域（球）ごとに対応付けられている一つの輝点の状態を示す値を、所定領域として示される一定の球内の領域に、それぞれ割り付ける。
ルール３：次に、複数の所定領域（球）に係り、それらの所定領域（球）において互いに重なる領域がある場合、重なる所定領域（球）のそれぞれに対して上記ルール２においてそれぞれ割り付けられている数値の和を計算し、所定領域（球）の重なる領域の値として計算結果による和を新たに割り付ける。
図８（ａ）において左下がりのハッチングで示す領域Ｚ１ａは、２つ以上の球の所定領域（球）が重なる領域を示す。図８（ｂ）において右下がりのハッチングで示す領域Ｚ１ｂは、２つ以上の球が所定領域（球）の重なる領域を示す。図８（ａ）の領域Ｚ１ａと図８（ｂ）の領域Ｚ１ｂとを比べると、それぞれの領域の位置が相違していることが明らかになり、定量解析が行いやすくなっていることがわかる。
上記ルールに従えば、各所定領域の大きさと、輝点の光子数が一律であれば、輝点間の距離によって、所定領域（球）が重なる領域の大きさが異なって現れる。即ち、輝点が存在する密度に応じて、各領域に割り付けられる値が変化する。
（設定方法１：所定領域を所定の値で埋める（球内を球内の一つの輝点の状態を示す値で均一に埋める）場合について）
本実施形態において、それぞれの所定領域内に所定の値を割り付ける場合について説明する。
ルール１：まず、所定領域（球）ごとに対応付けられている一つの輝点の状態を示す値を、予め定められる所定の定数に設定する。例えば、試料（分子）から発せられ、輝点を形成する蛍光像の強度（光子数）、つまり輝点の光子数に比例する数値を、輝点の状態を示す値としてもよい。
ルール２：所定領域（球）ごとに対応付けられている一つの輝点の状態を示す値を、所定領域として示される一定の球内の領域に、それぞれ割り付ける。
ルール３：次に、複数の所定領域（球）に係り、それらの所定領域（球）において互いに重なる領域がある場合、重なる所定領域（球）のそれぞれに対して上記ルール２においてそれぞれ割り付けられている数値の和を計算し、所定領域（球）の重なる領域の値として計算結果による和を新たに割り付ける。
図８（ａ）において左下がりのハッチングで示す領域Ｚ１ａは、２つ以上の球の所定領域（球）が重なる領域を示す。図８（ｂ）において右下がりのハッチングで示す領域Ｚ１ｂは、２つ以上の球が所定領域（球）の重なる領域を示す。図８（ａ）の領域Ｚ１ａと図８（ｂ）の領域Ｚ１ｂとを比べると、それぞれの領域の位置が相違していることが明らかになり、定量解析が行いやすくなっていることがわかる。
上記ルールに従えば、各所定領域の大きさと、輝点の光子数が一律であれば、輝点間の距離によって、所定領域（球）が重なる領域の大きさが異なって現れる。即ち、輝点が存在する密度に応じて、各領域に割り付けられる値が変化する。
このルールに従って処理を行うことにより、空間を所望の大きさの所定領域（球）として処理することができる。空間を細かく分割することにより、所望の分解能の情報を得ることができる。その反面、分割数に応じてデータ数が多くなることから、解析対象とする領域が比較的狭い場合に適している。
例えば、２種類の分子の存在が時々刻々と変わる試料画像をリアルタイムで解析する際には、５０ｎｍを直径とする範囲でグルーピングすると好適である。
例えば、２種類の分子の存在が時々刻々と変わる試料画像をリアルタイムで解析する際には、５０ｎｍを直径とする範囲でグルーピングすると好適である。
（第２実施形態）
図９を参照し本実施形態におけるＳＴＯＲＭ画像における輝点の位置に基づいて、輝点に対応する領域を設定する一態様について説明する。
図９は、本実施形態におけるＳＴＯＲＭ画像における輝点に対応する領域の設定方法を示す図である。
図９を参照し本実施形態におけるＳＴＯＲＭ画像における輝点の位置に基づいて、輝点に対応する領域を設定する一態様について説明する。
図９は、本実施形態におけるＳＴＯＲＭ画像における輝点に対応する領域の設定方法を示す図である。
本実施形態は、次に示す設定方法２として定めたルールに従って試料画像を解析する。
（設定方法２：所定領域（球）を所定の値で埋める（球内を球の中に含まれる輝点の数で均一に埋める）場合について）
本実施形態において、それぞれの所定領域内に、含まれる輝点の数に応じた所定の値を割り付ける場合について説明する。
ルール１：まず、所定領域（球）に含まれる輝点の状態を示す値を算出する。
例えば、所定領域（球）に含まれる輝点の数に応じた数値を、所定領域（球）に含まれる輝点の状態を示す値としてもよい。
ルール２：所定領域として示される一定の球内の領域に、ルール１において算出した値をそれぞれ割り付ける。
ルール３：次に、複数の所定領域（球）に係り、それらの所定領域（球）において互いに重なる領域がある場合、重なる所定領域（球）のそれぞれに対して上記ルール２においてそれぞれ割り付けられている数値の和を計算し、所定領域（球）の重なる領域の値として計算結果による和を新たに割り付ける。
（設定方法２：所定領域（球）を所定の値で埋める（球内を球の中に含まれる輝点の数で均一に埋める）場合について）
本実施形態において、それぞれの所定領域内に、含まれる輝点の数に応じた所定の値を割り付ける場合について説明する。
ルール１：まず、所定領域（球）に含まれる輝点の状態を示す値を算出する。
例えば、所定領域（球）に含まれる輝点の数に応じた数値を、所定領域（球）に含まれる輝点の状態を示す値としてもよい。
ルール２：所定領域として示される一定の球内の領域に、ルール１において算出した値をそれぞれ割り付ける。
ルール３：次に、複数の所定領域（球）に係り、それらの所定領域（球）において互いに重なる領域がある場合、重なる所定領域（球）のそれぞれに対して上記ルール２においてそれぞれ割り付けられている数値の和を計算し、所定領域（球）の重なる領域の値として計算結果による和を新たに割り付ける。
図９（ａ）において３種類の濃淡を変えて示す領域（Ｚ２１ａからＺ２４ａ）は、所定領域（球）に割り付けられた値がそれぞれ異なる領域を示す。図９（ｂ）において３種類のハッチングで示す領域（Ｚ２１ｂからＺ２３ｂ）は、所定領域（球）に割り付けられた値がそれぞれ異なる領域を示す。図９（ａ）と図９（ｂ）とを比べると、それぞれの濃淡で示した領域の位置が相違していることが明らかになり、定量解析が行いやすくなっていることがわかる。
上記ルールに従えば、各所定領域の大きさを一律にすることができ、その領域に含まれる輝点の数によって、所定領域（球）における輝点の密度を表すことができる。例えば、輝点の明滅時間がばらつく場合であっても、明滅時間のばらつくことによる影響を低減することができ、明滅時間のばらつきを排除して定量性の解析が行える。
（第３実施形態）
図１０を参照し本実施形態におけるＳＴＯＲＭ画像における輝点の位置に基づいて、輝点に対応する領域を設定する一態様について説明する。
図１０は、本実施形態におけるＳＴＯＲＭ画像における輝点に対応する領域の設定方法を示す図である。
図１０を参照し本実施形態におけるＳＴＯＲＭ画像における輝点の位置に基づいて、輝点に対応する領域を設定する一態様について説明する。
図１０は、本実施形態におけるＳＴＯＲＭ画像における輝点に対応する領域の設定方法を示す図である。
本実施形態は、次に示す設定方法３として定めたルールに従って試料画像を解析する。
（設定方法３：所定領域として立方体で分割して所定の値で埋める（立方体内を立方体の中に含まれる輝点の状態を示す値で均一に埋める）場合について）
本実施形態において、それぞれの所定領域内に所定の値を割り付ける場合について説明する。
ルール１：まず、所定の大きさの立方体を配置して領域を分割する。
なお、立方体を配置する位置を、直交する座標に沿って格子を定め、格子によって定められる位置に配置しても良い。分割された立方体として示される領域を、解析単位とする所定領域として定義する。なお、直交する座標に沿って格子を定め、格子の間隔を等しくすることにより、単位格子として示される所定領域が、立方体になる。例えば、２種類の分子の存在が時々刻々と変わる試料画像（３次元画像）をリアルタイムで解析するために、上記の単位格子の大きさを、一辺の長さが５０ｎｍの立方体とする。
なお、所定領域として、等間隔の格子である必要はなく、任意の形状（ランダム形状）に設定してもよい。
また、所定領域の状態を示す値を、予め定められる所定の定数に設定する。例えば、所定領域に含まれる（複数又は１つの）輝点の光子数に比例する数値、あるいは所定領域に含まれる（複数又は１つの）輝点の数に比例する数値を、所定領域の状態を示す値としてもよい。
ルール２：所定領域（立方体）の状態を示す値を、所定領域として示される一定の領域に、それぞれ割り付ける。
なお、この図１０においては、上記ルール２までの結果を斜投影図として示す。
図１０（ａ）において、格子の一部の領域に、符号ＱＲ１からＱＲ１０として示す立方体が配置されている。立方体ＱＲ１からＱＲ１０のそれぞれの位置は、特定の波長範囲の輝点の位置に応じて定められている。図１０（ａ）における特定の波長範囲は、例えば、５３０ｎｍ以上の波長範囲とする。ここで、上記のルールに従って、所定領域の状態を示す値として、各輝点に応じて立方体ＱＲ１からＱＲ１０に所定の数値を割り付ける。例えば、立方体ＱＲ１からＱＲ１０ごとに割り付けた数値を、順に（２、２、３、３、３、３、２、１、１、１）と設定する。
図１０（ｂ）において、格子の一部の領域に、符号ＱＧ１からＱＧ１１として示す立方体が配置されている。立方体ＱＧ１からＱＧ１１のそれぞれの位置は、特定の波長範囲の輝点の位置に応じて定められている。図１０（ｂ）における特定の波長範囲は、例えば、５３０ｎｍ未満の波長範囲とする。ここで、上記のルールに従って、所定領域の状態を示す値として、各輝点に応じて立方体ＱＧ１からＱＧ１１に所定の数値を割り付ける。例えば、立方体ＱＧ１からＱＧ１１ごとに割り付けた数値を、順に（２、３、３、３、３、３、２、４、３、３、１）と設定する。
上記のように、図１０（ａ）と図１０（ｂ）とを比べると、単位格子内に存在する輝点の波長に応じて、それぞれの立方体で示した領域の位置が定められていることから、輝点の波長に応じて立方体の位置が相違していることが明らかになり、定量解析が行いやすくなっていることがわかる。
上記ルールに従えば、各所定領域の大きさが単位格子である立方体の大きさに揃っている。このようにして、この領域内に帰属している（複数又は１つの）輝点の光子数に応じた値、あるいは所定領域に含まれる（複数又は１つの）輝点の数に比例する数値を設定することができる。
（設定方法３：所定領域として立方体で分割して所定の値で埋める（立方体内を立方体の中に含まれる輝点の状態を示す値で均一に埋める）場合について）
本実施形態において、それぞれの所定領域内に所定の値を割り付ける場合について説明する。
ルール１：まず、所定の大きさの立方体を配置して領域を分割する。
なお、立方体を配置する位置を、直交する座標に沿って格子を定め、格子によって定められる位置に配置しても良い。分割された立方体として示される領域を、解析単位とする所定領域として定義する。なお、直交する座標に沿って格子を定め、格子の間隔を等しくすることにより、単位格子として示される所定領域が、立方体になる。例えば、２種類の分子の存在が時々刻々と変わる試料画像（３次元画像）をリアルタイムで解析するために、上記の単位格子の大きさを、一辺の長さが５０ｎｍの立方体とする。
なお、所定領域として、等間隔の格子である必要はなく、任意の形状（ランダム形状）に設定してもよい。
また、所定領域の状態を示す値を、予め定められる所定の定数に設定する。例えば、所定領域に含まれる（複数又は１つの）輝点の光子数に比例する数値、あるいは所定領域に含まれる（複数又は１つの）輝点の数に比例する数値を、所定領域の状態を示す値としてもよい。
ルール２：所定領域（立方体）の状態を示す値を、所定領域として示される一定の領域に、それぞれ割り付ける。
なお、この図１０においては、上記ルール２までの結果を斜投影図として示す。
図１０（ａ）において、格子の一部の領域に、符号ＱＲ１からＱＲ１０として示す立方体が配置されている。立方体ＱＲ１からＱＲ１０のそれぞれの位置は、特定の波長範囲の輝点の位置に応じて定められている。図１０（ａ）における特定の波長範囲は、例えば、５３０ｎｍ以上の波長範囲とする。ここで、上記のルールに従って、所定領域の状態を示す値として、各輝点に応じて立方体ＱＲ１からＱＲ１０に所定の数値を割り付ける。例えば、立方体ＱＲ１からＱＲ１０ごとに割り付けた数値を、順に（２、２、３、３、３、３、２、１、１、１）と設定する。
図１０（ｂ）において、格子の一部の領域に、符号ＱＧ１からＱＧ１１として示す立方体が配置されている。立方体ＱＧ１からＱＧ１１のそれぞれの位置は、特定の波長範囲の輝点の位置に応じて定められている。図１０（ｂ）における特定の波長範囲は、例えば、５３０ｎｍ未満の波長範囲とする。ここで、上記のルールに従って、所定領域の状態を示す値として、各輝点に応じて立方体ＱＧ１からＱＧ１１に所定の数値を割り付ける。例えば、立方体ＱＧ１からＱＧ１１ごとに割り付けた数値を、順に（２、３、３、３、３、３、２、４、３、３、１）と設定する。
上記のように、図１０（ａ）と図１０（ｂ）とを比べると、単位格子内に存在する輝点の波長に応じて、それぞれの立方体で示した領域の位置が定められていることから、輝点の波長に応じて立方体の位置が相違していることが明らかになり、定量解析が行いやすくなっていることがわかる。
上記ルールに従えば、各所定領域の大きさが単位格子である立方体の大きさに揃っている。このようにして、この領域内に帰属している（複数又は１つの）輝点の光子数に応じた値、あるいは所定領域に含まれる（複数又は１つの）輝点の数に比例する数値を設定することができる。
このルールに従って処理を行うことにより、空間を所望の大きさの所定領域（立方体）として処理することができる。空間を細かく分割することにより、所望の分解能の情報を得ることができる。その反面、分割数に応じてデータ数が多くなることから、解析対象とする領域が比較的狭い場合に適している。
また、従来のコンフォーカル画像との比較において、コンフォーカル画像の画素のピッチと、上記立方体を配置するピッチとにおける互いのピッチを合わせることにより、比較しやすいデータを生成することができる。
本実施形態によって生成される情報は、本来の信号の形（球）を立方体に置き換えていることに注意する。
また、従来のコンフォーカル画像との比較において、コンフォーカル画像の画素のピッチと、上記立方体を配置するピッチとにおける互いのピッチを合わせることにより、比較しやすいデータを生成することができる。
本実施形態によって生成される情報は、本来の信号の形（球）を立方体に置き換えていることに注意する。
（第４実施形態）
図１１を参照し本実施形態におけるＳＴＯＲＭ画像における輝点の位置に基づいて、輝点に対応する領域を設定する一態様について説明する。
図１１は、本実施形態におけるＳＴＯＲＭ画像における輝点に対応する領域の設定方法を示す図である。
図１１を参照し本実施形態におけるＳＴＯＲＭ画像における輝点の位置に基づいて、輝点に対応する領域を設定する一態様について説明する。
図１１は、本実施形態におけるＳＴＯＲＭ画像における輝点に対応する領域の設定方法を示す図である。
本実施形態は、次に示す設定方法４として定めたルールに従って試料画像を解析する。
（設定方法４：判定領域（球）と所定領域（立方体）とを定義して、判定領域（球）によって判定された結果に基づいた値で、所定領域（立方体）の値を定める場合について）
本実施形態において、それぞれの所定領域内に所定の値を割り付ける場合について説明する。
（設定方法４：判定領域（球）と所定領域（立方体）とを定義して、判定領域（球）によって判定された結果に基づいた値で、所定領域（立方体）の値を定める場合について）
本実施形態において、それぞれの所定領域内に所定の値を割り付ける場合について説明する。
ルール１：まず、解析対象範囲に、予め定められた間隔の格子に基づいて領域を分割する。分割された単位格子として示される領域を、解析単位とする所定領域として定義する。
なお、直交する座標に沿って格子を定め、格子の間隔を等しくすることにより、単位格子として示される所定領域が、立方体になる。例えば、２種類の分子の存在が時々刻々と変わる試料画像（３次元画像）をリアルタイムで解析するために、上記の単位格子の大きさを、一辺の長さが５０ｎｍの立方体とする。
ルール２：次に、各輝点に対応する判定領域（球）を規定する。その判定領域が単位格子（立方体）より大きな大きさを有する領域となるように、判定領域の半径が定められる。
上記の単位格子（一辺の長さが５０ｎｍの立方体）の大きさに従えば、判定領域の大きさを例えば直径２００ｎｍ（半径１００ｎｍ）の球とする。このように単位格子の大きさと判定領域の大きさとをそれぞれ独立に定めるようにしたことにより、単位格子の大きさと判定領域の大きさを容易に設定することが可能になる。例えば、光子数に応じた半径の球を判定領域として定めることにより、その球の大きさが単位格子の大きさより大きくなるような場合が生じても改めて判定領域の大きさを調整することなく以下の解析処理を進めることが可能になる。
ルール３：次に、各判定領域（各球）に、それぞれの判定領域（球）の中心に位置する輝点の状態を示す情報に基づいた値を、それぞれ割り付ける。例えば、輝点の状態を示す情報には、輝点の光子数に比例した値が対応付けられる。
ルール４：次に、各単位格子（立方体）内に含まれる判定領域（球）に応じた値を、単位格に含まれる輝点の状態を示す値として設定する。例えば、単位格子（立方体）内に含まれる判定領域（球）に応じた値として、判定領域（球）の体積に対する、単位格子（立方体）内に含まれる判定領域（球）の体積の比率に応じた光子数を立方体に一定値として設定する。
ルール５：次に、複数の判定領域（球）に係る領域が、それらの判定領域（球）において互いに重なる領域がある場合、重なる判定領域（球）のそれぞれに対して上記ルール４においてそれぞれ割り付けられている数値の和を計算し、単位格子（立方体）に含まれる輝点の状態を示す値として設定する。
なお、この図１１においては、上記ルール４までの結果を斜投影図として示し、ルール５の処理の結果の表示を省略している。
なお、直交する座標に沿って格子を定め、格子の間隔を等しくすることにより、単位格子として示される所定領域が、立方体になる。例えば、２種類の分子の存在が時々刻々と変わる試料画像（３次元画像）をリアルタイムで解析するために、上記の単位格子の大きさを、一辺の長さが５０ｎｍの立方体とする。
ルール２：次に、各輝点に対応する判定領域（球）を規定する。その判定領域が単位格子（立方体）より大きな大きさを有する領域となるように、判定領域の半径が定められる。
上記の単位格子（一辺の長さが５０ｎｍの立方体）の大きさに従えば、判定領域の大きさを例えば直径２００ｎｍ（半径１００ｎｍ）の球とする。このように単位格子の大きさと判定領域の大きさとをそれぞれ独立に定めるようにしたことにより、単位格子の大きさと判定領域の大きさを容易に設定することが可能になる。例えば、光子数に応じた半径の球を判定領域として定めることにより、その球の大きさが単位格子の大きさより大きくなるような場合が生じても改めて判定領域の大きさを調整することなく以下の解析処理を進めることが可能になる。
ルール３：次に、各判定領域（各球）に、それぞれの判定領域（球）の中心に位置する輝点の状態を示す情報に基づいた値を、それぞれ割り付ける。例えば、輝点の状態を示す情報には、輝点の光子数に比例した値が対応付けられる。
ルール４：次に、各単位格子（立方体）内に含まれる判定領域（球）に応じた値を、単位格に含まれる輝点の状態を示す値として設定する。例えば、単位格子（立方体）内に含まれる判定領域（球）に応じた値として、判定領域（球）の体積に対する、単位格子（立方体）内に含まれる判定領域（球）の体積の比率に応じた光子数を立方体に一定値として設定する。
ルール５：次に、複数の判定領域（球）に係る領域が、それらの判定領域（球）において互いに重なる領域がある場合、重なる判定領域（球）のそれぞれに対して上記ルール４においてそれぞれ割り付けられている数値の和を計算し、単位格子（立方体）に含まれる輝点の状態を示す値として設定する。
なお、この図１１においては、上記ルール４までの結果を斜投影図として示し、ルール５の処理の結果の表示を省略している。
このルールに従って処理を行うことにより、空間を所望の大きさの単位格子（立方体）として処理することができる。空間を細かく分割することにより、所望の分解能の情報を得ることができる。また、スペクトル（波長）の異なる試料画像（データ）を解析する際に、上記の単位格子（立方体）を利用することにより、空間における位置を規格化することができることから解析が容易になる。
なお、本実施形態は、判定領域（球）と所定領域（立方体）をそれぞれ設定したが、単に任意の立体形状の所定領域のみを設定し、各所定領域に含まれる輝点の数に応じた数値を、所定領域に含まれる輝点の状態を示す値としてもよい。
なお、本実施形態は、判定領域（球）と所定領域（立方体）をそれぞれ設定したが、単に任意の立体形状の所定領域のみを設定し、各所定領域に含まれる輝点の数に応じた数値を、所定領域に含まれる輝点の状態を示す値としてもよい。
（第５実施形態）
図１２を参照し本実施形態におけるＳＴＯＲＭ画像における輝点の位置に基づいて、輝点に対応する領域を設定する一態様について説明する。
図１２は、本実施形態におけるＳＴＯＲＭ画像における輝点に対応する領域の設定方法を示す図である。
図１２を参照し本実施形態におけるＳＴＯＲＭ画像における輝点の位置に基づいて、輝点に対応する領域を設定する一態様について説明する。
図１２は、本実施形態におけるＳＴＯＲＭ画像における輝点に対応する領域の設定方法を示す図である。
本実施形態は、次に示す設定方法５として定めたルールに従って試料画像を解析する。
（設定方法５：輝点の蜜度に応じて所定領域の大きさを定め、輝点の状態を示す情報に応じた所定の値で埋める（球内を均一に埋める）場合について）
本実施形態において、それぞれの所定領域内に所定の値を割り付ける場合について説明する。
本実施形態の場合は、図１２（ａ）において、図７（ａ）に示した同一半径の球ＣＲ１からＣＲ１０と異なり、輝点ＯＲ１からＯＲ１０の位置を基準にして、互いに半径が異なる球ＣＲ１’からＣＲ１０’が示されている。図１２（ｂ）において、図７（ｂ）に示した同一半径の球ＣＧ１からＣＧ１１と異なり、輝点ＯＧ１からＯＧ１１の位置を基準にして、互いに半径が異なる球ＣＧ１’からＣＧ１１’が示されている。各球は、以下に示すルールに従って生成されている。
ルール１：まず、第１の輝点を基準に隣接する第２の輝点（最も近い輝点）までの距離を半径とする球を検出する。検出した球を第１の輝点に対応する所定領域として定める。所定領域（球）ごとに対応付けられている一つの輝点には、輝点の状態を示す値が予め定められる。例えば、輝点の光子数に比例する数値を、輝点の状態を示す値としてもよい。
ルール２：それぞれの輝点の状態を示す値と、定領域（球）の体積とに基づいて算出される値を、所定領域として示される球内の領域にそれぞれ割り付ける。例えば、第１の輝点の状態を示す情報に基づいた値を、第１の領域を占める大きさ（体積）を示す値で割った結果を第１の領域に含まれる輝点の状態を示す値とする。
なお、複数の所定領域（球）に係り、それらの所定領域（球）において互いに重なる領域がある場合、重なる所定領域（球）のそれぞれに対して上記ルール２においてそれぞれ割り付けられている数値の和を計算し、所定領域（球）の重なる領域の値として計算結果による和を新たに割り付けてもよい。
（設定方法５：輝点の蜜度に応じて所定領域の大きさを定め、輝点の状態を示す情報に応じた所定の値で埋める（球内を均一に埋める）場合について）
本実施形態において、それぞれの所定領域内に所定の値を割り付ける場合について説明する。
本実施形態の場合は、図１２（ａ）において、図７（ａ）に示した同一半径の球ＣＲ１からＣＲ１０と異なり、輝点ＯＲ１からＯＲ１０の位置を基準にして、互いに半径が異なる球ＣＲ１’からＣＲ１０’が示されている。図１２（ｂ）において、図７（ｂ）に示した同一半径の球ＣＧ１からＣＧ１１と異なり、輝点ＯＧ１からＯＧ１１の位置を基準にして、互いに半径が異なる球ＣＧ１’からＣＧ１１’が示されている。各球は、以下に示すルールに従って生成されている。
ルール１：まず、第１の輝点を基準に隣接する第２の輝点（最も近い輝点）までの距離を半径とする球を検出する。検出した球を第１の輝点に対応する所定領域として定める。所定領域（球）ごとに対応付けられている一つの輝点には、輝点の状態を示す値が予め定められる。例えば、輝点の光子数に比例する数値を、輝点の状態を示す値としてもよい。
ルール２：それぞれの輝点の状態を示す値と、定領域（球）の体積とに基づいて算出される値を、所定領域として示される球内の領域にそれぞれ割り付ける。例えば、第１の輝点の状態を示す情報に基づいた値を、第１の領域を占める大きさ（体積）を示す値で割った結果を第１の領域に含まれる輝点の状態を示す値とする。
なお、複数の所定領域（球）に係り、それらの所定領域（球）において互いに重なる領域がある場合、重なる所定領域（球）のそれぞれに対して上記ルール２においてそれぞれ割り付けられている数値の和を計算し、所定領域（球）の重なる領域の値として計算結果による和を新たに割り付けてもよい。
上記ルールに従えば、各所定領域の大きさが、輝点が存在する密度に応じて定められ、かつ、輝点の光子数を、上記の密度に応じて配分することができる。即ち、輝点が存在する密度に応じて、各領域に割り付けられる値が変化させることができる。
このルールに従って処理を行うことにより、輝点が存在する密度に応じて定められる大きさの所定領域（球）を設定して処理することができる。輝点が存在する密度が高い場合には、分解能を高めることができ、輝点が存在する密度が低い場合には分解能を下げることができる。このように、輝点が存在する密度に応じて分解能を調整することができることから、演算処理量を、輝点が存在する密度に応じて調整することができるようになり、効率よく解析が行えるようになる。
このルールに従って処理を行うことにより、輝点が存在する密度に応じて定められる大きさの所定領域（球）を設定して処理することができる。輝点が存在する密度が高い場合には、分解能を高めることができ、輝点が存在する密度が低い場合には分解能を下げることができる。このように、輝点が存在する密度に応じて分解能を調整することができることから、演算処理量を、輝点が存在する密度に応じて調整することができるようになり、効率よく解析が行えるようになる。
以上の実施形態に示すように、顕微鏡装置１０（解析装置）は、高分解能の画像を基にした定量解析を行うことができる。
なお、本発明は、上記実施形態に示す構成に限られず、発明の要旨を変更しない範囲で、構成を変更することができる。
例えば、上記実施形態では超解像の画像を取得する蛍光顕微鏡装置としてＳＴＯＲＭを例に挙げ、これらの方法で取得した画像から定量解析を実施する場合を例示したが、米国特許第７，６２６，６９５号などに開示されるＰＡＬＭ（Photoactivation Localization Microscopy）で撮像した画像（試料画像）から定量解析を実施する場合についても適用可能である。
ＰＡＬＭでは、例えば蛍光物質としてＤｏｒｎｐａが採用される。Ｄｒｏｎｐａは所定強度の光が照射されると、励起波長を吸収可能になり、非活性化状態では励起光を受けても、蛍光発色しない特性を有する。従って、試料に照射する光の強度を適宜調整することで、上述したＳＴＯＲＭと同様、低解像蛍光画像及び高解像蛍光画像を取得することで、低解像蛍光画像をマスク画像として用いることで高解像蛍光画像から定量解析を実施することができる。
あるいは、ガルバノミラー方式の共焦点顕微鏡の光学系に観察用励起光のレーザ光と誘導放出用の短パルスレーザ光の２種類のレーザ光をほぼ同時に照射することで画像観察を行うＳＴＥＤ（Stimulated emission depletion）で撮像した画像（試料画像）から定量解析を実施する場合についても適用可能である。なお、この場合においても、コンベンショナル画像としては、上記実施形態に係るものや、上述のＳＩＭにより取得したものを用いることができる。
なお、上述の各実施形態の要件は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。また、法令で許容される限りにおいて、上述の各実施形態及び変形例で引用した装置などに関する全ての公開公報及び米国特許の開示を援用して本文の記載の一部とする。
なお、上述の各実施形態の要件は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。また、法令で許容される限りにおいて、上述の各実施形態及び変形例で引用した装置などに関する全ての公開公報及び米国特許の開示を援用して本文の記載の一部とする。
１０ 顕微鏡装置（解析装置）、１１ 励起照明系、１３ 活性化照明系、１４ 制御部、１５ 顕微鏡本体、１６ 記憶部、１７ 表示部、２１，４２ レーザ光源、２２ シャッタ、３１ ステージ、３２ 全反射ミラー、３３ ダイクロイックミラー、３４ カメラ、４３ スキャナ、６１ 水銀ランプ、１４１ 初期化処理部、１４２ 画像形成部、１４３ 試料画像解析部、Ｌ１ 励起光、Ｌ２ 活性化光、Ｓ１０１ 初期化処理ステップ、Ｓ１０２ 試料画像生成ステップ、Ｓ１０３ 試料画像解析ステップ、Ｇ１ コンベンショナル画像、Ｇ２ ＳＴＯＲＭ画像
Claims (15)
- 蛍光画像において、解析対象範囲に複数の第１の領域を規定し、
前記第１の領域に含まれる輝点に関する情報に基づいて、前記第１の領域の定量情報を算出し、
前記蛍光画像において、前記解析対象範囲に複数の第２の領域を規定し、
前記第１の領域の定量情報を用いて前記第２の領域の定量情報を算出する解析部を有する
装置。 - 前記第１の領域は、前記輝点の位置に基づいて規定される
請求項１に記載の装置。 - 前記第１の領域は、円または球である
請求項１又は請求項２に記載の装置。 - 前記第２の領域は、格子を用いて規定される
請求項１から請求項３の何れか１項に記載の装置。 - 前記第２の領域は、正方形または立方体である
請求項１から請求項４の何れか１項に記載の装置。 - 前記解析部は、
前記第２の領域の位置に対応する前記第１の領域の定量情報を用いて、前記第２の領域の定量情報を算出する
請求項１から請求項５の何れか１項に記載の装置。 - 前記解析部は、
２以上の前記第１の領域が前記第２の領域に対応する場合、前記２以上の第１の領域の定量情報を用いて、前記第２の領域の定量情報を算出する
請求項６に記載の装置。 - 前記解析部は、
前記２以上の第１の領域が互いに重複する場合、重複領域の定量情報を算出し、前記重複領域の定量情報を用いて、前記第２の領域の定量情報を算出する
請求項７に記載の装置。 - 前記解析部は、
前記第１の領域の定量情報および前記第１の領域の大きさに関する情報を用いて、前記第２の領域の定量情報を算出する
請求項１から請求項８のいずれか１項に記載の装置。 - 前記第１の領域の大きさは、前記第２の領域の大きさよりも大きい
請求項１から請求項９のいずれか１項に記載の装置。 - 前記輝点に関する情報は、輝点の数に関する情報である
請求項１から請求項１０のいずれか１項に記載の装置。 - 前記輝点に関する情報は、輝点の光子数に関する情報である
請求項１から請求項１０のいずれか１項に記載の装置。 - 蛍光物質を含む試料に活性化光および励起光を照射する光学系と、
前記蛍光物質の像を撮像する撮像部と、
前記蛍光物質の像の位置情報に基づいて前記蛍光画像を生成する画像形成部と、
請求項１から請求項８のいずれか１項に記載の装置と
を有するシステム。 - 蛍光画像において、解析対象範囲に複数の第１の領域を規定し、
前記第１の領域に含まれる輝点に関する情報に基づいて、前記第１の領域の定量情報を算出し、
前記蛍光画像において、前記解析対象範囲に複数の第２の領域を規定し、
前記第１の領域の定量情報を用いて前記第２の領域の定量情報を算出する
方法。 - 蛍光画像において、解析対象範囲に複数の第１の領域を規定し、
前記第１の領域に含まれる輝点に関する情報に基づいて、前記第１の領域の定量情報を算出し、
前記蛍光画像において、前記解析対象範囲に複数の第２の領域を規定し、
前記第１の領域の定量情報を用いて第２の領域の定量情報を算出するステップ
をコンピュータに実行させるためのプログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013200705 | 2013-09-27 | ||
| JP2013200705 | 2013-09-27 | ||
| PCT/JP2014/075658 WO2015046440A1 (ja) | 2013-09-27 | 2014-09-26 | 解析装置、顕微鏡装置、解析方法、及びプログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018025052A Division JP6587004B2 (ja) | 2013-09-27 | 2018-02-15 | 装置、システム、方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2015046440A1 JPWO2015046440A1 (ja) | 2017-03-09 |
| JP6292238B2 true JP6292238B2 (ja) | 2018-03-14 |
Family
ID=52743566
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015539385A Active JP6292238B2 (ja) | 2013-09-27 | 2014-09-26 | 装置、システム、方法、及びプログラム |
| JP2018025052A Active JP6587004B2 (ja) | 2013-09-27 | 2018-02-15 | 装置、システム、方法、及びプログラム |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018025052A Active JP6587004B2 (ja) | 2013-09-27 | 2018-02-15 | 装置、システム、方法、及びプログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US10268033B2 (ja) |
| EP (1) | EP3051276B1 (ja) |
| JP (2) | JP6292238B2 (ja) |
| WO (1) | WO2015046440A1 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3051276B1 (en) * | 2013-09-27 | 2021-03-31 | Nikon Corporation | Analysis device, microscope device, analysis method, and program |
| GB2549298B (en) * | 2016-04-12 | 2022-02-02 | Univ I Tromsoe Norges Arktiske Univ | Super-resolution imaging |
| JP6231709B1 (ja) * | 2016-05-31 | 2017-11-15 | シスメックス株式会社 | 蛍光画像分析装置および分析方法 |
| JPWO2018008136A1 (ja) | 2016-07-07 | 2019-04-18 | オリンパス株式会社 | 画像処理装置および画像処理装置の作動方法 |
| US11105746B2 (en) * | 2016-07-20 | 2021-08-31 | Technion Research & Development Foundation Ltd. | Multi moire structured illumination microscopy with high index materials |
| CN111435192B (zh) * | 2019-01-15 | 2021-11-23 | 卡尔蔡司显微镜有限责任公司 | 利用荧光显微镜生成荧光照片的方法 |
| DE102019110160B4 (de) * | 2019-04-17 | 2023-07-27 | Leica Microsystems Cms Gmbh | Fluoreszenzmikroskop und Verfahren zur Abbildung einer Probe |
| JP2022101163A (ja) * | 2020-12-24 | 2022-07-06 | シスメックス株式会社 | 蛍光画像表示方法及び蛍光画像分析装置 |
| KR102567017B1 (ko) * | 2021-01-18 | 2023-08-16 | 주식회사 나노바이오라이프 | 바이오칩 이미지 검출장치 |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1953580B1 (fr) * | 2000-09-18 | 2014-09-17 | Vincent Lauer | Dispositif de balayage optique confocal |
| EP3252139A1 (en) * | 2001-09-06 | 2017-12-06 | Rapid Micro Biosystems, Inc. | Rapid detection of replicating cells |
| EP1624071B1 (en) * | 2004-08-06 | 2008-10-22 | Fuji Electric Holdings Co., Ltd. | Method of detecting viable cells |
| WO2006127692A2 (en) | 2005-05-23 | 2006-11-30 | Hess Harald F | Optical microscopy with phototransformable optical labels |
| US7776613B2 (en) | 2006-08-07 | 2010-08-17 | President And Fellows Of Harvard College | Sub-diffraction image resolution and other imaging techniques |
| EP4060327A1 (en) * | 2007-12-21 | 2022-09-21 | President and Fellows of Harvard College | Sub-diffraction limit image resolution in three dimensions |
| US8021851B2 (en) * | 2008-04-04 | 2011-09-20 | Cambridge Enterprise Limited | Thr51 phosphorylated HP 1β protein for the assessment of DNA damage |
| US8107711B2 (en) | 2008-05-12 | 2012-01-31 | Vala Sciences, Inc. | User interface method and system for management and control of automated image processing in high content screening or high throughput screening |
| US20100053211A1 (en) | 2008-06-27 | 2010-03-04 | Vala Sciences, Inc. | User interface method and system with image viewer for management and control of automated image processing in high content screening or high throughput screening |
| DE102008059328A1 (de) * | 2008-11-27 | 2010-06-02 | Carl Zeiss Microimaging Gmbh | Auflösungsgesteigerte Mikroskopie |
| DE102009031231A1 (de) * | 2009-06-26 | 2010-12-30 | Carl Zeiss Microlmaging Gmbh | Verfahren und Anordnungen für die Fluoreszenzmikroskopie |
| DE102010007730B4 (de) | 2010-02-12 | 2021-08-26 | Leica Microsystems Cms Gmbh | Verfahren und Vorrichtung zum Einstellen eines geeigneten Auswerteparameters für ein Fluoreszenzmikroskop |
| WO2011140030A2 (en) * | 2010-05-03 | 2011-11-10 | University Of Rochester | System and method for measuring the ratio of forward-propagating to back-propagating second harmonic-generation signal, and applications thereof |
| US9946058B2 (en) | 2010-06-11 | 2018-04-17 | Nikon Corporation | Microscope apparatus and observation method |
| US8424111B2 (en) * | 2010-06-23 | 2013-04-16 | Olympus Corporation | Near-field optical microscope, near-field optical probe, and sample observation method |
| DE102010035003B4 (de) | 2010-08-20 | 2015-08-06 | PicoQuant GmbH. Unternehmen für optoelektronische Forschung und Entwicklung | Räumlich und zeitlich hochauflösende Mikroskopie |
| US20120258292A1 (en) * | 2011-03-11 | 2012-10-11 | Florida State University Research Foundation | Methods and apparatus for lipid multilayer patterning |
| JP2012237693A (ja) * | 2011-05-13 | 2012-12-06 | Sony Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
| JP5938764B2 (ja) * | 2011-06-30 | 2016-06-22 | 国立大学法人鳥取大学 | Ｄｎａ二本鎖切断損傷の解析装置及び解析方法 |
| JP5747690B2 (ja) | 2011-07-04 | 2015-07-15 | 株式会社ニコン | 顕微鏡装置及び画像形成方法 |
| JP2013025466A (ja) | 2011-07-19 | 2013-02-04 | Sony Corp | 画像処理装置、画像処理システム及び画像処理プログラム |
| EP3051276B1 (en) | 2013-09-27 | 2021-03-31 | Nikon Corporation | Analysis device, microscope device, analysis method, and program |
| US9823457B2 (en) * | 2014-01-08 | 2017-11-21 | The Regents Of The University Of California | Multiplane optical microscope |
-
2014
- 2014-09-26 EP EP14850023.4A patent/EP3051276B1/en active Active
- 2014-09-26 JP JP2015539385A patent/JP6292238B2/ja active Active
- 2014-09-26 WO PCT/JP2014/075658 patent/WO2015046440A1/ja active Application Filing
-
2016
- 2016-03-24 US US15/079,568 patent/US10268033B2/en active Active
-
2018
- 2018-02-15 JP JP2018025052A patent/JP6587004B2/ja active Active
-
2019
- 2019-01-04 US US16/239,827 patent/US10527838B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP3051276A1 (en) | 2016-08-03 |
| US20190137754A1 (en) | 2019-05-09 |
| JP2018120224A (ja) | 2018-08-02 |
| EP3051276B1 (en) | 2021-03-31 |
| EP3051276A4 (en) | 2017-05-31 |
| JP6587004B2 (ja) | 2019-10-09 |
| US20160202465A1 (en) | 2016-07-14 |
| US10527838B2 (en) | 2020-01-07 |
| JPWO2015046440A1 (ja) | 2017-03-09 |
| US10268033B2 (en) | 2019-04-23 |
| WO2015046440A1 (ja) | 2015-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6587004B2 (ja) | 装置、システム、方法、及びプログラム | |
| JP5392406B2 (ja) | 顕微鏡装置、観察方法 | |
| JP6416887B2 (ja) | 構造化照明を用いた組織試料の顕微鏡観察 | |
| JP6329896B2 (ja) | 高分解能ルミネッセンス顕微鏡法 | |
| US8773758B2 (en) | Microscope apparatus with an imaging system including an astigmatic difference changing device | |
| US20220205919A1 (en) | Widefield, high-speed optical sectioning | |
| US10753871B2 (en) | Information processing device, image acquisition system, information processing method, and image information acquisition method | |
| JP5747690B2 (ja) | 顕微鏡装置及び画像形成方法 | |
| JP2021507299A (ja) | 誘導放出抑制を伴う蛍光顕微鏡を使用してサンプルを結像するための方法 | |
| JP5471715B2 (ja) | 合焦装置、合焦方法、合焦プログラム及び顕微鏡 | |
| US7983466B2 (en) | Microscope apparatus and cell observation method | |
| JP4184228B2 (ja) | 蛍光寿命測定装置 | |
| JP6617774B2 (ja) | 顕微鏡装置 | |
| WO2012144515A1 (ja) | 顕微鏡装置、及び画像処理方法 | |
| WO2013005765A1 (ja) | 顕微鏡装置 | |
| WO2023007828A1 (ja) | 試料観察装置及び試料観察方法 | |
| US11598952B2 (en) | Optical device, phase plate, and image forming method | |
| WO2023161375A1 (en) | Device for measuring intrinsic autofluorescence of a biological sample and method using thereof | |
| JP2020042283A (ja) | 顕微鏡装置 | |
| JP2004212204A (ja) | 蛍光顕微鏡及び蛍光寿命の測定方法、並びに蛍光寿命の測定用プログラム | |
| JP2004271946A (ja) | 共焦点レーザ走査型顕微鏡装置及び試料情報記録方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161122 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170123 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170321 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170425 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170626 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170822 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170912 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20171107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180129 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6292238 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |