JP6491578B2 - シート照明顕微鏡システム、画像処理装置、シート照明顕微鏡法、及び、プログラム - Google Patents
シート照明顕微鏡システム、画像処理装置、シート照明顕微鏡法、及び、プログラム Download PDFInfo
- Publication number
- JP6491578B2 JP6491578B2 JP2015176183A JP2015176183A JP6491578B2 JP 6491578 B2 JP6491578 B2 JP 6491578B2 JP 2015176183 A JP2015176183 A JP 2015176183A JP 2015176183 A JP2015176183 A JP 2015176183A JP 6491578 B2 JP6491578 B2 JP 6491578B2
- Authority
- JP
- Japan
- Prior art keywords
- illumination
- sheet
- microscope
- light
- spatial frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 title claims description 335
- 238000000034 method Methods 0.000 title claims description 60
- 230000003287 optical effect Effects 0.000 claims description 132
- 238000009826 distribution Methods 0.000 claims description 58
- 230000008569 process Effects 0.000 claims description 52
- 238000003384 imaging method Methods 0.000 claims description 37
- 230000005540 biological transmission Effects 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 4
- 238000000386 microscopy Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 230000005284 excitation Effects 0.000 description 11
- 238000010276 construction Methods 0.000 description 5
- 238000007654 immersion Methods 0.000 description 5
- 239000007788 liquid Substances 0.000 description 4
- 230000004304 visual acuity Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 206010034972 Photosensitivity reaction Diseases 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 208000007578 phototoxic dermatitis Diseases 0.000 description 2
- 231100000018 phototoxicity Toxicity 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
Landscapes
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Microscoopes, Condenser (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Description
は、式(1)に示すように、観察物体Sの関数
と第1の照明状態におけるシート照明顕微鏡装置10の点像分布関数
とのコンボリューション(*)によって与えられる。点像分布関数
は、第1の照明状態におけるシート照明顕微鏡装置10の光学伝達特性を示す関数であり、式(2)に示すように、第1の照明状態における照明光量分布
と観察光学系25の点像強度分布
との積(×)によって与えられる。同様に、第2の照明状態でシート照明顕微鏡装置10により取得される画像の強度分布
は、式(3)に示すように、観察物体Sの関数
と第2の照明状態におけるシート照明顕微鏡装置10の点像分布関数
とのコンボリューション(*)によって与えられる。点像分布関数
は、第2の照明状態におけるシート照明顕微鏡装置10の光学伝達特性を示す関数であり、式(4)に示すように、第2の照明状態における照明光量分布
と観察光学系25の点像強度分布
との積(×)によって与えられる。
を濃淡で示した図である。画像P4は、観察光学系25の点像強度分布
を濃淡で示した図である。画像P5は、第1の照明状態におけるシート照明顕微鏡装置10の点像分布関数
を濃淡で示した図である。図4において、画像P6は、第2の照明状態における照明光量分布
を濃淡で示した図である。画像P7は、第2の照明状態におけるシート照明顕微鏡装置10の点像分布関数
を濃淡で示した図である。なお、図3及び図4では、明るい(白い)ほど、より大きな値を有する。
では、点像分布関数
に比べて観察方向(z軸方向)についての光学伝達特性が改善される。しかしながら、図3と図4を比較すると明らかなように、点像分布関数
は、照明光量分布
の影響により観察方向に広がった分布を有し、その結果、点像分布関数
よりも観察方向について劣化した光学伝達特性を示す。つまり、シート照明顕微鏡装置10は、第1の照明状態と第2の照明状態では、異なる光学伝達特性を示し、第2の照明状態の方が集光位置においては高いz解像力を有する。
のフーリエ変換
を濃淡で示した図である。画像Pk2は、第2の照明状態における照明光量分布
のフーリエ変換
を濃淡で示した図である。画像P3は、第2の照明状態におけるシート照明顕微鏡装置10の点像分布関数
のフーリエ変換
を濃淡で示した図である。画像Pk4は、第1の照明状態における照明光量分布
のフーリエ変換
を濃淡で示した図である。画像P5は、第1の照明状態におけるシート照明顕微鏡装置10の点像分布関数
のフーリエ変換
を濃淡で示した図である。画像P6は、空間周波数フィルタ処理で用いられるフィルタの特性を示した図である。画像P7は、空間周波数フィルタ処理により得られるシート照明顕微鏡装置10の点像分布関数
のフーリエ変換
を濃淡で示した図である。
は式(4−1)により算出され、
は式(2−1)により算出される。
の比(割り算)を空間周波数フィルタF(以降、単にフィルタFと記す)とすると、フィルタFと
の積(×)である
は、式(5)に示すように、
に等しくなる。このことは、フィルタFを用いた空間周波数フィルタ処理によって、第2の照明状態におけるシート照明顕微鏡装置10の光学伝達特性と同程度の光学特性が得られることを示している。
は、高いz分解能を第2の照明状態で取得される画像よりもx軸方向の広い範囲処理にわたって有することになる。
の割り算によりフーリエフィルタの値が発散してしまう場合には、値を所定の最大値に制限したフーリエフィルタを用いてもよい。また、上記の方法で算出したフーリエフィルタ(第1のフーリエフィルタ)に所定の空間周波数を越える空間周波数成分の強度を抑えるためのアポダイゼーションを適用して算出した新たなフーリエフィルタ(第2のフーリエフィルタ)を用いてもよい。アポダイゼーションの適用により高周波領域で顕著なノイズの増幅を抑制することができる。また、第1のフーリエフィルタの等方性を向上させるための球形のマスクを適用し算出される第2のフーリエフィルタを用いてもよい。
[実施例1]
[実施例2]
[実施例3]
2 画像信号
10、110、210、310 シート照明顕微鏡装置
20、120、220、320 顕微鏡本体
21、121 光源
22 集光位置縦移動装置
23 集光光学系
24、126、223 照明光学系
25 観察光学系
26、129 観察物体移動装置
30、130 撮像装置
31、131 撮像素子
32 撮像面
40 計算装置
41 画像信号取得部
42 3次元画像構築部
43 空間周波数フィルタ処理部
122 ビームエクスパンダ
123、222 シリンドリカルレンズ
124 屈折力可変素子
125 集光レンズ
127、321 対物レンズ
128 結像レンズ
129s ステージ
129d ステージ駆動装置
140 コンピュータ
141 プロセッサ
142 記憶装置
221 偏向素子
AX、AZ 光軸
C1、C2、C3 集光位置
H 容器
IM 浸液
S 観察物体
Claims (17)
- 観察方向と直交する照明方向から観察物体に照射した光シートの集光位置が前記照明方向に移動することにより形成される第1の照明光量分布下で前記観察物体の2次元画像を取得する顕微鏡装置と、
前記顕微鏡装置で取得された複数の2次元画像から構築される前記観察物体の3次元画像の画像データに対して、前記顕微鏡装置の光学伝達特性に応じて、前記3次元画像が有する空間周波数特性を変更する空間周波数フィルタ処理を行う画像処理装置と、を備える
ことを特徴とするシート照明顕微鏡システム。 - 請求項1に記載のシート照明顕微鏡システムにおいて、
前記画像処理装置は、前記第1の照明光量分布下における前記顕微鏡装置の第1の光学伝達特性と、前記光シートの集光位置が一定の位置に維持されることにより形成される第2の照明光量分布下における前記顕微鏡装置の第2の光学伝達特性とに基づいて、前記3次元画像の画像データに対して、前記空間周波数フィルタを行う
ことを特徴とするシート照明顕微鏡システム。 - 請求項2に記載のシート照明顕微鏡システムにおいて、
前記画像処理装置は、前記第1の光学伝達特性と前記第2の光学伝達特性との比に基づいて、前記3次元画像の画像データに対して、前記空間周波数フィルタ処理を行う
ことを特徴とするシート照明顕微鏡システム。 - 請求項1乃至請求項3のいずれか1項に記載のシート照明顕微鏡システムにおいて、
前記空間周波数フィルタ処理は、前記3次元画像の画像データに対する空間周波数領域におけるフーリエフィルタ処理である
ことを特徴とするシート照明顕微鏡システム。 - 請求項4に記載のシート照明顕微鏡システムにおいて、
前記フーリエフィルタ処理は、前記顕微鏡装置の光学伝達特性に基づいて算出された第1のフーリエフィルタに前記3次元画像の画像データに含まれる所定の空間周波数を越える空間周波数成分の強度を抑えるためのアポダイゼーションを適用して得られる第2のフーリエフィルタを用いる
ことを特徴とするシート照明顕微鏡システム。 - 請求項4に記載のシート照明顕微鏡システムにおいて、
前記フーリエフィルタ処理は、前記顕微鏡装置の光学伝達特性に基づいて算出された第1のフーリエフィルタに等方性を向上させるための球形のマスクを適用して得られる第2のフーリエフィルタを用いる
ことを特徴とするシート照明顕微鏡システム。 - 請求項1乃至請求項3のいずれか1項に記載のシート照明顕微鏡システムにおいて、
前記空間周波数フィルタ処理は、前記3次元画像の画像データに対する空間領域におけるコンボリューションフィルタ処理である
ことを特徴とするシート照明顕微鏡システム。 - 請求項7に記載のシート照明顕微鏡システムにおいて、
前記コンボリューションフィルタ処理は、観察方向と平行な1次元のコンボリューション核を用いる
ことを特徴とするシート照明顕微鏡システム。 - 請求項1に記載のシート照明顕微鏡システムにおいて、
前記顕微鏡装置は、
前記観察物体の2次元画像を取得する撮像装置と、
前記撮像装置上に前記観察物体の画像を投影する観察光学系と、
前記観察物体に前記照明方向から前記光シートを照射する照明光学系と、を備え、
前記照明光学系は、前記光シートの集光位置を前記照明方向に移動する集光位置縦移動装置を備える
ことを特徴とするシート照明顕微鏡システム。 - 請求項9に記載のシート照明顕微鏡システムにおいて、
前記顕微鏡装置は、さらに、前記観察物体を前記観察方向に移動する観察物体移動装置を備える
ことを特徴とするシート照明顕微鏡システム。 - 請求項9に記載のシート照明顕微鏡システムにおいて、
前記照明光学系は、さらに、前記光シートを偏向する偏向装置を備える
ことを特徴とするシート照明顕微鏡システム。 - 観察方向と直交する照明方向から観察物体に照射した光シートの集光位置が前記照明方向に移動することにより形成される第1の照明光量分布下で顕微鏡装置が取得した前記観察物体の複数の2次元画像から構成される前記観察物体の3次元画像の画像データに対して、前記顕微鏡装置の光学伝達特性に応じて、前記3次元画像が有する空間周波数特性を変更する空間周波数フィルタ処理を行う空間周波数フィルタ処理部を備える
ことを特徴とする画像処理装置。 - 請求項12に記載の画像処理装置において、
前記空間周波数フィルタ処理部は、前記第1の照明光量分布下における前記顕微鏡装置の第1の光学伝達特性と、前記光シートの集光位置が一定の位置に維持されることにより形成される第2の照明光量分布下における前記顕微鏡装置の第2の光学伝達特性とに基づいて、前記3次元画像の画像データに対して、前記空間周波数フィルタ処理を行う
ことを特徴とする画像処理装置。 - 観察方向と直交する照明方向から観察物体に照射した光シートの集光位置が前記照明方向に移動することにより形成される第1の照明光量分布下で前記観察物体の2次元画像を顕微鏡装置で取得し、
前記観察物体を基準とした前記光シートの集光位置を前記観察方向へ移動し、
前記2次元画像の取得と前記観察方向への移動を繰り返して得られる複数の2次元画像から構築される前記観察物体の3次元画像の画像データを構築し、
前記3次元画像の画像データに対して、前記顕微鏡装置の光学伝達特性に応じて、前記3次元画像が有する空間周波数特性を変更する空間周波数フィルタ処理を行う
ことを特徴とするシート照明顕微鏡法。 - 請求項14に記載のシート照明顕微鏡法において、
前記空間周波数フィルタ処理は、前記第1の照明光量分布下における前記顕微鏡装置の第1の光学伝達特性と、前記光シートの集光位置が一定の位置に維持されることにより形成される第2の照明光量分布下における前記顕微鏡装置の第2の光学伝達特性とに基づいて、前記3次元画像の画像データが有する空間周波数特性を変更する処理である
ことを特徴とするシート照明顕微鏡法。 - 観察方向と直交する照明方向から観察物体に照射した光シートの集光位置が前記照明方向に移動することにより形成される第1の照明光量分布下で顕微鏡装置が取得した前記観察物体の複数の2次元画像から構成される前記観察物体の3次元画像の画像データに対して、前記顕微鏡装置の光学伝達特性に応じて、前記3次元画像が有する空間周波数特性を変更する空間周波数フィルタ処理を行う
処理を画像処理装置に実行させることを特徴とするプログラム。 - 請求項16に記載のプログラムにおいて、
前記空間周波数フィルタ処理は、前記第1の照明光量分布下における前記顕微鏡装置の第1の光学伝達特性と、前記光シートの集光位置が一定の位置に維持されることにより形成される第2の照明光量分布下における前記顕微鏡装置の第2の光学伝達特性とに基づいて、前記3次元画像の画像データが有する空間周波数特性を変更する処理である
ことを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015176183A JP6491578B2 (ja) | 2015-09-07 | 2015-09-07 | シート照明顕微鏡システム、画像処理装置、シート照明顕微鏡法、及び、プログラム |
US15/242,436 US10175466B2 (en) | 2015-09-07 | 2016-08-19 | Sheet illumination microscope system, image processing device and sheet illumination microscopy |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015176183A JP6491578B2 (ja) | 2015-09-07 | 2015-09-07 | シート照明顕微鏡システム、画像処理装置、シート照明顕微鏡法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017053918A JP2017053918A (ja) | 2017-03-16 |
JP6491578B2 true JP6491578B2 (ja) | 2019-03-27 |
Family
ID=58190406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015176183A Active JP6491578B2 (ja) | 2015-09-07 | 2015-09-07 | シート照明顕微鏡システム、画像処理装置、シート照明顕微鏡法、及び、プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10175466B2 (ja) |
JP (1) | JP6491578B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10690898B2 (en) * | 2016-09-15 | 2020-06-23 | Molecular Devices (Austria) GmbH | Light-field microscope with selective-plane illumination |
JP7085364B2 (ja) * | 2018-02-28 | 2022-06-16 | 浜松ホトニクス株式会社 | ライトシート顕微鏡及び試料観察方法 |
CN109060740A (zh) * | 2018-07-16 | 2018-12-21 | 华中科技大学 | 一种高斯光片成像方法和系统 |
WO2020016971A1 (ja) * | 2018-07-18 | 2020-01-23 | オリンパス株式会社 | 標本観察装置 |
CN113658317B (zh) * | 2020-04-28 | 2023-05-30 | 华南农业大学 | 电子显微镜连拍图像处理方法和装置 |
WO2021246021A1 (ja) * | 2020-06-01 | 2021-12-09 | 浜松ホトニクス株式会社 | 試料観察装置及び試料観察方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10257423A1 (de) | 2002-12-09 | 2004-06-24 | Europäisches Laboratorium für Molekularbiologie (EMBL) | Mikroskop |
WO2011005239A1 (en) * | 2009-07-08 | 2011-01-13 | Freescale Semiconductor, Inc. | Device for forming a high-resolution image, imaging system, and method for deriving a high-spatial-resolution image |
DE102010060121C5 (de) | 2010-10-22 | 2023-09-28 | Leica Microsystems Cms Gmbh | SPIM-Mikroskop mit sequenziellem Lightsheet |
DE102012013163B4 (de) * | 2012-07-02 | 2022-08-25 | Carl Zeiss Microscopy Gmbh | Mikroskop und Verfahren zur Lichtscheibenmikroskopie |
JP6253266B2 (ja) * | 2013-06-11 | 2017-12-27 | オリンパス株式会社 | 共焦点画像生成装置 |
JP6253400B2 (ja) * | 2013-12-26 | 2017-12-27 | オリンパス株式会社 | 画像形成方法、及び、画像形成装置 |
CN104407436B (zh) | 2014-09-05 | 2019-01-11 | 北京大学 | 一种基于轴向超高速扫描的三轴数字扫描光片显微镜 |
-
2015
- 2015-09-07 JP JP2015176183A patent/JP6491578B2/ja active Active
-
2016
- 2016-08-19 US US15/242,436 patent/US10175466B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20170068083A1 (en) | 2017-03-09 |
US10175466B2 (en) | 2019-01-08 |
JP2017053918A (ja) | 2017-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6491578B2 (ja) | シート照明顕微鏡システム、画像処理装置、シート照明顕微鏡法、及び、プログラム | |
US8019136B2 (en) | Optical sectioning microscopy | |
JP5381984B2 (ja) | 顕微鏡装置および顕微鏡装置制御プログラム | |
EP2437095A2 (en) | Sample observation device for generating super resolution image | |
JP6000554B2 (ja) | 顕微鏡システム | |
US20200249168A1 (en) | SCAPE Microscopy with Phase Modulating Element and Image Reconstruction | |
JP6544789B2 (ja) | パターン投影装置、パターン投影方法、及び、位相変調量設定方法 | |
US10191263B2 (en) | Scanning microscopy system | |
JP6143098B2 (ja) | 対物レンズの駆動制御方法及び蛍光顕微鏡システム | |
CN109425978B (zh) | 具有改进的截面厚度的高分辨率2d显微镜检查 | |
US20190121155A1 (en) | Super-Resolution Imaging of Extended Objects | |
CN107202780A (zh) | 一种基于散斑照明的超分辨显微方法和装置 | |
JP2006221190A (ja) | 共焦点走査型顕微鏡システム | |
JP6434296B2 (ja) | 顕微鏡システム、設定値算出方法、及び、プログラム | |
JP2020536276A (ja) | 高分解能共焦点顕微鏡 | |
JP2006293219A (ja) | 走査型共焦点顕微鏡および試料情報測定方法 | |
CN107209360B (zh) | 图像取得装置以及图像取得方法 | |
US20140152797A1 (en) | Confocal optical inspection apparatus and confocal optical inspection method | |
JP6928757B2 (ja) | 光学顕微鏡における画像処理のためのシステムおよび方法 | |
JP6802636B2 (ja) | 顕微鏡システムおよび標本観察方法 | |
WO2017169597A1 (ja) | 画像取得装置および画像取得方法 | |
JP5019279B2 (ja) | 共焦点顕微鏡及び合焦カラー画像の生成方法 | |
US11256078B2 (en) | Continuous scanning for localization microscopy | |
US9658444B2 (en) | Autofocus system and autofocus method for focusing on a surface | |
JP6423261B2 (ja) | 顕微鏡システム、関数算出方法、及び、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180607 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190123 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190301 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6491578 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |