JP6503221B2 - 3次元情報取得装置、及び、3次元情報取得方法 - Google Patents
3次元情報取得装置、及び、3次元情報取得方法 Download PDFInfo
- Publication number
- JP6503221B2 JP6503221B2 JP2015098360A JP2015098360A JP6503221B2 JP 6503221 B2 JP6503221 B2 JP 6503221B2 JP 2015098360 A JP2015098360 A JP 2015098360A JP 2015098360 A JP2015098360 A JP 2015098360A JP 6503221 B2 JP6503221 B2 JP 6503221B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional information
- sample
- information acquisition
- dimensional
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 30
- 230000003287 optical effect Effects 0.000 claims description 131
- 238000003384 imaging method Methods 0.000 claims description 103
- 238000004364 calculation method Methods 0.000 claims description 24
- 230000007246 mechanism Effects 0.000 claims description 20
- 238000005286 illumination Methods 0.000 claims description 17
- 210000001747 pupil Anatomy 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 7
- 238000000691 measurement method Methods 0.000 claims description 5
- 239000000523 sample Substances 0.000 description 110
- 238000010586 diagram Methods 0.000 description 17
- 230000004044 response Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 10
- 230000004907 flux Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 239000012472 biological sample Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
- G02B21/20—Binocular arrangements
- G02B21/22—Stereoscopic arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
Landscapes
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Microscoopes, Condenser (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Description
以上のような実情を踏まえ、本発明では、高精度の3次元情報を高速に取得する技術を提供することを課題とする。
D ≦ 8・PP/β/NA
を満たし、
PP≦λ・β/(4・NA)を満たすとき、前記光シートの厚さDは、以下の条件式
D ≦ 2・λ/NA 2
を満たすことを特徴とする3次元情報取得装置。
D ≦ 8・PP/β/NA
を満たし、
PP≦λ・β/(4・NA)を満たすとき、前記光シートの厚さDは、以下の条件式
D ≦ 2・λ/NA 2
を満たすことを特徴とする3次元情報取得方法。
光シートが照射された試料の領域内の3次元情報は、後述する方法により算出することができる。このため、光シートの厚さを厚くして一度に広い範囲を照明するほど、試料全体の3次元情報をより速く取得することができる。しかしながら、光シートの厚さが厚くなりすぎると、試料の光学像がボケてしまい、像コントラストが低下する。その影響により後述する方法で算出した3次元情報の精度が劣化することがある。従って、光シートの厚さは、3次元情報の精度劣化が発生しない範囲内で、厚く設定されることが望ましい。
R=(d/2)・NA´ ・・・(1)
d=λ/NA´2 ・・・(2)
d=4・PP/NA´ ・・・(3)
D≦λ/NA2 ・・・(4)
D≦4・PP/β/NA ・・・(5)
PP=6.45μm、β=2、NA=0.08、λ=0.55μm
D≦2・λ/NA2 ・・・(6)
D≦8・PP/β/NA ・・・(7)
λ/NA2≦D≦2・λ/NA2 ・・・(8)
4・PP/β/NA≦D≦8・PP/β/NA ・・・(9)
λ/NA2≦D≦8・PP/β/NA ・・・(9)’
次に、試料の画像データから試料の3次元情報を算出する方法について説明する。
前側焦点位置をz軸方向に移動させても、試料中の物点の投影位置が焦点深度内に収まっている場合には、その物点に対応する像強度に変化は生じず、画素の階調値も変化しない。このため、同一物点に対応する階調値の変化から、焦点深度相当よりも高い精度で3次元情報、特に、深さ情報(z軸方向の情報)を得ることは困難である。そこで、後述する実施例に係る3次元情報取得装置では、複数の異なる方向から試料を撮像し、その結果得られた複数の試料の画像データから相関計測法を用いて像の移動量を算出する。そして、算出された移動量に基づいて試料の3次元情報を算出する。
h=δz・tanΩ ・・・(10)
h´=β・h
=β・δz・tanΩ ・・・(11)
Δ=β・δz・tanΩ ・・・(12)
は、式(13)で表わされる。なお、式(13)は説明を簡略するため、1次元モデルを示している。ここで、
は試料から発生する蛍光の発光分布であり、
はそのフーリエ変換である。
は観察光学系のMTFである。
とすると、差演算画像の像強度分布は式(14)で表わされ、また、和演算画像の像強度分布は式(15)で表わされる。
はフーリエ変換を示す演算子である。
Δz=(PP/β/tanω)・m ・・・(20)
以下、各実施例に係る3次元情報取得装置について具体的に説明する。
Claims (11)
- 光シートで試料を照明する照明光学系と、
2次元撮像素子を有し、前記照明光学系に照明された前記試料を撮像する撮像装置と、
複数の異なる方向から観察した前記試料の複数の光学像を前記2次元撮像素子上に形成する観察光学系と、
前記撮像装置で生成された前記試料の複数の画像データから前記試料の3次元情報を算出する演算装置と、を備え、
PPを前記2次元撮像素子の画素サイズ、λを前記試料からの観察光の波長、βを前記観察光学系によって前記2次元撮像素子上に形成される前記複数の光学像の倍率、NAを前記観察光学系の物体側の開口数とし、PP>λ・β/(4・NA)を満たすとき、前記光シートの厚さDは、以下の条件式
D ≦ 8・PP/β/NA
を満たし、
PP≦λ・β/(4・NA)を満たすとき、前記光シートの厚さDは、以下の条件式
D ≦ 2・λ/NA 2
を満たすことを特徴とする3次元情報取得装置。 - 請求項1に記載の3次元情報取得装置において、さらに、
前記光シートが照射される前記試料上の領域を前記光シートの厚さ方向に移動させる駆動装置を備え、
前記撮像装置は、前記光シートが照射される前記試料上の領域が前記駆動装置により前記光シートの厚さD以下の所定距離Δzだけ移動する毎に、前記複数の画像データを生成する
ことを特徴とする3次元情報取得装置。 - 請求項2に記載の3次元情報取得装置において、
2ωを前記複数の異なる方向のうちの2つの方向の間の角度とし、mを整数値とするとき、以下の条件式
Δz=(PP/β/tanω)・m
を満たすことを特徴とする3次元情報取得装置。 - 請求項1乃至請求項3のいずれか1項に記載の3次元情報取得装置において、
前記演算装置は、
前記複数の画像データに基づいて、相関計測法によって像の移動量を算出し、
算出した像の移動量に基づいて、前記試料の3次元情報を算出する
ことを特徴とする3次元情報取得装置。 - 請求項4に記載の3次元情報取得装置において、
前記演算装置は、
前記複数の画像データに基づいて、差演算処理によって像の移動量を算出し、
算出した像の移動量に基づいて、前記試料の3次元情報を算出する
ことを特徴とする3次元情報取得装置。 - 請求項1乃至請求項5のいずれか1項に記載の3次元情報取得装置において、
前記観察光学系は、それぞれ異なる方向から前記試料を観察する複数の観察光学系を備え、
前記撮像装置は、それぞれ異なる方向から観察した前記試料を撮像する複数の撮像装置を備える
ことを特徴とする3次元情報取得装置。 - 請求項1乃至請求項5のいずれか1項に記載の3次元情報取得装置において、
前記観察光学系は、
対物レンズと、
前記対物レンズからの光を前記2次元撮像素子上に集光させる結像レンズと、
光が通過する前記対物レンズの瞳面内の領域を限定する遮光手段であって、当該領域の位置を変更する機構を備える遮光手段と、を備える
ことを特徴とする3次元情報取得装置。 - 請求項1乃至請求項5のいずれか1項に記載の3次元情報取得装置において、
前記観察光学系は、
対物レンズと、
それぞれ前記対物レンズの瞳面の異なる領域を通過した光が入射する複数のレンズ要素からなるレンズアレイであって、前記対物レンズからの光を前記2次元撮像素子上に集光させるレンズアレイと、を備える
ことを特徴とする3次元情報取得装置。 - 請求項1乃至請求項5のいずれか1項に記載の3次元情報取得装置において、
前記観察光学系は、
対物レンズと、
前記対物レンズからの光を集光させる結像レンズと、
前記結像レンズと前記撮像装置との間であって、前記結像レンズの後側焦点位置近傍に配置されたマイクロレンズアレイと、を備える
ことを特徴とする3次元情報取得装置。 - 請求項1乃至請求項9のいずれか1項に記載の3次元情報取得装置において、
前記演算装置は、算出した前記試料の3次元情報と前記複数の画像データとに基づいて、前記試料の3次元画像データを生成する
ことを特徴とする3次元情報取得装置。 - 試料を光シートで照明し、
前記光シートで照明された前記試料の複数の光学像であって、各々が異なる方向から前記試料を観察した光学像である前記複数の光学像を、2次元撮像素子上に形成し、
前記複数の光学像が形成された前記2次元撮像素子を備える撮像装置で前記試料の複数の画像データを生成し、
前記複数の画像データから前記試料の3次元情報を算出し、
前記光シートの厚さDは、PPを前記2次元撮像素子の画素サイズ、λを前記試料からの観察光の波長、βを前記2次元撮像素子上に形成される前記複数の光学像の倍率、NAを前記観察光学系の物体側の開口数とし、PP>λ・β/(4・NA)を満たすとき、以
下の条件式
D ≦ 8・PP/β/NA
を満たし、
PP≦λ・β/(4・NA)を満たすとき、前記光シートの厚さDは、以下の条件式
D ≦ 2・λ/NA 2
を満たすことを特徴とする3次元情報取得方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015098360A JP6503221B2 (ja) | 2015-05-13 | 2015-05-13 | 3次元情報取得装置、及び、3次元情報取得方法 |
US15/149,855 US10114207B2 (en) | 2015-05-13 | 2016-05-09 | Apparatus and method for obtaining three-dimensional information |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015098360A JP6503221B2 (ja) | 2015-05-13 | 2015-05-13 | 3次元情報取得装置、及び、3次元情報取得方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016212349A JP2016212349A (ja) | 2016-12-15 |
JP6503221B2 true JP6503221B2 (ja) | 2019-04-17 |
Family
ID=57277041
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015098360A Active JP6503221B2 (ja) | 2015-05-13 | 2015-05-13 | 3次元情報取得装置、及び、3次元情報取得方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10114207B2 (ja) |
JP (1) | JP6503221B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016125281A1 (ja) * | 2015-02-05 | 2016-08-11 | 株式会社ニコン | 構造化照明顕微鏡、観察方法、及び制御プログラム |
US10989661B2 (en) * | 2015-05-01 | 2021-04-27 | The Board Of Regents Of The University Of Texas System | Uniform and scalable light-sheets generated by extended focusing |
US10509215B2 (en) * | 2016-03-14 | 2019-12-17 | Olympus Corporation | Light-field microscope |
WO2017180680A1 (en) | 2016-04-12 | 2017-10-19 | The Board Of Regents Of The University Of Texas System | LIGHT-SHEET MICROSCOPE WITH PARALLELIZED 3D lMAGE ACQUISITION |
DE102017105103A1 (de) | 2017-03-10 | 2018-09-13 | Carl Zeiss Microscopy Gmbh | 3D-Mikroskopie |
JP6296318B1 (ja) * | 2017-04-28 | 2018-03-20 | アクアシステム株式会社 | 顕微鏡用光学系及びそれを用いた顕微鏡 |
FR3075372B1 (fr) * | 2017-12-18 | 2020-08-28 | Commissariat Energie Atomique | Dispositif et procede d'observation d'un echantillon avec un systeme optique chromatique |
JP7007227B2 (ja) * | 2018-04-09 | 2022-01-24 | 浜松ホトニクス株式会社 | 試料観察装置及び試料観察方法 |
US10866092B2 (en) * | 2018-07-24 | 2020-12-15 | Kla-Tencor Corporation | Chromatic confocal area sensor |
CN111381357B (zh) * | 2018-12-29 | 2021-07-20 | 中国科学院深圳先进技术研究院 | 图像三维信息提取方法、对象成像方法、装置及系统 |
DE102020209889A1 (de) | 2020-08-05 | 2022-02-10 | Carl Zeiss Microscopy Gmbh | Mikroskop und Verfahren zur mikroskopischen Bildaufnahme mit variabler Beleuchtung |
JP2022069273A (ja) * | 2020-10-23 | 2022-05-11 | 株式会社リガク | 結像型x線顕微鏡 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000258139A (ja) | 1999-03-09 | 2000-09-22 | Fuji Electric Co Ltd | 3次元形状測定装置 |
JP4444440B2 (ja) | 2000-03-30 | 2010-03-31 | 株式会社トプコン | ステレオ画像の測定装置 |
EP1139062B1 (en) | 2000-03-30 | 2006-11-22 | Kabushiki Kaisha Topcon | Stereo image measuring device |
DE10257423A1 (de) * | 2002-12-09 | 2004-06-24 | Europäisches Laboratorium für Molekularbiologie (EMBL) | Mikroskop |
US8922623B2 (en) | 2009-03-31 | 2014-12-30 | Panasonic Corporation | Stereo image processor and stereo image processing method |
US8441633B2 (en) * | 2009-10-29 | 2013-05-14 | California Institute Of Technology | Multiple-photon excitation light sheet illumination microscope |
JP5415973B2 (ja) * | 2010-01-25 | 2014-02-12 | オリンパス株式会社 | 撮像装置、内視鏡システム及び撮像装置の作動方法 |
JP5457976B2 (ja) * | 2010-08-03 | 2014-04-02 | 日本放送協会 | 3次元形状取得装置および3次元形状取得プログラム |
JP2012042524A (ja) * | 2010-08-13 | 2012-03-01 | Nikon Corp | 画像処理装置および方法 |
JP5814684B2 (ja) | 2010-09-03 | 2015-11-17 | オリンパス株式会社 | 位相物体の可視化方法及び可視化装置 |
JP2012145747A (ja) * | 2011-01-12 | 2012-08-02 | Nikon Corp | 実体顕微鏡装置 |
US9316824B2 (en) * | 2011-03-04 | 2016-04-19 | The United States Of America, As Represented By The Secretary, Department Of Health And Human Services | Optomechanical module for converting a microscope to provide selective plane illumination microscopy |
DE102011054914A1 (de) * | 2011-10-28 | 2013-05-02 | Leica Microsystems Cms Gmbh | Verfahren und Anordnung zur Beleuchtung einer Probe |
JP5851320B2 (ja) | 2012-04-18 | 2016-02-03 | 株式会社東芝 | カメラモジュール |
JP6030328B2 (ja) * | 2012-04-20 | 2016-11-24 | アストロデザイン株式会社 | 距離計測システム |
JP2013235110A (ja) | 2012-05-08 | 2013-11-21 | Nikon Corp | オートフォーカス装置およびこれを有する顕微鏡 |
JP6335423B2 (ja) | 2012-08-31 | 2018-05-30 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
JP2015135463A (ja) | 2013-12-19 | 2015-07-27 | オリンパス株式会社 | 顕微鏡装置、及び、顕微鏡システム |
US10061111B2 (en) * | 2014-01-17 | 2018-08-28 | The Trustees Of Columbia University In The City Of New York | Systems and methods for three dimensional imaging |
-
2015
- 2015-05-13 JP JP2015098360A patent/JP6503221B2/ja active Active
-
2016
- 2016-05-09 US US15/149,855 patent/US10114207B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016212349A (ja) | 2016-12-15 |
US10114207B2 (en) | 2018-10-30 |
US20160334613A1 (en) | 2016-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6503221B2 (ja) | 3次元情報取得装置、及び、3次元情報取得方法 | |
CN110214290B (zh) | 显微光谱测量方法和系统 | |
US10330906B2 (en) | Imaging assemblies with rapid sample auto-focusing | |
JP5982405B2 (ja) | オートフォーカス装置を有する顕微鏡及び顕微鏡でのオートフォーカス方法 | |
JP5829621B2 (ja) | 顕微鏡センサ | |
US10754139B2 (en) | Three-dimensional position information acquiring method and three-dimensional position information acquiring apparatus | |
JP4806630B2 (ja) | 多軸統合を用いて三次元対象物の光学的画像データを取得する方法 | |
US10613312B2 (en) | Scanning imaging for encoded PSF identification and light field imaging | |
JP6408543B2 (ja) | 走査型光学ユニットを用いた光照射野の画像化 | |
US20210215923A1 (en) | Microscope system | |
WO2019097587A1 (ja) | 定量位相画像生成方法、定量位相画像生成装置およびプログラム | |
JP2008059121A (ja) | 多焦点撮像装置 | |
JP4917404B2 (ja) | 位相物体の可視化方法とその顕微鏡システム | |
KR101863752B1 (ko) | 광학적 웨이퍼 검사 장치의 해상력 강화 방법 및 이를 이용한 tsom 영상 획득 방법 | |
US10731971B1 (en) | Method of measuring 3D profile | |
TWI500963B (zh) | An image capturing device and method | |
US10211024B1 (en) | System and method for axial scanning based on static phase masks | |
KR101826127B1 (ko) | 광학적 웨이퍼 검사 장치 | |
JPH1068616A (ja) | 形状計測装置 | |
US10082653B1 (en) | Systems and methods for performing quantitative phase-contrast confocal microscopy | |
JP6106956B2 (ja) | 顕微鏡装置 | |
US11256078B2 (en) | Continuous scanning for localization microscopy | |
JP5191265B2 (ja) | 光学顕微鏡装置及び光学顕微鏡用データ処理装置 | |
KR20140071901A (ko) | 공초점 광학식 검사 장치 및 공초점 광학식 검사 방법 | |
JP2010164635A (ja) | 共焦点顕微鏡 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181016 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190325 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6503221 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |