JP6363890B2 - 走査型顕微鏡装置および超解像画像の生成方法 - Google Patents
走査型顕微鏡装置および超解像画像の生成方法 Download PDFInfo
- Publication number
- JP6363890B2 JP6363890B2 JP2014138535A JP2014138535A JP6363890B2 JP 6363890 B2 JP6363890 B2 JP 6363890B2 JP 2014138535 A JP2014138535 A JP 2014138535A JP 2014138535 A JP2014138535 A JP 2014138535A JP 6363890 B2 JP6363890 B2 JP 6363890B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- zoom magnification
- pixels
- information
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0036—Scanning details, e.g. scanning stages
- G02B21/0048—Scanning details, e.g. scanning stages scanning mirrors, e.g. rotating or galvanomirrors, MEMS mirrors
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/02—Objectives
- G02B21/025—Objectives with variable magnification
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
Description
本発明は、光源から発せられたレーザ光を標本に照射する対物レンズと、該対物レンズにより前記標本に照射されるレーザ光を走査させて、前記標本の元画像を取得する画像取得部と、ユーザが、前記標本のリファレンス画像を取得するためのピクセル数およびズーム倍率を設定する条件設定部と、該条件設定部により設定された前記ピクセル数および前記ズーム倍率のいずれか一方を固定して超解像画像を取得するという目的で、ユーザが、前記ピクセル数を固定することおよび前記ズーム倍率を固定することのいずれか一方を選択する選択部と、該選択部によって前記ピクセル数を固定することが選択された場合は、前記対物レンズの倍率と前記条件設定部によって設定された前記ピクセル数とに基づき、超解像画像を生成するために必要な1ピクセル当たりのピクセル分解能を実現する前記ズーム倍率に関する情報を算出し、前記選択部によって前記ズーム倍率を固定することが選択された場合は、前記対物レンズの倍率と前記条件設定部によって設定された前記ズーム倍率とに基づき、超解像画像を生成するために必要な1ピクセル当たりのピクセル分解能を実現する前記ピクセル数に関する情報を算出する条件算出部と、該条件算出部により算出された前記ピクセル数に関する情報または前記ズーム倍率に関する情報に基づいて前記画像取得部を制御する制御部とを備える走査型顕微鏡装置を提供する。
このように構成することで、ユーザが所望する視野範囲で、実現したい解像を満たすピクセルピッチの元画像を取得することができる。
このように構成することで、元画像において所望の視野範囲を得るためにピクセル数が変わったり画像取得に掛かる時間が変わったりしても、ユーザは変更後のピクセル数や画像取得の時間を把握した上で元画像を取得することができる。
このように構成することで、ユーザが所望するピクセル数や画像取得に掛かる時間で、実現したい解像を満たすピクセルピッチの元画像を取得することができる。
このように構成することで、元画像において所望のピクセル数や画像取得に掛かる時間を得るために視野範囲が変わっても、ユーザは変更後の視野範囲を把握した上で元画像を取得することができる。
このように構成することで、目的や状況に応じたユーザの所望の条件を維持して、実現したい解像を満たすピクセルピッチの元画像を取得することができる。
また、本発明は、走査型レーザ顕微鏡を用いて取得した元画像に対して画像処理を行うことにより超解像画像を生成する方法であって、ユーザにより、リファレンス画像を取得するためのピクセル数およびズーム倍率に関する条件を入力し、光源から対物レンズを通して標本上に照射されるレーザ光を走査して、前記ピクセル数および前記ズーム倍率に基づき標本の前記リファレンス画像を取得し、前記リファレンス画像を取得した際の前記ピクセル数および前記ズーム倍率のいずれか一方を固定して超解像画像を取得するという目的で、ユーザが、前記ピクセル数を固定することおよび前記ズーム倍率を固定することのいずれか一方を選択し、前記ズーム倍率を固定することが選択された場合は、コンピュータが、前記リファレンス画像を取得した際の前記対物レンズの倍率およびズーム倍率に基づき前記超解像画像を生成するのに必要なピクセル数に関する情報を算出し、前記ピクセル数を固定することが選択された場合は、コンピュータが、前記リファレンス画像を取得した際の前記対物レンズの倍率およびピクセル数に基づき前記超解像画像を生成するのに必要なズーム倍率に関する情報を算出し、算出された前記ズーム倍率に関する情報または算出された前記ピクセル数に関する情報に基づき前記元画像を取得し、取得された前記元画像に対して高周波成分を強調する画像演算処理を行うことにより、前記超解像画像を取得する超解像画像の生成方法を提供する。
上記発明においては、前記コンピュータが、前記ピクセル数に関する情報を算出した場合において、算出された前記ピクセル数に関する情報と1フレーム分の画像を取得するのに必要な時間に関する情報のうちの少なくとも1つを表示することとしてもよい。
上記発明においては、前記コンピュータが、前記ズーム倍率に関する情報を算出した場合において、算出された前記ズーム倍率に関する情報に従って取得可能な前記元画像の視野範囲を表示することとしてもよい。
本実施形態に係る走査型顕微鏡装置1は、図1に示すように、標本S(図6(a)および図6(b)参照)を載置するステージ3と、レーザ光を発生するレーザ光源(光源)5と、レーザ光源5から発せられたレーザ光を走査させる走査部(画像取得部、スキャナ)7と、走査部7により走査されたレーザ光を標本Sに照射する一方、標本Sから戻る戻り光を集光する対物レンズ9とを備えている。
ダイクロイックミラー11は、レーザ光源5からのレーザ光を走査部7に向けて透過させる一方、対物レンズ9により集光されて走査部7を介してレーザ光の光路を戻る戻り光をピンホール13に向けて反射するようになっている。
検出器15は、例えば、光電子増倍管であり、検出した戻り光の強度に相当する光強度信号をPC17に送るようになっている。
本実施形態に係る走査型顕微鏡装置1により超解像画像を取得する場合は、まず、複数の標本Sを含むリファレンス画像を取得する。
この場合は、図2に示すように、モニタ19上のスキャン条件設定部23において、ユーザが、リファレンス画像を取得するためのスキャン条件としてスキャンサイズおよびズーム倍率を設定する(ステップS1)。例えば、100倍対物レンズ9を使用して、スキャンサイズ512×512、ズーム1倍を設定したとする。
この場合は、モニタ19のモード設定部25において、ユーザが「Super Resolution」をONにし(ステップS4)、「Mode」の「Fix scan size」または「Fix Zoom」を選択する(ステップS5)。
本実施形態においては、例えば、100倍の対物レンズ9を使用し、ズーム倍率が1倍、アスペクト比が1:1の視野を有する超解像画像を取得する場合を例示する。
この場合、ユーザは、モニタ19のスキャン条件設定部23において、「Zoom」に1倍を入力して、ズーム倍率を設定する(ステップS6)。
本実施形態においては、例えば、100倍の対物レンズ9を使用し、512×512のスキャンサイズを有する超解像画像を取得する場合を例示する。
この場合、ユーザは、モニタ19のスキャン条件設定部23において、「Scan size」に512×512を入力して、スキャンサイズを設定する(ステップS6)。
5 レーザ光源(光源)
9 対物レンズ
17 PC(画像取得部、条件算出部、制御部、画像構築部)
21 走査部(画像取得部、スキャナ)
Claims (10)
- 光源から発せられたレーザ光を標本に照射する対物レンズと、
該対物レンズにより前記標本に照射されるレーザ光を走査させて、前記標本の元画像を取得する画像取得部と、
ユーザが、前記標本のリファレンス画像を取得するためのピクセル数およびズーム倍率を設定する条件設定部と、
該条件設定部により設定された前記ピクセル数および前記ズーム倍率のいずれか一方を固定して超解像画像を取得するという目的で、ユーザが、前記ピクセル数を固定することおよび前記ズーム倍率を固定することのいずれか一方を選択する選択部と、
該選択部によって前記ピクセル数を固定することが選択された場合は、前記対物レンズの倍率と前記条件設定部によって設定された前記ピクセル数とに基づき、超解像画像を生成するために必要な1ピクセル当たりのピクセル分解能を実現する前記ズーム倍率に関する情報を算出し、前記選択部によって前記ズーム倍率を固定することが選択された場合は、前記対物レンズの倍率と前記条件設定部によって設定された前記ズーム倍率とに基づき、超解像画像を生成するために必要な1ピクセル当たりのピクセル分解能を実現する前記ピクセル数に関する情報を算出する条件算出部と、
該条件算出部により算出された前記ピクセル数に関する情報または前記ズーム倍率に関する情報に基づいて前記画像取得部を制御する制御部とを備える走査型顕微鏡装置。 - 前記画像取得部が、所定の搖動軸回りに搖動可能な搖動ミラーによりレーザ光を偏向するスキャナと、レーザ光が照射された前記標本の戻り光の強度情報に基づいて前記元画像を構築する画像構築部とを備え、
前記制御部が、前記条件算出部により前記ピクセル数に関する情報が算出された場合は、そのピクセル数に関する情報に基づいて前記画像構築部による画像構築を制御し、前記条件算出部により前記ズーム倍率に関する情報が算出された場合は、そのズーム倍率に関する情報に基づいて前記スキャナによるレーザ光の走査を制御する請求項1に記載の走査型顕微鏡装置。 - 前記条件算出部が、予め設定された前記ズーム倍率に関する情報に基づいて前記ピクセル数に関する情報を算出する請求項2に記載の走査型顕微鏡装置。
- 前記制御部が、前記条件算出部により算出された前記ピクセル数に関する情報および/または1フレーム分の画像を取得するのに掛かる時間に関する情報を表示する請求項3に記載の走査型顕微鏡装置。
- 前記条件算出部が、予め設定された前記ピクセル数に関する情報に基づいて前記ズーム倍率に関する情報を算出する請求項2に記載の走査型顕微鏡装置。
- 前記制御部が、前記条件算出部により算出された前記ズーム倍率に関する情報に従って取得可能な前記元画像の視野範囲を表示する請求項5に記載の走査型顕微鏡装置。
- 前記ズーム倍率に関する情報を予め設定して、前記条件算出部により算出された前記ピクセル数に関する情報に基づいて前記制御部により前記画像構築部による画像構築を制御する第1モードと、前記ピクセル数に関する情報を予め設定して、前記条件算出部により算出された前記ズーム倍率に関する情報に基づいて前記制御部により前記走査部によるレーザ光の走査を制御する第2モードとをユーザが択一的に選択可能な請求項3から請求項6のいずれかに記載の走査型顕微鏡装置。
- 走査型レーザ顕微鏡を用いて取得した元画像に対して画像処理を行うことにより超解像画像を生成する方法であって、
ユーザにより、リファレンス画像を取得するためのピクセル数およびズーム倍率に関する条件を入力し、
光源から対物レンズを通して標本上に照射されるレーザ光を走査して、前記ピクセル数および前記ズーム倍率に基づき標本の前記リファレンス画像を取得し、
前記リファレンス画像を取得した際の前記ピクセル数および前記ズーム倍率のいずれか一方を固定して超解像画像を取得するという目的で、ユーザが、前記ピクセル数を固定することおよび前記ズーム倍率を固定することのいずれか一方を選択し、
前記ズーム倍率を固定することが選択された場合は、コンピュータが、前記リファレンス画像を取得した際の前記対物レンズの倍率およびズーム倍率に基づき前記超解像画像を生成するのに必要なピクセル数に関する情報を算出し、
前記ピクセル数を固定することが選択された場合は、コンピュータが、前記リファレンス画像を取得した際の前記対物レンズの倍率およびピクセル数に基づき前記超解像画像を生成するのに必要なズーム倍率に関する情報を算出し、
算出された前記ズーム倍率に関する情報または算出された前記ピクセル数に関する情報に基づき前記元画像を取得し、
取得された前記元画像に対して高周波成分を強調する画像演算処理を行うことにより、前記超解像画像を取得する超解像画像の生成方法。 - 前記コンピュータが、前記ピクセル数に関する情報を算出した場合において、算出された前記ピクセル数に関する情報と1フレーム分の画像を取得するのに必要な時間に関する情報のうちの少なくとも1つを表示する請求項8に記載の超解像画像の生成方法。
- 前記コンピュータが、前記ズーム倍率に関する情報を算出した場合において、算出された前記ズーム倍率に関する情報に従って取得可能な前記元画像の視野範囲を表示する請求項8に記載の超解像画像の生成方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014138535A JP6363890B2 (ja) | 2014-07-04 | 2014-07-04 | 走査型顕微鏡装置および超解像画像の生成方法 |
US14/789,167 US10379330B2 (en) | 2014-07-04 | 2015-07-01 | Scanning microscope apparatus for generating super-resolution image based on set zoom magnification or set number of pixels |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014138535A JP6363890B2 (ja) | 2014-07-04 | 2014-07-04 | 走査型顕微鏡装置および超解像画像の生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016017990A JP2016017990A (ja) | 2016-02-01 |
JP6363890B2 true JP6363890B2 (ja) | 2018-07-25 |
Family
ID=55016891
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014138535A Active JP6363890B2 (ja) | 2014-07-04 | 2014-07-04 | 走査型顕微鏡装置および超解像画像の生成方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10379330B2 (ja) |
JP (1) | JP6363890B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112653834B (zh) * | 2020-12-01 | 2022-04-08 | 广东鼎诚电子科技有限公司 | 超分辨率扫描成像方法、系统和存储介质 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5161052B2 (ja) * | 2008-12-04 | 2013-03-13 | オリンパス株式会社 | 顕微鏡システム、標本観察方法およびプログラム |
JP4536845B2 (ja) * | 1999-05-17 | 2010-09-01 | 株式会社キーエンス | 共焦点顕微鏡 |
JP3861000B2 (ja) * | 2001-12-25 | 2006-12-20 | オリンパス株式会社 | 走査型レーザー顕微鏡 |
JP2004138947A (ja) * | 2002-10-21 | 2004-05-13 | Keyence Corp | 走査モード選択可能な共焦点顕微鏡システム |
JP4996304B2 (ja) * | 2007-03-28 | 2012-08-08 | オリンパス株式会社 | 走査型顕微鏡とその調節方法 |
JP5354938B2 (ja) | 2007-05-02 | 2013-11-27 | オリンパス株式会社 | 蛍光顕微鏡装置 |
US20110141224A1 (en) * | 2009-12-11 | 2011-06-16 | Fotonation Ireland Limited | Panorama Imaging Using Lo-Res Images |
JP5718012B2 (ja) * | 2010-10-13 | 2015-05-13 | オリンパス株式会社 | 走査型レーザ顕微鏡 |
JP5784393B2 (ja) * | 2011-07-11 | 2015-09-24 | オリンパス株式会社 | 標本観察装置 |
JP2013152454A (ja) * | 2011-12-27 | 2013-08-08 | Canon Inc | 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム |
JP6137921B2 (ja) * | 2013-04-16 | 2017-05-31 | オリンパス株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2014
- 2014-07-04 JP JP2014138535A patent/JP6363890B2/ja active Active
-
2015
- 2015-07-01 US US14/789,167 patent/US10379330B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20160004056A1 (en) | 2016-01-07 |
JP2016017990A (ja) | 2016-02-01 |
US10379330B2 (en) | 2019-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5090188B2 (ja) | 顕微鏡装置 | |
JP5132052B2 (ja) | 走査型レーザ顕微鏡の条件設定装置及び走査型レーザ顕微鏡システム | |
JP2005284136A (ja) | 観察装置および観察装置の焦点合わせ方法 | |
JP6147079B2 (ja) | 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム | |
JP2012039255A (ja) | 画像処理装置、画像処理方法、撮像装置及びプログラム | |
JP3861000B2 (ja) | 走査型レーザー顕微鏡 | |
JP2010286565A (ja) | 蛍光観察装置 | |
JP2014235407A (ja) | 非線形光学顕微鏡装置 | |
JP2006293219A (ja) | 走査型共焦点顕微鏡および試料情報測定方法 | |
JPWO2016017664A1 (ja) | 断層像撮影装置 | |
JP6363890B2 (ja) | 走査型顕微鏡装置および超解像画像の生成方法 | |
JP2018022047A (ja) | 顕微鏡システム | |
JP2020086293A5 (ja) | ||
JP6300658B2 (ja) | 標本観察装置 | |
JP6161424B2 (ja) | 顕微鏡システム | |
JP5649994B2 (ja) | 顕微鏡装置 | |
JP4803974B2 (ja) | 共焦点観察システム、光照射方法、及び光照射プログラム | |
JP2010164635A (ja) | 共焦点顕微鏡 | |
JP2010085421A (ja) | 顕微鏡装置 | |
JP7032098B2 (ja) | 拡大観察装置 | |
JP2015022073A (ja) | 顕微鏡と収差補正方法 | |
JP3331175B2 (ja) | 顕微鏡観察装置 | |
JP5913519B2 (ja) | 眼底観察装置 | |
JP6460650B2 (ja) | 眼科装置 | |
JP6062028B2 (ja) | 拡大観察装置、及び、拡大観察方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170530 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180619 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180629 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6363890 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |