JP6363890B2 - 走査型顕微鏡装置および超解像画像の生成方法 - Google Patents

走査型顕微鏡装置および超解像画像の生成方法 Download PDF

Info

Publication number
JP6363890B2
JP6363890B2 JP2014138535A JP2014138535A JP6363890B2 JP 6363890 B2 JP6363890 B2 JP 6363890B2 JP 2014138535 A JP2014138535 A JP 2014138535A JP 2014138535 A JP2014138535 A JP 2014138535A JP 6363890 B2 JP6363890 B2 JP 6363890B2
Authority
JP
Japan
Prior art keywords
image
zoom magnification
pixels
information
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014138535A
Other languages
English (en)
Other versions
JP2016017990A (ja
Inventor
高見澤 伸拡
伸拡 高見澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2014138535A priority Critical patent/JP6363890B2/ja
Priority to US14/789,167 priority patent/US10379330B2/en
Publication of JP2016017990A publication Critical patent/JP2016017990A/ja
Application granted granted Critical
Publication of JP6363890B2 publication Critical patent/JP6363890B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036Scanning details, e.g. scanning stages
    • G02B21/0048Scanning details, e.g. scanning stages scanning mirrors, e.g. rotating or galvanomirrors, MEMS mirrors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/02Objectives
    • G02B21/025Objectives with variable magnification
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4053Super resolution, i.e. output image resolution higher than sensor resolution

Description

本発明は、走査型顕微鏡装置に関するものである。
従来、取得した画像に対して画像処理(コンボリューション処理)を施し、光学分解能以上の分解能を有する超解像画像を生成する超解像技術(RRCM)が知られている(例えば、特許文献1参照。)。引用文献1に記載の超解像技術は、ピンホール径を対物レンズに最適な大きさの50%程度の大きさに設定するとともに、実現したい解像の2倍程度のピクセルピッチになるように光学ズーム倍率もしくは画像の解像度を設定している。
特開2013−20083号公報
しかしながら、特許文献1には、画像処理に最適な行列式を生成する方法や、超解像イメージングに必要なピンホール径を算出する方法について記載されているが、ピクセルピッチが適当な値となるような走査部の駆動信号を生成する具体的な方法等については言及されていない。したがって、ユーザ自身が、ピクセルピッチを最適な値にするための手段を考えて必要なパラメータを入力する必要があり、画像取得までの手順が複雑という問題がある。
本発明は、超解像画像を生成するために必要な条件を満たす標本の元画像を簡易に取得することができる走査型顕微鏡装置を提供することを目的としている。
上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、光源から発せられたレーザ光を標本に照射する対物レンズと、該対物レンズにより前記標本に照射されるレーザ光を走査させて、前記標本の元画像を取得する画像取得部と、ユーザが、前記標本のリファレンス画像を取得するためのピクセル数およびズーム倍率を設定する条件設定部と、該条件設定部により設定された前記ピクセル数および前記ズーム倍率のいずれか一方を固定して超解像画像を取得するという目的で、ユーザが、前記ピクセル数を固定することおよび前記ズーム倍率を固定することのいずれか一方を選択する選択部と、該選択部によって前記ピクセル数を固定することが選択された場合は、前記対物レンズの倍率と前記条件設定部によって設定された前記ピクセル数とに基づき、超解像画像を生成するために必要な1ピクセル当たりのピクセル分解能を実現する前記ズーム倍率に関する情報を算出し、前記選択部によって前記ズーム倍率を固定することが選択された場合は、前記対物レンズの倍率と前記条件設定部によって設定された前記ズーム倍率とに基づき、超解像画像を生成するために必要な1ピクセル当たりのピクセル分解能を実現する前記ピクセル数に関する情報を算出する条件算出部と、該条件算出部により算出された前記ピクセル数に関する情報または前記ズーム倍率に関する情報に基づいて前記画像取得部を制御する制御部とを備える走査型顕微鏡装置を提供する。
本発明によれば、画像取得部により、光源から発せられたレーザ光が対物レンズを介して標本上で走査されて、その標本の元画像が取得される。この場合において、条件算出部により対物レンズの倍率に基づいて算出された元画像のピクセル数に関する情報または元画像のズーム倍率に関する情報に基づいて、制御部により画像取得部が制御されることで、画像取得部により、実現したい解像を満たすピクセルピッチの元画像を取得することができる。したがって、実現したい解像を満たすピクセルピッチの元画像を取得するための条件をユーザが設定しなくて済み、超解像画像を生成するために必要な条件を満たす標本の元画像を簡易に取得することができる。
上記発明においては、前記画像取得部が、所定の搖動軸回りに搖動可能な搖動ミラーによりレーザ光を偏向するスキャナと、レーザ光が照射された前記標本の戻り光の強度情報に基づいて前記元画像を構築する画像構築部とを備え、前記制御部が、前記条件算出部により前記ピクセル数に関する情報が算出された場合は、そのピクセル数に関する情報に基づいて前記画像構築部による画像構築を制御し、前記条件算出部により前記ズーム倍率に関する情報が算出された場合は、そのズーム倍率に関する情報に基づいて前記スキャナによるレーザ光の走査を制御することとしてもよい。
このように構成することで、制御部により、条件算出部によって算出される元画像のピクセル数に関する情報に基づいて画像構築部を制御する場合は、元画像のズーム倍率を変更しないので、ユーザが観察したい視野範囲を維持したままで、実現したい解像を満たすピクセルピッチの元画像を取得することができる。
また、制御部により、条件算出部によって算出される元画像のズーム倍率に関する情報に基づいてスキャナを制御する場合は、元画像のピクセル数を変更しないので、画像を取得するのにユーザが所望する時間を維持したままで、実現したい解像を満たすピクセルピッチの元画像を取得することができる。
上記発明においては、前記条件算出部が、予め設定された前記ズーム倍率に関する情報に基づいて前記ピクセル数に関する情報を算出することとしてもよい。
このように構成することで、ユーザが所望する視野範囲で、実現したい解像を満たすピクセルピッチの元画像を取得することができる。
上記発明においては、前記制御部が、前記条件算出部により算出された前記ピクセル数に関する情報および/または1フレーム分の画像を取得するのに掛かる時間に関する情報を表示することとしてもよい。
このように構成することで、元画像において所望の視野範囲を得るためにピクセル数が変わったり画像取得に掛かる時間が変わったりしても、ユーザは変更後のピクセル数や画像取得の時間を把握した上で元画像を取得することができる。
上記発明においては、前記条件算出部が、予め設定された前記ピクセル数に関する情報に基づいて前記ズーム倍率に関する情報を算出することとしてもよい。
このように構成することで、ユーザが所望するピクセル数や画像取得に掛かる時間で、実現したい解像を満たすピクセルピッチの元画像を取得することができる。
上記発明においては、前記制御部が、前記条件算出部により算出された前記ズーム倍率に関する情報に従って取得可能な前記元画像の視野範囲を表示することとしてもよい。
このように構成することで、元画像において所望のピクセル数や画像取得に掛かる時間を得るために視野範囲が変わっても、ユーザは変更後の視野範囲を把握した上で元画像を取得することができる。
上記発明においては、前記ズーム倍率に関する情報を予め設定して、前記条件算出部により算出された前記ピクセル数に関する情報に基づいて前記制御部により前記画像構築部による画像構築を制御する第1モードと、前記ピクセル数に関する情報を予め設定して、前記条件算出部により算出された前記ズーム倍率に関する情報に基づいて前記制御部により前記走査部によるレーザ光の走査を制御する第2モードとをユーザが択一的に選択可能であることとしてもよい。
このように構成することで、目的や状況に応じたユーザの所望の条件を維持して、実現したい解像を満たすピクセルピッチの元画像を取得することができる。
また、本発明は、走査型レーザ顕微鏡を用いて取得した元画像に対して画像処理を行うことにより超解像画像を生成する方法であって、ユーザにより、リファレンス画像を取得するためのピクセル数およびズーム倍率に関する条件を入力し、光源から対物レンズを通して標本上に照射されるレーザ光を走査して、前記ピクセル数および前記ズーム倍率に基づき標本の前記リファレンス画像を取得し、前記リファレンス画像を取得した際の前記ピクセル数および前記ズーム倍率のいずれか一方を固定して超解像画像を取得するという目的で、ユーザが、前記ピクセル数を固定することおよび前記ズーム倍率を固定することのいずれか一方を選択し、前記ズーム倍率を固定することが選択された場合は、コンピュータが、前記リファレンス画像を取得した際の前記対物レンズの倍率およびズーム倍率に基づき前記超解像画像を生成するのに必要なピクセル数に関する情報を算出し、前記ピクセル数を固定することが選択された場合は、コンピュータが、前記リファレンス画像を取得した際の前記対物レンズの倍率およびピクセル数に基づき前記超解像画像を生成するのに必要なズーム倍率に関する情報を算出し、算出された前記ズーム倍率に関する情報または算出された前記ピクセル数に関する情報に基づき前記元画像を取得し、取得された前記元画像に対して高周波成分を強調する画像演算処理を行うことにより、前記超解像画像を取得する超解像画像の生成方法を提供する。
上記発明においては、前記コンピュータが、前記ピクセル数に関する情報を算出した場合において、算出された前記ピクセル数に関する情報と1フレーム分の画像を取得するのに必要な時間に関する情報のうちの少なくとも1つを表示することとしてもよい。
上記発明においては、前記コンピュータが、前記ズーム倍率に関する情報を算出した場合において、算出された前記ズーム倍率に関する情報に従って取得可能な前記元画像の視野範囲を表示することとしてもよい。
本発明によれば、超解像画像を生成するために必要な条件を満たす標本の元画像を簡易に取得することができるという効果を奏する。
本発明の一実施形態に係る走査型顕微鏡装置を示す概略構成図である。 図1のPCとモニタの構成を示す図である。 図1の走査型顕微鏡装置により超解像画像を生成する工程を示すフローチャートである。 100倍対物レンズ、スキャンサイズ512×512、ズーム1倍の設定で取得する画像の一例を示す図である。 図2のモニタに表示されるモード設定部において、ズーム倍率固定モードを選択する場合を示す図である。 図2のモニタに表示されるモード設定部において、スキャンサイズ固定モードを選択する場合を示す図である。 図4の画像に元画像の視野を表示した様子を示す図である。
本発明の一実施形態に係る走査型顕微鏡装置について図面を参照して以下に説明する。
本実施形態に係る走査型顕微鏡装置1は、図1に示すように、標本S(図6(a)および図6(b)参照)を載置するステージ3と、レーザ光を発生するレーザ光源(光源)5と、レーザ光源5から発せられたレーザ光を走査させる走査部(画像取得部、スキャナ)7と、走査部7により走査されたレーザ光を標本Sに照射する一方、標本Sから戻る戻り光を集光する対物レンズ9とを備えている。
また、走査型顕微鏡装置1は、対物レンズ9により集光された戻り光をレーザ光の光路から分岐させるダイクロイックミラー11と、ダイクロイックミラー11により分岐された戻り光の光束を制限するピンホール13、ピンホール13を通過した戻り光を検出する検出器15と、走査部7および検出器15の制御や超解像画像を作成するために必要な元画像の生成等を行うPC(Personal Computer、画像取得部、条件算出部、制御部、画像構築部)17と、PC17により生成される画像やスキャン条件等を表示するモニタ19とを備えている。
走査部7は、例えば、ガルバノスキャナであり、互いに直交する揺動軸回りに揺動可能な2枚のガルバノミラー(いずれも図示略)を備えている。この走査部7は、これら2枚のガルバノミラーにより、レーザ光源5からのレーザ光を互いに直交する2方向に偏向することで、標本S上でレーザ光を2次元的に走査させることができるようになっている。
本実施形態に係る走査型顕微鏡装置1は、10倍の対物レンズ9を使用した場合において、対角で1800μmの正方形領域を走査することができるようになっている。また、10倍の対物レンズ9の使用時は正方形領域の1辺が1272.792・・・μmとなり、100倍の対物レンズ9の使用時は正方形領域の1辺が127.2792・・・μmとなる。
対物レンズ9は、倍率が異なる他の対物レンズと交換することができるようになっている。
ダイクロイックミラー11は、レーザ光源5からのレーザ光を走査部7に向けて透過させる一方、対物レンズ9により集光されて走査部7を介してレーザ光の光路を戻る戻り光をピンホール13に向けて反射するようになっている。
ピンホール13は、対物レンズ9の像位置と共役な位置に配置されている。このピンホール13は、ダイクロイックミラー11からの戻り光の内、標本Sにおける対物レンズ9の焦点位置からの戻り光のみを透過させるようになっている。
検出器15は、例えば、光電子増倍管であり、検出した戻り光の強度に相当する光強度信号をPC17に送るようになっている。
PC17は、検出器15から送られてくる光強度信号を走査部7によるレーザ光の走査位置に対応する画素ごとに積算して、標本Sの2次元的な画像を生成するようになっている。また、PC17は、マウスやキーボード等の入力装置(図示略)によってユーザにスキャン条件を入力させるGUI(Graphical User Interface)を備えている。
GUIは、図2に示すように、モニタ19において、生成した画像を映す画像表示部21と、スキャン条件を設定するスキャン条件設定部23と、超解像画像の生成に関するモードを設定するモード設定部25とを表示させるようになっている。
スキャン条件設定部23には、画像のピクセル数、すなわち、スキャンサイズを入力したり表示したりする「Scan size」と、画像のズーム倍率を入力したり表示したりする「Zoom」と、1フレームの画像を取得するのに掛かる時間を表示する「Frame time」とが設けられている。また、スキャン条件設定部23には、画像取得を開始するためのスタートボタンである「START」が設けられている。
モード設定部25には、超解像イメージングの実施をON/OFFする「Super Resolution」と、超解像イメージングを実施する場合のモードをユーザに選択させる「Mode」とが表示されるようになっている。「Mode」は、スキャンサイズを固定して元画像を取得するスキャンサイズ固定モード(第モード)に設定する「Fix scan size」と、画像のズーム倍率を固定して元画像を取得するズーム倍率固定モード(第モード)に設定する「Fix Zoom」のいずれかを選択することができるようになっている。
このPC17は、ズーム倍率固定モードにおいては、使用する対物レンズ9の倍率および予め設定された画像のズーム倍率に基づいて、超解像画像を生成するために必要な1ピクセル当たりのピクセル分解能を実現する元画像のスキャンサイズを算出するようになっている。
そして、PC17は、算出したスキャンサイズに基づいて画像を構築するようになっている。また、PC17は、算出したスキャンサイズに基づいて1フレーム分の画像を取得するのに掛かる時間を算出し、算出した時間とそのスキャンサイズをモニタ19のスキャン条件設定部23に表示するようになっている。
また、PC17は、スキャンサイズ固定モードにおいては、使用する対物レンズ9の倍率および予め設定されたスキャンサイズに基づいて、超解像画像を生成するために必要な1ピクセル当たりのピクセル分解能を実現するズーム倍率を算出するようになっている。
そして、PC17は、算出したズーム倍率に基づいて走査部7の各ガルバノミラーの搖動角度を調整するようになっている。例えば、走査部7のガルバノミラーの搖動角度を小さくすることで、生成される画像のズームを実現することができる。ガルバノミラーの搖動角度を小さくするとレーザ光を走査させる範囲が狭くなるので、スキャンサイズは変えずにその狭くなった範囲からの戻り光を用いて画像生成を行うことにより、生成される画像は拡大されたものとなる。また、PC17は、算出したズーム倍率をモニタ19のスキャン条件設定部23に表示するとともに、そのズーム倍率に従って取得可能な元画像の視野範囲をモニタ19の画像表示部21に表示するようになっている。
さらに、PC17は、生成した標本Sの画像を元画像として、これに高周波成分を強調する画像演算処理を施すようになっている。これにより、元画像の超解像成分を可視化して、光学分解能以上の分解能を持つ超解像画像を生成するようになっている。
このように構成された走査型顕微鏡装置1の作用について、図3のフローチャートを参照して説明する。
本実施形態に係る走査型顕微鏡装置1により超解像画像を取得する場合は、まず、複数の標本Sを含むリファレンス画像を取得する。
この場合は、図2に示すように、モニタ19上のスキャン条件設定部23において、ユーザが、リファレンス画像を取得するためのスキャン条件としてスキャンサイズおよびズーム倍率を設定する(ステップS1)。例えば、100倍対物レンズ9を使用して、スキャンサイズ512×512、ズーム1倍を設定したとする。
次いで、ユーザは、モニタ19上のスキャン条件設定部23の「START」を押して、画像取得を開始する(ステップS2)。レーザ光源5から発せられたレーザ光は、ダイクロイックミラー11を透過して走査部7により走査され、対物レンズ9によりステージ3上の標本Sに照射される。これにより、走査部7の各ガルバノミラーの搖動動作に応じて、標本Sを含む視野範囲においてレーザ光が2次元的に走査される。
レーザ光が照射されることにより標本Sから戻る戻り光は、対物レンズ9により集光された後、走査部7を介してダイクロイックミラー11により反射される。ダイクロイックミラー11により反射された戻り光の内、対物レンズ9の焦点位置からの戻り光のみがピンホール13を通過して検出器15により検出される。
検出器15においては、検出した戻り光の輝度に相当する光強度信号がPC17に送られる。PC17においては、検出器15から送られてくる光強度信号が走査部7によるレーザ光の走査位置に対応する画素ごとに積算されて2次元的なリファレンス画像が生成される(ステップS3)。生成されたリファレンス画像はモニタ19に表示される。本実施形態においては、100倍対物レンズ9を使用して、スキャンサイズ512×512、ズーム1倍を設定した結果、例えば、図4に示すような画像が取得できたとする。
続いて、超解像イメージングに必要な設定を行う。
この場合は、モニタ19のモード設定部25において、ユーザが「Super Resolution」をONにし(ステップS4)、「Mode」の「Fix scan size」または「Fix Zoom」を選択する(ステップS5)。
まず、図5に示すように、「Fix Zoom」を選択した場合、すなわち、ズーム倍率固定モードを選択した場合について説明する。
本実施形態においては、例えば、100倍の対物レンズ9を使用し、ズーム倍率が1倍、アスペクト比が1:1の視野を有する超解像画像を取得する場合を例示する。
この場合、ユーザは、モニタ19のスキャン条件設定部23において、「Zoom」に1倍を入力して、ズーム倍率を設定する(ステップS6)。
PC17により、使用する対物レンズ9の倍率(100倍)およびズーム倍率(1倍)に基づき、超解像画像を生成するために必要な水平方向および垂直方向のピクセルが算出される。例えば、超解像イメージングにおいて100nmの分解能を達成しようとする場合は、先行例(特開2013−20083号公報)によれば、元画像のピクセルピッチはその1/2.5倍の40nmにする必要がある。上述したように、100倍の対物レンズ9を使用した場合に走査することができる正方形領域の1辺は127.2792・・・μmなので、この場合は、PC17により、元画像の水平方向および垂直方向のピクセル数として3182が算出される(ステップS7)。
これにより、PC17において、生成する元画像のスキャンサイズが3182×3182に設定される。また、PC17により、算出したピクセル数に基づいて、1フレーム分の画像を取得するのに掛かる時間が算出される。そして、モニタ19のスキャン条件設定部23において、スキャンサイズ(3182×3182)と、そのスキャンサイズの画像を1フレーム分取得するのに掛かる時間が表示される。
次いで、このスキャン条件に従って、リファレンス画像と同様にして、図4に示すような画像が生成される(ステップS8)。これにより、PC17により、ズーム倍率が1倍でスキャンサイズが3182×3182の元画像が取得される。そして、PC17により、生成した標本Sの元画像に対して高周波成分を強調する画像演算処理が施される。これにより、光学分解能以上の分解能を持つ超解像画像を生成することができる(ステップS9)。
この場合において、PC17により、対物レンズ9の倍率と画像のズーム倍率に基づいて算出されたスキャンサイズに従って画像構築を調整することで、実現したい解像を満たすピクセルピッチの元画像を取得することができる。また、ズーム倍率固定モードにおいては元画像のズーム倍率を変更しないので、ユーザが観察したい視野範囲を維持したままで、そのような元画像を取得することができる。
また、モニタ19に表示されるスキャンサイズと1フレームの画像を取得するのに掛かる時間により、ユーザは、元画像の大きさと走査に必要な時間について、超解像イメージングを開始する前に把握することができる。ズーム倍率固定モードは、1フレームで取得可能な視野を広くしたい場合に有効である。
次に、図6に示すように、モニタ19のモード設定部25において、「Fix scan size」、すなわち、スキャンサイズ固定モードを選択した場合について説明する。
本実施形態においては、例えば、100倍の対物レンズ9を使用し、512×512のスキャンサイズを有する超解像画像を取得する場合を例示する。
この場合、ユーザは、モニタ19のスキャン条件設定部23において、「Scan size」に512×512を入力して、スキャンサイズを設定する(ステップS6)。
PC17により、使用する対物レンズ9の倍率(100倍)およびスキャンサイズ(512×512)に基づき、超解像画像を生成するために必要な元画像のズーム倍率が算出される。上述したように、100倍の対物レンズ9を使用した場合に走査することができる正方形領域の1辺は127.2792・・・μmである。本実施形態においては、スキャンサイズを512に設定しているので、この場合のピクセルピッチは0.2485921・・・μmとなる。例えば、超解像イメージングにおいて100nmの分解能を達成しようとする場合は、上記の通り、元画像のピクセルピッチはその1/2.5倍の40nmにする必要があるので、この場合は、PC17により、元画像のズーム倍率として6.21倍が算出される(ステップS7)。
これにより、PC17により、算出したズーム倍率(6.21倍)に従い、走査部7の各ガルバノミラーの搖動角度が縮小される。また、PC17により、ズーム倍率(6.21倍)がモニタ19のスキャン条件設定部23に表示されるとともに、図7に示すように、そのズーム倍率(6.21倍)に従って取得可能な元画像の視野範囲がモニタ19の画像表示部21上のリファレンス画像に重畳される。
次いで、このスキャン条件に従って、リファレンス画像と同様にして標本Sの画像が生成される(ステップS8)。これにより、PC17により、ズーム倍率が6.21倍でスキャンサイズが512×512の元画像が取得される。そして、PC17により、生成した標本Sの元画像に対して画像演算処理が施されて、光学分解能以上の分解能を持つ超解像画像が生成される(ステップS9)。
この場合において、PC17により、対物レンズ9の倍率とスキャンサイズに基づいて算出された元画像のズーム倍率に従って走査部7が制御されることで、実現したい解像を満たすピクセルピッチの元画像を取得することができる。また、スキャンサイズ固定モードにおいてはスキャンサイズを変更しないので、ユーザが所望するスキャンサイズおよび画像取得に掛ける時間で、そのような元画像を取得することができる。
また、リファレンス画像上に表示される元画像の視野範囲により、ユーザは、超解像イメージングを実行する際にどの領域が走査対象となるのかを認識することができる。スキャンサイズ固定モードは、1フレームの画像を取得するのに掛かる時間を短く抑えたい場合に有効である。
以上説明したように、本実施形態に係る走査型顕微鏡装置1によれば、実現したい解像を満たすピクセルピッチの元画像を取得するための条件をユーザが設定しなくて済み、超解像画像を生成するために必要な条件を満たす標本Sの元画像を簡易に取得することができる。
1 走査型顕微鏡装置
5 レーザ光源(光源)
9 対物レンズ
17 PC(画像取得部、条件算出部、制御部、画像構築部)
21 走査部(画像取得部、スキャナ)

Claims (10)

  1. 光源から発せられたレーザ光を標本に照射する対物レンズと、
    該対物レンズにより前記標本に照射されるレーザ光を走査させて、前記標本の元画像を取得する画像取得部と、
    ユーザが、前記標本のリファレンス画像を取得するためのピクセル数およびズーム倍率を設定する条件設定部と、
    該条件設定部により設定された前記ピクセル数および前記ズーム倍率のいずれか一方を固定して超解像画像を取得するという目的で、ユーザが、前記ピクセル数を固定することおよび前記ズーム倍率を固定することのいずれか一方を選択する選択部と、
    該選択部によって前記ピクセル数を固定することが選択された場合は、前記対物レンズの倍率と前記条件設定部によって設定された前記ピクセル数とに基づき、超解像画像を生成するために必要な1ピクセル当たりのピクセル分解能を実現する前記ズーム倍率に関する情報を算出し、前記選択部によって前記ズーム倍率を固定することが選択された場合は、前記対物レンズの倍率と前記条件設定部によって設定された前記ズーム倍率とに基づき、超解像画像を生成するために必要な1ピクセル当たりのピクセル分解能を実現する前記ピクセル数に関する情報を算出する条件算出部と、
    該条件算出部により算出された前記ピクセル数に関する情報または前記ズーム倍率に関する情報に基づいて前記画像取得部を制御する制御部とを備える走査型顕微鏡装置。
  2. 前記画像取得部が、所定の搖動軸回りに搖動可能な搖動ミラーによりレーザ光を偏向するスキャナと、レーザ光が照射された前記標本の戻り光の強度情報に基づいて前記元画像を構築する画像構築部とを備え、
    前記制御部が、前記条件算出部により前記ピクセル数に関する情報が算出された場合は、そのピクセル数に関する情報に基づいて前記画像構築部による画像構築を制御し、前記条件算出部により前記ズーム倍率に関する情報が算出された場合は、そのズーム倍率に関する情報に基づいて前記スキャナによるレーザ光の走査を制御する請求項1に記載の走査型顕微鏡装置。
  3. 前記条件算出部が、予め設定された前記ズーム倍率に関する情報に基づいて前記ピクセル数に関する情報を算出する請求項2に記載の走査型顕微鏡装置。
  4. 前記制御部が、前記条件算出部により算出された前記ピクセル数に関する情報および/または1フレーム分の画像を取得するのに掛かる時間に関する情報を表示する請求項3に記載の走査型顕微鏡装置。
  5. 前記条件算出部が、予め設定された前記ピクセル数に関する情報に基づいて前記ズーム倍率に関する情報を算出する請求項2に記載の走査型顕微鏡装置。
  6. 前記制御部が、前記条件算出部により算出された前記ズーム倍率に関する情報に従って取得可能な前記元画像の視野範囲を表示する請求項5に記載の走査型顕微鏡装置。
  7. 前記ズーム倍率に関する情報を予め設定して、前記条件算出部により算出された前記ピクセル数に関する情報に基づいて前記制御部により前記画像構築部による画像構築を制御する第1モードと、前記ピクセル数に関する情報を予め設定して、前記条件算出部により算出された前記ズーム倍率に関する情報に基づいて前記制御部により前記走査部によるレーザ光の走査を制御する第2モードとをユーザが択一的に選択可能な請求項3から請求項6のいずれかに記載の走査型顕微鏡装置。
  8. 走査型レーザ顕微鏡を用いて取得した元画像に対して画像処理を行うことにより超解像画像を生成する方法であって、
    ユーザにより、リファレンス画像を取得するためのピクセル数およびズーム倍率に関する条件を入力し、
    光源から対物レンズを通して標本上に照射されるレーザ光を走査して、前記ピクセル数および前記ズーム倍率に基づき標本の前記リファレンス画像を取得し、
    前記リファレンス画像を取得した際の前記ピクセル数および前記ズーム倍率のいずれか一方を固定して超解像画像を取得するという目的で、ユーザが、前記ピクセル数を固定することおよび前記ズーム倍率を固定することのいずれか一方を選択し、
    前記ズーム倍率を固定することが選択された場合は、コンピュータが、前記リファレンス画像を取得した際の前記対物レンズの倍率およびズーム倍率に基づき前記超解像画像を生成するのに必要なピクセル数に関する情報を算出し、
    前記ピクセル数を固定することが選択された場合は、コンピュータが、前記リファレンス画像を取得した際の前記対物レンズの倍率およびピクセル数に基づき前記超解像画像を生成するのに必要なズーム倍率に関する情報を算出し、
    算出された前記ズーム倍率に関する情報または算出された前記ピクセル数に関する情報に基づき前記元画像を取得し、
    取得された前記元画像に対して高周波成分を強調する画像演算処理を行うことにより、前記超解像画像を取得する超解像画像の生成方法。
  9. 前記コンピュータが、前記ピクセル数に関する情報を算出した場合において、算出された前記ピクセル数に関する情報と1フレーム分の画像を取得するのに必要な時間に関する情報のうちの少なくとも1つを表示する請求項8に記載の超解像画像の生成方法。
  10. 前記コンピュータが、前記ズーム倍率に関する情報を算出した場合において、算出された前記ズーム倍率に関する情報に従って取得可能な前記元画像の視野範囲を表示する請求項8に記載の超解像画像の生成方法。
JP2014138535A 2014-07-04 2014-07-04 走査型顕微鏡装置および超解像画像の生成方法 Active JP6363890B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014138535A JP6363890B2 (ja) 2014-07-04 2014-07-04 走査型顕微鏡装置および超解像画像の生成方法
US14/789,167 US10379330B2 (en) 2014-07-04 2015-07-01 Scanning microscope apparatus for generating super-resolution image based on set zoom magnification or set number of pixels

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014138535A JP6363890B2 (ja) 2014-07-04 2014-07-04 走査型顕微鏡装置および超解像画像の生成方法

Publications (2)

Publication Number Publication Date
JP2016017990A JP2016017990A (ja) 2016-02-01
JP6363890B2 true JP6363890B2 (ja) 2018-07-25

Family

ID=55016891

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014138535A Active JP6363890B2 (ja) 2014-07-04 2014-07-04 走査型顕微鏡装置および超解像画像の生成方法

Country Status (2)

Country Link
US (1) US10379330B2 (ja)
JP (1) JP6363890B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112653834B (zh) * 2020-12-01 2022-04-08 广东鼎诚电子科技有限公司 超分辨率扫描成像方法、系统和存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5161052B2 (ja) * 2008-12-04 2013-03-13 オリンパス株式会社 顕微鏡システム、標本観察方法およびプログラム
JP4536845B2 (ja) * 1999-05-17 2010-09-01 株式会社キーエンス 共焦点顕微鏡
JP3861000B2 (ja) * 2001-12-25 2006-12-20 オリンパス株式会社 走査型レーザー顕微鏡
JP2004138947A (ja) * 2002-10-21 2004-05-13 Keyence Corp 走査モード選択可能な共焦点顕微鏡システム
JP4996304B2 (ja) * 2007-03-28 2012-08-08 オリンパス株式会社 走査型顕微鏡とその調節方法
JP5354938B2 (ja) 2007-05-02 2013-11-27 オリンパス株式会社 蛍光顕微鏡装置
US20110141224A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Using Lo-Res Images
JP5718012B2 (ja) * 2010-10-13 2015-05-13 オリンパス株式会社 走査型レーザ顕微鏡
JP5784393B2 (ja) * 2011-07-11 2015-09-24 オリンパス株式会社 標本観察装置
JP2013152454A (ja) * 2011-12-27 2013-08-08 Canon Inc 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム
JP6137921B2 (ja) * 2013-04-16 2017-05-31 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US20160004056A1 (en) 2016-01-07
JP2016017990A (ja) 2016-02-01
US10379330B2 (en) 2019-08-13

Similar Documents

Publication Publication Date Title
JP5090188B2 (ja) 顕微鏡装置
JP5132052B2 (ja) 走査型レーザ顕微鏡の条件設定装置及び走査型レーザ顕微鏡システム
JP2005284136A (ja) 観察装置および観察装置の焦点合わせ方法
JP6147079B2 (ja) 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム
JP2012039255A (ja) 画像処理装置、画像処理方法、撮像装置及びプログラム
JP3861000B2 (ja) 走査型レーザー顕微鏡
JP2010286565A (ja) 蛍光観察装置
JP2014235407A (ja) 非線形光学顕微鏡装置
JP2006293219A (ja) 走査型共焦点顕微鏡および試料情報測定方法
JPWO2016017664A1 (ja) 断層像撮影装置
JP6363890B2 (ja) 走査型顕微鏡装置および超解像画像の生成方法
JP2018022047A (ja) 顕微鏡システム
JP2020086293A5 (ja)
JP6300658B2 (ja) 標本観察装置
JP6161424B2 (ja) 顕微鏡システム
JP5649994B2 (ja) 顕微鏡装置
JP4803974B2 (ja) 共焦点観察システム、光照射方法、及び光照射プログラム
JP2010164635A (ja) 共焦点顕微鏡
JP2010085421A (ja) 顕微鏡装置
JP7032098B2 (ja) 拡大観察装置
JP2015022073A (ja) 顕微鏡と収差補正方法
JP3331175B2 (ja) 顕微鏡観察装置
JP5913519B2 (ja) 眼底観察装置
JP6460650B2 (ja) 眼科装置
JP6062028B2 (ja) 拡大観察装置、及び、拡大観察方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180629

R151 Written notification of patent or utility model registration

Ref document number: 6363890

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250