JP6253292B2 - Laser scanning microscope - Google Patents
Laser scanning microscope Download PDFInfo
- Publication number
- JP6253292B2 JP6253292B2 JP2013154466A JP2013154466A JP6253292B2 JP 6253292 B2 JP6253292 B2 JP 6253292B2 JP 2013154466 A JP2013154466 A JP 2013154466A JP 2013154466 A JP2013154466 A JP 2013154466A JP 6253292 B2 JP6253292 B2 JP 6253292B2
- Authority
- JP
- Japan
- Prior art keywords
- scanning
- light intensity
- intensity signal
- light
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Microscoopes, Condenser (AREA)
Description
本発明は、レーザ走査顕微鏡に関するものである。 The present invention relates to a laser scanning microscope.
従来、標本上でレーザ光を走査させるレゾナントスキャナを備える走査型レーザ顕微鏡(LSM)が知られている(例えば、特許文献1参照。)。レゾナントスキャナは正弦波運動でミラーを駆動するため、走査速度が走査範囲の中央で速く両端で遅くなる。そのため、特許文献1に記載の走査型レーザ顕微鏡は、走査速度の逆関数にあたるサンプリングクロックを1周期の中央は密で両端は疎になるように設定し、標本からの光を一定の距離間隔で検出するようにしている。
2. Description of the Related Art Conventionally, a scanning laser microscope (LSM) including a resonant scanner that scans a sample with laser light is known (see, for example, Patent Document 1). Since the resonant scanner drives the mirror with a sinusoidal motion, the scanning speed is fast at the center of the scanning range and slow at both ends. Therefore, in the scanning laser microscope described in
しかしながら、従来の走査型レーザ顕微鏡では、サンプリングクロックを発生させる回路は帯域等の制限により高分解能のクロックを自由に設定することができない。そのため、例えば、8KHzのレゾナントスキャナにおいてサンプリング数が512画素のクロックの場合に、サンプリングクロック発生回路の制限を受けずに高解像化、すなわちサンプリング数を増大するには、レゾナントスキャナの速度を落として4kHzで1024画素とするしかなく、フレームレートが低下するという問題がある。 However, in a conventional scanning laser microscope, a circuit that generates a sampling clock cannot freely set a high-resolution clock due to a limitation of a band or the like. Therefore, for example, in the case of an 8 KHz resonant scanner with a sampling number of 512 pixels, in order to increase the resolution without increasing the sampling clock generation circuit, ie, increase the number of samplings, the speed of the resonant scanner is reduced. Therefore, there is only a problem of 1024 pixels at 4 kHz, and there is a problem that the frame rate is lowered.
また、従来の走査型レーザ顕微鏡では、レゾナントスキャナの走査速度を考慮せずに高解像化することができたとしても、生物用の走査型レーザ顕微鏡では、標本面からの光に限界があるとともにサンプリング周期も狭くなるため、1画素あたりの情報が少なくなりS/Nが劣化するという問題がある。 In addition, even if the conventional scanning laser microscope can achieve high resolution without considering the scanning speed of the resonant scanner, the biological scanning laser microscope has a limit on the light from the specimen surface. At the same time, since the sampling period is narrowed, there is a problem that information per pixel is reduced and S / N is deteriorated.
本発明は上述した事情に鑑みてなされたものであって、レゾナントスキャナを採用した高解像技術により、S/Nを劣化させずに秒数枚のフレームレートで画像を取得することができるレーザ走査顕微鏡を提供することを目的としている。 The present invention has been made in view of the above-described circumstances, and a laser capable of acquiring an image at a frame rate of a few frames without degrading S / N by using a high resolution technology employing a resonant scanner. The object is to provide a scanning microscope.
上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、光源から発せられたレーザ光を標本上で走査するレゾナントスキャナと、該レゾナントスキャナによる走査を複数の走査ラインに切り替えるとともに、該走査ラインごとに複数回にわたり繰り返し走査させるスキャナ制御部と、前記レゾナントスキャナによる走査速度に同期するサンプリングクロックを発生させるサンプリングクロック発生部と、各前記走査ラインにおける走査ごとに前記サンプリングクロックの位相を所定量ずつずらす位相制御部と、レーザ光が走査された前記標本からの光を前記サンプリングクロックに同期して検出し、検出した光の輝度に相当する光強度信号を取得する検出部と、該検出部により取得された各前記走査ラインの複数回にわたる走査ごとの各前記光強度信号に基づいて前記走査ラインごとの中間画像を生成し、各前記走査ラインの中間画像を合成して前記標本の本画像を生成する画像生成部とを備え、該画像生成部が、前記レゾナントスキャナによるレーザ光の走査位置に対する前記検出部による前記光強度信号の取得位置の位置ずれ情報に基づいて、前記光強度信号を補正するレーザ走査顕微鏡を提供する。
In order to achieve the above object, the present invention provides the following means.
The present invention includes a resonant scanner that scans a sample with laser light emitted from a light source, a scanner control unit that switches scanning by the resonant scanner to a plurality of scanning lines, and repeatedly scans the scanning lines a plurality of times. A sampling clock generating unit that generates a sampling clock synchronized with a scanning speed by the resonant scanner, a phase control unit that shifts the phase of the sampling clock by a predetermined amount for each scanning in each scanning line, and laser light is scanned A detection unit that detects light from the sample in synchronization with the sampling clock and acquires a light intensity signal corresponding to the luminance of the detected light, and a plurality of scans of each of the scanning lines acquired by the detection unit For each scan line based on each light intensity signal for each Generated between images, an intermediate image of each of the scan lines combined and an image generating unit that generates the image of the specimen, the image generating unit, wherein the detection for scanning position of the laser light by the resonant scanner Provided is a laser scanning microscope that corrects the light intensity signal based on positional deviation information of the acquisition position of the light intensity signal by the unit .
本発明によれば、光源から発せられたレーザ光がレゾナントスキャナにより標本上で走査されると、サンプリングクロック発生部により発せられるサンプリングクロックに同期して検出部により標本からの光が検出され、その輝度に相当する光強度信号に基づいて画像生成部により画像が生成される。 According to the present invention, when the laser light emitted from the light source is scanned on the sample by the resonant scanner, the light from the sample is detected by the detection unit in synchronization with the sampling clock emitted by the sampling clock generation unit, An image is generated by the image generation unit based on the light intensity signal corresponding to the luminance.
ここで、レゾナントスキャナは正弦波運動で駆動されるため走査速度が走査範囲の中央で速く両端で遅くなるが、サンプリングクロック発生部がレゾナントスキャナによる走査速度に同期してサンプリングクロックを発生することで、検出部により標本からの光の光強度信号を一定の距離間隔で取得し、歪みやずれの影響を低減した画像を生成することができる。 Here, since the resonant scanner is driven by a sinusoidal motion, the scanning speed is fast at the center of the scanning range and slows at both ends, but the sampling clock generator generates the sampling clock in synchronization with the scanning speed by the resonant scanner. The light intensity signal of the light from the sample can be acquired at a certain distance interval by the detection unit, and an image with reduced influence of distortion and deviation can be generated.
この場合において、スキャナ制御部により、レゾナントスキャナによる走査が走査ラインごとに複数回にわたり繰り返し行われて走査ラインが切り替えられ、位相制御部により各走査ラインにおける走査ごとにサンプリングクロックの位相が所定量ずつずらされることで、標本に対して検出器により光強度信号を取得する位置をずらし、画素と画素との間の光強度信号を取得することができる。 In this case, the scanning by the resonant scanner is repeated a plurality of times for each scanning line by the scanner control unit to switch the scanning line, and the phase of the sampling clock is set to a predetermined amount for each scanning in each scanning line by the phase control unit. By shifting, the position where the light intensity signal is acquired by the detector with respect to the specimen can be shifted, and the light intensity signal between the pixels can be acquired.
したがって、画像生成部により、各走査ラインの複数回にわたる走査ごとの各光強度信号に基づく各走査ラインの中間画像、すなわち元の画像の画素と画素との間である、光強度信号の取得位置が少しずつずれた画像を合成して標本の本画像を生成することで、フレームレートを大きく低下させることなく従来よりも高解像度化を図ることができる。また、各走査ラインの1サンプリングあたりの周期を変えずに済み、標本からの光量不足でS/Nが低下することを防ぐことができる。よって、レゾナントスキャナを採用した高解像技術により、S/Nを劣化させずに秒数枚のフレームレートで画像を取得することができる。また、ガルバノスキャナで高解像度の画像を走査する場合は秒0.数枚のフレームレートであるから、これと比較しても、解像度向上のため数回の走査を行なっても十分に速い速度で撮像することができる。 Therefore, the image generation unit obtains the light intensity signal acquisition position that is an intermediate image of each scanning line based on each light intensity signal for each scanning over each scanning line, that is, between pixels of the original image. By synthesizing images that are shifted little by little to generate a main sample image, it is possible to achieve higher resolution than before without greatly reducing the frame rate. Further, it is not necessary to change the period per sampling of each scanning line, and it is possible to prevent the S / N from being lowered due to insufficient light quantity from the sample. Therefore, an image can be acquired at a frame rate of several sheets per second without degrading S / N by a high resolution technology employing a resonant scanner. Also, when scanning a high resolution image with a galvano scanner, the time is 0. Since the frame rate is several frames, it is possible to take an image at a sufficiently high speed even if the scanning is performed several times to improve the resolution.
本発明は、光源から発せられたレーザ光を標本上で走査するレゾナントスキャナと、該レゾナントスキャナによる走査を複数の走査ラインに切り替えるとともに、該複数の走査ラインからなるフレームごとに複数回にわたり走査させるスキャナ制御部と、前記レゾナントスキャナによる走査速度に同期するサンプリングクロックを発生させるサンプリングクロック発生部と、各前記フレームにおける走査ごとに各前記走査ラインの前記サンプリングクロックの位相を所定量ずつずらす位相制御部と、レーザ光が走査された前記標本からの光を前記サンプリングクロックに同期して検出し、検出した光の輝度に相当する光強度信号を出力する検出部と、該検出部から出力される各前記走査ラインの複数回にわたる走査ごとの各前記光強度信号に基づいて前記走査ラインごとの中間画像を生成し、各前記走査ラインの中間画像を合成して前記標本の本画像を生成する画像生成部とを備え、該画像生成部が、前記レゾナントスキャナによるレーザ光の走査位置に対する前記検出部による前記光強度信号の取得位置の位置ずれ情報に基づいて、前記光強度信号を補正するレーザ走査顕微鏡を提供する。 The present invention provides a resonant scanner that scans a sample with laser light emitted from a light source, and switches the scanning by the resonant scanner to a plurality of scanning lines, and scans a plurality of times for each frame composed of the plurality of scanning lines. A scanner control unit, a sampling clock generation unit that generates a sampling clock synchronized with a scanning speed by the resonant scanner, and a phase control unit that shifts the phase of the sampling clock of each scanning line by a predetermined amount for each scanning in each frame Detecting the light from the sample scanned with the laser light in synchronization with the sampling clock, and outputting a light intensity signal corresponding to the luminance of the detected light, and each output from the detection unit For each light intensity signal for each scan over the scan line Zui generates an intermediate image of each of the scanning lines, and an image generation unit for generating a main image of the specimen by combining the intermediate image of each of said scanning lines, said image generation unit is a laser by the resonant scanner Provided is a laser scanning microscope that corrects the light intensity signal based on positional deviation information of an acquisition position of the light intensity signal by the detection unit with respect to a light scanning position .
本発明によれば、スキャナ制御部により、レゾナントスキャナによる走査が複数の走査ラインに切り替えられてフレームごとに複数回にわたり繰り返し行われ、位相制御部により各フレームにおける走査ごとに各走査ラインのサンプリングクロックの位相が所定量ずつずらされることで、標本に対して検出器により光強度信号を取得する位置をずらし、画素と画素との間の光強度信号を取得することができる。したがって、フレームレートを大きく低下させることなく従来よりも高解像度化を図るとともに、標本からの光量不足でS/Nを劣化させることなく秒数枚のフレームレートで画像を取得することができる。 According to the present invention, the scanning by the resonant scanner is switched to a plurality of scanning lines by the scanner control unit, and is repeated a plurality of times for each frame, and the sampling clock for each scanning line for each scanning in each frame by the phase control unit. Is shifted by a predetermined amount, the position where the detector acquires the light intensity signal with respect to the sample can be shifted, and the light intensity signal between the pixels can be acquired. Therefore, it is possible to achieve higher resolution than before without greatly reducing the frame rate, and to acquire an image at a frame rate of several seconds without deteriorating S / N due to insufficient light quantity from the sample.
上記発明においては、前記画像生成部が、前記レゾナントスキャナによるレーザ光の走査位置に対する前記検出部による前記光強度信号の取得位置の位置ずれ情報に基づいて、前記光強度信号を補正する。
In the above invention, the image generation unit corrects the light intensity signal based on positional deviation information of the acquisition position of the light intensity signal by the detection unit with respect to the scanning position of the laser beam by the resonant scanner .
画像中央の画素に合せてサンプリングクロックの位相を所定量ずらすと、画像の端に向かうに従いレゾナントスキャナの速度とサンプリングクロックの発生タイミングとの誤差を無視できなくなり、所望の画素のずれ量から外れてしまう傾向がある。そこで、このように構成することで、光強度信号を一定の距離間隔の取得位置で得られる値に補正し、画像の端におけるレゾナントスキャナの速度とサンプリングクロックの発生タイミングとの誤差の影響を低減して画像の位置ずれ(画像のひずみ)を抑制することができる。 If the phase of the sampling clock is shifted by a predetermined amount according to the pixel in the center of the image, the error between the resonant scanner speed and the sampling clock generation timing cannot be ignored as it moves toward the edge of the image, and it deviates from the desired pixel shift amount. There is a tendency to end up. Therefore, by configuring in this way, the light intensity signal is corrected to a value obtained at the acquisition position at a fixed distance interval, and the influence of the error between the speed of the resonant scanner and the sampling clock generation timing at the edge of the image is reduced. Thus, it is possible to suppress image displacement (image distortion).
上記発明においては、前記画像生成部が、線形補間により前記光強度信号を補正することとしてもよい。
このように構成することで、一定の距離間隔の取得位置で得られる値を簡易に推測し、光強度信号を迅速に補正することができる。
In the above invention, the image generation unit may correct the light intensity signal by linear interpolation.
With this configuration, it is possible to easily estimate a value obtained at an acquisition position at a constant distance interval and to quickly correct the light intensity signal.
上記発明においては、前記画像生成部が、前記レゾナントスキャナによる全走査範囲の走査が終了した後に前記光強度信号を補正することとしてもよい。
このように構成することで、各光強度信号を纏めて補正処理することができる。
In the above invention, the image generation unit may correct the light intensity signal after scanning of the entire scanning range by the resonant scanner is completed.
With this configuration, the light intensity signals can be collectively corrected.
上記発明においては、前記画像生成部が、前記走査ラインごとまたは複数の該走査ラインからなるフレームごとに前記光強度信号を補正することとしてもよい。
このように構成することで、補正処理した光強度信号により中間画像を生成し、位置ずれ(ひずみ)のない本画像によりリアルタイムで標本を観察することができる。
In the above invention, the image generation unit may correct the light intensity signal for each scanning line or for each frame including a plurality of scanning lines.
With this configuration, an intermediate image can be generated from the corrected light intensity signal, and the sample can be observed in real time using the main image without positional deviation (distortion).
上記発明においては、前記検出部が、隣接する画素間の光強度信号を取得する取得期間が重複しないように、各光強度信号の取得期間を調節することとしてもよい。
サンプリングクロック間に発生した標本からの光の光強度信号をすべて積算すると、各画素の位置の情報に他の画素の位置の情報も含まれてしまい、画像にぼけが生じる。このように構成することで、各画素の位置の情報が重複するのを防ぎ、画像のぼけを低減することができる。
In the said invention, it is good also as adjusting the acquisition period of each light intensity signal so that the said detection part may not overlap the acquisition period which acquires the light intensity signal between adjacent pixels.
When all the light intensity signals of the light from the sample generated between the sampling clocks are integrated, information on the position of each pixel includes information on the position of other pixels, resulting in blurring of the image. With this configuration, it is possible to prevent information on the position of each pixel from overlapping, and to reduce image blur.
本発明によれば、レゾナントスキャナを採用した高解像技術により、S/Nを劣化させずに秒数枚のフレームレートで画像を取得することができるという効果を奏する。 According to the present invention, there is an effect that an image can be acquired at a frame rate of several sheets without degrading S / N by a high resolution technique employing a resonant scanner.
本発明の一実施形態に係るレーザ走査顕微鏡について図面を参照して以下に説明する。
本実施形態に係るレーザ走査顕微鏡1は、図1に示されるように、光源(図示略)から発せられたレーザ光を標本S上で走査するレゾナントスキャナ3およびガルバノスキャナ(図示略)と、レゾナントスキャナ3およびガルバノスキャナを駆動する駆動回路(スキャナ制御部)5と、レーザ光が走査されることにより標本Sにおいて発生した蛍光をレーザ光の光路から分岐させるダイクロイックミラー7と、ダイクロイックミラー7により分岐された蛍光を検出する検出装置(検出部)9とを備えている。
A laser scanning microscope according to an embodiment of the present invention will be described below with reference to the drawings.
As shown in FIG. 1, the
また、レーザ走査顕微鏡1には、検出装置9により蛍光を検出するタイミングを指定するサンプリングクロックを発生させるクロック発生装置(サンプリングクロック発生部)11と、クロック発生装置11から発せられるサンプリングクロックに基づく同期信号を発生する同期信号発生回路13と、クロック発生装置11から発生させるサンプリングクロックの位相を制御する位相制御装置(位相制御部)15と、標本Sの画像を生成する画像処理装置(画像生成部)17とが備えられている。
Further, the
レゾナントスキャナ3は、レーザ光を偏向するミラー部4Aと、ミラー部4Aを駆動する本体部4Bとを備えている。このレゾナントスキャナ3は、駆動回路5により駆動されて、本体部4Bにより正弦波運動でミラー部4Aを振動させることで、標本S上でレーザ光をX軸方向に走査させることができるようになっている。また、レゾナントスキャナ3は、レーザ光の走査位置に関する走査位置情報をクロック発生装置11に送るようになっている。
The
ガルバノスキャナは、レーザ光の光軸に交差する所定の揺動軸回りに揺動可能なガルバノミラー(図示略)を備えている。このガルバノスキャナは、ガルバノミラーの揺動角度を制御することにより、標本S上でレーザ光をY軸方向に走査することができるようになっている。 The galvano scanner includes a galvano mirror (not shown) that can swing around a predetermined swing axis that intersects the optical axis of the laser beam. This galvano scanner can scan the laser beam on the specimen S in the Y-axis direction by controlling the swing angle of the galvanometer mirror.
駆動回路5は、レゾナントスキャナ3によりX軸方向の走査ライン(以下、単に「走査ライン」という。)に沿ってレーザ光を走査させるとともに、ガルバノスキャナによりY軸方向に移動させて、レゾナントスキャナ3の走査ラインを切り替えるようになっている。また、駆動回路5は、レゾナントスキャナ3による走査を走査ラインごとに連続してn回にわたり繰り返すようになっている。
The driving
ダイクロイックミラー7は、光源とレゾナントスキャナ3およびガルバノスキャナとの間に配されている。このダイクロイックミラー7は、光源からのレーザ光を透過させる一方で、標本Sからレゾナントスキャナ3を介してレーザ光の光路を戻る蛍光を検出装置9に向けて反射して、レーザ光の光路から分岐させるようになっている。
The
検出装置9は、積分型の光電変換回路を有している。この検出装置9は、クロック発生装置11から発せられるサンプリングクロックに同期して標本Sからの蛍光を検出し、検出した蛍光を光電変換して蛍光の輝度に相当する光強度信号をサンプリング(取得)するようになっている。また、検出装置9はサンプリングした光強度信号を画像処理装置17に送るようになっている。
The
クロック発生装置11は、レゾナントスキャナ3から出力される走査位置情報に基づいて、レゾナントスキャナ3の走査速度に同期するサンプリングクロックを発生させるようになっている。すなわち、正弦波運動で駆動されるレゾナントスキャナ3は走査速度が走査範囲の中央で速く両端で遅いため、クロック発生装置11は、図2に示すように、1周期の中央は密で両端は疎になるような不等間隔のサンプリングクロックを発生するようになっている。図2において、横軸は時間を示し、縦軸は光強度信号をサンプリングする位置を示している。
The
また、クロック発生装置11は、位相制御装置15の制御により、レゾナントスキャナ3による各走査ラインにおける1回の走査ごとにサンプリングクロックの位相を所定量ずつシフトするようになっている。
Further, the
同期信号発生回路13は、クロック発生装置11から発せられるサンプリングクロックをカウントし、1走査ライン分のサンプリングクロックをカウントする度に水平同期信号を発生するようになっている。また、同期信号発生回路13は、発生した水平同期信号が1フレーム分に達すると垂直同期信号を発生するようになっている。この同期信号発生回路13は、1走査ライン単位の水平同期信号と1フレーム単位の垂直同期信号を位相制御装置15および画像処理装置17に送るようになっている。
The synchronization
位相制御装置15は、同期信号発生回路13から送られてくる水平同期信号が入力される度に、クロック発生装置11から発生させるサンプリングクロックの位相を所定量シフトさせるようになっている。例えば、位相制御装置15は、中央の画素換算で1/n画素に当たる時間を記録しており、この時間をサンプリングクロックの位相のずらし量とするようになっている。
The
図3に示すように、1走査ライン中に走査を繰り返す回数n=4とした場合は、クロック発生装置11により、レゾナントスキャン3による各走査ラインの1回の走査ごとにサンプリングクロックの位相が1/4画素分ずつシフトされ、4回繰り返すと最初の位相に戻されるようになっている。図3は、サンプリングタイミングと標本Sの位置関係を示しており、Phase1,2,3,4は1走査ライン中の1回目,2回目,3回目,4回目の走査を示している。
As shown in FIG. 3, when the number of times of scanning repeated in one scan line is n = 4, the
また、位相制御装置15は、同期信号発生回路13から水平同期信号が送られてくる度に、サンプリングクロックの位相のずらし量を画像処理装置17に送るようになっている。
In addition, the
画像処理装置17は、レゾナントスキャナ3による各走査ラインの複数回にわたる走査ごとの各光強度信号に基づいて、走査ラインごとの中間画像、すなわち元の画像の画素と画素との間である、サンプリング位置を少しずつずらした画像を生成するようになっている。具体的には、画像処理装置17は、検出装置9から送られてくる光強度信号、同期信号発生回路13から送られてくる水平同期信号と垂直同期信号、および、位相制御装置15から送られてくる位相のずらし量に基づいて、各走査ラインにつきn回の走査で得られたn個分の走査ラインのデータを図3に示すように標本S上の位置に合わせて走査ラインごとに並べ替えることにより、走査ラインごとの中間画像を生成するようになっている。
The
また、画像処理装置17は、各走査ラインの中間画像を合成し、1フレーム分の中間画像を組み合わせて標本Sの本画像を生成するようになっている。
The
このように構成されたレーザ走査顕微鏡1の作用について説明する。
本実施形態においては、1走査ライン中に走査を繰り返す回数n=4を例示して説明する。
本実施形態に係るレーザ走査顕微鏡1により標本Sを観察するには、駆動回路5によりレゾナントスキャナ3およびガルバノミラーを駆動し、光源からレーザ光を発生させる。
The operation of the
In this embodiment, the number n = 4 of repeating scanning in one scanning line will be described as an example.
In order to observe the specimen S with the
光源から発せられたレーザ光は、ダイクロイックミラー7を透過した後、レゾナントスキャナ3により偏向されて、標本S上でX軸方向に走査ラインに沿って走査される。そして、駆動回路5により、レゾナントスキャナ3による走査が1走査ラインにつき4回連続で繰り返された後、ガルバノスキャナによりY軸方向に1走査ライン分移動して、レゾナントスキャナ3の走査ラインが切り替えられる。
The laser light emitted from the light source passes through the
レーザ光が走査されることにより標本Sにおいて蛍光が発生すると、その蛍光はレゾナントスキャナ3およびガルバノミラーを介してレーザ光の光路を戻り、ダイクロイックミラー7により反射されて検出装置9に入射する。
When fluorescence is generated in the specimen S by scanning the laser light, the fluorescence returns through the optical path of the laser light via the
検出装置9においては、クロック発生装置11により発せられるサンプリングクロックに同期して標本Sからの蛍光が検出されて輝度に相当する光強度信号がサンプリングされ、サンプリングされた光強度信号が画像処理装置17に送られる。これにより、画像処理装置17よって、入力された光強度信号に基づいて標本Sの画像が生成される。
In the
ここで、レゾナントスキャナ3は正弦波運動で駆動するため走査速度が走査範囲の中央で速く両端で遅くなるが、クロック発生装置11がレゾナントスキャナ3の走査速度に同期してサンプリングクロックを発生することで、検出装置9により標本Sからの蛍光の光強度信号を一定の距離間隔でサンプリングすることができる。これにより、歪みやずれの影響を低減した画像を生成することができる。
Here, since the
この場合において、位相制御装置15により、各走査ラインにおいて1回の走査ごとに同期信号発生回路13から送られてくる水平同期信号に従ってクロック発生装置11のサンプリングクロックの位相が1/4画素分ずつシフトされる。これにより、標本Sに対して検出装置9により光強度信号を取得する位置をずらし、画素と画素との間の光強度信号を取得することができる。
In this case, the phase of the sampling clock of the
また、画像処理装置17により、各走査ラインにつき4回の走査で得られた4個分の走査ラインのデータが走査ラインごとに並べ替えられて、走査ラインごとの中間画像が生成される。そして、画像処理装置17により、各走査ラインの中間画像が合成されて標本Sの本画像が生成される。
Further, the
これにより、本実施形態に係るレーザ走査顕微鏡1によれば、フレームレートを大きく低下させることなく512画素以上の高解像画像を生成することができる。また、各走査ラインの1サンプリングあたりの周期を512画素の場合から変えずに済み、標本Sからの光量不足でS/Nが低下することを防ぐことができる。したがって、レゾナントスキャナ3を採用した高解像技術により、S/Nを劣化させずに秒数枚のフレームレートで画像を取得することができる。
Thereby, according to the
本発明は以下のように変形することができる。
第1変形例としては、画像処理装置17が、レゾナントスキャナ3によるレーザ光の走査位置に対する検出装置9による光強度信号のサンプリング位置の位置ずれ情報に基づいて、光強度信号を補正することとしてもよい。
The present invention can be modified as follows.
As a first modification, the
画像処理装置17は、レゾナントスキャナ3からレーザ光の走査位置の走査位置情報を読み出すとともに、検出装置9から光強度信号のサンプリング位置のサンプリング位置情報を読み出し、これらの位置情報の差分から、光強度信号を一定の距離間隔のサンプリング位置から得られる値に補正するようになっている。
The
例えば、画像中央の画素に合せてサンプリングクロックの位相を1/2画素分だけシフトさせると、図4に示すように、画像の端に向かうに従いレゾナントスキャナ3の速度とサンプリングクロックの発生タイミングとの誤差を無視できなくなり、所望の画素のずれ量から外れてしまう傾向がある。図4において、横軸は画素(Pixcel)数を示し、縦軸は誤差量(%)を示している。
For example, when the phase of the sampling clock is shifted by ½ pixel in accordance with the pixel at the center of the image, as shown in FIG. 4, the speed of the
画像処理装置17は、図5(a)に示すように、Phase1の1画素目と2画素目の中間位置をサンプリングするはずのPhase2のサンプリングタイミングがずれている場合は、Phase1とPhase2のサンプリング値の軌跡を所望のサンプリング位置まで延長し、Phase2の光強度信号を所望のサンプリング位置の値に補正するようになっている。そして、画像処理装置17は、補正した光強度信号を用いて中間画像を生成するようになっている。図5(a)において、○は実際のサンプリング位置の値を示し、□は所望のサンプリング位置の値を示している。図5(b)および図5(c)において同様である。
As shown in FIG. 5A, when the sampling timing of
このようにすることで、本変形例によれば、画像の端におけるレゾナントスキャナの速度とサンプリングクロックの発生タイミングとの誤差を低減し、画像の位置ずれ(ひずみ)を抑制することができる。 In this way, according to this modification, it is possible to reduce an error between the speed of the resonant scanner at the edge of the image and the generation timing of the sampling clock, and to suppress image displacement (distortion).
本変形例においては、Phase1とPhase2のサンプリング値の軌跡を延長して所望のサンプリング位置の値に補正することとしたが、これに代えて、例えば、図5(b)に示すように、Phase1の1画素目と2画素目の中間位置をサンプリングするはずのPhase2のサンプリングタイミングがずれている場合に、Phase1の隣接する2つのサンプリングタイミングのサンプリング値から線形補間し、その平均値により推測される中間位置の値に光強度信号を補正することとしてもよい。また、図5(c)に示すように、スプライン補間などの補間式を使用して所望の中間位置の値を推測してもよい。
In the present modification, the locus of the sampling values of
本変形例においては、画像処理装置17が、レゾナントスキャナ3による全走査範囲の走査が終了した後に光強度信号を補正することとしてもよい。このようにすることで、各光強度信号を纏めて補正処理することができる。
In the present modification, the
また、画像処理装置17が、走査ラインごとまたは走査ラインからなるフレームごとに光強度信号を補正することとしてもよい。このようにすることで、補正処理した光強度信号により中間画像を生成し、位置ずれ(ひずみ)のない本画像によりリアルタイムで標本Sを観察することができる。
Further, the
第2変形例としては、クロック発生装置11からのサンプリングクロックのデューティー比が常に50%である場合において、解像度を2倍にするは、位相制御装置15が、サンプリングクロックの信号の逆エッジを利用することとしてもよい。このようにすることで、サンプリングクロックの位相を180°シフトする場合と同様の効果を簡易に得ることができる。
As a second modification, when the duty ratio of the sampling clock from the
第3変形例としては、検出装置9が、隣接する画素間の光強度信号を取得するサンプリング期間が重複しないように、各光強度信号のサンプリング期間を調節することとしてもよい。
As a third modification, the
検出装置9において、サンプリングクロック間に発生した標本Sからの蛍光をすべて積算すると、各画素の位置の情報に他の画素の位置の情報も含まれてしまい、画像にぼけが生じてしまう。例えば、図2においては、5画素目のデータには2〜4画素目の位置の情報も含まれてしまう。このような場合において、本変形例によれば、サンプリング期間を互いに重複しないように短縮することにより、各画素の位置の情報が重複するのを防ぎ、画像のぼけを低減することができる。
If all the fluorescence from the sample S generated between the sampling clocks is integrated in the
本変形例においては、サンプリング期間を調節することとしたが、これに代えて、画像のぼけ(ブラー)とサンプリング位置(モーション)に相当する劣化関数からデコンボリューション演算を用いて本来の画像を推定する一般的な超解像技術を利用し、これにより画素間のクロストークを削除することとしてもよい。このようにした場合も、画像のシャープネスさを改善することができる。 In this modification, the sampling period is adjusted. Instead, the original image is estimated by using a deconvolution operation from a degradation function corresponding to the blur (blur) and the sampling position (motion) of the image. A common super-resolution technique may be used to eliminate crosstalk between pixels. Even in this case, the sharpness of the image can be improved.
第4変形例としては、図6に示すように、駆動回路5が、ガルバノスキャナを駆動する駆動信号のステップ量を1/n倍(本実施形態の例では1/4倍。)にすることとしてもよい。図6において、横軸は時間(t)を示し、縦軸は駆動信号のステップ量(Pos)を示している。
As a fourth modified example, as shown in FIG. 6, the
ガルバノスキャナは入力する駆動信号に追従して作動するので、駆動信号のステップ量を1/n倍(1/4倍)にすることで、図7に示すように、走査ライン間の距離を1/n(1/4)にし、解像度を向上することができる。 Since the galvano scanner operates following the input drive signal, the step amount of the drive signal is increased by 1 / n times (1/4), thereby reducing the distance between the scan lines to 1 as shown in FIG. / N (1/4), and the resolution can be improved.
したがって、本変形例によれば、レゾナントスキャナ3によるX軸方向の走査とガルバノスキャナによるY軸方向の走査の両方で高解像度化を図り、n倍の解像度を持つ画像をS/Nとフレームレートを大幅に犠牲にすることなく実現することができる。
Therefore, according to this modification, high resolution is achieved by both scanning in the X-axis direction by the
本実施形態においては、駆動回路5が、レゾナントスキャナ3により走査ラインごとに連続して複数回にわたり繰り返し走査させ、位相制御装置15が各走査ラインにおける走査ごとにサンプリングクロックの位相を所定量ずつずらすこととしたが、第5変形例としては、駆動回路5が、レゾナントスキャナ3によりフレームごとに複数回にわたり繰り返し走査させ、位相制御装置15が各フレームにおける走査ごとに各走査ラインのサンプリングクロックの位相を所定量ずつずらすこととしてもよい。
In the present embodiment, the driving
この場合、駆動回路5により、レゾナントスキャナ3により各走査ラインを1回走査させる毎にガルバノスキャナにより走査ラインを切り替えていき、1フレーム分走査したら最初の走査ラインに戻って同様の手順で走査を繰り返すこととすればよい。
In this case, every time each scanning line is scanned once by the
このようにした場合も、標本Sに対して検出装置9により光強度信号をサンプリングする位置をずらし、画素と画素との間の光強度信号を取得することができる。したがって、フレームレートを大きく低下させることなく従来よりも高解像度化を図るとともに、標本Sからの光量不足でS/Nを劣化させることなく秒数枚のフレームレートで画像を取得することができる。
Even in this case, the light intensity signal between the pixels can be acquired by shifting the position at which the light intensity signal is sampled by the
1 レーザ走査顕微鏡
3 レゾナントスキャナ
5 駆動回路(スキャナ制御部)
9 検出装置(検出部)
11 クロック発生装置(サンプリングクロック発生部)
15 位相制御装置(位相制御部)
17 画像処理装置(画像生成部)
S 標本
DESCRIPTION OF
9 Detector (Detector)
11 Clock generator (sampling clock generator)
15 Phase control device (phase control unit)
17 Image processing device (image generation unit)
S specimen
Claims (6)
該レゾナントスキャナによる走査を複数の走査ラインに切り替えるとともに、該走査ラインごとに複数回にわたり繰り返し走査させるスキャナ制御部と、
前記レゾナントスキャナによる走査速度に同期するサンプリングクロックを発生させるサンプリングクロック発生部と、
各前記走査ラインにおける走査ごとに前記サンプリングクロックの位相を所定量ずつずらす位相制御部と、
レーザ光が走査された前記標本からの光を前記サンプリングクロックに同期して検出し、検出した光の輝度に相当する光強度信号を取得する検出部と、
該検出部により取得された各前記走査ラインの複数回にわたる走査ごとの各前記光強度信号に基づいて前記走査ラインごとの中間画像を生成し、各前記走査ラインの中間画像を合成して前記標本の本画像を生成する画像生成部とを備え、
該画像生成部が、前記レゾナントスキャナによるレーザ光の走査位置に対する前記検出部による前記光強度信号の取得位置の位置ずれ情報に基づいて、前記光強度信号を補正するレーザ走査顕微鏡。 A resonant scanner that scans the specimen with laser light emitted from a light source;
A scanner controller that switches the scanning by the resonant scanner to a plurality of scanning lines, and repeatedly scans the scanning lines a plurality of times;
A sampling clock generator for generating a sampling clock synchronized with the scanning speed by the resonant scanner;
A phase controller that shifts the phase of the sampling clock by a predetermined amount for each scan in each scan line;
A detection unit that detects light from the sample scanned with laser light in synchronization with the sampling clock, and obtains a light intensity signal corresponding to the luminance of the detected light;
An intermediate image for each scan line is generated based on each light intensity signal for each scan of each of the scan lines acquired by the detection unit, and the intermediate image for each scan line is synthesized to produce the sample. and an image generation unit for generating a main image,
A laser scanning microscope in which the image generation unit corrects the light intensity signal based on positional deviation information of an acquisition position of the light intensity signal by the detection unit with respect to a scanning position of laser light by the resonant scanner .
該レゾナントスキャナによる走査を複数の走査ラインに切り替えるとともに、該複数の走査ラインからなるフレームごとに複数回にわたり走査させるスキャナ制御部と、
前記レゾナントスキャナによる走査速度に同期するサンプリングクロックを発生させるサンプリングクロック発生部と、
各前記フレームにおける走査ごとに各前記走査ラインの前記サンプリングクロックの位相を所定量ずつずらす位相制御部と、
レーザ光が走査された前記標本からの光を前記サンプリングクロックに同期して検出し、検出した光の輝度に相当する光強度信号を出力する検出部と、
該検出部から出力される各前記走査ラインの複数回にわたる走査ごとの各前記光強度信号に基づいて前記走査ラインごとの中間画像を生成し、各前記走査ラインの中間画像を合成して前記標本の本画像を生成する画像生成部とを備え、
該画像生成部が、前記レゾナントスキャナによるレーザ光の走査位置に対する前記検出部による前記光強度信号の取得位置の位置ずれ情報に基づいて、前記光強度信号を補正するレーザ走査顕微鏡。 A resonant scanner that scans the specimen with laser light emitted from a light source;
A scanner control unit that switches the scanning by the resonant scanner to a plurality of scanning lines and scans a plurality of times for each frame composed of the plurality of scanning lines;
A sampling clock generator for generating a sampling clock synchronized with the scanning speed by the resonant scanner;
A phase control unit that shifts the phase of the sampling clock of each scanning line by a predetermined amount for each scanning in each frame;
A detector that detects light from the sample scanned with laser light in synchronization with the sampling clock and outputs a light intensity signal corresponding to the luminance of the detected light;
An intermediate image for each scanning line is generated based on each light intensity signal for each scanning over a plurality of times of each scanning line output from the detection unit, and the intermediate image for each scanning line is synthesized to produce the sample and an image generation unit for generating a main image,
A laser scanning microscope in which the image generation unit corrects the light intensity signal based on positional deviation information of an acquisition position of the light intensity signal by the detection unit with respect to a scanning position of laser light by the resonant scanner .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013154466A JP6253292B2 (en) | 2013-07-25 | 2013-07-25 | Laser scanning microscope |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013154466A JP6253292B2 (en) | 2013-07-25 | 2013-07-25 | Laser scanning microscope |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015025900A JP2015025900A (en) | 2015-02-05 |
JP6253292B2 true JP6253292B2 (en) | 2017-12-27 |
Family
ID=52490617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013154466A Expired - Fee Related JP6253292B2 (en) | 2013-07-25 | 2013-07-25 | Laser scanning microscope |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6253292B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6550673B2 (en) * | 2015-04-03 | 2019-07-31 | 国立大学法人 東京大学 | Photoluminescence lifetime measuring apparatus and measuring method |
CN113176550B (en) * | 2019-12-30 | 2023-04-07 | 上海禾赛科技有限公司 | Frame synchronization method for scanning galvanometer and laser radar |
CN113558577B (en) * | 2021-07-27 | 2024-04-02 | 苏州微景医学科技有限公司 | Laser scanning imaging method, system and storage medium |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0965115A (en) * | 1995-08-24 | 1997-03-07 | Nikon Corp | Picture data processor |
JP4890808B2 (en) * | 2005-07-28 | 2012-03-07 | オリンパス株式会社 | Laser microscope, control method of laser microscope |
JP2007114505A (en) * | 2005-10-20 | 2007-05-10 | Olympus Corp | Image acquisition device and its control method |
JP5554970B2 (en) * | 2009-11-25 | 2014-07-23 | オリンパス株式会社 | Scanning microscope |
-
2013
- 2013-07-25 JP JP2013154466A patent/JP6253292B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015025900A (en) | 2015-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6111606B2 (en) | Drive control device, drive control method, and video output device | |
US9251730B2 (en) | Image display apparatus and image scanning apparatus | |
TWI393438B (en) | Solid-state image pickup device | |
KR20130143599A (en) | Image display device | |
CN105518510B (en) | Image projection device | |
RU2019130497A (en) | MEMS SCAN DISPLAY DEVICE | |
JP6253292B2 (en) | Laser scanning microscope | |
JP5242148B2 (en) | Scanning microscope equipment | |
TW201229984A (en) | Image display device | |
JP2007025191A (en) | Image display device and method for controlling the image display device | |
JP5695508B2 (en) | Sampling clock generation device and sampling clock generation system | |
JP5598740B2 (en) | Scanning microscope | |
US20180003938A1 (en) | Scanning microscope | |
TW200909975A (en) | Device and method for compensating at least one non-linearity and laser projection system | |
JP4890808B2 (en) | Laser microscope, control method of laser microscope | |
JP2007311899A (en) | Imaging apparatus and method | |
JP2003255263A (en) | Image display device and image display method | |
WO2012104973A1 (en) | Image display device | |
WO2017037781A1 (en) | Scanning-type observation device | |
JP5835891B2 (en) | Sampling clock generation device and sampling clock generation system | |
JP5112377B2 (en) | Image projection device | |
US10536651B2 (en) | Inspection apparatus, method for controlling inspection apparatus, and program | |
JP2006072221A (en) | Image generating apparatus and image projection apparatus | |
JP7390216B2 (en) | Sampling circuit and laser scanning microscope | |
JP2009008468A (en) | Image acquisition method, imaging device, and inspection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160705 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170414 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170606 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170721 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171031 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171128 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6253292 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees | ||
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |