JP5718012B2 - Scanning laser microscope - Google Patents

Scanning laser microscope Download PDF

Info

Publication number
JP5718012B2
JP5718012B2 JP2010230884A JP2010230884A JP5718012B2 JP 5718012 B2 JP5718012 B2 JP 5718012B2 JP 2010230884 A JP2010230884 A JP 2010230884A JP 2010230884 A JP2010230884 A JP 2010230884A JP 5718012 B2 JP5718012 B2 JP 5718012B2
Authority
JP
Japan
Prior art keywords
image
partial image
scanning
unit
enlarged partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010230884A
Other languages
Japanese (ja)
Other versions
JP2012083621A (en
Inventor
啓悟 森
啓悟 森
伸吾 鈴木
伸吾 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2010230884A priority Critical patent/JP5718012B2/en
Publication of JP2012083621A publication Critical patent/JP2012083621A/en
Application granted granted Critical
Publication of JP5718012B2 publication Critical patent/JP5718012B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)

Description

本発明は、走査型レーザ顕微鏡に関するものである。   The present invention relates to a scanning laser microscope.

広範囲で高解像な顕微鏡画像を取得したい場合、高倍率の部分画像を複数取得して後で貼り合わせる方法が一般的である。しかし、顕微鏡のステージの移動には誤差があるため、隣接する部分画像どうしを単純につないだだけでは、観察領域の重複や欠損が生じる可能性がある。そこで、重複領域を設けながら部分画像を複数枚取得し、部分画像間の重複を利用してパターンマッチングを行って画像を合成する方法が用いられている。   When it is desired to obtain a wide-range, high-resolution microscope image, a method is generally used in which a plurality of high-magnification partial images are acquired and then bonded together. However, since there is an error in the movement of the microscope stage, there is a possibility that duplication or loss of the observation area may occur if the adjacent partial images are simply connected. Therefore, a method is used in which a plurality of partial images are acquired while providing overlapping regions, and images are synthesized by performing pattern matching using the overlap between the partial images.

部分画像観察領域の設定方法には2つの方法がある。第1の方法は、特許文献1に示されるように、ユーザーが注目領域の範囲および対物レンズの倍率を指定すると、注目領域を不足なく覆うように、且つ所定の大きさの重複領域だけ重なり合うように複数の部分画像観察領域が設定される方法である。1つの部分画像観察領域の大きさは、指定された対物レンズの倍率における観察領域の大きさである。   There are two methods for setting the partial image observation area. In the first method, as shown in Patent Document 1, when the user designates the range of the attention area and the magnification of the objective lens, the overlapping area of the predetermined size is overlapped so as to cover the attention area without shortage. In this method, a plurality of partial image observation areas are set. The size of one partial image observation area is the size of the observation area at the specified magnification of the objective lens.

第2の方法は、ユーザーが部分画像数と対物レンズの倍率を指定すると、指定された数の部分画像観察領域が重複領域を設けながら設定され、各部分画像が取得される方法である。1つの部分画像観察領域の大きさは、指定された対物レンズの倍率における観察領域の大きさである。   The second method is a method in which when the user designates the number of partial images and the magnification of the objective lens, the designated number of partial image observation areas are set while providing overlapping areas, and each partial image is acquired. The size of one partial image observation area is the size of the observation area at the specified magnification of the objective lens.

特許第3824116号公報Japanese Patent No. 3824116

第1の方法で生じる問題点として、重複領域を設ける分だけ部分画像の枚数が増えることが挙げられる。例えば、隣接する部分画像観察領域の重複領域が1つの部分画像観察領域の大きさに対して20%とすると、重複させないときと比較しておよそ1.6倍の画像枚数が必要となる。その結果、全ての部分画像を撮影するのにかかる時間が増える。複数の領域の画像を取得する際に必要な時間は、画像取得自体よりもステージの移動のほうが支配的なことが多い。つまり、たとえ注目領域の大きさが同じでも、画像の枚数が多いとステージの移動回数が多くなり、全ての部分画像を撮影する時間が増えてしまう。また、画像の枚数が多いとパターンマッチングを行う回数が増えるので、画像合成処理にかかる時間も増える。   A problem that arises with the first method is that the number of partial images increases by the amount of overlap. For example, if the overlapping area of adjacent partial image observation areas is 20% of the size of one partial image observation area, the number of images is approximately 1.6 times that required when not overlapping. As a result, the time taken to capture all partial images increases. In many cases, the stage movement is more dominant than the image acquisition itself for the time required to acquire the images of a plurality of regions. That is, even if the size of the attention area is the same, if the number of images is large, the number of times the stage is moved increases, and the time for capturing all partial images increases. Also, if the number of images is large, the number of times that pattern matching is performed increases, so the time required for the image composition processing also increases.

また、第2の方法においては、重複領域の分だけ全体の撮影範囲が減少し、ユーザーが要求する領域を撮りもらす可能性があるという問題が生じる。   Further, in the second method, there is a problem in that the entire shooting range is reduced by the overlapping area, and the area requested by the user may be taken.

本発明は、上述した事情に鑑みてなされたものであって、広範囲かつ高解像な画像を、高速に且つ撮りもらしなく取得することができる走査型レーザ顕微鏡を提供することを目的とする。   The present invention has been made in view of the above-described circumstances, and an object of the present invention is to provide a scanning laser microscope capable of acquiring a wide range and a high resolution image at high speed without taking it.

上記目的を達成するために、本発明は以下の手段を採用する。
本発明は、標本上においてレーザ光を2次元走査する走査部と、該走査部により走査されたレーザ光を前記標本に集光する対物レンズと、前記標本からの光を検出する光検出部と、該光検出部により検出された光の強度と前記走査部の走査位置情報に基づいて、相互に重複せずに隣接する前記標本の部分画像を含み、且つ、該部分画像よりも大きな拡大部分画像を、前記部分画像と同じ画素分解能で生成する拡大部分画像生成部と、該拡大部分画像生成部により生成された複数の前記拡大部分画像を蓄積する拡大部分画像蓄積部と、該拡大部分画像蓄積部に蓄積された複数の前記拡大部分画像を互いに一部重複するように合成して、前記標本の全体画像を生成する画像合成部とを備え、前記拡大部分画像生成部が、前記走査部による走査範囲を広げることで、前記拡大部分画像を生成する走査型レーザ顕微鏡を採用する。
In order to achieve the above object, the present invention employs the following means.
The present invention includes a scanning unit that two-dimensionally scans laser light on a specimen, an objective lens that focuses the laser light scanned by the scanning part on the specimen, and a light detection unit that detects light from the specimen. Based on the intensity of the light detected by the light detection unit and the scanning position information of the scanning unit, the enlarged part includes a partial image of the adjacent sample that does not overlap each other and is larger than the partial image. An enlarged partial image generation unit that generates an image with the same pixel resolution as the partial image, an enlarged partial image storage unit that accumulates the plurality of enlarged partial images generated by the enlarged partial image generation unit, and the enlarged partial image An image synthesis unit that synthesizes the plurality of enlarged partial images accumulated in the accumulation unit so as to partially overlap each other and generates an entire image of the specimen, and the enlarged partial image generation unit includes the scanning unit Scan range by By expanding, employing a laser scanning microscope that generates the enlarged partial image.

本発明によれば、走査部により標本上において2次元走査されたレーザ光が、対物レンズにより標本に集光され、標本からの光が光検出部により検出される。そして、拡大部分画像生成部により、光検出部により検出された光の強度と走査部の走査位置情報に基づいて、拡大部分画像が、標本の部分画像と同じ画素分解能で生成される。ここで、拡大部分画像とは、相互に重複せずに隣接する標本の部分画像を含み、且つ、該部分画像よりも大きな画像のことである。このように生成された複数の拡大部分画像は、拡大部分画像蓄積部に蓄積され、画像合成部により、互いに一部重複するように合成されて、標本の全体画像が生成される。   According to the present invention, the laser light that is two-dimensionally scanned on the sample by the scanning unit is condensed on the sample by the objective lens, and the light from the sample is detected by the light detection unit. Then, the enlarged partial image generation unit generates an enlarged partial image with the same pixel resolution as the partial image of the sample based on the light intensity detected by the light detection unit and the scanning position information of the scanning unit. Here, the enlarged partial image is an image that includes partial images of adjacent specimens that do not overlap each other and is larger than the partial image. The plurality of enlarged partial images generated in this way are accumulated in the enlarged partial image accumulating unit, and synthesized by the image synthesizing unit so as to partially overlap each other, thereby generating an entire sample image.

ここで、従来のように、部分画像を互いに一部重複するように合成した場合には、全体画像において重複領域の分だけ撮影範囲が小さくなってしまう。これに対して、本発明によれば、部分画像よりも大きな拡大部分画像を、互いに一部重複するように合成して標本の全体画像が生成されるので、全体画像における撮影範囲の減少を防ぐことができ、所望の撮影範囲を撮りもらすことがなくなる。また、この場合において、拡大部分画像は部分画像と同じ画素分解能で生成されているため、解像度を落とすことなく全体画像を取得することができる。   Here, when the partial images are combined so as to partially overlap each other as in the prior art, the imaging range is reduced by the overlapping area in the entire image. On the other hand, according to the present invention, an enlarged partial image larger than the partial image is synthesized so as to partially overlap each other to generate the entire sample image, thereby preventing a reduction in the shooting range of the entire image Therefore, the desired shooting range is not taken. In this case, since the enlarged partial image is generated with the same pixel resolution as that of the partial image, the entire image can be obtained without reducing the resolution.

上記発明において、前記拡大部分画像生成部が、前記走査部による走査範囲を広げることで、前記拡大部分画像を生成することで、拡大部分画像を部分画像と同じ画素分解能で生成することができ、解像度を落とすことなく全体画像を取得することができる。
In the above invention, the enlarged partial image generating unit, by extending the scanning range by the scanning unit, in a Turkey generate the enlarged partial image, to generate the magnified partial image at the same pixel resolution as the partial image The entire image can be acquired without reducing the resolution.

上記発明において、前記拡大部分画像生成部が、前記部分画像を重複領域の半分の大きさだけ拡大させて拡大部分画像を生成することとしてもよい。
重複領域の半分の大きさだけ部分画像を拡大させることにより、後で複数の拡大部分画像を配置したときに、拡大前の部分画像を互いに接するように配置したときと同じ配置になり、ユーザーにとってどのように拡大部分画像が配置されるかがわかりやすくなる。
In the above invention, the enlarged partial image generation unit may generate the enlarged partial image by enlarging the partial image by half the size of the overlapping region.
By enlarging the partial images by half the size of the overlapping area, when multiple enlarged partial images are arranged later, the arrangement is the same as when the partial images before enlargement are arranged so as to touch each other. It becomes easy to understand how the enlarged partial images are arranged.

上記発明において、前記対物レンズの光軸に直交する方向に、前記標本を前記対物レンズに対して相対的に移動させるステージを備え、前記拡大部分画像生成部が、前記ステージの移動誤差に基づいて、前記部分画像の拡大および前記拡大部分画像の重複領域の設定を行うこととしてもよい。
ステージの移動誤差を重複領域の計算のパラメータとして使用することによって、隣接する部分画像を確実に重複させながら撮影することができ、全体画像における観察領域の欠損を防止することができる。
In the above invention, a stage for moving the sample relative to the objective lens in a direction orthogonal to the optical axis of the objective lens is provided, and the enlarged partial image generation unit is based on a movement error of the stage. The partial image may be enlarged and an overlapping area of the enlarged partial image may be set.
By using the movement error of the stage as a parameter for calculating the overlapping area, it is possible to capture images while reliably overlapping adjacent partial images, and to prevent the observation area from being lost in the entire image.

上記発明において、前記拡大部分画像生成部が、画像合成の結果得られた合成位置から前記ステージの移動誤差を算出することとしてもよい。
このようにすることで、画像合成の結果得られた合成位置からステージの移動誤差を算出し、このステージの移動誤差に基づいて重複領域の大きさを計算することができ、最低限の大きさの重複領域で拡大部分画像を取得することができる。
In the above invention, the enlarged partial image generation unit may calculate a movement error of the stage from a synthesis position obtained as a result of image synthesis.
In this way, the stage movement error can be calculated from the combined position obtained as a result of the image composition, and the size of the overlapping area can be calculated based on the stage movement error. An enlarged partial image can be acquired in the overlapping region.

上記発明において、前記対物レンズの光軸に直交する方向に、前記標本を前記対物レンズに対して相対的に移動させるステージを備え、前記画像合成部が、前記ステージの移動誤差に基づいて画像の合成位置を探索する範囲を設定することとしてもよい。
ステージの移動誤差に基づいて画像合成時の探索範囲を設定することで、合成位置を探索する範囲の中に正しい合成位置を確実に含ませることができ、全体画像における観察領域の欠損を防止することができる。
In the above invention, a stage for moving the sample relative to the objective lens in a direction orthogonal to the optical axis of the objective lens is provided, and the image composition unit is configured to detect an image based on a movement error of the stage. It is good also as setting the range which searches a synthetic | combination position.
By setting the search range during image composition based on the stage movement error, it is possible to ensure that the correct composition position is included in the range where the composition position is searched, and to prevent the observation area from being lost in the entire image. be able to.

上記発明において、前記画像合成部が、前記光検出部まで前記標本からの光が届かなかった前記拡大部分画像の外周部分を除いてから画像合成を行うこととしてもよい。
このようにすることで、標本からの光が光検出部まで届かなかった領域を除いて、画像合成に有効な領域だけを合成して全体画像を生成することができ、全体画像における観察領域の欠損を防止することができる。
In the above invention, the image composition unit may perform image composition after removing an outer peripheral portion of the enlarged partial image in which light from the specimen has not reached the light detection unit.
By doing this, it is possible to generate an entire image by synthesizing only areas effective for image synthesis, except for areas where the light from the specimen did not reach the light detection unit. Defects can be prevented.

上記発明において、前記画像合成部が、前記全体画像の大きさを調整することとしてもよい。
このようにすることで、画像合成によって得られた全体画像の大きさを、ユーザーが1枚の画像として所望する大きさに調整することができ、ユーザーは所望のサイズの全体画像を得ることができる。
In the above invention, the image composition unit may adjust the size of the whole image.
In this way, the size of the entire image obtained by the image composition can be adjusted to a size desired by the user as one image, and the user can obtain the entire image of the desired size. it can.

上記発明において、前記走査部の走査範囲を維持したまま、前記標本上でレーザ光を照射する範囲および画像化する範囲を変えるように前記走査部および前記光検出部を制御する制御部を備えることとしてもよい。
このようにすることで、走査範囲を容易に変更できない走査部を用いている場合や、高速にタイムラプス観察を行っているときなど、途中で走査範囲を変更することが困難な場合でも、レーザ光を照射する範囲および画像化する範囲を変更することができる。
In the above invention, a control unit is provided for controlling the scanning unit and the light detection unit so as to change a range in which the laser beam is irradiated and an imaging range on the specimen while maintaining the scanning range of the scanning unit. It is good.
In this way, even when it is difficult to change the scanning range halfway, such as when using a scanning unit that cannot easily change the scanning range, or when performing time-lapse observation at high speed, the laser beam The range for irradiating and the range for imaging can be changed.

本発明によれば、広範囲かつ高解像な画像を、高速に且つ撮りもらしなく取得することができるという効果を奏する。   According to the present invention, there is an effect that it is possible to acquire a wide range and high resolution images at high speed without taking them.

本発明の実施形態に係る走査型レーザ顕微鏡の概略構成を示すブロック図である。1 is a block diagram illustrating a schematic configuration of a scanning laser microscope according to an embodiment of the present invention. 本発明の第1の実施形態に係る走査型レーザ顕微鏡により実行される処理を示すフローチャートである。It is a flowchart which shows the process performed by the scanning laser microscope which concerns on the 1st Embodiment of this invention. 登録時の部分画像観察領域、拡大後の部分画像観察領域、重複領域の関係を説明する図である。It is a figure explaining the relationship between the partial image observation area | region at the time of registration, the partial image observation area | region after an expansion, and an overlapping area | region. 部分画像観察領域を配置したときの状態を示す図である。It is a figure which shows a state when the partial image observation area | region is arrange | positioned. 部分画像観察領域と視野円との関係を説明する図である。It is a figure explaining the relationship between a partial image observation area | region and a visual field circle. 画像合成の方法を説明する図である。It is a figure explaining the method of image composition. 本発明の第2の実施形態に係る走査型レーザ顕微鏡により実行される処理を示すフローチャートである。It is a flowchart which shows the process performed by the scanning laser microscope which concerns on the 2nd Embodiment of this invention.

[第1の実施形態]
本発明の第1の実施形態に係る走査型レーザ顕微鏡100について、図面を参照して以下に説明する。
図1に示すように、本実施形態に係る走査型レーザ顕微鏡100は、レーザ光源1と、ガルバノミラー2(走査部)と、対物レンズ3と、標本4と、XYステージ5と、ダイクロイックミラー6と、ピンホール7と、PMT8(光検出部)と、PC15とを備えている。
[First Embodiment]
A scanning laser microscope 100 according to a first embodiment of the present invention will be described below with reference to the drawings.
As shown in FIG. 1, a scanning laser microscope 100 according to this embodiment includes a laser light source 1, a galvanometer mirror 2 (scanning unit), an objective lens 3, a specimen 4, an XY stage 5, and a dichroic mirror 6. A pinhole 7, a PMT 8 (light detection unit), and a PC 15.

ガルバノミラー2は、XYステージ5に置かれた標本4の上で、レーザ光源1からのレーザ光を2次元走査する。
対物レンズ3は、標本4に対向して配置されており、レーザ光を標本4に集光させ、標本4を照明する。
XYステージ5は、対物レンズ3の光軸に直交する方向(XY方向)に、標本4と対物レンズ3とを相対的に移動させる。
The galvanometer mirror 2 scans the laser beam from the laser light source 1 two-dimensionally on the specimen 4 placed on the XY stage 5.
The objective lens 3 is disposed so as to face the specimen 4, condenses the laser light on the specimen 4 and illuminates the specimen 4.
The XY stage 5 relatively moves the specimen 4 and the objective lens 3 in a direction (XY direction) orthogonal to the optical axis of the objective lens 3.

ダイクロイックミラー6は、レーザ光源1からのレーザ光は反射する一方、標本4からの観察光を透過させる。これにより、ダイクロイックミラー6は、レーザ光と標本4からの観察光を分離する。
ピンホール7は、ダイクロイックミラー6を透過してきた観察光のうち、対物レンズ3の焦点以外からの光を遮断する。
PMT(Photomultiplier Tube)8は、ピンホール7を通過した観察光を検出し、電気信号に変換してPC15に出力する。
The dichroic mirror 6 reflects the laser light from the laser light source 1 and transmits the observation light from the specimen 4. Thereby, the dichroic mirror 6 separates the laser light and the observation light from the specimen 4.
The pinhole 7 blocks light from the observation light transmitted through the dichroic mirror 6 from other than the focal point of the objective lens 3.
A PMT (Photomultiplier Tube) 8 detects observation light that has passed through the pinhole 7, converts it into an electrical signal, and outputs it to the PC 15.

PC15は、CPU9(拡大部分画像生成部、画像合成部、制御部)と、メモリ10と、ハードディスク11(拡大部分画像蓄積部)と、モニタ12と、マウス13と、キーボード14とを備えている。   The PC 15 includes a CPU 9 (enlarged partial image generation unit, image synthesis unit, control unit), a memory 10, a hard disk 11 (enlarged partial image storage unit), a monitor 12, a mouse 13, and a keyboard 14. .

CPU9は、PMT8からの情報に基づいて部分画像を生成したり、ガルバノミラー2やPMT8、XYステージ5に制御指令を与えたり、部分画像から画像合成を行って全体画像を生成する。   The CPU 9 generates a partial image based on information from the PMT 8, gives a control command to the galvanometer mirror 2, the PMT 8, and the XY stage 5, and performs image composition from the partial images to generate an entire image.

具体的には、CPU9は、PMT8により検出された標本4からの観察光の強度とガルバノミラー2の走査位置情報に基づいて、拡大部分画像を標本4の部分画像と同じ画素分解能で生成する。ここで、拡大部分画像とは、図3に示すように、相互に重複せずに隣接する標本4の部分画像を含み、且つ、該部分画像よりも大きな画像のことである。
また、CPU9は、このように生成された複数の拡大部分画像を、図4に示すように、互いに一部重複するように合成して、標本4の全体画像を生成する。
Specifically, the CPU 9 generates an enlarged partial image with the same pixel resolution as the partial image of the sample 4 based on the intensity of the observation light from the sample 4 detected by the PMT 8 and the scanning position information of the galvanometer mirror 2. Here, as shown in FIG. 3, the enlarged partial image is an image that includes a partial image of the adjacent specimen 4 without overlapping each other and is larger than the partial image.
Further, the CPU 9 combines the plurality of enlarged partial images generated in this way so as to partially overlap each other as shown in FIG.

メモリ10は、部分画像の取得条件や部分画像の情報を一時的に保持する。
ハードディスク11は、CPU9により生成された拡大部分画像を蓄積する。
モニタ12は、画像取得条件の設定画面およびCPU9により生成された全体画像を表示する。
The memory 10 temporarily stores partial image acquisition conditions and partial image information.
The hard disk 11 stores the enlarged partial image generated by the CPU 9.
The monitor 12 displays an image acquisition condition setting screen and the entire image generated by the CPU 9.

マウス13およびキーボード14は、部分画像取得条件や部分画像観察領域、1枚の画像として取得する注目領域をユーザーに指定させる。
ユーザーは、モニタ12を参照しながらマウス13およびキーボード14を操作することによって、各種の設定を行うことができる。
The mouse 13 and the keyboard 14 allow the user to specify a partial image acquisition condition, a partial image observation area, and an attention area to be acquired as one image.
The user can perform various settings by operating the mouse 13 and the keyboard 14 while referring to the monitor 12.

上記構成を有する走査型レーザ顕微鏡100の動作について、図2のフローチャートを参照して説明する。
まず、部分画像観察領域の設定を行う(ステップS1)。ユーザーは、モニタ12を参照しながらマウス13やキーボード14を操作して、部分画像取得条件を設定する。具体的には、対物レンズ3の倍率、ズーム倍率、画素分解能、画像サイズ、レーザ強度、PMT8の感度を指定する。また、ユーザーは、1つの画像として取得したい範囲の中心にXYステージ5を移動させ、マウス13やキーボード14を使用して、その際の観察領域を部分画像観察領域として登録する。登録した際の部分画像取得条件はメモリ10に保存される。本実施形態では、部分画像取得条件として、画素分解能を1μm/pixel、画像サイズを512pixel×512pixelに設定する。
The operation of the scanning laser microscope 100 having the above configuration will be described with reference to the flowchart of FIG.
First, a partial image observation area is set (step S1). The user operates the mouse 13 and the keyboard 14 while referring to the monitor 12 to set partial image acquisition conditions. Specifically, the magnification of the objective lens 3, zoom magnification, pixel resolution, image size, laser intensity, and PMT8 sensitivity are designated. In addition, the user moves the XY stage 5 to the center of a range desired to be acquired as one image, and registers the observation area at that time as a partial image observation area using the mouse 13 and the keyboard 14. The partial image acquisition conditions at the time of registration are stored in the memory 10. In the present embodiment, the pixel resolution is set to 1 μm / pixel and the image size is set to 512 pixels × 512 pixels as partial image acquisition conditions.

次に、注目領域の設定を行う(ステップS2)。ユーザーは、マウスやキーボードを使用して、1つの画像として取得したい範囲全体を撮影できるように、登録した部分画像観察領域を中心として縦、横に広げたい部分画像数を指定する。本実施形態では、図4に示すように、縦3、横3、合計9個の部分画像を取得するように設定する。   Next, the attention area is set (step S2). The user designates the number of partial images to be expanded vertically and horizontally around the registered partial image observation area so that the entire range to be acquired as one image can be photographed using a mouse or a keyboard. In the present embodiment, as shown in FIG. 4, settings are made so that a total of nine partial images are acquired in a length of 3 and a width of 3.

次に、CPU9により重複領域の大きさを計算する(ステップS3)。重複領域の大きさとは、隣接する画像間で重複させる長方形の領域の短辺の長さを意味する。まず、パターンマッチングに最低限必要な重複領域の一辺の画素数を適当に決めておく。数値が大きければパターンマッチングの精度は高くなるが、処理に時間がかかることを考慮して、適当な数値を設定する。本実施形態では、30pixelとする。   Next, the size of the overlapping area is calculated by the CPU 9 (step S3). The size of the overlapping area means the length of the short side of the rectangular area that overlaps between adjacent images. First, the number of pixels on one side of the overlapping area necessary for pattern matching is determined appropriately. If the numerical value is large, the accuracy of pattern matching becomes high, but considering that processing takes time, an appropriate numerical value is set. In this embodiment, it is set to 30 pixels.

また、ステージ制御の最大誤差を10μmとする。重複領域の大きさ[μm]は、ステージ制御の最大誤差[μm]+パターンマッチングに必要な画素数×画素分解能で求める。本実施形態では、10+30×1=40[μm]となる。このように重複領域を計算することによって、取得した部分画像においてパターンマッチングに必要な画素数分の領域を確実に重複させることができる。   The maximum error in stage control is 10 μm. The size [μm] of the overlapping region is obtained by the maximum error [μm] of stage control + the number of pixels necessary for pattern matching × pixel resolution. In this embodiment, 10 + 30 × 1 = 40 [μm]. By calculating the overlapping area in this way, it is possible to reliably overlap the area corresponding to the number of pixels necessary for pattern matching in the acquired partial image.

次に、部分画像観察領域の拡大と配置が行われる(ステップS4、ステップS5)。
ここで、図3と図4を用いて部分画像観察領域の拡大と配置を説明する。図3は、ステップS1で登録した時の部分画像観察領域21(部分画像)、拡大後の部分画像観察領域22(拡大部分画像)、そして重複領域23の関係を示したものである。斜線部分が重複領域23で、矢印の長さが重複領域の大きさを示す。図3のように、部分画像観察領域は重複領域の1/2の大きさだけ拡大させ、周辺部に重複領域を設定する。
Next, the partial image observation area is enlarged and arranged (steps S4 and S5).
Here, the expansion and arrangement of the partial image observation area will be described with reference to FIGS. 3 and 4. FIG. 3 shows the relationship between the partial image observation area 21 (partial image), the enlarged partial image observation area 22 (enlarged partial image), and the overlapping area 23 when registered in step S1. The shaded area is the overlapping area 23, and the length of the arrow indicates the size of the overlapping area. As shown in FIG. 3, the partial image observation area is enlarged by half the size of the overlapping area, and the overlapping area is set in the peripheral portion.

図4は、9個の部分画像観察領域を配置したときの状態を示している。CPU9は、縦横の部分画像数をもとに、重複領域31が重なり合うように拡大後の部分画像観察領域32を配置し、全ての部分画像観察領域のステージ座標を計算する。このように重複領域の1/2の大きさだけ拡大し、重複領域で重なり合うように部分画像観察領域を配置すると、登録時の部分画像観察領域33を互いに接するように配置したときと同じ配置になり、ユーザーにとってどのように部分画像観察領域が配置されるかが予想しやすくなる。   FIG. 4 shows a state when nine partial image observation areas are arranged. Based on the number of vertical and horizontal partial images, the CPU 9 arranges the enlarged partial image observation areas 32 so that the overlapping areas 31 overlap, and calculates the stage coordinates of all the partial image observation areas. When the partial image observation area is enlarged so as to be half the size of the overlapping area and overlapped in the overlapping area in this way, the arrangement is the same as when the partial image observation areas 33 at the time of registration are arranged so as to contact each other. Thus, it is easy for the user to predict how the partial image observation area is arranged.

次に、CPU9は、最初の部分画像観察領域のステージ座標にXYステージ5を移動させる(ステップS6)。部分画像の取得する順番は、例えば左上から右下に向かって順に取得する方法や、中心から外に向かって取得する方法が考えられる。   Next, the CPU 9 moves the XY stage 5 to the stage coordinates of the first partial image observation area (step S6). As the order of acquiring the partial images, for example, a method of acquiring in order from the upper left to the lower right, or a method of acquiring from the center to the outside can be considered.

次に、CPU9は、ガルバノミラー2やPMT8等に制御指令を送り、部分画像観察領域を撮影する(ステップS7)。画像取得条件はメモリ10に保存された部分画像観察領域登録時の条件を用いる。このようにして得た部分画像はハードディスク11に保存される。   Next, the CPU 9 sends a control command to the galvanometer mirror 2, the PMT 8, etc., and images the partial image observation area (step S7). As the image acquisition condition, the condition at the time of registering the partial image observation area stored in the memory 10 is used. The partial image obtained in this way is stored in the hard disk 11.

次に、全ての部分画像を取得したか否かが判断され(ステップJ1)、全ての部分画像を取得するまでステップS6〜S7の処理を繰り返す。
全ての部分画像を取得し終わったら、CPU9は、ハードディスク11から部分画像をメモリ10に読み込む(ステップS8)。
Next, it is determined whether or not all partial images have been acquired (step J1), and the processes in steps S6 to S7 are repeated until all partial images are acquired.
When all the partial images have been acquired, the CPU 9 reads the partial images from the hard disk 11 into the memory 10 (step S8).

次に、1つの部分画像観察領域の大きさと光学系の視野円の大きさから、部分画像観察領域が視野円の中に収まっているか確認する(ステップJ2)。図5のように、もし部分画像観察領域41が視野円42よりも大きい場合、観察光がPMT8に届かないと予想される部分画像観察領域の外周部分43は切り取られ、次のテンプレートマッチングには使用されないようにする(ステップS9)。   Next, from the size of one partial image observation area and the size of the field circle of the optical system, it is confirmed whether the partial image observation area is within the field circle (step J2). As shown in FIG. 5, if the partial image observation region 41 is larger than the field circle 42, the outer peripheral portion 43 of the partial image observation region where the observation light is expected not to reach the PMT 8 is cut off, and the next template matching is performed. It is made not to use (step S9).

次に、CPU9は重複領域を利用してパターンマッチングを行い、全ての部分画像を合成して全体画像を生成する(ステップS10)。
ここで、図6のように、部分画像A51と、部分画像A51の右隣の領域を撮影した部分画像B52のパターンマッチングを例に画像合成の方法を説明する。まず、部分画像A51または部分画像B52の重複領域だけを切り取る。この場合の重複領域は、画像取得時の重複領域の大きさと同じである。今回は部分画像A51の重複領域を切り取り、これをテンプレート画像53と呼ぶ(図6の斜線部)。
Next, the CPU 9 performs pattern matching using the overlapping area, and synthesizes all partial images to generate an entire image (step S10).
Here, as shown in FIG. 6, an image composition method will be described by taking an example of pattern matching between a partial image A51 and a partial image B52 obtained by photographing a region immediately adjacent to the partial image A51. First, only the overlapping area of the partial image A51 or the partial image B52 is cut out. The overlapping area in this case is the same as the size of the overlapping area at the time of image acquisition. This time, an overlapping area of the partial image A51 is cut out and called a template image 53 (shaded portion in FIG. 6).

そして、テンプレート画像53を部分画像B52上で移動させて、差の二乗和や相互相関係数等を用いて類似度を計算する。テンプレートマッチングのアルゴリズムに関しては公知の技術を用いる。テンプレート画像53を移動させる探索範囲54は、部分画像B52の重複領域55から左右上下に(ステージ制御の最大誤差[μm]/画素分解能)の分だけ広げた範囲であり、この探索範囲54の中をテンプレート画像53がはみ出さないように移動させ、それぞれの場所で類似度を計算する。類似度が最も高かった位置を合成位置とする。このようにXYステージ5の移動誤差に基づいてパターンマッチング時の探索範囲を設定すると、探索範囲54の中に正しい合成位置が確実に含まれることになり、画像合成で失敗する可能性が下がる。   Then, the template image 53 is moved on the partial image B52, and the similarity is calculated using the sum of squares of the differences, the cross-correlation coefficient, or the like. A known technique is used for the template matching algorithm. The search range 54 in which the template image 53 is moved is a range that is widened from the overlapping region 55 of the partial image B52 by left and right and up and down (maximum stage control error [μm] / pixel resolution). Is moved so that the template image 53 does not protrude, and the similarity is calculated at each location. The position with the highest similarity is defined as the composite position. If the search range at the time of pattern matching is set based on the movement error of the XY stage 5 in this way, the correct synthesis position is surely included in the search range 54, and the possibility of failure in image synthesis is reduced.

次に、CPU9は、全体画像の大きさをユーザーが指定した注目領域の大きさと等しくなるようにする(ステップS11)。本実施形態では部分画像取得条件が512pixel×512pixelで縦3個横3個の部分画像数を指定したので、全体画像が1536pixel×1536pixelの画像サイズになるように、余分であれば周囲を切り取る。この処理によって、ユーザーは注目領域登録時に要求したサイズの全体画像を得ることができる。   Next, the CPU 9 makes the size of the entire image equal to the size of the attention area designated by the user (step S11). In the present embodiment, since the partial image acquisition condition is 512 pixels × 512 pixels and the number of partial images of 3 pixels in the vertical direction and 3 in the horizontal direction is specified, the surrounding area is cut off if it is excessive so that the entire image has an image size of 1536 pixels × 1536 pixels. By this processing, the user can obtain an entire image of the size requested at the time of registering the attention area.

以上のように、本実施形態に係る走査型レーザ顕微鏡100によれば、広範囲かつ高解像な画像を取得できるとともに、部分画像観察領域を拡大するので重複領域の分だけ撮影する範囲が小さくなることがなく、ユーザーが要求した範囲を撮りもらすことがなくなる。具体的には、本実施形態では、部分画像の一辺が512μmで、縦3個横3個の部分画像数を指定したので、全体画像の一辺が1536μmになることが保証される。一方、従来技術で画像取得を行った場合は、重複領域(40μm)の分だけ減るため、全体画像の一辺は1536−40×2=1456[μm]となってしまう。その結果、観察対象物の末端部などが切れてしまった場合、再度画像を取得しなくてはならない。
高倍率で画像を取得したり、ステージの移動誤差が大きくて部分画像に対する重複領域の割合が増える場合には、さらに顕著な効果を得ることができる。
As described above, according to the scanning laser microscope 100 according to the present embodiment, a wide range and high resolution image can be acquired, and the partial image observation area is enlarged, so that the area to be imaged is reduced by the overlapping area. And the user's requested range is not taken. Specifically, in this embodiment, since one side of the partial image is 512 μm and the number of partial images of 3 vertical and 3 horizontal is specified, it is guaranteed that one side of the entire image is 1536 μm. On the other hand, when image acquisition is performed by the conventional technique, the image is reduced by the overlap region (40 μm), so one side of the entire image is 1536−40 × 2 = 1456 [μm]. As a result, when the end of the observation object is cut, an image must be acquired again.
When an image is acquired at a high magnification or when the stage movement error is large and the ratio of the overlapping area to the partial image is increased, a more remarkable effect can be obtained.

また、重複領域の1/2の大きさだけ部分画像観察領域を拡大させることにより、後で複数の部分画像観察領域を配置したときに、拡大前の部分画像観察領域を互いに接するように配置したときと同じ配置になり、ユーザーにとってどのように部分画像観察領域が配置されるかがわかりやすくなる。   Also, by enlarging the partial image observation area by a size that is ½ of the overlapping area, when a plurality of partial image observation areas are arranged later, the partial image observation areas before enlargement are arranged so as to contact each other It becomes the same arrangement as the time, and it becomes easy for the user to understand how the partial image observation area is arranged.

また、画素分解能を維持したまま部分画像観察領域を拡大するので、解像度を落とすことなく全体画像を取得することができる。
また、ステージの移動誤差を重複領域の計算のパラメータとして使用することによってパターンマッチングに必要な重複領域を確実に確保することができ、画像合成で失敗する可能性が下がる。
Moreover, since the partial image observation area is enlarged while maintaining the pixel resolution, the entire image can be acquired without reducing the resolution.
Further, by using the stage movement error as a parameter for calculating the overlapping area, it is possible to ensure the overlapping area necessary for pattern matching, thereby reducing the possibility of image synthesis failure.

また、ステージの移動誤差に基づいてパターンマッチング時の探索範囲を設定するため、探索範囲の中に正しい合成位置が確実に含まれ、画像合成で失敗する可能性が下がる。
また、部分画像観察領域の拡大時に生じうる検出手段まで観察光が届かない領域を除くため、画像合成で失敗する可能性が下がる。
また、全体画像の大きさをユーザーが指定した注目領域の大きさと等しくなるように調整するため、ユーザーは要求したサイズの全体画像を得ることができる。
In addition, since the search range at the time of pattern matching is set based on the movement error of the stage, the correct synthesis position is surely included in the search range, and the possibility of failure in image synthesis is reduced.
In addition, since the region where the observation light does not reach the detection means that may occur when the partial image observation region is enlarged is excluded, the possibility of failure in image composition is reduced.
Further, since the size of the entire image is adjusted to be equal to the size of the attention area designated by the user, the user can obtain the entire image of the requested size.

[第1の変形例]
以下に、本実施形態に係る走査型レーザ顕微鏡100の第1の変形例について説明する。
本実施形態に係る走査型レーザ顕微鏡100の第1の変形例として、ユーザーが注目領域を設定する際に、部分画像数を指定するのではなく、注目領域の範囲を指定してもよい。その場合は、注目領域の大きさと部分画像の取得条件(対物レンズ3の倍率とズーム倍率)から最低限必要な部分画像数を計算する。例えば、部分画像取得条件の画素分解能を1μm/pixel、画像サイズを512pixel×512pixel、重複領域の大きさを40μm、注目領域の大きさを縦3000μm、横4000μmとすると、縦は3000/(512×1+40)でおよそ5.4、横は4000/(512×1+40)でおよそ7.2となる。したがって、縦は6個、横は8個、合計48個の部分画像を配置すれば注目領域を不足なく撮影できることになる。
[First Modification]
Below, the 1st modification of the scanning laser microscope 100 which concerns on this embodiment is demonstrated.
As a first modification of the scanning laser microscope 100 according to the present embodiment, when the user sets the attention area, the range of the attention area may be specified instead of specifying the number of partial images. In that case, the minimum necessary number of partial images is calculated from the size of the region of interest and the partial image acquisition conditions (the magnification of the objective lens 3 and the zoom magnification). For example, if the pixel resolution of the partial image acquisition condition is 1 μm / pixel, the image size is 512 pixels × 512 pixels, the size of the overlapping region is 40 μm, the size of the region of interest is 3000 μm in length, and 4000 μm in width, the length is 3000 / (512 × 1 + 40) is approximately 5.4, and the horizontal is 4000 / (512 × 1 + 40), which is approximately 7.2. Therefore, if a total of 48 partial images are arranged in a vertical direction of 8 and a horizontal size of 8, a region of interest can be captured without a shortage.

このように注目領域の範囲を指定する方法において、部分画像観察領域の拡大を適用すると、部分画像の枚数が減ってXYステージ5の移動回数が減ることにより、画像取得にかかる時間や画像を合成する時間を減少させることができる。さらに、標本4が蛍光染色されている場合においては、重複領域の総数が減るために2度レーザ光で走査される領域、つまり蛍光の退色が進みやすい領域を減少させることができる。   In this way, in the method of designating the range of the attention area, if the enlargement of the partial image observation area is applied, the number of partial images is reduced and the number of movements of the XY stage 5 is reduced. The time to do can be reduced. Further, when the specimen 4 is fluorescently stained, the total number of overlapping regions is reduced, so that the region scanned with the laser beam twice, that is, the region where the fading of fluorescence is likely to proceed can be reduced.

[第2の変形例]
以下に、本実施形態に係る走査型レーザ顕微鏡100の第2の変形例について説明する。
前述の実施形態では、部分画像の生成やガルバノミラー2、PMT8、XYステージ5の制御と画像合成処理を、同じPC15のCPU9で行ったが、本変形例では、それぞれ異なるPC(PC−1、PC−2)で行ってもよい。例えば、部分画像の生成やガルバノミラー2、PMT8、XYステージ5の制御を担当するPC−1と、画像合成処理を担当するPC−2がネットワークでつながれており、PC−2はPC−1のハードディスクに保存された部分画像を参照して全体画像を生成することとしてもよい。
[Second Modification]
Below, the 2nd modification of the scanning laser microscope 100 which concerns on this embodiment is demonstrated.
In the above-described embodiment, the generation of the partial image, the control of the galvano mirror 2, the PMT 8, and the XY stage 5 and the image synthesis process are performed by the CPU 9 of the same PC 15. However, in this modification, different PCs (PC-1, PC-2) may be used. For example, PC-1 in charge of generating partial images and controlling the galvanomirror 2, PMT8, and XY stage 5 and PC-2 in charge of image composition processing are connected by a network, and PC-2 is connected to PC-1. The entire image may be generated with reference to the partial image stored in the hard disk.

[第2の実施形態]
本発明の第2の実施形態に係る走査型レーザ顕微鏡101について、図面を参照して以下に説明する。
標本4が蛍光染色されている場合においては、重複領域は退色が進みやすいので、ユーザーにとって重複領域はできるだけ小さいほうが良い。第1の実施形態では、ステージ制御の最大誤差を用いて重複領域を計算しているが、ステージの移動誤差は様々な条件に依存して変動するため、実際にはもっと少ない誤差で重複領域を計算しても貼り合わせに成功することも大いにありうる。特に、同じ条件で同じ領域の画像を取得する場合の誤差はいずれも近い値になることが予想される。
[Second Embodiment]
A scanning laser microscope 101 according to a second embodiment of the present invention will be described below with reference to the drawings.
In the case where the specimen 4 is fluorescently stained, fading of the overlapping region is likely to proceed, so it is preferable for the user to make the overlapping region as small as possible. In the first embodiment, the overlap area is calculated using the maximum error of the stage control. However, since the stage movement error varies depending on various conditions, the overlap area is actually reduced with a smaller error. Even if it is calculated, it is possible that the pasting will succeed. In particular, it is expected that the errors in acquiring images of the same region under the same conditions are all close values.

そこで、第2の実施形態では、同じ条件で同じ領域の画像を複数回取得するタイムラプス観察を行う場合において、部分画像を取得し画像合成を行った結果求まるステージの移動誤差を、次回の部分画像取得時の重複領域の計算に反映させる。生細胞の観察時には細胞が変形することがあるため、このような広範囲の領域のタイムラプス観察がよく行われている。
以下、本実施形態の走査型レーザ顕微鏡101について、第1の実施形態のレーザ顕微鏡装置100と共通する点については説明を省略し、異なる点について主に説明する。
Therefore, in the second embodiment, in the case of performing time-lapse observation in which an image of the same region is acquired a plurality of times under the same conditions, the movement error of the stage obtained as a result of acquiring the partial images and performing the image synthesis is determined as the next partial image. It is reflected in the calculation of the overlap area at the time of acquisition. Since a cell may be deformed when observing a living cell, time-lapse observation of such a wide area is often performed.
Hereinafter, with respect to the scanning laser microscope 101 of the present embodiment, description of points that are common to the laser microscope apparatus 100 of the first embodiment will be omitted, and different points will be mainly described.

本実施形態に係る走査型レーザ顕微鏡101は、第1の実施形態に係る走査型レーザ顕微鏡100と同様の構成を有しており、図1に示すように、レーザ光源1と、ガルバノミラー2(走査部)と、対物レンズ3と、標本4と、XYステージ5と、ダイクロイックミラー6と、ピンホール7と、PMT8(光検出部)と、PC15とを備えている。   The scanning laser microscope 101 according to the present embodiment has the same configuration as the scanning laser microscope 100 according to the first embodiment. As shown in FIG. 1, the laser light source 1 and the galvanometer mirror 2 ( A scanning unit), an objective lens 3, a specimen 4, an XY stage 5, a dichroic mirror 6, a pinhole 7, a PMT 8 (light detection unit), and a PC 15.

本実施形態に係る走査型レーザ顕微鏡101の動作について、図7を参照して説明する。
まず、部分画像観察領域の設定を行う(ステップS21)。ユーザーは、モニタ12を参照しながらマウス13やキーボード14を操作して、部分画像の取得条件を設定する。具体的には、対物レンズ3の倍率、ズーム倍率、画素分解能、画像サイズ、レーザ強度、PMT8の感度、そしてタイムラプスのシリーズ数を指定する。また、ユーザーは、1つの画像として取得したい範囲の中心にXYステージ5を移動させ、マウス13やキーボード14を使用して現在の観察領域を部分画像観察領域として登録する。登録した際の部分画像取得条件はメモリ10に保存される。
The operation of the scanning laser microscope 101 according to this embodiment will be described with reference to FIG.
First, a partial image observation area is set (step S21). The user operates the mouse 13 and the keyboard 14 while referring to the monitor 12 to set partial image acquisition conditions. Specifically, the magnification of the objective lens 3, the zoom magnification, the pixel resolution, the image size, the laser intensity, the sensitivity of the PMT 8, and the number of series of time lapse are designated. In addition, the user moves the XY stage 5 to the center of a range to be acquired as one image, and registers the current observation area as a partial image observation area using the mouse 13 and the keyboard 14. The partial image acquisition conditions at the time of registration are stored in the memory 10.

次に、第1の実施形態と同様に、注目領域の設定が行われ(ステップS22)、1シリーズ目か2シリーズ目であることの判断が行われる(ステップJ21)。
まず、1シリーズ目の処理について説明する。
1シリーズ目の処理の場合には、重複領域の大きさの計算(ステップS23)、部分画像観察領域の拡大(ステップS24)、部分画像観察領域の配置(ステップS25)、ステージの移動(ステップS26)、部分画像の取得と保存(ステップS27)、全ての画像を取得したかの判断(ステップJ22)、部分画像の読み込み(ステップS28)、部分画像観察領域が視野円よりも大きいかの判断(ステップJ23)、部分画像観察領域の外周部分の除去(ステップS29)、画像合成処理(ステップS30)を行う。
これらの処理は第1の実施形態と同様であるため、ここでは説明を省略する。
Next, similarly to the first embodiment, the attention area is set (step S22), and it is determined that the first series or the second series is selected (step J21).
First, the first series of processes will be described.
In the case of the first series of processing, the size of the overlapping area is calculated (step S23), the partial image observation area is enlarged (step S24), the partial image observation area is arranged (step S25), and the stage is moved (step S26). ), Acquisition and storage of partial images (step S27), determination of whether all images have been acquired (step J22), reading of partial images (step S28), determination of whether the partial image observation area is larger than the viewing circle (step S22) Step J23), removal of the outer peripheral portion of the partial image observation area (step S29), and image composition processing (step S30) are performed.
Since these processes are the same as those in the first embodiment, description thereof is omitted here.

次に、1シリーズ目であることの判断が行われ(ステップJ24)、CPU9は、画像合成処理で求まった合成位置とステージの移動誤差が無かったときの理想的な合成位置との差(つまりXYステージ5の移動誤差)を計算する(ステップS31)。例えば、X方向に2μm、Y方向に3μmずれていたとすると、理想的な合成位置からの差は、およそ3.6μmとなる。この計算を全ての隣接する部分画像間で行い、最大値をメモリ10またはハードディスク11に保存されたステージ制御の最大誤差に代入する。   Next, it is determined that it is the first series (step J24), and the CPU 9 determines the difference between the composition position obtained by the image composition processing and the ideal composition position when there is no stage movement error (that is, The movement error of the XY stage 5 is calculated (step S31). For example, if there is a deviation of 2 μm in the X direction and 3 μm in the Y direction, the difference from the ideal synthesis position is approximately 3.6 μm. This calculation is performed between all adjacent partial images, and the maximum value is substituted into the maximum error of the stage control stored in the memory 10 or the hard disk 11.

次に、第1の実施形態と同様に全体画像のサイズを調整する(ステップS32)。
全体画像をハードディスク11に保存する(ステップS33)。これで1シリーズ目の処理は終了である。
Next, as in the first embodiment, the size of the entire image is adjusted (step S32).
The entire image is stored in the hard disk 11 (step S33). This completes the processing of the first series.

次に、2シリーズ目の処理について説明する。
まず、CPU9は、重複領域の大きさの計算を更新されたステージ制御の最大誤差を用いて行う(ステップS23)。
次に、CPU9は、更新された重複領域の大きさを用いて部分画像観察領域の拡大(ステップS24)、部分画像観察領域の配置(ステップS25)を行う。
Next, the processing of the second series will be described.
First, the CPU 9 performs the calculation of the size of the overlapping area using the updated maximum error of the stage control (step S23).
Next, the CPU 9 performs enlargement of the partial image observation area (step S24) and arrangement of the partial image observation area (step S25) using the updated size of the overlapping area.

そして、ステージの移動(ステップS26)、部分画像の取得と保存(ステップS27)、部分画像の読み込み(ステップS28)、部分画像観察領域の外周部分の除去(ステップS29)、画像合成処理(ステップS30)、全体画像のサイズの調整(ステップS32)、全体画像の保存(ステップS33)を同様に行う。   Then, movement of the stage (step S26), acquisition and storage of the partial image (step S27), reading of the partial image (step S28), removal of the outer peripheral portion of the partial image observation area (step S29), and image composition processing (step S30) ), Adjustment of the size of the entire image (step S32), and storage of the entire image (step S33) are performed in the same manner.

3シリーズ目以降は、ステージの移動(ステップS26)、部分画像の取得と保存(ステップS27)、全ての画像を取得したかの判断(ステップJ22)、部分画像の読み込み(ステップS28)、部分画像観察領域が視野円よりも大きいかの判断(ステップJ23)、部分画像観察領域の外周部分の除去(ステップS29)、画像合成処理(ステップS30)、全体画像のサイズ調整(ステップS32)、全体画像の保存(ステップS33)を繰り返し(ステップJ25)、全てのシリーズ画像を取得する。   In the third and subsequent series, stage movement (step S26), acquisition and storage of partial images (step S27), determination of whether all images have been acquired (step J22), reading of partial images (step S28), partial images Judgment whether the observation area is larger than the field circle (step J23), removal of the outer peripheral portion of the partial image observation area (step S29), image composition processing (step S30), size adjustment of the whole image (step S32), whole image (Step S25) is repeated (step J25), and all series images are acquired.

以上のように、本実施形態に係る走査型レーザ顕微鏡101によれば、画像合成処理を行うことで求まるXYステージ5の移動誤差を次回の重複領域の大きさの計算に使用するため、次回は必要最低限の大きさの重複領域で部分画像の取得ができる。また、標本4が蛍光染色されている場合においては、蛍光の退色が進みやすい領域を減らすことができる。また、生細胞の観察ではレーザによる損傷を減らすことができる。   As described above, according to the scanning laser microscope 101 according to the present embodiment, the movement error of the XY stage 5 obtained by performing the image composition process is used for the next calculation of the size of the overlapping region. Partial images can be acquired with an overlap area of the minimum necessary size. Further, in the case where the specimen 4 is fluorescently stained, it is possible to reduce the area where the fading of the fluorescent light easily proceeds. Moreover, the damage by a laser can be reduced in the observation of a living cell.

[第1の変形例]
以下に、本実施形態に係る走査型レーザ顕微鏡101の第1の変形例について説明する。
XYステージ5の移動誤差は、XYステージ5の位置や動かす距離に強く依存すると考えられる。そこで、本変形例では、同じ領域を同じ条件で画像を取得する場合に、それぞれの場所ごとに誤差を計算し、それを次回の重複領域の大きさの計算に使用してもよい。これによって、さらに小さい重複領域で部分画像を取得することができる。
[First Modification]
Below, the 1st modification of the scanning laser microscope 101 which concerns on this embodiment is demonstrated.
The movement error of the XY stage 5 is considered to strongly depend on the position of the XY stage 5 and the moving distance. Therefore, in this modification, when an image is acquired from the same area under the same conditions, an error may be calculated for each location and used for the next calculation of the size of the overlapping area. Thereby, a partial image can be acquired with a smaller overlapping area.

[第2の変形例]
以下に、本実施形態に係る走査型レーザ顕微鏡101の第2の変形例について説明する。
本変形例では、2シリーズ目で部分画像観察領域の拡大を行って、1シリーズ目と部分画像観察領域の大きさを変更するときに、ガルバノミラー2の駆動範囲は維持したまま、レーザ光を照射する範囲と画像化する範囲を変更してもよい。これにより、駆動範囲を変える電気信号を生成する必要も無くなり、また途中で駆動範囲を変更することが困難な共振型ガルバノミラーをガルバノミラー2の代わりに用いることもできるようになる。
[Second Modification]
Below, the 2nd modification of the scanning laser microscope 101 which concerns on this embodiment is demonstrated.
In this modification, when the partial image observation area is enlarged in the second series and the sizes of the first series and the partial image observation area are changed, the laser beam is emitted while maintaining the driving range of the galvanometer mirror 2. The irradiation range and the imaging range may be changed. This eliminates the need to generate an electric signal for changing the drive range, and a resonant galvanometer mirror, which is difficult to change the drive range in the middle, can be used in place of the galvanometer mirror 2.

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明を上記の各実施形態および各変形例に適用したものに限定されることなく、これらの実施形態および変形例を適宜組み合わせた実施形態に適用してもよく、特に限定されるものではない。   As mentioned above, although embodiment of this invention was explained in full detail with reference to drawings, the specific structure is not restricted to this embodiment, The design change etc. of the range which does not deviate from the summary of this invention are included. For example, the present invention is not limited to those applied to the above-described embodiments and modifications, and may be applied to embodiments in which these embodiments and modifications are appropriately combined, and is particularly limited. is not.

1 レーザ光源
2 ガルバノミラー(走査部)
3 対物レンズ
4 標本
5 XYステージ
6 ダイクロイックミラー
7 ピンホール
8 PMT(光検出部)
9 CPU(拡大部分画像生成部、画像合成部、制御部)
10 メモリ
11 ハードディスク(拡大部分画像蓄積部)
12 モニタ
13 マウス
14 キーボード
15 PC
100,101 走査型レーザ顕微鏡
1 Laser light source 2 Galvano mirror (scanning part)
3 Objective Lens 4 Specimen 5 XY Stage 6 Dichroic Mirror 7 Pinhole 8 PMT (Photodetection Unit)
9 CPU (enlarged partial image generation unit, image composition unit, control unit)
10 memory 11 hard disk (enlarged partial image storage unit)
12 Monitor 13 Mouse 14 Keyboard 15 PC
100, 101 Scanning laser microscope

Claims (9)

標本上においてレーザ光を2次元走査する走査部と、
該走査部により走査されたレーザ光を前記標本に集光する対物レンズと、
前記標本からの光を検出する光検出部と、
該光検出部により検出された光の強度と前記走査部の走査位置情報に基づいて、相互に重複せずに隣接する前記標本の部分画像を含み、且つ、該部分画像よりも大きな拡大部分画像を、前記部分画像と同じ画素分解能で生成する拡大部分画像生成部と、
該拡大部分画像生成部により生成された複数の前記拡大部分画像を蓄積する拡大部分画像蓄積部と、
該拡大部分画像蓄積部に蓄積された複数の前記拡大部分画像を互いに一部重複するように合成して、前記標本の全体画像を生成する画像合成部とを備え
前記拡大部分画像生成部が、前記走査部による走査範囲を広げることで、前記拡大部分画像を生成する走査型レーザ顕微鏡。
A scanning unit for two-dimensionally scanning laser light on the specimen;
An objective lens that focuses the laser beam scanned by the scanning unit on the specimen;
A light detection unit for detecting light from the specimen;
Based on the intensity of the light detected by the light detection unit and the scanning position information of the scanning unit, the enlarged partial image includes a partial image of the adjacent sample that does not overlap each other and is larger than the partial image. An enlarged partial image generating unit that generates the same pixel resolution as the partial image,
An enlarged partial image accumulating unit for accumulating a plurality of the enlarged partial images generated by the enlarged partial image generating unit;
An image synthesis unit that synthesizes the plurality of enlarged partial images stored in the enlarged partial image storage unit so as to partially overlap each other, and generates an entire image of the specimen ;
The magnified partial image generating unit, by extending the scanning range by the scanning unit, the scanning laser microscope that generates the enlarged partial image.
前記拡大部分画像生成部が、前記部分画像を重複領域の半分の大きさだけ拡大させて拡大部分画像を生成する請求項1に記載の走査型レーザ顕微鏡。 The scanning laser microscope according to claim 1, wherein the enlarged partial image generation unit generates the enlarged partial image by enlarging the partial image by half the size of the overlapping region. 前記対物レンズの光軸に直交する方向に、前記標本を前記対物レンズに対して相対的に移動させるステージを備え、
前記拡大部分画像生成部が、前記ステージの移動誤差に基づいて、前記部分画像の拡大および前記拡大部分画像の重複領域の設定を行う請求項1または請求項2に記載の走査型レーザ顕微鏡。
A stage for moving the specimen relative to the objective lens in a direction perpendicular to the optical axis of the objective lens;
The magnified partial image generating unit, based on the movement error of the stage, scanning laser microscope according to claim 1 or claim 2 for setting the overlap region of expansion and the enlarged image segments of the partial image.
前記拡大部分画像生成部が、画像合成の結果得られた合成位置から前記ステージの移動誤差を算出する請求項に記載の走査型レーザ顕微鏡。 The scanning laser microscope according to claim 3 , wherein the enlarged partial image generation unit calculates a movement error of the stage from a synthesis position obtained as a result of image synthesis. 前記対物レンズの光軸に直交する方向に、前記標本を前記対物レンズに対して相対的に移動させるステージを備え、
前記画像合成部が、前記ステージの移動誤差に基づいて画像の合成位置を探索する範囲を設定する請求項1から請求項のいずれかに記載の走査型レーザ顕微鏡。
A stage for moving the specimen relative to the objective lens in a direction perpendicular to the optical axis of the objective lens;
The scanning laser microscope according to any one of claims 1 to 4 , wherein the image composition unit sets a range for searching for an image composition position based on a movement error of the stage.
前記画像合成部が、前記光検出部まで前記標本からの光が届かなかった前記拡大部分画像の外周部分を除いてから画像合成を行う請求項1から請求項のいずれかに記載の走査型レーザ顕微鏡。 The image synthesizing section, scanning according to claims 1 to perform image synthesis from excluding the peripheral portion of the enlarged partial image light is not received from the specimen to said light detector to claim 5 Laser microscope. 前記画像合成部が、前記全体画像の大きさを調整する請求項1から請求項のいずれかに記載の走査型レーザ顕微鏡。 The image synthesizing section, scanning laser microscope according to any one of claims 1 to 6 for adjusting the size of the entire image. 前記走査部の走査範囲を維持したまま、前記標本上でレーザ光を照射する範囲および画像化する範囲を変えるように前記走査部および前記光検出部を制御する制御部を備える請求項1から請求項のいずれかに記載の走査型レーザ顕微鏡。 The control part which controls the said scanning part and the said light detection part is provided so that the range which irradiates a laser beam on the said sample, and the range to image may be changed, maintaining the scanning range of the said scanning part. Item 8. The scanning laser microscope according to any one of Items 7 . 前記全体画像として取得すべき注目領域の大きさを、ユーザが前記部分画像に基づいて設定可能である請求項1から請求項のいずれかに記載の走査型レーザ顕微鏡。 The scanning laser microscope according to any one of claims 1 to 8 , wherein a user can set a size of a region of interest to be acquired as the entire image based on the partial image.
JP2010230884A 2010-10-13 2010-10-13 Scanning laser microscope Expired - Fee Related JP5718012B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010230884A JP5718012B2 (en) 2010-10-13 2010-10-13 Scanning laser microscope

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010230884A JP5718012B2 (en) 2010-10-13 2010-10-13 Scanning laser microscope

Publications (2)

Publication Number Publication Date
JP2012083621A JP2012083621A (en) 2012-04-26
JP5718012B2 true JP5718012B2 (en) 2015-05-13

Family

ID=46242542

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010230884A Expired - Fee Related JP5718012B2 (en) 2010-10-13 2010-10-13 Scanning laser microscope

Country Status (1)

Country Link
JP (1) JP5718012B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6353831B2 (en) * 2012-06-26 2018-07-04 ケーエルエー−テンカー コーポレイション Algorithmic removal from scanning and diffraction optical measurements in angle-resolved reflectometry
JP6363890B2 (en) * 2014-07-04 2018-07-25 オリンパス株式会社 Scanning microscope apparatus and super-resolution image generation method
US20170241911A1 (en) * 2016-02-22 2017-08-24 Miltenyi Biotec Gmbh Automated analysis tool for biological specimens

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10333056A (en) * 1997-05-28 1998-12-18 Nikon Corp Microscopic device and image forming method
JP3824116B2 (en) * 1998-01-29 2006-09-20 日本電信電話株式会社 Microscope image remote control system
JP2002098639A (en) * 2000-09-21 2002-04-05 Olympus Optical Co Ltd Image data acquisition method
JP4401884B2 (en) * 2004-07-16 2010-01-20 キヤノン株式会社 Video signal processing apparatus and method
JP4855008B2 (en) * 2005-08-10 2012-01-18 オリンパス株式会社 Laser apparatus, laser modulation method, and laser microscope
JP4810999B2 (en) * 2005-12-05 2011-11-09 日産自動車株式会社 Vehicle peripheral image display device
DE602008000515D1 (en) * 2007-02-05 2010-03-04 Olympus Corp Laser Scanning Microscope
JP5006062B2 (en) * 2007-02-05 2012-08-22 オリンパス株式会社 Virtual slide creation device, virtual slide creation method, and virtual slide creation program

Also Published As

Publication number Publication date
JP2012083621A (en) 2012-04-26

Similar Documents

Publication Publication Date Title
US20140313312A1 (en) Digital microscope and method for optimizing the work process in a digital microscope
JP5154392B2 (en) Imaging device
JP2011186305A (en) Virtual-slide creating device
JP5447516B2 (en) Image processing apparatus, image processing method, program, and microscope
JP4700299B2 (en) Confocal scanning microscope
KR20110030275A (en) Method and apparatus for image generation
JP2010256530A (en) Microscope device
JP5718012B2 (en) Scanning laser microscope
JP6480713B2 (en) Microscope system
JP6716383B2 (en) Microscope system, information presentation method, program
JP2011141391A (en) Virtual slide forming apparatus and virtual slide forming method
JP2006293219A (en) Scanning type confocal microscope and method of measuring sample information
JP2016051167A (en) Image acquisition device and control method therefor
US10475198B2 (en) Microscope system and specimen observation method
JP5019279B2 (en) Confocal microscope and method for generating focused color image
JP2008134339A (en) Confocal microscope
JP5209100B2 (en) Imaging device
JP5149984B2 (en) Imaging device
JP7042361B2 (en) Imaging device
JP2013088570A (en) Microscope apparatus
JP2011237616A (en) Scanning microscope
JPH11287618A (en) Image processing device
JP5209137B2 (en) Imaging device
JP2010164635A (en) Confocal microscope
JP2010160022A (en) Living body observation system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140606

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141212

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20141219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150318

R151 Written notification of patent or utility model registration

Ref document number: 5718012

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

LAPS Cancellation because of no payment of annual fees