JP7134839B2 - MICROSCOPE DEVICE, CONTROL METHOD AND PROGRAM - Google Patents

MICROSCOPE DEVICE, CONTROL METHOD AND PROGRAM Download PDF

Info

Publication number
JP7134839B2
JP7134839B2 JP2018209715A JP2018209715A JP7134839B2 JP 7134839 B2 JP7134839 B2 JP 7134839B2 JP 2018209715 A JP2018209715 A JP 2018209715A JP 2018209715 A JP2018209715 A JP 2018209715A JP 7134839 B2 JP7134839 B2 JP 7134839B2
Authority
JP
Japan
Prior art keywords
microscope
objective lens
dimensional image
optical axis
laser scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018209715A
Other languages
Japanese (ja)
Other versions
JP2020076857A (en
Inventor
浩平 森田
隆介 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Evident Corp
Original Assignee
Evident Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Evident Corp filed Critical Evident Corp
Priority to JP2018209715A priority Critical patent/JP7134839B2/en
Publication of JP2020076857A publication Critical patent/JP2020076857A/en
Application granted granted Critical
Publication of JP7134839B2 publication Critical patent/JP7134839B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本明細書の開示は、顕微鏡装置、制御方法、及び、プログラムに関する。 The disclosure of the present specification relates to a microscope device, a control method, and a program.

共焦点顕微鏡、多光子励起顕微鏡などに代表されるレーザ走査顕微鏡は、高い分解能(resolving power)を有する光学顕微鏡として知られている。レーザ走査顕微鏡は、対物レンズの光軸と直交するXY方向に高い分解能を有するだけではなく、光軸方向(以降、Z方向と記す。)にも高い分解能を有している。このため、高い解像度(resolution)を有する三次元画像を構築することが可能である。なお、以降では、対物レンズの光軸方向の分解能を特にZ分解能と記す。 Laser scanning microscopes represented by confocal microscopes and multiphoton excitation microscopes are known as optical microscopes with high resolving power. A laser scanning microscope has high resolution not only in the XY direction orthogonal to the optical axis of the objective lens, but also in the optical axis direction (hereinafter referred to as Z direction). Thus, it is possible to construct three-dimensional images with high resolution. Note that, hereinafter, the resolution in the direction of the optical axis of the objective lens is particularly referred to as the Z resolution.

その一方で、レーザ走査顕微鏡は、レーザ光で試料を走査することによって試料の画像を取得することから、走査範囲が大きくなるほど画像取得に要する時間が長くなる。このため、観察すべき領域が走査範囲に確実に含まれるように、レーザ走査顕微鏡を用いて試料の広い範囲を画像化すると、その画像(以降、広域画像と記す。)の取得に多くの時間を要してしまう。 On the other hand, the laser scanning microscope acquires an image of the sample by scanning the sample with a laser beam, so the larger the scanning range, the longer the time required to acquire the image. For this reason, if a laser scanning microscope is used to image a wide range of a sample so that the area to be observed is certainly included in the scanning range, it takes a long time to acquire the image (hereinafter referred to as a wide-area image). I need.

このような技術的な課題に関連する技術は、例えば、特許文献1に記載されている。特許文献1には、CCDとLSM装置とを含み、CCDにより取得した二次元画像内で、LSM装置で画像を取得すべき観察領域を指定する観察装置が記載されている。この観察装置によれば、CCDによって広域画像を取得し、広域画像内で指定した観察対象領域の画像をLSM装置によって取得することができる。 A technique related to such a technical problem is described in Patent Literature 1, for example. Patent Literature 1 describes an observation device that includes a CCD and an LSM device, and designates an observation region in a two-dimensional image acquired by the CCD to acquire an image with the LSM device. According to this observation device, a wide-area image can be acquired by the CCD, and an image of an observation target area specified in the wide-area image can be acquired by the LSM device.

特開2010-286565号公報JP 2010-286565 A

ところで、高分解能で観察すべき観察対象領域は試料内に三次元に広がっていることが少なくないため、広域画像は三次元画像であることが望ましい。しかしながら、特許文献1には、三次元画像の取得について何ら言及されていない。また、たとえ特許文献1に記載の観察装置を三次元画像の構築に応用したとしても、CCDを用いて二次元画像を取得する構成はZ方向に分解能を有しないため、観察対象領域を指定するに足りる画質を有する三次元画像を構築することは難しい。 By the way, since an observation target area to be observed with high resolution often extends three-dimensionally within a specimen, it is desirable that the wide-area image be a three-dimensional image. However, Patent Document 1 does not mention acquisition of a three-dimensional image at all. Further, even if the observation device described in Patent Document 1 is applied to construct a three-dimensional image, the configuration for acquiring a two-dimensional image using a CCD does not have resolution in the Z direction. It is difficult to construct a three-dimensional image with sufficient image quality for .

以上のような実情から、本発明の一側面に係る目的は、観察すべき三次元領域を高い分解能で早期に観察可能とする技術を提供することである。 In view of the circumstances as described above, it is an object of one aspect of the present invention to provide a technique that enables early observation of a three-dimensional region to be observed with high resolution.

本発明の一態様に係る顕微鏡装置は、対物レンズを含む、レーザ走査顕微鏡と、前記対物レンズの光軸と同軸上に観察光軸を有する、ライトシート顕微鏡と、前記レーザ走査顕微鏡と前記ライトシート顕微鏡を制御する制御装置と、を備える。前記制御装置は、前記ライトシート顕微鏡が取得した試料の複数の第1断層画像に基づいて、第1三次元画像を構築し、前記第1三次元画像を表示装置に表示し、前記表示装置に表示された前記第1三次元画像のうちの利用者によって選択された観察対象領域に対応する前記試料の三次元領域を走査領域に設定し、前記レーザ走査顕微鏡が前記走査領域を走査することによって取得した前記試料の複数の第2断層画像に基づいて、第2三次元画像を構築する。 A microscope apparatus according to an aspect of the present invention includes a laser scanning microscope including an objective lens, a light sheet microscope having an observation optical axis coaxial with the optical axis of the objective lens, the laser scanning microscope and the light sheet a controller for controlling the microscope. The control device constructs a first three-dimensional image based on a plurality of first tomographic images of the sample acquired by the light sheet microscope, displays the first three-dimensional image on the display device, and By setting a three-dimensional region of the sample corresponding to the observation target region selected by the user in the displayed first three-dimensional image as a scanning region, and scanning the scanning region with the laser scanning microscope A second three-dimensional image is constructed based on the acquired plurality of second tomographic images of the sample.

本発明の一態様に係る制御方法は、対物レンズを含むレーザ走査顕微鏡と、前記対物レンズの光軸と同軸上に観察光軸を有するライトシート顕微鏡と、を備える顕微鏡装置の制御方法である。前記制御方法は、前記ライトシート顕微鏡が取得した試料の複数の第1断層画像に基づいて、第1三次元画像を構築し、前記第1三次元画像を表示装置に表示し、前記表示装置に表示された前記第1三次元画像のうちの利用者によって選択された観察対象領域に対応する前記試料の三次元領域を走査領域に設定し、前記レーザ走査顕微鏡が前記走査領域を走査することによって取得した前記試料の複数の第2断層画像に基づいて、第2三次元画像を構築する。 A control method according to an aspect of the present invention is a control method for a microscope apparatus including a laser scanning microscope including an objective lens and a light sheet microscope having an observation optical axis coaxial with the optical axis of the objective lens. The control method constructs a first three-dimensional image based on a plurality of first tomographic images of a sample acquired by the light sheet microscope, displays the first three-dimensional image on a display device, and displays the first three-dimensional image on the display device. By setting a three-dimensional region of the sample corresponding to the observation target region selected by the user in the displayed first three-dimensional image as a scanning region, and scanning the scanning region with the laser scanning microscope A second three-dimensional image is constructed based on the acquired plurality of second tomographic images of the sample.

本発明の一態様に係るプログラムは、対物レンズを含むレーザ走査顕微鏡と、前記対物レンズの光軸と同軸上に観察光軸を有するライトシート顕微鏡と、を備える顕微鏡装置のコンピュータに、前記ライトシート顕微鏡が取得した試料の複数の第1断層画像に基づいて、第1三次元画像を構築し、前記第1三次元画像を表示装置に表示し、前記表示装置に表示された前記第1三次元画像のうちの利用者によって選択された観察対象領域に対応する前記試料の三次元領域を走査領域に設定し、前記レーザ走査顕微鏡が前記走査領域を走査することによって取得した前記試料の複数の第2断層画像に基づいて、第2三次元画像を構築する処理を実行させる。 A program according to an aspect of the present invention is a computer of a microscope apparatus comprising a laser scanning microscope including an objective lens, and a light sheet microscope having an observation optical axis coaxial with the optical axis of the objective lens, the light sheet constructing a first three-dimensional image based on a plurality of first tomographic images of a specimen acquired by a microscope, displaying the first three-dimensional image on a display device, and displaying the first three-dimensional image on the display device; A three-dimensional region of the sample corresponding to an observation target region selected by a user in the image is set as a scanning region, and the laser scanning microscope scans the scanning region to obtain a plurality of first images of the sample. A process of constructing a second three-dimensional image is executed based on the two tomographic images.

上記の態様によれば、観察すべき三次元領域を高い分解能で早期に観察可能とすることができる。 According to the above aspect, it is possible to observe the three-dimensional region to be observed with high resolution at an early stage.

第1実施形態に係る顕微鏡装置1の構成を例示した図である。BRIEF DESCRIPTION OF THE DRAWINGS It is the figure which illustrated the structure of the microscope apparatus 1 which concerns on 1st Embodiment. 制御装置40の機能構成を例示した図である。2 is a diagram illustrating a functional configuration of a control device 40; FIG. 制御装置40の物理構成を例示した図である。4 is a diagram illustrating a physical configuration of a control device 40; FIG. 顕微鏡装置1が行う制御処理の流れを示すフローチャートである。4 is a flow chart showing the flow of control processing performed by the microscope apparatus 1. FIG. 第1三次元画像の表示例について説明するための図である。FIG. 4 is a diagram for explaining a display example of a first three-dimensional image; FIG. 観察光軸方向への走査方法の一例について説明するための図である。It is a figure for demonstrating an example of the scanning method to an observation optical axis direction. 観察対象領域の表示例について説明するための図である。FIG. 10 is a diagram for explaining a display example of an observation target area; 第2三次元画像の表示例について説明するための図である。FIG. 11 is a diagram for explaining a display example of a second three-dimensional image; FIG. 観察光軸方向への走査方法の別の例について説明するための図である。It is a figure for demonstrating another example of the scanning method to an observation optical axis direction. キャリブレーション処理の流れを示すフローチャートである。4 is a flowchart showing the flow of calibration processing; キャリブレーションによる二次元スキャナの走査範囲の変更について説明するための図である。FIG. 10 is a diagram for explaining how the scanning range of the two-dimensional scanner is changed by calibration; 顕微鏡装置2の構成を例示した図である。2 is a diagram illustrating the configuration of a microscope device 2; FIG. 顕微鏡装置3の構成を例示した図である。3 is a diagram illustrating the configuration of a microscope device 3; FIG. 貼り合わせ技術を用いた三次元画像の構築方法の一例を示した図である。FIG. 10 is a diagram showing an example of a method for constructing a three-dimensional image using a stitching technique; 貼り合わせ技術を用いた三次元画像の構築方法の別の例を示した図である。FIG. 10 is a diagram showing another example of a method of constructing a three-dimensional image using a stitching technique;

[第1実施形態]
図1は、本実施形態に係る顕微鏡装置1の構成を例示した図である。図2は、顕微鏡装置1に含まれる制御装置40の機能構成を例示した図である。図3は、顕微鏡装置1に含まれる制御装置40の物理構成を例示した図である。図1に示す顕微鏡装置1は、生物標本である試料Sを観察する生物顕微鏡装置であり、例えば、蛍光観察法を用いて試料Sから生じた蛍光を検出することで、試料Sの画像を取得する。
[First embodiment]
FIG. 1 is a diagram illustrating the configuration of a microscope apparatus 1 according to this embodiment. FIG. 2 is a diagram exemplifying the functional configuration of the control device 40 included in the microscope apparatus 1. As shown in FIG. FIG. 3 is a diagram exemplifying the physical configuration of the control device 40 included in the microscope device 1. As shown in FIG. A microscope apparatus 1 shown in FIG. 1 is a biological microscope apparatus for observing a sample S, which is a biological specimen. For example, an image of the sample S is acquired by detecting fluorescence generated from the sample S using a fluorescence observation method. do.

顕微鏡装置1は、図1に示すように、顕微鏡本体10と制御装置40を備えている。顕微鏡装置1は、さらに、表示装置50と入力装置60を備えている。表示装置50は、例えば、液晶ディスプレイ、有機EL(OLED)ディスプレイ、CRT(Cathode Ray Tube)ディスプレイなどである。入力装置60は、例えば、マウス、キーボード、ジョイスティック、タッチパネルなどである。入力装置60は、利用者の入力操作に応じた操作信号を制御装置40へ出力する。 The microscope apparatus 1 includes a microscope body 10 and a control device 40, as shown in FIG. The microscope device 1 further includes a display device 50 and an input device 60 . The display device 50 is, for example, a liquid crystal display, an organic EL (OLED) display, a CRT (Cathode Ray Tube) display, or the like. The input device 60 is, for example, a mouse, keyboard, joystick, touch panel, or the like. The input device 60 outputs an operation signal to the control device 40 according to the user's input operation.

顕微鏡本体10は、対物レンズ12aを含むレーザ走査顕微鏡20と、対物レンズ12aの光軸と同軸上に観察光軸を有するライトシート顕微鏡30と、を備えている。レーザ走査顕微鏡20とライトシート顕微鏡30は、試料Sを載置する電動ステージ11と、複数の対物レンズ(対物レンズ12a、対物レンズ12b)と、複数の対物レンズが装着された対物レンズ切換装置であるレボルバ13と、ミラー14aを光路に対して挿脱するためのターレット14と、を共有している。即ち、顕微鏡装置1では、レーザ走査顕微鏡20とライトシート顕微鏡30は、互いの観察光路の一部を共有している。なお、対物レンズ12aは、対物レンズ12bよりも低倍率の対物レンズである。 The microscope body 10 includes a laser scanning microscope 20 including an objective lens 12a, and a light sheet microscope 30 having an observation optical axis coaxial with the optical axis of the objective lens 12a. The laser scanning microscope 20 and the light sheet microscope 30 are an electric stage 11 on which the sample S is placed, a plurality of objective lenses (objective lens 12a, objective lens 12b), and an objective lens switching device equipped with a plurality of objective lenses. A certain revolver 13 and a turret 14 for inserting and removing the mirror 14a with respect to the optical path are shared. That is, in the microscope apparatus 1, the laser scanning microscope 20 and the light sheet microscope 30 share part of the mutual observation optical path. The objective lens 12a has a lower magnification than the objective lens 12b.

電動ステージ11は、制御装置40からの指示に従って移動するステージである。電動ステージ11は、対物レンズ12aの光軸と直交する方向に加えて、対物レンズ12aの光軸方向にも移動する。 The motorized stage 11 is a stage that moves according to instructions from the control device 40 . The electric stage 11 moves not only in the direction orthogonal to the optical axis of the objective lens 12a but also in the optical axis direction of the objective lens 12a.

レボルバ13は、対物レンズ切換装置であるが、光路上の対物レンズを光軸方向へ移動する焦準装置でもある。レボルバ13は、制御装置40からの指示に従って回転する電動レボルバであってもよく、手動操作により回転する手動レボルバであってもよい。 The revolver 13 is not only an objective lens switching device, but also a focusing device for moving the objective lens on the optical path in the optical axis direction. The revolver 13 may be an electric revolver that rotates according to an instruction from the control device 40, or a manual revolver that rotates by manual operation.

ターレット14は、レーザ走査顕微鏡20が試料Sの画像を取得するときに、ミラー14aを光路上に配置し、ライトシート顕微鏡30が試料Sの画像を取得するときに、ミラー14aを光路外に配置する、光路切換装置である。なお、ターレット14は、制御装置40からの指示に従って回転する電動ターレットであってもよく、手動で回転する手動ターレットであってもよい。 The turret 14 arranges the mirror 14a on the optical path when the laser scanning microscope 20 acquires the image of the sample S, and arranges the mirror 14a out of the optical path when the light sheet microscope 30 acquires the image of the sample S. It is an optical path switching device. Note that the turret 14 may be an electric turret that rotates according to an instruction from the control device 40, or a manual turret that rotates manually.

レーザ走査顕微鏡20は、共焦点顕微鏡であり、レーザ光を偏向するニ次元スキャナ23を備えている。より詳細には、レーザ走査顕微鏡20は、レーザ21と、絞り21aと、ダイクロイックミラー22と、ニ次元スキャナ23と、共焦点絞り24と、光電子増倍管(以降、PMTと記す)25を備えている。 The laser scanning microscope 20 is a confocal microscope and includes a two-dimensional scanner 23 that deflects laser light. More specifically, the laser scanning microscope 20 includes a laser 21, an aperture 21a, a dichroic mirror 22, a two-dimensional scanner 23, a confocal aperture 24, and a photomultiplier tube (hereinafter referred to as PMT) 25. ing.

レーザ21から出射したレーザ光は、絞り21aを介して入射したダイクロイックミラー22で反射し、ニ次元スキャナ23及びミラー14aを経由して、対物レンズ12aに入射する。対物レンズ12aは、レーザ光を試料Sに集光し、試料Sに光スポットを形成する。 A laser beam emitted from the laser 21 enters through the diaphragm 21a, is reflected by the dichroic mirror 22, passes through the two-dimensional scanner 23 and the mirror 14a, and enters the objective lens 12a. The objective lens 12a converges the laser beam on the sample S to form a light spot on the sample.

レーザ光が照射された試料Sでは、蛍光物質が励起され、レーザ光とは異なる波長の蛍光が放射される。蛍光は、対物レンズ12a、ミラー14a、及び、ニ次元スキャナ23を経由して入射するダイクロイックミラー22を透過し、共焦点絞り24へ入射する。共焦点絞り24には、対物レンズ12aの前側焦点位置と光学的に共役な位置にピンホールが形成されている。このため、光スポットが形成された位置以外で生じた蛍光は共焦点絞り24で遮断され、光スポットが形成された位置で生じた蛍光だけが共焦点絞り24を通過してPMT25で検出される。なお、前側焦点位置とは、対物レンズ12aの焦点位置のうち、電動ステージ11に近い焦点位置のことをいう。また、蛍光を検出する光検出器は、PMTに限らない。例えば、複数のガイガーモードAPD(Avalanche Photodiode)のピクセルからなるMPPC(Multi-Pixel Photon Counter、登録商標)などであってもよい。 In the sample S irradiated with the laser light, the fluorescent substance is excited, and fluorescence with a wavelength different from that of the laser light is emitted. The fluorescence passes through the objective lens 12 a , the mirror 14 a , and the dichroic mirror 22 entering via the two-dimensional scanner 23 and enters the confocal diaphragm 24 . A pinhole is formed in the confocal diaphragm 24 at a position optically conjugate with the front focal position of the objective lens 12a. Therefore, the fluorescence generated at positions other than the position where the light spot is formed is blocked by the confocal diaphragm 24, and only the fluorescence generated at the position where the light spot is formed passes through the confocal diaphragm 24 and is detected by the PMT 25. . Note that the front focal position refers to a focal position near the motorized stage 11 among the focal positions of the objective lens 12a. Moreover, the photodetector for detecting fluorescence is not limited to PMT. For example, an MPPC (Multi-Pixel Photon Counter, registered trademark) made up of a plurality of Geiger-mode APD (Avalanche Photodiode) pixels may be used.

ニ次元スキャナ23は、例えば、2つのガルバノミラーを含んでもよく、ガルバノミラーとレゾナントスキャナを含んでもよい。2つのガルバノミラー、または、ガルバノミラーとレゾナントスキャナは、光軸と直交し、且つ、互いに直交する2つの方向にレーザ光を偏向する。これにより、試料S上に形成される光スポットを、試料面において、光軸と直交し、且つ、互いに直交するX方向とY方向に独立して移動させることが可能となる。また、ニ次元スキャナ23は、音響光学偏向器(AOD)など、その他の偏向器を含んでもよい。ニ次元スキャナ23は、ニ次元スキャナ23の振り角度を変更し、それによって、レーザ光を偏向する方向を変更することで、対物レンズ12aの瞳面における光軸に対するレーザ光の角度を変更することが可能である。これにより、光スポットの位置を対物レンズ12aの光軸と直交する方向に移動させることができる。従って、レーザ走査顕微鏡20は、制御装置40がニ次元スキャナ23を制御することで、レーザ光で試料Sをニ次元に走査することが可能であり、その結果として、試料Sの二次元画像を取得することができる。なお、上記のレーザ光を偏向する二次元スキャナを備えたレーザ走査型顕微鏡を、共焦点顕微鏡ではなく、多光子励起顕微鏡としてもよい。この場合、光子密度が極めて高くなる焦点位置でのみ多光子励起が生じると言う多光子励起の特性により共焦点効果を得られるので、共焦点絞り24を用いなくてもよい。 The two-dimensional scanner 23 may include, for example, two galvanometer mirrors, or may include a galvanometer mirror and a resonant scanner. The two galvanometer mirrors, or the galvanometer mirror and the resonant scanner, deflect the laser light in two directions perpendicular to the optical axis and perpendicular to each other. This makes it possible to independently move the light spot formed on the sample S in the X and Y directions perpendicular to the optical axis and perpendicular to each other on the sample surface. The two-dimensional scanner 23 may also include other deflectors, such as an acousto-optic deflector (AOD). The two-dimensional scanner 23 changes the swing angle of the two-dimensional scanner 23, thereby changing the direction in which the laser light is deflected, thereby changing the angle of the laser light with respect to the optical axis on the pupil plane of the objective lens 12a. is possible. Thereby, the position of the light spot can be moved in the direction perpendicular to the optical axis of the objective lens 12a. Therefore, the laser scanning microscope 20 can two-dimensionally scan the sample S with laser light by controlling the two-dimensional scanner 23 by the control device 40. As a result, a two-dimensional image of the sample S can be obtained. can be obtained. Note that the laser scanning microscope provided with the two-dimensional scanner that deflects the laser light may be a multiphoton excitation microscope instead of a confocal microscope. In this case, a confocal effect can be obtained due to the multiphoton excitation characteristic that multiphoton excitation occurs only at the focal position where the photon density is extremely high.

ライトシート顕微鏡30は、対物レンズ31を含む照明光学系と、対物レンズ12aとイメージセンサ32を含む観察光学系と、を備えている。イメージセンサ32は、例えば、CCD(Charge Coupled Device)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの二次元イメージセンサである。 The light sheet microscope 30 includes an illumination optical system including an objective lens 31 and an observation optical system including an objective lens 12 a and an image sensor 32 . The image sensor 32 is, for example, a two-dimensional image sensor such as a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.

対物レンズ31の光軸と対物レンズ12aの光軸は、交差していて、望ましくは互いに直交している。また、対物レンズ31と対物レンズ12aは、対物レンズ31の光軸と対物レンズ12aの光軸が対物レンズ31の前側焦点位置付近で交差するように、配置される。 The optical axis of the objective lens 31 and the optical axis of the objective lens 12a intersect and are preferably perpendicular to each other. The objective lens 31 and the objective lens 12a are arranged so that the optical axis of the objective lens 31 and the optical axis of the objective lens 12a intersect near the front focal position of the objective lens 31. FIG.

対物レンズ31は、例えば、対物レンズ12aの光軸と直交する方向から、試料Sにシート光を照射する。シート光が照射された試料Sの領域は、対物レンズ12aの光軸方向に薄いシート形状を有している。 The objective lens 31 irradiates the sample S with sheet light, for example, from a direction perpendicular to the optical axis of the objective lens 12a. The region of the sample S irradiated with the sheet light has a thin sheet shape in the optical axis direction of the objective lens 12a.

シート光が照射された領域では、蛍光物質が励起され、シート光とは異なる波長の蛍光が放射される。その蛍光は、対物レンズ12aを経由してイメージセンサ32上に集光する。つまり、ライトシート顕微鏡30は、シート光が照射された試料Sの領域の光学像をイメージセンサ32上に投影することが可能であり、その結果として、試料Sの二次元画像を取得することができる。 In the area irradiated with the sheet light, the fluorescent substance is excited and fluorescence with a wavelength different from that of the sheet light is emitted. The fluorescence is condensed on the image sensor 32 via the objective lens 12a. That is, the light sheet microscope 30 can project an optical image of the area of the sample S irradiated with the sheet light onto the image sensor 32, and as a result, obtain a two-dimensional image of the sample S. can.

なお、ライトシート顕微鏡30は、イメージセンサ32の露光期間内に試料Sのニ次元情報を取得することが可能なため、試料Sの各点の情報を順次取得するレーザ走査顕微鏡20よりも高速に二次元画像を得ることができる。また、ライトシート顕微鏡30は、試料Sを、観察光軸と交差する方向、望ましくは直交する方向、から照明することで、Z分解能を有する。ライトシート顕微鏡30のZ分解能は、シート光の厚さに依存するため、シート光の厚さを適切に設定することで、ライトシート顕微鏡30は、必要なZ分解能を得ることができる。 In addition, since the light sheet microscope 30 can acquire two-dimensional information of the sample S within the exposure period of the image sensor 32, the light sheet microscope 30 can acquire the information of each point of the sample S at a higher speed than the laser scanning microscope 20 that sequentially acquires the information of each point of the sample S. A two-dimensional image can be obtained. The light sheet microscope 30 also has Z resolution by illuminating the sample S in a direction that intersects, preferably perpendicular to, the observation optical axis. Since the Z resolution of the light sheet microscope 30 depends on the thickness of the light sheet, the light sheet microscope 30 can obtain the required Z resolution by appropriately setting the thickness of the light sheet.

制御装置40は、レーザ走査顕微鏡20、ライトシート顕微鏡30、及び表示装置50を制御する。制御装置40は、顕微鏡本体10、表示装置50、及び、入力装置60に接続されている。制御装置40は、レーザ走査顕微鏡20、ライトシート顕微鏡30、及び、表示装置50を主に制御する構成として、図2に示すように、第1画像取得部41、第2画像取得部42、記憶部43、領域設定部44、駆動制御部45、三次元画像構築部46、及び、表示制御部47を備えている。 A control device 40 controls the laser scanning microscope 20 , the light sheet microscope 30 , and the display device 50 . The control device 40 is connected to the microscope body 10 , the display device 50 and the input device 60 . The control device 40 mainly controls the laser scanning microscope 20, the light sheet microscope 30, and the display device 50. As shown in FIG. A section 43 , an area setting section 44 , a drive control section 45 , a three-dimensional image constructing section 46 and a display control section 47 are provided.

第1画像取得部41は、ライトシート顕微鏡30が取得した試料Sの二次元画像を取得し、記憶部43へ出力する。以降では、ライトシート顕微鏡30が取得した試料Sのニ次元画像を、第1断層画像と記す。 The first image acquisition unit 41 acquires the two-dimensional image of the sample S acquired by the light sheet microscope 30 and outputs it to the storage unit 43 . Hereinafter, the two-dimensional image of the sample S acquired by the light sheet microscope 30 is referred to as a first tomographic image.

第2画像取得部42は、レーザ走査顕微鏡20が取得した試料Sの二次元画像を取得し、記憶部43へ出力する。以降では、レーザ走査顕微鏡20が取得した試料Sのニ次元画像を、第2断層画像と記す。 The second image acquisition unit 42 acquires the two-dimensional image of the sample S acquired by the laser scanning microscope 20 and outputs it to the storage unit 43 . Hereinafter, the two-dimensional image of the sample S acquired by the laser scanning microscope 20 is referred to as a second tomographic image.

記憶部43は、制御装置40の各部から出力された情報を記憶する。記憶部43は、例えば、第1画像取得部41及び第2画像取得部42から出力されたニ次元画像を記憶してもよい。また、記憶部43は、例えば、領域設定部44から出力された走査領域を特定する情報を記憶してもよい。また、記憶部43は、例えば、三次元画像構築部46から出力された三次元画像を記憶してもよい。なお、走査領域とは、三次元画像を構築するために走査する試料上の領域のことである。 The storage unit 43 stores information output from each unit of the control device 40 . The storage unit 43 may store the two-dimensional images output from the first image acquisition unit 41 and the second image acquisition unit 42, for example. Further, the storage unit 43 may store, for example, information specifying the scanning area output from the area setting unit 44 . In addition, the storage unit 43 may store the three-dimensional image output from the three-dimensional image construction unit 46, for example. Note that the scanning area is the area on the sample that is scanned to construct a three-dimensional image.

領域設定部44は、入力装置60からの操作信号に基づいて走査領域を設定し、設定した走査領域を特定する情報を記憶部43へ出力する。例えば、表示装置50に表示された三次元画像の中から利用者によって観察対象領域を選択されると、領域設定部44は、観察対象領域に対応する試料Sの三次元領域を走査領域に設定する。 The region setting unit 44 sets a scanning region based on an operation signal from the input device 60 and outputs information specifying the set scanning region to the storage unit 43 . For example, when the user selects an observation target region from the three-dimensional image displayed on the display device 50, the region setting unit 44 sets the three-dimensional region of the sample S corresponding to the observation target region as the scanning region. do.

駆動制御部45は、顕微鏡本体10の各構成要素を制御する。駆動制御部45は、例えば、電動ステージ11を移動してもよく、レボルバ13とともに対物レンズ12a又は対物レンズ12bを移動してもよい。また、駆動制御部45は、例えば、レボルバ13を制御して、光路上に配置される対物レンズを対物レンズ12aと対物レンズ12bの間で切り換えてもよい。また、駆動制御部45は、例えば、ニ次元スキャナ23を制御して、レーザ走査顕微鏡20の視野の範囲及び視野の中心位置を変更してもよい。また、駆動制御部45は、ターレット14を制御して、ミラー14aが光路上に配置される状態と、ミラー14aが光路外に配置される状態を切り換えてもよい。 The drive control unit 45 controls each component of the microscope main body 10 . The drive control unit 45 may, for example, move the electric stage 11 or move the objective lens 12 a or 12 b together with the revolver 13 . Further, the drive control unit 45 may control the revolver 13, for example, to switch the objective lens arranged on the optical path between the objective lens 12a and the objective lens 12b. Further, the drive control unit 45 may control the two-dimensional scanner 23 to change the range of the field of view and the central position of the field of view of the laser scanning microscope 20, for example. Further, the drive control unit 45 may control the turret 14 to switch between a state in which the mirror 14a is arranged on the optical path and a state in which the mirror 14a is arranged outside the optical path.

三次元画像構築部46は、複数のニ次元画像に基づいて三次元画像を構築し、記憶部43へ出力する。以降では、複数の第1断層画像に基づいて構築された三次元画像を、第1三次元画像と記し、複数の第2断層画像に基づいて構築された三次元画像を、第2三次元画像と記す。 The three-dimensional image constructing unit 46 constructs a three-dimensional image based on a plurality of two-dimensional images, and outputs the image to the storage unit 43 . Hereinafter, a three-dimensional image constructed based on a plurality of first tomographic images will be referred to as a first three-dimensional image, and a three-dimensional image constructed based on a plurality of second tomographic images will be referred to as a second three-dimensional image. and write down.

表示制御部47は、三次元画像を表示装置50に表示する。また、表示制御部47は、例えば、観察対象領域と観察対象領域以外の領域とを区別した表示状態で三次元画像を表示装置50に表示してもよい。 The display control unit 47 displays the 3D image on the display device 50 . Further, the display control unit 47 may display the three-dimensional image on the display device 50 in a display state in which, for example, the observation target area and the area other than the observation target area are distinguished.

なお、上述した制御装置40は、汎用装置であっても、専用装置であってもよい。制御装置40は、特にこの構成に限定されるものではないが、例えば、図3に示すような物理構成を有するコンピュータであってもよい。具体的には、制御装置40は、プロセッサ40a、メモリ40b、補助記憶装置40c、入出力インタフェース40d、媒体駆動装置40e、通信制御装置40fを備えてもよく、それらが互いにバス40gによって接続されてもよい。 Note that the control device 40 described above may be a general-purpose device or a dedicated device. The control device 40 is not particularly limited to this configuration, but may be, for example, a computer having a physical configuration as shown in FIG. Specifically, the control device 40 may include a processor 40a, a memory 40b, an auxiliary storage device 40c, an input/output interface 40d, a media drive device 40e, and a communication control device 40f, which are interconnected by a bus 40g. good too.

プロセッサ40aは、例えば、CPU(Central Processing Unit)を含む、任意の処理回路である。プロセッサ40aは、メモリ40b、補助記憶装置40c、記憶媒体40hに格納されているプログラムを実行してプログラムされた処理を行うことで、図2に示す制御装置40の構成要素を実現してもよい。また、プロセッサ40aは、ASIC、FPGA等の専用プロセッサを用いて構成されてもよい。また、図2に示す制御装置40の構成要素は、それぞれが個別の電子回路によって実現されてもよい。 The processor 40a is any processing circuit including, for example, a CPU (Central Processing Unit). The processor 40a may implement the components of the control device 40 shown in FIG. 2 by executing programs stored in the memory 40b, the auxiliary storage device 40c, and the storage medium 40h to perform programmed processing. . Also, the processor 40a may be configured using a dedicated processor such as ASIC or FPGA. Also, the constituent elements of the control device 40 shown in FIG. 2 may each be realized by separate electronic circuits.

メモリ40bは、プロセッサ40aのワーキングメモリである。メモリ40bは、たとえば、RAM(Random Access Memory)等の任意の半導体メモリである。補助記憶装置40cは、EPROM(Erasable Programmable ROM)、ハードディスクドライブ(Hard Disc Drive)等の不揮発性のメモリである。入出力インタフェース40dは、外部装置(顕微鏡本体10、表示装置50、入力装置60)と情報をやり取りする。 The memory 40b is the working memory of the processor 40a. The memory 40b is, for example, any semiconductor memory such as a RAM (Random Access Memory). The auxiliary storage device 40c is a nonvolatile memory such as an EPROM (Erasable Programmable ROM) or a hard disk drive. The input/output interface 40d exchanges information with external devices (microscope body 10, display device 50, input device 60).

媒体駆動装置40eは、メモリ40b及び補助記憶装置40cに格納されているデータを記憶媒体40hに出力することができ、また、記憶媒体40hからプログラム及びデータ等を読み出すことができる。記憶媒体40hは、持ち運びが可能な任意の記録媒体である。記憶媒体40hには、例えば、SDカード、USB(Universal Serial Bus)フラッシュメモリ、CD(Compact Disc)、DVD(Digital Versatile Disc)などが含まれる。 The medium drive device 40e can output data stored in the memory 40b and the auxiliary storage device 40c to the storage medium 40h, and can read programs, data, and the like from the storage medium 40h. The storage medium 40h is any portable storage medium. The storage medium 40h includes, for example, an SD card, a USB (Universal Serial Bus) flash memory, a CD (Compact Disc), a DVD (Digital Versatile Disc), and the like.

通信制御装置40fは、ネットワークへの情報の入出力を行う。通信制御装置40fとしては、例えば、NIC(Network Interface Card)、無線LAN(Local Area Network)カード等が採用され得る。バス40gは、プロセッサ40a、メモリ40b、補助記憶装置40c等を、相互にデータの授受可能に接続する。 The communication control device 40f inputs and outputs information to and from the network. As the communication control device 40f, for example, a NIC (Network Interface Card), a wireless LAN (Local Area Network) card, or the like can be employed. The bus 40g connects the processor 40a, the memory 40b, the auxiliary storage device 40c, etc. so that they can exchange data with each other.

以上のように構成された顕微鏡装置1は、図4に示す制御処理を行う。図4は、顕微鏡装置1が行う制御処理の流れを示すフローチャートである。図5は、第1三次元画像の表示例について説明するための図である。図6は、観察光軸方向への走査方法の一例について説明するための図である。図7は、観察対象領域の表示例について説明するための図である。図8は、第2三次元画像の表示例について説明するための図である。以下、図4から図8を参照しながら、顕微鏡装置1の制御方法について説明する。 The microscope apparatus 1 configured as described above performs control processing shown in FIG. FIG. 4 is a flow chart showing the flow of control processing performed by the microscope apparatus 1. As shown in FIG. FIG. 5 is a diagram for explaining a display example of the first three-dimensional image. FIG. 6 is a diagram for explaining an example of a scanning method in the observation optical axis direction. FIG. 7 is a diagram for explaining a display example of an observation target area. FIG. 8 is a diagram for explaining a display example of the second three-dimensional image. Hereinafter, a method for controlling the microscope apparatus 1 will be described with reference to FIGS. 4 to 8. FIG.

まず、顕微鏡装置1は、走査領域SR1を設定する(ステップS1)。走査領域SR1は、第1三次元画像を構築するために走査する試料S上の領域である。具体的には、領域設定部44は、利用者が入力装置60を用いて指定した三次元領域を入力装置60からの制御信号に基づいて特定し、特定した三次元領域を走査領域SR1に設定する。図5(a)には、電動ステージ11上面に試料Sが配置されていて、試料Sの上方に対物レンズ12aが置かれた様子が示されている。また、図5(a)には、試料S全体を包含する広い領域が走査領域SR1として設定された様子も示されている。なお、図5(a)は、ステップS1で行われた設定状態について把握することを容易にするためにその設定を図示したものであり、ステップS1で設定された走査領域SR1と試料Sの位置関係の一例を示している。 First, the microscope device 1 sets a scanning region SR1 (step S1). The scanning area SR1 is the area on the sample S that is scanned to construct the first three-dimensional image. Specifically, the region setting unit 44 specifies the three-dimensional region specified by the user using the input device 60 based on the control signal from the input device 60, and sets the specified three-dimensional region as the scanning region SR1. do. FIG. 5A shows a state in which a sample S is placed on the upper surface of the electric stage 11 and an objective lens 12a is placed above the sample S. FIG. FIG. 5A also shows how a wide area including the entire sample S is set as the scanning area SR1. Note that FIG. 5(a) illustrates the setting in order to facilitate understanding of the setting state performed in step S1. An example relationship is shown.

ライトシート顕微鏡30では、シート光が照射される試料Sの断面と対物レンズ12aの焦点面を合わせる必要があるため、対物レンズ31と対物レンズ12aの一方を対物レンズ12aの光軸方向へ動かすと他方もそれに合わせて動かさなければならない。このため、図6に示すように、対物レンズ12aではなく電動ステージ11を移動することによって、画像化される試料S上の領域を変更するのが通常である。この場合、画像化される試料S上の領域の大きさは、観察光学系の倍率によって定まり、画像化される試料S上の領域の中心位置は、電動ステージ11の位置によって定まる。従って、走査領域SR1は、ライトシート顕微鏡30の観察光学系の倍率情報と電動ステージ11の座標情報の組み合わせとして管理されてもよい。観察光学系の倍率情報は、例えば、対物レンズ12aの倍率であってもよい。また、電動ステージ11の座標情報は、例えば、電動ステージ11の光軸と直交する方向の座標と、電動ステージ11の光軸方向の座標の下限と上限であってもよい。 In the light sheet microscope 30, it is necessary to align the cross section of the sample S irradiated with the sheet light and the focal plane of the objective lens 12a. The other must move accordingly. Therefore, as shown in FIG. 6, the area on the sample S to be imaged is usually changed by moving the motorized stage 11 instead of the objective lens 12a. In this case, the size of the imaged area on the sample S is determined by the magnification of the observation optical system, and the center position of the imaged area on the sample S is determined by the position of the motorized stage 11 . Therefore, the scanning region SR1 may be managed as a combination of magnification information of the observation optical system of the light sheet microscope 30 and coordinate information of the motorized stage 11. FIG. The magnification information of the observation optical system may be, for example, the magnification of the objective lens 12a. Further, the coordinate information of the motorized stage 11 may be, for example, the coordinates of the motorized stage 11 in the direction perpendicular to the optical axis and the lower and upper limits of the coordinates of the motorized stage 11 in the direction of the optical axis.

次に、顕微鏡装置1は、ライトシート顕微鏡30を用いて複数の第1断層画像を取得する(ステップS2)。ここでは、顕微鏡装置1は、第1断層画像の取得と、対物レンズ12aの焦点面の移動とを、交互に繰り返すことで、ステップS1で設定された走査領域SR1を対物レンズ12aの光軸方向へ走査して、複数の第1断層画像を取得する。具体的には、ライトシート顕微鏡30が第1断層画像を取得し、第1画像取得部41が第1断層画像を記憶部43へ出力すると、記憶部43が第1断層画像を電動ステージ11の座標情報と観察光学系の倍率情報に関連付けて記憶する。その後、駆動制御部45が、図6に示すように、電動ステージ11を観察光軸の方向へ所定距離D1だけ移動する。これらの処理を繰り返すことで、ライトシート顕微鏡30が走査領域SR1を走査して複数の第1断層画像を取得する。なお、ライトシート顕微鏡30でのZ分解能はシート光の厚さにより決まるため、所定距離D1は、光シートの厚さに揃えてもよい。 Next, the microscope device 1 acquires a plurality of first tomographic images using the light sheet microscope 30 (step S2). Here, the microscope apparatus 1 alternately repeats the acquisition of the first tomographic image and the movement of the focal plane of the objective lens 12a, thereby scanning the scanning region SR1 set in step S1 in the optical axis direction of the objective lens 12a. to acquire a plurality of first tomographic images. Specifically, when the light sheet microscope 30 acquires the first tomographic image and the first image acquiring unit 41 outputs the first tomographic image to the storage unit 43 , the storage unit 43 stores the first tomographic image on the electric stage 11 . The coordinate information is stored in association with the magnification information of the observation optical system. After that, as shown in FIG. 6, the drive control unit 45 moves the electric stage 11 by a predetermined distance D1 in the direction of the observation optical axis. By repeating these processes, the light sheet microscope 30 scans the scanning region SR1 and acquires a plurality of first tomographic images. Since the Z resolution of the light sheet microscope 30 is determined by the thickness of the light sheet, the predetermined distance D1 may be the same as the thickness of the light sheet.

複数の第1断層画像を取得すると、顕微鏡装置1は、第1三次元画像を構築し(ステップS3)、第1三次元画像を表示する(ステップS4)。ここでは、三次元画像構築部46が、ステップS2でライトシート顕微鏡30が取得した複数の第1断層画像に基づいて、第1三次元画像を構築し、表示制御部47が構築された第1三次元画像を表示装置50に表示する。図5(b)には、表示装置50に第1三次元画像である画像51が表示された様子が示されている。 After acquiring the plurality of first tomographic images, the microscope device 1 constructs a first three-dimensional image (step S3) and displays the first three-dimensional image (step S4). Here, the three-dimensional image construction unit 46 constructs a first three-dimensional image based on the plurality of first tomographic images acquired by the light sheet microscope 30 in step S2, and the display control unit 47 constructs the constructed first three-dimensional image. A three-dimensional image is displayed on the display device 50 . FIG. 5B shows how an image 51 that is the first three-dimensional image is displayed on the display device 50 .

その後、顕微鏡装置1は、走査領域SR2を設定する(ステップS5)。走査領域SR2は、第2三次元画像を構築するために走査する領域である。具体的には、領域設定部44は、入力装置60からの制御信号に基づいて、表示装置50に表示された画像51のうちの利用者によって選択された観察対象領域51aに対応する試料の三次元領域を特定し、特定した三次元領域を走査領域SR2に設定する。なお、利用者による選択操作は、表示装置50に表示された画像51を見ながら、画像51上の任意の領域を観察対象領域51aとしてマウス等の入力装置60を用いて指定することによって行われる。図7(a)には、電動ステージ11上に試料Sが配置されていて、試料Sの上方に対物レンズ12aが置かれた様子が示されている。また、図7(a)には、試料S全体を包含する広い領域が走査領域SR1として設定され、さらに、試料Sの一部の領域が走査領域SR2として設定された様子が示されている。なお、図7(a)は、ステップS5で行われた設定について把握することを容易にするためにその設定状態を図示したものであり、ステップS5で設定された走査領域SR2とステップS1で設定された走査領域SR1と試料Sの位置関係の一例を示している。 After that, the microscope device 1 sets a scanning region SR2 (step S5). The scanning area SR2 is the area scanned to construct the second three-dimensional image. Specifically, based on the control signal from the input device 60 , the region setting unit 44 performs a three-dimensional image of the sample corresponding to the observation target region 51 a selected by the user from the image 51 displayed on the display device 50 . The original area is specified, and the specified three-dimensional area is set as the scanning area SR2. The selection operation by the user is performed by designating an arbitrary region on the image 51 as the observation target region 51a using the input device 60 such as a mouse while viewing the image 51 displayed on the display device 50. . FIG. 7A shows a state in which the sample S is placed on the electric stage 11 and the objective lens 12a is placed above the sample S. FIG. Also, FIG. 7A shows a state in which a wide area including the entire sample S is set as the scanning area SR1, and a partial area of the sample S is set as the scanning area SR2. FIG. 7A shows the setting state in order to facilitate understanding of the setting performed in step S5. An example of the positional relationship between the scanned region SR1 and the sample S is shown.

なお、画像51上の位置と試料S上の位置の関係は、既知である。上述したように、画像取得時におけるライトシート顕微鏡30の観察光学系の倍率情報と電動ステージ11の座標情報との組み合わせによって画像51として画像化された試料S上の領域は特定される。このため、画像51上の任意の位置は、その画像51内における相対的な位置が特定されることで試料上の位置に変換することができる。具体的には、上述したライトシート顕微鏡30の観察光学系の倍率情報と電動ステージ11の座標情報に加えて、イメージセンサ32の画素サイズ、画素数などを用いて画像51内における相対的な位置を特定することで、画像51上の任意の位置を、試料上の位置に変換することができる。 Note that the relationship between the positions on the image 51 and the positions on the sample S is known. As described above, the area on the sample S imaged as the image 51 is specified by combining the magnification information of the observation optical system of the light sheet microscope 30 and the coordinate information of the motorized stage 11 at the time of image acquisition. Therefore, an arbitrary position on the image 51 can be converted to a position on the sample by specifying a relative position within the image 51 . Specifically, in addition to the magnification information of the observation optical system of the light sheet microscope 30 and the coordinate information of the motorized stage 11, the pixel size and number of pixels of the image sensor 32 are used to determine the relative position in the image 51. By specifying , an arbitrary position on the image 51 can be converted to a position on the sample.

走査領域SR2が設定されると、顕微鏡装置1は、観察対象領域51aを表示する(ステップS6)。ここでは、表示制御部47は、画像51を画像52に更新することで、観察対象領域51aと観察対象領域51a以外の領域とを区別した表示状態で、第1三次元画像を表示装置50に表示する。図7(b)には、表示装置50に、観察対象領域51aと観察対象領域51a以外の領域とを区別した表示状態で第1三次元画像である画像52が表示された様子が示されている。なお、区別した表示状態とは、視覚的に区別できる状態であればよく、例えば、観察対象領域51aとそれ以外とで背景色を異ならせてもよく、また、観察対象領域51aとそれ以外とで透過率を異ならせてもよい。 After the scanning region SR2 is set, the microscope device 1 displays the observation target region 51a (step S6). Here, by updating the image 51 to the image 52, the display control unit 47 displays the first three-dimensional image on the display device 50 in a display state in which the observation target region 51a and regions other than the observation target region 51a are distinguished. indicate. FIG. 7B shows an image 52, which is the first three-dimensional image, displayed on the display device 50 in a display state in which the observation target region 51a and regions other than the observation target region 51a are distinguished. there is Note that the differentiated display state may be a state that can be visually distinguished. For example, the observation target area 51a and other areas may have different background colors. may have different transmittances.

その後、顕微鏡装置1は、顕微鏡本体10の設定を変更する(ステップS7)。具体的には、駆動制御部45がターレット14を制御して、ミラー14aを光軸上に配置する。これにより、顕微鏡装置1は、レーザ走査顕微鏡20によって試料Sの画像を取得可能な状態となる。 After that, the microscope apparatus 1 changes the setting of the microscope body 10 (step S7). Specifically, the drive control unit 45 controls the turret 14 to place the mirror 14a on the optical axis. As a result, the microscope device 1 becomes ready to acquire an image of the sample S with the laser scanning microscope 20 .

また、ステップS7では、駆動制御部45は、レボルバ13を用いて、観察光軸上に配置する対物レンズを、ライトシート顕微鏡30が複数の第1断層画像を取得するときに観察光軸上に配置されていた対物レンズ12aよりも高い倍率を有する対物レンズ12bに変更してもよい。これは、走査領域SR2は走査領域SR1よりも狭いことから、より高い倍率の対物レンズを用いた場合であっても走査領域SR2がレーザ走査顕微鏡20の視野の範囲内に収まるからである。また、一般に、対物レンズの倍率が高いほど開口数も大きくなることから、対物レンズ12aよりも高い倍率の対物レンズ12bを用いることで、更に高い分解能を得ることができるからである。 In step S7, the drive control unit 45 uses the revolver 13 to move the objective lens placed on the observation optical axis to the observation optical axis when the light sheet microscope 30 acquires a plurality of first tomographic images. The objective lens 12b may be replaced with an objective lens 12b having a higher magnification than the objective lens 12a. This is because the scanning region SR2 is narrower than the scanning region SR1, so that the scanning region SR2 falls within the field of view of the laser scanning microscope 20 even when an objective lens with a higher magnification is used. In addition, since the higher the magnification of the objective lens, the larger the numerical aperture, the higher resolution can be obtained by using the objective lens 12b with a higher magnification than the objective lens 12a.

なお、駆動制御部45は、走査領域SR2に応じて、レボルバ13を用いて観察光軸上に配置する対物レンズを変更してよい。例えば、レボルバ13に対物レンズ12aよりも高い倍率を有する複数の対物レンズが装着されている場合であれば、駆動制御部45は、走査領域SR2がレーザ走査顕微鏡20の視野内に収まる対物レンズのうち最も高倍率の対物レンズを、レボルバ13を用いて観察光軸上に配置してもよい。これにより、走査領域SR2を視野に収めながら高い分解能を実現することができる。 Note that the drive control unit 45 may change the objective lens arranged on the observation optical axis using the revolver 13 according to the scanning region SR2. For example, if a plurality of objective lenses having a higher magnification than the objective lens 12a are attached to the revolver 13, the drive control unit 45 selects an objective lens whose scanning region SR2 is within the field of view of the laser scanning microscope 20. Among them, the objective lens with the highest magnification may be arranged on the observation optical axis using the revolver 13 . This makes it possible to achieve high resolution while keeping the scanning region SR2 within the field of view.

また、ステップS7では、駆動制御部45は、対物レンズの変更の代わりに、又は、対物レンズの変更に加えて、ニ次元スキャナ23の振り角度を制限することで、観察倍率を変更してもよい。この場合、駆動制御部45は、走査領域SR2に応じて、ニ次元スキャナ23の振り角度を制限する。ニ次元スキャナ23の振り角度を制限することで、レーザ走査顕微鏡20によってレーザ光が照射される領域の大きさを任意の大きさに変更することができる。このため、走査領域SR2外へのレーザ光の照射を抑制することができるため、レーザ走査顕微鏡20が試料Sへ与えるダメージを抑えることができる。また、二次元スキャナ23の振り角度を制限する時は、通常、画像データ取得のサンプリング数は変えない。従って、サンプリングを行う空間的なピッチが狭くなるのでピクセル分解能が向上し、より高い分解能を実現することができる。なお、ステップS5からステップS7の処理は、任意の順番で行われ得る。 Further, in step S7, instead of changing the objective lens, or in addition to changing the objective lens, the drive control unit 45 may change the observation magnification by limiting the swing angle of the two-dimensional scanner 23. good. In this case, the drive control unit 45 limits the swing angle of the two-dimensional scanner 23 according to the scanning region SR2. By limiting the swing angle of the two-dimensional scanner 23, the size of the area irradiated with the laser light by the laser scanning microscope 20 can be changed to any size. For this reason, irradiation of the laser light outside the scanning region SR2 can be suppressed, so that damage caused to the sample S by the laser scanning microscope 20 can be suppressed. Also, when limiting the swing angle of the two-dimensional scanner 23, the number of samplings for image data acquisition is usually not changed. Therefore, since the spatial pitch of sampling is narrowed, the pixel resolution is improved, and higher resolution can be achieved. Note that the processing from step S5 to step S7 can be performed in any order.

その後、顕微鏡装置1は、レーザ走査顕微鏡20を用いて複数の第2断層画像を取得する(ステップS8)。ここでは、顕微鏡装置1は、まず、対物レンズ12bの光軸上に走査領域SR2の中心が位置するように、電動ステージ11を対物レンズ12bの光軸と直交する方向へ移動する。その後、顕微鏡装置1は、第2断層画像の取得と、対物レンズ12bの焦点面の移動とを、交互に繰り返すことで、ステップS5で設定された走査領域SR2を走査して、複数の第2断層画像を取得する。より具体的には、レーザ走査顕微鏡20が第2断層画像を取得し、第2画像取得部42が第2断層画像を記憶部43へ出力すると、記憶部43が第2断層画像を電動ステージ11の座標情報と観察光学系の倍率情報に関連付けて記憶する。観察光学系の倍率情報には、例えば、対物レンズ12bの倍率、ニ次元スキャナ23の振り角度などが含まれる。その後、駆動制御部45が、電動ステージ11を観察光軸の方向へ所定距離D2だけ移動する。この処理を繰り返すことで、レーザ走査顕微鏡20が複数の第2断層画像を取得する。 After that, the microscope device 1 acquires a plurality of second tomographic images using the laser scanning microscope 20 (step S8). Here, the microscope apparatus 1 first moves the electric stage 11 in a direction orthogonal to the optical axis of the objective lens 12b so that the center of the scanning region SR2 is positioned on the optical axis of the objective lens 12b. After that, the microscope apparatus 1 alternately repeats the acquisition of the second tomographic image and the movement of the focal plane of the objective lens 12b to scan the scanning region SR2 set in step S5, thereby obtaining a plurality of second tomographic images. Acquire a tomographic image. More specifically, when the laser scanning microscope 20 acquires the second tomographic image and the second image acquiring unit 42 outputs the second tomographic image to the storage unit 43 , the storage unit 43 stores the second tomographic image on the motorized stage 11 . is stored in association with the coordinate information of the observation optical system and the magnification information of the observation optical system. The magnification information of the observation optical system includes, for example, the magnification of the objective lens 12b, the swing angle of the two-dimensional scanner 23, and the like. After that, the drive control unit 45 moves the electric stage 11 by a predetermined distance D2 in the direction of the observation optical axis. By repeating this process, the laser scanning microscope 20 acquires a plurality of second tomographic images.

なお、ステップS8における所定距離D2は、ステップS2における所定距離D1よりも短いことが望ましい。これは、レーザ走査顕微鏡20が有する高い解像力を活かして第1三次元画像よりも高いZ方向の解像度を有する第2三次元画像を構築するためである。例えば、対物レンズ12bの開口数と使用波長(照明光の波長、及び又は、検出する蛍光の波長)によりに決まるZ分解能以下の値になるように所定距離D2を設定してもよい。 The predetermined distance D2 in step S8 is preferably shorter than the predetermined distance D1 in step S2. This is because the high resolving power of the laser scanning microscope 20 is utilized to construct a second three-dimensional image having a higher Z-direction resolution than the first three-dimensional image. For example, the predetermined distance D2 may be set to a value equal to or less than the Z resolution determined by the numerical aperture of the objective lens 12b and the wavelength used (wavelength of illumination light and/or wavelength of fluorescence to be detected).

複数の第2断層画像を取得すると、顕微鏡装置1は、第2三次元画像を構築し(ステップS9)、第2三次元画像を表示する(ステップS10)。ここでは、三次元画像構築部46が、ステップS8でレーザ走査顕微鏡20が取得した複数の第2断層画像に基づいて、第2三次元画像を構築し、表示制御部47が構築された第2三次元画像を表示装置50に表示する。図8(b)には、表示装置50に第2三次元画像である画像53が表示された様子が示されている。また、図8(a)には、電動ステージ11上に試料Sが配置されていて、試料Sの上方に対物レンズ12bが置かれた様子が示されている。また、図8(a)には、試料S全体を包含する広い領域が走査領域SR1として設定され、さらに、試料Sの一部の領域が走査領域SR2として設定された様子が示されている。なお、図8(a)は、図7(a)と比較して対物レンズが変更されている様子が示されており、その他の点については、図7(a)と同様である。 After acquiring the plurality of second tomographic images, the microscope device 1 constructs a second three-dimensional image (step S9) and displays the second three-dimensional image (step S10). Here, the three-dimensional image constructing unit 46 constructs a second three-dimensional image based on the plurality of second tomographic images acquired by the laser scanning microscope 20 in step S8, and the display control unit 47 constructs the constructed second tomographic image. A three-dimensional image is displayed on the display device 50 . FIG. 8B shows how an image 53 that is a second three-dimensional image is displayed on the display device 50 . 8A shows a state in which the sample S is placed on the electric stage 11 and the objective lens 12b is placed above the sample S. FIG. Also, FIG. 8A shows a state in which a wide area including the entire sample S is set as the scanning area SR1, and a partial area of the sample S is set as the scanning area SR2. It should be noted that FIG. 8(a) shows a state in which the objective lens is changed compared to FIG. 7(a), and other points are the same as FIG. 7(a).

以上のように、顕微鏡装置1は、レーザ走査顕微鏡20よりも高速に画像を取得することが可能なライトシート顕微鏡30を用いることによって、広い走査領域SR1に対応する第1三次元画像を構築し、表示装置50に表示する。このため、利用者は、観察すべき三次元領域を見逃すことなく早期に特定することができる。また、第1三次元画像が表示されることで、利用者は、観察すべき領域を三次元領域として指定することができる。このため、利用者が観察すべき領域を正しく指定することができる。さらに、顕微鏡装置1は、利用者が第1三次元画像を見ながら観察すべき三次元領域として特定した走査領域SR2に対応する第2三次元画像を、レーザ走査顕微鏡20を用いて構築する。このため、観察すべき三次元領域をレーザ走査顕微鏡20が有する高い分解能で観察することができる。従って、顕微鏡装置1によれば、観察すべき三次元領域を高い分解能で早期に観察することができる。 As described above, the microscope apparatus 1 constructs the first three-dimensional image corresponding to the wide scanning area SR1 by using the light sheet microscope 30 capable of acquiring images at a higher speed than the laser scanning microscope 20. , is displayed on the display device 50 . Therefore, the user can quickly specify the three-dimensional area to be observed without overlooking it. Also, by displaying the first three-dimensional image, the user can specify the area to be observed as a three-dimensional area. Therefore, the user can correctly specify the region to be observed. Furthermore, the microscope device 1 uses the laser scanning microscope 20 to construct a second three-dimensional image corresponding to the scanning region SR2 specified as the three-dimensional region to be observed by the user while viewing the first three-dimensional image. Therefore, the three-dimensional area to be observed can be observed with the high resolution that the laser scanning microscope 20 has. Therefore, according to the microscope apparatus 1, a three-dimensional area to be observed can be observed early with high resolution.

また、顕微鏡装置1では、第1三次元画像上で利用者によって観察対象領域が選択されると、観察対象領域とそれ以外の領域を区別した表示状態で第1三次元画像が表示される。これにより、利用者は、自身が選択した観察対象領域を三次元画像上で確認することができるため、選択操作の誤りなどを早期に発見することができる。従って、顕微鏡装置1によれば、利用者が希望する領域とは異なる領域に対応する第2三次元画像が構築されることを未然に回避することが可能であり、作業のやり直しを少なくすることができる。 Further, in the microscope apparatus 1, when the observation target area is selected by the user on the first three-dimensional image, the first three-dimensional image is displayed in a display state in which the observation target area and other areas are distinguished. As a result, the user can confirm the observation target area selected by the user on the three-dimensional image, so that an error in the selection operation can be detected at an early stage. Therefore, according to the microscope apparatus 1, it is possible to prevent the construction of the second three-dimensional image corresponding to an area different from the area desired by the user, and to reduce rework. can be done.

また、顕微鏡装置1では、第2断層画像を、第1断層画像よりも高い倍率の対物レンズを用いて取得する。これにより、第1三次元画像の構築に要する時間の短縮化と、第2三次元画像の高解像度化を高いレベルで両立することができる。 Further, in the microscope device 1, the second tomographic image is obtained using an objective lens with a higher magnification than the first tomographic image. As a result, it is possible to achieve both a reduction in the time required to construct the first three-dimensional image and a high resolution of the second three-dimensional image at a high level.

[第2実施形態]
図9は、観察光軸方向への走査方法の別の例について説明するための図である。以下、図9を参照しながら、本実施形態に係る顕微鏡装置(以降、本顕微鏡装置と記す)について説明する。
[Second embodiment]
FIG. 9 is a diagram for explaining another example of the scanning method in the observation optical axis direction. Hereinafter, a microscope apparatus according to this embodiment (hereinafter referred to as the present microscope apparatus) will be described with reference to FIG.

本顕微鏡装置は、ステップS8において、電動ステージ11を移動することによって観察光軸方向へ走査する代わりに、対物レンズ12bを移動することによって観察光軸方向へ走査する点が、顕微鏡装置1とは異なる。本顕微鏡装置は、その他の点については、顕微鏡装置1と同様に動作し、顕微鏡装置1と同様の構成を有する。従って、本顕微鏡装置の構成要素については、顕微鏡装置1の構成要素と同一の符号で参照する。 This microscope apparatus differs from the microscope apparatus 1 in that, in step S8, scanning is performed in the observation optical axis direction by moving the objective lens 12b instead of scanning in the observation optical axis direction by moving the electric stage 11. different. This microscope apparatus operates in the same manner as the microscope apparatus 1 and has the same configuration as the microscope apparatus 1 in other respects. Therefore, the components of this microscope apparatus are referred to by the same reference numerals as those of the microscope apparatus 1 .

本顕微鏡装置では、駆動制御部45は、ライトシート顕微鏡30が複数の第1断層画像を取得するときには、図6に示すように、電動ステージ11を観察光軸の方向へ移動し、レーザ走査顕微鏡20が複数の第2断層画像を取得するときには、図9に示すように、レボルバ13とともに対物レンズ12bを観察光軸の方向へ移動する。図9には、対物レンズ12bを観察光軸方向へ移動することによって対物レンズ12bの焦点位置を走査領域SR2内へ動かす様子が示されている。 In this microscope apparatus, when the light sheet microscope 30 acquires a plurality of first tomographic images, the drive control unit 45 moves the motorized stage 11 in the direction of the observation optical axis as shown in FIG. When 20 acquires a plurality of second tomographic images, as shown in FIG. 9, the revolver 13 and the objective lens 12b are moved in the direction of the observation optical axis. FIG. 9 shows how the focal position of the objective lens 12b is moved into the scanning region SR2 by moving the objective lens 12b in the observation optical axis direction.

一般に、電動ステージ11の質量は複数の対物レンズが装着されたレボルバ13の質量よりも大きい。このため、レボルバ13とともに対物レンズ12bを観察光軸の方向へ移動することで、本顕微鏡装置は、顕微鏡装置1よりも、走査領域SR2を高速に走査することができる。従って、本顕微鏡装置によれば、観察すべき三次元領域を高い分解能で、更に早期に観察することが可能となる。 Generally, the mass of the motorized stage 11 is larger than the mass of the revolver 13 on which a plurality of objective lenses are mounted. Therefore, by moving the objective lens 12b together with the revolver 13 in the direction of the observation optical axis, the present microscope apparatus can scan the scanning region SR2 at a higher speed than the microscope apparatus 1 can. Therefore, according to this microscope apparatus, it is possible to observe a three-dimensional area to be observed with high resolution and at an early stage.

また、制御装置40は、レーザ走査顕微鏡20が複数の第2断層画像を取得するときに、複数の第1断層画像の観察光軸の方向の間隔よりも複数の第2断層画像の観察光軸の方向の間隔が短くなるように、対物レンズ12bを観察光軸の方向へ移動することが望ましい。これは、レーザ走査顕微鏡20が有する高い解像力を活かして第1三次元画像よりも高いZ方向の解像度を有する第2三次元画像を構築するためである。 In addition, when the laser scanning microscope 20 acquires a plurality of second tomographic images, the control device 40 sets the observation optical axis of the plurality of second tomographic images closer to the interval in the direction of the observation optical axis of the plurality of first tomographic images. It is desirable to move the objective lens 12b in the direction of the observation optical axis so that the distance in the direction of . This is because the high resolving power of the laser scanning microscope 20 is utilized to construct a second three-dimensional image having a higher Z-direction resolution than the first three-dimensional image.

なお、本実施形態では、対物レンズ12bの光軸上に走査領域SR2の中心が位置するように電動ステージ11を動かした後に、対物レンズ12bを基準位置から観察光軸方向へ動かして走査領域SR2の上面に対物レンズ12bの焦点を合わせる。ここで、対物レンズ12bの基準位置とは、シート光が照射される試料Sの断面と対物レンズ12bの焦点面が一致するときの対物レンズ12bの位置のことである。 In this embodiment, after moving the electric stage 11 so that the center of the scanning region SR2 is positioned on the optical axis of the objective lens 12b, the objective lens 12b is moved from the reference position in the observation optical axis direction to scan the scanning region SR2. is focused on the top surface of the objective lens 12b. Here, the reference position of the objective lens 12b is the position of the objective lens 12b when the cross section of the sample S irradiated with the sheet light coincides with the focal plane of the objective lens 12b.

対物レンズ12bの動かし方について具体的に説明する。例えば、図9に示すように、電動ステージ11の上面から走査領域SR2の上面までの距離γが既知であれば、下式から対物レンズ12bの移動量ΔZを算出し、算出した移動量ΔZだけ対物レンズ12bを移動することで、走査領域SR2の上面に焦点を合わせることができる。ここで、αは、電動ステージ11が稼動範囲の最下端に位置するときの電動ステージ11の上面から光シートの集光位置までの観察光軸方向の距離である。βは、電動ステージ11が稼動範囲の最下端に位置するときの電動ステージ11の上面から電動ステージ11の現在位置における上面までの観察光軸方向の距離である。
ΔZ=β+γ-α
A specific description will be given of how to move the objective lens 12b. For example, as shown in FIG. 9, if the distance .gamma. By moving the objective lens 12b, the upper surface of the scanning region SR2 can be focused. Here, α is the distance in the observation optical axis direction from the upper surface of the motorized stage 11 to the condensing position of the optical sheet when the motorized stage 11 is positioned at the lowest end of the operating range. β is the distance in the direction of the observation optical axis from the top surface of the motorized stage 11 when the motorized stage 11 is positioned at the lowest end of the movement range to the top surface of the motorized stage 11 at its current position.
ΔZ=β+γ-α

[第3実施形態]
図10は、キャリブレーション処理の流れを示すフローチャートである。図11は、キャリブレーションによる二次元スキャナの走査範囲の変更について説明するための図である。以下、図10及び図11を参照しながら、本実施形態に係る顕微鏡装置(以降、本顕微鏡装置と記す)について説明する。
[Third embodiment]
FIG. 10 is a flowchart showing the flow of calibration processing. FIG. 11 is a diagram for explaining how the scanning range of the two-dimensional scanner is changed by calibration. Hereinafter, a microscope apparatus according to this embodiment (hereinafter referred to as the present microscope apparatus) will be described with reference to FIGS. 10 and 11. FIG.

本顕微鏡装置は、図10に示すキャリブレーション処理を行う点が、顕微鏡装置1とは異なる。なお、図10に示すキャリブレーション処理は、図4に示す制御処理の前に行われる。本顕微鏡装置は、その他の点については、顕微鏡装置1と同様に動作し、顕微鏡装置1と同様の構成を有する。従って、本顕微鏡装置の構成要素については、顕微鏡装置1の構成要素と同一の符号で参照する。 This microscope apparatus differs from the microscope apparatus 1 in that the calibration process shown in FIG. 10 is performed. Note that the calibration process shown in FIG. 10 is performed before the control process shown in FIG. This microscope apparatus operates in the same manner as the microscope apparatus 1 and has the same configuration as the microscope apparatus 1 in other respects. Therefore, the components of this microscope apparatus are referred to by the same reference numerals as those of the microscope apparatus 1 .

まず、本顕微鏡装置は、ライトシート顕微鏡30を用いて基準チャートの第1画像を取得する(ステップS11)。基準チャートは、特に限定しないが、例えば、スクエアグリッド、サークルグリッドなどの特定の模様を有する平板である。 First, the present microscope apparatus acquires a first image of the reference chart using the light sheet microscope 30 (step S11). The reference chart is, but not limited to, a flat plate having a specific pattern such as a square grid or circle grid.

次に、本顕微鏡装置は、レーザ走査顕微鏡20を用いて基準チャートの第2画像を取得する(ステップS12)。ここでは、駆動制御部45がターレット14を回転し、ミラー14aを光路上に挿入してから、レーザ走査顕微鏡20が画像を取得する。 Next, the present microscope apparatus acquires a second image of the reference chart using the laser scanning microscope 20 (step S12). Here, after the drive control unit 45 rotates the turret 14 and inserts the mirror 14a into the optical path, the laser scanning microscope 20 acquires an image.

第1画像と第2画像が取得されると、本顕微鏡装置は、ライトシート顕微鏡30とレーザ走査顕微鏡20の視野の中心位置のズレを算出する(ステップS13)。ここでは、制御装置40が第1画像と第2画像を比較することで、ライトシート顕微鏡30の視野の中心位置とレーザ走査顕微鏡20の視野の中心位置のズレを算出する。 When the first image and the second image are acquired, the microscope apparatus calculates the deviation of the center positions of the fields of view of the light sheet microscope 30 and the laser scanning microscope 20 (step S13). Here, the controller 40 compares the first image and the second image to calculate the deviation between the center position of the field of view of the light sheet microscope 30 and the center position of the field of view of the laser scanning microscope 20 .

ズレが算出されると、本顕微鏡装置は、ニ次元スキャナ23の振り角中心位置を調整する(ステップS14)。ここでは、制御装置40は、図11に示すように、ライトシート顕微鏡30の視野の中心位置とレーザ走査顕微鏡20の視野の中心位置とが一致するように、ニ次元スキャナ23の振り角中心位置を調整する。その結果、制御装置40は、図4のステップS8において、ライトシート顕微鏡30の視野の中心位置とレーザ走査顕微鏡20の視野の中心位置とが一致するように、ニ次元スキャナ23を制御することになる。なお、ニ次元スキャナ23の振り角中心位置を調整することで、画像中心位置をシフトする制御は、パン制御とも呼ばれる。 When the deviation is calculated, the microscope apparatus adjusts the swing angle center position of the two-dimensional scanner 23 (step S14). Here, as shown in FIG. 11, the control device 40 adjusts the swing angle center position of the two-dimensional scanner 23 so that the center position of the field of view of the light sheet microscope 30 and the center position of the field of view of the laser scanning microscope 20 match. to adjust. As a result, in step S8 of FIG. 4, the control device 40 controls the two-dimensional scanner 23 so that the central position of the field of view of the light sheet microscope 30 and the central position of the field of view of the laser scanning microscope 20 are aligned. Become. Control for shifting the image center position by adjusting the swing angle center position of the two-dimensional scanner 23 is also called pan control.

本顕微鏡装置によれば、ライトシート顕微鏡30で取得する第1断層画像の中心位置と、レーザ走査顕微鏡20で取得する第2断層画像の中心位置とを高い精度で一致させることができる。このため、第2三次元画像に対応する試料S上の領域と利用者が画像上で選択した領域に対応する試料S上の領域を、高い精度で一致させることができる。なお、観察すべき三次元領域を高い分解能で早期に観察することができる点については、顕微鏡装置1と同様である。 According to this microscope apparatus, the center position of the first tomographic image acquired by the light sheet microscope 30 and the center position of the second tomographic image acquired by the laser scanning microscope 20 can be matched with high accuracy. Therefore, the area on the sample S corresponding to the second three-dimensional image and the area on the sample S corresponding to the area selected by the user on the image can be matched with high accuracy. It should be noted that the microscope apparatus 1 is similar to the microscope apparatus 1 in that the three-dimensional area to be observed can be observed at a high resolution at an early stage.

[第4実施形態]
図12は、本実施形態に係る顕微鏡装置2の構成を例示した図である。顕微鏡装置2は、顕微鏡本体10の代わりに顕微鏡本体70を備える点が、顕微鏡装置1とは異なる。その他の点は、顕微鏡装置1と同様である。
[Fourth embodiment]
FIG. 12 is a diagram illustrating the configuration of the microscope device 2 according to this embodiment. The microscope apparatus 2 is different from the microscope apparatus 1 in that a microscope main body 70 is provided instead of the microscope main body 10 . Other points are the same as the microscope device 1 .

顕微鏡本体70は、レーザ走査顕微鏡とライトシート顕微鏡を備える点、レーザ走査顕微鏡とライトシート顕微鏡が電動ステージ11、複数の対物レンズ、レボルバ13、ターレット14を共有している点は、顕微鏡本体10と同様である。ただし、顕微鏡装置2では、ターレット14は、レーザ走査顕微鏡が試料Sの画像を取得するときに、ミラー14aを光路外に配置し、ライトシート顕微鏡が試料Sの画像を取得するときに、ミラー14aを光路上に配置する。 The microscope main body 70 includes a laser scanning microscope and a light sheet microscope. It is the same. However, in the microscope apparatus 2, the turret 14 disposes the mirror 14a outside the optical path when the laser scanning microscope acquires the image of the sample S, and when the light sheet microscope acquires the image of the sample S, the mirror 14a is placed on the optical path.

顕微鏡本体70は、顕微鏡本体70が有するレーザ走査顕微鏡80が、スピニングディスク83を有する共焦点スキャナと、二次元イメージセンサであるイメージセンサ85と、を含む共焦点顕微鏡である、という点が顕微鏡本体10とは異なる。レーザ走査顕微鏡80は、いわゆるディスク走査型の共焦点顕微鏡である。 The microscope body 70 is characterized in that the laser scanning microscope 80 of the microscope body 70 is a confocal microscope including a confocal scanner having a spinning disk 83 and an image sensor 85 that is a two-dimensional image sensor. 10 different. The laser scanning microscope 80 is a so-called disc scanning confocal microscope.

レーザ走査顕微鏡80は、レーザ81と、複数のマイクロレンズ82aが設けられたスピニングディスク82と、複数のマイクロレンズ82aの焦点位置に複数のピンホール83aが形成されたスピニングディスク83と、ダイクロイックミラー84と、イメージセンサ85を備えている。スピニングディスク82とスピニングディスク83は、互いの位置関係を維持したまま回転する共焦点スキャナの一例である。 A laser scanning microscope 80 includes a laser 81, a spinning disk 82 provided with a plurality of microlenses 82a, a spinning disk 83 having a plurality of pinholes 83a formed at the focal positions of the plurality of microlenses 82a, and a dichroic mirror 84. and an image sensor 85 . Spinning disk 82 and spinning disk 83 are an example of a confocal scanner that rotates while maintaining their mutual positional relationship.

レーザ81から出射したレーザ光は、スピニングディスク82に設けられた複数のマイクロレンズ82aによって複数の光束に分割され、複数の光束のそれぞれがスピニングディスク83上の異なるピンホール83aを通過する。 A laser beam emitted from a laser 81 is split into a plurality of beams by a plurality of microlenses 82 a provided on a spinning disk 82 , and each of the plurality of beams passes through different pinholes 83 a on the spinning disk 83 .

スピニングディスク83は、対物レンズ12aの前側焦点面と光学的に共役な面に配置されている。このため、複数のピンホール83aを通過した複数の光束は、対物レンズ12aを経由して、ピンホール83aの位置に応じた試料S上の位置に照射される。また、試料Sで生じた蛍光は、対物レンズ12a、及び、蛍光が生じた位置に対応するピンホール83aを通過した後に、ダイクロイックミラー84で反射し、図示しないレンズを経由してイメージセンサ85へ入射する。 The spinning disk 83 is arranged on a plane optically conjugate with the front focal plane of the objective lens 12a. Therefore, the plurality of light beams passing through the plurality of pinholes 83a are irradiated to positions on the sample S corresponding to the positions of the pinholes 83a via the objective lens 12a. Fluorescence generated in the sample S is reflected by the dichroic mirror 84 after passing through the objective lens 12a and the pinhole 83a corresponding to the position where the fluorescence is generated, and passes through a lens (not shown) to the image sensor 85. Incident.

イメージセンサ85は、対物レンズ12aの前側焦点面とスピニングディスク83の両方と、光学的に共役な面に配置されている。このため、レーザ走査顕微鏡80は、スピニングディスク82とスピニングディスク83を回転して前側焦点面全体を走査することで、イメージセンサ85に前側焦点面の光学像を投影することが可能であり、その結果、前側焦点面上の試料Sの二次元画像を得ることができる。 The image sensor 85 is arranged on a plane optically conjugate with both the front focal plane of the objective lens 12 a and the spinning disk 83 . Therefore, the laser scanning microscope 80 can project an optical image of the front focal plane on the image sensor 85 by rotating the spinning disk 82 and the spinning disk 83 to scan the entire front focal plane. As a result, a two-dimensional image of the sample S on the front focal plane can be obtained.

ライトシート顕微鏡90は、対物レンズ91を含む照明光学系と、対物レンズ12aとイメージセンサ92を含む観察光学系と、を備えている。イメージセンサ92は、例えば、CCD(Charge Coupled Device)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの二次元イメージセンサである。 The light sheet microscope 90 includes an illumination optical system including an objective lens 91 and an observation optical system including an objective lens 12 a and an image sensor 92 . The image sensor 92 is, for example, a two-dimensional image sensor such as a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.

対物レンズ91の光軸と対物レンズ12aの光軸は、交差していて、望ましくは互いに直交している。また、対物レンズ91と対物レンズ12aは、対物レンズ91の光軸と対物レンズ12aの光軸が対物レンズ91の前側焦点位置付近で交差するように、配置される。 The optical axis of the objective lens 91 and the optical axis of the objective lens 12a intersect and are preferably perpendicular to each other. The objective lens 91 and the objective lens 12a are arranged so that the optical axis of the objective lens 91 and the optical axis of the objective lens 12a intersect near the front focal position of the objective lens 91. FIG.

対物レンズ91は、例えば、対物レンズ12aの光軸と直交する方向から、試料Sにシート光を照射する。シート光が照射された試料Sの領域は、対物レンズ12aの光軸方向に薄いシート形状を有している。 The objective lens 91 irradiates the sample S with sheet light, for example, from a direction perpendicular to the optical axis of the objective lens 12a. The region of the sample S irradiated with the sheet light has a thin sheet shape in the optical axis direction of the objective lens 12a.

シート光が照射された領域では、蛍光物質が励起され、シート光とは異なる波長の蛍光が放射される。その蛍光は、対物レンズ12a及びミラー14aを経由して入射するイメージセンサ92上に集光する。つまり、ライトシート顕微鏡90は、シート光が照射された試料Sの領域の光学像をイメージセンサ92上に投影することが可能であり、その結果として、試料Sの二次元画像を取得することができる。 In the area irradiated with the sheet light, the fluorescent substance is excited and fluorescence with a wavelength different from that of the sheet light is emitted. The fluorescence is focused onto the image sensor 92 incident via the objective lens 12a and the mirror 14a. That is, the light sheet microscope 90 can project an optical image of the area of the sample S irradiated with the sheet light onto the image sensor 92, and as a result, acquire a two-dimensional image of the sample S. can.

顕微鏡装置2でも、顕微鏡装置1と同様に、図4に示す制御処理が行われる。つまり、顕微鏡装置2は、レーザ走査顕微鏡80よりも高速に画像を取得することが可能なライトシート顕微鏡90を用いることによって、広い走査領域SR1に対応する第1三次元画像を構築し、表示装置50に表示する。さらに、顕微鏡装置2は、利用者が第1三次元画像を見ながら観察すべき三次元領域として特定した走査領域SR2に対応する第2三次元画像を、レーザ走査顕微鏡80を用いて構築する。従って、顕微鏡装置2によっても、顕微鏡装置1と同様に、観察すべき三次元領域を高い分解能で早期に観察することができる。 Similar to the microscope apparatus 1, the microscope apparatus 2 also performs the control process shown in FIG. That is, the microscope device 2 constructs a first three-dimensional image corresponding to the wide scanning region SR1 by using the light sheet microscope 90 capable of acquiring images at a higher speed than the laser scanning microscope 80, and displays the image on the display device. 50. Furthermore, the microscope device 2 uses the laser scanning microscope 80 to construct a second three-dimensional image corresponding to the scanning region SR2 specified as the three-dimensional region to be observed by the user while viewing the first three-dimensional image. Therefore, with the microscope device 2 as well, the three-dimensional region to be observed can be observed early with high resolution, as with the microscope device 1 .

また、顕微鏡装置2では、レーザ走査顕微鏡80がディスク走査型の共焦点顕微鏡であり、多点を同時に照明することで試料Sを走査する。このため、第2断層画像を顕微鏡装置1よりも更に高速に取得することができる。従って、顕微鏡装置2によれば、顕微鏡装置1に比べて、観察すべき三次元領域を更に早期に観察することが可能である。 In the microscope apparatus 2, the laser scanning microscope 80 is a disk scanning confocal microscope, and the sample S is scanned by illuminating multiple points simultaneously. Therefore, the second tomographic image can be acquired at a higher speed than the microscope apparatus 1 can. Therefore, according to the microscope device 2, compared with the microscope device 1, it is possible to observe the three-dimensional area to be observed more quickly.

[第5実施形態]
図13は、本実施形態に係る顕微鏡装置3の構成を例示した図である。顕微鏡装置3は、顕微鏡本体70の代わりに顕微鏡本体100を備える点が、顕微鏡装置2とは異なる。その他の点は、顕微鏡装置2と同様である。
[Fifth embodiment]
FIG. 13 is a diagram illustrating the configuration of the microscope device 3 according to this embodiment. The microscope device 3 is different from the microscope device 2 in that a microscope body 100 is provided instead of the microscope body 70 . Other points are the same as those of the microscope device 2 .

顕微鏡本体100は、レーザ走査顕微鏡80aとライトシート顕微鏡90aを備えている。レーザ走査顕微鏡80aは、ミラー15aを光路に対して挿脱するためのターレット15をライトシート顕微鏡90aと共有している点が、レーザ走査顕微鏡80とは異なる。その他の点は、レーザ走査顕微鏡80と同様である。また、ライトシート顕微鏡90aは、ターレット15をライトシート顕微鏡90aと共有している点と、イメージセンサ92の代わりにミラー93を備える点が、ライトシート顕微鏡90とは異なる。 The microscope body 100 includes a laser scanning microscope 80a and a light sheet microscope 90a. The laser scanning microscope 80a differs from the laser scanning microscope 80 in that the turret 15 for inserting and removing the mirror 15a with respect to the optical path is shared with the light sheet microscope 90a. Other points are the same as those of the laser scanning microscope 80 . Further, the light sheet microscope 90a is different from the light sheet microscope 90 in that the turret 15 is shared with the light sheet microscope 90a and that a mirror 93 is provided instead of the image sensor 92 .

なお、ターレット15は、レーザ走査顕微鏡80aが試料Sの画像を取得するときに、ミラー15aを光路外に配置し、ライトシート顕微鏡90aが試料Sの画像を取得するときに、ミラー15aを光路上に配置する。 The turret 15 places the mirror 15a outside the optical path when the laser scanning microscope 80a acquires the image of the sample S, and places the mirror 15a in the optical path when the light sheet microscope 90a acquires the image of the sample S. to be placed.

これにより、顕微鏡装置3では、レーザ走査顕微鏡80aとライトシート顕微鏡90aが同じイメージセンサ85を用いて二次元画像を取得することができる。従って、顕微鏡装置3によれば、顕微鏡装置2よりイメージセンサの数が少なくその結果としてコストが抑えられた構成で、顕微鏡装置2と同様の効果を得ることができる。 Accordingly, in the microscope device 3, the laser scanning microscope 80a and the light sheet microscope 90a can acquire two-dimensional images using the same image sensor 85. FIG. Therefore, according to the microscope apparatus 3, the number of image sensors is smaller than that of the microscope apparatus 2, and as a result, the cost is suppressed, and the same effects as those of the microscope apparatus 2 can be obtained.

上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。上述した実施形態の一部を他の実施形態に適用して本発明の更に別の実施形態を構成してもよい。顕微鏡装置、制御方法、及び、プログラムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。 The above-described embodiments show specific examples for facilitating understanding of the invention, and the embodiments of the invention are not limited to these. Some of the embodiments described above may be applied to other embodiments to form still other embodiments of the present invention. Various modifications and changes are possible for the microscope apparatus, the control method, and the program without departing from the scope of the claims.

例えば、顕微鏡装置の実視野を越える大きさの走査領域が利用者によって指定された場合、画像貼り合わせ技術を利用してもよい。顕微鏡装置は、図14に示すように、複数の二次元画像を貼り合わせてもよい。より具体的には、制御装置は、複数の第1断層画像のうち同一平面を対象とする2つ以上の第1断層画像である画像A1~A12を貼り合わせて貼り合わせ画像である画像B1を構築し、それぞれ異なる平面を対象とする複数の貼り合わせ画像に基づいて、第1三次元画像である画像C1を構築してもよい。また、顕微鏡装置は、図15に示すように、複数の三次元画像を貼り合わせてもよい。より具体的には、制御装置は、複数の第1断層画像のうち同軸上に画像中心を有する2つ以上の第1断層画像である画像A21~A32に基づいて、第1三次元画像である画像B2を構築し、それぞれ異なる画像中心を有する複数の第1三次元画像を貼り合わせて第3三次元画像である画像C2を構築してもよい。このように、画像貼り合わせ技術を用いることで、観察倍率を変更して実視野の大きさを大きくすることなく第1三次元画像を構築することができる。このため、画像の解像度を低下させることなく広い範囲を画像化することができる。 For example, if the user specifies a scanning area that exceeds the actual field of view of the microscope, image stitching technology may be used. The microscope device may stitch together a plurality of two-dimensional images, as shown in FIG. More specifically, the control device combines images A1 to A12, which are two or more first tomographic images of the same plane among the plurality of first tomographic images, to create an image B1, which is a composite image. The image C1, which is the first three-dimensional image, may be constructed based on a plurality of stitched images each targeting a different plane. Also, the microscope device may stitch together a plurality of three-dimensional images as shown in FIG. More specifically, the control device generates the first three-dimensional image based on the images A21 to A32, which are two or more first tomographic images having coaxial image centers among the plurality of first tomographic images. An image B2 may be constructed, and a plurality of first three-dimensional images each having a different image center may be pasted together to construct an image C2, which is a third three-dimensional image. Thus, by using the image stitching technique, the first three-dimensional image can be constructed without changing the observation magnification and increasing the size of the real field of view. Therefore, a wide range can be imaged without lowering the resolution of the image.

また、上述した実施形態では、観察対象領域を1つだけ指定する例を示したが、複数の観察対象領域が指定されてもよい。複数の観察対象領域は、利用者が複数の観察対象領域を指定したその順番で走査されてもよい。また、複数の観察対象領域を指定した順番とは異なる順番を利用者が改めて指定したときには、改めて指定した順番で複数の観察対象領域を走査してもよい。なお、各観察対象領域の走査方法については、上述した方法と同じであるので、詳細な説明は省略する。 Also, in the above-described embodiment, an example in which only one observation target region is specified has been shown, but a plurality of observation target regions may be specified. The plurality of observation target regions may be scanned in the order in which the user designates the plurality of observation target regions. Further, when the user again specifies an order different from the order in which the plurality of observation target regions are specified, the plurality of observation target regions may be scanned in the order specified again. Note that the method of scanning each observation target area is the same as the method described above, and detailed description thereof will be omitted.

また、上述した実施形態では、複数の第2断層画像を取得するステップS8において、顕微鏡装置が、対物レンズ12bの光軸上に走査領域SR2の中心が位置するように、電動ステージ11を対物レンズ12bの光軸と直交する方向へ移動する例を示したが、顕微鏡装置は、対物レンズ12bの光軸上に走査領域SR2の中心が位置するように、ニ次元スキャナ23の振り角中心位置を調整してもよい。即ち、パン制御によって対物レンズ12bの光軸と走査領域SR2の中心位置を一致させてもよい。これにより、電動ステージ11を動かすことなく走査領域SR2を走査することができるため、更に高速に第2断層画像を取得することが可能となる。 In the above-described embodiment, in step S8 of acquiring a plurality of second tomographic images, the microscope apparatus moves the motorized stage 11 to the objective lens so that the center of the scanning region SR2 is positioned on the optical axis of the objective lens 12b. Although an example of moving in a direction orthogonal to the optical axis of the objective lens 12b has been shown, the microscope apparatus adjusts the swing angle center position of the two-dimensional scanner 23 so that the center of the scanning area SR2 is positioned on the optical axis of the objective lens 12b. may be adjusted. That is, the optical axis of the objective lens 12b and the center position of the scanning area SR2 may be aligned by pan control. As a result, the scanning region SR2 can be scanned without moving the electric stage 11, so that the second tomographic image can be acquired at a higher speed.

また、上述した実施形態では、第2断層画像を取得するときに、第1断層画像を取得するときよりも高い倍率の対物レンズを用いる例を示したが、第2断層画像を取得するときと第1断層画像を取得するときで同じ対物レンズを用いてもよい。この場合であっても、レーザ走査顕微鏡が有する高い解像力によって、第1断層画像よりも高い解像度を有する第2断層画像を取得することが可能であり、第1三次元画像よりも高い解像度を有する第2三次元画像を構築することができる。 Further, in the above-described embodiment, an example is shown in which an objective lens with a higher magnification is used when acquiring the second tomographic image than when acquiring the first tomographic image. The same objective lens may be used when acquiring the first tomographic image. Even in this case, it is possible to acquire a second tomographic image having a higher resolution than the first tomographic image due to the high resolving power of the laser scanning microscope, and has a higher resolution than the first three-dimensional image. A second three-dimensional image can be constructed.

また、上述した実施形態では、レーザ走査顕微鏡とライトシート顕微鏡が観察光路の一部を共有している例を示したが、ライトシート顕微鏡はレーザ走査顕微鏡の観察光路と同軸上に観察光路を有していればよく、レーザ走査顕微鏡とライトシート顕微鏡は照明光路の一部を共有してもよい。 Further, in the above-described embodiments, the laser scanning microscope and the light sheet microscope share a part of the observation light path. The laser scanning microscope and the light sheet microscope may share a part of the illumination optical path.

1、2、3 顕微鏡装置
10、70、100 顕微鏡本体
11 電動ステージ
12a、12b、31、91 対物レンズ
13 レボルバ
14、15 ターレット
14a、15a、93 ミラー
20、80、80a レーザ走査顕微鏡
21、81 レーザ
21a 絞り
22、84 ダイクロイックミラー
23 ニ次元スキャナ
24 共焦点絞り
25 PMT
30、90、90a ライトシート顕微鏡
32、85、92 イメージセンサ
40 制御装置
41 第1画像取得部
42 第2画像取得部
43 記憶部
44 領域設定部
45 駆動制御部
46 三次元画像構築部
47 表示制御部
40a プロセッサ
40b メモリ
40c 補助記憶装置
40d 入出力インタフェース
40e 媒体駆動装置
40f 通信制御装置
40g バス
40h 記憶媒体
50 表示装置
51、52、53 画像
51a 観察対象領域
60 入力装置
82、83 スピニングディスク
83a ピンホール
A1~A12、A21~A32 画像
B1、B2、C1、C2 画像
S 試料
SR1、SR2 走査領域
Reference Signs List 1, 2, 3 microscope devices 10, 70, 100 microscope body 11 motorized stages 12a, 12b, 31, 91 objective lens 13 revolvers 14, 15 turrets 14a, 15a, 93 mirrors 20, 80, 80a laser scanning microscopes 21, 81 laser 21a stop 22, 84 dichroic mirror 23 two-dimensional scanner 24 confocal stop 25 PMT
30, 90, 90a Light sheet microscope 32, 85, 92 Image sensor 40 Control device 41 First image acquisition unit 42 Second image acquisition unit 43 Storage unit 44 Region setting unit 45 Drive control unit 46 Three-dimensional image construction unit 47 Display control Unit 40a Processor 40b Memory 40c Auxiliary storage device 40d Input/output interface 40e Media drive device 40f Communication control device 40g Bus 40h Storage medium 50 Display devices 51, 52, 53 Image 51a Observation target area 60 Input devices 82, 83 Spinning disk 83a Pinhole A1 to A12, A21 to A32 Images B1, B2, C1, C2 Image S Specimens SR1, SR2 Scanning area

Claims (14)

対物レンズを含む、レーザ走査顕微鏡と、
前記対物レンズの光軸と同軸上に観察光軸を有する、ライトシート顕微鏡と、
前記レーザ走査顕微鏡と前記ライトシート顕微鏡を制御する制御装置と、を備え、
前記制御装置は、
前記ライトシート顕微鏡が取得した試料の複数の第1断層画像に基づいて、第1三次元画像を構築し、
前記第1三次元画像を表示装置に表示し、
前記表示装置に表示された前記第1三次元画像のうちの利用者によって選択された観察対象領域に対応する前記試料の三次元領域を走査領域に設定し、
前記レーザ走査顕微鏡が前記走査領域を走査することによって取得した前記試料の複数の第2断層画像に基づいて、第2三次元画像を構築する
ことを特徴とする顕微鏡装置。
a laser scanning microscope including an objective;
a light sheet microscope having an observation optical axis coaxial with the optical axis of the objective lens;
A controller for controlling the laser scanning microscope and the light sheet microscope,
The control device is
constructing a first three-dimensional image based on a plurality of first tomographic images of the sample acquired by the light sheet microscope;
displaying the first three-dimensional image on a display device;
setting a three-dimensional region of the sample corresponding to an observation target region selected by a user in the first three-dimensional image displayed on the display device as a scanning region;
A microscope apparatus, wherein a second three-dimensional image is constructed based on a plurality of second tomographic images of the sample acquired by scanning the scanning area with the laser scanning microscope.
請求項1に記載の顕微鏡装置において、
前記レーザ走査顕微鏡と前記ライトシート顕微鏡は、前記試料を載置するステージを含み、
前記制御装置は、
前記ライトシート顕微鏡が前記複数の第1断層画像を取得するときに、前記ステージを前記観察光軸の方向へ移動し、
前記レーザ走査顕微鏡が前記複数の第2断層画像を取得するときに、前記対物レンズを前記観察光軸の方向へ移動する
ことを特徴とする顕微鏡装置。
The microscope device according to claim 1,
The laser scanning microscope and the light sheet microscope each include a stage on which the sample is placed,
The control device is
moving the stage in the direction of the observation optical axis when the light sheet microscope acquires the plurality of first tomographic images;
A microscope apparatus, wherein the objective lens is moved in the direction of the observation optical axis when the laser scanning microscope acquires the plurality of second tomographic images.
請求項2に記載の顕微鏡装置において、
前記制御装置は、前記レーザ走査顕微鏡が前記複数の第2断層画像を取得するときに、前記複数の第1断層画像の前記観察光軸の方向の間隔よりも前記複数の第2断層画像の前記観察光軸の方向の間隔が短くなるように、前記対物レンズを前記観察光軸の方向へ移動する
ことを特徴とする顕微鏡装置。
In the microscope device according to claim 2,
When the laser scanning microscope acquires the plurality of second tomographic images, the controller controls the distance between the plurality of second tomographic images to be greater than the interval in the direction of the observation optical axis of the plurality of first tomographic images. A microscope apparatus, wherein the objective lens is moved in the direction of the observation optical axis so as to shorten the interval in the direction of the observation optical axis.
請求項1乃至請求項3のいずれか1項に記載の顕微鏡装置において、
前記制御装置は、前記利用者によって選択された前記観察対象領域と前記観察対象領域以外の領域とを区別した表示状態で前記第1三次元画像を前記表示装置に表示する
ことを特徴とする顕微鏡装置。
In the microscope apparatus according to any one of claims 1 to 3,
The microscope, wherein the control device displays the first three-dimensional image on the display device in a display state in which the observation target region selected by the user and regions other than the observation target region are distinguished. Device.
請求項1乃至請求項4のいずれか1項に記載の顕微鏡装置において、
前記レーザ走査顕微鏡と前記ライトシート顕微鏡は、前記対物レンズを含む複数の対物レンズが装着された対物レンズ切換装置を備え、
前記制御装置は、前記レーザ走査顕微鏡が前記複数の第2断層画像を取得するときに、前記対物レンズ切換装置を用いて前記観察光軸上に配置する対物レンズを、前記ライトシート顕微鏡が前記複数の第1断層画像を取得するときに前記観察光軸上に配置されていた対物レンズよりも高い倍率を有する対物レンズに変更する
ことを特徴とする顕微鏡装置。
In the microscope apparatus according to any one of claims 1 to 4,
The laser scanning microscope and the light sheet microscope each include an objective lens switching device equipped with a plurality of objective lenses including the objective lens,
When the laser scanning microscope acquires the plurality of second tomographic images, the control device uses the objective lens switching device to switch the objective lens arranged on the observation optical axis to the plurality of light sheet microscopes. wherein the objective lens arranged on the observation optical axis is changed to an objective lens having a higher magnification when acquiring the first tomographic image.
請求項1乃至請求項4のいずれか1項に記載の顕微鏡装置において、
前記レーザ走査顕微鏡は、前記対物レンズを含む複数の対物レンズが装着された対物レンズ切換装置を備え、
前記制御装置は、前記走査領域に応じて前記対物レンズ切換装置を用いて前記観察光軸上に配置する対物レンズを変更する
ことを特徴とする顕微鏡装置。
In the microscope apparatus according to any one of claims 1 to 4,
The laser scanning microscope includes an objective lens switching device equipped with a plurality of objective lenses including the objective lens,
A microscope apparatus, wherein the control device uses the objective lens switching device to change the objective lens arranged on the observation optical axis according to the scanning area.
請求項1乃至請求項6のいずれか1項に記載の顕微鏡装置において、
前記レーザ走査顕微鏡は、レーザ光を偏向する二次元スキャナを含む共焦点顕微鏡、又は、多光子励起顕微鏡である
ことを特徴とする顕微鏡装置。
The microscope apparatus according to any one of claims 1 to 6,
A microscope apparatus, wherein the laser scanning microscope is a confocal microscope including a two-dimensional scanner that deflects laser light, or a multiphoton excitation microscope.
請求項7に記載の顕微鏡装置において、
前記制御装置は、前記ライトシート顕微鏡の視野の中心位置と前記レーザ走査顕微鏡の視野の中心位置とが一致するように、前記二次元スキャナを制御する
ことを特徴とする顕微鏡装置。
In the microscope device according to claim 7,
The microscope apparatus, wherein the control device controls the two-dimensional scanner so that a central position of a field of view of the light sheet microscope and a central position of the field of view of the laser scanning microscope are aligned.
請求項7又は請求項8に記載の顕微鏡装置において、
前記制御装置は、前記走査領域に応じて少なくとも前記二次元スキャナの振り角度を制限する
ことを特徴とする顕微鏡装置。
In the microscope device according to claim 7 or claim 8,
A microscope apparatus, wherein the control device limits at least a swing angle of the two-dimensional scanner according to the scanning area.
請求項1乃至請求項9のいずれか1項に記載の顕微鏡装置において、
前記レーザ走査顕微鏡は、スピニングディスクを有する共焦点スキャナと、二次元イメージセンサと、を含む共焦点顕微鏡である
ことを特徴とする顕微鏡装置。
In the microscope apparatus according to any one of claims 1 to 9,
A microscope apparatus, wherein the laser scanning microscope is a confocal microscope including a confocal scanner having a spinning disk and a two-dimensional image sensor.
請求項1に記載の顕微鏡装置において、
前記制御装置は、
前記複数の第1断層画像のうち同一平面を対象とする2つ以上の第1断層画像を貼り合わせて貼り合わせ画像を構築し、
それぞれ異なる平面を対象とする複数の貼り合わせ画像に基づいて、前記第1三次元画像を構築する
ことを特徴とする顕微鏡装置。
The microscope device according to claim 1,
The control device is
constructing a stitched image by stitching together two or more first tomographic images of the plurality of first tomographic images targeting the same plane;
A microscope apparatus, wherein the first three-dimensional image is constructed based on a plurality of stitched images each targeting a different plane.
請求項1に記載の顕微鏡装置において、
前記制御装置は、
前記複数の第1断層画像のうち同軸上に画像中心を有する2つ以上の第1断層画像に基づいて、前記第1三次元画像を構築し、
それぞれ異なる画像中心を有する複数の第1三次元画像を貼り合わせて第3三次元画像を構築する
ことを特徴とする顕微鏡装置。
The microscope device according to claim 1,
The control device is
Constructing the first three-dimensional image based on two or more first tomographic images having image centers on the same axis among the plurality of first tomographic images,
A microscope apparatus, wherein a plurality of first three-dimensional images each having a different image center are stitched together to construct a third three-dimensional image.
対物レンズを含むレーザ走査顕微鏡と、前記対物レンズの光軸と同軸上に観察光軸を有するライトシート顕微鏡と、を備える顕微鏡装置の制御方法であって、
前記ライトシート顕微鏡が取得した試料の複数の第1断層画像に基づいて、第1三次元画像を構築し、
前記第1三次元画像を表示装置に表示し、
前記表示装置に表示された前記第1三次元画像のうちの利用者によって選択された観察対象領域に対応する前記試料の三次元領域を走査領域に設定し、
前記レーザ走査顕微鏡が前記走査領域を走査することによって取得した前記試料の複数の第2断層画像に基づいて、第2三次元画像を構築する
ことを特徴とする制御方法。
A control method for a microscope apparatus comprising a laser scanning microscope including an objective lens and a light sheet microscope having an observation optical axis coaxial with the optical axis of the objective lens,
constructing a first three-dimensional image based on a plurality of first tomographic images of the sample acquired by the light sheet microscope;
displaying the first three-dimensional image on a display device;
setting a three-dimensional region of the sample corresponding to an observation target region selected by a user in the first three-dimensional image displayed on the display device as a scanning region;
A control method, comprising constructing a second three-dimensional image based on a plurality of second tomographic images of the sample acquired by scanning the scanning area with the laser scanning microscope.
対物レンズを含むレーザ走査顕微鏡と、前記対物レンズの光軸と同軸上に観察光軸を有するライトシート顕微鏡と、を備える顕微鏡装置のコンピュータに、
前記ライトシート顕微鏡が取得した試料の複数の第1断層画像に基づいて、第1三次元画像を構築し、
前記第1三次元画像を表示装置に表示し、
前記表示装置に表示された前記第1三次元画像のうちの利用者によって選択された観察対象領域に対応する前記試料の三次元領域を走査領域に設定し、
前記レーザ走査顕微鏡が前記走査領域を走査することによって取得した前記試料の複数の第2断層画像に基づいて、第2三次元画像を構築する
処理を実行させることを特徴とするプログラム。
A computer of a microscope apparatus comprising a laser scanning microscope including an objective lens, and a light sheet microscope having an observation optical axis coaxial with the optical axis of the objective lens,
constructing a first three-dimensional image based on a plurality of first tomographic images of the sample acquired by the light sheet microscope;
displaying the first three-dimensional image on a display device;
setting a three-dimensional region of the sample corresponding to an observation target region selected by a user in the first three-dimensional image displayed on the display device as a scanning region;
A program for executing a process of constructing a second three-dimensional image based on a plurality of second tomographic images of the sample acquired by scanning the scanning area with the laser scanning microscope.
JP2018209715A 2018-11-07 2018-11-07 MICROSCOPE DEVICE, CONTROL METHOD AND PROGRAM Active JP7134839B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018209715A JP7134839B2 (en) 2018-11-07 2018-11-07 MICROSCOPE DEVICE, CONTROL METHOD AND PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018209715A JP7134839B2 (en) 2018-11-07 2018-11-07 MICROSCOPE DEVICE, CONTROL METHOD AND PROGRAM

Publications (2)

Publication Number Publication Date
JP2020076857A JP2020076857A (en) 2020-05-21
JP7134839B2 true JP7134839B2 (en) 2022-09-12

Family

ID=70724032

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018209715A Active JP7134839B2 (en) 2018-11-07 2018-11-07 MICROSCOPE DEVICE, CONTROL METHOD AND PROGRAM

Country Status (1)

Country Link
JP (1) JP7134839B2 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010540995A (en) 2007-09-28 2010-12-24 カール ツァイス マイクロイメージング ゲーエムベーハー Optical device for optical manipulation
JP2010286565A (en) 2009-06-09 2010-12-24 Olympus Corp Fluorescence observation apparatus
JP2015523602A (en) 2012-07-09 2015-08-13 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh microscope
JP2016540989A (en) 2013-12-17 2016-12-28 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツングLeica Microsystems CMS GmbH Method and apparatus for inspecting a sample using optical projection tomography
JP2017191228A (en) 2016-04-14 2017-10-19 オリンパス株式会社 Light sheet microscope and sample observation method
JP2020524822A (en) 2017-06-23 2020-08-20 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツングLeica Microsystems CMS GmbH Microscope system with light sheet microscope function unit

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4605447B2 (en) * 2004-09-17 2011-01-05 横河電機株式会社 3D confocal microscope system
DE102010060121C5 (en) * 2010-10-22 2023-09-28 Leica Microsystems Cms Gmbh SPIM microscope with sequential lightsheet
JP6811950B2 (en) * 2016-12-09 2021-01-13 オリンパス株式会社 Scanning confocal microscope, scanning control method, and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010540995A (en) 2007-09-28 2010-12-24 カール ツァイス マイクロイメージング ゲーエムベーハー Optical device for optical manipulation
JP2010286565A (en) 2009-06-09 2010-12-24 Olympus Corp Fluorescence observation apparatus
JP2015523602A (en) 2012-07-09 2015-08-13 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh microscope
JP2016540989A (en) 2013-12-17 2016-12-28 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツングLeica Microsystems CMS GmbH Method and apparatus for inspecting a sample using optical projection tomography
JP2017191228A (en) 2016-04-14 2017-10-19 オリンパス株式会社 Light sheet microscope and sample observation method
JP2020524822A (en) 2017-06-23 2020-08-20 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツングLeica Microsystems CMS GmbH Microscope system with light sheet microscope function unit

Also Published As

Publication number Publication date
JP2020076857A (en) 2020-05-21

Similar Documents

Publication Publication Date Title
CN107526156B (en) Light sheet microscope and method for operating a light sheet microscope
JP5566188B2 (en) Living body observation device
ES2959361T3 (en) Real-time autofocus scanning
JP6283667B2 (en) Methods for preparing and performing acquisition of sample image stacks from various orientation angles
US9372329B2 (en) Method for correcting image distortions in a confocal scanning microscope
JP2009036969A (en) Cover glass, slide glass, preparation, observation method, and microscopic device
JP4526988B2 (en) Minute height measuring method, minute height measuring apparatus and displacement unit used therefor
JP2021192118A (en) Two-dimensional and three-dimensional fixed z scanning
EP1882967B1 (en) Scanning examination apparatus
JP2010112969A (en) Confocal microscope
JP6716383B2 (en) Microscope system, information presentation method, program
JP2009036970A (en) Cover glass, slide glass, preparation, observing method and microscope device
JP2006275964A (en) Shading correction method for scanning fluorescence microscope
JP2010080144A (en) Compound microscope device and method of observing sample
JP4725967B2 (en) Minute height measuring device and displacement meter unit
EP1806575B1 (en) Examination apparatus
JP7134839B2 (en) MICROSCOPE DEVICE, CONTROL METHOD AND PROGRAM
US20020030680A1 (en) Method and system for generating a three-dimensional object
US20180180867A1 (en) Microscope and setting support method
JP2007304058A (en) Micro height measuring device
JP6177000B2 (en) Laser scanning microscope
JP2010164635A (en) Confocal microscope
US9696532B2 (en) Scanning laser microscope
JP2014056078A (en) Image acquisition device, image acquisition system, and microscope device
JP2004021004A (en) Color microscope

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210902

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210902

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20220622

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220817

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220831

R151 Written notification of patent or utility model registration

Ref document number: 7134839

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151