JP5231610B2 - Microscope system and observation method - Google Patents

Microscope system and observation method Download PDF

Info

Publication number
JP5231610B2
JP5231610B2 JP2011149509A JP2011149509A JP5231610B2 JP 5231610 B2 JP5231610 B2 JP 5231610B2 JP 2011149509 A JP2011149509 A JP 2011149509A JP 2011149509 A JP2011149509 A JP 2011149509A JP 5231610 B2 JP5231610 B2 JP 5231610B2
Authority
JP
Japan
Prior art keywords
observation
stage
autofocus
objective lens
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011149509A
Other languages
Japanese (ja)
Other versions
JP2011237818A (en
JP2011237818A5 (en
Inventor
貴 米山
敦宏 土屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2011149509A priority Critical patent/JP5231610B2/en
Publication of JP2011237818A publication Critical patent/JP2011237818A/en
Publication of JP2011237818A5 publication Critical patent/JP2011237818A5/ja
Application granted granted Critical
Publication of JP5231610B2 publication Critical patent/JP5231610B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、顕微鏡を用いて標本を自動検査・自動画像記録を行う装置等に利用される顕微鏡オートフォーカス装置を含む顕微鏡システムに関するものである。   The present invention relates to a microscope system including a microscope autofocus device that is used in a device that automatically inspects and records an image using a microscope.

近年、顕微鏡を用いた検査装置は、各種機能面の自動化が進んでおり、標本にピント合わせを行うオートフォーカス機能も自動化項目の必須機能となっている。   In recent years, an inspection apparatus using a microscope has been automated in various functional aspects, and an autofocus function for focusing on a specimen is also an essential function of an automated item.

スライドガラスに封入された標本に対する検査装置にも顕微鏡オートフォーカスが採用されており、例えば特開昭58−83906号公報では標本を封入するスライドガラスやカバーガラスに赤外線反射膜を施し、その膜に対してピント合わせを行う方法が記載されている。また、特開平8−82747号公報では特に赤外線反射膜の構成に関する記載がされている。さらに特開2001−91821号公報では、同じくスライドガラスやカバーガラスにアクティブAF方式によりピント合わせをした後、パッシブAF方式を用いて、標本に正確にピント合わせを行う方法が記載されている。
特開昭58−83906号公報 特開平8−82747号公報 特開2001−91821号公報
Microscope autofocus is also used for inspection devices for specimens enclosed in a slide glass. For example, in Japanese Patent Application Laid-Open No. 58-83906, an infrared reflecting film is applied to a slide glass or a cover glass in which a specimen is enclosed, and the film is applied to the film. On the other hand, a method for focusing is described. Japanese Patent Laid-Open No. 8-82747 specifically describes the configuration of the infrared reflecting film. Furthermore, Japanese Patent Application Laid-Open No. 2001-91821 describes a method of accurately focusing on a specimen using a passive AF method after focusing on a slide glass or cover glass by an active AF method.
JP 58-83906 A JP-A-8-82747 JP 2001-91821 A

上記のようなオートフォーカスシステムを、高倍率の対物レンズを用いて標本内の対象物の動きを長時間にわたり解析する場合には、以下のような問題が生じる。   When the autofocus system as described above is used to analyze the movement of an object in a specimen over a long period of time using a high-magnification objective lens, the following problems arise.

図13Aは、赤外線反射膜を施したスライドガラス上にその内部にいくつかの核をもつような標本を載せ、その核のうち、注目する1つの核の観察を行う場合のモデル図である。   FIG. 13A is a model diagram in a case where a specimen having several nuclei is placed on a slide glass provided with an infrared reflecting film, and one of the nuclei is observed.

図13Aに示されるように、スライドガラス201の上には赤外線反射膜202が設けられており、赤外線反射膜202の上には標本である細胞203が載せられている。細胞203は、検査対象である核204を含んでいる。図13Aにおいて、網目で示された核204は、着目する核であることを表現している。   As shown in FIG. 13A, an infrared reflecting film 202 is provided on the slide glass 201, and a cell 203 as a specimen is placed on the infrared reflecting film 202. The cell 203 includes a nucleus 204 to be examined. In FIG. 13A, a nucleus 204 indicated by a mesh represents that it is a nucleus of interest.

特開昭58−63906号公報、特開平8−82747号公報で記載されている方法では、図13Aに一点鎖線で示される赤外線反射膜にピントを合わせるため、図13Aで示される着目する核が、図13Aに二点鎖線で示される焦点深度領域外となるため、観察することができない可能性が生じる。   In the methods described in JP-A-58-63906 and JP-A-8-82747, the focused core shown in FIG. 13A is used to focus on the infrared reflecting film indicated by the one-dot chain line in FIG. 13A. Since it is outside the focal depth region indicated by the two-dot chain line in FIG. 13A, there is a possibility that it cannot be observed.

また、特開2001−91821号公報で記載されているパッシブAFを用いた方法では、図13Bにおいて破線で示される核204が実線で示されるように動くと、コントラスト最大の位置が破線の位置から例えば一点鎖線の位置に動いてしまうため、着目する核の動きを観察することができない可能性がある。   Further, in the method using passive AF described in Japanese Patent Application Laid-Open No. 2001-91821, when the nucleus 204 indicated by the broken line in FIG. 13B moves as indicated by the solid line, the maximum contrast position is moved from the position indicated by the broken line. For example, since it moves to the position of an alternate long and short dash line, there is a possibility that the movement of the target nucleus cannot be observed.

さらに、蛍光観察のように照射する励起光により、発光する標本の部位が、例えば図13Cに示される部位205と部位206のように、異なる場合には、励起光毎に着目する位置が変化することになる。   Furthermore, when the portion of the specimen to be emitted is different due to the excitation light irradiated as in fluorescence observation, for example, the portion 205 and the portion 206 shown in FIG. 13C, the position of interest changes for each excitation light. It will be.

上記のようなオートフォーカスシステムを用いない場合には、観察はさらに困難となり、例えば対物レンズの周囲温度が変化して対物レンズ自体の温度変化が発生し、それによる焦点位置ずれなどにより焦準部を固定していてもピントずれを生じてしまう。     If the autofocus system as described above is not used, observation becomes even more difficult. For example, the ambient temperature of the objective lens changes and the objective lens itself changes in temperature. Even if the lens is fixed, it will be out of focus.

本発明は、上記事情に鑑みてなされたもので、その目的は、長時間観察解析において標本の動きを確実に測定することが可能な顕微鏡システムを提供することである。   The present invention has been made in view of the above circumstances, and an object thereof is to provide a microscope system capable of reliably measuring the movement of a specimen in long-term observation analysis.

本発明の顕微鏡システムは、透明体と該透明体上に載置された観察体とからなる観察試料を載せるステージと、該ステージに載せられた前記観察試料に対して対峙するように前記ステージより下方に配置される対物レンズと、前記ステージと前記対物レンズのうち少なくとも一方を観察光軸に対して平行方向に駆動させる焦準駆動部と、前記観察試料を照明する観察光源と、前記観察光源とは異なる光源で、前記対物レンズの下方から前記観察試料に対してオートフォーカス用の検出光を出射する焦点検出光源と、前記観察試料における前記透明体から反射した前記検出光を前記対物レンズを介して受光する受光手段と、前記受光手段の結果から前記焦準駆動部を制御することで前記透明体の所定の位置にオートフォーカスをするオートフォーカス部と、前記所定の位置から光軸方向に一定量離れている距離を記録するオフセット量記録手段と、前記対物レンズを介して前記観察試料の撮影を行う撮像装置と、前記撮像装置の間欠撮影間隔であるタイムラプス測定間隔を設定するタイムラプス測定間隔設定手段と、前記撮像装置及び前記オートフォーカス部の制御を行う撮影制御手段とを備え、前記撮影制御手段によって、前記オートフォーカス部により前記透明体から前記焦点検出光が反射される位置である前記所定の位置に対してオートフォーカスを行った後、前記オフセット量記録手段に記録されている前記所定の位置から予め定めた一定量離れた位置で前記観察試料の撮影をすることを、前記タイムラプス測定間隔設定手段に記録された前記タイムラプス測定間隔毎に行う。
また本発明の顕微鏡システムは、透明体と該透明体上に載置された観察体とからなる観察試料を載せるステージと、前記ステージを観察光軸に対して垂直方向であるX−Y方向
に駆動制御するX−Yステージ駆動手段と、前記ステージに載せられた前記観察試料に対して対峙するように前記ステージより下方に配置される対物レンズと、前記ステージと前記対物レンズのうち少なくとも一方を観察光軸に対して平行方向に駆動させる焦準駆動部と、前記観察試料を照明する観察光源と、前記観察体に対して撮影を行う位置を前記X−
Y方向に複数設定を行う撮影位置設定手段と、前記観察光源とは異なる光源で、前記対物レンズの下方から前記観察試料に対してオートフォーカス用の検出光を出射する焦点検出光源と、前記観察試料における前記透明体から反射した前記検出光を前記対物レンズを介して受光する受光手段と、前記受光手段の結果から前記焦準駆動部を制御することで前記透明体の所定の位置にオートフォーカスをするオートフォーカス部と、前記撮影位置毎に、前記所定の位置から光軸方向に一定量離れている距離を個別に記録するオフセット量記録手段と、前記対物レンズを介して前記観察試料の撮影を行う撮像装置と、前記撮像装置の間欠撮影間隔であるタイムラプス測定間隔を設定するタイムラプス測定間隔設定手段と、前記撮像装置、前記オートフォーカス部及び前記X−Yステージ駆動手段の制御を行う撮影制御手段とを備え、撮影制御手段によって、前記タイムラプス観察が開始されると、前記タイムラプス測定間隔設定手段に記録された前記タイムラプス測定間隔毎に、前記撮影位置設定手段に設定された撮影位置に前記電動ステージによってX−Y方向に移動し、
前記オートフォーカス部により前記透明体から前記焦点検出光が反射される位置である前記所定の位置に対してオートフォーカスを行った後、前記撮影位置毎に前記オフセット量記録手段に記録されている前記所定の位置から予め定めた一定量離れた位置で前記観察試料の撮影を行い、同じ前記タイムラプス測定間隔内において未撮影の撮影位置がある場合に、次の撮影位置への移動及び撮影を行い、前記撮影位置設定手段に設定されたすべての撮影位置における撮影が終了した場合は、次のタイムラプス測定間隔まで待機するサイクルを繰り返す。
The microscope system of the present invention includes a stage on which an observation sample composed of a transparent body and an observation body placed on the transparent body is placed, and the stage so as to face the observation specimen placed on the stage. An objective lens disposed below, a focusing drive unit that drives at least one of the stage and the objective lens in a direction parallel to the observation optical axis, an observation light source that illuminates the observation sample, and the observation light source A focus detection light source that emits autofocus detection light to the observation sample from below the objective lens, and the detection light reflected from the transparent body in the observation sample through the objective lens. A light receiving means for receiving light through the light receiving means, and an autofocus for automatically focusing to a predetermined position of the transparent body by controlling the focusing drive unit from the result of the light receiving means. A debris portion, an offset amount recording means for recording a distance away from the predetermined position in the optical axis direction, an imaging device for taking an image of the observation sample via the objective lens, and an intermittent of the imaging device A time lapse measurement interval setting means for setting a time lapse measurement interval, which is a photographing interval, and a photographing control means for controlling the imaging device and the autofocus section, and the transparent body is controlled by the autofocus section by the photographing control means. After performing autofocus on the predetermined position, which is the position where the focus detection light is reflected from, the position is separated from the predetermined position recorded in the offset amount recording means by a predetermined amount. The observation sample is photographed at each time lapse measurement interval recorded in the time lapse measurement interval setting means.
The microscope system according to the present invention includes a stage on which an observation sample including a transparent body and an observation body placed on the transparent body is placed, and the stage in the XY direction perpendicular to the observation optical axis. XY stage driving means for driving and controlling, an objective lens disposed below the stage so as to face the observation sample placed on the stage, and at least one of the stage and the objective lens A focusing drive unit that is driven in a direction parallel to the observation optical axis, an observation light source that illuminates the observation sample, and a position at which photographing is performed with respect to the observation body are set to
An imaging position setting means for performing a plurality of settings in the Y direction, a focus detection light source that emits detection light for autofocusing from below the objective lens to the observation sample with a light source different from the observation light source, and the observation Light receiving means for receiving the detection light reflected from the transparent body in the sample through the objective lens, and autofocusing to a predetermined position of the transparent body by controlling the focusing drive unit from the result of the light receiving means An autofocus unit that performs recording, an offset amount recording unit that individually records a distance a predetermined amount away from the predetermined position in the optical axis direction for each imaging position, and imaging of the observation sample via the objective lens An image capturing apparatus that performs a time lapse measurement interval setting means for setting a time lapse measurement interval that is an intermittent shooting interval of the image capturing apparatus, the image capturing apparatus, and the auto And an imaging control means for controlling the focus section and the XY stage driving means, and when the time lapse observation is started by the imaging control means, each time lapse measurement interval recorded in the time lapse measurement interval setting means. In the XY direction by the electric stage to the shooting position set in the shooting position setting means,
The autofocus unit performs autofocus on the predetermined position, which is a position where the focus detection light is reflected from the transparent body, and then records the offset amount recording unit for each photographing position. Taking an image of the observation sample at a predetermined distance away from a predetermined position, if there is an unphotographed imaging position within the same time lapse measurement interval, moving to the next imaging position and imaging, When shooting at all the shooting positions set in the shooting position setting means is completed, a cycle of waiting until the next time lapse measurement interval is repeated.

本発明によれば、長時間観察解析において標本の動きを確実に測定することが可能な顕微鏡システムが提供される。   ADVANTAGE OF THE INVENTION According to this invention, the microscope system which can measure the movement of a sample reliably in long-time observation analysis is provided.

以下、図面を参照しながら本発明の実施形態について説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

第一実施形態
本実施形態は、正立型顕微鏡を含む顕微鏡システムに向けられている。図1は、本発明の第一実施形態の顕微鏡システムの構成を示している。図1に示されるように、本実施形態の顕微鏡システム100は、観察試料102を積載するステージ101と、ステージ101に載置された観察試料102と対峙するように配置される対物レンズ109とを備えている。
First Embodiment This embodiment is directed to a microscope system including an upright microscope. FIG. 1 shows the configuration of the microscope system according to the first embodiment of the present invention. As shown in FIG. 1, a microscope system 100 according to the present embodiment includes a stage 101 on which an observation sample 102 is loaded, and an objective lens 109 arranged so as to face the observation sample 102 placed on the stage 101. I have.

対物レンズ109はレボルバ108に装着されている。レボルバ108は電動駆動可能であり、図示しないレボルバ駆動制御部によりレボルバ108の回転を制御することにより、所望の倍率の対物レンズ109を光路中に配置させることが可能となっている。   The objective lens 109 is attached to the revolver 108. The revolver 108 can be electrically driven. By controlling the rotation of the revolver 108 by a revolver drive control unit (not shown), the objective lens 109 having a desired magnification can be arranged in the optical path.

ステージ101はX−Y−Z方向の位置が電動制御可能であり、顕微鏡システム100は、ステージ101のX−Y方向の位置を制御するステージX−Y制御部115と、ステージ101のZ方向の位置を制御するステージZ駆動制御部116とを備えている。ステージZ駆動制御部116は、ステージと対物レンズの少なくとも一方を焦準のために駆動する焦準駆動部を構成している。   The stage 101 can be electrically controlled at the position in the XYZ direction. The microscope system 100 includes a stage XY control unit 115 that controls the position of the stage 101 in the XY direction, and the stage 101 in the Z direction. And a stage Z drive control unit 116 for controlling the position. The stage Z drive control unit 116 constitutes a focusing drive unit that drives at least one of the stage and the objective lens for focusing.

観察試料102は、例えば、図2Aに示されるように、スライドガラス102Aと、カバーガラス102Bと、それらの間に封入された観察体とからなる。観察体は例えば標本(例えば細胞)と培養液とからなる。従って、観察体はスライドガラス102Aとカバーガラス102Bの間に位置し、対物レンズ109はカバーガラス102Aの上方に位置している。   For example, as shown in FIG. 2A, the observation sample 102 includes a slide glass 102A, a cover glass 102B, and an observation body enclosed between them. The observation body includes, for example, a specimen (for example, a cell) and a culture solution. Therefore, the observation body is located between the slide glass 102A and the cover glass 102B, and the objective lens 109 is located above the cover glass 102A.

図1に戻り、顕微鏡システム100は、公知の顕微鏡用アクティブ型のオートフォーカスユニット118を備えている。オートフォーカスユニット118は、いわゆるTTL(Through The Lens)方式により焦準駆動部すなわちステージZ駆動制御部116を制御する。つまり、オートフォーカスユニット118は、公知の技術により、対物レンズ109を含む観察光学系のピント位置を、対物レンズ109を介して光学的に検出し、その情報をステージZ駆動制御部116に送る。ステージZ駆動制御部116は、オートフォーカスユニット118からの情報に従って、観察試料102をピント位置へ移動させる。   Returning to FIG. 1, the microscope system 100 includes a known microscope active autofocus unit 118. The autofocus unit 118 controls the focusing drive unit, that is, the stage Z drive control unit 116 by a so-called TTL (Through The Lens) method. That is, the autofocus unit 118 optically detects the focus position of the observation optical system including the objective lens 109 via the objective lens 109 and sends the information to the stage Z drive control unit 116 by a known technique. The stage Z drive control unit 116 moves the observation sample 102 to the focus position in accordance with information from the autofocus unit 118.

さらに、顕微鏡システム100は、観察試料102を透過照明するための光源103または蛍光照明を行うための光源103’を備えている。透過観察では、光源103からの照明光は、減光するためのNDフィルタ104、視野絞り(FS)105、開口絞り(AS)を内蔵したコンデンサ106を介して観察試料102に照射される。一方、蛍光観察では、光源103’からの照明光は、蛍光キューブ107により、折り返され観察試料102に励起光として照射される。各光学素子は、図示しないそれぞれの駆動制御部により、光学素子変換が電動で行えるようになっている。これにより、光源103’と蛍光キューブ107を含む蛍光観察用の照明光学系は、波長の異なる励起光を選択的に照射し得る。言い換えれば、蛍光観察用の照明光学系は、励起光を選択可能となっている。   Furthermore, the microscope system 100 includes a light source 103 for transmitting and illuminating the observation sample 102 or a light source 103 ′ for performing fluorescent illumination. In the transmission observation, the illumination light from the light source 103 is irradiated to the observation sample 102 through the ND filter 104 for dimming, the field stop (FS) 105, and the capacitor 106 incorporating the aperture stop (AS). On the other hand, in the fluorescence observation, the illumination light from the light source 103 ′ is turned back by the fluorescent cube 107 and applied to the observation sample 102 as excitation light. Each optical element can be electrically converted by a respective drive control unit (not shown). Thereby, the illumination optical system for fluorescence observation including the light source 103 ′ and the fluorescence cube 107 can selectively irradiate excitation light having different wavelengths. In other words, the illumination optical system for fluorescence observation can select excitation light.

観察試料102からの透過照明像または蛍光像は、対物レンズ109を通過して、鏡筒110により、その一部が接眼レンズ111に導かれ、その他の光束はTVカメラ112に入射する。   A transmitted illumination image or a fluorescence image from the observation sample 102 passes through the objective lens 109, and a part thereof is guided to the eyepiece lens 111 by the lens barrel 110, and the other light flux enters the TV camera 112.

顕微鏡の制御は、ホストPC113から顕微鏡コントローラ114を介して行われ、顕微鏡コントローラ114は電動制御部位に対して、それぞれの制御部を介して実際の駆動制御を行う。   Control of the microscope is performed from the host PC 113 via the microscope controller 114, and the microscope controller 114 performs actual drive control via the respective control units on the electric control part.

光源103およびND、AS、FSは、図示しないそれぞれの制御部により、顕微鏡コントローラ114から制御可能となっており、光源電圧や絞り径などが制御される。   The light source 103 and the ND, AS, and FS can be controlled from the microscope controller 114 by respective control units (not shown), and the light source voltage and the aperture diameter are controlled.

一方、TVカメラ112によって撮像された観察試料102の画像は、ビデオキャプチャボード117によりホストPC113に取得される。ホストPC113は、取得した画像を図示しない画像メモリに複数の画像を保存することが可能となっている。   On the other hand, the image of the observation sample 102 captured by the TV camera 112 is acquired by the host PC 113 by the video capture board 117. The host PC 113 can store a plurality of images in an image memory (not shown) for acquired images.

図2Aは、標本の動きを長時間観察するいわゆるタイムラプスのモデルである。図2Aは、スライドガラス102Aとカバーガラス102Bに封入された観察体中の標本(または標本中の核などの特定部位)が時間をかけて位置Aから位置Bへ移動することを示している。観察は、一点鎖線で示された図2A中の撮影領域中心位置から所定量だけステージをZ方向に駆動し、撮影領域上限から撮影領域下限まで、二点鎖線で示された位置で撮影を設定された間欠時間毎に行われる。   FIG. 2A is a so-called time lapse model for observing the movement of a specimen for a long time. FIG. 2A shows that the specimen (or a specific part such as a nucleus in the specimen) enclosed in the slide glass 102A and the cover glass 102B moves from position A to position B over time. For observation, the stage is driven in the Z direction by a predetermined amount from the center position of the shooting area in FIG. 2A indicated by the one-dot chain line, and shooting is set at the position indicated by the two-dot chain line from the upper limit of the shooting area to the lower limit of the shooting area. It is performed every intermittent time.

上記の条件により撮影時間t0からt4までの期間撮影した観察画像のモデルを図3に示す。図3において、縦軸方向の各画像情報は、網掛けされた丸で示される標本がステージZ方向に動いた距離を示しており、t0からt4までの間にZ4だけ標本が動いたことを示している。同様に各画像内のX−Y位置は、標本がX−Y方向に動いたことを示しており、図3のモデルでは、t0で画像中央に存在した標本が、t4までの間に右方向に動いたことを示している。   FIG. 3 shows a model of an observation image photographed during the period from photographing time t0 to t4 under the above conditions. In FIG. 3, each piece of image information in the vertical axis direction indicates the distance that the sample indicated by the shaded circle has moved in the stage Z direction, indicating that the sample has moved by Z4 between t0 and t4. Show. Similarly, the XY position in each image indicates that the specimen has moved in the XY direction. In the model of FIG. 3, the specimen that was present at the center of the image at t0 is moved to the right until t4. Indicates that it has moved.

図2Bは、上記のような撮影を行うための顕微鏡システム100におけるホストPC113の設定画面を示している。設定画面は、TVカメラ112からの標本画像を表示するG1と、顕微鏡の制御に関する操作表示部G2と、標本画像の撮影条件を設定する表示部G3とで構成されている。   FIG. 2B shows a setting screen of the host PC 113 in the microscope system 100 for performing shooting as described above. The setting screen includes G1 that displays a sample image from the TV camera 112, an operation display unit G2 that relates to control of the microscope, and a display unit G3 that sets imaging conditions for the sample image.

撮影条件設定方法を図2Aと図2Bを用いて説明する。   An imaging condition setting method will be described with reference to FIGS. 2A and 2B.

撮影条件設定に際して、まず、スライドガラス102Aまたはカバーガラス102Bに対してG4ボタンでオートフォーカス(AF)を行う。図2Aはカバーガラス102Bに対してAFを行った場合を示しており、AFが完了するとステージ101は図2Aの基準位置となる。観察者は撮影対象である標本にピントを合わせるため、G5ボタンを用いてステージ101を上下駆動させる。G6は現在のステージ位置のアドレスを表示しており、カバーガラス位置(AFが完了した位置)から標本の位置までの距離などが読みとれるようになっている。標本にピントを合わせた後、G10ボタンを用いて図2Aの撮影カウント3のような撮影するステージZ方向の撮影領域中心位置登録を行う。このカバーガラス位置と中心位置の距離がオフセットとなる。撮影領域中心位置を登録した後、G7およびG9ボタンを用いて、図2Aの撮影Z間隔、撮影カウントで示されるような標本に対するZ方向スライス撮影を行うためのステージZ方向のピッチと撮影枚数を設定する。撮影枚数やピッチの設定は、撮影するZ方向の範囲と枚数でも設定可能となっており、その場合にはG8およびG9ボタンを用いて設定を行う。撮影するZ方向の範囲がスライドガラス102Aまたはカバーガラス102Bを越えて設定された場合には、その設定条件に対する警告表示を行う。Z撮影枚数および二方向ピッチを設定した後は、撮影する時間間隔をG11で、また撮影期間に対してはG12を用いて設定する。撮影間隔がG7およびG9で設定したZ方向に対する撮影時間より、短く設定された場合には、撮影間隔の設定に対する警告表示を行う。   When setting the shooting conditions, first, auto-focus (AF) is performed with the G4 button on the slide glass 102A or the cover glass 102B. FIG. 2A shows a case where AF is performed on the cover glass 102B. When the AF is completed, the stage 101 becomes the reference position in FIG. 2A. The observer moves the stage 101 up and down using the G5 button in order to focus on the specimen to be imaged. G6 displays the address of the current stage position, and the distance from the cover glass position (the position where AF is completed) to the position of the sample can be read. After focusing on the specimen, the G10 button is used to register the center position of the shooting area in the stage Z direction for shooting as shown by shooting count 3 in FIG. 2A. The distance between the cover glass position and the center position is an offset. After registering the center position of the imaging area, the G7 and G9 buttons are used to set the pitch in the Z direction and the number of shots for performing Z-direction slice imaging of the specimen as shown by the imaging Z interval and imaging count in FIG. Set. The number of shots and the pitch can be set by the range and the number of shots in the Z direction. In this case, settings are made using the G8 and G9 buttons. When the range in the Z direction to be photographed is set beyond the slide glass 102A or the cover glass 102B, a warning is displayed for the setting condition. After setting the number of Z shots and the two-way pitch, the shooting time interval is set using G11, and the shooting period is set using G12. When the shooting interval is set shorter than the shooting time in the Z direction set by G7 and G9, a warning display for setting the shooting interval is performed.

本実施形態では、カバーガラス102Bにオートフォーカスを行った後、撮影対象物の位置設定を行ったが、これを撮影対象物の位置設定を行った後、カバーガラス102Bにオートフォーカスを行っても同様である。   In the present embodiment, the position of the object to be photographed is set after performing autofocus on the cover glass 102B. However, even if the position of the object to be photographed is set, autofocus is performed on the cover glass 102B. It is the same.

上記のように設定された顕微鏡システム100の動作を図4を用いて説明する。   The operation of the microscope system 100 set as described above will be described with reference to FIG.

測定が開始されると(S1)、所定枚数の撮影が完了し、ホストPC設定の撮影時間(合計)に応じたタイムラプス測定が終了したかチェックする(S2)。測定が終了した場合には、終了する(S10)。測定が終了していない場合には、ホストPC設定のタイムラプス間隔で設定したタイムラプス測定間隔に達するまで待機する(S3)。   When measurement is started (S1), it is checked whether or not a predetermined number of shots have been taken and time lapse measurement according to the shooting time (total) set in the host PC is completed (S2). When the measurement is finished, the process is finished (S10). If the measurement has not been completed, the process waits until the time lapse measurement interval set at the time lapse interval set by the host PC is reached (S3).

測定間隔に達するとカバーガラス102Bに対してAF制御を行い、図2Aで示した基準位置に位置制御を行う(S4)。基準位置に駆動した後、ホストPCで予め設定した撮影領域中心位置すなわちオフセット量だけステージ101を駆動する(S5)。   When the measurement interval is reached, AF control is performed on the cover glass 102B, and position control is performed on the reference position shown in FIG. 2A (S4). After driving to the reference position, the stage 101 is driven by the center position of the imaging region that is preset by the host PC, that is, the offset amount (S5).

つまり、オートフォーカスユニット118によりカバーガラス102Bに対してオートフォーカスを行った後、ステージZ駆動制御部116によりステージ101を予め定めた一定量すなわちオフセット量の分だけ移動させる。   That is, after the autofocus unit 118 performs autofocus on the cover glass 102B, the stage Z drive control unit 116 moves the stage 101 by a predetermined fixed amount, that is, an offset amount.

さらに、Z方向画像を取得するために撮影領域上限へ駆動して(S6)、撮影を行う(S7)。S5、S6は予め撮影領域中心位置の設定値から撮影領域上限を算出しておくことにより、S5動作を省略する(内部処理する)ことも可能である。また、これらの駆動はいわゆるバックラッシュによる位置ズレが極力発生しないように、一方向から位置制御することが望ましい。   Furthermore, in order to acquire a Z direction image, it drives to an imaging | photography area upper limit (S6), and imaging | photography is performed (S7). In S5 and S6, the S5 operation can be omitted (internally processed) by calculating the upper limit of the shooting area from the set value of the center position of the shooting area in advance. In addition, it is desirable that the position of these drives be controlled from one direction so that a position shift due to so-called backlash does not occur as much as possible.

撮影が行われた後はホストPCで設定した撮影カウント枚数分だけ、同じくホストPCで設定した撮影Z間隔分だけ駆動しながら行い(S8、S9)、この動作を測定が終了するまで繰り返し続ける(S2)。   After shooting is performed, driving is performed for the number of shooting counts set by the host PC, for the same shooting Z interval set by the host PC (S8, S9), and this operation is repeated until the measurement is completed ( S2).

以上のように構成・制御される本実施形態の顕微鏡システム100は、カバーガラス102Bにオートフォーカスをかけることにより、周囲温度の変化により対物レンズ焦点位置が変化した場合でも、基準位置が固定された状態で標本撮影位置をオフセットで設定するため、標本の動きを確実に測定することが可能となる。   In the microscope system 100 of the present embodiment configured and controlled as described above, by applying autofocus to the cover glass 102B, the reference position is fixed even when the objective lens focal position changes due to a change in the ambient temperature. Since the specimen photographing position is set with an offset in the state, the movement of the specimen can be reliably measured.

本実施形態の顕微鏡システム100は、ステージ101を上下させる構成となっているが、対物レンズ109を上下させる構成であってもよく、その場合にも、同様の効果を得ることが可能である。また、本実施形態の顕微鏡システム100では、顕微鏡は、正立型の顕微鏡であるが、ステージ101の下に対物レンズが設置されているいわゆる倒立型の顕微鏡であってもよく、その場合にも、同様の効果を得ることが可能である。さらに、本実施形態では、オートフォーカスは、アクティブ型のオートフォーカスであるが、公知のパッシブ型のオートフォーカスであってもよく、その場合にも、同様の効果を得ることが可能である。   Although the microscope system 100 according to the present embodiment is configured to move the stage 101 up and down, the microscope system 100 may be configured to move the objective lens 109 up and down, and in that case, the same effect can be obtained. In the microscope system 100 of the present embodiment, the microscope is an upright microscope, but it may be a so-called inverted microscope in which an objective lens is installed under the stage 101. It is possible to obtain the same effect. Furthermore, in the present embodiment, the autofocus is an active autofocus, but may be a known passive autofocus, and in this case, the same effect can be obtained.

本実施形態においては、カバーガラス102Bまたはスライドガラス102Aに一旦オートフォーカスを行った後、予め設定された所定量の駆動を行い、撮影するという目的を逸脱しないかぎり種々の変形が可能である。   In the present embodiment, various modifications can be made without departing from the purpose of photographing after performing autofocus once on the cover glass 102B or the slide glass 102A and then driving a predetermined amount.

本実施形態では、ステージ101は必ずしもX−Y方向に移動可能である必要はない。つまり、ステージ101がZ方向のみに移動可能であって、ステージX−Y制御部115が省かれてもよい。また、対物レンズ109は必ずしも交換可能である必要はない。つまり、顕微鏡は、複数の対物レンズを回転可能に保持し、それらのひとつを選択的に光路中に配置し得るレボルバの機能を有していなくてもよい。   In the present embodiment, the stage 101 is not necessarily movable in the XY direction. That is, the stage 101 can be moved only in the Z direction, and the stage XY control unit 115 may be omitted. Further, the objective lens 109 is not necessarily exchangeable. In other words, the microscope does not have to have a revolver function that holds a plurality of objective lenses rotatably and can selectively place one of them in the optical path.

第二実施形態
本実施形態は、X−Y位置の異なる複数の測定点に対するタイムラプス測定に向けられている。本実施形態の顕微鏡システムの構成は、第一実施形態と同様のため省略する。本実施形態では、標本のX−Y位置毎のオフセット駆動動作を行う。
Second Embodiment The present embodiment is directed to time-lapse measurement for a plurality of measurement points having different XY positions. Since the configuration of the microscope system of this embodiment is the same as that of the first embodiment, a description thereof will be omitted. In the present embodiment, an offset driving operation is performed for each XY position of the sample.

図5は、スライドガラス102Aとカバーガラス102Bで封入された観察体内に複数の測定点XY1、XY2、XY3があるモデルを示している。このモデルにおいて、測定点XY1、XY2、XY3のカバーガラス102Bに対するZ方向位置C1、C2、C3はそれぞれ異なっている。これらの各測定点の動きをタイムラプス測定する際の手順を示す。   FIG. 5 shows a model having a plurality of measurement points XY1, XY2, and XY3 in the observation body enclosed by the slide glass 102A and the cover glass 102B. In this model, the Z-direction positions C1, C2, and C3 of the measurement points XY1, XY2, and XY3 with respect to the cover glass 102B are different from each other. A procedure for time-lapse measurement of the movement of each of these measurement points will be described.

図6は本実施形態で示すX−Y位置毎のオフセット駆動を設定するホストPC設定画面であり、図6は第一実施形態に対していくつかの機能追加がされたものであり、その追加機能を説明する。   FIG. 6 is a host PC setting screen for setting offset driving for each XY position shown in the present embodiment, and FIG. 6 shows some functions added to the first embodiment. Explain the function.

G20は、スライドガラス102Aの全体の画像であり、観察者はG23ボタンを用いてステージ101をX−Y方向に動かし、タイムラプス観察を行う核などの測定点を決定する。G24にはステージ101のX−Y位置の情報が表示され、測定点の決定はステージX−Y位置を静止させ、G21のボタンで行う。位置設定を行うと登録された測定点はG20の観察体全体画像中にX点で示される。各測定点のオフセット量設定、撮影条件設定は第一実施形態に示した手順と同様に行う。またすでに別の測定点で登録した条件設定と同じ撮影条件とする場合には、撮影条件を登録しておけばG22ボタンで呼び出すことも可能であり、全測定点あるいは特定測定点の撮影条件を統一することが可能となっている。   G20 is an entire image of the slide glass 102A, and the observer uses the G23 button to move the stage 101 in the X and Y directions to determine measurement points such as a nucleus for time-lapse observation. Information on the XY position of the stage 101 is displayed on G24, and determination of the measurement point is performed with the button of G21 after the stage XY position is stopped. When the position is set, the registered measurement points are indicated by X points in the entire G20 observation body image. The offset amount setting and photographing condition setting for each measurement point are performed in the same manner as the procedure shown in the first embodiment. If the same shooting conditions as those already set at another measurement point are set, the G22 button can be called if the shooting conditions are registered, and the shooting conditions for all measurement points or specific measurement points can be set. It is possible to unify.

以上のように設定された顕微鏡システムの動作を図7を用いて説明する。   The operation of the microscope system set as described above will be described with reference to FIG.

測定が開始されると(S20)、所定枚数の撮影が完了し、ホストPC設定の撮影時間(合計)に応じたタイムラプス測定が終了したかチェックする(S21)。測定が終了した場合には、終了する(S31)。測定が終了していない場合には、ホストPC設定のタイムラプス間隔で設定したタイムラプス測定間隔に達するまで待機する(S22)。   When the measurement is started (S20), it is checked whether or not a predetermined number of shots are completed and the time lapse measurement corresponding to the shooting time (total) set by the host PC is completed (S21). When the measurement is finished, the process is finished (S31). If the measurement has not ended, the process waits until the time lapse measurement interval set by the time lapse interval set by the host PC is reached (S22).

測定間隔に達すると複数の測定点の設定用にステージX−Y駆動を行う(S23)。各測定点のステージX−Y位置に駆動されると、そのステージX−Y位置のカバーガラス102Bに対してAF制御を行い、カバーガラス位置である基準位置に位置制御を行う(S24)。基準位置に駆動した後、ホストPCで予め設定した各撮影中心領域位置にすなわちオフセット量だけステージ101を駆動する(S25)。   When the measurement interval is reached, stage XY driving is performed for setting a plurality of measurement points (S23). When driven to the stage XY position of each measurement point, AF control is performed on the cover glass 102B at the stage XY position, and position control is performed on the reference position that is the cover glass position (S24). After driving to the reference position, the stage 101 is driven to each photographing center region position preset by the host PC, that is, by an offset amount (S25).

つまり、オートフォーカスユニット118によりカバーガラス102Bに対してオートフォーカスを行った後、ステージZ駆動制御部116によりステージ101を予め定めた一定量すなわちオフセット量の分だけ移動させる。   That is, after the autofocus unit 118 performs autofocus on the cover glass 102B, the stage Z drive control unit 116 moves the stage 101 by a predetermined fixed amount, that is, an offset amount.

さらに、Z方向画像を取得するために撮影領域上限へ駆動して(S26)、撮影を行う(S27)。S25、S26は第一実施形態と同様に予め撮影領域中心位置の設定値から撮影領域上限を算出しておくことにより、S25動作を省略する(内部処理する)ことも可能である。   Furthermore, in order to acquire a Z direction image, it drives to an imaging | photography area upper limit (S26), and imaging | photography is performed (S27). In S25 and S26, the S25 operation can be omitted (internally processed) by calculating the upper limit of the shooting area from the set value of the center position of the shooting area in the same manner as in the first embodiment.

撮影が行われた後はホストPCで設定した撮影カウント枚数分だけ、同じくホストPCで設定した撮影Z間隔分だけ駆動しながら行い(S28、S29)、全測定点での撮影が終了し、かつタイムラプス測定終了条件に達するまで絞り返し続ける(S30、S31)。   After shooting is performed, driving is performed by the number of shooting counts set by the host PC, by the shooting Z interval set by the host PC (S28, S29), and shooting at all measurement points is completed, and The aperture is continuously reduced until the time lapse measurement end condition is reached (S30, S31).

以上のように構成・制御される本実施形態の顕微鏡システムは、複数の測定点毎にカバーガラス102Bに対してオートフォーカスをかけることにより、周囲温度の変化により対物レンズ焦点位置が変化した場合でも、基準位置が固定された状態で標本撮影位置をオフセットで設定するため、複数の測定であっても標本の動きを確実に測定することが可能となる。   The microscope system of the present embodiment configured and controlled as described above applies autofocus to the cover glass 102B for each of a plurality of measurement points, so that even when the focus position of the objective lens changes due to a change in ambient temperature. Since the specimen photographing position is set with an offset while the reference position is fixed, the movement of the specimen can be reliably measured even with a plurality of measurements.

またX−Yの複数の測定点において、例えば標本をサーチする範囲を決定する領域など前回のタイムラブス時に取得したオートフォーカス条件を図7のS24に示したAF制御中に更新すれば、より高速かつ高信頼度でAF制御を行うことが可能となる。   In addition, at a plurality of measurement points XY, for example, if the autofocus conditions acquired at the previous timelabs, such as a region for determining the range for searching the specimen, are updated during the AF control shown in S24 of FIG. AF control can be performed with high reliability.

本実施形態では、対物レンズ109は必ずしも交換可能である必要はない。つまり、顕微鏡は、複数の対物レンズを回転可能に保持し、それらのひとつを選択的に光路中に配置し得るレボルバの機能を有していなくてもよい。   In the present embodiment, the objective lens 109 is not necessarily exchangeable. In other words, the microscope does not have to have a revolver function that holds a plurality of objective lenses rotatably and can selectively place one of them in the optical path.

第三実施形態
本実施形態は、対物レンズの交換を含むタイムラプス測定に向けられている。本実施形態の顕微鏡システムの構成は、第一実施形態と同様のため省略する。
Third Embodiment This embodiment is directed to time lapse measurement including replacement of an objective lens. Since the configuration of the microscope system of this embodiment is the same as that of the first embodiment, a description thereof will be omitted.

タイムラプス測定の条件とひとつとして対物レンズの変換が含まれた場合、結像レンズが異なるため、オフセット量を変更しなければならない可能性がある。本実施形態では、対物レンズ毎のオフセット量を設定してタイムラプス測定を行う。   When conversion of the objective lens is included as one of the conditions for the time lapse measurement, since the imaging lens is different, the offset amount may have to be changed. In this embodiment, time lapse measurement is performed by setting an offset amount for each objective lens.

対物レンズ毎のオフセット量の設定は、第一実施形態または第二実施形態と同様にホストPC画面で図示しない対物レンズ毎のオフセット量設定ボタンで行う。   The offset amount for each objective lens is set by an offset amount setting button for each objective lens (not shown) on the host PC screen as in the first or second embodiment.

図8は対物レンズ毎のオフセット量が設定された顕微鏡システムの動作制御を示している。   FIG. 8 shows operation control of the microscope system in which the offset amount for each objective lens is set.

測定が開始されると(S40)、所定枚数の撮影が完了し、ホストPC設定の撮影時間(合計)に応じたタイムラプス測定が終了したかチェックする(S41)。測定が終了した場合には、終了する(S51)。測定が終了していない場合には、ホストPC設定のタイムラプス間隔で設定したタイムラプス測定間隔に達するまで待機する(S42)。   When the measurement is started (S40), it is checked whether or not a predetermined number of shots are completed and the time lapse measurement corresponding to the shooting time (total) set by the host PC is completed (S41). When the measurement is finished, the process is finished (S51). If the measurement has not been completed, the system waits until the time lapse measurement interval set by the time lapse interval set by the host PC is reached (S42).

測定間隔に達すると設定された対物レンズを光路中に挿入する(S43)。対物レンズが光路中に挿入されると、カバーガラス102Bに対してAF制御を行い、カバーガラス位置である基準位置に位置制御を行う(S44)。基準位置に駆動した後、ホストPCで予め設定した対物レンズ毎に設定されたオフセット量だけステージ101を駆動する(S45)。   When the measurement interval is reached, the set objective lens is inserted into the optical path (S43). When the objective lens is inserted in the optical path, AF control is performed on the cover glass 102B, and position control is performed on the reference position which is the cover glass position (S44). After driving to the reference position, the stage 101 is driven by an offset amount set for each objective lens preset by the host PC (S45).

つまり、オートフォーカスユニット118によりカバーガラス102Bに対してオートフォーカスを行った後、ステージZ駆動制御部116によりステージ101を予め定めた一定量すなわちオフセット量の分だけ移動させる。   That is, after the autofocus unit 118 performs autofocus on the cover glass 102B, the stage Z drive control unit 116 moves the stage 101 by a predetermined fixed amount, that is, an offset amount.

さらに、Z方向画像を取得するために撮影領域上限へ駆動して(S46)、撮影を行う(S47)。   Furthermore, in order to acquire a Z direction image, it drives to an imaging | photography area upper limit (S46), and imaging | photography is performed (S47).

撮影が行われた後はホストPCで設定した撮影カウント枚数分だけ、同じくホストPCで設定した撮影Z間隔分だけ駆動しながら行い(S48、S49)、設定された全対物レンズでの撮影が終了し、かつタイムラプス測定終了条件に達するまで絞り返し続ける(S50、S51)。   After shooting is performed, driving is performed for the number of shooting counts set on the host PC, and also for the shooting Z interval set on the host PC (S48, S49), and shooting with all the set objective lenses is completed. In addition, the diaphragm is continuously returned until the time lapse measurement end condition is reached (S50, S51).

以上のように構成・制御される本実施形態の顕微鏡システムは、タイムラプス測定条件において複数の対物レンズによる観察が含まれている場合に各光路中の対物レンズを用いてオートフォーカスをかけることにより、対物レンズ間にオートフォーカス側を含む焦点ズレが存在した場合でも、基準位置が固定された状態で標本撮影位置をオフセットで設定するため、複数の測定であっても標本の動きを確実に測定することが可能となる。   The microscope system of the present embodiment configured and controlled as described above performs autofocus using the objective lens in each optical path when observation with a plurality of objective lenses is included in the time lapse measurement condition, Even when there is a focus shift including the autofocus side between the objective lenses, the specimen shooting position is set with an offset while the reference position is fixed, so the movement of the specimen is reliably measured even with multiple measurements. It becomes possible.

本実施形態では、ステージ101は必ずしもX−Y方向に移動可能である必要はない。つまり、ステージ101がZ方向のみに移動可能であって、ステージX−Y制御部115が省かれてもよい。   In the present embodiment, the stage 101 is not necessarily movable in the XY direction. That is, the stage 101 can be moved only in the Z direction, and the stage XY control unit 115 may be omitted.

第四実施形態
本実施形態は、励起光変換を含むタイムラプス測定に向けられている。本実施形態の顕微鏡システムの構成は、第一実施形態と同様のため省略する。
Fourth Embodiment The present embodiment is directed to time lapse measurement including excitation light conversion. Since the configuration of the microscope system of this embodiment is the same as that of the first embodiment, a description thereof will be omitted.

タイムラプス測定の条件とひとつとして蛍光キューブ変換すなわち励起光変換が含まれた場合、標本の発光部位が異なるため、オフセット量を変更しなければならない可能性である。本実施形態では、励起光変換毎のオフセット量を設定してタイムラプス測定を行う。   When fluorescence cube conversion, that is, excitation light conversion, is included as one of the conditions for time lapse measurement, the amount of offset must be changed because the light emission site of the specimen is different. In the present embodiment, time lapse measurement is performed by setting an offset amount for each excitation light conversion.

図9は励起光変換毎のオフセット量が設定された顕微鏡システムの動作制御を示している。   FIG. 9 shows operation control of the microscope system in which the offset amount for each excitation light conversion is set.

測定が開始されると(S60)、所定枚数の撮影が完了し、ホストPC設定の撮影時間(合計)に応じたタイムラプス測定が終了したかチェックする(S61)。測定が終了した場合には、終了する(S71)。測定が終了していない場合には、ホストPC設定のタイムラプス間隔で設定したタイムラプス測定間隔に達するまで待機する(S62)。   When the measurement is started (S60), it is checked whether or not a predetermined number of shots are completed and the time lapse measurement corresponding to the shooting time (total) set in the host PC is completed (S61). When the measurement is finished, the process is finished (S71). If the measurement has not ended, the process waits until the time lapse measurement interval set by the time lapse interval set by the host PC is reached (S62).

測定間隔に達すると設定された蛍光キューブを光路中に挿入する(S63)蛍光キューブが光路中に挿入され、励起光が切り替わると、カバーガラス102Bに対してAF制御を行い、カバーガラス位置である基準位置に位置制御を行う(S64)。基準位置に駆動した後、ホストPCで予め設定した励起光毎に設定されたオフセット量だけステージ101を駆動する(S65)。   When the measurement interval is reached, the set fluorescent cube is inserted into the optical path (S63). When the fluorescent cube is inserted into the optical path and the excitation light is switched, AF control is performed on the cover glass 102B to indicate the cover glass position. Position control is performed on the reference position (S64). After driving to the reference position, the stage 101 is driven by an offset amount set for each excitation light set in advance by the host PC (S65).

つまり、オートフォーカスユニット118によりカバーガラス102Bに対してオートフォーカスを行った後、ステージZ駆動制御部116によりステージ101を予め定めた一定量すなわちオフセット量の分だけ移動させる。   That is, after the autofocus unit 118 performs autofocus on the cover glass 102B, the stage Z drive control unit 116 moves the stage 101 by a predetermined fixed amount, that is, an offset amount.

さらに、Z方向画像を取得するために撮影領域上限へ駆動して(S66)、撮影を行う(S67)。   Furthermore, in order to acquire a Z direction image, it drives to an imaging | photography area upper limit (S66), and imaging | photography is performed (S67).

撮影が行われた後はホストPCで設定した撮影カウント枚数分だけ、同じくホストPCで設定した撮影Z間隔分だけ駆動しながら行い(S68、S69)、設定された全励起光での撮影が終了し、かつタイムラプス測定終了条件に達するまで繰り返し続ける(S70、S71)。   After shooting is performed, driving is performed for the number of shooting counts set on the host PC, and also for the shooting Z interval set on the host PC (S68, S69), and shooting with all set excitation light ends. And the process is repeated until the time lapse measurement end condition is reached (S70, S71).

以上のように構成・制御される本実施形態の顕微鏡システムは、蛍光観察のタイムラプス測定条件において励起光毎に標本の発光点が異なる対象物の動きを観測する場合に、スライドガラス102Aまたはカバーガラス102Bに対してオートフォーカスをかけることにより、基準位置が固定された状態で標本撮影位置をオフセットで設定するため、各励起光毎に標本の動きを確実に測定することが可能となる。   The microscope system according to the present embodiment configured and controlled as described above is used when the movement of an object having a different emission point of a specimen for each excitation light is observed under the time-lapse measurement conditions of fluorescence observation. By applying autofocus to 102B, the specimen imaging position is set as an offset while the reference position is fixed, so that the movement of the specimen can be reliably measured for each excitation light.

本実施形態では、観察を行う毎に、スライドガラス102Aまたはカバーガラス102Bに対してオートフォーカスを行っているが、これを間欠時間経過ごとに一度だけ行うことにより、撮影時間の短縮を図ってもよい。   In this embodiment, each time observation is performed, auto-focusing is performed on the slide glass 102A or the cover glass 102B. However, by performing this only once every time the intermittent time elapses, the shooting time can be shortened. Good.

これまで、第二実施形態のステージX−Y毎のオフセット、第三実施形態の対物レンズ毎のオフセット、第四実施形態の励起光毎のオフセットは、単独で行うものとして説明したが、それらのいずれか二つを組み合わせて行ったり、それらの三つをすべて組み合わせ行ったりしてもよく、その場合には、より高精度な測定を行うことが可能となる。   So far, the offset for each stage XY of the second embodiment, the offset for each objective lens of the third embodiment, and the offset for each excitation light of the fourth embodiment have been described as being performed independently. Any two may be combined, or all three of them may be combined. In that case, more accurate measurement can be performed.

第五実施形態
本実施形態は、スライドガラス102Aまたはカバーガラス102Bに対して行うAF制御に向けられている。本実施形態の顕微鏡システムの構成は、第一実施形態と同様のため省略する。
Fifth Embodiment This embodiment is directed to AF control performed on the slide glass 102A or the cover glass 102B. Since the configuration of the microscope system of this embodiment is the same as that of the first embodiment, a description thereof will be omitted.

図10は本実施形態で用いるスライドガラス102Aのモデル図である。図10に示されるように、スライドガラス102AはAF用マーキング102Cを有している。AF用マーキング102Cは、観察体102Dに影響がない範囲に位置し、オートフォーカス制御の精度を向上させる処理が施されている。本実施形態では、アクティブAFを例に挙げ、AF用マーキング102Cは、アクティブAFで用いられるレーザー光を高い反射率で反射する膜のコーティング処理が施されている。   FIG. 10 is a model diagram of the slide glass 102A used in the present embodiment. As shown in FIG. 10, the slide glass 102A has AF markings 102C. The AF marking 102C is located in a range that does not affect the observation body 102D, and is subjected to processing for improving the accuracy of autofocus control. In the present embodiment, active AF is taken as an example, and the AF marking 102C is coated with a film that reflects laser light used in active AF with high reflectivity.

図11は上述の顕微鏡システムの動作制御を説明したものである。   FIG. 11 illustrates operation control of the above-described microscope system.

測定が開始されると(S80)、所定枚数の撮影が完了し、ホストPC設定の撮影時間(合計)に応じたタイムラプス測定が終了したかチェックする(S81)、測定が終了した場合には、終了する(S81)。測定が終了していない場合には、ホストPC設定のタイムラプス間隔で設定したタイムラプス測定間隔に達するまで待機する(S82)。   When measurement is started (S80), it is checked whether or not a predetermined number of shots have been completed and time lapse measurement corresponding to the shooting time (total) set by the host PC is completed (S81). The process ends (S81). If the measurement has not been completed, the system waits until the time lapse measurement interval set by the time lapse interval set by the host PC is reached (S82).

測定間隔に達するとAF用マーキング位置にステージX−Y駆動を行う(S83)。AF用マーキング位置に移動すると、オートフォーカス制御を行い、カバーガラス位置である基準位置に位置制御を行う(S84)。基準位置に位置制御を行った後、実際に測定を行うステージX−Y位置に移動する(S85)。基準位置に駆動した後、ホストPCで予め設定されたオフセット量だけステージ101を駆動する(S86)。   When the measurement interval is reached, stage XY drive is performed at the AF marking position (S83). When moving to the AF marking position, autofocus control is performed, and position control is performed to the reference position which is the cover glass position (S84). After performing the position control to the reference position, the stage is moved to the stage XY position where the actual measurement is performed (S85). After driving to the reference position, the stage 101 is driven by an offset amount set in advance by the host PC (S86).

つまり、オートフォーカスユニット118によりスライドガラス102AのAF用マーキング102Cに対してオートフォーカスを行った後、ステージZ駆動制御部116によりステージ101を予め定めた一定量すなわちオフセット量の分だけ移動させる。   That is, after autofocusing is performed on the AF marking 102C of the slide glass 102A by the autofocus unit 118, the stage 101 is moved by a predetermined fixed amount, that is, an offset amount by the stage Z drive control unit 116.

さらに、Z方向画像を取得するために撮影領域上限へ移動して(S87)、撮影を行う(S88)。   Furthermore, in order to acquire a Z direction image, it moves to an imaging | photography area upper limit (S87), and imaging | photography is performed (S88).

撮影が行われた後はホストPCで設定した撮影カウント 枚数分だけ、同じくホストP
Cで設定した撮影Z間隔分だけ駆動しながら行い(S89、S90)、設定された全励起光での撮影が終了し、かつタイムラプス測定終了条件に達するまで繰り返し続ける(S90、S81)。
After shooting, the same number of shooting counts set on the host PC is also used.
Driving is performed for the imaging Z interval set in C (S89, S90), and the operation is repeated until the imaging with all the set excitation light ends and the time-lapse measurement end condition is reached (S90, S81).

本実施形態の顕微鏡システムでは、スライドガラス102Aに対して高精度なAFが可能となるため、測定の精度を向上することができる。さらに、オートフォーカスの対象が周知のものとなるため、最適なオートフォーカス条件を設定することができる。これにより、ピント合わせ時間の短縮が可能となり、測定のスループットが向上する。   In the microscope system of the present embodiment, highly accurate AF can be performed on the slide glass 102A, so that the measurement accuracy can be improved. Furthermore, since the target of autofocus is a well-known one, the optimum autofocus condition can be set. This makes it possible to shorten the focusing time and improve the measurement throughput.

また、本実施形態では、オートフォーカスがアクティブ方式のAFであり、これに対応してAF用マーキング102Cが反射膜である例について述べたが、オートフォーカスはパッシブ方式のAFであってもよく、その場合には、AF用マーキング102Cを高コントラストのマーキングとし、公知の山登り方式などのオートフォーカス制御を行えばよい。   Further, in the present embodiment, an example in which autofocus is an active AF and the AF marking 102C is a reflective film corresponding to this is described. However, the autofocus may be a passive AF, In this case, the AF marking 102C may be a high-contrast marking, and autofocus control such as a known hill-climbing method may be performed.

第六実施形態
本実施形態は、倒立型顕微鏡を含む顕微鏡システムに向けられている。図12は、本発明の第六実施形態の顕微鏡システムの構成を示している。
Sixth Embodiment This embodiment is directed to a microscope system including an inverted microscope. FIG. 12 shows the configuration of the microscope system according to the sixth embodiment of the present invention.

図12に示されるように、本実施形態の顕微鏡システム600は、観察試料610を載せるためのステージ621と、ステージ621に載せられた観察試料610と対峙するように配置される対物レンズ631を含む観察光学系とを備えている。   As shown in FIG. 12, the microscope system 600 of the present embodiment includes a stage 621 for placing the observation sample 610 and an objective lens 631 disposed so as to face the observation sample 610 placed on the stage 621. And an observation optical system.

観察試料610は観察体611とこれを収容する容器612(いわゆるディッシュ)とからなる。観察体611は例えば標本(例えば細胞)と培養液とからなる。容器612は、底部に開口を持つ皿状の透明な容器本体613と、容器本体613の開口を塞いでいるカバーガラス614とから構成されている。従って、観察体611はカバーガラス614の上に位置し、対物レンズ631はカバーガラス614の下方に位置している。   The observation sample 610 includes an observation body 611 and a container 612 (so-called dish) that accommodates the observation body 611. The observation body 611 includes, for example, a specimen (for example, a cell) and a culture solution. The container 612 includes a dish-shaped transparent container body 613 having an opening at the bottom, and a cover glass 614 that closes the opening of the container body 613. Therefore, the observation body 611 is located on the cover glass 614, and the objective lens 631 is located below the cover glass 614.

ステージ621はX−Y方向に移動可能である。顕微鏡システム600は、ステージ621のX−Y方向の位置を電動制御するため、ステージ621をX−Y方向に移動させるためのステージ駆動用モータ622と、ステージ621のX−Y方向の位置を制御するステージX−Y制御部623とを備えている。   The stage 621 is movable in the XY direction. Since the microscope system 600 electrically controls the position of the stage 621 in the XY direction, the stage driving motor 622 for moving the stage 621 in the XY direction and the position of the stage 621 in the XY direction are controlled. And a stage XY control unit 623.

対物レンズ631は電動レボルバに装着されている。電動レボルバは、複数の対物レンズ631を保持できるレボルバ本体632と、レボルバ本体632を回転させるためのレボルバ用モータ633と、レボルバ用モータ633を制御するためのレボルバ用モータ駆動部634とを備えている。   The objective lens 631 is attached to the electric revolver. The electric revolver includes a revolver body 632 that can hold a plurality of objective lenses 631, a revolver motor 633 for rotating the revolver body 632, and a revolver motor drive unit 634 for controlling the revolver motor 633. Yes.

電動レボルバは、レボルバ用モータ駆動部634によってレボルバ本体632の回転を制御することにより、レボルバ本体632に保持された対物レンズ631の一つを選択的に光路上に配置させることができる。   The electric revolver can selectively place one of the objective lenses 631 held by the revolver body 632 on the optical path by controlling the rotation of the revolver body 632 by the revolver motor drive unit 634.

レボルバ本体632は、対物レンズ631を取り付けることのできる複数の対物レンズ取付穴を有しており、電動レボルバはさらに、光路上に配置されている対物レンズ631が取り付けられているレボルバ本体632の対物レンズ取付穴を検出するための取付穴位置検出部618を有している。   The revolver body 632 has a plurality of objective lens attachment holes to which the objective lens 631 can be attached, and the electric revolver further has an objective of the revolver body 632 to which the objective lens 631 disposed on the optical path is attached. An attachment hole position detection unit 618 for detecting a lens attachment hole is provided.

レボルバ本体632は観察光軸に沿って移動可能であり、顕微鏡システム600はさらに、照準のためにレボルバ本体632を観察光軸に沿って移動させるための照準用モータ636と、照準用モータ636を制御するための焦準用モータ駆動部637とを備えている。照準用モータ636と焦準用モータ駆動部637は、ステージと対物レンズの少なくとも一方を焦準のために駆動する焦準駆動部を構成している。   The revolver body 632 is movable along the observation optical axis, and the microscope system 600 further includes an aiming motor 636 for moving the revolver body 632 along the observation optical axis for aiming, and an aiming motor 636. And a focusing motor driving unit 637 for controlling. The aiming motor 636 and the focusing motor driving unit 637 constitute a focusing driving unit that drives at least one of the stage and the objective lens for focusing.

顕微鏡システム600は、アクティブ瞳分割法によるアクティブ方式のAF装置を備えている。AF装置は、基準光源671と、レーザー駆動部672と、コリメートレンズ673と、投光側ストッパ674と、偏光ビームスプリッター(PBS)675と、集光レンズ群676と、色収差補正レンズ群677と、λ/4板678と、ダイクロイックミラー679と、受光センサー681と、信号処理部682と、色収差補正レンズ群駆動用モータ683と、色収差レンズ駆動部684とから構成されている。   The microscope system 600 includes an active AF device based on an active pupil division method. The AF apparatus includes a reference light source 671, a laser driving unit 672, a collimator lens 673, a light projection side stopper 674, a polarization beam splitter (PBS) 675, a condenser lens group 676, a chromatic aberration correction lens group 677, The λ / 4 plate 678, a dichroic mirror 679, a light receiving sensor 681, a signal processing unit 682, a chromatic aberration correction lens group driving motor 683, and a chromatic aberration lens driving unit 684 are configured.

顕微鏡システム600は、ステージX−Y制御部623とレボルバ用モータ駆動部634と焦準用モータ駆動部637と色収差レンズ駆動部684を制御するための顕微鏡コントローラ691を備えている。顕微鏡コントローラ691は周知のCPU回路である。顕微鏡コントローラ691には、各種操作SWを有する操作部692が接続されている。観察者は操作部692を介して、AF開始/停止や対物レンズの切り替えなどの操作や、ガラス厚などのAFに関する必要情報の入力などを行える。また顕微鏡コントローラ691には、パルスカウンタ695とジョグエンコーダ694を介して、ジョグダイヤル693が接続されている。観察者はジョグダイヤル693によってレボルバ本体632を上下移動させることができる。   The microscope system 600 includes a microscope controller 691 for controlling the stage XY control unit 623, the revolver motor drive unit 634, the focusing motor drive unit 637, and the chromatic aberration lens drive unit 684. The microscope controller 691 is a well-known CPU circuit. An operation unit 692 having various operation SW is connected to the microscope controller 691. The observer can perform operations such as AF start / stop and switching of the objective lens, input of necessary information regarding AF such as glass thickness, and the like via the operation unit 692. In addition, a jog dial 693 is connected to the microscope controller 691 via a pulse counter 695 and a jog encoder 694. The observer can move the revolver body 632 up and down by the jog dial 693.

顕微鏡システム600は、観察試料610を透過照明するための透過照明光学系を備えている。透過照明光学系は、照明用光源641と、レンズ642と、ミラー643と、レンズ644とを有している。   The microscope system 600 includes a transmission illumination optical system for transmitting illumination of the observation sample 610. The transmission illumination optical system includes an illumination light source 641, a lens 642, a mirror 643, and a lens 644.

また顕微鏡システム600は蛍光観察用の照明光学系を備えている。蛍光照明光学系は、励起光を発する光源651と、蛍光キューブ652とを有している。蛍光キューブ652は電動制御によって交換可能である。これにより、蛍光観察用の照明光学系は、波長の異なる励起光を選択的に照射し得る。言い換えれば、蛍光観察用の照明光学系は、励起光を選択可能となっている。   The microscope system 600 includes an illumination optical system for fluorescence observation. The fluorescent illumination optical system includes a light source 651 that emits excitation light and a fluorescent cube 652. The fluorescent cube 652 can be replaced by electric control. Thereby, the illumination optical system for fluorescence observation can selectively irradiate excitation light having different wavelengths. In other words, the illumination optical system for fluorescence observation can select excitation light.

顕微鏡システム600は、必ずしも透過照明光学系と蛍光観察用の照明光学系の両方を備えている必要はなく、観察目的に合ったどちらか一方の照明光学系を備えているだけであってもよい。   The microscope system 600 does not necessarily include both the transmission illumination optical system and the fluorescence observation illumination optical system, and may include only one of the illumination optical systems suitable for the observation purpose. .

顕微鏡システム600はさらに、観察像を撮像するためのTVカメラ661と、ビデオキャプチャボード662と、ホストPC663とを備えている
透過照明観察において、照明用光源641からの照明光は、レンズ642を通り、ミラー643によって反射され、レンズ644によって集光され、観察試料610を上方から照明する。観察試料610を透過した光は、対物レンズ631を通り、ダイクロイックミラー679を透過して、TVカメラ661に入射する。
The microscope system 600 further includes a TV camera 661 for capturing an observation image, a video capture board 662 and a host PC 663. In transmitted illumination observation, illumination light from the illumination light source 641 passes through a lens 642. , And reflected by the mirror 643 and collected by the lens 644 to illuminate the observation sample 610 from above. The light transmitted through the observation sample 610 passes through the objective lens 631, passes through the dichroic mirror 679, and enters the TV camera 661.

また蛍光観察において、光源651から発せられた励起光は、蛍光キューブ652で反射され、対物レンズ631を通して観察試料610に照射される。観察試料610から発生した蛍光は、対物レンズ631を通り、蛍光キューブ652によって波長選択され、ダイクロイックミラー679を透過して、TVカメラ661に入射する。   Further, in the fluorescence observation, the excitation light emitted from the light source 651 is reflected by the fluorescent cube 652 and irradiated to the observation sample 610 through the objective lens 631. The fluorescence generated from the observation sample 610 passes through the objective lens 631, is wavelength-selected by the fluorescence cube 652, passes through the dichroic mirror 679, and enters the TV camera 661.

TVカメラ661によって撮像された画像は、第一実施形態と同様に、ビデオキャプチャボード662によりホストPC663に取得される。ホストPC663は、取得した画像を図示しない画像メモリーに複数の画像を保存することが可能となっている。   The image captured by the TV camera 661 is acquired by the host PC 663 by the video capture board 662 as in the first embodiment. The host PC 663 can store a plurality of images in an image memory (not shown) for acquired images.

本実施形態の顕微鏡システム600において、アクティブ瞳分割法のAF装置は、レーザー光を観察試料に照射し、その反射光を検出することによって、ピント合わせを行う。   In the microscope system 600 of this embodiment, the active pupil division AF device performs focusing by irradiating the observation sample with laser light and detecting the reflected light.

基準光源671は、可視外の波長領域の光を発する光源、例えば赤外線レーザーで構成される。基準光源671はレーザー駆動部672によって制御される。レーザー駆動部672は、基準光源671のパルス点灯などを行い、基準光源671の強弱を制御する。   The reference light source 671 is composed of a light source that emits light in a wavelength region that is not visible, for example, an infrared laser. The reference light source 671 is controlled by the laser driving unit 672. The laser driver 672 performs pulse lighting of the reference light source 671 and controls the strength of the reference light source 671.

基準光源671から発せられたレーザー光は、コリメートレンズ673を通過することにより平行光束になり、投光側ストッパ674によって光束径の半分がカットされ、その後、偏光ビームスプリッター(PBS)675によってP偏光成分だけが反射される。   The laser light emitted from the reference light source 671 is converted into a parallel light beam by passing through the collimating lens 673, and half of the light beam diameter is cut by the projection-side stopper 674. Only the component is reflected.

偏光ビームスプリッター(PBS)675からの光束は、集光レンズ群676によって一旦収束された後、色収差補正レンズ群677を通過する。色収差補正レンズ群677を通過した光は、λ/4板678を通過する際に45度偏光され、ダイクロイックミラー679に入射する。ダイクロイックミラー679は、赤外域の光だけ反射するため、レーザー光束は反射される。反射された光束は、対物レンズ631を通って観察試料610に照射され、光スポットを形成する。   The light beam from the polarization beam splitter (PBS) 675 is once converged by the condenser lens group 676 and then passes through the chromatic aberration correction lens group 677. The light that has passed through the chromatic aberration correction lens group 677 is polarized by 45 degrees when passing through the λ / 4 plate 678 and enters the dichroic mirror 679. Since the dichroic mirror 679 reflects only light in the infrared region, the laser beam is reflected. The reflected light beam passes through the objective lens 631 and irradiates the observation sample 610 to form a light spot.

観察試料610によって反射された光束は、対物レンズ631に入射し、ダイクロイックミラー679によって反射される。反射された光束は、λ/4板678を再び通過する際にさらに45度偏光され、S偏光成分に変わる。光束はさらに、色収差補正レンズ群677と集光レンズ群676を通過し、PBS675に入射する。光束は、S偏光成分になっているので、PBS675を透過する。透過した光束は、集光レンズ群680を通過した後に受光センサー681に結像される。   The light beam reflected by the observation sample 610 enters the objective lens 631 and is reflected by the dichroic mirror 679. The reflected light beam is further polarized by 45 degrees when passing through the λ / 4 plate 678 again, and changes to an S-polarized light component. The light beam further passes through the chromatic aberration correction lens group 677 and the condenser lens group 676 and enters the PBS 675. Since the light beam is an S-polarized component, it passes through the PBS 675. The transmitted light beam passes through the condenser lens group 680 and then forms an image on the light receiving sensor 681.

受光センサー681は、隣接した二つの受光部を持つ二分割フォトダイオードであり、二つの受光部の境界線上に光軸が位置するように配置されている。信号処理部682は、受光センサー681からの出力に基づいて、ピント位置とピント合わせ方向とを判断できるいわゆるS字カーブを取得する。顕微鏡コントローラ691は、信号処理部682で得られた情報(S字カーブ)に基づいて焦準用モータ駆動部637を制御することにより、観察光学系のオートフォーカス制御を行う。   The light receiving sensor 681 is a two-divided photodiode having two adjacent light receiving portions, and is arranged so that the optical axis is positioned on the boundary line between the two light receiving portions. The signal processing unit 682 acquires a so-called S-shaped curve that can determine the focus position and the focusing direction based on the output from the light receiving sensor 681. The microscope controller 691 performs autofocus control of the observation optical system by controlling the focusing motor driving unit 637 based on the information (S-curve) obtained by the signal processing unit 682.

このAF装置は、色収差補正レンズ群駆動用モータ683によって色収差補正レンズ群677を光軸に沿って移動させることによって、赤外線レーザーの色収差補正が可能であるとともに、ピント位置をずらすいわゆる光学的なオフセット駆動が可能である。これにより、例えば温度変化に起因して発生する観察光学系とAF光学系のフォーカスドリフトの差を補償する、言い換えれば両者のフォーカスドリフトを同一にすることが可能である。 This AF apparatus can correct the chromatic aberration of the infrared laser by moving the chromatic aberration correction lens group 677 along the optical axis by the chromatic aberration correction lens group drive motor 683, and can shift the focus position. It can be driven. Thereby, for example, it is possible to compensate for the difference in focus drift between the observation optical system and the AF optical system caused by a temperature change, in other words, it is possible to make both the focus drifts the same.

本実施形態の顕微鏡システム600において、第一実施形態と同様に、アクティブAFによってカバーガラス614に対してオートフォーカスを行った後、焦準用モータ駆動部637によりレボルバ本体632を移動させて対物レンズ631を予め定めた一定量すなわちオフセット量の分だけ移動させる。これにより、第一実施形態と同様の利点が得られる。   In the microscope system 600 of the present embodiment, as in the first embodiment, after autofocusing is performed on the cover glass 614 by active AF, the revolver body 632 is moved by the focusing motor driving unit 637 and the objective lens 631 is moved. Is moved by a predetermined fixed amount, that is, an offset amount. Thereby, the same advantage as the first embodiment can be obtained.

さらに、第一実施形態に対して第二実施形態〜第五実施形態が適用されたのと同様に、本実施形態の顕微鏡システム600に対しても第二実施形態〜第五実施形態が適用されてもよい。それらの場合にもそれぞれ第二実施形態〜第五実施形態と同様の利点が得られる。   Furthermore, the second embodiment to the fifth embodiment are applied to the microscope system 600 of the present embodiment in the same manner as the second embodiment to the fifth embodiment are applied to the first embodiment. May be. In those cases, the same advantages as those of the second to fifth embodiments can be obtained.

これまで、図面を参照しながら本発明のいくつかの実施形態を述べたが、本発明は、これらの実施形態に限定されるものではなく、その要旨を逸脱しない範囲において様々な変形や変更が施されてもよい。   So far, several embodiments of the present invention have been described with reference to the drawings, but the present invention is not limited to these embodiments, and various modifications and changes can be made without departing from the scope of the present invention. May be applied.

つまり、本発明の顕微鏡システムは、透明体(スライドガラス102Aまたはカバーガラス102Bまたはカバーガラス614)に一旦オートフォーカスを行い、予め設定された測定点までのオフセット量を駆動させて、撮影を行うという制御に関して、上述の実施形態に限定されることはなく、種々の変形が可能である。   That is, the microscope system of the present invention performs auto-focusing once on a transparent body (slide glass 102A, cover glass 102B, or cover glass 614), and drives the offset amount to a preset measurement point to perform imaging. The control is not limited to the above-described embodiment, and various modifications are possible.

本発明の第一実施形態の顕微鏡システムの構成を示している。1 shows a configuration of a microscope system according to a first embodiment of the present invention. 観察体の動きを長時間観察するタイムラプスのモデルを示している。A time-lapse model for observing the movement of the observation object for a long time is shown. 本発明の第一実施形態の顕微鏡システムにおけるホストPCの設定画面を示している。3 shows a setting screen of a host PC in the microscope system of the first embodiment of the present invention. 所定の撮影期間の間に撮影した観察画像のモデルを示している。The model of the observation image image | photographed during the predetermined | prescribed imaging | photography period is shown. 本発明の第一実施形態の顕微鏡システムの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the microscope system of 1st embodiment of this invention. スライドガラスとカバーガラスで封入された観察体内に複数の測定点があるモデルを示している。A model having a plurality of measurement points in an observation body enclosed with a slide glass and a cover glass is shown. 本発明の第二実施形態の顕微鏡システムにおけるホストPC設定画面を示している。The host PC setting screen in the microscope system of 2nd embodiment of this invention is shown. 本発明の第二実施形態の顕微鏡システムの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the microscope system of 2nd embodiment of this invention. 本発明の第三実施形態の顕微鏡システムの動作制御を示すフローチャートである。It is a flowchart which shows operation control of the microscope system of 3rd embodiment of this invention. 本発明の第四実施形態の顕微鏡システムの動作制御を示すフローチャートである。It is a flowchart which shows operation control of the microscope system of 4th embodiment of this invention. 本発明の第五実施形態の顕微鏡システムにおけるスライドガラスのモデル図である。It is a model figure of the slide glass in the microscope system of 5th embodiment of this invention. 本発明の第五実施形態の顕微鏡システムの動作制御を示すフローチャートである。It is a flowchart which shows operation control of the microscope system of 5th embodiment of this invention. 本発明の第六実施形態の顕微鏡システムの構成を示している。The structure of the microscope system of 6th embodiment of this invention is shown. 赤外線反射膜を施したスライドガラス上に載せられた標本の内部のいくつかの核のひとつに対して観察を行うモデル図である。It is a model figure which observes with respect to one of the some nucleus inside the sample mounted on the slide glass which gave the infrared reflective film. 観察において着目する核が移動することに伴って、コントラスト最大の位置が移動する様子を示している。This shows how the position with the maximum contrast moves as the nucleus of interest in the observation moves. 蛍光観察において発光する標本の部位が異なる様子を示している。It shows a state in which the portion of the specimen that emits light is different in the fluorescence observation.

100…顕微鏡システム、101…ステージ、102…標本、102A…スライドガラス、102B…カバーガラス、102C…AF用マーキング、103…光源、104…NDフィルタ、106…コンデンサ、107…蛍光キューブ、108…レボルバ、109…対物レンズ、110…鏡筒、111…接眼レンズ、112…カメラ、113…ホストPC、114…顕微鏡コントローラ、115…ステージX−Y制御部、116…ステージZ駆動制御部、117…ビデオキャプチャボード、118…オートフォーカスユニット、600…顕微鏡システム、610…観察試料、611…観察体、612…容器、613…容器本体、614…カバーガラス、618…取付穴位置検出部、621…ステージ、622…ステージ駆動用モータ、623…ステージX−Y制御部、631…対物レンズ、632…レボルバ本体、633…レボルバ用モータ、634…レボルバ用モータ駆動部、636…照準用モータ、637…焦準用モータ駆動部、641…照明用光源、642…レンズ、643…ミラー、644…レンズ、651…光源、652…蛍光キューブ、661…TVカメラ、662…ビデオキャプチャボード、663…ホストPC、671…基準光源、672…レーザー駆動部、673…コリメートレンズ、674…投光側ストッパ、675…偏光ビームスプリッター、676…集光レンズ群、677…色収差補正レンズ群、678…λ/4板、679…ダイクロイックミラー、680…集光レンズ群、681…受光センサー、682…信号処理部、683…色収差補正レンズ群駆動用モータ、684…色収差レンズ駆動部、691…顕微鏡コントローラ、692…操作部、693…ジョグダイヤル、694…ジョグエンコーダ、695…パルスカウンタ。 DESCRIPTION OF SYMBOLS 100 ... Microscope system, 101 ... Stage, 102 ... Sample, 102A ... Slide glass, 102B ... Cover glass, 102C ... Marking for AF, 103 ... Light source, 104 ... ND filter, 106 ... Condenser, 107 ... Fluorescent cube, 108 ... Revolver , 109 ... objective lens, 110 ... lens barrel, 111 ... eyepiece, 112 ... camera, 113 ... host PC, 114 ... microscope controller, 115 ... stage XY control unit, 116 ... stage Z drive control unit, 117 ... video Capture board, 118 ... auto focus unit, 600 ... microscope system, 610 ... observation sample, 611 ... observer, 612 ... container, 613 ... container body, 614 ... cover glass, 618 ... mounting hole position detector, 621 ... stage, 622... Motor for driving the stage, 623 Stage XY control unit, 631 ... objective lens, 632 ... revolver body, 633 ... revolver motor, 634 ... revolver motor drive unit, 636 ... aiming motor, 637 ... focusing motor drive unit, 641 ... illumination light source 642 ... Lens, 643 ... Mirror, 644 ... Lens, 651 ... Light source, 652 ... Fluorescent cube, 661 ... TV camera, 662 ... Video capture board, 663 ... Host PC, 671 ... Reference light source, 672 ... Laser driver, 673 ... collimating lens, 674 ... projection side stopper, 675 ... polarizing beam splitter, 676 ... condensing lens group, 677 ... chromatic aberration correction lens group, 678 ... λ / 4 plate, 679 ... dichroic mirror, 680 ... condensing lens group, 681... Light receiving sensor, 682... Signal processing unit, 683. Motor, 684 ... chromatic aberration lens drive unit, 691 ... microscope controller, 692 ... operation unit, 693 ... jog dial, 694 ... jog encoder, 695 ... pulse counter.

Claims (9)

透明体と該透明体上に載置された観察体とからなる観察試料を載せるステージと、
該ステージに載せられた前記観察試料に対して対峙するように前記ステージより下方に配置される対物レンズと、
前記ステージと前記対物レンズのうち少なくとも一方を観察光軸に対して平行方向に駆動させる焦準駆動部と、
前記観察試料を照明する観察光源と、
前記観察光源とは異なる光源で、前記対物レンズの下方から前記観察試料に対してオートフォーカス用の検出光を出射する焦点検出光源と、
前記観察試料における前記透明体から反射した前記検出光を前記対物レンズを介して受光する受光手段と、
前記受光手段の結果から前記焦準駆動部を制御することで前記透明体の所定の位置にオートフォーカスをするオートフォーカス部と、
前記所定の位置から光軸方向に一定量離れている距離を記録するオフセット量記録手段と、
前記対物レンズを介して前記観察試料の撮影を行う撮像装置と、
前記撮像装置の間欠撮影間隔であるタイムラプス測定間隔を設定するタイムラプス測定間隔設定手段と、
前記撮像装置及び前記オートフォーカス部の制御を行う撮影制御手段とを備え、
前記撮影制御手段によって、前記オートフォーカス部により前記透明体から前記焦点検出光が反射される位置である前記所定の位置に対してオートフォーカスを行った後、前記オフセット量記録手段に記録されている前記所定の位置から予め定めた一定量離れた位置で前記観察試料の撮影をすることを、前記タイムラプス測定間隔設定手段に記録された前記タイムラプス測定間隔毎に行うことを特徴とする顕微鏡システム。
A stage for placing an observation sample comprising a transparent body and an observation body placed on the transparent body;
An objective lens disposed below the stage so as to face the observation sample placed on the stage;
A focusing drive unit for driving at least one of the stage and the objective lens in a direction parallel to the observation optical axis;
An observation light source for illuminating the observation sample;
A focus detection light source that emits detection light for autofocus from the lower side of the objective lens to the observation sample with a light source different from the observation light source;
A light receiving means for receiving the detection light reflected from the transparent body in the observation sample through the objective lens;
An autofocus unit that performs autofocus on a predetermined position of the transparent body by controlling the focusing drive unit from the result of the light receiving means;
Offset amount recording means for recording a distance away from the predetermined position in the optical axis direction by a certain amount;
An imaging device that photographs the observation sample via the objective lens;
A time lapse measurement interval setting means for setting a time lapse measurement interval which is an intermittent shooting interval of the imaging device;
Photographing control means for controlling the imaging device and the autofocus unit;
After the autofocusing is performed on the predetermined position, which is a position where the focus detection light is reflected from the transparent body by the autofocus unit by the photographing control unit, the autofocus unit records the offset amount on the offset amount recording unit. The microscope system characterized in that photographing of the observation sample at a position away from the predetermined position by a predetermined amount is performed for each time lapse measurement interval recorded in the time lapse measurement interval setting means.
請求項1において、
前記撮像装置で撮影された前記観察体の画像情報又は/及び前記顕微鏡システムの光軸方向の座標情報を表示する表示手段と、
前記透明体から光軸方向に一定量離れている位置をユーザーが前記オフセット量記録手段に記録するオフセット量設定手段とを有し、
前記表示手段による情報から前記オフセット量設定手段によって、ユーザーが予めタイムラプス測定間隔毎に撮影を開始する前に、前記観察体の撮影を行う位置である前記透明体から光軸方向に一定量離れている位置を前記オフセット量記録手段に記録することを特徴とする顕微鏡システム。
In claim 1,
Display means for displaying image information of the observation object imaged by the imaging device or / and coordinate information in the optical axis direction of the microscope system;
An offset amount setting means for a user to record in the offset amount recording means a position away from the transparent body by a certain amount in the optical axis direction;
From the information by the display means, by the offset amount setting means, a predetermined distance away from the transparent body, which is a position for photographing the observation body, before the user starts photographing in advance at every time lapse measurement interval. The microscope system characterized in that the position of the current position is recorded in the offset amount recording means.
透明体と該透明体上に載置された観察体とからなる観察試料を載せるステージと、
前記ステージを観察光軸に対して垂直方向であるX−Y方向に駆動制御するX−Yステージ駆動手段と、
前記ステージに載せられた前記観察試料に対して対峙するように前記ステージより下方に配置される対物レンズと、
前記ステージと前記対物レンズのうち少なくとも一方を観察光軸に対して平行方向に駆動させる焦準駆動部と、
前記観察試料を照明する観察光源と、
前記観察体に対して撮影を行う位置を前記X−Y方向に複数設定を行う撮影位置設定手段と、
前記観察光源とは異なる光源で、前記対物レンズの下方から前記観察試料に対してオートフォーカス用の検出光を出射する焦点検出光源と、
前記観察試料における前記透明体から反射した前記検出光を前記対物レンズを介して受光する受光手段と、
前記受光手段の結果から前記焦準駆動部を制御することで前記透明体の所定の位置にオートフォーカスをするオートフォーカス部と、
前記撮影位置毎に、前記所定の位置から光軸方向に一定量離れている距離を個別に記録するオフセット量記録手段と、
前記対物レンズを介して前記観察試料の撮影を行う撮像装置と、
前記撮像装置の間欠撮影間隔であるタイムラプス測定間隔を設定するタイムラプス測定間隔設定手段と、
前記撮像装置、前記オートフォーカス部及び前記X−Yステージ駆動手段の制御を行う撮影制御手段とを備え、
撮影制御手段によって、前記タイムラプス観察が開始されると、前記タイムラプス測定間隔設定手段に記録された前記タイムラプス測定間隔毎に、前記撮影位置設定手段に設定された撮影位置に前記電動ステージによってX−Y方向に移動し、前記オートフォーカス部により前記透明体から前記焦点検出光が反射される位置である前記所定の位置に対してオートフォーカスを行った後、前記撮影位置毎に前記オフセット量記録手段に記録されている前記所定の位置から予め定めた一定量離れた位置で前記観察試料の撮影を行い、同じ前記タイムラプス測定間隔内において未撮影の撮影位置がある場合に、次の撮影位置への
移動及び撮影を行い、前記撮影位置設定手段に設定されたすべての撮影位置における撮影が終了した場合は、次のタイムラプス測定間隔まで待機するサイクルを繰り返すことを特徴とする顕微鏡システム。
A stage for placing an observation sample comprising a transparent body and an observation body placed on the transparent body;
XY stage driving means for driving and controlling the stage in the XY direction perpendicular to the observation optical axis;
An objective lens disposed below the stage so as to face the observation sample placed on the stage;
A focusing drive unit for driving at least one of the stage and the objective lens in a direction parallel to the observation optical axis;
An observation light source for illuminating the observation sample;
Photographing position setting means for setting a plurality of positions for photographing on the observation body in the XY direction;
A focus detection light source that emits detection light for autofocus from the lower side of the objective lens to the observation sample with a light source different from the observation light source;
A light receiving means for receiving the detection light reflected from the transparent body in the observation sample through the objective lens;
An autofocus unit that performs autofocus on a predetermined position of the transparent body by controlling the focusing drive unit from the result of the light receiving means;
Offset amount recording means for individually recording a distance away from the predetermined position in the optical axis direction for each photographing position;
An imaging device that photographs the observation sample via the objective lens;
A time lapse measurement interval setting means for setting a time lapse measurement interval which is an intermittent shooting interval of the imaging device;
An imaging control unit that controls the imaging device, the autofocus unit, and the XY stage driving unit;
When the time lapse observation is started by the photographing control means, the motorized stage moves the XY to the photographing position set in the photographing position setting means at every time lapse measurement interval recorded in the time lapse measurement interval setting means. The auto focus unit performs auto focus on the predetermined position, which is a position where the focus detection light is reflected from the transparent body by the auto focus unit. When the observation specimen is photographed at a predetermined distance from the recorded predetermined position and there is an unphotographed photographing position within the same time lapse measurement interval, the movement to the next photographing position is performed. When shooting is completed at all shooting positions set in the shooting position setting means, the next time Microscope system and repeating the cycle to wait until TOPS measurement interval.
請求項3において、
前記撮像装置で撮影された前記観察体の画像情報又は/及び、前記顕微鏡システムの光軸方向又は/及びX−Y方向の座標情報を表示する表示手段と、
X−Y方向の前記複数の撮影位置毎に前記透明体から光軸方向に一定量離れている位置をユーザーが前記オフセット量記録手段に記録するオフセット量設定手段とを有し、
前記表示手段による情報から前記オフセット量設定手段によって、ユーザーが予めタイムラプス測定間隔毎に撮影を開始する前に、X−Y方向の前記複数の撮影位置毎に前記観察体の撮影を行う位置である前記透明体から光軸方向に一定量離れている位置を前記オフセット量記録手段に記録することを特徴とする顕微鏡システム。
In claim 3,
Display means for displaying image information of the observation object photographed by the imaging device and / or coordinate information in the optical axis direction and / or XY direction of the microscope system;
An offset amount setting means for a user to record in the offset amount recording means a position that is separated by a certain amount in the optical axis direction from the transparent body for each of the plurality of photographing positions in the XY direction;
The position at which the observation object is photographed at each of the plurality of photographing positions in the XY direction before the user starts photographing at each time lapse measurement interval by the offset amount setting means based on the information from the display means. A microscope system, wherein a position that is a fixed amount away from the transparent body in the optical axis direction is recorded in the offset amount recording means.
請求項4において、前記表示手段は前記観察体の全体画像を表示する機能又は/及びX−Y方向の前記複数の撮影位置を示すマーカー表示機能を有することを特徴とする顕微鏡システム。   5. The microscope system according to claim 4, wherein the display unit has a function of displaying an entire image of the observation body and / or a marker display function indicating the plurality of photographing positions in the XY directions. 請求項1から請求項5のうち何れか1項において、前記対物レンズは交換可能であり、前記一定量は、光路中の対物レンズ毎に設定されることを特徴とする顕微鏡システム。   6. The microscope system according to claim 1, wherein the objective lens is exchangeable, and the fixed amount is set for each objective lens in the optical path. 請求項1から請求項6のうち何れか1項において、In any one of Claims 1-6,
前記観察体は、標本と培養液とからなり、The observation body consists of a specimen and a culture solution,
前記透明体は、前記標本と前記培養液とを収容する容器であり、The transparent body is a container for storing the specimen and the culture solution;
前記所定の位置は、前記容器の底面であることを特徴とする顕微鏡システム。The microscope system according to claim 1, wherein the predetermined position is a bottom surface of the container.
請求項1から請求項7のうち何れか1項において、In any one of Claims 1-7,
前記オートフォーカス用のオートフォーカス光学系に配置された補正レンズと、A correction lens disposed in the autofocus optical system for autofocus;
前記補正レンズを前記オートフォーカス光学系の光軸に沿って移動させることによって前記オートフォーカス光学系のピント位置をずらし、前記オートフォーカス光学系と前記撮像装置用の観察光学系との光学的オフセットを行うための補正レンズ駆動手段を有することを特徴とする顕微鏡システム。The focus position of the autofocus optical system is shifted by moving the correction lens along the optical axis of the autofocus optical system, and an optical offset between the autofocus optical system and the observation optical system for the imaging device is set. A microscope system comprising correction lens driving means for performing the correction.
請求項1から請求項8のうち何れか1項において、In any one of Claims 1-8,
蛍光観察用の蛍光キューブを有し、Has a fluorescent cube for fluorescence observation,
前記観察光源は、蛍光観察用の励起光を発する光源であることを特徴とする顕微鏡システム。The microscope system, wherein the observation light source is a light source that emits excitation light for fluorescence observation.
JP2011149509A 2003-09-29 2011-07-05 Microscope system and observation method Active JP5231610B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011149509A JP5231610B2 (en) 2003-09-29 2011-07-05 Microscope system and observation method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2003338489 2003-09-29
JP2003338489 2003-09-29
JP2011149509A JP5231610B2 (en) 2003-09-29 2011-07-05 Microscope system and observation method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2004202040A Division JP4847690B2 (en) 2003-09-29 2004-07-08 Microscope system

Publications (3)

Publication Number Publication Date
JP2011237818A JP2011237818A (en) 2011-11-24
JP2011237818A5 JP2011237818A5 (en) 2012-07-19
JP5231610B2 true JP5231610B2 (en) 2013-07-10

Family

ID=44287385

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2011021738A Active JP5199407B2 (en) 2003-09-29 2011-02-03 Microscope system and observation method
JP2011149509A Active JP5231610B2 (en) 2003-09-29 2011-07-05 Microscope system and observation method

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2011021738A Active JP5199407B2 (en) 2003-09-29 2011-02-03 Microscope system and observation method

Country Status (1)

Country Link
JP (2) JP5199407B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009025349A (en) * 2007-07-17 2009-02-05 Nikon Corp Microscope, its control method, and program
ES2668822T3 (en) 2011-10-28 2018-05-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Coding apparatus and coding procedure
WO2014080932A1 (en) 2012-11-26 2014-05-30 国立大学法人大阪大学 Optical microscope and autofocus device for optical microscope
DE102013208927A1 (en) * 2013-05-14 2014-11-20 Carl Zeiss Microscopy Gmbh Method for 3D high-resolution localization microscopy
JP6173154B2 (en) * 2013-10-01 2017-08-02 オリンパス株式会社 Microscope system
DE112014006009B4 (en) 2013-12-27 2024-02-08 Fujifilm Corporation Image capture device and time-lapse image capture method
JP5874753B2 (en) * 2014-01-28 2016-03-02 カシオ計算機株式会社 Imaging apparatus, imaging method, and program
JP6393515B2 (en) * 2014-05-07 2018-09-19 国立大学法人九州工業大学 Cell observation device
JP6998775B2 (en) * 2018-01-12 2022-01-18 株式会社ミツトヨ Image measuring machine and program

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63167313A (en) * 1986-12-27 1988-07-11 Hitachi Ltd Automatic focus control method
DE3828381C2 (en) * 1988-08-20 1997-09-11 Zeiss Carl Fa Method and device for automatically focusing an optical system
JPH0568253A (en) * 1991-08-21 1993-03-19 Tokimec Inc Video recorder for long time
JPH07117639B2 (en) * 1992-03-30 1995-12-18 オリンパス光学工業株式会社 Microscope with autofocus device
JP3385740B2 (en) * 1994-09-13 2003-03-10 株式会社ニコン Holding specimen for autofocus microscope
JP3695818B2 (en) * 1996-01-09 2005-09-14 オリンパス株式会社 Microscope focus detector
JP3486316B2 (en) * 1996-03-15 2004-01-13 ペンタックス株式会社 Automatic focusing device of surveying instrument
JPH10122823A (en) * 1996-08-27 1998-05-15 Olympus Optical Co Ltd Positioning method and height measuring device using the method
JP3226861B2 (en) * 1996-12-18 2001-11-05 株式会社不二越 Automatic focusing method
JP4076249B2 (en) * 1997-09-24 2008-04-16 オリンパス株式会社 Autofocus microscope
JPH11133309A (en) * 1997-10-29 1999-05-21 Nippon Telegr & Teleph Corp <Ntt> Microscopic device, dimension measuring method and device therefor
JP3961729B2 (en) * 1999-03-03 2007-08-22 株式会社デンソー All-focus imaging device
JP2001083391A (en) * 1999-09-13 2001-03-30 Nikon Corp Focus device for microscope
JP2001091821A (en) * 1999-09-21 2001-04-06 Olympus Optical Co Ltd Autofocusing system for microscope
JP4085297B2 (en) * 2000-03-07 2008-05-14 東洋紡績株式会社 Urine component classification device
JP3736278B2 (en) * 2000-04-12 2006-01-18 松下電器産業株式会社 How to observe biochemical substances
JP4937457B2 (en) * 2001-03-01 2012-05-23 オリンパス株式会社 Microscope control apparatus, microscope control system, microscope control method, program, and recording medium

Also Published As

Publication number Publication date
JP2011123518A (en) 2011-06-23
JP5199407B2 (en) 2013-05-15
JP2011237818A (en) 2011-11-24

Similar Documents

Publication Publication Date Title
JP4847690B2 (en) Microscope system
JP5231610B2 (en) Microscope system and observation method
US7345814B2 (en) Microscope system and microscope focus maintaining device for the same
JP5621259B2 (en) Microscope equipment
JP4923541B2 (en) microscope
JP5207213B2 (en) Autofocus device
JP2008276070A (en) Magnifying image pickup apparatus
JP4599941B2 (en) Automatic focus detection apparatus and microscope system including the same
JPH11249027A (en) Automatic focusing microscope
JP2006184303A (en) Image inspecting device
JP5322368B2 (en) Microscope system, observation method and observation program
JP4725967B2 (en) Minute height measuring device and displacement meter unit
JPH1195091A (en) Autofocusing microscope
JP5959247B2 (en) microscope
JP2012159854A (en) Inverted microscope system
JP2001091821A (en) Autofocusing system for microscope
JP3695818B2 (en) Microscope focus detector
JP5399580B2 (en) Microscope system, observation method and observation program
JP4477181B2 (en) Microscope equipment
JP2017097301A (en) Control device, microscope device, control method and control program
JP3125124U (en) Infrared microscope
WO2023127261A1 (en) Auto-focus device
JP4684646B2 (en) Autofocus method
JP2010091739A (en) Image pickup device including automatic focusing device
US20150124074A1 (en) Image acquisition apparatus and image acquisition method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130321

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160329

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5231610

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250