WO2014080932A1 - 光学顕微鏡、および、光学顕微鏡のオートフォーカス装置 - Google Patents

光学顕微鏡、および、光学顕微鏡のオートフォーカス装置 Download PDF

Info

Publication number
WO2014080932A1
WO2014080932A1 PCT/JP2013/081259 JP2013081259W WO2014080932A1 WO 2014080932 A1 WO2014080932 A1 WO 2014080932A1 JP 2013081259 W JP2013081259 W JP 2013081259W WO 2014080932 A1 WO2014080932 A1 WO 2014080932A1
Authority
WO
WIPO (PCT)
Prior art keywords
autofocus
optical microscope
imaging
light
observation
Prior art date
Application number
PCT/JP2013/081259
Other languages
English (en)
French (fr)
Inventor
永井健治
新井由之
Original Assignee
国立大学法人大阪大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人大阪大学 filed Critical 国立大学法人大阪大学
Priority to EP13856490.1A priority Critical patent/EP2924487B1/en
Priority to US14/647,401 priority patent/US9632303B2/en
Priority to JP2014548592A priority patent/JP6044941B2/ja
Publication of WO2014080932A1 publication Critical patent/WO2014080932A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/02—Objectives
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/245—Devices for focusing using auxiliary sources, detectors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals

Definitions

  • the present disclosure relates to an optical microscope capable of sending an optical image of an observation object imaged by an imaging device as an image signal, and in particular, an optical microscope including an autofocus device that performs focus adjustment of an objective lens using autofocus light. And an autofocus device for an optical microscope.
  • optical microscopes and their peripheral devices have contributed to research in various fields.
  • optical microscopes and their peripheral devices have a function of capturing images of observation objects with an imaging device. It is sent to an external device such as a large monitor for image analysis and phenomenon analysis.
  • an external device such as a large monitor for image analysis and phenomenon analysis.
  • the position adjustment of the stage on which the observation object is placed and the replacement operation of a plurality of mounted objective lenses having different magnifications are performed. Automation of the entire function of the optical microscope is also progressing, such as being able to perform as remote control.
  • time-lapse observation is performed to observe high-resolution analysis images over a long period of time in order to analyze changes in cell internal microstructure and cell differentiation patterns using a high-resolution optical microscope.
  • the focal range of the lens is extremely narrow due to its high magnification, and the observation target is deviated from the focal position of the objective lens due to slight vibrations and changes in environmental temperature.
  • the cell to be observed is often thermally stimulated from the outside, and as a result, when the environmental temperature changes, the observation object is changed. This causes the inconvenience that the focus state is broken and the change in the cell structure cannot be observed accurately.
  • an optical microscope equipped with an autofocus device that can automatically maintain the focus state of the objective lens has been developed.
  • an autofocus device in the field of optical microscopes an active autofocus method having a high-speed tracking capability is used.
  • This active autofocus system reflects the autofocus light emitted through the objective lens by the reflective film and the interface itself provided at the interface between the slide glass on which the observation object is placed and the cover glass that covers the observation object. The reflected light is received, the distance between the objective lens and the observation object is accurately measured, and this distance is kept constant.
  • a focus adjustment lens system is provided in the autofocus optical system, and the focus is offset by the operator performing the focus operation while the autofocus operation is performed on the slide glass or the like by the active autofocus method.
  • a technique has been proposed in which a focus operation is performed by an active autofocus method while the amount is set and thereafter the focus offset amount is maintained by a focus adjustment lens (see Patent Document 2).
  • an active autofocus system having high-speed tracking and accuracy can maintain a constant distance between the objective lens and the slide glass on which the observation object is placed. Even when the environmental temperature changes, a good focus state can be maintained. As a result, observation with a moving image and time-lapse observation over a long time can be suitably performed.
  • infrared light outside the visible light region is used as a focus light source of the autofocus optical system.
  • the focus light source is used in a normal optical microscope in which a tungsten lamp or a halogen lamp is used as an irradiation light source of an observation optical system, or in a fluorescence observation microscope in which near ultraviolet light or blue light is irradiated as excitation light. It is avoided that the infrared light of the present invention has a practical adverse effect on the monitoring by the observation optical system and the image taken by the imaging device.
  • the emission luminance of the observation object is weaker than that of fluorescence emission observation using excitation light emission. It is necessary to use a more sensitive detector after removing it as much as possible. In this case, even a small amount of light is detected, so even the infrared light used in the conventional active autofocus method becomes interference light in obtaining an image of the observation object.
  • long-time exposure is required to detect weak light emission. However, if long-time exposure is performed with an optical microscope with the autofocus device stopped, a focus shift may occur due to changes in diameter. Cannot be avoided, and a desired clear captured image cannot be obtained.
  • an optical microscope capable of solving the above-described conventional problems and maintaining an objective lens in a focused state without adversely affecting a captured image even when a substance having weak light emission is used as an observation object. It is another object of the present invention to provide an autofocus device that can be used for an optical microscope and can perform good chemiluminescence observation.
  • an optical microscope disclosed in the present application includes an observation optical system capable of capturing an optical image of an observation object obtained by an objective lens with an imaging device and transmitting the image as an image signal, and a focus light source.
  • An autofocus device that adjusts the focal position of the objective lens based on the irradiated autofocus light and focuses the observation object, and the imaging device does not capture an image of the observation object
  • the autofocus light is emitted from the focus light source during a non-imaging period.
  • the autofocus device for an optical microscope disclosed in the present application is used in an optical microscope equipped with an imaging device that can send an optical image of an observation object obtained by an objective lens as an image signal, and is irradiated from a focusing light source.
  • An autofocus device that adjusts the focus position of the objective lens based on reflected light of the autofocus light, and the focus light source during a non-imaging period in which the imaging device is not capturing an image of the observation object The autofocus light is irradiated from the above.
  • the autofocus light is emitted during the non-imaging period when the imaging device does not capture an image of the observation target. Even in such a case, it is possible to avoid the possibility that the autofocus light affects the captured image. For this reason, even when the emission luminance of the observation object is weak, an observation image of the observation object in a correctly focused state can be obtained.
  • the focus position is always corrected by constantly irradiating the autofocus light and continuously detecting the position.
  • the optical microscope disclosed in the present application is based on an observation optical system capable of capturing an optical image of an observation object obtained by an objective lens with an imaging device and sending it as an image signal, and autofocus light emitted from a focusing light source.
  • An autofocus device that adjusts the focal position of the objective lens and focuses the observation object, and the focusing device is used during the non-imaging period when the imaging device is not capturing an image of the observation object.
  • the autofocus light is emitted from a light source.
  • the imaging device captures an image of the observation object that is not irradiated with autofocus light. For this reason, it is possible to effectively avoid the autofocus light from adversely affecting the captured image.
  • an imaging period for capturing an image of the observation object in the imaging apparatus and the non-imaging period are repeated, and the autofocus apparatus performs an autofocus operation in the non-imaging period, It is preferable that the imaging device continuously captures images of the observation object during the imaging period. By doing so, it is possible to avoid the influence of the focus drift during long-term image shooting and obtain a continuous captured image of the observation object in a correctly focused state.
  • the autofocus device selects a predetermined non-imaging period among a plurality of non-imaging periods and performs an autofocus operation only in the selected non-imaging period.
  • the autofocus operation can be intermittently performed at a necessary interval according to the degree of focus fluctuation, and the undesired influence that the autofocus light can give to the observation target sample or the captured image is effective. Can be avoided.
  • the imaging apparatus includes a CCD image sensor as an imaging element, and the non-imaging period is a reading period in which the imaging element transfers imaging data.
  • the autofocus light emitted by the focus light source is infrared light outside the visible region.
  • the optical microscope disclosed in the present application for chemiluminescence observation in which a luminescent substance that emits light by a chemical reaction is observed as the observation object. Even when a high-sensitivity detector with low emission luminance of the observation object is used, an image of the observation object that is not affected by autofocus light can be obtained.
  • a focus for performing auto-focusing with the auto-focus light reflected on the interface of the glass substrate with respect to an observation target portion existing at a predetermined distance from the interface of the glass substrate on which the observation object is placed It is preferable to provide an adjustment lens. By doing so, even when the observation target part of the observation target object such as the cell nucleus of the cell arranged in the culture solution is located away from the autofocus reference plane, a good focus state can be maintained. .
  • optical microscope disclosed in the present application can be an inverted microscope in which the objective lens is positioned below the observation object.
  • the autofocus device for an optical microscope disclosed in the present application is used in an optical microscope equipped with an imaging device that can send an optical image of an observation object obtained by an objective lens as an image signal, and is irradiated from a focusing light source.
  • An autofocus device that adjusts the focus position of the objective lens based on reflected light of the autofocus light, and the focus light source during a non-imaging period in which the imaging device is not capturing an image of the observation object The autofocus light is irradiated from
  • FIG. 1 is a block diagram for explaining a schematic configuration of an upright optical microscope in which an objective lens is disposed above an observation target as a first configuration example of the optical microscope according to the present embodiment.
  • the observation object 1 is placed on a slide glass 3 as a glass substrate placed on the stage 2, and a cover glass 4 covering the observation object 1. Arranged in a sandwiched state.
  • the stage 2 is movable in the XY direction within a plane perpendicular to the optical axis 6 of the objective lens 5 positioned above the observation object 1.
  • the stage 2 may be movable in the optical axis direction (Z direction) of the objective lens 5.
  • the movement of the stage 2 in the X direction and the Y direction, and in some cases the Z direction can be electrically driven by using a motor.
  • a stage control unit for controlling the movement of the stage 2 is provided.
  • the movement of the stage can be controlled from the control unit 31 that controls the entire optical microscope in conjunction with the operation of other members, for example, the operation of the focal position of the objective lens 5.
  • An optical microscope of this configuration example includes an observation optical system including an objective lens 5, an optical path switching mirror 7, an eyepiece lens 8, a camera lens 9, and a camera 10 as an imaging device, an autofocus light source unit 11, and a half mirror 12. , A dichroic mirror 13, an autofocus condensing unit 14, and an autofocus optical system including an autofocus light receiving unit 15.
  • the observation optical system allows the optical image of the observation object 1 obtained by the objective lens 5 to be observed visually or as a still image or a moving image by the camera 10 that is an imaging device.
  • an optical path switching mirror 7 is arranged in the observation optical system, and switching between the case of visual observation through the eyepiece lens 8 and the case of obtaining image data by the camera 10 through the camera lens 9 is performed.
  • the camera 10 is an image pickup apparatus including a CCD image sensor (Charge Coupled Device Image sensor) as an image sensor.
  • the camera 10 of the optical microscope according to the present configuration example generates a light image of the observation object 1 by the objective lens 5 obtained through the camera lens 9, and a plurality of light receiving elements respectively emit light signals.
  • the imaging period for receiving light and the readout period for sending the electric charge obtained by each light receiving element to the outside as an electrical signal the operation period is alternately repeated, and the optical signal is converted into an electrical signal. It can be sent out.
  • the camera 10 transmits the operation timings of the readout period and the imaging period in the operation period to the control unit 31 of the optical microscope.
  • the captured image of the observation object 1 obtained by the camera 10 is sent as an electric signal to a monitor 32 attached to the optical microscope or separately arranged as an external device, and the monitor 32 enlarges the observation object 1.
  • the image can be observed in real time.
  • the monitor 32 may display an image obtained by performing image processing by the computer on the obtained image signal as a monitor unit of the computer, or may be physically displayed on the optical microscope. It is good also as a display part which has only the function to display the image of the observation target object 1 as it is, and to accompany it.
  • the autofocus light source unit 11 of the autofocus optical system includes, for example, a focus light source 16 composed of an infrared LED that emits near infrared light, a slit 17, a collimator lens 18, a pupil limiter (not shown), and the like. Irradiate autofocus light.
  • the autofocus light emitted from the autofocus light source unit 11 enters the objective lens 5 through the half mirror 12 and the dichroic mirror 13 that reflects red light, and the slide glass 2 at the same plane position as the observation object 1.
  • the light is condensed on the interface portion of the cover glass 4.
  • the light enters the condenser 14.
  • the autofocus light incident on the autofocus condensing unit 14 is collected by the autofocus objective lens 19, and once formed as a slit image by the image forming unit 20 including the slit unit and the relay lens, the cylindrical lens 21 is passed through. Then, an image is formed again by the autofocus light receiving unit 15.
  • the autofocus light receiving unit 15 converts a light signal into an electric signal by a light receiving element such as a CCD image sensor, detects a slit image of the formed autofocus light as an electric signal, and performs focusing. Is transmitted to the control unit 31.
  • the control unit 31 determines the focus state of the objective lens 5 from the state of the slit image in the autofocus light transmitted from the autofocus light receiving unit 15, and if there is a shift in focus, the objective lens 5 The focus position is corrected so that the focus state is always maintained.
  • a method of correcting the focal position of the objective lens 5 a method of moving the arrangement position of the objective lens 5 itself along the optical axis, or when the objective lens 5 is configured as a plurality of lens groups, a lens is used.
  • Various optically usable methods such as a method of changing the interval between them can be used.
  • the autofocus optical system, the control unit 31, the objective lens 5, and the focal position adjusting mechanism constitute an autofocus device of the optical microscope. .
  • the observation optical system of the optical microscope in the configuration example described above can be applied with the components of the observation optical system of a normal optical microscope as it is.
  • the observation optical system is provided from below the slide glass 3 or in the case of the epi-illumination, from above the slide glass 3 via the objective lens 5.
  • the irradiation light source can be arranged so as to irradiate the observation object 1 through the section.
  • the objective lens 5 is illustrated as a single object, but a plurality of objective lenses having different magnifications can be arranged so as to be replaceable by a revolver, and control is performed by arranging a motor that rotates the revolver. With the signal from the unit 31, the observation magnification can be changed by changing the objective lens electrically.
  • the autofocus optical system of the optical microscope according to this configuration example described above can also use the components of the autofocus optical system based on the normal active focus method as it is.
  • the control contents for determining the focus state from the obtained image data and correcting the focus position of the objective lens 5 to maintain the focus state are also common. Therefore, the autofocus optical system according to the optical microscope of the present embodiment is not limited to the configuration example illustrated and described above.
  • FIG. 2 shows the relationship between the exposure timing of each image sensor in the camera 10 of the observation optical system and the irradiation timing of the autofocus light in the focus light source 16 of the autofocus optical system in the optical microscope of the present embodiment. It is.
  • autofocus light is emitted during the electrical signal readout period in the CCD image sensor used in the camera 10.
  • the charge charged in each imaging element during the imaging period is read out to the outside through a transfer electrode during a readout period at a predetermined timing.
  • the charges of all the light receiving elements are sequentially transferred and read, so that the light receiving elements are not charged during the reading period, and the optical image obtained by the objective lens 5 is not converted into an electric signal during this period. For this reason, even if the object 1 is irradiated with autofocus light during this readout period, the captured image obtained by the camera 10 is not adversely affected.
  • the autofocus light is irradiated on the camera 10 by ending the irradiation timing of the autofocus light within the readout period of the camera 10. It is possible to obtain image data of an imaging period of only a non-period.
  • the length of the readout period can be adjusted by the user, but in that case, consider the autofocus light irradiation time and the time required for the autofocus operation in the autofocus device provided in the optical microscope.
  • a readout period as short as possible within a range in which the camera does not receive autofocus light, better image observation of the observation object can be performed.
  • the irradiation time of the autofocus light is set to 100 ⁇ s as an example. Also, as a means for adjusting the focal position of the objective lens, by using a means with high-speed tracking such as a piezo element or a stepping motor, the time required for the autofocus operation can be completed in a very short time. In the case of the optical microscope of the present embodiment, the autofocus operation can be completed during the non-imaging period of the camera 10. Note that the irradiation timing of the autofocus light may be set at any timing during the reading period as long as the irradiation is set to be completed within the reading period.
  • the captured image of the imaging period is continuously obtained while the imaging period and the non-imaging period are repeated in the camera 10 that is the imaging apparatus. Even in this case, a captured image in a correct focus state can always be obtained by performing the autofocus operation during the non-imaging period.
  • a focus shift called a focus drift is likely to occur due to a change in environmental conditions.
  • the optical microscope of the present disclosure can obtain a good moving image by following the focus drift. it can.
  • a plurality of imaging periods and non-imaging periods appear alternately, but the focus operation can be performed in all of the plurality of non-imaging periods, and any one of the plurality of non-imaging periods can be selected.
  • the focus operation can be performed only during the non-imaging period. For example, when it is known in advance that the amount of focus drift during a long imaging time is small, the timing for performing the autofocus operation is limited to the selected non-imaging period, and the object 1 is automatically detected. The frequency with which the focus light is irradiated is reduced. As a result, even if there is a stimulus to the observation object 1 given by the autofocus light or an undesired mixture of the autofocus light in the captured image, this can be effectively reduced.
  • the autofocus operation timing can be set for each predetermined number of non-imaging periods, and the autofocus operation timing can be set at a fixed interval, and the non-imaging period for autofocus operation can be selected at random.
  • the timing for performing the autofocus operation can be set at irregular intervals.
  • the optical microscope according to the present embodiment by irradiating autofocus light during a non-imaging period in the imaging apparatus, the light emission luminance of the observation object is weak as in, for example, chemiluminescence observation, and a highly sensitive detector. Even when imaging using a lens or long-time imaging is required, image data of an observation object that is not affected by autofocus light can be obtained.
  • FIG. 3 is a block diagram for explaining a schematic configuration in an inverted configuration in which an objective lens is arranged above an observation target as a second configuration example of the optical microscope of the present embodiment.
  • the observation object 51 is, for example, the nucleus of a cell as the sample 52, and the cell that is the sample 52 is in the culture solution 54 in the petri dish 53. Is arranged.
  • the petri dish 53 is placed on a cover glass 55 as a glass substrate that also serves as a mounting table, and an interface 56 is formed between the petri dish 53 and the cover glass 55.
  • the cover glass 55 is disposed on the objective lens device 57 via a predetermined optical coupling member 58. Note that the optical axis of an objective lens (not shown) in the objective lens device 57 can be moved relative to the observation object 51.
  • the optical microscope of the second configuration example includes an objective lens in the objective lens device 57, a first mirror 58, a half mirror 59, a second mirror 60, an eyepiece lens 61, a camera lens 62, and a camera 63 which is an imaging device.
  • an autofocus optical system including an autofocus light source unit 71, a half mirror 72, a focus optical path adjustment unit 73, a dichroic mirror 74, an autofocus light collection unit 75, and an autofocus light receiving unit 76. ing.
  • the observation optical system allows the optical image of the observation object 51 obtained by the objective lens in the objective lens device 57 to be observed visually or as a still image or a moving image with the camera 63.
  • the half mirror 59 is disposed in the observation optical system, and visual observation through the eyepiece lens 61 and image data acquisition by the camera 63 through the camera lens 62 can be performed simultaneously. is there.
  • the camera 63 is an imaging device provided with a CCD image sensor as an imaging device. As shown in FIG. 2, the camera 63 of the optical microscope of the present configuration example also has an imaging period in which a large number of light receiving elements receive the optical image of the observation target 51, and charges obtained by the respective imaging elements.
  • the exposure timing has two operation periods, namely, a readout period in which the electrical signal is sent to the outside.
  • the camera 63 transmits the operation timing of the imaging period and the imaging period during the exposure timing to the control unit 91 of the optical microscope.
  • the captured image of the observation object 51 obtained by the camera 63 is sent as an electric signal to, for example, the computer 92 which is an external device, and is displayed on the computer monitor after desired image processing is performed.
  • the data of the captured image obtained by the camera unit 63 can be displayed on the monitor unit attached to the optical microscope because the optical microscope of the first configuration example described with reference to FIG. It is the same.
  • the autofocus light source unit 71 of the autofocus optical system includes, as an example, a focus light source 77 including an infrared LED that emits near infrared light, a slit 78, The collimator lens 79 and a pupil limiter (not shown) are configured to irradiate the autofocus light during the readout period, which is the non-imaging period of the camera unit 63.
  • the autofocus light emitted from the autofocus light source unit 71 is incident on the objective lens of the objective lens device 57 via the half mirror 72, the focus optical path adjustment unit 73, and the dichroic mirror 74 that reflects red light, and the petri dish 53 and the cover are covered.
  • the light is condensed at the interface 56 between the glass 54 and the glass 54.
  • the autofocus light reflected by the interface 56 between the petri dish 53 and the cover glass 54 enters the autofocus light condensing unit 75 via the dichroic mirror 74, the focus light path adjusting unit 73, and the half mirror 72.
  • the autofocus light incident on the autofocus condensing unit 75 is collected by the autofocus objective lens 80, and once formed as a slit image by the image forming unit 81 including the slit unit and the relay lens, the cylindrical lens 82 is passed through. Then, an image is formed again by the autofocus light receiving unit 76.
  • the autofocus light receiving unit 76 converts an optical signal into an electric signal by a light receiving element such as a CCD image sensor, detects a slit image of the focused autofocus light as an electric signal, and sets the focus state to the control unit 91. introduce.
  • the control unit 91 determines the focus state in the objective lens device 57 from the state of the slit image in the autofocus light transmitted from the autofocus light receiving unit 76, and if there is a shift in focus, the objective lens The apparatus is adjusted to control the focal position of the objective lens so that the focus state is maintained.
  • a focus adjustment lens 73 is provided in the focus optical system, and between the petri dish 53 and the cover glass 54.
  • the control unit 91 controls the timing of reading the image signal from each imaging element in the camera 63 of the observation optical system and the auto in the focus light source 77 of the autofocus optical system.
  • the focus light irradiation timing is controlled so that the autofocus light is emitted during the readout period of the electrical signal from the light receiving element of the camera unit 63.
  • the autofocus light irradiation is performed during the readout period of the image sensor of the camera unit 63.
  • the camera unit 63 can obtain the image data of the observation object 51 only during the period when the autofocus light is not irradiated.
  • the configuration shown in FIG. 3 is merely an example configuration.
  • an irradiation light source (not shown) can be arranged so as to irradiate the observation object 51 through a part of the observation optical system.
  • the objective lens device 57 shown in FIG. 3 a plurality of objective lenses having different magnifications can be automatically exchanged.
  • the focus adjustment lens employed in the second configuration example described with reference to FIG. 3 is provided in the autofocus optical system, so that the first configuration example described with reference to FIG. Also in this optical microscope, it is possible to set a predetermined focus offset amount for the autofocus light.
  • the irradiation data of the autofocus light from the focus light source irradiated for performing the autofocus is determined by the image data in the imaging device that acquires the image data of the observation object. Is controlled so as to be irradiated during a non-imaging period during which no image is captured. By doing in this way, it can avoid reliably that the influence of an autofocus light affects the picked-up image of the observation target object imaged with an imaging device.
  • FIG. 4 shows a fluorescence image of a HeLa cell expressing a fluorescent protein on the cell membrane (FIG. 4A) and a chemiluminescent image of the same cell expressing a chemiluminescent protein on the cell membrane obtained by a conventional optical microscope (FIG. 4). 4 (b)). Note that an objective lens having a magnification of 60 times is used. As shown in FIG. 4, in the chemiluminescence observation, since the brightness of the observation object is small, the structure of the cells can hardly be observed.
  • FIG. 5 shows an image (FIG. 5 (a)) by fluorescence observation of mitochondria by the photoprotein Nano-lantern that has been brightened by high-efficiency FRET from chemiluminescent protein to high-luminance fluorescent protein.
  • the image by chemiluminescence observation (FIG.5 (b)) is shown. Note that an objective lens having a magnification of 60 times is used.
  • Nano-lantern is a high-intensity chemiluminescent probe, so it can be observed at video rate. Therefore, by combining with the optical microscope of this embodiment, high-speed cell observation is possible without worrying about defocus due to temperature change or stage fluctuation.
  • the optical microscope demonstrated by this embodiment can be used for fluorescence observation by providing the structure which irradiates the excitation light for performing fluorescence observation.
  • the autofocus irradiation light described in the above embodiment has a sufficiently small irradiation energy compared to the irradiation energy 0.1 to 1 W / cm 2 for stimulating the cell to be observed, the autofocus light There is no possibility that the cells to be observed cause an undesired reaction due to the irradiation.
  • the timing at which the autofocus light is irradiated is different from the timing at which the image data is acquired. Therefore, the autofocus light is not limited to light outside the visible range, and visible light may be used. Is possible. For this reason, as the autofocus light, it is possible to use light having a desired wavelength capable of performing autofocus accurately and in a short time, and it is possible to improve the autofocus accuracy.
  • a dichroic mirror disposed in the observation optical system for irradiating the autofocus light is used with higher transmittance. In this way, it is conceivable that the light emitted from the observation object can be detected without being dimmed as much as possible.
  • CMOS image sensor unlike the CCD image sensor, there is no readout period in which charges stored in the light receiving element are read out in a lump, and readout is performed in a line sequential manner, but a so-called blank period is a non-imaging period. Therefore, the autofocus light can be irradiated during this non-imaging period.
  • the imaging apparatus used for the optical microscope of the present embodiment is not limited to the one provided with these semiconductor type imaging elements.
  • an imaging device including a vacuum tube type imaging device such as a photomultiplier or other various imaging devices can be used.
  • a non-imaging period such as a CCD readout period in the operation period.
  • the non-imaging period is forcibly included in the operation period.
  • the autofocus light may be emitted in synchronization with the non-imaging period.
  • optical microscope and the autofocus device of the optical microscope disclosed in the present application can be expected to be used in a wide range of fields as an optical microscope capable of imaging an image by various methods including chemiluminescence observation and its autofocus device. .

Abstract

　微弱な発光を有する物質を観察対象物する場合でも、撮像画像に悪影響を与えることなく対物レンズをフォーカス状態に保つことができる光学顕微鏡を得る。対物レンズ（５）で得られた観察対象物（１）の光像を撮像装置（１０）で撮像し、画像信号として送出可能な観察光学系と、フォーカス用光源（１１）から照射されたオートフォーカス光に基づいて前記対物レンズの焦点位置を調整し、前記観察対象物に対してフォーカスさせるオートフォーカス装置とを備え、前記撮像装置が前記観察対象物の画像を撮像していない非撮像期間に、前記フォーカス用光源から前記オートフォーカス光が照射される。

Description

光学顕微鏡、および、光学顕微鏡のオートフォーカス装置
　本開示は、撮像装置により撮像された観察対象物の光像を画像信号として送出可能な光学顕微鏡に関し、特に、オートフォーカス光を用いて対物レンズのフォーカス調整を行うオートフォーカス装置を備えた光学顕微鏡、および、光学顕微鏡のオートフォーカス装置に関する。
　光学顕微鏡とその周辺装置は、さまざまな分野での研究に貢献しているが、近年は特に観察対象物を撮像装置により撮像する機能を備え、撮像した静止画像や動画像の画像データをコンピュータや大型モニタなどの外部機器に送出して、画像解析や現象解析に供されるようになっている。また、光学顕微鏡により取得された画像を解析しながら光学顕微鏡の調整を行うために、観察対象物が載置されるステージの位置調整や装着された異なる倍率を有する複数の対物レンズの交換操作を遠隔操作として行うことができるなど、光学顕微鏡の全体の機能に対する自動化も進んでいる。
　例えば、生命科学研究の分野では、高解像度の光学顕微鏡を用いて細胞内部の微細構造の変化や細胞分化パターンの解析など行うために、高解像度な解析画像を長時間経過観察するタイムラプス観察が行われることが多い。光学顕微鏡は、その高倍率性故にレンズの焦点範囲が極めて狭く、わずかな振動や環境温度の変化により観察対象物が対物レンズの焦点位置から外れてしまうこととなる。また、上記のような細胞内部の構造変化を観察するためには、観察対象の細胞に外部から熱的な刺激が加えられることも多く、その結果として環境温度の変化が生じると観察対象物へのフォーカス状態が崩れてしまい、正確に細胞構造の変化が観察できないという不都合を生じる。
　このため、対物レンズのフォーカス状態を自動的に維持することができる、オートフォーカス装置を備えた光学顕微鏡が開発されている。光学顕微鏡の分野におけるオートフォーカス装置としては、高速追従性を備えたアクティブオートフォーカス方式が用いられている。このアクティブオートフォーカス方式は、観察対象物を載せるスライドガラスと観察対象物に被せられるカバーガラスとの界面に設けられた反射膜や界面自体によって、対物レンズを介して照射されるオートフォーカス光を反射させ、その反射光を受光して対物レンズと観察対象物との間隔を正確に測距し、この間隔を一定に保ち続けるというものである。
　近年では、生命科学研究分野で行われるような細胞中の一つの核のみを観測対象とする場合などの、スライドガラスの界面と観察対象物である細胞核とが、対物レンズとの間隔が微妙に異なる位置にある場合でも正確なオートフォーカスを行うことができる光学顕微鏡が提案されている。このような光学顕微鏡として、アクティブオートフォーカス方式によるスライドガラス等へのフォーカス操作と、操作者が観察光学系を用いて行う観察対象物へのフォーカス操作によって取得されるデータとに基づいて、アクティブオートフォーカス方式により得られたフォーカス位置から一定量シフトさせた位置にフォーカスさせる技術が提案されている（特許文献１参照）。
　また、アクティブオートフォーカス方式において、オートフォーカス光学系内にフォーカス調整レンズ系を備え、アクティブオートフォーカス方式によるスライドガラス等への自動フォーカス操作が行われた状態で操作者によるフォーカス操作を行ってフォーカスオフセット量を設定し、以降はフォーカス調整レンズによってフォーカスオフセット量を保ったままアクティブオートフォーカス方式によるフォーカス操作が行われる技術が提案されている（特許文献２参照）。
特開２０１１－１２３５１８号公報 特開２００７－１４８１６１号公報
　上記従来の光学顕微鏡によれば、高速追従性と正確性とを備えたアクティブオートフォーカス方式によって、対物レンズと観察対象物が載置されたスライドガラス等との間隔を一定に保つことができるため、環境温度が変化しても良好なフォーカス状態を保つことができる。この結果、特に、動画像による観察や長時間にわたるタイムラプス観察を好適に行うことができる。
　従来のアクティブオートフォーカス方式では、オートフォーカス光学系のフォーカス用光源として可視光領域外の赤外光が用いられている。このため、観察光学系の照射光源としてタングステンランプやハロゲンランプなどが用いられる通常の光学顕微鏡や、励起光として近紫外光や青色光が照射される蛍光観察用の顕微鏡などにおいて、フォーカス用光源からの赤外光が観察光学系での監視や撮像装置による撮影画像に実用上の悪影響を及ぼすことが回避されている。
　しかし、バイオイメージングの一手法である化学発光観察を行う場合には、励起光発光を用いる蛍光発光観察に比べて観察対象物の発光輝度が弱いため、観察光学系内のフィルタなど減光要因を極力取り除いたうえで、さらに高感度な検出器を用いることが必要となる。この場合には、わずかな光でも検出してしまうため、従来のアクティブオートフォーカス方式に用いられる赤外光であっても、観察対象物の画像を得る上での妨害光となってしまう。一方、微弱な発光を検出するためには長時間露光が必要となるが、オートフォーカス装置を停止させた状態での光学顕微鏡で長時間露光を行うと、径時変化等によるフォーカスずれが生じることを回避できず、所望するクリアな撮像画像を得ることができない。
　そこで本願では、上記した従来の課題を解決して、微弱な発光を有する物質を観察対象物とする場合でも、撮像画像に悪影響を与えることなく対物レンズをフォーカス状態に保つことができる光学顕微鏡を得ること、また、光学顕微鏡に用いられて良好な化学発光観察を可能とすることができるオートフォーカス装置を提供することを目的とする。
　上記課題を解決するために、本願で開示する光学顕微鏡は、対物レンズで得られた観察対象物の光像を撮像装置で撮像し、画像信号として送出可能な観察光学系と、フォーカス用光源から照射されたオートフォーカス光に基づいて前記対物レンズの焦点位置を調整し、前記観察対象物に対してフォーカスさせるオートフォーカス装置とを備え、前記撮像装置が前記観察対象物の画像を撮像していない非撮像期間に、前記フォーカス用光源から前記オートフォーカス光が照射されることを特徴とする。
　また、本願で開示する光学顕微鏡のオートフォーカス装置は、対物レンズで得られた観察対象物の光像を画像信号として送出可能な撮像装置を備えた光学顕微鏡に用いられ、フォーカス用光源から照射されるオートフォーカス光の反射光に基づいて前記対物レンズのフォーカス位置を調整するオートフォーカス装置であって、前記撮像装置が前記観察対象物の画像を撮像していない非撮像期間に、前記フォーカス用光源から前記オートフォーカス光を照射することを特徴とする。
　本願で開示する光学顕微鏡、および、光学顕微鏡のオートフォーカス装置によれば、撮像装置が観察対象物の画像を撮像しない非撮像期間にオートフォーカス光が照射されるため、高感度の検出器を用いた場合でも撮像画像にオートフォーカス光が影響するおそれを回避することができる。このため、観察対象物の発光輝度が弱い場合でも正しくフォーカスされた状態の観察対象物の観察画像を得ることができる。
本実施形態にかかる第１の構成例の光学顕微鏡の概略構成を示すブロック構成図である。 本実施形態にかかる光学顕微鏡における、カメラの露光タイミングとオートフォーカス光の照射タイミングとの関係を示す図である。 本実施形態にかかる第２の構成例の光学顕微鏡の概略構成を示すブロック構成図である。 従来の光学顕微鏡により取得された、蛍光観察と化学発光観察との観察対象の画像例を示す図である。 本実施形態にかかる光学顕微鏡により取得された、蛍光観察と化学発光観察との観察対象の画像例を示す図である。
　従来のアクティブオートフォーカス形式においては、オートフォーカス光を常に照射して位置を検出し続けることで、常にフォーカス位置補正を行っている。しかし、必ずしも常にオートフォーカス動作を行う必要はなく、間欠的にオートフォーカス動作を行うことでも十分に観察対象物へのフォーカス状態を維持することができる。本願で開示する光学顕微鏡は、対物レンズで得られた観察対象物の光像を撮像装置で撮像し、画像信号として送出可能な観察光学系と、フォーカス用光源から照射されたオートフォーカス光に基づいて前記対物レンズの焦点位置を調整し、前記観察対象物に対してフォーカスさせるオートフォーカス装置とを備え、前記撮像装置が前記観察対象物の画像を撮像していない非撮像期間に、前記フォーカス用光源から前記オートフォーカス光が照射される。
　このようにすることで、撮像装置では、オートフォーカス光が照射されていない状態の観察対象物の画像を撮像することになる。このため、撮像された画像にオートフォーカス光が悪影響を与えることを効果的に回避することができる。
　本願で開示する光学顕微鏡では、前記撮像装置において前記観察対象物の画像を撮像する撮像期間と前記非撮像期間とが繰り返され、前記オートフォーカス装置が前記非撮像期間においてオートフォーカス動作を行いながら、前記撮像装置が前記撮像期間における前記観察対象物の画像を連続して撮像することが好ましい。このようにすることで、長期間の画像撮影時における焦点ドリフトの影響を回避して、正しくフォーカスされた状態での観察対象物の連続した撮像画像を得ることができる。
　また、前記オートフォーカス装置は、複数回の前記非撮像期間の内の所定の非撮像期間を選択し、選択された前記非撮像期間においてのみオートフォーカス動作を行うことが好ましい。このようにすることで、例えばフォーカス変動の度合いに応じて必要な間隔で間欠的にオートフォーカス動作を行うことができ、オートフォーカス光が観察対象試料や撮像画像な与え得る不所望な影響を効果的に回避することができる。
　本願で開示する光学顕微鏡において、前記撮像装置が、撮像素子としてＣＣＤイメージセンサを備え、前記非撮像期間が前記撮像素子が撮像データを転送する読出期間であることが好ましい。このようにすることで、撮像素子として一般的なＣＣＤイメージセンサを用いて、オートフォーカス光の影響の無い観察対象物の画像データを得ることができる。
　また、前記フォーカス用光源が照射する前記オートフォーカス光が可視領域外の赤外光であることが好ましい。
　さらに、本願で開示する光学顕微鏡を、化学反応で発光する発光物質を前記観察対象物として観測する化学発光観察に用いることが好ましい。観察対象物の発光輝度が弱く高感度な検知器を用いた場合でも、オートフォーカス光の影響のない観察対象物の画像を得ることができる。
　また、前記観察対象物が載置されるガラス基板の界面から所定の距離離れた位置に存在する観測対象部分に対し、前記ガラス基板の界面で反射された前記オートフォーカス光によりオートフォーカスを行うフォーカス調整レンズを備えることが好ましい。このようにすることで、培養液内に配置された細胞の細胞核など、観察対象物の観察対象部位がオートフォーカスの基準面から離れて位置する場合でも、良好なフォーカス状態を維持することができる。
　さらに、本願で開示する光学顕微鏡を、前記対物レンズが前記観察対象物の下方に位置する倒立型顕微鏡とすることができる。
　また、本願で開示する光学顕微鏡のオートフォーカス装置は、対物レンズで得られた観察対象物の光像を画像信号として送出可能な撮像装置を備えた光学顕微鏡に用いられ、フォーカス用光源から照射されるオートフォーカス光の反射光に基づいて前記対物レンズのフォーカス位置を調整するオートフォーカス装置であって、前記撮像装置が前記観察対象物の画像を撮像していない非撮像期間に、前記フォーカス用光源から前記オートフォーカス光を照射する。
　このようにすることで、撮像装置によってオートフォーカス光が照射されていない状態の観察対象物の画像を撮像することができ、撮像された画像に対して悪影響を与えることを効果的に回避したオートフォーカス装置を得ることができる。
　（実施の形態）
　以下、本願にかかる光学顕微鏡、および、光学顕微鏡のオートフォーカス装置の実施形態について、図面を参照しながら説明する。
　図１は、本実施形態にかかる光学顕微鏡の第１の構成例として、観察対象物の上方に対物レンズが配置された正立型の光学顕微鏡の概略構成を説明するためのブロック図である。
　図１に示す第１の構成例の光学顕微鏡では、観察対象物１は、ステージ２上に載置されたガラス基板としてのスライドガラス３に載せられ、観察対象物１を覆うカバーガラス４とに挟まれた状態で配置されている。
　ステージ２は、観察対象物１の上方に位置する対物レンズ５の光軸６に対し、垂直な平面内のＸ－Ｙ方向において移動可能となっている。なお、ステージ２を対物レンズ５の光軸方向（Ｚ方向）に移動可能とすることもできる。また、ステージ２のＸ方向およびＹ方向、場合によってはＺ方向への移動を、モータを用いて電動とすることができ、その場合には、ステージ２の移動を制御するステージ制御部を設けて、光学顕微鏡全体を制御する制御部３１から、他の部材の操作、例えば対物レンズ５の焦点位置の操作と連動してステージの移動を制御可能とすることができる。
　本構成例の光学顕微鏡は、対物レンズ５、光路切り替えミラー７、接眼レンズ８、カメラ用レンズ９、撮像装置であるカメラ１０により構成される観察光学系と、オートフォーカス光源部１１、ハーフミラー１２，ダイクロイックミラー１３、オートフォーカス集光部１４、オートフォーカス受光部１５により構成されるオートフォーカス光学系とを備えている。
　観察光学系は、対物レンズ５により得られた観察対象物１の光像を目視、若しくは、撮像装置であるカメラ１０によって静止画像または動画像として観察可能とするものである。本構成例の光学顕微鏡では、観察光学系に光路切り替えミラー７を配置して、接眼レンズ８を介して目視する場合と、カメラ用レンズ９を経てカメラ１０により画像データを得る場合とを切り替える構成としているが、目視と画像データの取得とを同時に行える構成とすることも可能である。
　カメラ１０は、ＣＣＤイメージセンサ（Charge Coupled Device Image sensor）を撮像素子として備えた撮像装置である。本構成例にかかる光学顕微鏡のカメラ１０は、後述するように、カメラ用レンズ９を介して得られた対物レンズ５による観察対象物１の光像を、多数個の受光素子がそれぞれ光の信号として受光する撮像期間と、それぞれの受光素子で得られた電荷を電気信号として外部に送出する読出期間との２つの動作期間が交互に繰り返されるものであり、光信号を電気信号に変換して送出可能なものである。また、カメラ１０は、動作期間の内の読出期間と撮像期間との動作タイミングを、光学顕微鏡の制御部３１に伝達する。
　カメラ１０で得られた観察対象物１の撮像画像は、電気信号として、光学顕微鏡に付随する、若しくは、外部機器として別個に配置されるモニタ３２に送出され、モニタ３２において観察対象物１の拡大画像をリアルタイムで観察することができる。なお、モニタ３２は、図１に示すようにコンピュータのモニタ部として、得られた画像信号に対してコンピュータによる画像処理を行った後の画像を表示してもよいし、光学顕微鏡に物理的に一体となって付随して、観察対象物１の画像をそのまま表示する機能のみを持つ表示部としてもよい。
　オートフォーカス光学系のオートフォーカス光源部１１は、例えば近赤外光を発光する赤外ＬＥＤからなるフォーカス用光源１６と、スリット１７、コリメータレンズ１８、図示しない瞳制限部などにより構成されていて、オートフォーカス光を照射する。
　オートフォーカス光源部１１から照射されたオートフォーカス光は、ハーフミラー１２、赤色光を反射するダイクロイックミラー１３を介して対物レンズ５に入射し、観察対象物１と同じ平面位置にあるスライドガラス２とカバーガラス４の界面部分に集光する。スライドガラス２またはカバーガラス４の界面部分自体、もしくは、より正確にオートフォーカスを行うために設けられることがある反射膜で反射したオートフォーカス光は、ダイクロイックミラー１３、ハーフミラー１２を経て、オートフォーカス集光部１４に入射する。
　オートフォーカス集光部１４に入射したオートフォーカス光は、オートフォーカス対物レンズ１９で集光されて、スリット部やリレーレンズを備えた結像部２０でスリット像として一旦結像され、シリンドリカルレンズ２１を経てオートフォーカス受光部１５で再び結像する。
　オートフォーカス受光部１５は、カメラ部１０と同様ＣＣＤイメージセンサなどの受光素子により光信号を電気信号に変換するものであり、結像したオートフォーカス光のスリット像を電気信号として検知し、フォーカス状態を制御部３１に伝達する。
　制御部３１は、オートフォーカス受光部１５から伝達されたオートフォーカス光におけるスリット像の状態から、対物レンズ５でのフォーカス状態を判断し、フォーカスにずれが生じているようであれば、対物レンズ５の焦点位置を修正して常にフォーカス状態であるように制御する。対物レンズ５の焦点位置を修正する方法としては、対物レンズ５自体の配置位置を光軸に沿って移動させる方法や、対物レンズ５が複数枚のレンズ群として構成されている場合には、レンズ同士の間隔を変更させる方法など、光学的に利用可能なさまざまな方法を用いることができる。
　このように、図１に示した光学顕微鏡においては、オートフォーカス光学系と、制御部３１、対物レンズ５、および、その焦点位置の調整機構が、光学顕微鏡のオートフォーカス装置を構成することになる。
　なお、上記説明した本構成例における光学顕微鏡の観察光学系は、通常の光学顕微鏡の観察光学系の構成要素をそのまま適用できるものである。このため、図１では図示していないが、透過式の場合にはスライドガラス３の下方から、若しくは、落射式の場合には対物レンズ５を介してスライドガラス３の上方から観察光学系の一部を介して、観察対象物１を照射するように照射光源を配置することができる。また、図１においては、対物レンズ５として単体のものを例示したが、倍率の異なる複数の対物レンズをリボルバーによって交換可能に配置することができ、リボルバーを回転させるモータを配置することによって、制御部３１からの信号によって、電動で対物レンズを交換可能として観察倍率を変更可能とすることができる。
　観察光学系と同様に、上記説明した本構成例にかかる光学顕微鏡のオートフォーカス光学系も、通常のアクティブフォーカス方式によるオートフォーカス光学系の構成要素をそのまま用いることができ、オートフォーカス受光部１４で得られた画像データからフォーカス状態を判断し、対物レンズ５のフォーカス位置を修正してフォーカス状態を保つように制御する制御内容も、一般的なものである。したがって、本実施形態の光学顕微鏡にかかるオートフォーカス光学系は、上記図示説明した構成例に限定されるものではない。
　図２は、本実施形態の光学顕微鏡における、観察光学系のカメラ１０における各撮像素子での露光タイミングと、オートフォーカス光学系のフォーカス光源１６における、オートフォーカス光の照射タイミングとの関係を示すものである。
　図２に示すように、本実施形態の光学顕微鏡では、オートフォーカス光をカメラ１０に用いられたＣＣＤイメージセンサにおける、電気信号の読出期間の間に照射するものである。
　一般に、撮像素子としてＣＣＤイメージセンサを用いた場合には、それぞれの受光素子で撮像期間にチャージされた電荷を、所定のタイミングの読出期間に転送電極を介して外部に読み出す。読出期間では、全ての受光素子の電荷を順次転送して読み出すため、読出期間の間受光素子は電荷をチャージせず、この期間は対物レンズ５で得られた光像は電気信号に変換されない。このため、この読出期間に観察対象物１にオートフォーカス光を照射しても、カメラ１０で得られる撮像画像に悪影響を与えることはない。上記説明した、オートフォーカス光学系で得られたフォーカス画像に基づくフォーカス動作において、オートフォーカス光の照射タイミングをカメラ１０の読出期間内に終了させることで、カメラ１０では、オートフォーカス光が照射されていない期間のみの撮像期間の画像データを得ることができる。
　なお、カメラによっては読出期間の長さをユーザが調整可能なものがあるが、その場合には、光学顕微鏡が備えるオートフォーカス装置における、オートフォーカス光の照射時間とオートフォーカス動作の所要時間を勘案して、カメラがオートフォーカス光を受光しない範囲でなるべく短い読出期間を設定することで、観察対象物のより良好な画像観察が可能となる。
　本実施形態の光学顕微鏡では、オートフォーカス光の照射時間を一例として１００μｓと設定した。また、対物レンズの焦点位置を調整する手段として、ピエゾ素子やステッピングモータなどの高速追従性を備えた手段を用いることで、オートフォーカス動作の所要時間は極めて短時間に完了させることができるため、本実施形態の光学顕微鏡の場合にはカメラ１０の非撮像期間にオートフォーカス動作を完了させることができた。なお、オートフォーカス光の照射タイミングは、読出期間内に照射が完了するように設定するのであれば、読出期間の期間中のどのタイミングに設定してもよい。
　なお、観察対象物１の動画像を撮像する場合には、撮像装置であるカメラ１０において撮像期間と非撮像期間とが繰り返されながら、撮像期間の撮像画像を連続して得ることになる。この場合においても、非撮像期間にオートフォーカス動作を行うことで、常に正しいフォーカス状態の撮像画像を得ることができる。特に、長時間の撮像の場合には、環境条件の変化による焦点ドリフトと呼ばれるフォーカスのずれが生じやすいが、本開示の光学顕微鏡では、この焦点ドリフトに追従して良好な動画像を得ることができる。
　また、この場合において、複数の撮像期間と非撮像期間とが交互に現れるが、複数の非撮像期間の全てにおいてフォーカス動作を行うことができ、また、複数の非撮像期間の内のいずれか選択された非撮像期間においてのみフォーカス動作を行うことができる。例えば長時間の撮像時間における焦点ドリフト量が少ないことが予め判明している場合などでは、オートフォーカス動作を行うタイミングを選択された非撮像期間に限定して間引くことで、観察対象物１にオートフォーカス光が照射される頻度が低減する。この結果、オートフォーカス光が与える観察対象物１への刺激や、オートフォーカス光の撮像画像への不所望な混入があった場合でも、これを効果的に低減することができる。なお、オートフォーカス動作を行うタイミングは、所定回数の非撮像期間ごとに設定してオートフォーカス動作のタイミングを一定の間隔とすることができ、また、オートフォーカス動作を行う非撮像期間をランダムに選択して、オートフォーカス動作を行うタイミングを不定期間隔とすることもできる。
　上記のように、本実施形態の光学顕微鏡では、撮像装置における非撮像期間にオートフォーカス光を照射することで、例えば化学発光観察のように観察対象物の発光輝度が弱く、高感度の検出器を用いた撮像や長時間の撮像が必要な場合であっても、オートフォーカス光の影響を受けない観察対象物の画像データを得ることができる。
　図３は、本実施形態の光学顕微鏡の第２の構成例として、観察対象物の上方に対物レンズが配置された倒立型の構成における概略構成を説明するためのブロック図である。
　図３に示す本実施形態の第２の構成例の光学顕微鏡では、観察対象物５１は、例えば試料５２としての細胞の核であり、試料５２である細胞はシャーレ５３内の培養液５４内に配置されている。シャーレ５３は、載置台を兼ねるガラス基板としてのカバーガラス５５上に載置されていて、シャーレ５３とカバーガラス５５との間に界面５６が形成される。
　カバーガラス５５は、対物レンズ装置５７の上に、所定の光学的カップリング部材５８を介して配置されている。なお、対物レンズ装置５７内の図示しない対物レンズの光軸を、観察対象物５１に対して相対的に移動可能とすることもできる。
　第２の構成例の光学顕微鏡は、対物レンズ装置５７内の対物レンズ、第１ミラー５８、ハーフミラー５９、第２ミラー６０、接眼レンズ６１、カメラ用レンズ６２、撮像装置であるカメラ６３により構成される観察光学系と、オートフォーカス光源部７１、ハーフミラー７２，フォーカス光路調整部７３、ダイクロイックミラー７４、オートフォーカス集光部７５、オートフォーカス受光部７６により構成されるオートフォーカス光学系とを備えている。
　観察光学系は、対物レンズ装置５７内の対物レンズにより得られた観察対象物５１の光像を目視、若しくは、カメラ６３で静止画像または動画像として観察可能とするものである。本構成例の光学顕微鏡では、観察光学系にハーフミラー５９を配置して、接眼レンズ６１を介する目視と、カメラ用レンズ６２とを介するカメラ６３による画像データの取得とを同時に行うことが可能である。
　カメラ６３は、ＣＣＤイメージセンサを撮像素子として備えた撮像装置である。本構成例の光学顕微鏡のカメラ６３も、図２で示したように、観察対象物５１の光像を多数個の受光素子がそれぞれ受光する撮像期間と、それぞれの撮像素子で得られた電荷等の電気信号を外部に送出する読出期間との２つの動作期間を、露光タイミングとして持っている。また、カメラ６３は、露光タイミング中の撮像期間と撮像期間との動作タイミングを、光学顕微鏡の制御部９１に伝達する。
　カメラ６３で得られた観察対象物５１の撮像画像は、電気信号として、例えば外部機器であるコンピュータ９２に送出され、所望の画像処理が行われた後にコンピュータモニタに表示される。なお、カメラ部６３により得られた撮像画像のデータを、光学顕微鏡に付随するモニタ部に映出させることも可能であるのは、図１を用いて説明した第１の構成例の光学顕微鏡と同様である。
　オートフォーカス光学系のオートフォーカス光源部７１は、図１で示した第１の構成例のものと同様、一例として近赤外光を発光する赤外ＬＥＤからなるフォーカス用光源７７と、スリット７８、コリメータレンズ７９、図示しない瞳制限部などにより構成されていて、オートフォーカス光を、カメラ部６３の非撮像期間である読み出し期間中に照射する。
　オートフォーカス光源部７１から照射されたオートフォーカス光は、ハーフミラー７２、フォーカス光路調整部７３、赤色光を反射するダイクロイックミラー７４を介して対物レンズ装置５７の対物レンズに入射し、シャーレ５３とカバーガラス５４との間の界面５６に集光される。シャーレ５３とカバーガラス５４との間の界面５６で反射したオートフォーカス光は、ダイクロイックミラー７４、フォーカス光路調整部７３、ハーフミラー７２を経て、オートフォーカス集光部７５に入射する。
　オートフォーカス集光部７５に入射したオートフォーカス光は、オートフォーカス対物レンズ８０で集光されて、スリット部やリレーレンズを備えた結像部８１でスリット像として一旦結像され、シリンドリカルレンズ８２を経てオートフォーカス受光部７６で再び結像する。
　オートフォーカス受光部７６は、ＣＣＤイメージセンサなどの受光素子により光信号を電気信号に変換するものであり、結像したオートフォーカス光のスリット像を電気信号として検知し、フォーカス状態を制御部９１に伝達する。
　制御部９１は、オートフォーカス受光部７６から伝達されたオートフォーカス光におけるスリット像の状態から、対物レンズ装置５７でのフォーカス状態を判断し、フォーカスにずれが生じているようであれば、対物レンズ装置を調整して対物レンズの焦点位置を修正しフォーカス状態を保つように制御する。なお、第２の構成例の光学顕微鏡では、特許文献２に開示されたオートフォーカス装置と同様に、フォーカス光学系内にフォーカス調整レンズ７３を備えていて、シャーレ５３とカバーガラス５４との間の界面５６で反射したオートフォーカス光に所定のフォーカスオフセット量を設定することで、オートフォーカス光の実際の反射面である界面５６から所定の間隔を隔てて位置する、観察対象物５１に対するフォーカス状態を維持することができる構成となっている。
　図３に示す第２の構成例の光学顕微鏡においても、制御部９１が、観察光学系のカメラ６３における各撮像素子からの画像信号の読み出しのタイミングと、オートフォーカス光学系のフォーカス光源７７におけるオートフォーカス光の照射タイミングとを、図２に示すように、オートフォーカス光がカメラ部６３の受光素子からの電気信号の読出期間の間に照射されるように制御している。このため、図３に示した第２の構成例の光学顕微鏡においても、オートフォーカス光学系で得られたフォーカス画像に基づくフォーカス動作において、オートフォーカス光の照射をカメラ部６３の撮像素子の読出期間内に終了させることで、カメラ部６３では、オートフォーカス光が照射されていない期間のみの観察対象物５１の画像データを得ることができる。
　なお、図１で示した第１の構成例と同様に、図３に示した倒立型の第２の構成例においても、観察光学系、オートフォーカス光学系として、従来公知の構成を用いることができる。このため、図３に示した構成はあくまで構成例に過ぎない。また、図３に示した第２の構成例の光学顕微鏡においても、図示していない照射光源を、観察光学系の一部を介して観察対象物５１を照射するように配置することができる。また、図３に示した対物レンズ装置５７内で、倍率の異なる複数の対物レンズを自動的に交換可能に配置することができる。これとは逆に、図３を用いて説明した第２の構成例で採用しているフォーカス調整レンズを、オートフォーカス光学系内に備えることで、図１を用いて説明した第１の構成例の光学顕微鏡においても、オートフォーカス光に所定のフォーカスオフセット量を設定可能とすることができる。
　以上説明したように、本実施形態の光学顕微鏡では、オートフォーカスを行うために照射されるフォーカス光源からのオートフォーカス光の照射タイミングを、観察対象物の画像データを取得する撮像装置における、画像データを撮像しない非撮像期間に照射するように制御する。このようにすることで、撮像装置で撮像される観察対象物の撮像画像にオートフォーカス光の影響が及ぶことを確実に回避することができる。
　図４は、従来の光学顕微鏡によって得られた、細胞膜に蛍光タンパク質を発現するHeLa細胞の蛍光画像（図４（ａ））と、細胞膜に化学発光タンパク質を発現する同一細胞の化学発光画像（図４（ｂ））とを比較するものである。なお、対物レンズとしては、６０倍のものを用いている。図４に示すように、化学発光観察では観察対象物の輝度が小さいため、細胞の構成がほとんど観察できない。
　これに対して、図５は、化学発光タンパク質から高輝度蛍光タンパク質への高効率ＦＲＥＴにより高輝度化された発光タンパク質Nano-lanternによるミトコンドリアの、蛍光観察による画像（図５（ａ））と、化学発光観察による画像（図５（ｂ））とを示すものである。なお、対物レンズとしては、６０倍のものを用いている。
　図５に示すように、化学発光観察においても蛍光観察と同等の鮮明な観察画像を得ることができた。このため、励起光である紫外光を照射する必要があるため観察対象の細胞にダメージを与えてしまうおそれのある蛍光観察と比較して、より好適な細胞観察が可能となる。Nano-lanternは高輝度化学発光プローブであるため、ビデオレートでの観察が可能である。したがって本実施形態の光学顕微鏡と組み合わせることで、温度変化やステージ変動によるフォーカスずれを気にすることなく、高速な細胞観察が可能となる。
　なお、蛍光観察を行うための励起光を照射する構成を備えることで、本実施形態で説明した光学顕微鏡を蛍光観察に用いることができる。また、上記実施形態で説明したオートフォーカス照射光は、観察対象である細胞に刺激を与えるための照射エネルギー０．１～１Ｗ／ｃｍ2と比較して照射エネルギーが十分に小さいため、オートフォーカス光の照射によって観察対象の細胞が不所望な反応を起こしてしまうおそれはない。
　さらに、本開示にかかる光学顕微鏡では、オートフォーカス光が照射されているタイミングが画像データの取得タイミングとは異なるため、オートフォーカス光として可視領域範囲外の光に限らず、可視光を用いることも可能である。このため、オートフォーカス光として、オートフォーカスを正確に、かつ、短時間で行うことができる所望の波長の光を用いることができ、オートフォーカス精度の向上を図ることが可能となる。また、化学発光観察の場合のように観察対象物の発する光量が小さい場合には、オートフォーカス光を照射するために観察光学系内に配置されるダイクロイックミラーを、より透過率の高いものを用いるようにして、観察対象物の発光をなるべく減光せずに検出できるようにすることが考えられる。
　さらにまた、上記本実施形態の光学顕微鏡では、撮像装置としてＣＣＤイメージセンサを用いる例を開示したが、例えばＣＭＯＳイメージセンサなどの他の半導体型の撮像素子を備えた撮像装置を使用することができる。ＣＭＯＳイメージセンサの場合には、ＣＣＤイメージセンサのように受光素子に蓄えられた電荷を一括して読み出す読出期間が設けられず、ライン順次方式での読み出しとなるが、いわゆるブランク期間が非撮像期間となるため、この非撮像期間にオートフォーカス光を照射することができる。さらに、本実施形態の光学顕微鏡に用いられる撮像装置は、これらの半導体型撮像素子を備えたものに限らない。例えばフォトマルなどの真空管方式の撮像素子、その他各種の撮像素子を備えた撮像装置を用いることができる。この場合、撮像装置によっては、ＣＣＤの読出期間のような非撮像期間を動作期間中に備えることが必須ではない場合もあり得るが、その場合には、動作期間中に強制的に非撮像期間を形成して、この非撮像期間にタイミングを合わせてオートフォーカス光を照射するようにすればよい。
　本願で開示する光学顕微鏡、および、光学顕微鏡のオートフォーカス装置は、化学発光観察をはじめとする各種方法での画像イメージ化ができる光学顕微鏡、そのオートフォーカス装置として、幅広い分野での用途が期待できる。

Claims (9)

  1. 対物レンズで得られた観察対象物の光像を撮像装置で撮像し、画像信号として送出可能な観察光学系と、
    　フォーカス用光源から照射されたオートフォーカス光に基づいて前記対物レンの焦点位置を調整し、前記観察対象物に対してフォーカスさせるオートフォーカス装置とを備え、
    　前記撮像装置が前記観察対象物の画像を撮像していない非撮像期間に、前記フォーカス用光源から前記オートフォーカス光が照射されることを特徴とする光学顕微鏡。
  2. 前記撮像装置において前記観察対象物の画像を撮像する撮像期間と前記非撮像期間とが繰り返され、
    　前記オートフォーカス装置が前記非撮像期間においてオートフォーカス動作を行いながら、前記撮像装置が前記撮像期間における前記観察対象物の画像を連続して撮像する請求項１に記載の光学顕微鏡。
  3. 前記オートフォーカス装置は、複数回の前記非撮像期間の内の所定の非撮像期間を選択し、選択された前記非撮像期間においてのみオートフォーカス動作を行う請求項２に記載の光学顕微鏡。
  4. 前記撮像装置が、撮像素子としてＣＣＤイメージセンサを備え、前記非撮像期間が前記撮像素子が撮像データを転送する読出期間である請求項１～３のいずれかに記載の光学顕微鏡。
  5. 前記フォーカス用光源が照射する前記オートフォーカス光が可視領域外の赤外光である請求項１～４のいずれかに記載の光学顕微鏡。
  6. 化学反応で発光する発光物質を前記観察対象物として観測する化学発光観察に用いられる請求項１～５のいずれかに記載の光学顕微鏡。
  7. 前記観察対象物が載置されるガラス基板の界面から所定の距離離れた位置に存在する観測対象部分に対し、前記ガラス基板の界面で反射された前記オートフォーカス光によりオートフォーカスを行うフォーカス調整レンズを備えた請求項１～６のいずれかに記載の光学顕微鏡。
  8. 前記対物レンズが前記観察対象物の下方に位置する倒立型顕微鏡である請求項１～７のいずれかに記載の光学顕微鏡。
  9. 対物レンズで得られた観察対象物の光像を画像信号として送出可能な撮像装置を備えた光学顕微鏡に用いられ、フォーカス用光源から照射されるオートフォーカス光の反射光に基づいて前記対物レンズのフォーカス位置を調整するオートフォーカス装置であって、
    　前記撮像装置が前記観察対象物の画像を撮像していない非撮像期間に、前記フォーカス用光源から前記オートフォーカス光を照射することを特徴とする光学顕微鏡のオートフォーカス装置。
PCT/JP2013/081259 2012-11-26 2013-11-20 光学顕微鏡、および、光学顕微鏡のオートフォーカス装置 WO2014080932A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP13856490.1A EP2924487B1 (en) 2012-11-26 2013-11-20 Optical microscope and autofocus device for optical microscope
US14/647,401 US9632303B2 (en) 2012-11-26 2013-11-20 Optical microscope, and autofocus device for optical microscope
JP2014548592A JP6044941B2 (ja) 2012-11-26 2013-11-20 光学顕微鏡、および、光学顕微鏡のオートフォーカス装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-257426 2012-11-26
JP2012257426 2012-11-26

Publications (1)

Publication Number Publication Date
WO2014080932A1 true WO2014080932A1 (ja) 2014-05-30

Family

ID=50776112

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/081259 WO2014080932A1 (ja) 2012-11-26 2013-11-20 光学顕微鏡、および、光学顕微鏡のオートフォーカス装置

Country Status (4)

Country Link
US (1) US9632303B2 (ja)
EP (1) EP2924487B1 (ja)
JP (1) JP6044941B2 (ja)
WO (1) WO2014080932A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016541027A (ja) * 2013-10-25 2016-12-28 アイシス イノベーション エルティーディー． 小型顕微鏡
JP2017223859A (ja) * 2016-06-16 2017-12-21 オリンパス株式会社 走査型顕微鏡
WO2018070153A1 (ja) * 2016-10-13 2018-04-19 ヤマハ発動機株式会社 細胞の撮像方法
JP2019184668A (ja) * 2018-04-03 2019-10-24 学校法人自治医科大学 顕微鏡システム及び光学モジュール
US10962755B2 (en) 2015-04-24 2021-03-30 Oxford University Innovation Limited Compact microscope

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014178474A (ja) * 2013-03-14 2014-09-25 Sony Corp デジタル顕微鏡装置、その合焦位置探索方法およびプログラム
EP2990850B1 (en) 2013-04-26 2020-09-16 Hamamatsu Photonics K.K. Image acquisition device and method and system for acquiring focusing information for specimen
WO2014175220A1 (ja) * 2013-04-26 2014-10-30 浜松ホトニクス株式会社 画像取得装置、試料のフォーカスマップを作成する方法及びシステム
KR101992644B1 (ko) * 2017-10-27 2019-06-25 대원강업주식회사 장입소재의 요동을 방지하는 자동차의 현가장치 코일스프링 제조용 냉간 코일와이어 디스펜서

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007148161A (ja) 2005-11-29 2007-06-14 Nikon Corp オートフォーカス装置とこれを有する顕微鏡
WO2009025345A1 (ja) * 2007-08-22 2009-02-26 Nikon Corporation 撮影制御装置、顕微鏡、および、プログラム
JP2011123518A (ja) 2003-09-29 2011-06-23 Olympus Corp 顕微鏡システム及び観察方法
JP2012159854A (ja) * 2012-04-04 2012-08-23 Olympus Corp 倒立顕微鏡システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60135148D1 (de) * 2000-12-21 2008-09-11 Evotec Ag Verfahren zum chrakterisieren von proben von sekundärlicht emittierenden partikeln
US7345814B2 (en) 2003-09-29 2008-03-18 Olympus Corporation Microscope system and microscope focus maintaining device for the same
JP5339065B2 (ja) 2009-03-17 2013-11-13 大日本印刷株式会社 対象物追跡装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011123518A (ja) 2003-09-29 2011-06-23 Olympus Corp 顕微鏡システム及び観察方法
JP2007148161A (ja) 2005-11-29 2007-06-14 Nikon Corp オートフォーカス装置とこれを有する顕微鏡
WO2009025345A1 (ja) * 2007-08-22 2009-02-26 Nikon Corporation 撮影制御装置、顕微鏡、および、プログラム
JP2012159854A (ja) * 2012-04-04 2012-08-23 Olympus Corp 倒立顕微鏡システム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016541027A (ja) * 2013-10-25 2016-12-28 アイシス イノベーション エルティーディー． 小型顕微鏡
US11169366B2 (en) 2013-10-25 2021-11-09 Oxford University Innovation Limited Compact microscope
US10962755B2 (en) 2015-04-24 2021-03-30 Oxford University Innovation Limited Compact microscope
US11703673B2 (en) 2015-04-24 2023-07-18 Oxford University Innovation Limited Compact microscope
JP2017223859A (ja) * 2016-06-16 2017-12-21 オリンパス株式会社 走査型顕微鏡
WO2018070153A1 (ja) * 2016-10-13 2018-04-19 ヤマハ発動機株式会社 細胞の撮像方法
JP2018061479A (ja) * 2016-10-13 2018-04-19 ヤマハ発動機株式会社 細胞の撮像方法
JP2019184668A (ja) * 2018-04-03 2019-10-24 学校法人自治医科大学 顕微鏡システム及び光学モジュール
JP7480446B2 (ja) 2018-04-03 2024-05-10 学校法人自治医科大学 顕微鏡システム及び光学モジュール

Also Published As

Publication number Publication date
US20150309298A1 (en) 2015-10-29
JPWO2014080932A1 (ja) 2017-01-05
EP2924487A1 (en) 2015-09-30
JP6044941B2 (ja) 2016-12-14
EP2924487B1 (en) 2019-11-13
EP2924487A4 (en) 2016-07-27
US9632303B2 (en) 2017-04-25

Similar Documents

Publication Publication Date Title
JP6044941B2 (ja) 光学顕微鏡、および、光学顕微鏡のオートフォーカス装置
US9810895B2 (en) Biological observation apparatus
CN102483509B (zh) 三维方向漂移控制装置以及显微镜装置
JP4847690B2 (ja) 顕微鏡システム
US20150185456A1 (en) Microscope system and control method therefor
JP2015502566A (ja) 自動化された顕微鏡使用のための多関数型自動焦点システムおよび方法
JPWO2009031477A1 (ja) オートフォーカス装置および顕微鏡
JP5199407B2 (ja) 顕微鏡システム及び観察方法
JP6698451B2 (ja) 観察装置
JP2012108184A (ja) 焦点位置情報検出装置、顕微鏡装置及び焦点位置情報検出方法
JP2008292809A (ja) 顕微鏡
CN106772983A (zh) 一种自动对焦的显微镜
JP2012163767A (ja) 制御プログラム、制御プログラムを記録した媒体、顕微鏡システム
JP2012159854A (ja) 倒立顕微鏡システム
JP4140490B2 (ja) Ｘ線分析装置とその焦点合わせ装置
JP6640610B2 (ja) 観察装置、測定システム及び観察方法
JP2012181341A (ja) 顕微鏡装置
JP2018017970A (ja) 光シート顕微鏡、及び、光シート顕微鏡の制御方法
JP2014178403A (ja) デジタル顕微鏡装置、情報処理方法、および情報処理プログラム
JP2017097301A (ja) 制御装置、顕微鏡装置、制御方法、及び制御プログラム
JP3125124U (ja) 赤外顕微鏡
JP2019079049A (ja) 顕微鏡システム、観察方法、及び観察プログラム
US20240137637A1 (en) Image acquisition apparatus, image acquisition method, and medium
JP2009186679A (ja) 観察装置
US20150124074A1 (en) Image acquisition apparatus and image acquisition method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13856490

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014548592

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14647401

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2013856490

Country of ref document: EP