WO2017145487A1 - 顕微鏡および観察方法 - Google Patents

顕微鏡および観察方法 Download PDF

Info

Publication number
WO2017145487A1
WO2017145487A1 PCT/JP2016/086151 JP2016086151W WO2017145487A1 WO 2017145487 A1 WO2017145487 A1 WO 2017145487A1 JP 2016086151 W JP2016086151 W JP 2016086151W WO 2017145487 A1 WO2017145487 A1 WO 2017145487A1
Authority
WO
WIPO (PCT)
Prior art keywords
container
unit
autofocus control
information
objective lens
Prior art date
Application number
PCT/JP2016/086151
Other languages
English (en)
French (fr)
Inventor
兼太 松原
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP16891643.5A priority Critical patent/EP3422074B1/en
Priority to KR1020187023736A priority patent/KR102073503B1/ko
Publication of WO2017145487A1 publication Critical patent/WO2017145487A1/ja
Priority to US16/055,457 priority patent/US11029486B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/245—Devices for focusing using auxiliary sources, detectors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/248—Base structure objective (or ocular) turrets
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/26—Stages; Adjusting means therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Definitions

  • the detection signal based on the reflected light L1 from the observation target installation surface P1 and the culture liquid cannot be detected separately, and the observation target installation surface P1 may not be focused.
  • the depth of focus becomes deep, and it may be difficult to focus on the observation target installation surface P1.
  • the present invention provides a microscope and an observation method that can appropriately focus on an observation target installation surface without being affected by the type of culture vessel, the amount of the culture medium, and the magnification of the objective lens.
  • the purpose is to do.
  • the autofocus control unit searches for a focus position that focuses on the observation target installation surface that is a boundary surface between the bottom of the container and the observation target, based on the focus control information.
  • Autofocus control and second autofocus control for searching for a focus position that focuses on the bottom surface of the bottom of the container opposite to the observation target installation surface can be switched.
  • the autofocus control unit estimates an in-focus position to be focused on the observation target installation surface by adding an offset to the in-focus position searched by the second autofocus control. Then, the distance changing unit can be controlled based on the estimated focus position.
  • the autofocus control unit performs the first autofocus control when the magnification of the objective lens is relatively high, based on the magnification information of the objective lens, When the magnification of the objective lens is relatively low, the second autofocus control can be performed.
  • the focusing light has a preset pattern.
  • light having a striped pattern can be used as the focusing light.
  • the microscope system of the present embodiment includes an illumination light irradiation unit 10, an imaging optical system 30, an imaging unit 40, a focusing light irradiation unit 70, a reflected light detection unit 75, a microscope, and the like.
  • a control device 50, a display device 80, and an input device 90 are provided.
  • a stage 61 corresponding to a container support unit is provided between the illumination light irradiation unit 10 and the imaging optical system 30, and the culture vessel 60 is placed on the stage 61. And supported.
  • a culture solution C and an observation target S that are liquids are accommodated.
  • the microscope system includes a stage drive unit 62 that moves the stage 61 in the X direction, the Y direction, and the Z direction.
  • the X direction and the Y direction are directions orthogonal to each other on a plane parallel to the observation target installation surface P1, and the Z direction is a direction orthogonal to the X direction and the Y direction.
  • the illumination light irradiation unit 10 the imaging optical system 30, the imaging unit 40, the focus light irradiation unit 70, the reflected light detection unit 75, the stage 61, the stage drive unit 62, and the distance change described above.
  • the phase contrast microscope main body is constituted by the unit 34, and the microscope control device 50 controls the phase contrast microscope main body.
  • the microscope control device 50 controls the phase contrast microscope main body.
  • the illumination light irradiation unit 10 irradiates the observation target S accommodated in the culture vessel 60 with illumination light for so-called phase difference measurement.
  • illumination for the phase difference measurement is performed.
  • a ring-shaped illumination light is irradiated as light.
  • the illumination light irradiation unit 10 of the present embodiment has a white light source 11 that emits white light for phase difference measurement and a ring-shaped slit, and white light emitted from the white light source 11 is incident.
  • the slit plate 12 that emits the ring-shaped illumination light, the ring-shaped illumination light emitted from the slit plate 12 is incident, and the condenser lens 13 that irradiates the incident ring-shaped illumination light to the observation object S It has.
  • the slit plate 12 is provided with a ring-shaped slit that transmits white light to the light-shielding plate that blocks the white light emitted from the white light source 11, and the ring shape is obtained when the white light passes through the slit. Illumination light is formed.
  • the ring-shaped illumination light is formed using the slit plate 12 as described above.
  • the method for forming the ring-shaped illumination light is not limited to this, for example, spatial light modulation.
  • Ring-shaped illumination light may be formed using an element or the like.
  • the ring-shaped illumination light is used as the illumination light for phase difference measurement.
  • illumination light having a structure other than the ring shape may be used, and the shape is conjugate with the phase plate 32 described later.
  • Other shapes such as a triangular shape or a quadrangular shape may be used as long as they are.
  • a cell group or the like is arranged as the observation target S.
  • the boundary surface between the bottom of the culture vessel 60 and the observation target S is referred to as an observation target installation surface P1.
  • the surface opposite to the observation target installation surface P1 at the bottom of the culture vessel 60 is referred to as a bottom surface P2.
  • a petri dish and a well plate in which a plurality of wells are arranged can be used. In the case of a well plate, the observation object S and the culture medium C are accommodated in each well.
  • the cell group cultured in the culture medium is the observation target S.
  • the observation target S is not limited to such a culture target, but water, formalin, ethanol, methanol, and the like.
  • the cells fixed in the liquid may be the observation object S.
  • the imaging optical system 30 includes an objective lens 31, a phase plate 32, an imaging lens 33, and a distance changing unit 34.
  • the phase plate 32 is obtained by forming a phase ring on a transparent plate that is transparent with respect to the wavelength of the ring-shaped illumination light. Note that the size of the slit of the slit plate 12 described above is in a conjugate relationship with this phase ring.
  • the phase ring is a ring in which a phase film that shifts the phase of incident light by a quarter wavelength and a neutral density filter that attenuates incident light are formed.
  • the phase ring When the direct light incident on the phase plate 32 passes through the phase ring, the phase is shifted by 1 ⁇ 4 wavelength, and the brightness is weakened.
  • most of the diffracted light diffracted by the observation object S passes through the transparent plate portion of the phase plate 32, and its phase and brightness do not change.
  • the objective lens 31 is moved in the Z direction by the distance changing unit 34.
  • autofocus control is performed by moving the objective lens 31 in the Z direction by the distance changing unit 34, and the contrast of the image captured by the imaging unit 40 is adjusted.
  • pattern light is irradiated to the culture vessel 60 by the focus light irradiation unit 70, the reflected light is detected by the reflected light detection unit 75, and autofocus control is performed based on the detection signal. .
  • the autofocus control based on the detection signal of the reflected pattern light will be described in detail later.
  • the imaging lens 33 receives direct light and diffracted light that have passed through the phase plate 32 and forms an image of these lights on the imaging unit 40.
  • the distance changing unit 34 includes a mechanism for moving the objective lens 31 in the Z direction as described above, and corresponds to the distance changing unit of the present invention.
  • the focus light irradiation unit 70 is used for autofocus control as described above, and irradiates the culture vessel 60 with pattern light having a preset pattern as focus light. Specifically, the focus light irradiation unit 70 of the present embodiment emits pattern light having a striped pattern, and a near-infrared light source 71 that emits near-infrared light, and a near-infrared light source.
  • the pattern light which has the striped light-dark pattern emitted from the grid 72 comprised from the linear part which permeate
  • near-infrared light is used as the pattern light.
  • the wavelength of the pattern light is not limited to this, and other wavelengths may be used as long as the wavelength is different from the illumination light for phase difference measurement. Good.
  • the pattern light having a striped bright and dark pattern is formed by using the grid 72.
  • the method of forming the pattern light is not limited to this, for example, spatial light modulation.
  • a striped bright and dark pattern may be formed using an element or the like.
  • the light and dark pattern included in the pattern light is not limited to the stripe shape, and a lattice pattern in which light and dark patterns are two-dimensionally arranged periodically may be used.
  • light in which bright and dark patterns are arranged concentrically or light in which dot patterns are arranged two-dimensionally may be used as pattern light.
  • the pattern included in the pattern light may not be a black and white pattern, but may be a color pattern composed of different colors.
  • the reflected light detection unit 75 detects reflected light by irradiating the culture vessel 60 with pattern light.
  • the reflected light detection unit 75 of this embodiment includes a half mirror 76, an optical path difference prism 77, and a line sensor 78.
  • the half mirror 76 transmits the pattern light emitted from the grid 72, and reflects the reflected light from the irradiation of the pattern light onto the culture vessel 60 in the direction of the optical path difference prism 77.
  • the optical path difference prism 77 divides the reflected light of the incident pattern light into two optical paths and forms images at two different locations of the line sensor 78.
  • the line sensor 78 outputs the first detection signal and the second detection signal imaged at two locations to the autofocus control unit 51 of the microscope control device 50.
  • the reflected light of the two optical paths divided by the optical path difference prism 77 is detected by one line sensor 78.
  • two sensors that individually detect the reflected light of each optical path are provided. You may make it provide.
  • the microscope control device 50 is composed of a computer having a CPU (Central Processing Unit), a semiconductor memory, a hard disk, and the like.
  • CPU Central Processing Unit
  • the microscope control device 50 controls the entire operation of the phase-contrast microscope main body. Specifically, as shown in FIG. 1, an autofocus control unit 51 that controls the distance changing unit 34 and a stage drive unit 62. A stage control unit 52 that controls the focus control information acquisition unit 53.
  • the autofocus control unit 51 performs autofocus control by moving the objective lens 31 in the Z direction based on the first detection signal and the second detection signal detected by the line sensor 78 of the reflected light detection unit 75. Is what you do. Specifically, the autofocus control unit 51 of the present embodiment moves the objective lens 31 to a position where the contrast (waveform pattern) of the first detection signal and the contrast (waveform pattern) of the second detection signal approximate. Thus, the in-focus position is determined.
  • the first and second detection signals are detected using the line sensor 78.
  • the present invention is not limited to this, and a CMOS image sensor or a CCD image sensor may be used.
  • the stage control unit 52 drives and controls the stage drive unit 62, thereby moving the stage 61 in the X direction, the Y direction, and the Z direction.
  • moving the stage 61 in the X direction and the Y direction for example, one well is scanned with illumination light for phase difference measurement, and each of a plurality of imaging regions (fields of view) divided in one well is scanned. A phase difference image is captured.
  • the focus control information acquisition unit 53 acquires at least one focus control information among the information on the culture vessel 60, the information on the amount of the culture medium C, and the information on the magnification of the objective lens 31.
  • the information on the culture vessel 60 may be any information as long as it is information related to the thickness of the bottom of the culture vessel 60, for example, information indicating the type of the culture vessel 60 such as the name, manufacturer, or model number of the culture vessel 60. Alternatively, numerical information directly indicating the thickness of the bottom of the culture vessel 60 may be used.
  • Information on the culture vessel 60 may be set and input by the user using the input device 90, or a barcode or an IC (Integrated Circuit) chip on which information on the culture vessel 60 is recorded with respect to the culture vessel 60.
  • a recording medium may be provided and read out from the recording medium.
  • the input device 90 corresponds to the setting input receiving unit of the present invention.
  • Information on the amount of the culture medium C may be set and input by the user using the input device 90, or a weight sensor (not shown) is provided on the stage 61 and the like, and the weight is measured by the gravity sensor.
  • the amount of the culture medium C may be calculated.
  • the information on the amount of the culture solution C is acquired as information that indirectly represents the depth of the culture solution C.
  • the magnification information of the objective lens 31 may be set and input by the user using the input device 90, or a barcode or IC (Integrated) in which the magnification of the objective lens 31 is recorded with respect to the objective lens 31.
  • a recording medium such as a (Circuit) chip may be provided and read out from the recording medium.
  • the focus control information acquired by the focus control information acquisition unit 53 is acquired by the autofocus control unit 51, and the autofocus control unit 51 changes the autofocus control method based on the input focus control information.
  • the autofocus control unit 51 of the present embodiment switches between the first autofocus control and the second autofocus control based on the input focus control information.
  • the first autofocus control and the second autofocus control will be described.
  • the autofocus control unit 51 basically performs autofocus control based on a detection signal of reflected light by irradiation of pattern light. As described above, as a reflection surface on which pattern light is reflected, FIG. There are an observation target installation surface P1, a bottom surface P2 of the culture vessel 60 and a liquid surface P3 of the culture medium C as shown in FIG.
  • the autofocus control unit 51 sequentially acquires the first detection signal and the second detection signal of the reflected light of the pattern light described above while moving the objective lens 31 in the Z direction, and the contrast (waveform) of these detection signals.
  • the focus position is searched by sequentially determining whether or not (pattern) is approximate.
  • the focal position of the objective lens 31 is moved within the range of the arrow R shown in FIG. 3, the focal position is on each surface of the observation target installation surface P1, the bottom surface P2 of the culture vessel 60, and the liquid surface P3 of the culture medium C.
  • the focal position is on each surface of the observation target installation surface P1, the bottom surface P2 of the culture vessel 60, and the liquid surface P3 of the culture medium C.
  • the autofocus control unit 51 can determine that each surface of the observation target installation surface P1, the bottom surface P2 of the culture vessel 60, and the liquid level P3 of the culture medium C is in focus, that is, the observation target The installation surface P1 can be focused.
  • the focal position of the objective lens 31 is moved within the range of the arrow R shown in FIG. 3, it is based on the reflected light L1 from the observation target installation surface P1. Since the detection time point of the detection signal and the detection time point of the detection signal based on the reflected light L2 from the bottom surface P2 of the culture vessel 60 are very close to each other, these detection signals cannot be separated and detected.
  • the installation surface P1 cannot be focused.
  • the focal position of the objective lens 31 is moved within the range of the arrow R shown in FIG. Since the detection time point of the detection signal based on the reflected light L1 from the observation target installation surface P1 and the detection time point of the detection signal based on the reflected light L3 from the liquid surface P3 of the culture medium C are very close to each other, The detection signals cannot be separated and cannot be focused on the observation target installation surface P1.
  • the autofocus control unit 51 of the present embodiment sets the in-focus position to focus on the observation target installation surface P1 when the thickness d of the bottom of the culture vessel 60 is equal to or greater than a preset thickness threshold value.
  • the first autofocus control to be searched is performed, and when the thickness d of the bottom of the culture vessel 60 is less than the thickness threshold value, the second focus control different from the first focus control is performed.
  • the autofocus control unit 51 performs the first autofocus control described above when the amount of the culture solution C is equal to or greater than a preset liquid threshold value, and the amount of the culture solution C is less than the liquid threshold value. In this case, second auto focus control different from the first focus control is performed.
  • the autofocus control unit 51 searches for a focus position that focuses on the bottom surface P2 of the culture vessel 60 and adds an offset to the searched focus position. Thus, the in-focus position for focusing on the observation target installation surface P1 is estimated.
  • the detection signal based on the reflected light L1 from the observation target installation surface P1 and the detection signal based on the reflected light L2 from the bottom surface P2 of the culture vessel 60 are separated.
  • the bottom surface P2 of the culture vessel 60 does not depend on the state of the observation target S or the like, the reflected light from the bottom surface P2 rather than the detection signal based on the reflected light L1 from the observation target installation surface P1.
  • the detection signal based on L2 can be detected with higher accuracy.
  • a focus position for focusing on the bottom surface P2 of the culture vessel 60 is searched, and the searched focus position corresponds to the thickness d of the bottom of the culture vessel 60.
  • the offset is desirably acquired from the information on the culture vessel 60 acquired as the focus control information.
  • the present invention is not limited to this, and a preset value may be used. Settings may be input using the device 90.
  • the objective lens 31 is moved so that the focal position of the objective lens 31 comes to the in-focus position estimated as described above.
  • the autofocus control unit 51 switches between the above-described first autofocus control and second autofocus control based on the magnification of the objective lens 31. Specifically, when the magnification of the objective lens 31 is a relatively high magnification, the first autofocus control is performed, and when the magnification of the objective lens 31 is a relatively low magnification, the second autofocus control is performed. Autofocus control is performed. Specifically, for example, when the 20 ⁇ objective lens 31 is used, the first autofocus control is performed, and when the 4 ⁇ objective lens 31 is used, the second autofocus control is performed.
  • the magnification at which the magnification of the objective lens 31 is relatively high is a magnification higher than 4 times
  • the relatively low magnification is a magnification of 4 times or less.
  • the reason why the first autofocus control and the second autofocus control are switched depending on the magnification of the objective lens 31 is that the depth of focus differs depending on the magnification of the objective lens 31. That is, when the magnification of the objective lens 31 is relatively high, since the focal depth of the objective lens 31 is shallow, the in-focus position of the observation target installation surface P1 can be searched with high accuracy. This is because, when the magnification of the lens 31 is relatively low, the focal depth of the objective lens 31 is deep, so that the in-focus position of the observation target installation surface P1 cannot be searched with high accuracy.
  • second autofocus control for searching for a focus position for focusing on the bottom surface P2 of the culture vessel 60 is performed.
  • an input device 90 and a display device 80 are connected to the microscope control device 50.
  • the input device 90 includes an input device such as a keyboard and a mouse, and accepts a setting input by a user.
  • the input device 90 in the present embodiment accepts setting inputs such as the information on the culture vessel 60 described above, information on the amount of the culture medium C, and information on the magnification of the objective lens 31.
  • the display device 80 includes a display device such as a liquid crystal display, and displays a phase difference image captured by the imaging unit 40. In addition, you may make it also serve as the input device 90 by comprising the display apparatus 80 with a touch panel.
  • the culture container 60 containing the observation object S and the culture medium C is placed on the stage 61 (S10). Then, focus control information including information on the culture vessel 60, information on the amount of the culture medium C, and information on the magnification of the objective lens 31 is acquired (S12).
  • the pattern light is irradiated from the stage 61 side through the objective lens 31 by the focusing light irradiation unit 70 (S14), and the reflected light due to the irradiation of the pattern light is detected by the reflected light detection unit 75 (S16). . Then, the detection signal detected by the reflected light detection unit 75 is input to the autofocus control unit 51.
  • the autofocus control unit 51 performs autofocus control based on the input detection signal. At this time, the first autofocus control and the second autofocus control are performed based on the input focus control information. Switch.
  • the thickness of the bottom of the culture vessel 60 is equal to or greater than a preset thickness threshold value (S18, YES), and the amount of the culture solution C is equal to or greater than a preset liquid threshold value. If (S20, YES) and the magnification of the objective lens 31 is set to a relatively high magnification (S22, YES), the first autofocus control is performed (S24).
  • the phase difference image of the observation target S imaged by the imaging unit 40 is output to the microscope control device 50, and the microscope control device 50 causes the display device 80 to display the input phase difference image.
  • focus control information including at least one of information on the culture vessel 60, information on the amount of the culture medium C, and information on the magnification of the objective lens 31 is acquired, and the acquired focus Since the autofocus control method is changed based on the control information, the autofocus control can be performed in consideration of the type of the culture vessel 60, the amount of the culture medium C, and the magnification of the objective lens 31. It is possible to appropriately focus on the observation target installation surface P1.
  • the user acquired the information of the thickness of the culture container 60 by setting and inputting the information of the culture container 60, for example, as shown in FIG.
  • a thickness measuring unit 100 such as a laser displacement meter for measuring the thickness is provided, and the focus control information acquiring unit 53 acquires the thickness information measured by the thickness measuring unit 100 as information on the culture vessel 60. Also good.
  • the above-described autofocus control is performed for each imaging region when a phase difference image for each of the plurality of imaging regions divided in one well of the culture vessel 60 is captured. Can also be done. That is, in the present embodiment, when the stage 61 moves in the X direction and the Y direction, for example, one well as the culture vessel 60 is scanned with illumination light for phase difference measurement and divided in one well. The phase difference image for each of the plurality of imaging regions is captured, but the thickness information of the bottom of the culture vessel 60 for each imaging region measured by the thickness measurement unit 100 is acquired in advance as information on the culture vessel 60. The above-described autofocus control is performed for each imaging region. Thereby, even if the thickness of the bottom of the culture vessel 60 varies within one well, autofocus control can be performed according to the thickness, and the image quality of the phase difference image can be improved.
  • information on the amount of the culture medium C information on the culture period of the observation target S may be acquired. Since the amount of the culture medium C evaporates and decreases as the culture period becomes longer, a table in which the culture period and the amount of the culture medium C are associated with each other is set in advance, and the culture period or timer set and input by the user, etc. May be acquired as information on the amount of the culture medium C, and the amount of the culture medium may be acquired with reference to the table.
  • information on the amount of the culture medium C information on the depth of the culture medium C may be acquired using the above-described thickness measuring unit 100.
  • the phase difference image formed by the imaging optical system 30 is picked up by the image pickup unit 40.
  • the image pickup optical system 30 forms an image without providing the image pickup unit 40.
  • An observation optical system or the like may be provided so that the user can directly observe the phase difference image of the observed object.
  • the present invention is applied to a phase contrast microscope.
  • the present invention is not limited to the phase contrast microscope, and is applied to other microscopes such as a differential interference microscope and a bright field microscope. Also good.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

培養容器の種類、培養液の量および対物レンズの倍率の影響を受けることなく、観察対象設置面に適切に合焦可能な顕微鏡および観察方法を提供する。照明光を照射する照明光照射部１０と、培養容器６０が載置されるステージ６１と、培養容器６０およびステージ６１を通過した照明光が入射される対物レンズ３１と、フォーカス用の光を照射するフォーカス用光照射部７０と、フォーカス用の光の照射による反射光を検出する反射光検出部７５と、対物レンズ３１とステージ６１との距離を変更する距離変更部３４と、反射光に基づいてオートフォーカス制御を行うオートフォーカス制御部５１と、培養容器６０、培養液Ｃの量および対物レンズ３１の倍率の情報を含むフォーカス制御情報を取得するフォーカス制御情報取得部５３とを備え、オートフォーカス制御部５１が、フォーカス制御情報に基づいて、オートフォーカス制御の方法を変更する。

Description

顕微鏡および観察方法
　本発明は、液体中の観察対象を撮像する顕微鏡および観察方法に関するものである。
　近年、幹細胞などの培養された細胞を観察する顕微鏡として、位相差顕微鏡をはじめとする種々の顕微鏡が広く使われている。
　顕微鏡を用いて細胞を観察する際、細胞の大きさが数１０μｍであるのに対して、観察領域が数１０ｍｍであり広域であるため、細胞が収容された容器が設置されたステージを水平方向に２次元状に移動させることによって走査計測を行なっている。
　このようにステージを移動させて走査計測する場合、視野（撮像領域）毎に明瞭な画像を取得するため、視野毎にフォーカス調整をすることが必要である。
　フォーカス調整を高速かつ簡易に行なう技術として、たとえば特許文献１においては、照明光および観察光とは異なる波長を有するＡＦ（Autofocus）光を観察対象へ照明し、その反射光を計測して合焦位置を決定するオートフォーカス制御方法が提案されている。
特開２０１３－１９０６８０号公報
　しかしながら、培養容器に培養液と一緒に収容された細胞を観察する場合、培養容器の種類、培養液の量および対物レンズの倍率などによって、適切な合焦位置を決定することができない場合がある。
　具体的には、図３に示すように、培養容器６０内に収容された細胞を観察する場合、観察対象Ｓ（細胞）と培養容器６０の底部との境界面である観察対象設置面Ｐ１に合焦させることが望ましい。その場合、観察対象設置面Ｐ１から反射される反射光Ｌ１の検出信号を分離して検出することが望ましいが、たとえば培養容器６０の底部の厚さｄが薄い場合には、観察対象設置面Ｐ１からの反射光Ｌ１に基づく検出信号と、培養容器６０の底面Ｐ２からの反射光Ｌ２に基づく検出信号を分離して検出することができず、観察対象設置面Ｐ１に合焦させることができない場合がある。
　また、培養液Ｃの量が少なく、培養液Ｃの液面Ｐ３と観察対象設置面Ｐ１との距離が短い場合にも、観察対象設置面Ｐ１からの反射光Ｌ１に基づく検出信号と、培養液Ｃの液面Ｐ３からの反射光Ｌ３に基づく検出信号を分離して検出することができず、観察対象設置面Ｐ１に合焦させることができない場合がある。
　また、対物レンズの倍率が低い場合には焦点深度が深くなるので、観察対象設置面Ｐ１に合焦させることが難しい場合がある。
　本発明は、上記の問題に鑑み、培養容器の種類、培養液の量および対物レンズの倍率の影響を受けることなく、観察対象設置面に適切に合焦させることができる顕微鏡および観察方法を提供することを目的とする。
　本発明の顕微鏡は、液体および観察対象が収容された容器に対して照明光を照射する照明光照射部と、容器が載置され、その容器を支持する容器支持部と、容器および容器支持部を通過した照明光が入射される対物レンズと、照明光と波長が異なフォーカス用の光を、対物レンズを介して容器支持部側から照射するフォーカス用光照射部と、容器支持部側からのフォーカス用の光の照射による反射光を、対物レンズを介して検出する反射光検出部と、対物レンズと容器保持部との距離を変更する距離変更部と、反射光検出部によって検出された反射光に基づいて距離変更部を制御することよってオートフォーカス制御を行うオートフォーカス制御部と、容器の情報、液体の量の情報および対物レンズの倍率の情報のうちの少なくとも１つを含むフォーカス制御情報を取得するフォーカス制御情報取得部とを備え、オートフォーカス制御部が、フォーカス制御情報に基づいて、オートフォーカス制御の方法を変更する。
　また、上記本発明の顕微鏡において、オートフォーカス制御部は、フォーカス制御情報に基づいて、容器の底部と観察対象との境界面である観察対象設置面に合焦する合焦位置を探索する第１のオートフォーカス制御と、容器の底部の観察対象設置面とは反対側の面である底面に合焦する合焦位置を探索する第２のオートフォーカス制御とを切り替えることができる。
　また、上記本発明の顕微鏡において、オートフォーカス制御部は、第２のオートフォーカス制御によって探索された合焦位置に対してオフセットを付加することによって観察対象設置面に合焦する合焦位置を推定し、その推定した合焦位置に基づいて距離変更部を制御することができる。
　また、上記本発明の顕微鏡において、オートフォーカス制御部は、液体の量の情報に基づいて、液体の量が予め設定された液体閾値以上である場合には、第１のオートフォーカス制御を行い、液体の量が液体閾値未満である場合には、第２のオートフォーカス制御を行うことができる。
　また、上記本発明の顕微鏡において、オートフォーカス制御部は、容器の情報に基づいて、容器の底部の厚さが予め設定された厚さ閾値以上である場合には、第１のオートフォーカス制御を行い、容器の底部の厚さが厚さ閾値未満である場合には、第２のオートフォーカス制御を行うことができる。
　また、上記本発明の顕微鏡において、オートフォーカス制御部は、対物レンズの倍率の情報に基づいて、対物レンズの倍率が相対的に高い倍率である場合には、第１のオートフォーカス制御を行い、対物レンズの倍率が相対的に低い倍率である場合には、第２のオートフォーカス制御を行うことができる。
　また、上記本発明の顕微鏡において、フォーカス制御情報取得部は、液体の量の情報として、観察対象の培養期間の情報を取得することができる。
　また、上記本発明の顕微鏡においては、容器の情報として容器の底部の厚さを計測する厚さ計測部を備えることができる。
　また、上記本発明の顕微鏡においては、フォーカス制御情報の設定入力を受け付ける設定入力受付部を備えることができる。
　また、上記本発明の顕微鏡において、フォーカス用の光は、予め設定されたパターンを有することが好ましい。
　また、上記本発明の顕微鏡においては、フォーカス用の光として、縞状のパターンを有する光を用いることができる。
　本発明の観察方法は、容器支持部に載置された、液体および観察対象が収容された容器に対して照明光を照射し、容器および容器支持部を通過した照明光を対物レンズを介して結像させて観察対象の画像を観察する観察方法において、照明光と波長が異なるフォーカス用の光を、対物レンズを介して容器支持部側から照射し、そのフォーカス用の光の照射による反射光を検出し、その検出した反射光に基づいて、対物レンズと容器保持部との距離を変更することによってオートフォーカス制御を行う際、容器の情報、液体の量の情報および対物レンズの倍率の情報のうちの少なくとも１つを含むフォーカス制御情報を取得し、その取得したフォーカス制御情報に基づいて、オートフォーカス制御の方法を変更する。
　本発明の顕微鏡および観察方法によれば、フォーカス用の光を対物レンズを介して容器に照射し、そのフォーカス用の光の照射による反射光を検出し、その検出された反射光に基づいて、対物レンズと容器を保持する容器保持部との距離を変更することによってオートフォーカス制御を行う。そして、このようなオートフォーカス制御を行う場合において、容器の情報、液体の量の情報および対物レンズの倍率の情報のうちの少なくとも１つを含むフォーカス制御情報を取得し、その取得したフォーカス制御情報に基づいて、オートフォーカス制御の方法を変更する。このようにオートフォーカス制御の方法を変更することによって、培養容器の種類、培養液の量および対物レンズの倍率を考慮したオートフォーカス制御を行うことができ、これにより観察対象設置面に適切に合焦させることができる。
本発明の顕微鏡の一実施形態を用いた顕微鏡システムの概略構成を示す図 培養容器の種類と培養容器の底部の厚さとを対応づけたテーブルの一例を示す図 培養容器にパターン光を照射することによって反射される反射光を説明するための図 本発明の顕微鏡の一実施形態を用いた顕微鏡システムの作用を説明するためのフローチャート 本発明の顕微鏡の一実施形態を用いた顕微鏡システムの変形例を示す図
　以下、本発明の顕微鏡および観察方法の一実施形態を用いた顕微鏡システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態の顕微鏡システムの概略構成を示す図である。
　本実施形態の顕微鏡システムは、図１に示すように、照明光照射部１０と、結像光学系３０と、撮像部４０と、フォーカス用光照射部７０と、反射光検出部７５と、顕微鏡制御装置５０と、表示装置８０と、入力装置９０とを備えている。
　本実施形態の顕微鏡システムにおいては、照明光照射部１０と結像光学系３０との間に、容器支持部に相当するステージ６１が設けられており、このステージ６１上に培養容器６０が載置されて、支持される。培養容器６０内には、液体である培養液Ｃおよび観察対象Ｓが収容されている。
　そして、本実施形態の顕微鏡システムは、Ｘ方向、Ｙ方向およびＺ方向にステージ６１を移動させるステージ駆動部６２を備えている。Ｘ方向およびＹ方向は、観察対象設置面Ｐ１に平行な面上において互いに直交する方向であり、Ｚ方向は、Ｘ方向およびＹ方向に直交する方向である。
　本実施形態の顕微鏡システムにおいては、上述した照明光照射部１０、結像光学系３０、撮像部４０、フォーカス用光照射部７０、反射光検出部７５、ステージ６１、ステージ駆動部６２および距離変更部３４から位相差顕微鏡本体が構成され、顕微鏡制御装置５０は、この位相差顕微鏡本体を制御するものである。以下、位相差顕微鏡本体の具体的な構成を説明する。
　照明光照射部１０は、培養容器６０内に収容された観察対象Ｓに対して、いわゆる位相差計測のための照明光を照射するものであり、本実施形態では、その位相差計測用の照明光としてリング状照明光を照射する。具体的には、本実施形態の照明光照射部１０は、位相差計測用の白色光を出射する白色光源１１と、リング形状のスリットを有し、白色光源１１から出射された白色光が入射されてリング状照明光を出射するスリット板１２と、スリット板１２から射出されたリング状照明光が入射され、その入射されたリング状照明光を観察対象Ｓに対して照射するコンデンサレンズ１３とを備えている。
　スリット板１２は、白色光源１１から出射された白色光を遮光する遮光板に対して白色光を透過するリング形状のスリットが設けられたものであり、白色光がスリットを通過することによってリング状照明光が形成される。
　なお、本実施形態においては、上述したようにスリット板１２を用いてリング状照明光を形成するようにしたが、リング状照明光を形成する方法としては、これに限らず、たとえば空間光変調素子などを用いてリング状照明光を形成するようにしてもよい。
　また、本実施形態においては、位相差計測用の照明光としてリング状照明光を用いるようにしたが、リング状以外の構造を有する照明光でもよく、後述する位相板３２と共役な形状となっていれば三角形状や四角形状などその他の形状でもよい。
　ステージ６１上に設置された培養容器６０内には、観察対象Ｓとして細胞群などが配置される。本実施形態では、培養容器６０の底部と観察対象Ｓとの境界面を観察対象設置面Ｐ１という。また、培養容器６０の底部の観察対象設置面Ｐ１と反対側の面を底面Ｐ２という。培養容器６０としては、シャーレおよび複数のウェルが配列されたウェルプレートなどを用いることができる。ウェルプレートの場合、各ウェルに観察対象Ｓおよび培養液Ｃが収容される。
　また、本実施形態においては、培養液中で培養される細胞群を観察対象Ｓとしたが、観察対象Ｓとしてはこのような培養中のものに限らず、水、ホルマリン、エタノール、およびメタノールなどの液体中において固定された細胞を観察対象Ｓとしてもよい。
　結像光学系３０は、対物レンズ３１と、位相板３２と、結像レンズ３３と、距離変更部３４とを備えたものである。
　位相板３２は、リング状照明光の波長に対して透明な透明板に対して位相リングを形成したものである。なお、上述したスリット板１２のスリットの大きさは、この位相リングと共役な関係にある。
　位相リングは、入射された光の位相を１／４波長ずらす位相膜と、入射された光を減光する減光フィルタとがリング状に形成されたものである。位相板３２に入射された直接光は位相リングを通過することによって位相が１／４波長ずれるとともに、その明るさが弱められる。一方、観察対象Ｓによって回折された回折光は大部分が位相板３２の透明板の部分を通過し、その位相および明るさは変化しない。
　対物レンズ３１は、距離変更部３４によってＺ方向に移動するものである。観察対象Ｓの位相差画像を撮像する場合には、距離変更部３４によって対物レンズ３１をＺ方向へ移動させることによってオートフォーカス制御が行われ、撮像部４０によって撮像される画像のコントラストが調整される。
　本実施形態においては、フォーカス用光照射部７０によって培養容器６０に対してパターン光が照射され、その反射光が反射光検出部７５によって検出され、その検出信号に基づいてオートフォーカス制御が行われる。このパターン光の反射光の検出信号に基づくオートフォーカス制御については、後で詳述する。
　結像レンズ３３は、位相板３２を通過した直接光および回折光が入射され、これらの光を撮像部４０に結像するものである。
　距離変更部３４は、上述したように対物レンズ３１をＺ方向に移動させる機構を備えたものであり、本発明の距離変更部に相当するものである。
　結像光学系３０は、その光学倍率を変更可能に構成するようにしてもよい。光学倍率を変更する方法としては、たとえば互いに異なる倍率を有する複数の対物レンズ３１を結像光学系３０に設け、この複数の対物レンズ３１を自動的に切り換えるようにすればよい。この際、位相板３２も対物レンズ３１の変更に応じて変更される。また、ユーザが対物レンズ３１を手動で交換することによって変更するようにしてもよい。
　撮像部４０は、結像レンズ３３によって結像された観察対象Ｓの位相差画像を撮像する撮像素子を備えたものである。撮像素子としては、ＣＣＤ（charge-coupled device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどを用いることができる。
　フォーカス用光照射部７０は、上述したようにオートフォーカス制御に用いられるものであり、フォーカス用の光として、予め設定されたパターンを有するパターン光を培養容器６０に対して照射するものである。具体的には、本実施形態のフォーカス用光照射部７０は、縞状のパターンを有するパターン光を照射するものであり、近赤外光を出射する近赤外光源７１と、近赤外光源７１から出射された近赤外を透過する線状部分と遮光する線状部分とから構成されるグリッド７２と、照射レンズ７３と、グリッド７２から出射された縞状の明暗のパターンを有するパターン光を培養容器６０に向けて反射し、かつ位相差計測用の照明光を透過するダイクロイックミラー７４とを備えている。
　なお、本実施形態においては、パターン光として近赤外光を用いるようにしたが、パターン光の波長としてはこれに限らず、位相差計測用の照明光と異なる波長であればその他の波長でもよい。
　また、本実施形態においては、グリッド７２を用いることによって縞状の明暗のパターンを有するパターン光を形成するようにしたが、パターン光を形成する方法としては、これに限らず、たとえば空間光変調素子などを用いて縞状の明暗のパターンを形成するようにしてもよい。また、パターン光が有する明暗のパターンとしては、縞状に限らず、２次元状に明暗のパターンが周期的に配列された格子パターンを用いるようにしてもよい。また、同心円状に明暗のパターンが配列された光または２次元状にドットパターンが配列された光をパターン光として用いるようにしてもよい。また、パターン光が有するパターンは、白黒のパターンでなくてもよく、互いに異なる色からなるカラーのパターンでもよい。
　反射光検出部７５は、培養容器６０へのパターン光の照射による反射光を検出するものである。具体的には、本実施形態の反射光検出部７５は、ハーフミラー７６と、光路差プリズム７７と、ラインセンサ７８とを備えている。
　ハーフミラー７６は、グリッド７２から出射されたパターン光を透過し、かつパターン光の培養容器６０への照射による反射光を光路差プリズム７７の方向に反射するものである。
　光路差プリズム７７は、入射されたパターン光の反射光を２つの光路に分け、ラインセンサ７８の異なる２箇所に結像するものである。ラインセンサ７８は、２箇所で撮像された第１の検出信号と第２の検出信号とを顕微鏡制御装置５０のオートフォーカス制御部５１に出力するものである。なお、本実施形態においては、光路差プリズム７７によって分けられた２つの光路の反射光を１つのラインセンサ７８によって検出するようにしたが、各光路の反射光を個別に検出する２つのセンサを設けるようにしてもよい。
　顕微鏡制御装置５０は、ＣＰＵ（Central Processing Unit）、半導体メモリおよびハードディスクなどを備えたコンピュータから構成されるものである。
　顕微鏡制御装置５０は、位相差顕微鏡本体全体の動作を制御するものであり、具体的には、図１に示すように、距離変更部３４を制御するオートフォーカス制御部５１と、ステージ駆動部６２を制御するステージ制御部５２と、フォーカス制御情報取得部５３とを備えている。
　オートフォーカス制御部５１は、反射光検出部７５のラインセンサ７８によって検出された第１の検出信号と第２の検出信号とに基づいて、対物レンズ３１をＺ方向に移動させてオートフォーカス制御を行うものである。具体的には、本実施形態のオートフォーカス制御部５１は、第１の検出信号のコントラスト（波形パターン）と第２の検出信号のコントラスト（波形パターン）が近似する位置に対物レンズ３１を移動させることによって合焦位置を決定する。なお、本実施形態では、ラインセンサ７８を用いて第１および第２の検出信号を検出するようにしたが、これに限らず、ＣＭＯＳイメージセンサまたはＣＣＤイメージセンサを用いてもよい。
　ステージ制御部５２は、ステージ駆動部６２を駆動制御し、これによりステージ６１をＸ方向、Ｙ方向およびＺ方向に移動させるものである。ステージ６１が、Ｘ方向およびＹ方向に移動することによって、たとえば１つのウェル内が位相差計測用の照明光で走査され、１つのウェル内で分割された複数の撮像領域（視野）毎の位相差画像が撮像される。
　フォーカス制御情報取得部５３は、培養容器６０の情報、培養液Ｃの量の情報、および対物レンズ３１の倍率の情報のうちの少なくとも１つのフォーカス制御情報を取得するものである。
　培養容器６０の情報としては、培養容器６０の底部の厚さに関連する情報であれば如何なる情報でもよく、たとえば培養容器６０の名称、メーカーまたは型番などといった培養容器６０の種類を示す情報であってもよいし、培養容器６０の底部の厚さを直接示す数値情報であってもよい。培養容器６０の種類の情報を取得する場合には、図２に示すような、培養容器６０の種類の情報とその培養容器６０の底部の厚さとを対応付けたテーブルを予め設定しておき、後述するオートフォーカス制御方法の決定の際および第２のオートフォーカス制御の際には、上記テーブルを参照して、培養容器６０の底部の厚さを取得するようにすればよい。
　培養容器６０の情報は、ユーザが、入力装置９０を用いて設定入力してもよいし、培養容器６０に対して、その培養容器６０の情報が記録されたバーコードまたはＩＣ（Integrated Circuit）チップなどの記録媒体を設けておき、その記録媒体から読み出すことによって取得するようにしてもよい。なお、入力装置９０は、本発明の設定入力受付部に相当するものである。
　培養液Ｃの量の情報は、ユーザが、入力装置９０を用いて設定入力してもよいし、ステージ６１などに重量センサ（図示省略）を設け、その重力センサによって重さを計測することによって培養液Ｃの量を算出するようにしてもよい。培養液Ｃの量の情報は、培養液Ｃの深さを間接的に表す情報として取得されるものである。
　対物レンズ３１の倍率の情報についても、ユーザが、入力装置９０を用いて設定入力してもよいし、対物レンズ３１に対して、その対物レンズ３１の倍率が記録されたバーコードまたはＩＣ（Integrated Circuit）チップなどの記録媒体を設けておき、その記録媒体から読み出すことによって取得するようにしてもよい。
　フォーカス制御情報取得部５３によって取得されたフォーカス制御情報は、オートフォーカス制御部５１によって取得され、オートフォーカス制御部５１は、入力されたフォーカス制御情報に基づいて、オートフォーカス制御の方法を変更する。具体的には、本実施形態のオートフォーカス制御部５１は、入力されたフォーカス制御情報に基づいて、第１のオートフォーカス制御と第２のオートフォーカス制御とを切り替える。以下、第１のオートフォーカス制御と第２のオートフォーカス制御について説明する。
　オートフォーカス制御部５１は、基本的にはパターン光の照射による反射光の検出信号に基づいて、オートフォーカス制御を行うが、上述したように、パターン光が反射される反射面としては、図３に示すような観察対象設置面Ｐ１と、培養容器６０の底面Ｐ２と、培養液Ｃの液面Ｐ３とがある。
　オートフォーカス制御部５１は、対物レンズ３１をＺ方向に移動させながら、上述したパターン光の反射光の第１の検出信号および第２の検出信号を順次取得し、これらの検出信号のコントラスト（波形パターン）が近似するか否かを順次判定することによって合焦位置を探索している。
　ここで、より明瞭な観察対象Ｓの位相差画像を撮像するためには、観察対象設置面Ｐ１に合焦させることが望ましい。そして、培養容器６０の底部の厚さｄが十分に厚く、かつ培養液Ｃの量が十分に多い、つまり培養液Ｃの液面Ｐ３と観察対象設置面Ｐ１との距離が十分に長い場合には、たとえば対物レンズ３１の焦点位置を図３に示す矢印Ｒの範囲で移動させると、観察対象設置面Ｐ１、培養容器６０の底面Ｐ２および培養液Ｃの液面Ｐ３の各面に焦点位置が合ったときに、それ以外の範囲に焦点位置が合っているときよりも強い検出信号を検出することができる。
　すなわち、観察対象設置面Ｐ１からの反射光Ｌ１に基づく検出信号と、培養容器６０の底面Ｐ２からの反射光Ｌ２に基づく検出信号と、培養液Ｃの液面Ｐ３からの反射光Ｌ３に基づく検出信号とを分離して検出することが可能である。したがって、オートフォーカス制御部５１は、観察対象設置面Ｐ１、培養容器６０の底面Ｐ２および培養液Ｃの液面Ｐ３の各面に合焦していることを判定することができ、すなわち、観察対象設置面Ｐ１に合焦させることができる。
　しかしながら、たとえば培養容器６０の底部の厚さｄが薄い場合には、対物レンズ３１の焦点位置を図３に示す矢印Ｒの範囲で移動させると、観察対象設置面Ｐ１からの反射光Ｌ１に基づく検出信号の検出時点と、培養容器６０の底面Ｐ２からの反射光Ｌ２に基づく検出信号の検出時点とが非常に近くなるため、これらの検出信号を分離して検出することができず、観察対象設置面Ｐ１に合焦させることができない。
　また、培養液Ｃの量が少なく、培養液Ｃの液面Ｐ３と観察対象設置面Ｐ１との距離が短い場合にも、対物レンズ３１の焦点位置を図３に示す矢印Ｒの範囲で移動させると、観察対象設置面Ｐ１からの反射光Ｌ１に基づく検出信号の検出時点と、培養液Ｃの液面Ｐ３からの反射光Ｌ３に基づく検出信号の検出時点とが非常に近くなるため、これらの検出信号を分離して検出することができず、観察対象設置面Ｐ１に合焦させることができない。
　そこで、本実施形態のオートフォーカス制御部５１は、培養容器６０の底部の厚さｄが予め設定された厚さ閾値以上である場合には、観察対象設置面Ｐ１に合焦する合焦位置を探索する第１のオートフォーカス制御を行い、培養容器６０の底部の厚さｄが厚さ閾値未満である場合には、第１のフォーカス制御とは異なる第２のフォーカス制御を行う。
　また、オートフォーカス制御部５１は、培養液Ｃの量が予め設定された液体閾値以上である場合には、上述した第１のオートフォーカス制御を行い、培養液Ｃの量が液体閾値未満である場合には、第１のフォーカス制御とは異なる第２のオートフォーカス制御を行う。
　オートフォーカス制御部５１は、第２のオートフォーカス制御を行う場合には、培養容器６０の底面Ｐ２に合焦する合焦位置を探索し、その探索された合焦位置に対してオフセットを付加することによって観察対象設置面Ｐ１に合焦する合焦位置を推定する。
　上述したように培養容器６０の底部の厚さｄが薄い場合、観察対象設置面Ｐ１からの反射光Ｌ１に基づく検出信号と培養容器６０の底面Ｐ２からの反射光Ｌ２に基づく検出信号を分離して検出することはできないが、培養容器６０の底面Ｐ２は、観察対象Ｓの状態などに依存しないことから、観察対象設置面Ｐ１からの反射光Ｌ１に基づく検出信号よりも底面Ｐ２からの反射光Ｌ２に基づく検出信号の方が精度よく検出することができる。
　したがって、第２のオートフォーカス制御では、培養容器６０の底面Ｐ２に合焦する合焦位置を探索し、その探索された合焦位置に対して、培養容器６０の底部の厚さｄに対応するオフセットを付加することによって、観察対象設置面Ｐ１に合焦する合焦位置を推定する。なお、上記オフセットについては、フォーカス制御情報として取得された培養容器６０の情報から取得することが望ましいが、これに限らず、予め設定された値を用いるようにしてもよいし、ユーザが、入力装置９０を用いて設定入力してもよい。
　そして、第２のオートフォーカス制御では、上述したようにして推定された合焦位置に対物レンズ３１の焦点位置がくるように対物レンズ３１を移動させる。
　また、オートフォーカス制御部５１は、対物レンズ３１の倍率に基づいて、上述した第１のオートフォーカス制御と第２のオートフォーカス制御とを切り替えるものである。具体的には、対物レンズ３１の倍率が相対的に高い倍率である場合には、第１のオートフォーカス制御を行い、対物レンズ３１の倍率が相対的に低い倍率である場合には、第２のオートフォーカス制御を行う。具体的には、たとえば２０倍の対物レンズ３１を用いる場合には、第１のオートフォーカス制御を行い、４倍の対物レンズ３１を用いる場合には、第２のオートフォーカス制御を行う。ここで、対物レンズ３１の倍率が相対的に高い倍率とは、４倍より高い倍率のことであり、相対的に低い倍率とは、４倍以下の倍率のことである。
　このように対物レンズ３１の倍率によって第１のオートフォーカス制御と第２のオートフォーカス制御とを切り替えるのは、対物レンズ３１の倍率によって焦点深度が異なるからである。すなわち、対物レンズ３１の倍率が相対的に高い倍率である場合には、対物レンズ３１の焦点深度が浅いため、観察対象設置面Ｐ１の合焦位置を高精度に探索することができるが、対物レンズ３１の倍率が相対的に低い倍率である場合には、対物レンズ３１の焦点深度が深いため、観察対象設置面Ｐ１の合焦位置を高精度に探索することができないからである。対物レンズ３１の倍率が相対的に低い倍率である場合には、培養容器６０の底面Ｐ２に合焦する合焦位置を探索する第２のオートフォーカス制御を行う。
　図１に戻り、顕微鏡制御装置５０には、入力装置９０と表示装置８０とが接続されている。入力装置９０は、キーボードやマウスなどの入力デバイスを備えたものであり、ユーザによる設定入力を受け付けるものである。特に、本実施形態における入力装置９０は、上述した培養容器６０の情報、培養液Ｃの量の情報および対物レンズ３１の倍率の情報などの設定入力を受け付けるものである。
　表示装置８０は、液晶ディスプレイなどの表示デバイスから構成されるものであり、撮像部４０において撮像された位相差画像などを表示するものである。なお、表示装置８０をタッチパネルによって構成することによって、入力装置９０を兼用するようにしてもよい。
　次に、本実施形態の顕微鏡システムの作用について、図４に示すフローチャートを参照しながら説明する。
　まず、観察対象Ｓおよび培養液Ｃが収容された培養容器６０がステージ６１上に設置される（Ｓ１０）。そして、培養容器６０の情報、培養液Ｃの量の情報および対物レンズ３１の倍率の情報を含むフォーカス制御情報が取得される（Ｓ１２）。
　次に、フォーカス用光照射部７０によってパターン光が対物レンズ３１を介してステージ６１側から照射され（Ｓ１４）、そのパターン光の照射による反射光が反射光検出部７５によって検出される（Ｓ１６）。そして、反射光検出部７５によって検出された検出信号が、オートフォーカス制御部５１に入力される。
　オートフォーカス制御部５１は、入力された検出信号に基づいてオートフォーカス制御を行うが、この際、入力されたフォーカス制御情報に基づいて、第１のオートフォーカス制御と第２のオートフォーカス制御とを切り替える。
　具体的には、オートフォーカス制御部５１は、培養容器６０の底部の厚さが予め設定された厚さ閾値以上であり（Ｓ１８，ＹＥＳ）、培養液Ｃの量が予め設定された液体閾値以上であり（Ｓ２０，ＹＥＳ）、かつ対物レンズ３１の倍率が相対的に高い倍率に設定されている場合には（Ｓ２２，ＹＥＳ）、第１のオートフォーカス制御を行う（Ｓ２４）。一方、培養容器６０の底部の厚さが予め設定された厚さ閾値未満であるか（Ｓ１８，ＮＯ）、培養液Ｃの量が予め設定された液体閾値未満であるか（Ｓ２０，ＮＯ）、または対物レンズ３１の倍率が相対的に低い倍率に設定されている場合に（Ｓ２２，ＮＯ）は、第２のオートフォーカス制御を行う。
　そして、オートフォーカス制御部５１によって第１のオートフォーカス制御または第２のオートフォーカス制御が行われた後、照明光照射部１０から培養容器６０に向けてリング状照明光が照射され（Ｓ２８）、培養容器６０の観察対象Ｓの位相差画像の撮像が行われる（Ｓ３０）。
　撮像部４０によって撮像された観察対象Ｓの位相差画像は、顕微鏡制御装置５０に出力され、顕微鏡制御装置５０は、入力された位相差画像を表示装置８０に表示させる。
　上記実施形態の顕微鏡システムによれば、培養容器６０の情報、培養液Ｃの量の情報および対物レンズ３１の倍率の情報のうちの少なくとも１つを含むフォーカス制御情報を取得し、その取得したフォーカス制御情報に基づいて、オートフォーカス制御の方法を変更するようにしたので、培養容器６０の種類、培養液Ｃの量および対物レンズ３１の倍率を考慮したオートフォーカス制御を行うことができ、これにより観察対象設置面Ｐ１に適切に合焦させることができる。
　　また、上記実施形態においては、ユーザが培養容器６０の情報を設定入力することによって培養容器６０の厚さの情報を取得するようにしたが、たとえば図５に示すように培養容器６０の底部の厚さを計測するレーザ変位計などの厚さ計測部１００を設け、フォーカス制御情報取得部５３が、厚さ計測部１００によって計測された厚さ情報を培養容器６０の情報として取得するようにしてもよい。
　なお、上述の厚さ計測部１００を設けた場合、培養容器６０の１つのウェル内で分割された複数の撮像領域毎の位相差画像を撮影する際に、撮像領域毎に上述のオートフォーカス制御を行うこともできる。つまり、本実施形態においては、ステージ６１がＸ方向およびＹ方向に移動することによって、たとえば培養容器６０としての１つのウェル内が位相差計測用の照明光で走査され、１つのウェル内で分割された複数の撮像領域毎の位相差画像が撮像されるが、厚さ計測部１００によって計測された撮像領域毎の培養容器６０の底部の厚さ情報を培養容器６０の情報として事前に取得しておき、上述したオートフォーカス制御をその撮像領域毎に行う。これにより、１つのウェル内において培養容器６０の底部の厚みにばらつきがあったとしても、その厚さに応じたオートフォーカス制御を行うことができ、位相差画像の画質を向上させることができる。
　また、培養液Ｃの量の情報として、観察対象Ｓの培養期間の情報を取得するようにしてもよい。培養期間が長くなるほど培養液Ｃが蒸発してその量が減るので、培養期間と培養液Ｃの量とを対応づけたテーブルを予め設定しておき、ユーザによって設定入力された培養期間またはタイマなどによって計測された培養期間を培養液Ｃの量の情報として取得し、上記テーブルを参照して培養液の量を取得するようにしてもよい。
　また、培養液Ｃの量の情報として、上述の厚さ計測部１００を用いて培養液Ｃの深さの情報を取得するようにしてもよい。
　また、上記実施形態においては、結像光学系３０によって結像された位相差画像を撮像部４０によって撮像するようにしたが、撮像部４０を設けることなく、結像光学系３０によって結像された観察対象の位相差像をユーザが直接観察できるように観察光学系などを設けるようにしてもよい。
　また、上記実施形態は、本発明を位相差顕微鏡に適用したものであるが、本発明は、位相差顕微鏡に限らず、微分干渉顕微鏡および明視野顕微鏡などのその他の顕微鏡に適用するようにしてもよい。
１０　 照明光照射部
１１　 白色光源
１２　 スリット板
１３　 コンデンサレンズ
３０　 結像光学系
３１　 対物レンズ
３２　 位相板
３３　 結像レンズ
３４　 距離変更部
４０　 撮像部
５０　 顕微鏡制御装置
５１　 オートフォーカス制御部
５２　 ステージ制御部
５３　 フォーカス制御情報取得部
６０　 培養容器
６１　 ステージ
６２　 ステージ駆動部
７０　 フォーカス用光照射部
７１　 近赤外光源
７２　 グリッド
７３　 照射レンズ
７４　 ダイクロイックミラー
７５　 反射光検出部
７６　 ハーフミラー
７７　 光路差プリズム
７８　 ラインセンサ
８０　 表示装置
９０　 入力装置
９０　 入力装置
１００ 厚さ計測部
Ｃ　　 培養液
Ｌ１　 反射光
Ｌ２　 反射光
Ｌ３　 反射光
Ｐ１　 観察対象設置面
Ｐ２　 底面
Ｐ３　 液面
Ｓ　　 観察対象

Claims (12)

  1. 　液体および観察対象が収容された容器に対して照明光を照射する照明光照射部と、
    　前記容器が載置され、該容器を支持する容器支持部と、
    　前記容器および前記容器支持部を通過した前記照明光が入射される対物レンズと、
    　前記照明光と波長が異なるフォーカス用の光を、前記対物レンズを介して前記容器支持部側から照射するフォーカス用光照射部と、
    　前記容器支持部側からの前記フォーカス用の光の照射による反射光を、前記対物レンズを介して検出する反射光検出部と、
    　前記対物レンズと前記容器保持部との距離を変更する距離変更部と、
    　前記反射光検出部によって検出された反射光に基づいて前記距離変更部を制御することよってオートフォーカス制御を行うオートフォーカス制御部と、
    　前記容器の情報、前記液体の量の情報および前記対物レンズの倍率の情報のうちの少なくとも１つを含むフォーカス制御情報を取得するフォーカス制御情報取得部とを備え、
    　前記オートフォーカス制御部が、前記フォーカス制御情報に基づいて、前記オートフォーカス制御の方法を変更することを特徴とする顕微鏡。
  2. 　前記オートフォーカス制御部が、前記フォーカス制御情報に基づいて、前記容器の底部と前記観察対象との境界面である観察対象設置面に合焦する合焦位置を探索する第１のオートフォーカス制御と、前記容器の底部の前記観察対象設置面とは反対側の面である底面に合焦する合焦位置を探索する第２のオートフォーカス制御とを切り替える請求項１記載の顕微鏡。
  3. 　前記オートフォーカス制御部が、前記第２のオートフォーカス制御によって探索された合焦位置に対してオフセットを付加することによって前記観察対象設置面に合焦する合焦位置を推定し、該推定した合焦位置に基づいて前記距離変更部を制御する請求項２記載の顕微鏡。
  4. 　前記オートフォーカス制御部が、前記液体の量の情報に基づいて、前記液体の量が予め設定された液体閾値以上である場合には、前記第１のオートフォーカス制御を行い、前記液体の量が前記液体閾値未満である場合には、前記第２のオートフォーカス制御を行う請求項２または３記載の顕微鏡。
  5. 　前記オートフォーカス制御部が、前記容器の情報に基づいて、前記容器の底部の厚さが予め設定された厚さ閾値以上である場合には、前記第１のオートフォーカス制御を行い、前記容器の底部の厚さが前記厚さ閾値未満である場合には、前記第２のオートフォーカス制御を行う請求項２から４いずれか１項記載の顕微鏡。
  6. 　前記オートフォーカス制御部が、前記対物レンズの倍率の情報に基づいて、前記対物レンズの倍率が相対的に高い倍率である場合には、前記第１のオートフォーカス制御を行い、前記対物レンズの倍率が相対的に低い倍率である場合には、前記第２のオートフォーカス制御を行う請求項２から５いずれか１項記載の顕微鏡。
  7. 　前記フォーカス制御情報取得部が、前記液体の量の情報として、前記観察対象の培養期間の情報を取得する請求項１から６いずれか１項記載の顕微鏡。
  8. 　前記容器の情報として前記容器の底部の厚さを計測する厚さ計測部を備えた請求項１から７いずれか１項記載の顕微鏡。
  9. 　前記フォーカス制御情報の設定入力を受け付ける設定入力受付部を備えた請求項１から８いずれか１項記載の顕微鏡。
  10. 　前記フォーカス用の光が、予め設定されたパターンを有する請求項１から９いずれか１項記載の顕微鏡。
  11. 　前記フォーカス用の光が、縞状のパターンを有する請求項１０項記載の顕微鏡。
  12. 　容器支持部に載置された、液体および観察対象が収容された容器に対して照明光を照射し、前記容器および前記容器支持部を通過した前記照明光を対物レンズを介して結像させて前記観察対象の像を観察する観察方法において、
    　前記照明光と波長が異なるフォーカス用の光を、前記対物レンズを介して前記容器支持部側から照射し、
    　該フォーカス用の光の照射による反射光を検出し、該検出した反射光に基づいて、前記対物レンズと前記容器保持部との距離を変更することによってオートフォーカス制御を行う際、
    　前記容器の情報、前記液体の量の情報および前記対物レンズの倍率の情報のうちの少なくとも１つを含むフォーカス制御情報を取得し、
    　該取得したフォーカス制御情報に基づいて、前記オートフォーカス制御の方法を変更することを特徴とする観察方法。
PCT/JP2016/086151 2016-02-26 2016-12-06 顕微鏡および観察方法 WO2017145487A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP16891643.5A EP3422074B1 (en) 2016-02-26 2016-12-06 Microscope and observation method
KR1020187023736A KR102073503B1 (ko) 2016-02-26 2016-12-06 현미경 및 관찰 방법
US16/055,457 US11029486B2 (en) 2016-02-26 2018-08-06 Microscope and observation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-035618 2016-02-26
JP2016035618A JP6522533B2 (ja) 2016-02-26 2016-02-26 顕微鏡および観察方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/055,457 Continuation US11029486B2 (en) 2016-02-26 2018-08-06 Microscope and observation method

Publications (1)

Publication Number Publication Date
WO2017145487A1 true WO2017145487A1 (ja) 2017-08-31

Family

ID=59686260

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/086151 WO2017145487A1 (ja) 2016-02-26 2016-12-06 顕微鏡および観察方法

Country Status (5)

Country Link
US (1) US11029486B2 (ja)
EP (1) EP3422074B1 (ja)
JP (1) JP6522533B2 (ja)
KR (1) KR102073503B1 (ja)
WO (1) WO2017145487A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110365919A (zh) * 2018-03-26 2019-10-22 爱思开海力士有限公司 包括具有衬里层的相位差检测像素的图像传感器
WO2019225325A1 (ja) * 2018-05-21 2019-11-28 富士フイルム株式会社 観察装置、観察装置の作動方法、及び観察制御プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3287829A1 (en) * 2016-08-25 2018-02-28 Deutsches Krebsforschungszentrum Method of and microscope with installation for focus stabilization
KR20220102324A (ko) * 2021-01-12 2022-07-20 정홍준 투명 디스플레이 패널을 이용한 현미경의 투과광 형성장치
EP4194918A1 (en) * 2021-12-10 2023-06-14 Leica Microsystems CMS GmbH Method for controlling microscopic imaging and corresponding microscope control arrangement and microscope

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006003543A (ja) * 2004-06-16 2006-01-05 Olympus Corp 顕微鏡システム
JP2008015074A (ja) * 2006-07-04 2008-01-24 Olympus Corp 顕微鏡とオートフォーカス装置およびオートフォーカス方法
JP2009198525A (ja) * 2008-02-19 2009-09-03 Yokogawa Electric Corp 創薬スクリーニング装置
JP2009282357A (ja) * 2008-05-23 2009-12-03 Olympus Corp 観察装置及び観察方法
JP2013190680A (ja) * 2012-03-14 2013-09-26 Olympus Corp 顕微鏡

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6677565B1 (en) * 1998-08-18 2004-01-13 Veeco Tucson Inc. High speed autofocus and tilt for an optical imaging system
US7345814B2 (en) * 2003-09-29 2008-03-18 Olympus Corporation Microscope system and microscope focus maintaining device for the same
JP2006098156A (ja) * 2004-09-29 2006-04-13 Hitachi High-Technologies Corp 欠陥検査方法及びその装置
KR20090018278A (ko) * 2007-08-17 2009-02-20 주식회사 코윈디에스티 화상 형성 장치 및 이를 포함하는 레이저 처리장치, 그리고화상 형성 방법
US20090097734A1 (en) * 2007-10-10 2009-04-16 Olympus Corporation Cellular thickness measurement method
US20130169788A1 (en) * 2010-10-29 2013-07-04 Canon Kabushiki Kaisha Microscope, image acquisition apparatus, and image acquisition system
DE102013011543A1 (de) 2013-07-11 2015-01-15 Carl Zeiss Microscopy Gmbh Verfahren zur Detektion und Zufuhrsteuerung eines Immersionsmediums
JP6333145B2 (ja) * 2014-09-30 2018-05-30 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法および画像処理装置
JP6513507B2 (ja) * 2015-06-30 2019-05-15 富士フイルム株式会社 位相差顕微鏡および撮像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006003543A (ja) * 2004-06-16 2006-01-05 Olympus Corp 顕微鏡システム
JP2008015074A (ja) * 2006-07-04 2008-01-24 Olympus Corp 顕微鏡とオートフォーカス装置およびオートフォーカス方法
JP2009198525A (ja) * 2008-02-19 2009-09-03 Yokogawa Electric Corp 創薬スクリーニング装置
JP2009282357A (ja) * 2008-05-23 2009-12-03 Olympus Corp 観察装置及び観察方法
JP2013190680A (ja) * 2012-03-14 2013-09-26 Olympus Corp 顕微鏡

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3422074A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110365919A (zh) * 2018-03-26 2019-10-22 爱思开海力士有限公司 包括具有衬里层的相位差检测像素的图像传感器
CN110365919B (zh) * 2018-03-26 2021-11-19 爱思开海力士有限公司 包括具有衬里层的相位差检测像素的图像传感器
WO2019225325A1 (ja) * 2018-05-21 2019-11-28 富士フイルム株式会社 観察装置、観察装置の作動方法、及び観察制御プログラム

Also Published As

Publication number Publication date
KR20180104040A (ko) 2018-09-19
EP3422074A1 (en) 2019-01-02
EP3422074B1 (en) 2020-11-04
EP3422074A4 (en) 2019-03-06
KR102073503B1 (ko) 2020-02-04
JP2017151368A (ja) 2017-08-31
US11029486B2 (en) 2021-06-08
JP6522533B2 (ja) 2019-05-29
US20180341083A1 (en) 2018-11-29

Similar Documents

Publication Publication Date Title
WO2017145487A1 (ja) 顕微鏡および観察方法
JP6411294B2 (ja) 位相差顕微鏡および撮像方法
JP6380983B2 (ja) 位相差顕微鏡
US10649192B2 (en) Phase-contrast microscope and imaging method
JP2012008450A (ja) 顕微鏡及び合焦点方法
JP6219214B2 (ja) 細胞撮像制御装置および方法並びにプログラム
JP6173154B2 (ja) 顕微鏡システム
US11243386B2 (en) Microscope apparatus, observation method, and microscope apparatus-control program
JP2006084794A (ja) 焦点位置制御機構付き観察装置
JP2013113650A (ja) トレンチ深さ測定装置及びトレンチ深さ測定方法並びに共焦点顕微鏡
JP2017090590A (ja) 画像取得装置、画像取得方法、及び空間光変調ユニット
EP3532822B1 (en) Trans-illumination imaging with use of interference fringes to enhance contrast and find focus
JP2017151132A (ja) 位相差顕微鏡および撮像方法
KR102149625B1 (ko) 촬영 화상 평가 장치 및 방법과, 프로그램
JP2007212305A (ja) 微小高さ測定装置及び変位計ユニット
JP2018077337A (ja) 撮像装置および方法並びに撮像制御プログラム
JP2012212018A (ja) 焦点維持装置及び顕微鏡装置
JP6522535B2 (ja) 細胞観察装置および方法
JP2015161859A (ja) 観察装置
JP2016161610A (ja) 撮像装置および方法
JP2009139694A (ja) 焦点検出装置
JP2010026063A (ja) 共焦点顕微鏡

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 20187023736

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020187023736

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016891643

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016891643

Country of ref document: EP

Effective date: 20180926

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16891643

Country of ref document: EP

Kind code of ref document: A1