WO2020241868A1 - 光学機器の調整方法、調整支援方法、光学システム、光学機器 - Google Patents

光学機器の調整方法、調整支援方法、光学システム、光学機器 Download PDF

Info

Publication number
WO2020241868A1
WO2020241868A1 PCT/JP2020/021455 JP2020021455W WO2020241868A1 WO 2020241868 A1 WO2020241868 A1 WO 2020241868A1 JP 2020021455 W JP2020021455 W JP 2020021455W WO 2020241868 A1 WO2020241868 A1 WO 2020241868A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
optical
modulation element
optical device
adjustment
Prior art date
Application number
PCT/JP2020/021455
Other languages
English (en)
French (fr)
Inventor
健太郎 山崎
松川　康成
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Publication of WO2020241868A1 publication Critical patent/WO2020241868A1/ja
Priority to US17/534,933 priority Critical patent/US20220082808A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0068—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration having means for controlling the degree of correction, e.g. using phase modulators, movable elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals

Definitions

  • the disclosure of this specification relates to an adjustment method of an optical device, an adjustment support method, an optical system, and an optical device.
  • a correction ring of an objective lens has been conventionally known as a means for correcting spherical aberration that fluctuates according to the observation environment.
  • the correction ring corrects spherical aberration by moving the lens in the objective lens in the optical axis direction.
  • the focal point also moves by correcting the spherical aberration. For this reason, it is not easy to adjust both the focus and the spherical aberration satisfactorily. For this reason, various techniques have been conventionally proposed.
  • Patent Document 1 data describing the positional relationship between the aberration correction lens and the objective lens, which can correct spherical aberration while keeping the focal position within a predetermined range, is stored in advance. Is described. Then, a technique for correcting spherical aberration according to the data is described.
  • an object of one aspect of the present invention is to provide a technique for satisfactorily adjusting both focus and aberration.
  • Another object of the present invention is to provide a technique that makes it easy to adjust the aberration when both the focus and the aberration are satisfactorily adjusted.
  • the adjustment method is an adjustment method of an optical device for acquiring an image of a sample, and a focusing portion included in the optical device in a direction in which the contrast of the first image of the sample increases.
  • the average value of the frequency components of the second image includes the step of moving the image and the step of adjusting the amount of aberration generated by the optical instrument in the direction in which the contrast of the second image of the sample is increased. It is higher than the average value of the frequency components of the first image.
  • the adjustment support method is an adjustment support method for an optical device that acquires an image of a sample, and when the end of focusing is detected during the period in which the first image of the sample is displayed.
  • the step of displaying the second image of the sample on the display device and the end of the aberration correction are detected during the period in which the second image is displayed, the first image is displayed on the display device.
  • the average value of the frequency components of the second image is higher than the average value of the frequency components of the first image.
  • the optical system is an optical device that acquires an image of a sample, and includes an objective lens, a focusing portion that changes the distance between the objective lens and the sample, and a correction that corrects aberrations.
  • the device includes an optical device including the device, and a control device for controlling the optical device.
  • the control device moves the focusing portion in a direction in which the contrast of the first image of the sample increases, and changes the setting of the correction device in a direction in which the contrast of the second image of the sample increases.
  • the amount of aberration generated in the optical device is adjusted, and the average value of the frequency components of the second image is higher than the average value of the frequency components of the first image.
  • An optical device is an optical device that acquires an image of a sample, and includes an objective lens provided with a correction ring for correcting spherical aberration, and an optical element for emphasizing spherical aberration.
  • FIG. 1 is a diagram illustrating the configuration of the microscope system 1.
  • FIG. 2 is a diagram illustrating the configuration of the control device 20.
  • the configuration of the microscope system 1 will be described with reference to FIGS. 1 and 2.
  • the microscope system 1 is an example of an optical system, and includes a microscope 10 and a control device 20.
  • the microscope system 1 may further include a display device 30 and an input device (keyboard 41, mouse 42, handle 43), as shown in FIG.
  • the microscope 10 is an optical device that acquires an image of the specimen S.
  • the microscope 10 includes, for example, an image pickup device 11, a light source (light source 12, light source 13), an objective lens 14, a correction ring 15, a stage 16, and a condenser 17.
  • the image pickup device 11 is a digital camera including an image sensor that converts the incident observation light into an electric signal.
  • the image sensor is, for example, a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, or the like, and is a two-dimensional image sensor.
  • the image pickup device 11 may be a color camera.
  • the image of the specimen S acquired by the image pickup device 11 is output from the image pickup device 11 to the control device 20.
  • the light source 12 and the light source 13 are, for example, a mercury lamp, a xenon lamp, an LED light source, and the like.
  • the light source 12 and the light source 13 are switched and used according to the illumination method.
  • the light source 12 is a light source used for epi-illumination.
  • the light source 13 is a light source used for transmitted illumination.
  • stage 16 may be, for example, an electric stage, and is a focusing portion that changes the distance between the objective lens 14 and the sample S.
  • the microscope 10 may have a structure for moving the objective lens 14 in the optical axis direction. In that case, the structure that moves the objective lens 14 in the optical axis direction is the focusing portion. The position of the focusing portion can also be changed by operating the handle 43, for example.
  • the control device 20 is a control device that controls the microscope 10.
  • the control device 20 may move the focusing portion based on the image processing result. Further, the control device 20 may change the setting of the correction ring 15 based on the image processing result. Further, the control device 20 may move the focusing portion in response to a signal from the input device. Further, the control device 20 may change the setting of the correction ring 15 according to the signal from the input device.
  • the control device 20 is, for example, a standard computer. As shown in FIG. 2, the control device 20 includes a processor 21, a memory 22, an auxiliary storage device 23, a medium drive device 24 for driving the portable storage medium 27, and an I / O interface 25. These components are interconnected by a bus 26.
  • the processor 21 is an arbitrary processing circuit including, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like.
  • the processor 21 performs the programmed processing by expanding the program stored in the auxiliary storage device 23 or the portable storage medium 27 into the memory 22 and executing the program.
  • the processor 21 may perform the process shown in FIG. 3, which will be described later, by executing the program and performing the programmed process.
  • the memory 22 is, for example, a RAM (Random Access Memory).
  • the memory 22 functions as a work memory for storing the program or data stored in the auxiliary storage device 23 or the portable storage medium 27 when the program is executed.
  • the auxiliary storage device 23 is, for example, a hard disk or a flash memory, and is mainly used for storing various data and programs.
  • the medium drive device 24 accommodates a portable storage medium 27 such as an optical disk and a compact flash (registered trademark).
  • the auxiliary storage device 23 and the portable storage medium 27 are examples of non-transient computer-readable storage media that store programs, respectively.
  • the I / O (Input / Output) interface 25 is, for example, a USB (Universal Serial Bus) interface circuit, an HDMI (High-Definition Multimedia Interface, registered trademark) circuit, or the like.
  • a microscope 10 a display device 30, and an input device (keyboard 41, mouse 42, handle 43) are connected to the I / O interface 25.
  • the control device 20 may include a NW (Network) interface (not shown).
  • NW interface may be, for example, a wireless communication module, a LAN (Local Area Network) card, or the like.
  • the control device 20 may receive data from an external device of the microscope system 1 via the NW interface. Further, the control device 20 may transmit the data acquired by the microscope system 1 to an external device via the NW interface.
  • the configuration shown in FIG. 2 is an example of the hardware configuration of the control device 20.
  • the control device 20 is not limited to this configuration.
  • the control device 20 may be a dedicated device instead of a general-purpose device.
  • a specially designed electric circuit may be provided in place of or in addition to the processor 21 that reads and executes a software program.
  • the display device 30 is, for example, a liquid crystal display, an organic EL display, a CRT (Cathode Ray Tube) display, or the like.
  • the input device (keyboard 41, mouse 42, handle 43) is a device directly operated by the user of the microscope system 1. The input device inputs information according to the operation of the user to the control device 20.
  • the microscope system 1 may include, in addition to or instead of, a keyboard, mouse, and handle other input devices, such as a joystick, touch panel, and the like.
  • FIG. 3 is an example of a flowchart of the adjustment process.
  • FIG. 4 is a diagram for explaining a method of adjusting the focal plane.
  • a method of adjusting the microscope 10 for satisfactorily adjusting both the focus and the aberration will be described with reference to FIGS. 3 and 4.
  • the microscope system 1 first focuses on the first image of the specimen S (step S1). Focusing is performed by moving the focusing portion to change the distance between the specimen S and the objective lens 14. Image contrast is used as the evaluation criterion.
  • Step S1 is a step in which the control device 20 moves the focusing portion in the direction in which the contrast of the first image of the specimen S becomes high.
  • the first image has a feature that the average value of the frequency components included in the first image is lower than the average value of the frequency components included in the second image described later.
  • the method of calculating the contrast of the image is not particularly limited, but may be, for example, the Brunner Gradient.
  • the Brenner Gradient is an integral of the squares of the differences between the pixel values of neighboring pixels within a predetermined region.
  • the predetermined region to be integrated may be the entire image or the region of interest in the image.
  • the microscope system 1 corrects aberrations using the second image of the specimen S (step S2).
  • Aberration correction is performed by adjusting the amount of aberration generated by the microscope 10. More specifically, the amount of aberration generated in the microscope 10 is adjusted by changing the setting of the correction ring 15. As the evaluation standard for aberration correction, the contrast of the image is used as in the case of focusing.
  • Step S2 is a step in which the control device 20 changes the setting of the objective lens 14 in the direction of increasing the contrast of the second image of the specimen S to adjust the amount of aberration generated by the microscope 10.
  • the second image is characterized in that the average value of the frequency components contained in the second image is higher than the average value of the frequency components contained in the first image described above.
  • first image and the second image may have a relationship that the average value of the frequency components of the second image is higher than the average value of the frequency components of the first image. That is, the first image and the second image are determined by the height of the average frequency component contained in the image. Therefore, the low and high frequencies referred to herein are relative rather than absolute, unless otherwise stated.
  • the microscope system 1 determines whether or not the amount of focus movement moved by focusing or the amount of aberration changed by aberration correction is less than the threshold value (step S3). Then, when the changed amount of aberration becomes less than the threshold value, the adjustment process is terminated. It is considered that there is no focus shift and the aberration is corrected well when the focus movement amount is sufficiently small in the focusing after the aberration correction, or when the change in the aberration amount is sufficiently small in the aberration correction after the focusing. Because it is possible.
  • FIG. 4 is a longitudinal aberration diagram relating to spherical aberration.
  • Spherical aberration is a phenomenon caused by refraction of light rays corresponding to a higher numerical aperture.
  • the light rays corresponding to the high numerical aperture and the light rays corresponding to the low numerical aperture are focused at different positions. This means that when the spherical aberration is well corrected, the light beam corresponding to the high numerical aperture and the light ray corresponding to the low numerical aperture are focused at the same position.
  • the adjustment method shown in FIG. 3 utilizes this feature of spherical aberration.
  • the focus position F1 and the focus position F2 shown in FIG. 4 exemplify the positions where the light rays corresponding to the low numerical aperture are focused and the positions where the light rays corresponding to the high numerical aperture are focused.
  • the regions R1 and R2 shown in FIG. 4 exemplify a spatial frequency region corresponding to a low numerical aperture and a spatial frequency region corresponding to a high numerical aperture, respectively.
  • the reason why the second image, that is, the relatively high frequency component is used for the aberration correction when the focusing and the aberration correction are compared in the adjustment method shown in FIG. 3 is as follows. That is, the spherical aberration is proportional to the cube of the numerical aperture, and the influence of the fluctuation of the spherical aberration is remarkable in the image formed by the light rays having a high numerical aperture, that is, the second image. Therefore, by performing the aberration correction based on the second image, it is possible to correct the aberration more easily and with higher accuracy than in the case of performing the aberration correction based on the first image.
  • the reason why the first image, that is, the relatively low frequency component is used for the focusing is as follows.
  • the first image the fluctuation of contrast due to spherical aberration is small. Therefore, even if the spherical aberration is not sufficiently corrected, the focus can be adjusted to a position close to the focus position (hereinafter, the ideal focus position) in the state where the spherical aberration is corrected. Therefore, by focusing based on the first image, it is possible to bring the focus closer to the ideal focus position more easily and with higher accuracy than when focusing based on the second image.
  • FIG. 5 is a diagram illustrating the configuration of the microscope 100.
  • the microscope system according to the present embodiment is different from the microscope system 1 shown in FIG. 1 in that the microscope 100 is provided instead of the microscope 10.
  • Other configurations are the same as those of the microscope system 1.
  • the microscope 100 is a microscope for bright-field observation using epi-illumination, and includes an objective lens 101, a modulation element (modulation element 102, modulation element 103) used by switching, a splitter 104, and an imaging lens 105.
  • the image pickup device 106 and the lens 107 are provided.
  • the modulation element 103 is an optical element that emphasizes the spherical aberration of the acquired image. By inserting the modulation element 103 into the observation optical path and using it for observation, spherical aberration is emphasized as compared with the case where it is not used. Therefore, it is possible to easily correct the spherical aberration.
  • the objective lens 101 is a microscope objective lens having a correction ring.
  • the splitter 104 is a splitter that branches the illumination optical path and the observation optical path, and is, for example, a half mirror.
  • the lens 107 is a lens arranged on the illumination optical path.
  • the modulation element 102 and the modulation element 103 are modulation elements that modulate the illumination light and the observation light.
  • the modulation element 102 and the modulation element 103 are selectively arranged at or near the pupil position of the objective lens 101 by, for example, a turret (not shown).
  • FIG. 6 is a diagram showing an example of the modulation pattern of the modulation element.
  • the modulation pattern L1 shown in FIG. 6 shows, for example, the transmittance distribution of the modulation element 102.
  • the modulation pattern H1 shown in FIG. 6 shows, for example, the transmittance distribution of the modulation element 103. Black indicates a region having a low transmittance, and white indicates a region having a high transmittance.
  • the modulation pattern L1 has a high transmittance distribution near the optical axis
  • the modulation pattern H1 has a high transmittance distribution in a region away from the optical axis. ing. Therefore, in the state where the modulation pattern L1 is arranged on the optical path, the microscope 100 acquires the first image based on the light rays corresponding to the relatively low numerical aperture. On the other hand, in the state where the modulation pattern H1 is arranged on the optical path, the microscope 100 acquires a second image based on the light rays corresponding to the relatively high numerical aperture.
  • the modulation element corresponding to the lower frequency component will be referred to as the first modulation element
  • the modulation element corresponding to the higher frequency component will be referred to as the second modulation element.
  • FIG. 7 is a flowchart of the automatic adjustment process according to the present embodiment. Hereinafter, a method for automatically adjusting the microscope 100 will be described with reference to FIG. 7.
  • the control device 20 When the automatic adjustment process shown in FIG. 7 is started, the control device 20 first controls the microscope 100 to perform autofocus (step S11). In step S11, the control device 20 performs autofocus with both the modulation element 102 and the modulation element 103 arranged outside the optical path.
  • control device 20 inserts the modulation element 103, which is the second modulation element, into the optical path (step S12).
  • the control device 20 rotates the correction ring by a predetermined amount (step S13), acquires a second image with the microscope 10 (step S14), and calculates the contrast of the second image acquired in step S14 (step S14).
  • Step S15) The control device 20 searches for the setting of the correction ring that maximizes the contrast while repeating the processes of steps S13 to S15, and determines that the aberration has been corrected when the contrast becomes maximum (step S16).
  • the mountain climbing method may be used.
  • the control device 20 rotates the correction ring by a predetermined amount.
  • the calculated contrast begins to drop after the maximum value.
  • the control device 20 returns to the position of the correction ring at which the contrast becomes the maximum value.
  • the control device 20 determines the returned position as the aberration-corrected position.
  • the control device 20 moves the modulation element 103 out of the optical path and inserts the modulation element 102, which is the first modulation element, into the optical path (step S17). As a result, the pupil function of the optical system of the microscope 10 is changed. After that, the control device 20 moves the focusing portion by a predetermined amount (step S18), and acquires the first image with the microscope 10 (step S19). Then, the control device 20 calculates the contrast of the first image acquired in step S19 (step S20). The control device 20 searches for the position of the focusing portion where the contrast is maximized while repeating the processes from step S18 to step S20, and determines that the focus is on when the contrast is maximized (step S21).
  • the control device 20 determines whether or not the amount of movement of the focusing portion moved by the focusing is less than the threshold value (step S22).
  • the threshold value is not particularly limited as long as it is a sufficiently small value.
  • the threshold value may be, for example, a depth of focus that depends on the numerical aperture of the objective lens 101.
  • step S22YES If the movement amount is less than the threshold value (step S22YES), the control device 20 ends the process shown in FIG. 7. On the other hand, if the movement amount is not less than the threshold value (step S22NO), the process returns to step S12, and aberration correction and focusing are repeated until the movement amount is less than the threshold value.
  • both the focus and the aberration can be satisfactorily adjusted by performing the automatic adjustment method shown in FIG. 7. Further, in the automatic adjustment method shown in FIG. 7, it is not necessary for a human to give an instruction to the microscope system from the start to the end of the process, and focusing and aberration correction can be performed completely automatically.
  • the first modulation element and the second modulation element a modulation element having the pattern shown in FIG. 6 has been exemplified, but the pattern possessed by the modulation element is not limited to this example.
  • the first modulation element may have, for example, the transmittance distribution shown in the modulation pattern L2 shown in FIG.
  • the second modulation element may have, for example, the transmittance distribution shown by the modulation pattern H2 shown in FIG.
  • the first image acquired by using the first modulation element is less susceptible to spherical aberration than the image acquired by using the second modulation element. Therefore, the focus can be adjusted near the ideal focus position.
  • the second image acquired by using the second modulation element is more susceptible to spherical aberration than the image acquired by using the first modulation element. Therefore, spherical aberration can be corrected with higher accuracy.
  • the focus position F11 and the focus position F2 shown in FIG. 9 exemplify the focus position corresponding to the first image and the focus position corresponding to the second image, respectively.
  • the regions R11 and R2 shown in FIG. 9 exemplify a region showing a frequency component included in the first image and a region showing a frequency component included in the second image, respectively.
  • the transmittance distribution shown in the modulation pattern L2 shown in FIG. 8 can be realized without using a modulation element. Therefore, switching between the modulation pattern L2 and the modulation pattern H2 shown in FIG. 8 can be realized by inserting and removing the second modulation element (optical element that emphasizes spherical aberration) in the optical path. In this case, the burden of switching work can be reduced, and the number of optical elements required for the optical system can also be reduced.
  • the second modulation element optical element that emphasizes spherical aberration
  • FIGS. 10 to 16 are diagrams showing still another example of the modulation pattern of the modulation element.
  • the microscope system according to the present embodiment may use a combination of modulation patterns shown in FIGS. 10 to 16 (modulation pattern L3 and modulation pattern H3 to modulation pattern L9 and modulation pattern H9). In that case as well, it is possible to acquire both an image that is not easily affected by spherical aberration and an image that is easily affected by spherical aberration.
  • the first modulation element and the second modulation element satisfy the following conditional expression.
  • f (r) is the transmittance distribution of the first modulation element.
  • g (r) is the transmittance distribution of the second modulation element.
  • r is the distance from the optical axis.
  • L1 is the radius of the axial ray bundle when it is incident on the first modulation element.
  • L2 is the radius of the axial ray bundle when it is incident on the second modulation element.
  • each parameter of the conditional equation (1) can be paraphrased as follows.
  • a region in the microscope 100 in which the optical element is arranged when observing using an optical element that emphasizes spherical aberration is defined as a target region.
  • f (r) is the transmittance distribution of the target region when the optical element that emphasizes spherical aberration is not used.
  • g (r) is the transmittance distribution of the optical element that emphasizes spherical aberration.
  • r is the distance from the optical axis.
  • L1 is the radius of the axial ray bundle when it is incident on the target region when the optical element that emphasizes spherical aberration is not used.
  • L2 is the radius of the axial ray bundle when it is incident on the optical element that emphasizes spherical aberration.
  • this paraphrase expression is applicable not only to FIG. 8, but also to FIGS. 6, 10 to 16, 25, and 28 to 47. That is, when the modulation elements on the left and right of the arrow are used alternately, when the first modulation element on the left side is used, it corresponds to the case where the optical element that emphasizes spherical aberration is not used. When the second modulation element on the right side is used, it corresponds to the case where an optical element that emphasizes spherical aberration is used.
  • the average value of the frequency components of the image acquired by using the second modulation element becomes higher than the average value of the frequency components of the image acquired by using the first modulation element. .. Therefore, it is possible to acquire both an image that is not easily affected by spherical aberration and an image that is easily affected by spherical aberration.
  • the position where the modulation element is arranged is not limited to the pupil position of the objective lens 101 or its vicinity.
  • the position P1 shown in FIG. 17 which is the pupil position or its vicinity
  • the position P2 or the position P3 which is optically conjugate to the pupil of the objective lens 101 may be arranged.
  • the position P2 and the position P3 are the pupil-conjugated positions on the transmitted illumination light path and the epi-illumination light path, respectively, or their vicinity. Even at these positions, the light with a high numerical aperture and the light with a low numerical aperture pass through spatially different positions, so that the frequency component can be limited by the modulation element.
  • the modulation element may be arranged at the position P4 shown in FIG.
  • the position P4 is a position between the objective lens 101 and the imaging lens 105.
  • a bundle of parallel rays formed by the objective lens 101 passes through the position P4.
  • Even at position P4, light rays having a high numerical aperture and light rays having a low numerical aperture pass through spatially different positions in the paraxial region. Therefore, even when the modulation element is arranged at the position P4, by using only the information near the center of the field of view, both an image that is not easily affected by spherical aberration and an image that is easily affected by spherical aberration can be obtained. It becomes possible to acquire.
  • the microscope when the microscope is a fluorescence microscope, it is desirable that the modulation element is arranged at least at a position where the observation light is modulated. Therefore, for example, it is desirable to arrange it at the position P1 or the position P4 shown in FIG. Further, when the microscope is a multiphoton excitation microscope or a sheet illumination microscope, it is desirable that the modulation element is arranged at least at a position where the illumination light is modulated. Further, when the microscope is a disk scanning type microscope, it is desirable that the modulation element is arranged on the object side of the rotating disk. When the microscope is a confocal microscope, it is desirable that the modulation element is arranged at a position where at least one of the illumination light and the observation light is modulated as in the case of bright-field observation.
  • the above shows an example in which the microscope system acquires the first image and the second image in order in time.
  • the first image and the second image may be acquired at the same time.
  • 18 to 24 are views illustrating the configuration of a modified example of the microscope 100.
  • the microscope system according to the present embodiment may include the microscopes 200 to 800 shown in FIG. 18 instead of the microscope 100. Both the microscope 200 and the microscope 800 can acquire the first image and the second image at the same time.
  • the microscope 200 shown in FIG. 18 includes an objective lens 201, an imaging lens 202, a plurality of lenses (lens 203, lens 206, lens 209), a splitter 204 which is a half mirror, and two modulation elements (modulation element 205, modulation element 208). ), And two imaging devices (imaging device 207, imaging device 210).
  • the modulation element 205 blocks the light rays corresponding to the high numerical aperture, so that the image pickup apparatus 207 acquires the first image, and the modulation element 208 blocks the light rays corresponding to the low numerical aperture.
  • the image pickup apparatus 210 acquires the second image.
  • the microscope 300 shown in FIG. 19 includes an objective lens 301, a modulation element 302, an imaging lens 303, a plurality of lenses (lens 304, lens 306, lens 308), a splitter 305 which is a polarization beam splitter, and two imaging devices ( The imaging device 307 and the imaging device 309) are included.
  • the modulation element 302 includes a polarizing plate 302a and a polarizing plate 302b. Then, in the modulation element 302, the polarizing plate 302a and the polarizing plate 302b transmit polarized light having polarization directions orthogonal to each other.
  • the splitter 305 separates the polarized light that has passed through the polarizing plate 302a from the polarized light that has passed through the polarizing plate 302b, so that the imaging device 307 acquires the first image and the imaging device 309 acquires the second image. get.
  • the microscope 400 shown in FIG. 20 includes an objective lens 401, an imaging lens 402, a plurality of lenses (lens 403, lens 405, lens 407), a mirror 404 having an aperture formed, and two imaging devices (imaging device 406, The image pickup apparatus 408) is included.
  • the light beam corresponding to the high numerical aperture is reflected by the mirror 404, and the light ray corresponding to the low numerical aperture is transmitted, so that the image pickup device 406 acquires the first image and the image pickup device 408 obtains the second image. Get an image of.
  • the microscope 500 shown in FIG. 21 includes an objective lens 501, an imaging lens 502, a plurality of lenses (lens 503, lens 506, lens 510), a splitter 504 which is a half mirror, and two modulation elements (modulation element 505, modulation element 508). ), The prism 509, and the image pickup device 507.
  • the microscope 500 is the same as the microscope 200 except that the first image and the second image are acquired by the same imaging device 507 using the splitter 504 and the prism 509.
  • the microscope 600 shown in FIG. 22 is a confocal microscope.
  • the microscope 600 includes a scanner 601, a modulator 602, a plurality of lenses (lens 603, lens 605), a splitter 606 which is a polarization beam splitter, and two photodetectors (photodetector 607, photodetector 608). I'm out.
  • the modulation element 602 is composed of a polarizing plate 602a and a polarizing plate 602b, and the polarizing plate 602a and the polarizing plate 602b transmit polarized light having polarization directions orthogonal to each other.
  • the light flux descanned by the scanner 601 is modulated by the modulation element 602. Then, the polarized light that has passed through the polarizing plate 602a and the polarized light that has passed through the polarizing plate 602b are separated by PBS 606, so that the photodetector 607 detects the low frequency component and the photodetector 608 detects the high frequency component.
  • the first image is generated based on the low frequency components detected by photodetector 607.
  • the second image is generated based on the high frequency component detected by the photodetector 608.
  • the microscope 700 shown in FIG. 23 includes an objective lens 701, a modulation element 702, an imaging lens 703, a splitter 704 that is a polarizing beam splitter, a ⁇ / 4 plate 705, a prism 706, and an imaging device 707.
  • the modulation element 702 includes a polarizing plate 702a and a polarizing plate 702b. Then, the polarizing plate 702a and the polarizing plate 702b transmit polarized light having polarization directions orthogonal to each other.
  • the polarized light that has passed through the polarizing plate 702a and the polarized light that has passed through the polarizing plate 702b are separated by the PBS 704.
  • the polarized light reflected by the PBS 704 is reciprocated in the ⁇ / 4 plate 705 to change the polarization direction and pass through the PBS 704.
  • the first image and the second image are acquired by the same image pickup apparatus 707.
  • the microscope 800 shown in FIG. 24 includes an objective lens 801 and a modulation element 802, an imaging lens 803, and an imaging device 804.
  • the modulation element 802 includes a wavelength filter 802a and a wavelength filter 802b.
  • the wavelength filter 802a and the wavelength filter 802b transmit light having different wavelengths from each other.
  • the image pickup apparatus 804 is a color camera, and detects each component of RGB separately.
  • the wavelength of the light beam corresponding to the high numerical aperture and the wavelength of the light ray corresponding to the low numerical aperture are different in the modulation element 802.
  • the first image and the second image are acquired by the same image pickup apparatus 804.
  • the first modulation element and the second modulation element have characteristics symmetrical with respect to the optical axis, but the first modulation element and the second modulation element have characteristics asymmetric with respect to the optical axis.
  • the first modulation element may have the transmittance distribution shown in the modulation pattern L10 shown in FIG. 25.
  • the second modulation element may have the transmittance distribution shown by the modulation pattern H10 shown in FIG.
  • the modulation pattern H10 has a characteristic of completely blocking half of the light flux incident on the second modulation element.
  • a first image is acquired using a first modulation element having a modulation pattern L10, and focusing is performed based on the first image.
  • a second image is acquired using a second modulation element having the modulation pattern H10.
  • the spherical aberration is excessively corrected, as shown in FIG. 26A, the light is focused at a position closer to the focus position FP based on the first image.
  • the spherical aberration is insufficiently corrected, the light is focused at a position farther from the focus position FP based on the first image, as shown in FIG. 26B. Due to this difference, as shown in FIG. 27, the images (images 31 and 32) are displayed at positions deviated from the center of the screen in opposite directions in the overcorrected state and the undercorrected state.
  • the control device 20 can easily distinguish between the overcorrected state and the undercorrected state based on the image. Therefore, it is possible to prevent the aberration correction direction (that is, the direction of increasing the correction amount and the direction of decreasing the correction amount) from being mistaken when performing the aberration correction. As a result, it becomes possible to correct the aberration in a shorter time.
  • the aberration correction direction that is, the direction of increasing the correction amount and the direction of decreasing the correction amount
  • the asymmetric modulation pattern is not limited to aberration correction, and may be used for focusing. When used for focusing, it is possible to specify the direction in which the focusing portion should be moved. Also, asymmetric modulation patterns may be used for both aberration correction and focusing. For example, a combination of modulation patterns shown in FIGS. 28 to 47 (modulation pattern L11 and modulation pattern H11 to modulation pattern L30 and modulation pattern H30) may be used. It should be noted that even when this modulation pattern is used, it is possible to acquire both an image that is not easily affected by spherical aberration and an image that is easily affected by spherical aberration, which are shown in FIGS. 6, 8 and 10. It is the same as the case where the modulation pattern shown in 16 is used.
  • FIG. 48 is a flowchart of the semi-automatic adjustment process according to the present embodiment.
  • the configuration of the microscope system according to the present embodiment is the same as that of the microscope system according to the first embodiment.
  • the microscope system according to the first embodiment is different from the microscope system according to the first embodiment in that the semi-automatic adjustment process shown in FIG. 48 is performed instead of the automatic adjustment process shown in FIG. 7.
  • the control device 20 first causes the microscope 100 to acquire the first image (step S31). Then, the control device 20 causes the display device 30 to display the image acquired by the microscope 100 (step S32). In this embodiment, the user manually arranges the first modulation element on the optical path before step S31.
  • the control device 20 determines whether or not it is in focus (step S33).
  • the control device 20 may determine whether or not the focus is on, for example, depending on whether or not the user who has confirmed the image displayed on the display device 30 has input the focus focusing end instruction.
  • the control device 20 determines that the focus is in focus.
  • control device 20 determines whether or not to end the semi-automatic processing (step S34).
  • the control device 20 determines whether or not to end the semi-automatic processing, for example, depending on whether or not the movement amount of the focusing portion during the period in which the first image is displayed is less than the threshold value. Good.
  • control device 20 causes the microscope 100 to acquire a second image (step S35). Then, the control device 20 causes the display device 30 to display the image acquired by the microscope 100 (step S36). In this embodiment, the user manually arranges the second modulation element on the optical path before step S35.
  • the control device 20 determines whether or not the aberration is corrected (step S37).
  • the control device 20 may determine, for example, whether or not the aberration is corrected depending on whether or not the user who confirmed the image displayed on the display device 30 has input the end instruction of the aberration correction. ..
  • the control device 20 determines that the aberration has been corrected.
  • control device 20 determines whether or not to end the semi-automatic processing (step S38).
  • the control device 20 determines whether or not to end the semi-automatic processing, for example, depending on whether or not the amount of rotation of the correction ring 15 during the period in which the second image is displayed is less than the threshold value. Good.
  • control device 20 returns to step S31 and repeats the above-described processing until it is determined that the semi-automatic processing is completed.
  • the control device 20 when the control device 20 detects the end of focusing during the period in which the first image is displayed, the control device 20 causes the display device 30 to display the second image. Further, when the control device 20 detects the end of the aberration correction during the period in which the second image is displayed, the control device 20 causes the display device 30 to display the first image.
  • the semi-automatic adjustment method shown in FIG. 48 both the focus and the aberration can be satisfactorily adjusted. Further, the semi-automatic adjustment method shown in FIG. 48 can also be applied to a microscope system that does not have an electric correction ring or an electric focusing portion.
  • FIG. 49 is a flowchart of the automatic adjustment process according to the present embodiment.
  • the configuration of the microscope system according to the present embodiment is the same as that of the microscope system according to the first embodiment.
  • the microscope system according to the first embodiment is different from the microscope system according to the first embodiment in that the automatic adjustment process shown in FIG. 49 is performed instead of the automatic adjustment process shown in FIG. 7.
  • the image to be acquired is switched between the first image and the second image by switching the modulation element, whereas in the automatic adjustment process shown in FIG. 49, the first image is processed by the image processing.
  • the difference is that it produces an image and a second image.
  • step S41 the control device 20 first controls the microscope 100 to perform autofocus (step S41).
  • the process of step S41 is the same as the process of step S11 of FIG.
  • control device 20 rotates the correction ring by a predetermined amount (step S42), and acquires an image with the microscope 10 (step S43). Further, the control device 20 performs image processing on the image acquired in step S43 to generate a second image (step S44).
  • the image processing performed in step S44 is, for example, a process of Fourier transforming the image acquired in step S43 to generate a pupil image, applying a spatial frequency filter to the pupil image, and performing inverse Fourier transform on the image obtained after applying the filter. It may be.
  • the spatial frequency filter is, for example, a high-pass filter.
  • control device 20 calculates the contrast of the second image generated in step S44 (step S45).
  • the control device 20 searches for the setting of the correction ring that maximizes the contrast while repeating the processes of steps S42 to S45. Then, the control device 20 determines that the aberration has been corrected when the contrast becomes maximum (step S46).
  • the control device 20 moves the focusing portion by a predetermined amount (step S47) and acquires an image with the microscope 10 (step S48). Further, the control device 20 performs image processing on the image acquired in step S48 to generate a first image (step S49).
  • the image processing performed in step S49 is, for example, a process of Fourier transforming the image acquired in step S49 to generate a pupil image, applying a spatial frequency filter to the pupil image, and performing inverse Fourier transform on the image obtained after applying the filter. It may be.
  • the spatial frequency filter is, for example, a low-pass filter.
  • control device 20 calculates the contrast of the first image generated in step S49 (step S50).
  • the control device 20 searches for the position of the focusing portion where the contrast is maximized while repeating the processes from step S47 to step S50.
  • the control device 20 determines that the focus is on when the contrast is maximized (step S51).
  • the control device 20 determines whether or not the amount of movement of the focusing portion moved by the focusing is less than the threshold value (step S52). If the movement amount is less than the threshold value (step S52YES), the control device 20 ends the process shown in FIG. 49. On the other hand, if the movement amount is less than the threshold value (step S52NO), the process returns to step S52, and aberration correction and focusing are repeated until the movement amount becomes less than the threshold value.
  • both focus and aberration are satisfactorily improved as in the case of performing the automatic adjustment method shown in FIG. adjust. It is also the same that humans do not need to give instructions to the microscope system from the start to the end of the process, and focusing and aberration correction can be performed completely automatically. Since the microscope system according to the present embodiment does not require a modulation element, the existing microscope system can be used as it is.
  • spherical aberration may be corrected by using a deformable mirror, a phase modulator capable of individually controlling a plurality of spatially partitioned regions, or the like.
  • the phase modulator may be used for correcting not only spherical aberration but also any aberration, and may be used instead of the focusing portion for focusing.
  • the focusing or aberration correction is terminated when the contrast is maximized, but the focusing or aberration correction may be terminated when the contrast reaches the threshold value or more. This is because a sufficiently high contrast state may be regarded as being in focus or having corrected aberrations.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

調整方法は、標本の画像を取得する顕微鏡（１０）の調整方法である。調整方法は、標本の第１の画像のコントラストが高くなる方向に、顕微鏡（１０）に含まれる焦準部を動かす工程と、標本の第２の画像のコントラストが高くなる方向に、顕微鏡（１０）で生じる収差量を調整する工程と、を含む。第２の画像の周波数成分の平均値は、第１の画像の周波数成分の平均値よりも高い。

Description

光学機器の調整方法、調整支援方法、光学システム、光学機器
　本明細書の開示は、光学機器の調整方法、調整支援方法、光学システム、光学機器に関する。
　顕微鏡に代表される高い開口数を有する光学機器を用いた標本の観察では、カバーガラスの厚さのわずかな違いによって球面収差が大きく変化する。これは、観察対象面の深さが変化した場合も同様である。このように観察環境に応じて変動する球面収差を補正するための手段として、従来から対物レンズの補正環が知られている。
　補正環は、対物レンズ内のレンズを光軸方向に移動させることで球面収差を補正するものである。補正環では球面収差を補正することによって焦点も移動してしまう。このことから、フォーカスと球面収差との両方を良好に調整する作業は容易ではない。このため、従来から様々な技術が提案されている。
　例えば、特許文献１には、焦点位置を所定範囲内に抑えながら球面収差を補正することができる、収差補正レンズと対物レンズとの間の位置関係を記述したデータを、あらかじめ記憶しておくことが記載されている。そして、そのデータに従って球面収差を補正する技術が記載されている。
特開２０１８－２０５０６９号公報
　しかしながら、特許文献１に記載の技術によってフォーカスと収差の両方を良好に調整するためには、対物レンズ毎で且つ標本毎に予めデータを記憶しておく必要がある。そのため、様々な対物レンズ及び標本が使用され得る状況に対処することは困難である。
　以上のような実情を踏まえ、本発明の一側面に係る目的は、フォーカスと収差の両方を良好に調整する技術を提供することである。また、本発明の別の一側面に係る目的は、フォーカスと収差の両方を良好に調整する際の収差を調整し易くすることを可能とする技術を提供することである。
　本発明の一態様に係る調整方法は、標本の画像を取得する光学機器の調整方法であって、前記標本の第１の画像のコントラストが高くなる方向に、前記光学機器に含まれる焦準部を動かす工程と、前記標本の第２の画像のコントラストが高くなる方向に、前記光学機器で生じる収差量を調整する工程と、を含み、前記第２の画像の周波数成分の平均値は、前記第１の画像の周波数成分の平均値よりも高い。
　本発明の一態様に係る調整支援方法は、標本の画像を取得する光学機器の調整支援方法であって、前記標本の第１の画像が表示されている期間中にフォーカス合わせの終了を検出すると、前記標本の第２の画像を表示装置に表示させる工程と、前記第２の画像が表示されている期間中に収差補正の終了を検出すると、前記第１の画像を前記表示装置に表示させる工程と、を含み、前記第２の画像の周波数成分の平均値は、前記第１の画像の周波数成分の平均値よりも高い。
　本発明の一態様に係る光学システムは、標本の画像を取得する光学機器であって、対物レンズと、前記対物レンズと前記標本の間の距離を変更する焦準部と、収差を補正する補正装置と、を含む光学機器と、前記光学機器を制御する制御装置と、を備える。前記制御装置は、前記標本の第１の画像のコントラストが高くなる方向に、前記焦準部を動かし、前記標本の第２の画像のコントラストが高くなる方向に、前記補正装置の設定を変更して前記光学機器で生じる収差量を調整し、前記第２の画像の周波数成分の平均値は、前記第１の画像の周波数成分の平均値よりも高い。
　本発明の別の態様に係る光学機器は、標本の画像を取得する光学機器であって、球面収差を補正する補正環を備えた対物レンズと、球面収差を強調する光学素子と、を備える。
　上記の態様によれば、フォーカスと収差の両方を良好に調整することができる。
顕微鏡システム１の構成の例示した図である。 制御装置２０の構成を例示した図である。 調整処理のフローチャートの一例である。 焦点面の調整方法を説明するための図である。 顕微鏡１００の構成を例示した図である。 変調素子の変調パターンの一例を示した図である。 第１の実施形態に係る自動調整処理のフローチャートである。 変調素子の変調パターンの別の例を示した図である。 焦点面の調整方法を説明するための別の図である。 変調素子の変調パターンの更に別の例を示した図である。 変調素子の変調パターンの更に別の例を示した図である。 変調素子の変調パターンの更に別の例を示した図である。 変調素子の変調パターンの更に別の例を示した図である。 変調素子の変調パターンの更に別の例を示した図である。 変調素子の変調パターンの更に別の例を示した図である。 変調素子の変調パターンの更に別の例を示した図である。 変調素子を配置する位置を説明するための図である。 顕微鏡２００の構成を例示した図である。 顕微鏡３００の構成を例示した図である。 顕微鏡４００の構成を例示した図である。 顕微鏡５００の構成を例示した図である。 顕微鏡６００の構成を例示した図である。 顕微鏡７００の構成を例示した図である。 顕微鏡８００の構成を例示した図である。 変調素子の変調パターンの更に別の例を示した図である。 補正過剰状態を説明するための図である。 補正不足状態を説明するための図である。 補正過剰状態において形成される像と補正不足状態で形成される像の違いについて説明するための図である。 変調素子の変調パターンの更に別の例を示した図である。 変調素子の変調パターンの更に別の例を示した図である。 変調素子の変調パターンの更に別の例を示した図である。 変調素子の変調パターンの更に別の例を示した図である。 変調素子の変調パターンの更に別の例を示した図である。 変調素子の変調パターンの更に別の例を示した図である。 変調素子の変調パターンの更に別の例を示した図である。 変調素子の変調パターンの更に別の例を示した図である。 変調素子の変調パターンの更に別の例を示した図である。 変調素子の変調パターンの更に別の例を示した図である。 変調素子の変調パターンの更に別の例を示した図である。 変調素子の変調パターンの更に別の例を示した図である。 変調素子の変調パターンの更に別の例を示した図である。 変調素子の変調パターンの更に別の例を示した図である。 変調素子の変調パターンの更に別の例を示した図である。 変調素子の変調パターンの更に別の例を示した図である。 変調素子の変調パターンの更に別の例を示した図である。 変調素子の変調パターンの更に別の例を示した図である。 変調素子の変調パターンの更に別の例を示した図である。 変調素子の変調パターンの更に別の例を示した図である。 第２の実施形態に係る半自動調整処理のフローチャートである。 第３の実施形態に係る自動調整処理のフローチャートである。
　図１は、顕微鏡システム１の構成の例示した図である。図２は、制御装置２０の構成を例示した図である。以下、図１及び図２を参照しながら、顕微鏡システム１の構成について説明する。
　顕微鏡システム１は、光学システムの一例であり、顕微鏡１０と、制御装置２０を備えている。顕微鏡システム１は、さらに、図１に示すように、表示装置３０と、入力装置（キーボード４１、マウス４２、ハンドル４３）を備えてもよい。
　顕微鏡１０は、標本Ｓの画像を取得する光学機器である。顕微鏡１０は、例えば、撮像装置１１と、光源（光源１２、光源１３）と、対物レンズ１４と、補正環１５と、ステージ１６と、コンデンサ１７を備えている。
　撮像装置１１は、入射した観察光を電気信号に変換するイメージセンサを含むデジタルカメラである。イメージセンサは、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどであり、二次元イメージセンサである。なお、撮像装置１１は、カラーカメラであってもよい。撮像装置１１が取得した標本Ｓの画像は、撮像装置１１から制御装置２０へ出力される。
　光源１２と光源１３は、例えば、水銀ランプ、キセノンランプ、ＬＥＤ光源などである。光源１２と光源１３は、照明法に応じて切り替えて使用される。光源１２は、落射照明に使用される光源である。光源１３は、透過照明に使用される光源である。
　対物レンズ１４は、レボルバに装着された顕微鏡対物レンズである。対物レンズ１４には、補正環１５が設けられている。補正環１５は、対物レンズ１４を構成するレンズの一部を光軸方向に動かすことで球面収差を補正する補正装置である。補正環１５の設定（つまり、レンズの位置）を変更する。これにより、補正環１５は、対物レンズ１４で生じる収差量、ひいては顕微鏡１０で生じる収差量を調整することができる。補正環１５は、例えば、制御装置２０からの指示に従って設定が変更される電動補正環であってもよい。補正環１５の設定は、例えば、ハンドル４３を操作することによっても変更可能である。
　ステージ１６は、標本Ｓが配置される。ステージ１６は、例えば、電動ステージであってもよく、対物レンズ１４と標本Ｓの間の距離を変更する焦準部である。なお、顕微鏡１０は、対物レンズ１４を光軸方向に動かす構造を有してもよい。その場合、対物レンズ１４を光軸方向に動かす構造が焦準部である。焦準部の位置は、例えば、ハンドル４３を操作することによっても変更可能である。
　制御装置２０は、顕微鏡１０を制御する制御装置である。制御装置２０は、画像処理結果に基づいて焦準部を動かしてもよい。また、制御装置２０は、画像処理結果に基づいて補正環１５の設定を変更してよい。また、制御装置２０は、入力装置からの信号に応じて焦準部を動かしてもよい。また、制御装置２０は、入力装置からの信号に応じて補正環１５の設定を変更してもよい。
　制御装置２０は、例えば、標準的なコンピュータである。制御装置２０は、図２に示すように、プロセッサ２１、メモリ２２、補助記憶装置２３、可搬記憶媒体２７を駆動する媒体駆動装置２４、Ｉ／Ｏインタフェース２５を備える。これらの構成要素はバス２６によって相互に接続されている。
　プロセッサ２１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などを含む任意の処理回路である。プロセッサ２１は、補助記憶装置２３又は可搬記憶媒体２７に格納されているプログラムをメモリ２２に展開して実行することでプログラムされた処理を行う。プロセッサ２１は、プログラムを実行してプログラムされた処理を行うことで、後述する図３に示す処理を行ってもよい。
　メモリ２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）である。メモリ２２は、プログラムの実行の際に、補助記憶装置２３又は可搬記憶媒体２７に格納されているプログラムまたはデータを記憶するワークメモリとして機能する。補助記憶装置２３は、例えば、ハードディスク、フラッシュメモリであり、主に各種データ及びプログラムの格納に用いられる。媒体駆動装置２４は、光ディスク、コンパクトフラッシュ（登録商標）等の可搬記憶媒体２７を収容するものである。補助記憶装置２３と可搬記憶媒体２７は、それぞれプログラムを記憶した非一過性のコンピュータ読取可能記憶媒体の一例である。　
　Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース２５は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）インタフェース回路、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ、登録商標）回路などである。Ｉ／Ｏインタフェース２５には、例えば、顕微鏡１０、表示装置３０、及び入力装置（キーボード４１、マウス４２、ハンドル４３）が接続されている。
　なお、制御装置２０は、図示しないＮＷ（Ｎｅｔｗｏｒｋ）インタフェースを備えてもよい。ＮＷインタフェースは、例えば、無線通信モジュールであってもよく、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）カードなどであってもよい。制御装置２０は、ＮＷインタフェースを経由して顕微鏡システム１の外部の装置からデータを受信してもよい。また制御装置２０は、ＮＷインタフェースを経由して顕微鏡システム１で取得したデータを外部の装置へ送信しても良い。
　なお、図２に示す構成は、制御装置２０のハードウェア構成の一例である。制御装置２０はこの構成に限定されるものではない。制御装置２０は、汎用装置ではなく専用装置であってもよい。例えば、ソフトウェアプログラムを読み込んで実行するプロセッサ２１の代わりに又は加えて、専用設計の電気回路を備えてもよい。
　表示装置３０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）ディスプレイなどである。入力装置（キーボード４１、マウス４２、ハンドル４３）は、顕微鏡システム１の利用者が直接操作する装置である。入力装置は、利用者の操作に応じた情報を制御装置２０に入力する。顕微鏡システム１は、キーボード、マウス、ハンドルに加えて又は代わりに、他の入力装置、例えば、ジョイスティック、タッチパネルなどを含んでもよい。
　図３は、調整処理のフローチャートの一例である。図４は、焦点面の調整方法を説明するための図である。以下、図３及び図４を参照しながら、フォーカスと収差の両方を良好に調整する顕微鏡１０の調整方法について説明する。
　顕微鏡システム１は、図３に示すように、まず、標本Ｓの第１の画像を利用してフォーカス合わせを行う（ステップＳ１）。フォーカス合わせは、焦準部を動かして標本Ｓと対物レンズ１４の間の距離を変更することによって行われる。評価基準としては、画像のコントラストが使用される。ステップＳ１は、制御装置２０が、標本Ｓの第１の画像のコントラストが高くなる方向に、焦準部を動かす工程である。第１の画像は、第１の画像に含まれる周波数成分の平均値が後述する第２の画像に含まれる周波数成分の平均値よりも低いという特徴を有している。
　なお、画像のコントラストの算出方法は特に限定しないが、例えば、Ｂｒｅｎｎｅｒ　Ｇｒａｄｉｅｎｔであってもよい。Ｂｒｅｎｎｅｒ　Ｇｒａｄｉｅｎｔは、近隣画素の画素値の差分の二乗を所定領域内で積分したものである。積分する所定領域は、画像全体であっても、画像中の注目領域であってもよい。
　さらに、顕微鏡システム１は、標本Ｓの第２の画像を利用して収差補正を行う（ステップＳ２）。収差補正は、顕微鏡１０で生じる収差量を調整することによって行われる。より具体的には、補正環１５の設定を変更して顕微鏡１０で生じる収差量を調整によって行われる。収差補正の評価基準としては、フォーカス合わせと同様に、画像のコントラストが使用される。ステップＳ２は、制御装置２０が、標本Ｓの第２の画像のコントラストが高くなる方向に、対物レンズ１４の設定を変更して顕微鏡１０で生じる収差量を調整する工程である。第２の画像は、第２の画像に含まれる周波数成分の平均値が前述した第１の画像に含まれる周波数成分の平均値よりも高いという特徴を有している。
　なお、第１の画像と第２の画像は、第２の画像の周波数成分の平均値が第１の画像の周波数成分の平均値よりも高いという関係を有していればよい。つまり、第１の画像と第２の画像は、画像に含まれる平均的な周波数成分の高低によって定まる。従って、本明細書でいう低周波数と高周波数は、特に明記しない限り、絶対的なものではなく、相対的なものである。
　その後、顕微鏡システム１は、フォーカス合わせで移動したフォーカス移動量、又は、収差補正で変化した収差量が閾値未満になったか否かを判断する（ステップＳ３）。そして、変化した収差量が閾値未満になった場合に、調整処理を終了する。収差補正後のフォーカス合わせでフォーカス移動量が十分に小さい状態、又は、フォーカス合わせ後の収差補正で収差量の変化が十分に小さい状態は、フォーカスずれがなく良好に収差が補正されていると考えられるからである。
　図４は、球面収差に関する縦収差図である。球面収差は、高い開口数に対応する光線ほど強く屈折することに起因する現象である。球面収差が良好に補正されていない状態では、図４の線Ｌに示すように、高い開口数に対応する光線と低い開口数に対応する光線が異なる位置にフォーカスする。これは、球面収差が良好に補正されている状態では、高い開口数に対応する光線と低い開口数に対応する光線が同じ位置にフォーカスすることを意味している。図３に示す調整方法は、球面収差のこの特徴を利用したものである。
　なお、図４に示すフォーカス位置Ｆ１、フォーカス位置Ｆ２は、それぞれ低い開口数に対応する光線がフォーカスする位置を、高い開口数に対応する光線がフォーカスする位置を例示している。また、図４に示す領域Ｒ１、領域Ｒ２は、それぞれ低い開口数に対応する空間周波数領域を、高い開口数に対応する空間周波数領域を例示している。
　図３に示す調整方法において、フォーカス合わせと収差補正とを比較したときに、第２の画像、つまり、相対的に高い周波数成分を収差補正に利用する理由は、以下のとおりである。即ち、球面収差は開口数の３乗に比例しており、球面収差の変動の影響は、高い開口数の光線によって形成された画像、つまり、第２の画像において顕著に表れるからである。従って、第２の画像に基づいて収差補正を行うことで、第１の画像に基づいて収差補正を行う場合よりも、容易に且つ高い精度で収差補正することが可能となる。
　一方、図３に示す調整方法において、フォーカス合わせと収差補正とを比較したときに、第１の画像、つまり、相対的に低い周波数成分をフォーカス合わせに利用する理由は、以下のとおりである。第１の画像では、球面収差によるコントラストの変動が小さい。そのため、球面収差が十分に補正されていない状態であっても、球面収差が補正された状態におけるフォーカス位置（以降、理想フォーカス位置）に近い位置にフォーカスを合わせることができるからである。従って、第１の画像に基づいてフォーカス合わせを行うことで、第２の画像に基づいてフォーカス合わせを行う場合よりも、容易に且つ高い精度でフォーカスを理想フォーカス位置に近づけることができる。
　さらに、図４に示すフォーカス位置Ｆ１とフォーカス位置Ｆ２が互いに十分に近づき、且つ、両方が理想フォーカス位置に近づいている場合について検討する。この場合、第２の画像に基づく収差補正の工程と第１の画像に基づくフォーカス合わせの工程を繰り返したときに、それぞれの工程における調整量（焦準部の移動量、補正環１５の回転量）が十分に小さくなる。従って、図３に示す調整方法では、焦準部の移動量又は補正環１５の回転量の少なくとも一方に基づいて、調整を終了するタイミングを容易に判断することができる。
　従って、顕微鏡システム１によれば、図３に示す調整方法を行うことで、フォーカスと収差の両方を良好に調整することができる。以下、上述した調整方法の具体例についてさらに詳細に説明する。
［第１の実施形態］
　図５は、顕微鏡１００の構成を例示した図である。本実施形態に係る顕微鏡システムは、顕微鏡１０の代わりに顕微鏡１００を備える点が、図１に示す顕微鏡システム１とは異なる。その他の構成は、顕微鏡システム１と同様である。
　顕微鏡１００は、落射照明を用いた明視野観察を行う顕微鏡であり、対物レンズ１０１と、切り替えて使用される変調素子（変調素子１０２、変調素子１０３）と、スプリッタ１０４と、結像レンズ１０５と、撮像装置１０６と、レンズ１０７を備えている。
　ここで、変調素子１０３は、取得される画像の球面収差を強調する光学素子である。この変調素子１０３が観察光路中に挿入されて観察のために使用されることにより、使用しない場合に比べ球面収差が強調される。このため、球面収差を補正し易くすることができる。
　対物レンズ１０１は、補正環を有する顕微鏡対物レンズである。スプリッタ１０４は、照明光路と観察光路を分岐するスプリッタであり、例えば、ハーフミラーである。レンズ１０７は、照明光路上に配置されたレンズである。変調素子１０２と変調素子１０３は、照明光及び観察光を変調する変調素子である。変調素子１０２と変調素子１０３は、例えば、図示しないターレットによって、対物レンズ１０１の瞳位置又はその近傍に、選択的に配置される。
　図６は、変調素子の変調パターンの一例を示した図である。図６に示す変調パターンＬ１は、例えば、変調素子１０２が有する透過率分布を示している。図６に示す変調パターンＨ１は、例えば、変調素子１０３が有する透過率分布を示している。なお、黒は、透過率が低い領域を、白は透過率が高い領域を示している。
　互いに異なる変調パターンＬ１と変調パターンＨ１を比較すると、変調パターンＬ１は光軸近傍に高い透過率分布を有するのに対して、変調パターンＨ１は光軸から離れた領域に高い透過率分布を有している。このため、変調パターンＬ１を光路上に配置している状態では、顕微鏡１００は、比較的低い開口数に対応する光線に基づいて、第１の画像を取得する。一方、変調パターンＨ１を光路上に配置している状態では、顕微鏡１００は、比較的高い開口数に対応する光線に基づいて、第２の画像を取得する。以降では、切り替えて使用される変調素子のうち、より低い周波数成分に対応する変調素子を第１の変調素子と記し、より高い周波数成分に対応する変調素子を第２の変調素子と記す。
　図７は、本実施形態に係る自動調整処理のフローチャートである。以下、図７を参照しながら、顕微鏡１００の自動調整方法について説明する。
　図７に示す自動調整処理が開始されると、制御装置２０は、まず、顕微鏡１００を制御してオートフォーカスを行う（ステップＳ１１）。ステップＳ１１では、制御装置２０は、変調素子１０２と変調素子１０３の両方を光路外に配置した状態で、オートフォーカスを行う。
　次に、制御装置２０は、第２の変調素子である変調素子１０３を光路上に挿入する（ステップＳ１２）。これにより、顕微鏡１０の光学系の瞳関数が変更される。その後、制御装置２０は、補正環を所定量だけ回転し（ステップＳ１３）、顕微鏡１０で第２の画像を取得し（ステップＳ１４）、ステップＳ１４で取得した第２の画像のコントラストを算出する（ステップＳ１５）。制御装置２０は、ステップＳ１３からステップＳ１５の処理を繰り返しながらコントラストが最大となる補正環の設定を探索し、コントラストが最大となったときに収差が補正されたと判断する（ステップＳ１６）。
　ここでは、例えば山登り法を用いてもよい。制御装置２０は、補正環を所定量ずつ回転させていく。算出されるコントラストは最大値を過ぎたところで下がり始める。そのとき制御装置２０は、コントラストが最大値となった補正環の位置に戻す。この戻された位置を収差の補正された位置と制御装置２０は判断する。
　収差補正が終了すると、制御装置２０は、変調素子１０３を光路外に移動して第１の変調素子である変調素子１０２を光路上に挿入する（ステップＳ１７）。これにより、顕微鏡１０の光学系の瞳関数が変更される。その後、制御装置２０は、焦準部を所定量だけ移動し（ステップＳ１８）、顕微鏡１０で第１の画像を取得する（ステップＳ１９）。そして、制御装置２０は、ステップＳ１９で取得した第１の画像のコントラストを算出する（ステップＳ２０）。制御装置２０は、ステップＳ１８からステップＳ２０の処理を繰り返しながらコントラストが最大となる焦準部の位置を探索し、コントラストが最大となったときにフォーカスがあったと判断する（ステップＳ２１）。
　フォーカス合わせが終了すると、制御装置２０は、フォーカス合わせで移動した焦準部の移動量が閾値未満か否かを判定する（ステップＳ２２）。閾値は、十分に小さい値であれば特に限定しない。閾値は、例えば、対物レンズ１０１の開口数に依存する焦点深度であってもよい。
　制御装置２０は、移動量が閾値未満であれば（ステップＳ２２ＹＥＳ）、図７に示す処理を終了する。一方、移動量が閾値未満でなければ（ステップＳ２２ＮＯ）、ステップＳ１２に戻って、移動量が閾値未満となるまで、収差補正とフォーカス合わせを繰り返す。
　以上のように、本実施形態に係る顕微鏡システムによれば、図７に示す自動調整方法を行うことで、フォーカスと収差の両方を良好に調整することができる。また、図７に示す自動調整方法では、処理開始から終了まで人間が顕微鏡システムに指示を与える必要がなく、完全に自動でフォーカス合わせと収差補正を行うことができる。
　第１の変調素子と第２の変調素子として、図６に示すパターンを有する変調素子を例示したが、変調素子が有するパターンはこの例に限らない。第１の変調素子は、例えば、図８に示す変調パターンＬ２で示す透過率分布を有してもよい。第２の変調素子は、例えば、図８に示す変調パターンＨ２で示す透過率分布を有してもよい。
　この場合も、第１の変調素子を用いて取得される第１の画像は、図９に示すように、第２の変調素子を用いて取得した画像に比べて球面収差の影響を受けにくい。このため、理想フォーカス位置の近くにフォーカスを合わせることができる。また、第２の変調素子を用いて取得される第２の画像は、図９に示すように、第１の変調素子を用いて取得した画像に比べて球面収差の影響を受けやすい。そのため、球面収差をより高い精度で補正することができる。
　なお、図９に示すフォーカス位置Ｆ１１、フォーカス位置Ｆ２は、それぞれ第１の画像に対応するフォーカス位置を、第２の画像に対応するフォーカス位置を例示している。図９に示す領域Ｒ１１、領域Ｒ２は、それぞれ第１の画像に含まれる周波数成分を示す領域を、第２の画像に含まれる周波数成分を示す領域を例示している。
　図８に示す変調パターンＬ２で示す透過率分布は、変調素子を用いることなく実現することができる。従って、図８に示す変調パターンＬ２と変調パターンＨ２の切り替えは、第２の変調素子(球面収差を強調する光学素子)を光路に挿脱することによって実現可能である。この場合、切り替え作業の負担が軽減されるとともに、光学システムに必要な光学素子の数も減らすことができる。
　図１０から図１６は、変調素子の変調パターンの更に別の例を示した図である。本実施形態に係る顕微鏡システムは、図１０から図１６に示す変調パターンの組み合わせ（変調パターンＬ３と変調パターンＨ３から変調パターンＬ９と変調パターンＨ９）を使用してもよい。その場合も、球面収差の影響を受けにくい画像と球面収差の影響を受けやすい画像の両方を取得することができる。
　顕微鏡１００は、より具体的には、第１の変調素子と第２の変調素子は、以下の条件式を満たすことが望ましい。ここで、ｆ（ｒ）は第１の変調素子の透過率分布である。ｇ（ｒ）は第２の変調素子の透過率分布である。ｒは光軸からの距離である。Ｌ１は第１の変調素子に入射したときの軸上光線束の半径である。Ｌ２は第２の変調素子に入射したときの前記軸上光線束の半径である。
Figure JPOXMLDOC01-appb-M000004
　なお、図８などのように第１の変調素子を用いることなく第２の変調素子（球面収差を強調する光学素子）を光路に挿脱することを考慮すると、条件式（１）の各パラメータは、以下のように言い換えることができる。球面収差を強調する光学素子を使用して観察を行うときにその光学素子を配置する顕微鏡１００内の領域を、対象領域と定義する。この場合、ｆ（ｒ）は球面収差を強調する光学素子を使用しない場合における対象領域の透過率分布である。ｇ（ｒ）は球面収差を強調する光学素子の透過率分布である。ｒは光軸からの距離である。Ｌ１は球面収差を強調する光学素子を使用しない場合における対象領域に入射したときの軸上光線束の半径である。Ｌ２は球面収差を強調する光学素子に入射したときの軸上光線束の半径である。ここで、この言い換え表現は、図８だけではなく、図６、図１０から図１６、図２５、及び、図２８から図４７についても適用可能である。つまり、矢印の左右にある変調素子を択一的に使用する場合、左側にある第１の変調素子を使用するときは球面収差を強調する光学素子を使用しないときに該当する。右側にある第２の変調素子を使用するときは球面収差を強調する光学素子を使用するときに該当する。
　条件式（１）を満たすことで、第２の変調素子を用いて取得した画像の周波数成分の平均値が第１の変調素子を用いて取得した画像の周波数成分の平均値に比べて高くなる。このため、球面収差の影響を受けにくい画像と球面収差の影響を受けやすい画像の両方を取得することが可能となる。
　以上では、対物レンズ１０１の瞳位置又はその近傍に変調素子を配置する例を示した。しかし、変調素子が配置される位置は、対物レンズ１０１の瞳位置又はその近傍に限らない。瞳位置又はその近傍である図１７に示す位置Ｐ１の代わりに、対物レンズ１０１の瞳と光学的に共役な位置Ｐ２又は位置Ｐ３に配置されてもよい。位置Ｐ２、位置Ｐ３は、それぞれ透過照明光路上、落射照明光路上にある瞳共役位置又はその近傍である。これらの位置であっても、高い開口数の光線と低い開口数の光線は、空間的に異なる位置を通過するため、変調素子によって周波数成分を制限することができる。
　また、変調素子は、図１７に示す位置Ｐ４に配置されてもよい。位置Ｐ４は、対物レンズ１０１と結像レンズ１０５の間の位置である。位置Ｐ４には、対物レンズ１０１によって形成された平行光線束が通過する。位置Ｐ４においても近軸領域内においては、高い開口数の光線と低い開口数の光線が空間的に異なる位置を通過している。このため、位置Ｐ４に変調素子を配置した場合であっても、視野の中心付近の情報のみを使用することで、球面収差の影響を受けにくい画像と球面収差の影響を受けやすい画像の両方を取得することが可能となる。
　顕微鏡１００で明視野観察を行う場合を例に説明したが、顕微鏡が蛍光顕微鏡の場合には、変調素子は少なくとも観察光を変調する位置に配置されることが望ましい。このため、例えば、図１７に示す位置Ｐ１又は位置Ｐ４に配置されることが望ましい。また、顕微鏡が多光子励起顕微鏡やシート照明顕微鏡の場合には、変調素子は少なくとも照明光を変調する位置に配置されることが望ましい。また、顕微鏡がディスク走査型の顕微鏡の場合には、変調素子は回転ディスクよりも物体側に配置されることが望ましい。なお、顕微鏡が共焦点顕微鏡の場合には、変調素子は、明視野観察と同様に照明光又は観察光の少なくとも一方を変調する位置に配置されることが望ましい。
　以上では、顕微鏡システムが第１の画像と第２の画像を時間的に順番に取得する例を示した。しかし、第１の画像と第２の画像は同時に取得されてもよい。図１８から図２４は、顕微鏡１００の変形例の構成を例示した図である。本実施形態に係る顕微鏡システムは、顕微鏡１００の代わりに、図１８に示す顕微鏡２００から図２４に示す顕微鏡８００を含んでもよい。なお、顕微鏡２００から顕微鏡８００は、いずれも第１の画像と第２の画像を同時に取得することができる。
　図１８に示す顕微鏡２００は、対物レンズ２０１、結像レンズ２０２、複数のレンズ（レンズ２０３、レンズ２０６、レンズ２０９）、ハーフミラーであるスプリッタ２０４、２つの変調素子（変調素子２０５、変調素子２０８）、及び、２つの撮像装置（撮像装置２０７、撮像装置２１０）を含んでいる。
　顕微鏡２００では、変調素子２０５で高い開口数に対応する光線を遮断することで、撮像装置２０７が第１の画像を取得し、変調素子２０８で低い開口数に対応する光線を遮断することで、撮像装置２１０が第２の画像を取得する。
　図１９に示す顕微鏡３００は、対物レンズ３０１、変調素子３０２、結像レンズ３０３、複数のレンズ（レンズ３０４、レンズ３０６、レンズ３０８）、偏光ビームスプリッタであるスプリッタ３０５、及び、２つの撮像装置（撮像装置３０７、撮像装置３０９）を含んでいる。なお、変調素子３０２は、偏光板３０２ａと偏光板３０２ｂからなる。そして、変調素子３０２では、偏光板３０２ａと偏光板３０２ｂは互いに直交する偏光方向を有する偏光を透過する。
　顕微鏡３００では、スプリッタ３０５で偏光板３０２ａを通過した偏光と偏光板３０２ｂを通過した偏光が分離されることで、撮像装置３０７が第１の画像を取得し、撮像装置３０９が第２の画像を取得する。
　図２０に示す顕微鏡４００は、対物レンズ４０１、結像レンズ４０２、複数のレンズ（レンズ４０３、レンズ４０５、レンズ４０７）、開口が形成されたミラー４０４、及び、２つの撮像装置（撮像装置４０６、撮像装置４０８）を含んでいる。
　顕微鏡４００では、ミラー４０４において、高い開口数に対応する光線が反射し、低い開口数に対応する光線が透過することで、撮像装置４０６が第１の画像を取得し、撮像装置４０８が第２の画像を取得する。
　図２１に示す顕微鏡５００は、対物レンズ５０１、結像レンズ５０２、複数のレンズ（レンズ５０３、レンズ５０６、レンズ５１０）、ハーフミラーであるスプリッタ５０４、２つの変調素子（変調素子５０５、変調素子５０８）、プリズム５０９、及び、撮像装置５０７を含んでいる。
　顕微鏡５００は、スプリッタ５０４とプリズム５０９を用いて第１の画像と第２の画像を同じ撮像装置５０７で取得する点を除き、顕微鏡２００と同様である。
　図２２に示す顕微鏡６００は、共焦点顕微鏡である。顕微鏡６００は、スキャナ６０１、変調素子６０２、複数のレンズ（レンズ６０３、レンズ６０５）、偏光ビームスプリッタであるスプリッタ６０６、及び、２つの光検出器（光検出器６０７、光検出器６０８）を含んでいる。なお、変調素子６０２は、偏光板６０２ａと偏光板６０２ｂからなり、偏光板６０２ａと偏光板６０２ｂは互いに直交する偏光方向を有する偏光を透過する。
　顕微鏡６００では、スキャナ６０１でデスキャンした光束に対して変調素子６０２で変調する。そして、ＰＢＳ６０６で偏光板６０２ａを通過した偏光と偏光板６０２ｂを通過した偏光が分離されることで、光検出器６０７が低周波数成分を検出し、光検出器６０８が高周波数成分を検出する。第１の画像は、光検出器６０７で検出された低周波数成分に基づいて生成される。そして、第２の画像は、光検出器６０８で検出された高周波数成分に基づいて生成される。
　図２３に示す顕微鏡７００は、対物レンズ７０１、変調素子７０２、結像レンズ７０３、偏光ビームスプリッタであるスプリッタ７０４、λ／４板７０５、プリズム７０６、及び、撮像装置７０７を含んでいる。なお、変調素子７０２は、偏光板７０２ａと偏光板７０２ｂからなる。そして、偏光板７０２ａと偏光板７０２ｂは互いに直交する偏光方向を有する偏光を透過する。
　顕微鏡７００では、ＰＢＳ７０４で偏光板７０２ａを通過した偏光と偏光板７０２ｂを通過した偏光が分離される。ＰＢＳ７０４で反射した偏光は、λ／４板７０５内を往復することで偏光方向が変換され、ＰＢＳ７０４を透過する。これにより、第１の画像と第２の画像が同じ撮像装置７０７で取得される。
　図２４に示す顕微鏡８００は、対物レンズ８０１、変調素子８０２、結像レンズ８０３、及び、撮像装置８０４を含んでいる。なお、変調素子８０２は、波長フィルタ８０２ａと波長フィルタ８０２ｂからなる。波長フィルタ８０２ａと波長フィルタ８０２ｂは互いに異なる波長の光を透過する。撮像装置８０４は、カラーカメラであり、ＲＧＢの各成分を区別して検出する。
　顕微鏡８００では、変調素子８０２で高い開口数に対応する光線の波長と低い開口数に対応する光線の波長を異ならせる。これにより、第１の画像と第２の画像が同じ撮像装置８０４で取得される。
　第１の変調素子と第２の変調素子が光軸に対して対称な特性を有する例を示したが、第１の変調素子と第２の変調素子は光軸に対して非対称な特性を有してもよい。例えば、第１の変調素子は、図２５に示す変調パターンＬ１０で示す透過率分布を有してもよい。第２の変調素子は、図２５に示す変調パターンＨ１０で示す透過率分布を有してもよい。変調パターンＨ１０は、第２の変調素子に入射した光束のうち半分を完全に遮断する特性を有している。
　例えば、変調パターンＬ１０を有する第１の変調素子を用いて第１の画像を取得し、第１の画像に基づいてフォーカス合わせを行う。その後に、変調パターンＨ１０を有する第２の変調素子を用いて第２の画像を取得する。この場合を考える。球面収差が過剰に補正されている場合には、図２６Ａに示すように、第１の画像に基づくフォーカス位置ＦＰよりも近い位置に光が集光する。これに対して、球面収差が補正不足の場合には、図２６Ｂに示すように、第１の画像に基づくフォーカス位置ＦＰよりも離れた位置に光が集光する。この違いによって、図２７に示すように、補正過多の状態と補正過小の状態では、画面の中心から互いに反対方向にずれた位置に画像（画像３１、画像３２）が表示されることになる。
　従って、図２５に示す変調パターンＨ１０を用いることで、制御装置２０は、補正過多の状態と補正過小の状態を画像に基づいて容易に識別することが可能となる。このため、収差補正を行う場合に収差補正の方向（つまり、補正量を増やす方向と減らす方向）を誤ってしまうことを回避することができる。その結果、より短時間で収差補正を行うことが可能となる。
　なお、非対称な変調パターンは、収差補正に限らず、フォーカス合わせで使用されてもよい。フォーカス合わせに使用し場合には、焦準部を移動すべき方向を特定することが可能となる。また、収差補正とフォーカス合わせの両方で非対称な変調パターンが使用されてもよい。例えば、図２８から図４７に示す変調パターンの組み合わせ（変調パターンＬ１１と変調パターンＨ１１から変調パターンＬ３０と変調パターンＨ３０）を使用してもよい。なお、これの変調パターンを用いた場合でも、球面収差の影響を受けにくい画像と球面収差の影響を受けやすい画像の両方を取得することができる点は、図６、図８、図１０から図１６に示す変調パターンを使用した場合と同様である。
［第２の実施形態］
　図４８は、本実施形態に係る半自動調整処理のフローチャートである。本実施形態に係る顕微鏡システムの構成は、第１の実施形態に係る顕微鏡システムと同様である。本実施形態に係る顕微鏡システムは、図７に示す自動調整処理の代わりに、図４８に示す半自動調整処理を行う点が、第１の実施形態に係る顕微鏡システムとは異なっている。
　図４８に示す半自動調整処理が開始されると、制御装置２０は、まず、顕微鏡１００に第１の画像を取得させる（ステップＳ３１）。そして、制御装置２０は、顕微鏡１００が取得した画像を表示装置３０に表示させる（ステップＳ３２）。なお、本実施形態では、ステップＳ３１の前に、利用者が手動で第１の変調素子を光路上に配置する。
　その後、制御装置２０は、フォーカスが合っているか否かを判断する（ステップＳ３３）。ここでは、制御装置２０は、例えば、表示装置３０に表示された画像を確認した利用者によってフォーカス合わせの終了指示が入力されたか否かによってフォーカスが合っているか否かを判断してもよい。利用者が手動で焦準部を操作してフォーカス合わせを行い、フォーカス合わせの終了指示を入力すると、制御装置２０は、フォーカスが合っていると判断する。
　さらに、制御装置２０は、半自動処理を終了するか否を判定する（ステップＳ３４）。ここでは、制御装置２０は、例えば、第１の画像が表示されている期間中の焦準部の移動量が閾値未満であるか否かによって、半自動処理を終了するか否を判定してもよい。
　半自動処理を終了しないと判定すると、制御装置２０は、顕微鏡１００に第２の画像を取得させる（ステップＳ３５）。そして、制御装置２０は、顕微鏡１００が取得した画像を表示装置３０に表示させる（ステップＳ３６）。なお、本実施形態では、ステップＳ３５の前に、利用者が手動で第２の変調素子を光路上に配置する。
　その後、制御装置２０は、収差が補正されているか否かを判断する（ステップＳ３７）。ここでは、制御装置２０は、例えば、表示装置３０に表示された画像を確認した利用者によって収差補正の終了指示が入力されたか否かによって収差が補正されているか否かを判断してもよい。利用者が手動で補正環１５を操作して収差補正を行い、収差補正の終了指示を入力すると、制御装置２０は、収差が補正されていると判断する。
　さらに、制御装置２０は、半自動処理を終了するか否を判定する（ステップＳ３８）。ここでは、制御装置２０は、例えば、第２の画像が表示されている期間中の補正環１５の回転量が閾値未満であるか否かによって、半自動処理を終了するか否を判定してもよい。
　半自動処理を終了しないと判定すると、制御装置２０は、ステップＳ３１に戻り、半自動処理を終了すると判定するまで、上述した処理を繰り返す。
　以上のように、本実施形態では、制御装置２０は、第１の画像が表示されている期間中にフォーカス合わせの終了を検出すると、第２の画像を表示装置３０に表示させる。また、制御装置２０は、第２の画像が表示されている期間中に収差補正の終了を検出すると、第１の画像を表示装置３０に表示させる。図４８に示す半自動調整方法を行うことによっても、フォーカスと収差の両方を良好に調整することができる。また、図４８に示す半自動調整方法は、電動補正環や電動焦準部を有しない顕微鏡システムにも適用可能である。
［第３の実施形態］
　図４９は、本実施形態に係る自動調整処理のフローチャートである。本実施形態に係る顕微鏡システムの構成は、第１の実施形態に係る顕微鏡システムと同様である。本実施形態に係る顕微鏡システムは、図７に示す自動調整処理の代わりに、図４９に示す自動調整処理を行う点が、第１の実施形態に係る顕微鏡システムとは異なっている。図７に示す自動調整処理では変調素子の切り替えによって第１の画像と第２の画像の間で取得する画像が切り替わるのに対して、図４９に示す自動調整処理では、画像処理によって第１の画像と第２の画像を生成する点が異なっている。
　図４９に示す自動調整処理が開始されると、制御装置２０は、まず、顕微鏡１００を制御してオートフォーカスを行う（ステップＳ４１）。ステップＳ４１の処理は、図７のステップＳ１１の処理と同様である。
　次に、制御装置２０は、補正環を所定量だけ回転し（ステップＳ４２）、顕微鏡１０で画像を取得する（ステップＳ４３）。さらに、制御装置２０は、ステップＳ４３で取得した画像に対して画像処理を施して第２の画像を生成する（ステップＳ４４）。ステップＳ４４で行う画像処理は、例えば、ステップＳ４３で取得した画像をフーリエ変換して瞳画像を生成し、瞳画像に空間周波数フィルタを適用し、フィルタ適用後に得られた画像を逆フーリエ変換する処理であってもよい。なお、空間周波数フィルタは、例えば、ハイパスフィルタである。
　その後、制御装置２０は、ステップＳ４４で生成した第２の画像のコントラストを算出する（ステップＳ４５）。制御装置２０は、ステップＳ４２からステップＳ４５の処理を繰り返しながらコントラストが最大となる補正環の設定を探索する。そして、制御装置２０は、コントラストが最大となったときに収差が補正されたと判断する（ステップＳ４６）。
　収差補正が終了すると、制御装置２０は、焦準部を所定量だけ移動し（ステップＳ４７）、顕微鏡１０で画像を取得する（ステップＳ４８）。さらに、制御装置２０は、ステップＳ４８で取得した画像に対して画像処理を施して第１の画像を生成する（ステップＳ４９）。ステップＳ４９で行う画像処理は、例えば、ステップＳ４９で取得した画像をフーリエ変換して瞳画像を生成し、瞳画像に空間周波数フィルタを適用し、フィルタ適用後に得られた画像を逆フーリエ変換する処理であってもよい。なお、空間周波数フィルタは、例えば、ローパスフィルタである。
　その後、制御装置２０は、ステップＳ４９で生成した第１の画像のコントラストを算出する（ステップＳ５０）。制御装置２０は、ステップＳ４７からステップＳ５０の処理を繰り返しながらコントラストが最大となる焦準部の位置を探索する。制御装置２０は、コントラストが最大となったときにフォーカスがあったと判断する（ステップＳ５１）。
　フォーカス合わせが終了すると、制御装置２０は、フォーカス合わせで移動した焦準部の移動量が閾値未満か否かを判定する（ステップＳ５２）。制御装置２０は、移動量が閾値未満であれば（ステップＳ５２ＹＥＳ）、図４９に示す処理を終了する。一方、移動量が閾値未満であれば（ステップＳ５２ＮＯ）、ステップＳ５２に戻って、移動量が閾値未満となるまで、収差補正とフォーカス合わせを繰り返す。
　以上のように、本実施形態に係る顕微鏡システムによれば、図４９に示す自動調整方法を行うことで、図７に示す自動調整方法を行う場合と同様に、フォーカスと収差の両方を良好に調整する。また、処理開始から終了まで人間が顕微鏡システムに指示を与える必要がなく、完全に自動でフォーカス合わせと収差補正を行うことができる点も、同様である。本実施形態に係る顕微鏡システムは、変調素子を必要としないため、既存の顕微鏡システムをそのまま利用することができる。
　なお、本実施形態では、第１の画像と第２の画像の両方を画像処理によって生成する例を示したが、第１の画像と第２の画像の少なくとも一方が画像処理によって生成されてもよい。
　上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。上述した実施形態の一部を他の実施形態に適用しても良い。光学機器の調整方法、調整支援方法、光学システム、及び、光学機器は、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
　上述した実施形態では、補正環を用いて球面収差を補正する例を示したが、補正装置は、補正環に限らない。例えば、補正環の代わりに、デフォーマブルミラー、空間的に区画された複数の領域を個別に制御可能な位相変調器などを用いて球面収差を補正してもよい。また、位相変調器は、球面収差に限らず任意の収差の補正に用いられてもよく、さらに、フォーカス合わせのために焦準部の代わりに用いられてもよい。
　上述した実施形態では、コントラストが最大となったときにフォーカス合わせ又は収差補正を終了する例を示したが、コントラストが閾値以上に達した場合にフォーカス合わせ又は収差補正を終了してもよい。十分にコントラストが高い状態は、フォーカス合わせが合っている又は収差が補正されているとみなすことができる場合があるためである。
 

Claims (20)

  1. 　標本の画像を取得する光学機器の調整方法であって、
    　前記標本の第１の画像のコントラストが高くなる方向に、前記光学機器に含まれる焦準部を動かす工程と、
    　前記標本の第２の画像のコントラストが高くなる方向に、前記光学機器で生じる収差量を調整する工程と、を含み、
    　前記第２の画像の周波数成分の平均値は、前記第１の画像の周波数成分の平均値よりも高い
    ことを特徴とする調整方法。
  2. 　請求項１に記載の調整方法において、さらに、
    　前記光学機器で前記第１の画像を取得する工程と、
    　前記光学機器で前記第２の画像を取得する工程と、を含む
    ことを特徴とする調整方法。
  3. 　請求項２に記載の調整方法において、さらに、
    　前記第１の画像を取得する工程と前記第２の画像を取得する工程の間で、前記光学機器の光学系の瞳関数を変更する工程と、を含む
    ことを特徴とする調整方法。
  4. 　請求項２又は請求項３に記載の調整方法において、
    　前記第１の画像を取得する工程は、第１の変調素子で照明光又は観察光の少なくとも一方を変調する工程を含み、
    　前記第２の画像を取得する工程は、前記第１の変調素子とは異なる透過率分布を有する第２の変調素子で照明光又は観察光の少なくとも一方を変調する工程を含む
    ことを特徴とする調整方法。
  5. 　請求項４に記載の調整方法において、
    　以下の条件式を満たすことを特徴とする調整方法。
    Figure JPOXMLDOC01-appb-M000001
     　ただし、ｆ（ｒ）は前記第１の変調素子の透過率分布であり、ｇ（ｒ）は前記第２の変調素子の透過率分布であり、ｒは光軸からの距離であり、Ｌ１は前記第１の変調素子に入射したときの軸上光線束の半径であり、Ｌ２は前記第２の変調素子に入射したときの前記軸上光線束の半径である。
  6. 　請求項１に記載の調整方法において、さらに、
    　前記光学機器で取得した画像に対して画像処理を施して前記第１の画像又は前記第２の画像の少なくとも一方を生成する工程と、を含む
    ことを特徴とする調整方法。
  7. 　請求項６に記載の調整方法において、
    　前記第１の画像又は前記第２の画像の少なくとも一方を生成する工程は、前記光学機器で取得した画像をフーリエ変換した瞳画像に空間周波数フィルタを適用する工程を含む
    ことを特徴とする調整方法。
  8. 　請求項１乃至請求項７のいずれか１項に記載の調整方法において、
    　前記光学機器で生じる収差量を調整する工程は、前記光学機器に含まれる補正環を調整する工程を含む
    ことを特徴とする調整方法。
  9. 　標本の画像を取得する光学機器の調整支援方法であって、
    　前記標本の第１の画像が表示されている期間中にフォーカス合わせの終了を検出すると、前記標本の第２の画像を表示装置に表示させる工程と、
    　前記第２の画像が表示されている期間中に収差補正の終了を検出すると、前記第１の画像を前記表示装置に表示させる工程と、を含み、
    　前記第２の画像の周波数成分の平均値は、前記第１の画像の周波数成分の平均値よりも高い
    ことを特徴とする調整支援方法。
  10. 　請求項９に記載の調整支援方法において、さらに、
    　前記光学機器で前記第１の画像を取得する工程と、
    　前記光学機器で前記第２の画像を取得する工程と、を含む
    ことを特徴とする調整支援方法。
  11. 　請求項１０に記載の調整支援方法において、さらに、
    　前記第１の画像を取得する工程と前記第２の画像を取得する工程の間で、前記光学機器の光学系の瞳関数を変更する工程を含む
    ことを特徴とする調整支援方法。
  12. 　請求項１０又は請求項１１に記載の調整支援方法において、
    　前記第１の画像を取得する工程は、第１の変調素子で照明光又は観察光の少なくとも一方を変調する工程を含み、
    　前記第２の画像を取得する工程は、前記第１の変調素子とは異なる透過率分布を有する第２の変調素子で照明光又は観察光の少なくとも一方を変調する工程を含む
    ことを特徴とする調整支援方法。
  13. 　請求項１２に記載の調整支援方法において、
    　以下の条件式を満たすことを特徴とする調整支援方法。
    Figure JPOXMLDOC01-appb-M000002
     　ただし、ｆ（ｒ）は前記第１の変調素子の透過率分布であり、ｇ（ｒ）は前記第２の変調素子の透過率分布であり、ｒは光軸からの距離であり、Ｌ１は前記第１の変調素子に入射したときの軸上光線束の半径であり、Ｌ２は前記第２の変調素子に入射したときの前記軸上光線束の半径である。
  14. 　請求項９に記載の調整支援方法において、さらに、
    　前記光学機器で前記第１の画像を取得する工程と、
    　前記光学機器で取得した画像に対して画像処理を施して前記第２の画像を生成する工程と、を含む
    ことを特徴とする調整支援方法。
  15. 　請求項１４に記載の調整支援方法において、
    　前記第２の画像を生成する工程は、前記光学機器で取得した画像をフーリエ変換した瞳画像に空間周波数フィルタを適用する工程を含む
    ことを特徴とする調整支援方法。
  16. 　標本の画像を取得する光学機器であって、対物レンズと、前記対物レンズと前記標本の間の距離を変更する焦準部と、収差を補正する補正装置と、を含む光学機器と、
    　前記光学機器を制御する制御装置と、を備え、
    　前記制御装置は、
    　　前記標本の第１の画像のコントラストが高くなる方向に、前記焦準部を動かし、
    　　前記標本の第２の画像のコントラストが高くなる方向に、前記補正装置の設定を変更して前記光学機器で生じる収差量を調整し、
    　前記第２の画像の周波数成分の平均値は、前記第１の画像の周波数成分の平均値よりも高い
    ことを特徴とする光学システム。
  17. 　請求項１６に記載の光学システムにおいて、
    　前記補正装置は、球面収差を補正する補正環を含む
    ことを特徴とする光学システム。
  18. 　請求項１６又は請求項１７に記載の光学システムにおいて、
    　前記光学機器は、顕微鏡を含む
    ことを特徴とする光学システム。
  19. 　標本の画像を取得する光学機器であって、
    　球面収差を補正する補正環を備えた対物レンズと、
    　前記球面収差を強調する光学素子と、を備えた
    ことを特徴とする光学機器。
  20. 　請求項１９に記載の光学機器であって、
    　以下の条件式を満たすことを特徴とする光学機器。
    Figure JPOXMLDOC01-appb-M000003
     　ただし、ｆ（ｒ）は前記光学素子を使用しない場合における対象領域の透過率分布であり、前記対象領域は、前記光学素子を使用して観察を行うときに前記光学素子を配置する前記光学機器内の領域である。ｇ（ｒ）は前記光学素子の透過率分布であり、ｒは光軸からの距離であり、Ｌ１は前記光学素子を使用しない場合における前記対象領域に入射したときの軸上光線束の半径であり、Ｌ２は前記光学素子に入射したときの前記軸上光線束の半径である。
PCT/JP2020/021455 2019-05-31 2020-05-29 光学機器の調整方法、調整支援方法、光学システム、光学機器 WO2020241868A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/534,933 US20220082808A1 (en) 2019-05-31 2021-11-24 Method of adjusting optical apparatus, adjustment support method, optical system, and optical apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019102310A JP7197431B2 (ja) 2019-05-31 2019-05-31 光学機器の調整方法、光学システム
JP2019-102310 2019-05-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/534,933 Continuation US20220082808A1 (en) 2019-05-31 2021-11-24 Method of adjusting optical apparatus, adjustment support method, optical system, and optical apparatus

Publications (1)

Publication Number Publication Date
WO2020241868A1 true WO2020241868A1 (ja) 2020-12-03

Family

ID=73553206

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/021455 WO2020241868A1 (ja) 2019-05-31 2020-05-29 光学機器の調整方法、調整支援方法、光学システム、光学機器

Country Status (3)

Country Link
US (1) US20220082808A1 (ja)
JP (1) JP7197431B2 (ja)
WO (1) WO2020241868A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230204455A1 (en) * 2021-08-13 2023-06-29 Zf Active Safety And Electronics Us Llc Evaluation system for an optical device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112965261B (zh) * 2021-02-23 2022-10-28 山东仕达思生物产业有限公司 一种快速有效的基于机器视觉的智能校正显微镜光轴的方法及其实现系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009153919A1 (ja) * 2008-06-17 2009-12-23 株式会社ニコン 顕微鏡装置および顕微鏡装置制御プログラム
JP2011095685A (ja) * 2009-11-02 2011-05-12 Sony Corp 顕微鏡システム及び顕微鏡システムの制御方法
JP2012145788A (ja) * 2011-01-13 2012-08-02 Sony Corp 顕微鏡装置及び球面収差補正方法
JP2018173507A (ja) * 2017-03-31 2018-11-08 株式会社ニコン 補正量算出装置、顕微鏡、補正量算出プログラム、補正量算出方法
JP2018205069A (ja) * 2017-06-01 2018-12-27 株式会社日立製作所 光計測装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4441831B2 (ja) * 1999-09-16 2010-03-31 株式会社ニコン 顕微鏡装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009153919A1 (ja) * 2008-06-17 2009-12-23 株式会社ニコン 顕微鏡装置および顕微鏡装置制御プログラム
JP2011095685A (ja) * 2009-11-02 2011-05-12 Sony Corp 顕微鏡システム及び顕微鏡システムの制御方法
JP2012145788A (ja) * 2011-01-13 2012-08-02 Sony Corp 顕微鏡装置及び球面収差補正方法
JP2018173507A (ja) * 2017-03-31 2018-11-08 株式会社ニコン 補正量算出装置、顕微鏡、補正量算出プログラム、補正量算出方法
JP2018205069A (ja) * 2017-06-01 2018-12-27 株式会社日立製作所 光計測装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230204455A1 (en) * 2021-08-13 2023-06-29 Zf Active Safety And Electronics Us Llc Evaluation system for an optical device

Also Published As

Publication number Publication date
JP7197431B2 (ja) 2022-12-27
JP2020197582A (ja) 2020-12-10
US20220082808A1 (en) 2022-03-17

Similar Documents

Publication Publication Date Title
US10356390B2 (en) Rapid three-dimensional microscopic imaging system
CN107113370B (zh) 图像记录设备及记录图像方法
RU2523028C2 (ru) Устройство обработки изображения, устройство захвата изображения и способ обработки изображения
JP4136011B2 (ja) 焦点深度伸長装置
EP2995983A1 (en) Control apparatus, control method, program, and storage medium
CN112703440B (zh) 显微镜系统
JP6147080B2 (ja) 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム
WO2020241868A1 (ja) 光学機器の調整方法、調整支援方法、光学システム、光学機器
JP6147079B2 (ja) 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム
JPWO2020066042A1 (ja) 顕微鏡システム、投影ユニット、及び、画像投影方法
US10429632B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
US20120140057A1 (en) Microscope for Measuring Total Reflection Fluorescence
JP2018194780A (ja) 顕微鏡システム、制御方法、及び、プログラム
WO2014132485A1 (ja) 標本観察方法及び標本観察装置
JP7193989B2 (ja) 顕微鏡装置
JP5019279B2 (ja) 共焦点顕微鏡及び合焦カラー画像の生成方法
Kwan et al. High resolution, programmable aperture light field laparoscope for quantitative depth mapping
JP5996462B2 (ja) 画像処理装置、顕微鏡システム及び画像処理方法
JP6385643B2 (ja) 標本観察方法及び標本観察装置
JP2018205567A (ja) ライトフィールド顕微鏡、観察方法
JP6962714B2 (ja) 観察装置
JP2016201600A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
Monneret et al. Highly flexible whole-field sectioning microscope with liquid-crystal light modulator
JP2015198380A (ja) 画像処理装置、撮像装置、画像処理プログラム、および画像処理方法
JP2019204026A (ja) 顕微鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20815304

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20815304

Country of ref document: EP

Kind code of ref document: A1