WO2023135702A1 - 観察方法及び観察装置 - Google Patents

観察方法及び観察装置 Download PDF

Info

Publication number
WO2023135702A1
WO2023135702A1 PCT/JP2022/000875 JP2022000875W WO2023135702A1 WO 2023135702 A1 WO2023135702 A1 WO 2023135702A1 JP 2022000875 W JP2022000875 W JP 2022000875W WO 2023135702 A1 WO2023135702 A1 WO 2023135702A1
Authority
WO
WIPO (PCT)
Prior art keywords
autofocus
observation
observation area
area
successful
Prior art date
Application number
PCT/JP2022/000875
Other languages
English (en)
French (fr)
Inventor
達也 山下
剛志 曽根原
豪 桝屋
健斗 西浦
Original Assignee
株式会社日立ハイテク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立ハイテク filed Critical 株式会社日立ハイテク
Priority to PCT/JP2022/000875 priority Critical patent/WO2023135702A1/ja
Publication of WO2023135702A1 publication Critical patent/WO2023135702A1/ja

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/02—Objectives
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals

Definitions

  • the present invention relates to an observation method and an observation device for continuously observing a plurality of observation areas.
  • the methods for measuring microparticles such as bacteria in liquids mainly include the light scattering method, which analyzes the scattering of light, and the image imaging method, which captures images of microscopic particles.
  • the light scattering method irradiates the liquid to be measured with light.
  • Light incident on the liquid is scattered by fine particles in the liquid, and the amount of light transmitted through the liquid is attenuated compared to the amount of incident light.
  • the size and number of fine particles are measured from this attenuation amount.
  • a medical device using the light scattering method for example, there is a drug susceptibility tester that tests the bacterial growth inhibitory effect of an antibacterial agent by measuring the amount of bacteria in a solution containing the antibacterial agent.
  • the light scattering method has low sensitivity, culturing the bacteria requires day and night. As a result, there is a problem that the measurement time becomes long.
  • a drug susceptibility test that applies an image imaging method
  • a culture solution containing bacteria and an antibacterial agent is cultured in a culture container (for example, a well plate), and the bacteria in each culture container are imaged at set intervals. Then, by measuring the size, number, shape, and other characteristic values of the bacteria from the captured image, and monitoring changes over time in the measurement results, it is possible to determine whether or not the bacteria are growing in the solution containing the antibacterial agent.
  • Patent Document 1 a culture plate having a plurality of observation areas into which a bacterial suspension, a culture solution, and an antibacterial agent are introduced is used as a sample, and each observation area is imaged using a microscope optical system at a certain set time interval.
  • the feature values such as the number, area, and shape of bacteria are measured from the captured image.
  • the presence or absence of growth of bacteria in a solution containing an antibacterial agent is determined by monitoring changes over time in those measurement results.
  • Japanese Patent Application Laid-Open No. 2002-300000 does not mention speeding up the autofocus at all.
  • Patent Document 2 when an autofocus error occurs in a certain observation area, the in-focus position of the observation area in which the autofocus error has occurred is estimated based on the in-focus positions of a plurality of other observation areas (S7), AF is turned on from the in-focus position (S2).
  • S7 in Japanese Patent Application Laid-Open No. 2002-200022
  • the processing for setting the initial position of the objective lens, such as S7 described above is not performed before AF is turned on. Therefore, in Patent Document 2, autofocus is started from the home position each time the camera moves to the next observation point. Therefore, in Patent Document 2, it is necessary to repeat the movement of the objective lens from the home position to the focused position, and high-speed autofocus is realized when the focused positions of the observation areas to be continuously observed are substantially the same.
  • Patent Document 2 in normal autofocus before an autofocus error occurs, the processing for setting the initial position of the objective lens, such as S7 described above, is not performed before AF is turned on. Therefore, in Patent Document 2, autofocus is started from the home position
  • the present invention provides a technique capable of increasing the speed of autofocus performed in a plurality of observation areas observed continuously.
  • an observation method of the present invention is an observation method in which a first observation area and a second observation area, which are observation targets, are continuously observed, autofocus is performed in the first observation area. and when the autofocus is successful in the first observation area, the first observation area is imaged, and in the second observation area starting from the first position of the objective lens when the autofocus is successful performing autofocus.
  • FIG. 1 is a schematic configuration diagram of an observation device of Example 1.
  • FIG. 3 is a hardware block diagram of a control unit of the observation device of Example 1.
  • FIG. 4 is a flow chart showing an observation method executed by the observation device of Example 1.
  • FIG. 9 is a flow chart showing an observation method executed by the observation device of Example 2.
  • FIG. 10 is a flow chart showing an observation method executed by the observation device of Example 3.
  • FIG. 10 is a flow chart showing an observation method executed by the observation device of Example 3.
  • FIG. 14 is a flow chart showing an observation method executed by the observation device of Example 4.
  • FIG. 1 is a schematic configuration diagram of an observation device of Example 1.
  • FIG. 1 The configuration of the observation device 1 of Example 1 will be described with reference to FIG.
  • Observation device 1 is an observation device for observing well plate 2 .
  • the observation target observed by the observation device 1 is not limited to a well plate, and may be a plurality of slides or a culture vessel as long as it has a plurality of observation regions.
  • the well plate 2 is formed with a plurality of wells containing samples, and the plurality of wells serve as an observation region 3 .
  • the observation device 1 continuously observes a plurality of observation regions 3 of the well plate 2 in a predetermined order.
  • the observation device 1 includes an XY stage unit 102 , an inverted microscope optical system 103 , an autofocus unit 104 , a control section 105 , an image processing section 106 and a storage section 107 .
  • the XY stage unit 102 moves the well plate 2 planarly (in the X-axis direction and the Y-axis direction) to arrange the desired observation area 3 of the well plate 2 at the observation point.
  • the observation point is on the optical axis of an objective lens 109, which will be described later.
  • the XY stage unit 102 moves the well plate 2 in the X-axis direction and the Y-axis direction, but the inverted microscope optical system 103 moves in the X-axis direction and the Y-axis direction to move the desired observation area 3. It may be placed at an observation point.
  • the inverted microscope optical system 103 images each of the multiple observation areas 3 of the well plate 2 .
  • the inverted microscope optical system 103 includes an illumination 108 for imaging the well plate 2, an objective lens 109, an objective lens actuator 110 that moves the objective lens 109 in the Z-axis direction, an image sensor 111, and an incident light from the objective lens 109.
  • a dichroic mirror 112 and an image forming lens 113 are provided for forming the captured image on the image sensor 111 .
  • the illumination 108 is transmitted illumination installed at a position on the opposite side of the objective lens 109 with the well plate 2 interposed therebetween. But it's okay.
  • the image sensor 111 may be a CMOS image sensor or a CCD image sensor.
  • the autofocus unit 104 performs autofocus in each observation area 3 .
  • the autofocus unit 104 executes autofocus within a certain time, outputs a success signal if the autofocus succeeds within the certain time, and outputs an error signal if the autofocus does not succeed within the certain time.
  • the autofocus unit 104 includes a focusing light source 114 , a collimating lens 115 , a beam splitter 116 , a focusing imaging lens 117 , a cylindrical lens 118 and a light receiving element 119 .
  • a light beam emitted from the focusing light source 114 is collimated by a collimating lens 115 , passes through a beam splitter 116 , a dichroic mirror 112 and an objective lens 109 and irradiates the bottom surface of the well plate 2 .
  • the light beam applied to the bottom surface of well plate 2 passes through objective lens 109 and dichroic mirror 112 and is reflected by beam splitter 116 .
  • the light reflected by the beam splitter 116 passes through the focusing imaging lens 117 and the cylindrical lens 118 and forms an image on the light receiving element 119 .
  • the light receiving element 119 converts the received optical signal or optical energy into an electrical signal or electrical energy, and outputs the electrical signal or electrical energy to the control unit 105 .
  • the control unit 105 controls the operation of each unit of the observation device 1. For example, the controller 105 controls the XY stage unit 102 to move the desired observation area 3 of the well plate 2 to the observation point. The control unit 105 also controls the objective lens actuator 110 based on the electrical signal output from the light receiving element 119 of the autofocus unit 104 to move the objective lens 109 to the in-focus position. The control unit 105 also acquires an image of the observation area 3 captured by the image sensor 111 and stores it in the storage unit 107 or transfers it to the image processing unit 106 .
  • the image processing unit 106 performs image processing on the image captured by the image sensor 111, and calculates feature amounts such as the size/number/shape of microorganisms (for example, bacteria) contained in the sample in the observation area 3. do.
  • the storage unit 107 stores the feature amount calculated from the image of each observation area 3, information indicating the observation area 3 in which autofocus has failed, and the like. Also, the storage unit 107 may store raw data or compressed data of the image of the observation region 3 .
  • FIG. 2 is a block diagram showing the hardware configuration of the controller. A hardware configuration of the control unit 105 according to the first embodiment will be described with reference to FIG.
  • the control unit 105 includes a processor 201, a communication interface 202 (hereinafter, the interface is abbreviated as I/F), a main storage device 203, an input/output I/F 204, and a bus that communicably connects each module described above. 205 and .
  • the processor 201 is a central processing unit that controls the operation of each part of the observation device 1 .
  • the processor 201 is, for example, a CPU (Central Processing Unit), a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), or the like.
  • the processor 201 expands the programs stored in the storage unit 107 into the work area of the main storage device 203 so that they can be executed.
  • the main storage device 203 stores programs executed by the processor 201, data processed by the processor, and the like.
  • the main storage device 203 is flash memory, RAM (Random Access Memory), ROM (Read Only Memory), or the like.
  • Storage unit 107 is communicably connected to control unit 105 via input/output I/F 204 .
  • the storage unit 107 stores various programs such as an OS (Operating System) and various data (such as information indicating the above-described feature amount and the observation area 3 in which autofocus has failed).
  • the storage unit 107 is, for example, a silicon disk including a nonvolatile semiconductor memory (flash memory, EPROM (Erasable Programmable ROM)), a solid state drive device, a hard disk (HDD, Hard Disk Drive) device, or the like.
  • the image processing unit 106 is communicably connected to the control unit 105 via the input/output I/F 204 .
  • the image processing unit 106 is, for example, a CPU, DSP, ASIC, or the like. Note that the processor 201 may have the function of the image processing unit 106 .
  • FIG. 3 is a flow chart showing an observation method executed by the observation device 1 of the first embodiment. Each step of the flowchart in FIG. 3 is executed by the processor 201 of the control unit 105, which is a computer system, executing the program developed in the main storage device 203.
  • the observation device 1 performs autofocusing on each observation region 3 of the well plate 2 and acquires a focused image of each observation region 3 .
  • autofocus is abbreviated as AF as appropriate.
  • the well plate 2 containing the sample in each observation area 3 is transported to the XY stage unit 102 by a transport device (not shown).
  • Code information embedded with identification information for identifying the well plate 2 is pasted or printed on the well plate 2 .
  • the well plate 2 is identified by reading the code information with a barcode reader (not shown).
  • the control unit 105 controls the XY stage unit 102 to observe the i-th observation area 3 (i is an integer equal to or greater than 1, and the initial value is 1).
  • the i-th observation area 3 of the well plate 2 placed on the is moved to the observation point of the inverted microscope optical system 103 (S1).
  • the control unit 105 controls the objective lens actuator 110 to move the objective lens 109 to the autofocus start position (hereinafter referred to as "AF start position") (S2).
  • the AF start position starts from the position (focus position) of the objective lens 109 when the previous autofocus was successful.
  • the position (first position) of the objective lens 109 when the autofocus is successful is used as the starting point.
  • Autofocus is performed in the i+1th observation area (second observation area) 3 . It should be noted that performing autofocusing in the i+1-th observation area 3 starting from the position of the objective lens 109 when autofocusing is successful means performing autofocusing from this position, and performing autofocusing from this position. including performing autofocus from position.
  • control unit 105 controls the autofocus unit 104 to perform autofocus in the i-th observation area 3 (S3).
  • the control unit 105 controls the objective lens actuator 110 based on the electrical signal output from the light receiving element 119 of the autofocus unit 104 to move the objective lens 109 in the Z-axis direction.
  • the control unit 105 determines whether or not the autofocus has succeeded (S4).
  • the autofocus unit 104 outputs a success signal when the autofocus is successful within a predetermined time, and outputs an error signal when the autofocus is not successful within the predetermined time.
  • the control unit 105 determines whether or not the autofocus is successful according to the success signal and error signal received from the autofocus unit 104 . If it is determined that the autofocus has succeeded within the predetermined time (S4: Yes), the control unit 105 captures an image of the i-th observation region 3 at the focus position of the i-th observation region 3, image is acquired (S5).
  • the image processing unit 106 performs image processing on the acquired image, and calculates feature amounts such as size/number/shape of microorganisms contained in the i-th observation region 3 . Then, the control unit 105 stores the feature amount calculated by the image processing unit 106 in the storage unit 107 (S6). Note that the control unit 105 may store the image of the observation area 3 in the storage unit 107 . Next, the control unit 105 shifts to S7.
  • the control unit 105 does not execute the processing of S5 (capturing the observation region 3 and acquiring the image) and the processing of step 6 (storing the feature amount). , S7.
  • the processing of S5 and the processing of step 6 are not executed, but the processing of S5 and the processing of step 6 may be executed.
  • the acquired image of the observation area 3 is not taken at the in-focus position, so it is an out-of-focus image. The user can use this blurred image for troubleshooting.
  • the imaging and image acquisition of the observation area 3, which is the target of the autofocus may be performed.
  • control unit 105 determines whether the i-th observation area 3 is the last observation area 3 of the well plate 2 (S7). If it is determined that the i-th observation area 3 is the last observation area 3 of the well plate 2 (S7: Yes), the control section 105 terminates this flowchart. On the other hand, if it is determined that the i-th observation area 3 is not the last observation area 3 of the well plate 2 (S7: No), i is incremented and the process returns to S1.
  • Example 1 when autofocus fails in the i-th observation area 3, the AF start position of autofocus in the next (i+1)-th observation area 3 will be described.
  • the AF start position for autofocus in the i+1-th observation area 3 is the home position. That is, in Example 1, when autofocus fails in the observation area 3 immediately before, the AF start position of autofocus in the current observation area 3 becomes the home position.
  • the AF start position of autofocus in the i+1-th observation region 3 may be the position of the objective lens 109 when the previous autofocus was successful. That is, if the autofocus in the i-th observation area (first observation area) 3 succeeds and the autofocus in the i+1-th observation area (second observation area) 3 fails, then the i+2-th observation area
  • the autofocus AF start position in the (third observation area) 3 is the position (first position) of the objective lens 109 when the autofocus in the i-th observation area 3 is successful.
  • the autofocus AF start position in the (third observation area) 3 is the position (second position) of the objective lens 109 when the autofocus in the (i+1)th observation area 3 is successful.
  • Example 1 when autofocusing is successful in the i-th observation area 3, the objective lens 109 is held at the successful focus position. Then, when performing autofocusing in the next (i+1)th observation area 3, autofocusing is performed with the position where the objective lens 109 is held as a starting point. With this control, there is no need to store in the memory the information indicating the position at which the autofocus has succeeded, so there is no need to prepare a memory or memory area for storing the information indicating the position at which the autofocus has succeeded.
  • each autofocus is limited within a certain period of time, and if the autofocus is not successful within the certain period of time, it is determined that the autofocus has failed.
  • autofocusing of the next observation area 3 can be started after a certain period of time at the latest.
  • autofocus can be performed on all observation regions 3 of the well plate 2 .
  • FIG. 4 is a flow chart showing an observation method executed by the observation device 1 of the second embodiment. Descriptions overlapping those of the first embodiment are omitted as appropriate. Although the observation apparatus 1 of Example 1 did not need to prepare a memory for storing the autofocus start position, Example 2 has a memory for storing the autofocus start position.
  • the control unit 105 After storing the feature amount calculated by the image processing unit 106 in the storage unit 107 (S6), the control unit 105 sets the AF start position of the autofocus in the i+1-th observation area 3 to the sum of the i-th observation area 3.
  • the focal position is stored in memory (S20).
  • This memory may be, for example, the main memory device 203, the storage unit 107, or other memory (such as a cache of the processor 201). Note that the execution order of S6 and S20 may be reversed.
  • the AF start position stored in memory is updated each time autofocus succeeds.
  • autofocus can be executed starting from the AF start position stored in the memory after the observation device 1 is restarted. Since other effects are the same as those of the first embodiment, description thereof is omitted.
  • Example 3 The observation apparatus 1 of Example 3 executes autofocusing in all the observation regions 3 of the well plate 2, and then retries autofocusing in the observation regions 3 in which autofocusing has failed.
  • 5A and 5B are flowcharts showing an observation method executed by the observation device 1 of Example 3. FIG. Descriptions overlapping those of the first embodiment are omitted as appropriate.
  • the control unit 105 determines whether or not the autofocus has succeeded (S4). When it is determined that the autofocus has failed (S4: No), the control section 105 stores information indicating the observation area 3 in which the autofocus has failed in the storage section 107 (S30).
  • the control unit 105 determines whether the i-th observation area 3 is the last observation area 3 of the well plate 2 (S7).
  • the observation device 1 uses the remainder of the imaging reference time of the well plate 2 to perform autofocus. retry the autofocus for the observation area 3 in which (1) failed.
  • the imaging reference time of the well plate 2 described above is the time required to image all the observation regions 3 of the well plate 2, and is a fixed time for determining the number of observation regions 3 and the success or failure of autofocus. determined based on
  • the above-mentioned surplus time is caused by autofocus characteristics that the time required for autofocus varies depending on various factors such as the flatness of the well plate 2, the influence of external vibrations, and the state of bacterial growth. .
  • S31 to S38 are processes related to autofocus retry.
  • the control unit 105 determines whether or not the storage unit 107 contains information indicating the observation area 3 in which the autofocus has failed (S31). If there is no information indicating the observation area 3 in which autofocus has failed (S31: No), this flow chart ends. On the other hand, if there is information indicating the observation area 3 in which the autofocus failed (S31: Yes), the elapsed time from the start of imaging of the well plate 2 is checked, and whether the elapsed time is within the imaging reference time of the well plate 2. It is determined whether or not (S32). If the elapsed time exceeds the imaging reference time (S32: No), this flowchart ends.
  • the control unit 105 controls the j-th (j is an integer equal to or greater than 1, and the initial value is 1) observation region in which autofocus has failed.
  • the XY stage unit 102 is controlled to move the j-th observation area 3 for which autofocus has failed to the observation point of the inverted microscope optical system 103 (S33).
  • the control unit 105 controls the objective lens actuator 110 to move the objective lens 109 to the AF start position (S34).
  • the AF start position in this S34 may be the home position, or may be the focus position of the observation area 3 adjacent to the j-th observation area 3 that has been successfully autofocused.
  • control unit 105 controls the autofocus unit 104 to perform autofocus in the j-th observation area 3 where autofocus has failed (S35).
  • control unit 105 determines whether or not the autofocus has succeeded (S36). If it is determined that the autofocus has succeeded within the predetermined time (S36: Yes), the control unit 105 captures an image of the observation area 3 at the in-focus position of the j-th observation area 3 in which the autofocus has failed. The image of the th observation area 3 is acquired (S37).
  • the control unit 105 stores in the storage unit 107 the feature amount related to the j-th observation area 3 in which the autofocus has failed, which is calculated by the image processing unit 106 (S38).
  • the fixed time for retry may be the same as the fixed time for the first time, or may be different. For example, by setting the fixed time for retry to be shorter than the fixed time for the first time, it is possible to retry autofocusing in all of the observation regions 3 to be retryed.
  • executing autofocus for the first time for all the observation areas 3 of the well plate 2 is prioritized over retrying autofocus in the observation area 3 where autofocus has failed.
  • the remaining time of the imaging reference time of the well plate 2 which is set in consideration of the variation in the time required for autofocusing, etc., is utilized to automatically perform the autofocus. Focus can be retried. By this retry, if the autofocus is successful, data loss can be reduced. Since other effects are the same as those of the first embodiment, description thereof is omitted.
  • FIG. 6 is a flow chart showing an observation method executed by the observation device 1 of the fourth embodiment. Descriptions overlapping those of the first embodiment are omitted as appropriate. Further, the continuation of the flow chart of FIG. 6 is the same as that of FIG. 5B, so it is omitted. Note that, in the fourth embodiment, an observation region 3 that has exhibited a feature amount that exceeds a predetermined threshold value multiple times in the past or an observation region 3 that has failed in autofocus multiple times in the past may be excluded from the execution of autofocus. .
  • the control unit 105 determines whether or not the i-th observation area 3 is an imaging target (S40). If it is determined that the object is not an object to be imaged (S40: No), the processes of S1 to S6 and S30 are skipped. In order to determine whether or not it is an object to be imaged, the control unit 105 obtains the information indicating the observation area 3 in which the autofocus failed, which was stored in the storage unit 107 in the past S30, and the observation area 3 in the storage unit 107 in the past S6 and S38. The information indicating the feature amount of the observation area 3 stored in is referred to.
  • the control unit 105 excludes the observation area 3 for which both autofocus and autofocus retry failed in the past from the execution target of autofocus. Also, if the past feature amount exceeds the threshold, sufficient information has already been obtained to determine whether or not the bacteria are multiplying. Therefore, the control unit 105 excludes the observation area 3 in which the past feature amount exceeds the threshold value from the autofocus execution target.
  • Example 4 When autofocusing is performed on the observation area 3 containing bacteria as in drug susceptibility testing, there are, for example, the following three factors that cause autofocusing to fail. (1) Bacteria in each observation area 3 proliferate significantly, inhibiting reflection of light from the light source. (2) The light from the light source is obstructed by scratches on the bottom surface and the back surface of each observation area 3 of the well plate 2, foreign matter adhering thereto, and the like. (3) During the autofocus operation, the distance between the objective lens 109 and the well plate 2 fluctuates due to external vibrations, etc., and the autofocus is not stable.
  • autofocus is performed in advance on the observation area 3 for which sufficient information has been obtained to determine the presence or absence of bacterial growth, or on the observation area 3 where there is a high possibility that autofocus will fail due to a problem with the well plate 2. Excluded. It is possible to allocate the time that would normally be spent imaging these observation areas 3 to imaging other observation areas 3 and to retry autofocus, thereby further reducing data loss. becomes. Since other effects are the same as those of the first embodiment, description thereof is omitted.
  • the present invention is not limited to the above examples, and includes various modifications.
  • the above embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described. It is also possible to replace part of the configuration of one embodiment with the configuration of another embodiment, or to add the configuration of another embodiment to the configuration of one embodiment. Moreover, it is also possible to add, delete, or replace a part of the configuration of each embodiment with another configuration.

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Organic Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Microbiology (AREA)
  • Molecular Biology (AREA)
  • Biotechnology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Genetics & Genomics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

連続して観察される複数の観察領域において実行されるオートフォーカスの高速化を図る。　観察対象であるｉ番目の観察領域及びｉ＋１番目の観察領域を連続して観察する観察方法において、ｉ番目の観察領域においてオートフォーカスを実行すること（Ｓ３）、及び、ｉ番目の観察領域においてオートフォーカスが成功した場合（Ｓ４：Ｙｅｓ）、ｉ番目の観察領域を撮像すること（Ｓ５）、ｉ番目の観察領域においてオートフォーカスが成功したときの対物レンズの位置を起点としてｉ＋１番目の観察領域においてオートフォーカスを実行すること（Ｓ３及びＳ４）、を有する。

Description

観察方法及び観察装置
　本発明は、複数の観察領域を連続して観察する観察方法及び観察装置に関する。
　液体中の細菌などの微粒子を測定する方法には、主に、光の散乱を解析する光散乱法と、微粒子を顕微鏡などの画像を撮像する画像イメージング法とがある。
　光散乱法は、測定対象となる液体に光を照射する。液体に入射した光は、液体中の微粒子により散乱し、液体を透過する光量は、入射した光量に比べて減衰する。この減衰量から微粒子の大きさや個数が測定される。光散乱法を用いた医療機器として、例えば、抗菌剤を含んだ溶液中の細菌量を測定することで、抗菌剤の細菌増殖抑制効果を検査する薬剤感受性検査装置がある。しかし、光散乱法は感度が低いため、細菌の培養に一昼夜が必要である。その結果、測定時間が長くなるという課題がある。
　近年、光散乱法よりも高感度に液中の細菌を検出できる画像イメージング法を応用することにより、薬剤感受性検査の迅速化が研究されている。画像イメージング法を応用した薬剤感受性検査では、細菌と抗菌剤を含む培養液を培養容器（例えば、ウェルプレート）で培養し、各培養容器内の細菌をある設定時間ごとに撮像する。そして、撮像した画像から細菌の大きさ/個数/形状などの特徴量を計測し、それらの計測結果の時間変化をモニタすることで、抗菌剤を含んだ溶液中の細菌の増殖の有無が判断される（特許文献１）。
　また、細菌の状態を画像イメージング法により観察するためには、正確な合焦動作が可能な観察装置が必要である。測定対象にフォーカス用光源から光を照射し、測定対象からの反射光を測定することで自動的に合焦動作を実施するオートフォーカスが知られている（特許文献２）。
特開２０１５－１７７７６８号公報 特開２０１０－１９１２９８号公報
　特許文献１では、細菌懸濁液、培養液及び抗菌剤を導入した複数の観察領域を有する培養プレートをサンプルとして、ある設定時間間隔で、顕微鏡光学系を用いて各観察領域を撮像し、撮像した画像から細菌の数/面積/形状などの特徴量を計測する。そして、特許文献１では、それらの計測結果の時間変化をモニタすることによって、抗菌剤を含んだ溶液中の細菌の増殖の有無を判断する。特許文献１において、スループットを向上させるためには、上記した設定時間内に撮像する培養プレートの枚数を増やす必要がある。そのためには、オートフォーカスの高速化が必要である。しかし、特許文献１には、オートフォーカスの高速化については、何ら言及されていない。
　特許文献２では、ある観察領域においてオートフォーカスエラーが発生した場合に、複数の他の観察領域の合焦位置に基づいてオートフォーカスエラーが発生した観察領域の合焦位置を推測し（Ｓ７）、その合焦位置からＡＦをＯＮにする（Ｓ２）。これにより、特許文献２では、オートフォーカスエラーが発生した場合に実行されるリトライに係るオートフォーカスが素早く完了するようになる可能性がある。しかしながら、特許文献２では、オートフォーカスエラー発生前の通常のオートフォーカスでは、ＡＦをＯＮにする前に上記したＳ７のような対物レンズの初期位置を設定する処理を行っていない。そのため、特許文献２では、次の観測ポイントに移動するたびに、ホームポジションからオートフォーカスが開始される。したがって、特許文献２では、ホームポジションから合焦位置までの対物レンズの移動を繰り返す必要があり、連続して観察する観察領域の合焦位置が略同じ位置にある場合において高速なオートフォーカスを実現することができなかった。
　本発明は、連続して観察される複数の観察領域において実行されるオートフォーカスの高速化を図ることが可能な技術を提供する。
　上記課題を解決するために、本発明の観察方法は、観察対象である第１の観察領域及び第２の観察領域を連続して観察する観察方法において、第１の観察領域においてオートフォーカスを実行すること、及び、第１の観察領域においてオートフォーカスが成功した場合、第１の観察領域を撮像し、オートフォーカスが成功したときの対物レンズの第１の位置を起点として第２の観察領域においてオートフォーカスを実行すること、を有する。
　本発明によれば、連続して観察される複数の観察領域において実行されるオートフォーカスの高速化を図ることができる。
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
実施例１の観察装置の概略構成図である。 実施例１の観察装置の制御部のハードウェアブロック図である。 実施例１の観察装置が実行する観察方法を示すフローチャートである。 実施例２の観察装置が実行する観察方法を示すフローチャートである。 実施例３の観察装置が実行する観察方法を示すフローチャートである。 実施例３の観察装置が実行する観察方法を示すフローチャートである。 実施例４の観察装置が実行する観察方法を示すフローチャートである。
　本発明の実施の形態を図面に基づいて詳細に説明する。以下の実施の形態において、その構成（フローチャートのステップを含む）は、特に明示した場合及び原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。以下、本発明に好適な実施例について図面を用いて説明する。
（実施例１）
　図１は、実施例１の観察装置の概略構成図である。図１を参照して、実施例１の観察装置１の構成を説明する。
　＜観察装置の構成＞
　観察装置１は、ウェルプレート２を観察する観察装置である。観察装置１が観察する観察対象は、複数の観察領域を有していれば、ウェルプレートに限らず、複数のプレパラートであっても良いし、培養容器であっても良い。ウェルプレート２は、試料が収容される複数のウェルが形成されており、複数のウェルが観察領域３となる。観察装置１は、ウェルプレート２の複数の観察領域３を所定の順番で連続して観察する。観察装置１は、ＸＹステージユニット１０２と、倒立顕微鏡光学系１０３と、オートフォーカスユニット１０４と、制御部１０５と、画像処理部１０６と、記憶部１０７と、を備える。
　ＸＹステージユニット１０２は、ウェルプレート２を平面的に（Ｘ軸方向及びＹ軸方向に）移動させて、ウェルプレート２の所望の観察領域３を観察ポイントに配置する。観察ポイントは、後述する対物レンズ１０９の光軸上にある。実施例１では、ＸＹステージユニット１０２がウェルプレート２をＸ軸方向及びＹ軸方向に移動させるが、倒立顕微鏡光学系１０３がＸ軸方向及びＹ軸方向に移動して、所望の観察領域３を観察ポイントに配置しても良い。
　倒立顕微鏡光学系１０３は、ウェルプレート２の複数の観察領域３の各々を撮像する。倒立顕微鏡光学系１０３は、ウェルプレート２を撮像するための照明１０８と、対物レンズ１０９と、対物レンズ１０９をＺ軸方向に移動させる対物レンズアクチュエータ１１０と、イメージセンサ１１１と、対物レンズ１０９から入射した画像をイメージセンサ１１１へ結像させるためのダイクロイックミラー１１２と、結像レンズ１１３と、を備える。実施例１では、照明１０８は、ウェルプレート２を挟んで対物レンズ１０９の反対側の位置に設置する透過照明であるが、対物レンズ１０９の直下からビームスプリッタなどによりウェルプレート２に照射する反射照明でも良い。また、イメージセンサ１１１は、ＣＭＯＳイメージセンサであっても良いし、ＣＣＤイメージセンサであっても良い。
　オートフォーカスユニット１０４は、各観察領域３においてオートフォーカスを実行する。オートフォーカスユニット１０４は、一定時間内のオートフォーカスを実行し、一定時間内にオートフォーカスが成功すると成功信号を出力し、一定時間内にオートフォーカスが成功しないとエラー信号を出力する。オートフォーカスユニット１０４は、フォーカス用光源１１４と、コリメートレンズ１１５と、ビームスプリッタ１１６と、フォーカス用結像レンズ１１７と、シリンドリカルレンズ１１８と、受光素子１１９と、を備える。フォーカス用光源１１４から照射された光ビームは、コリメートレンズ１１５によって平行光となり、ビームスプリッタ１１６、ダイクロイックミラー１１２及び対物レンズ１０９を通り、ウェルプレート２の底面に照射される。ウェルプレート２の底面に照射された光ビームは、対物レンズ１０９及びダイクロイックミラー１１２を通り、ビームスプリッタ１１６で反射される。そして、ビームスプリッタ１１６で反射された光は、フォーカス用結像レンズ１１７及びシリンドリカルレンズ１１８を通り、受光素子１１９上に結像される。受光素子１１９は、受光した光信号や光エネルギーを電気信号や電気エネルギーに変換して、制御部１０５に出力する。
　制御部１０５は、観察装置１の各部の動作を制御する。例えば、制御部１０５は、ＸＹステージユニット１０２を制御して、ウェルプレート２の所望の観察領域３を観察ポイントに移動させる。また、制御部１０５は、オートフォーカスユニット１０４の受光素子１１９から出力される電気信号に基づいて、対物レンズアクチュエータ１１０を制御し、対物レンズ１０９を合焦位置へ移動させる。また、制御部１０５は、イメージセンサ１１１によって撮像された観察領域３の画像を取得し、記憶部１０７に記憶したり、画像処理部１０６に転送したりする。
　画像処理部１０６は、イメージセンサ１１１によって撮像された画像に対して画像処理を実施し、観察領域３の試料に含まれる微生物（例えば、細菌）の大きさ/個数/形状などの特徴量を算出する。
　記憶部１０７は、各観察領域３の画像から算出した特徴量、及び、オートフォーカスが失敗した観察領域３を示す情報などを記憶する。また、記憶部１０７は、観察領域３の画像の生データ又は圧縮データを記憶しても良い。
　＜制御部のハードウェア構成＞
　図２は、制御部のハードウェア構成を示すブロック図である。図２を参照して、実施例１の制御部１０５のハードウェア構成を説明する。
　制御部１０５は、プロセッサ２０１と、通信インターフェース２０２（以下、インターフェースをＩ／Ｆと略記する）と、主記憶装置２０３と、入出力Ｉ／Ｆ２０４と、上記した各モジュールを通信可能に接続するバス２０５と、を有する。
　プロセッサ２０１は、観察装置１の各部の動作の制御を行う中央処理演算装置である。プロセッサ２０１は、例えば、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）等である。プロセッサ２０１は、記憶部１０７に記憶されたプログラムを主記憶装置２０３の作業領域に実行可能に展開する。主記憶装置２０３は、プロセッサ２０１が実行するプログラム、当該プロセッサが処理するデータ等を記憶する。主記憶装置２０３は、フラッシュメモリ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等である。記憶部１０７は、入出力Ｉ／Ｆ２０４を介して、制御部１０５と通信可能に接続されている。記憶部１０７は、ＯＳ（Operating System）等の各種のプログラムおよび各種のデータ（上記した特徴量やオートフォーカスが失敗した観察領域３を示す情報など）を記憶する。記憶部１０７は、例えば、不揮発性半導体メモリ（フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM））を含むシリコンディスク、ソリッドステートドライブ装置、ハードディスク（ＨＤＤ、Hard Disk Drive）装置等である。画像処理部１０６は、入出力Ｉ／Ｆ２０４を介して、制御部１０５と通信可能に接続されている。画像処理部１０６は、例えば、ＣＰＵ、ＤＳＰ、ＡＳＩＣ等である。なお、プロセッサ２０１が画像処理部１０６の機能を有していても良い。
　＜観察装置１が実行する観察方法＞
　図３は、実施例１の観察装置１が実行する観察方法を示したフローチャートである。図３のフローチャートの各ステップは、コンピュータシステムである制御部１０５のプロセッサ２０１が主記憶装置２０３に展開されたプログラムを実行することによって、実行される。観察装置１は、ウェルプレート２の各観察領域３においてオートフォーカスを実行し、各観察領域３の合焦画像を取得する。以下、オートフォーカスを、適宜、ＡＦと略する。
　各観察領域３に試料が収容されたウェルプレート２は、図示しない搬送装置によってＸＹステージユニット１０２に搬送される。ウェルプレート２には、ウェルプレート２を識別するための識別情報が埋め込まれたコード情報が貼り付け又は印字されている。図示しないバーコードリーダによってコード情報が読み取られことにより、ウェルプレート２が識別される。ＸＹステージユニット１０２にウェルプレート２が搬送されると、図２のフローチャートの処理が開始される。
　まず、制御部１０５は、ｉ（ｉは、１以上の整数であり、初期値は１である。）番目の観察領域３を観察するため、ＸＹステージユニット１０２を制御して、ＸＹステージユニット１０２に載置されるウェルプレート２のｉ番目の観察領域３を倒立顕微鏡光学系１０３の観察ポイントに移動させる（Ｓ１）。次に、制御部１０５は、対物レンズアクチュエータ１１０を制御し、対物レンズ１０９をオートフォーカス開始位置（以下、適宜、「ＡＦ開始位置」とする）へ移動させる（Ｓ２）。ＡＦ開始位置は、初期値は予め定められた位置であるホームポジションである。つまり、ｉ＝１の場合、ＡＦ開始位置は、予め定められたホームポジションである。
　そして、ｉ＝２以降の場合のＡＦ開始位置は、直前のオートフォーカスが成功したときの対物レンズ１０９の位置（合焦位置）が起点となる。例えば、ｉ＝１の場合にオートフォーカスが成功していれば、ｉ＝２の場合のＡＦ開始位置は、ｉ＝１の場合にオートフォーカスが成功したときの対物レンズ１０９の位置が起点となる。すなわち、実施例１では、ｉ番目の観察領域（第１の観察領域）３においてオートフォーカスが成功した場合、このオートフォーカスが成功したときの対物レンズ１０９の位置（第１の位置）を起点としてｉ＋１番目の観察領域（第２の観察領域）３においてオートフォーカスを実行する。なお、オートフォーカスが成功したときの対物レンズ１０９の位置を起点としてｉ＋１番目の観察領域３においてオートフォーカスを実行することは、この位置からオートフォーカスを実行すること、及び、この位置からオフセットされた位置からオートフォーカスを実行すること、を含む。
　そして、制御部１０５は、オートフォーカスユニット１０４を制御して、ｉ番目の観察領域３においてオートフォーカスを実行させる（Ｓ３）。オートフォーカスの実行中、制御部１０５は、オートフォーカスユニット１０４の受光素子１１９から出力される電気信号に基づいて、対物レンズアクチュエータ１１０を制御し、対物レンズ１０９をＺ軸方向に移動させる。
　次に、制御部１０５は、オートフォーカスが成功したか否かを判断する（Ｓ４）。オートフォーカスユニット１０４は、一定時間内にオートフォーカスが成功すると成功信号を出力し、一定時間内にオートフォーカスが成功しないとエラー信号を出力する。制御部１０５は、オートフォーカスユニット１０４から受信する成功信号及びエラー信号に従って、オートフォーカスが成功したか否かを判断する。一定時間内にオートフォーカスが成功したと判断された場合（Ｓ４：Ｙｅｓ）、制御部１０５は、ｉ番目の観察領域３の合焦位置において当該観察領域３を撮像し、ｉ番目の観察領域３の画像を取得する（Ｓ５）。画像処理部１０６は、取得された画像に対して画像処理を実施し、ｉ番目の観察領域３に含まれる微生物の大きさ/個数/形状などの特徴量を算出する。そして、制御部１０５は、画像処理部１０６によって算出された特徴量を記憶部１０７に記憶する（Ｓ６）。なお、制御部１０５は、観察領域３の画像を記憶部１０７に記憶しても良い。次に、制御部１０５は、Ｓ７へ移行する。
　オートフォーカスが失敗したと判断された場合（Ｓ４：Ｎｏ）、制御部１０５は、Ｓ５の処理（観察領域３の撮像、画像の取得）及びステップ６の処理（特徴量の記憶）を実行せず、Ｓ７へ移行する。なお、実施例１では、オートフォーカスが失敗した場合に、Ｓ５の処理及びステップ６の処理を実行しないが、Ｓ５の処理及びステップ６の処理を実行しても良い。この場合、取得された観察領域３の画像は、合焦位置において撮像されたものではないので、ピンぼけ画像となる。ユーザは、このピンぼけ画像をトラブルシューティングに利用することが可能である。つまり、オートフォーカスが成功したか失敗したかに関わらず、このオートフォーカスの対象である観察領域３の撮像及び画像の取得を行っても良い。
　次に、制御部１０５は、ｉ番目の観察領域３がウェルプレート２の最後の観察領域３であるかを判断する（Ｓ７）。ｉ番目の観察領域３がウェルプレート２の最後の観察領域３であると判断された場合（Ｓ７：Ｙｅｓ）、制御部１０５は、本フローチャートを終了する。一方、ｉ番目の観察領域３がウェルプレート２の最後の観察領域３でないと判断された場合（Ｓ７：Ｎｏ）、ｉをインクリメントし、Ｓ１の処理に戻す。
　＜オートフォーカス失敗後のＡＦ開始位置について＞
　次に、ｉ番目の観察領域３においてオートフォーカスが失敗した場合、次のｉ＋１番目の観察領域３におけるオートフォーカスのＡＦ開始位置について説明する。実施例１では、ｉ番目の観察領域３においてオートフォーカスが失敗した場合、ｉ＋１番目の観察領域３におけるオートフォーカスのＡＦ開始位置は、ホームポジションである。つまり、実施例１では、直前の観察領域３においてオートフォーカスが失敗した場合、現在の観察領域３におけるオートフォーカスのＡＦ開始位置は、ホームポジションとなる。
　なお、ｉ番目の観察領域３においてオートフォーカスが失敗した場合、ｉ＋１番目の観察領域３におけるオートフォーカスのＡＦ開始位置は、直前のオートフォーカスが成功したときの対物レンズ１０９の位置であっても良い。つまり、ｉ番目の観察領域（第１の観察領域）３におけるオートフォーカスが成功し、且つ、ｉ＋１番目の観察領域（第２の観察領域）３におけるオートフォーカスが失敗した場合、ｉ＋２番目の観察領域（第３の観察領域）３におけるオートフォーカスのＡＦ開始位置は、ｉ番目の観察領域３におけるオートフォーカスが成功したときの対物レンズ１０９の位置（第１の位置）となる。なお、ｉ番目の観察領域（第１の観察領域）３におけるオートフォーカスが成功し、且つ、ｉ＋１番目の観察領域（第２の観察領域）３におけるオートフォーカスが成功した場合、ｉ＋２番目の観察領域（第３の観察領域）３におけるオートフォーカスのＡＦ開始位置は、ｉ＋１番目の観察領域３におけるオートフォーカスが成功したときの対物レンズ１０９の位置（第２の位置）となる。
　＜実施例１の効果＞
　ある程度の平坦性を有するウェルプレート２においては、ｉ番目の観察領域３の合焦位置と略同じ位置に、隣接するｉ＋１番目の観察領域３の合焦位置が存在する可能性が高い。したがって、ｉ＋１番目の観察領域３におけるオートフォーカスの起点をｉ番目の観察領域３の合焦位置とすることによって、ｉ＋１番目の観察領域３におけるオートフォーカスが成功するまでの対物レンズ１０９の移動距離を短くすることができる。その結果、ｉ＋１番目の観察領域３におけるオートフォーカスの高速化を図ることができる。
　また、実施例１では、ｉ番目の観察領域３においてオートフォーカスが成功すると、この成功時の合焦位置に対物レンズ１０９を留めておく。そして、次のｉ＋１番目の観察領域３においてオートフォーカスを実行する際に、対物レンズ１０９が留められた位置を起点にしてオートフォーカスを実行する。このように制御すれば、オートフォーカスが成功した位置を示す情報をメモリに記憶する必要が無いので、オートフォーカスが成功した位置を示す情報を記憶するメモリやメモリ領域を用意する必要がない。
　また、実施例１では、各オートフォーカスを一定時間内に制限し、一定時間内にオートフォーカスが成功しなかった場合は、オートフォーカスが失敗したと判定する。これにより、遅くとも一定時間後には、次の観察領域３のオートフォーカスを開始することができる。これにより、ある観察領域３におけるオートフォーカスの連続の失敗によって、次の観察領域３を観察できなくなるのを防止することができる。その結果、ウェルプレート２の全ての観察領域３に対して、オートフォーカスを実施することが可能となる。
（実施例２）
　図４は、実施例２の観察装置１が実行する観察方法を示したフローチャートである。実施例１と重複する説明は、適宜省略される。実施例１の観察装置１は、オートフォーカスの開始位置を記憶するメモリを用意する必要がなかったが、実施例２では、オートフォーカスの開始位置を記憶するメモリを有する。
　制御部１０５は、画像処理部１０６によって算出された特徴量を記憶部１０７に記憶した後（Ｓ６）、ｉ＋１番目の観察領域３におけるオートフォーカスのＡＦ開始位置として、ｉ番目の観察領域３の合焦位置をメモリに記憶する（Ｓ２０）。このメモリは、例えば、主記憶装置２０３であっても良いし、記憶部１０７であっても良いし、その他のメモリ（プロセッサ２０１のキャッシュ等）であっても良い。なお、Ｓ６及びＳ２０の実行順は、逆であっても良い。メモリに記憶されるＡＦ開始位置は、オートフォーカスが成功するたびに更新される。
　＜実施例２の効果＞
　オートフォーカスが失敗する等して対物レンズ１０９の位置が変化したとしても、メモリに記憶されたＡＦ開始位置を使って、対物レンズ１０９の位置をＡＦ開始位置に戻すことが可能となる。したがって、ｉ番目の観察領域３におけるオートフォーカスが成功し、且つ、ｉ＋１番目の観察領域３におけるオートフォーカスが失敗した場合、ｉ＋２番目の観察領域３におけるオートフォーカスのＡＦ開始位置を、ｉ番目の観察領域３におけるオートフォーカスが成功したときの対物レンズ１０９の位置とすることが可能となる。
　また、ＡＦ開始位置を不揮発性のメモリに記憶すれば、観察装置１の再起動後等に、メモリに記憶されたＡＦ開始位置を起点としてオートフォーカスを実行することが可能となる。その他の効果は、実施例１と同様であるので、その説明を省略する。
（実施例３）
　実施例３の観察装置１は、ウェルプレート２の全て観察領域３においてオートフォーカスを実行した後に、オートフォーカスが失敗した観察領域３においてオートフォーカスをリトライする。図５Ａ及び図５Ｂは、実施例３の観察装置１が実行する観察方法を示したフローチャートである。実施例１と重複する説明は、適宜省略される。
　制御部１０５は、オートフォーカスが成功したか否かを判断する（Ｓ４）。オートフォーカスが失敗したと判断された場合（Ｓ４：Ｎｏ）、制御部１０５は、オートフォーカスが失敗した観察領域３を示す情報を記憶部１０７に記憶する（Ｓ３０）。
　そして、制御部１０５は、ｉ番目の観察領域３がウェルプレート２の最後の観察領域３であるかを判断する（Ｓ７）。ｉ番目の観察領域３がウェルプレート２の最後の観察領域３であると判断された場合（Ｓ７：Ｙｅｓ）、観察装置１は、ウェルプレート２の撮像基準時間の余り時間を用いて、オートフォーカスが失敗した観察領域３に対してオートフォーカスをリトライする。上記したウェルプレート２の撮像基準時間は、ウェルプレート２の全ての観察領域３を撮像するために必要な時間であって、観察領域３の数やオートフォーカスの成否を判定するための一定時間に基づいて決定される。また、上記した余り時間は、ウェルプレート２の平坦度、外部からの振動の影響、細菌増殖状況などの様々な要因によって、オートフォーカスの所要時間がばらつく、というオートフォーカスの特性により生じるものである。
　Ｓ３１～Ｓ３８が、オートフォーカスのリトライに係る処理である。制御部１０５は、記憶部１０７にオートフォーカスが失敗した観察領域３を示す情報が存在するか否かを判断する（Ｓ３１）。オートフォーカスが失敗した観察領域３を示す情報が存在しない場合（Ｓ３１：Ｎｏ）、本フローチャートを終了する。一方、オートフォーカスが失敗した観察領域３を示す情報が存在する場合（Ｓ３１：Ｙｅｓ）、ウェルプレート２の撮像開始からの経過時間を確認し、その経過時間がウェルプレート２の撮像基準時間内か否かを判断する（Ｓ３２）。経過時間が撮像基準時間を超えている場合（Ｓ３２：Ｎｏ）、本フローチャートを終了する。
　経過時間が撮像基準時間内である場合（Ｓ３２：Ｙｅｓ）、制御部１０５は、オートフォーカスが失敗したｊ（ｊは、１以上の整数であり、初期値は１である。）番目の観察領域３を観察するため、ＸＹステージユニット１０２を制御して、オートフォーカスが失敗したｊ番目の観察領域３を倒立顕微鏡光学系１０３の観察ポイントに移動させる（Ｓ３３）。次に、制御部１０５は、対物レンズアクチュエータ１１０を制御し、対物レンズ１０９をＡＦ開始位置へ移動させる（Ｓ３４）。このＳ３４におけるＡＦ開始位置は、ホームポジションであっても良いし、ｊ番目の観察領域３に隣接するオートフォーカスが成功した観察領域３の合焦位置であっても良い。
　次に、制御部１０５は、オートフォーカスユニット１０４を制御して、オートフォーカスが失敗したｊ番目の観察領域３においてオートフォーカスを実行させる（Ｓ３５）。次に、制御部１０５は、オートフォーカスが成功したか否かを判断する（Ｓ３６）。一定時間内にオートフォーカスが成功したと判断された場合（Ｓ３６：Ｙｅｓ）、制御部１０５は、オートフォーカスが失敗したｊ番目の観察領域３の合焦位置において当該観察領域３を撮像し、ｊ番目の観察領域３の画像を取得する（Ｓ３７）。また、制御部１０５は、画像処理部１０６によって算出されたオートフォーカスが失敗したｊ番目の観察領域３に係る特徴量を記憶部１０７に記憶する（Ｓ３８）。なお、リトライ時の一定時間は、１度目の一定時間と同じであっても良いし、異なっていても良い。例えば、リトライ時の一定時間を１度目の一定時間より短くすることによって、リトライ対象となっている観察領域３の全てにおいてオートフォーカスをリトライすることが可能となる。
　一定時間内にオートフォーカスが成功しなかったと判断された場合（Ｓ３６：Ｎｏ）、ｊをインクリメントし、Ｓ３１の処理に戻す。
　＜実施例３の効果＞
　実施例３では、オートフォーカスが失敗した観察領域３においてオートフォーカスをリトライすることより、ウェルプレート２の全ての観察領域３に対して１度目のオートフォーカスを実行することを優先している。ウェルプレート２の全ての観察領域３について１度目のオートフォーカスを実行した後、オートフォーカスの所要時間のばらつき等を考慮して設定されるウェルプレート２の撮像基準時間の余り時間を活用し、オートフォーカスをリトライすることができる。このリトライによって、オートフォーカスが成功すれば、データロスを低減することができる。その他の効果は、実施例１と同様であるので、その説明を省略する。
（実施例４）
　実施例４の観察装置１は、過去に観察したウェルプレート２と同じウェルプレート２を再度観察する場合に、過去に予め定められた閾値を超過した特徴量を示した観察領域３又は過去にオートフォーカスが失敗した観察領域３をオートフォーカスの実行対象外とする。図６は、実施例４の観察装置１が実行する観察方法を示したフローチャートである。実施例１と重複する説明は、適宜省略される。また、図６のフローチャートの続きは、図５Ｂと同様であるので、省略する。なお、実施例４では、過去に予め定められた閾値を複数回超過した特徴量を示した観察領域３又は過去に複数回オートフォーカスが失敗した観察領域３をオートフォーカスの実行対象外としても良い。
　まず、制御部１０５は、ｉ番目の観察領域３が撮像対象か否かを判断する（Ｓ４０）。撮像対象ではないと判断された場合（Ｓ４０：Ｎｏ）、Ｓ１～Ｓ６及びＳ３０の処理をスキップする。制御部１０５は、撮像対象か否かを判断するために、過去のＳ３０で記憶部１０７に記憶されたオートフォーカスが失敗した観察領域３を示す情報、及び、過去のＳ６やＳ３８で記憶部１０７に記憶された観察領域３の特徴量を示す情報を参照する。
　過去にオートフォーカスおよびオートフォーカスのリトライがともに失敗した観察領域３は、ウェルプレート２に問題があり、以降のオートフォーカスも失敗することが推測できる。そのため、制御部１０５は、過去にオートフォーカスおよびオートフォーカスのリトライがともに失敗した観察領域３は、オートフォーカスの実行対象外とする。また、過去の特徴量が閾値を超過していた場合、すでに細菌の増殖有無を判断するに十分な情報が得られている。そのため、制御部１０５は、過去の特徴量が閾値を超過した観察領域３は、オートフォーカスの実行対象外とする。
　＜実施例４の効果＞
　薬剤感受性検査のように細菌を含む観察領域３に対してオートフォーカスを実行する場合、オートフォーカスが失敗する要因として、例えば以下の３点がある。（１）各観察領域３内の細菌が著しく増殖し、光源からの光の反射を阻害する。（２）ウェルプレート２の各観察領域３の底面や裏面などの傷・付着した異物などの影響で光源からの光が阻害される。（３）オートフォーカス動作中に外部からの振動などにより、対物レンズ１０９とウェルプレート２間の距離が変動し、オートフォーカスが静定しない。
　しかし、前述したオートフォーカスの失敗要因の（１）細菌の著しい増殖は、オートフォーカスのリトライも再度失敗する可能性が高いうえに、細菌増殖の有無を判断するために必要な情報は過去の撮像で既に得られている可能性が高い。そのため、オートフォーカスのリトライを行うメリットが小さい。また、（２）ウェルプレート２の傷・異物は、オートフォーカスのリトライも再度失敗する可能性が高いため、オートフォーカスのリトライのメリットは小さい。前述のとおり、細菌観察は、ウェルプレート２の撮像基準時間内にウェルプレート２の撮像を完了させる必要があり、かつスループット向上のためにウェルプレート２の撮像基準時間の設定は短いほうが好ましい。そのため、メリットの小さい観察領域３に対するオートフォーカスのリトライに時間を費やしてしまうことで、他の観察領域３を撮像する前に時間が無くなり、データロスにつながるリスクが高まることは好ましくない。このリスクは、特に細菌の増殖が発生する分析の後半で顕著となる。さらに、（３）オートフォーカスが静定しないものについては、オートフォーカスが静定するまで待機する場合、前述と同様、オートフォーカスが静定しない観察領域３に時間を費やしてしまうことで、他の観察領域３のデータロスにつながるリスクが高まる。
　そこで、実施例４では、細菌の増殖有無を判断するにあたり十分な情報を得た観察領域３又はウェルプレート２に問題がありオートフォーカスが失敗する可能性が高い観察領域３を予めオートフォーカスの実行対象外とする。本来であれば、これらの観察領域３の撮像に費やすはずであった時間をその他の観察領域３の撮像及びオートフォーカスのリトライに割り当てることが可能となるので、データロスをより低減することが可能となる。その他の効果は、実施例１と同様であるので、その説明を省略する。
　なお、本発明は、上記の実施例に限定されるものではなく、様々な変形例が含まれる。上記の実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を有するものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
１…観察装置、２…ウェルプレート、３…観察領域、１０２…ＸＹステージユニット、１０３…倒立顕微鏡光学系、１０４…オートフォーカスユニット、１０５…制御部、１０６…画像処理部、１０７…記憶部、１０８…照明、１０９…対物レンズ、１１０…対物レンズアクチュエータ、１１１…イメージセンサ、１１２…ダイクロイックミラー、１１３…結像レンズ、１１４…フォーカス用光源、１１５…コリメートレンズ、１１６…ビームスプリッタ、１１７…フォーカス用結像レンズ、１１８…シリンドリカルレンズ、１１９…受光素子

Claims (14)

  1. 　観察対象である第１の観察領域及び第２の観察領域を連続して観察する観察方法において、
    　前記第１の観察領域においてオートフォーカスを実行すること、及び、
    　前記第１の観察領域において前記オートフォーカスが成功した場合、前記第１の観察領域を撮像し、前記オートフォーカスが成功したときの対物レンズの第１の位置を起点として前記第２の観察領域において前記オートフォーカスを実行すること、
    　を有することを特徴とする観察方法。
  2. 　請求項１に記載の観察方法において、
    　前記第１の位置を起点として前記第２の観察領域において前記オートフォーカスを実行することは、
    　前記第１の位置から前記オートフォーカスを開始すること、及び、
    　前記第１の位置からオフセットされた位置から前記オートフォーカスを開始すること、を含む、
    　ことを特徴とする観察方法。
  3. 　請求項１に記載の観察方法において、
    　前記第２の観察領域において前記オートフォーカスが成功した場合、前記第２の観察領域を撮像し、前記第２の観察領域において前記オートフォーカスが成功したときの対物レンズの第２の位置を起点として前記第２の観察領域の次の観察対象である第３の観察領域において前記オートフォーカスを実行すること、及び、
    　前記第２の観察領域において前記オートフォーカスが失敗した場合、前記第１の位置を起点として前記第３の観察領域において前記オートフォーカスを実行すること、
    　をさらに有することを特徴とする観察方法。
  4. 　請求項１に記載の観察方法において、
    　前記第２の観察領域において前記オートフォーカスが成功した場合、前記第２の観察領域を撮像し、前記第２の観察領域において前記オートフォーカスが成功したときの対物レンズの第２の位置を起点として前記第２の観察領域の次の観察対象である第３の観察領域において前記オートフォーカスを実行すること、及び、
    　前記第２の観察領域において前記オートフォーカスが失敗した場合、予め定められたホームポジションを起点として前記第３の観察領域において前記オートフォーカスを実行すること、
    　をさらに有することを特徴とする観察方法。
  5. 　請求項１に記載の観察方法において、
    　前記オートフォーカスが成功したか失敗したかに関わらず、当該オートフォーカスの対象である観察領域を撮像すること、
    　をさらに有することを特徴とする観察方法。
  6. 　請求項１に記載の観察方法において、
    　前記オートフォーカスが失敗した場合には、当該オートフォーカスの対象である観察領域を撮像しない、
    　ことを特徴とする観察方法。
  7. 　請求項１に記載の観察方法において、
    　連続して観察する全ての観察領域において前記オートフォーカスを実行した後、予め設定された撮像基準時間が経過するまで、前記オートフォーカスが失敗した観察領域において前記オートフォーカスをリトライする、
    　ことをさらに有することを特徴とする観察方法。
  8. 　請求項１に記載の観察方法において、
    　前記第１の観察領域及び前記第２の観察領域を有する容器を再度観察する場合、過去に予め定めれられた閾値を１又は複数回超過した特徴量を示した観察領域又は過去に１又は複数回前記オートフォーカスが失敗した観察領域を前記オートフォーカスの実行対象外とする、
    　ことを特徴とする観察方法。
  9. 　観察対象である第１の観察領域及び第２の観察領域を連続して観察する観察装置において、
    　前記第１の観察領域及び前記第２の観察領域においてオートフォーカスを実行するオートフォーカスユニットと、
    　前記第１の観察領域において前記オートフォーカスが成功した場合、前記第１の観察領域を撮像し、前記オートフォーカスが成功したときの対物レンズの第１の位置を起点として前記第２の観察領域において前記オートフォーカスを実行するよう前記オートフォーカスユニットを制御する制御部と、
    　を備えることを特徴とする観察装置。
  10. 　請求項９に記載の観察装置において、
    　前記制御部は、
    　前記第１の位置を起点として前記第２の観察領域において前記オートフォーカスを実行する際に、
    　前記第１の位置から前記オートフォーカスを開始するよう前記オートフォーカスユニットを制御する、又は、
    　前記第１の位置からオフセットされた位置から前記オートフォーカスを開始するよう前記オートフォーカスユニットを制御する、
    　ことを特徴とする観察装置。
  11. 　請求項９に記載の観察装置において、
    　前記制御部は、
    　前記第２の観察領域において前記オートフォーカスが成功した場合、前記第２の観察領域を撮像し、前記第２の観察領域において前記オートフォーカスが成功したときの対物レンズの第２の位置を起点として前記第２の観察領域の次の観察対象である第３の観察領域において前記オートフォーカスを実行するよう前記オートフォーカスユニットを制御し、
    　前記第２の観察領域において前記オートフォーカスが失敗した場合、前記第１の位置を起点として前記第３の観察領域において前記オートフォーカスを実行するよう前記オートフォーカスユニットを制御する、
    　ことを特徴とする観察装置。
  12. 　請求項９に記載の観察装置において、
    　前記制御部は、
    　前記第２の観察領域において前記オートフォーカスが成功した場合、前記第２の観察領域を撮像し、前記第２の観察領域において前記オートフォーカスが成功したときの対物レンズの第２の位置を起点として前記第２の観察領域の次の観察対象である第３の観察領域において前記オートフォーカスを実行するよう前記オートフォーカスユニットを制御し、
    　前記第２の観察領域において前記オートフォーカスが失敗した場合、予め定められたホームポジションを起点として前記第３の観察領域において前記オートフォーカスを実行するよう前記オートフォーカスユニットを制御する、
    　ことを特徴とする観察装置。
  13. 　請求項９に記載の観察装置において、
    　前記制御部は、
    　連続して観察する全ての観察領域において前記オートフォーカスを実行した後、予め設定された撮像基準時間が経過するまで、前記オートフォーカスが失敗した観察領域において前記オートフォーカスをリトライするよう前記オートフォーカスユニットを制御する、
    　ことをさらに有することを特徴とする観察装置。
  14. 　請求項９に記載の観察装置において、
    　前記制御部は、
    　前記第１の観察領域及び前記第２の観察領域を有する容器を再度観察する場合、過去に予め定めれられた閾値を１又は複数回超過した特徴量を示した観察領域又は過去に１又は複数回前記オートフォーカスが失敗した観察領域を前記オートフォーカスの実行対象外とする、
    　ことを特徴とする観察装置。
PCT/JP2022/000875 2022-01-13 2022-01-13 観察方法及び観察装置 WO2023135702A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/000875 WO2023135702A1 (ja) 2022-01-13 2022-01-13 観察方法及び観察装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/000875 WO2023135702A1 (ja) 2022-01-13 2022-01-13 観察方法及び観察装置

Publications (1)

Publication Number Publication Date
WO2023135702A1 true WO2023135702A1 (ja) 2023-07-20

Family

ID=87278658

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/000875 WO2023135702A1 (ja) 2022-01-13 2022-01-13 観察方法及び観察装置

Country Status (1)

Country Link
WO (1) WO2023135702A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002289522A (ja) * 2001-01-22 2002-10-04 Sony Corp ポリシリコン膜評価装置
JP2004317970A (ja) * 2003-04-18 2004-11-11 Olympus Corp 顕微鏡システム
JP2010191298A (ja) * 2009-02-19 2010-09-02 Nikon Corp 顕微鏡
JP2010256077A (ja) * 2009-04-22 2010-11-11 Olympus Corp 細胞画像取得装置及び細胞画像取得方法
JP2012177851A (ja) * 2011-02-28 2012-09-13 Nec Casio Mobile Communications Ltd 画像撮影装置における合焦位置探索方法、画像撮影装置
JP2018000102A (ja) * 2016-07-01 2018-01-11 富士フイルム株式会社 撮影装置および方法並びに撮影制御プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002289522A (ja) * 2001-01-22 2002-10-04 Sony Corp ポリシリコン膜評価装置
JP2004317970A (ja) * 2003-04-18 2004-11-11 Olympus Corp 顕微鏡システム
JP2010191298A (ja) * 2009-02-19 2010-09-02 Nikon Corp 顕微鏡
JP2010256077A (ja) * 2009-04-22 2010-11-11 Olympus Corp 細胞画像取得装置及び細胞画像取得方法
JP2012177851A (ja) * 2011-02-28 2012-09-13 Nec Casio Mobile Communications Ltd 画像撮影装置における合焦位置探索方法、画像撮影装置
JP2018000102A (ja) * 2016-07-01 2018-01-11 富士フイルム株式会社 撮影装置および方法並びに撮影制御プログラム

Similar Documents

Publication Publication Date Title
JP4121849B2 (ja) 欠陥検査装置及び欠陥検査方法
US8593730B2 (en) Stage control device, stage control method and microscope
CN111148963B (zh) 载片卡死确定系统
JP2004061942A (ja) 顕微鏡システム
JP4847690B2 (ja) 顕微鏡システム
JP4097761B2 (ja) 自動焦点顕微鏡及び自動合焦検出装置
JP5231610B2 (ja) 顕微鏡システム及び観察方法
JP4021183B2 (ja) 合焦状態信号出力装置
TWI811758B (zh) 用於自動對焦顯微鏡系統之深度學習模組、自動對焦一顯微鏡系統之方法及非暫時性電腦可讀媒體
US20160313548A1 (en) Method for capturing image of three-dimensional structure of specimen and microscopic device
JP2006184303A (ja) 画像検査装置
US11445081B2 (en) Slide rack determination system
WO2023135702A1 (ja) 観察方法及び観察装置
CN108693624B (zh) 成像方法、装置及系统
US20170278259A1 (en) Microscope system and specimen observation method
JP4388298B2 (ja) 顕微鏡システム
CN113366364A (zh) 载玻片扫描系统中的实时聚焦
JP2009223164A (ja) 顕微鏡画像撮影装置
WO2019114760A1 (zh) 成像方法、装置及系统
US10288861B2 (en) Light sheet microscope and control method of light sheet microscope
JP2005010665A (ja) 顕微鏡用オートフォーカス装置及び顕微鏡用オートフォーカス方法
CN108693113B (zh) 成像方法、装置及系统
US11880145B2 (en) Method for measuring a substrate for semiconductor lithography
US20240045189A1 (en) Apparatus and method of focusing a laser-scanning cytometer using the reflection of the laser
JP2005266584A (ja) 自動合焦方法及びその装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22920227

Country of ref document: EP

Kind code of ref document: A1