WO2019044076A1 - 画像取得装置及び画像取得方法 - Google Patents

画像取得装置及び画像取得方法 Download PDF

Info

Publication number
WO2019044076A1
WO2019044076A1 PCT/JP2018/020375 JP2018020375W WO2019044076A1 WO 2019044076 A1 WO2019044076 A1 WO 2019044076A1 JP 2018020375 W JP2018020375 W JP 2018020375W WO 2019044076 A1 WO2019044076 A1 WO 2019044076A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
lane
tile
stage
imaging
Prior art date
Application number
PCT/JP2018/020375
Other languages
English (en)
French (fr)
Inventor
高橋　聡
孝之 河島
仁一 須々木
Original Assignee
浜松ホトニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浜松ホトニクス株式会社 filed Critical 浜松ホトニクス株式会社
Priority to US16/637,543 priority Critical patent/US11280991B2/en
Priority to CN201880055846.1A priority patent/CN111033352B/zh
Priority to EP18850525.9A priority patent/EP3677946A4/en
Publication of WO2019044076A1 publication Critical patent/WO2019044076A1/ja
Priority to US17/570,245 priority patent/US11698519B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/26—Stages; Adjusting means therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements

Definitions

  • the present disclosure relates to an image acquisition device and an image acquisition method.
  • an image acquisition apparatus for acquiring a still image of a sample such as a tissue cell
  • a sample when the sample is larger than the imaging field of the imaging device, for example, a portion of the sample while moving a stage holding the sample relative to the objective lens
  • Images are sequentially acquired, and then a partial image is synthesized to acquire an entire image of the sample.
  • an image acquisition method called a tiling scan method is used.
  • the stage is moved so that a predetermined area of the sample is included in the field of view of the objective lens, and a tile image (a partial image of the sample) is acquired using a two-dimensional imaging device such as an area sensor. Thereafter, the same operation is repeatedly performed to acquire an observation image (whole image of the sample) including a plurality of tile image sequences (see, for example, Patent Documents 1 and 2).
  • the position detection unit such as a linear encoder monitors the position of the stage on which the sample is held, and captures an optical image of the sample at the timing when the sample reaches the target position. Run.
  • an environmental load such as external vibration, static electricity, or temperature is applied to the image acquisition apparatus at the time of execution of a scan, it is conceivable that a malfunction occurs in the position detection unit.
  • the two-dimensional imaging element skips imaging at the target position, and there is a possibility that tile images constituting an observation image may be missing.
  • This indication is made for the solution of the above-mentioned subject, and it aims at providing an image acquisition device and an image acquisition method which can prevent lack of a tile image in an observation image.
  • An image acquisition apparatus includes a stage on which a sample is held, a light emitting unit that emits instantaneous light, and a light guide optical system including an objective lens arranged to face the sample on the stage. And a drive unit for moving the sample at a predetermined speed in a scanning direction intersecting the optical axis of the objective lens, and the light emitting unit and the drive unit to cooperate to create an optical image of the sample guided by the light guiding optical system.
  • a two-dimensional imaging device that captures an image by lane scanning and acquires observation image data composed of a plurality of tile image sequences; a light emitting unit, a driving unit, and a control unit that controls execution of the lane scan by the two-dimensional imaging device; And a determination unit that counts the number of images of tile images included in the tile image sequence acquired in the lane, and determines whether the number of images has reached a preset acquisition planned number, and the control unit By the discriminator If the number of images is determined to not reached the acquired predetermined number, rerun the lane scan for one lane.
  • this image acquisition apparatus when capturing an optical image of a sample by lane scanning, the number of images of tile images included in the tile image sequence acquired in one lane is counted, and the number of images is set to the preset planned number of acquisitions. Determine if it has reached. Then, if it is determined that the number of images has not reached the scheduled number for acquisition, the lane scan for that lane is re-executed. Therefore, even if the tile image is dropped due to the environmental load, the tile image is complemented by re-execution of the lane scan, and the tile image can be prevented from being dropped in the observation image.
  • control unit may set the moving speed of the stage to a speed slower than a predetermined speed when the lane scan is re-executed. This makes it possible to suppress the loss of tile images when the lane scan is re-executed.
  • the image acquisition apparatus further includes a position detection unit that detects the position of the stage, and the control unit performs imaging by the two-dimensional imaging device and the light emitting unit based on the position information of the stage generated by the position detection unit.
  • the instantaneous light emission may be synchronized. Thereby, acquisition of the tile image in the target position of a sample can be performed suitably.
  • the determination unit may count the number of tile images included in the tile image sequence each time imaging in one lane is completed. In this case, since it is determined at the time of acquisition of each tile image sequence whether or not the tile image needs to be complemented, it is possible to obtain an observation image with no missing tile image simultaneously with the completion of the lane scan.
  • the determination unit may count the number of tile images included in each tile image sequence after completion of imaging in all the lanes. In this case, since the necessity of the tile image complementation is determined after the acquisition of all tile image sequences, the time until obtaining the observation image can be shortened if there is no missing tile image.
  • An imaging step a determination step of counting the number of tile images included in the tile image sequence acquired in one lane, and determining whether the number of images has reached a preset acquisition scheduled number, and a determination step Rerun the lane scan for one lane if it is determined that the number of images does not reach the scheduled number in Including the.
  • this image acquisition method when capturing an optical image of a sample by lane scanning, the number of images of tile images included in the tile image sequence acquired in one lane is counted, and the number of images is set to the predetermined acquisition number. Determine if it has reached. Then, if it is determined that the number of images has not reached the scheduled number for acquisition, the lane scan for that lane is re-executed. Therefore, even if the tile image is dropped due to the environmental load, the tile image is complemented by re-execution of the lane scan, and the tile image can be prevented from being dropped in the observation image.
  • the moving speed of the stage may be set to a speed slower than a predetermined speed. This makes it possible to suppress the loss of tile images when the lane scan is re-executed.
  • the image acquisition method further includes a position detection step of detecting the position of the stage, and in the imaging step, imaging by the two-dimensional imaging device and emission of instantaneous light are performed based on the position information of the stage generated by the position detection step. And may be synchronized. Thereby, acquisition of the tile image in the target position of a sample can be performed suitably.
  • the number of tile images included in the tile image sequence may be counted each time imaging in one lane is completed. In this case, since it is determined at the time of acquisition of each tile image sequence whether or not the tile image needs to be complemented, it is possible to obtain an observation image with no missing tile image simultaneously with the completion of the lane scan.
  • the number of tile image images included in each tile image sequence may be counted after completion of imaging in all lanes. In this case, since the necessity of the tile image complementation is determined after the acquisition of all tile image sequences, the time until obtaining the observation image can be shortened if there is no missing tile image.
  • the image acquisition device and the image acquisition method it is possible to prevent the loss of tile images in the observation image.
  • FIG. 1 illustrates an embodiment of an image acquisition device. It is a figure which shows the light-receiving surface of the image pick-up element which comprises an image acquisition apparatus. It is a block diagram showing functional components of a computer. It is a figure which shows an example of the macro image with respect to a sample. It is a figure which shows an example of the image acquisition area
  • FIG. 1 is a diagram showing an embodiment of an image acquisition apparatus.
  • the image acquisition device 1 includes a stage 2 on which a sample S is held, a light source 3 (light emitting unit) that emits instantaneous light L toward the sample S, and the sample S on the stage 2
  • a light guiding optical system 5 including an objective lens 25 disposed to face each other, and a two-dimensional imaging device 6 for picking up an optical image of the sample S guided by the light guiding optical system 5 are provided.
  • the image acquisition apparatus 1 moves the sample S at a predetermined speed in a direction (scanning direction) intersecting the optical axis of the objective lens 25 with the objective lens driving unit 11 that changes the focal position of the objective lens 25 with respect to the sample S.
  • a stage drive unit (drive unit) 12 a position detection unit 13 that detects the position of the stage 2, and a computer 14 that controls the operation of the image acquisition device 1 are provided.
  • the sample S observed by the image acquisition device 1 is, for example, a biological sample such as a tissue cell, and is mounted on the stage 2 in a sealed state, for example, on a slide glass.
  • the light source 3 is disposed on the bottom side of the stage 2.
  • a flash lamp type light source such as a laser diode (LD), a light emitting diode (LED), a super luminescent diode (SLD), or a xenon flash lamp is used.
  • the operation of the light source 3 is controlled by a light source control unit 101A described later.
  • the light guiding optical system 5 includes an illumination optical system 21 disposed between the light source 3 and the stage 2 and a microscope optical system 22 disposed between the stage 2 and the two-dimensional imaging device 6 .
  • the illumination optical system 21 has a Koehler illumination optical system including, for example, a condenser lens 23 and a projection lens 24, and guides the light from the light source 3 to irradiate the sample S with uniform light. ing.
  • the microscope optical system 22 has an objective lens 25 and an imaging lens 26 disposed on the rear stage side (two-dimensional imaging element 6 side) of the objective lens 25, and the optical image of the sample S is a two-dimensional imaging element Guide to 6.
  • the light image of the sample S is an image by transmitted light in the case of bright field illumination, an image by scattered light in the case of dark field illumination, and an image by light emission (fluorescence) in the case of light emission observation (fluorescent observation).
  • the image by the reflected light from the sample S may be sufficient.
  • an optical system corresponding to image acquisition of the transmitted light image, the scattered light image, and the light emission (fluorescent) image of the sample S can be employed.
  • the two-dimensional imaging device 6 is an imaging device having a plurality of pixel rows. Examples of the two-dimensional imaging device 6 include a CCD image sensor and a CMOS image sensor.
  • the two-dimensional imaging device 6 sequentially captures the light image of the sample S guided by the light guiding optical system 5 at a predetermined frame rate based on the input of the trigger signal output from the computer 14 and acquires the light image by imaging Image data (a tile image T described later) is output to the computer 14.
  • the trigger signal may be output from the stage drive unit 12 or the position detection unit 13.
  • the objective lens drive unit 11 is configured of, for example, a motor such as a stepping motor (pulse motor) or an actuator such as a piezo actuator.
  • the objective lens drive unit 11 drives the objective lens 25 in the Z direction along the optical axis of the objective lens 25 based on control by an objective lens control unit 101B described later. Thereby, the focal position of the objective lens 25 with respect to the sample S moves.
  • the stage drive unit 12 is configured of, for example, a motor such as a stepping motor (pulse motor) or an actuator such as a piezo actuator.
  • the stage drive unit 12 drives the stage 2 in the X and Y directions with respect to a plane having a predetermined angle (for example, 90 degrees) with respect to a plane orthogonal to the optical axis of the objective lens 25 based on control by a stage control unit 101C described later.
  • a predetermined angle for example, 90 degrees
  • the position detection unit 13 is configured of, for example, a linear encoder attached to the stage 2.
  • the position detection unit 13 detects XY coordinates of the stage 2.
  • the position detection unit 13 generates position information indicating the detection result and outputs the position information to the computer 14.
  • the computer 14 physically includes a memory such as a RAM and a ROM, a processor (arithmetic circuit) such as a CPU, a communication interface, a storage unit such as a hard disk, and a display unit such as a display.
  • Examples of the computer 14 include personal computers, microcomputers, cloud servers, smart devices (smartphones, tablet terminals, etc.), and the like.
  • the computer 14 causes the CPU of the computer system to execute a program stored in the memory to thereby control the operation of the image acquisition device 1 as shown in FIG.
  • the image processing unit 102 performs processing of data, and functions as a determination unit 103 that determines the state of image data captured by the two-dimensional imaging device 6.
  • the computer 14 further includes a storage unit 104 that stores various information such as image data.
  • the computer 14 may be configured by a plurality of computers. For example, one computer may execute the function of the control unit 101 and another computer may perform another function.
  • control unit 101 controls the operation of the light source control unit 101A that controls the operation of the light source 3, the objective lens control unit 101B that controls the operation of the objective lens drive unit 11, and the stage drive unit 12. It is configured by the stage control unit 101C.
  • the control unit 101 controls execution of a lane scan by the light source 3, the stage driving unit 12, and the two-dimensional imaging device 6 by the light source control unit 101A, the objective lens control unit 101B, and the stage control unit 101C.
  • the lane scan will be described below.
  • the image acquisition device 1 imaging of the sample S is performed at a high magnification of, for example, 20 ⁇ or 40 ⁇ . Therefore, the field of view of the objective lens 25 is smaller than that of the sample S, and the area where an image can be obtained by one imaging operation is also smaller than that of the sample S. Therefore, in order to image the entire sample S, it is necessary to move the field of view of the objective lens 25 relative to the sample S. Therefore, in the image acquisition device 1, the image acquisition area is set to include the sample S on the slide glass holding the sample S, and the lane scan is performed on the image acquisition area.
  • a macro image of the entire slide glass is acquired in advance by a macro image acquisition device (not shown) as an image for the sample S based on the acquired macro image.
  • An acquisition area 32 is set.
  • the focus measurement position in the image acquisition area 32 is set in order to create a focus map.
  • the image acquisition area 32 is divided into nine in a matrix, and the focus measurement position P is set at the center of each divided area 33.
  • the focus measurement position P is set at an arbitrary position where the sample S is located by manual setting by the user.
  • the slide glass is set in the image acquisition device 1 which is a micro image acquisition device, and the stage 2 is moved so that the objective lens 25 is positioned on each focus measurement position P.
  • a plurality of two-dimensional images in the divided area 33 are acquired, and the in-focus position is determined based on the contrast of the acquired two-dimensional image.
  • the least squares method is applied to the in-focus position determined at each of the focus measurement positions P to create a focus map of the sample S.
  • the imaging position in the image acquisition area 32 is set.
  • the field of view F of the objective lens 25 on the sample S is determined in advance by the magnification of the objective lens 25 used. Therefore, by assigning the size of the field of view F to the set image acquisition area 32, the plurality of imaging positions 34 are set in a matrix in the image acquisition area 32.
  • a plurality of first to n-th lanes are set in the Y direction in the image acquisition area 32, and in each lane, the first to m-th in the X direction (scanning direction) are set.
  • a plurality of imaging positions 34 are set.
  • the XY coordinates of each imaging position 34 and the Z coordinate of the imaging position 34 obtained from the focus map are stored in the storage unit 104 together with the number of imaging positions 34 in each lane.
  • the stage 2 is configured by combining the X stage and the Y stage, it is conceivable that the X axis and the Y axis of the stage 2 are not completely orthogonal and the Y coordinate of the imaging position 34 in each lane does not coincide. Therefore, when setting the imaging position 34, it is preferable to include the Y coordinate of the imaging position 34 as described above. When the deviation from the orthogonal between the X axis and the Y axis of stage 2 is small enough to ignore, only the XZ coordinate of the imaging position 34 may be stored in the storage unit 104 for simplification of the process. .
  • the image acquisition device 1 acquires a tile image T corresponding to the imaging position 34 by imaging a part of the sample S corresponding to the imaging position 34 by the two-dimensional imaging element 6. After the field of view F of the objective lens 25 moves to the imaging position 34 to be imaged next, imaging is performed again to acquire the next tile image T. Thereafter, in the image acquisition apparatus 1, an operation of sequentially imaging the imaging position 34 for each lane is repeatedly executed, and acquisition of image data composed of a plurality of tile image sequences R is performed.
  • the light source control unit 101A causes the light source 3 to emit the instantaneous light L.
  • the two-dimensional imaging device 6 alternately performs exposure and readout, and pixel columns 31 (first pixel columns 31 1 , second pixel columns 31 2 , third ones).
  • the trigger signal is output to the light source control unit 101A during the exposure period of the pixel row 31 3 ... Mth pixel row 31 M.
  • the light source control unit 101A causes the light source 3 to emit the instantaneous light L based on the trigger signal.
  • the readout method of the two-dimensional imaging device 6 may be a global shutter method in which the exposure periods of the pixel rows 31 coincide, or may be a rolling shutter method in which the exposure periods of the pixel rows 31 deviate by a predetermined time.
  • the trigger signal is, for example, from the control unit 101 when the field of view F of the objective lens 25 is moved to the imaging position 34 to be imaged by driving the stage 2 based on the position information of the stage 2 detected by the position detection unit 13. It is output to the two-dimensional imaging device 6 and the light source control unit 101A.
  • the control unit 101 counts the number of clocks for controlling the stage drive unit 12, and when the count number reaches a predetermined count number, the control unit 101 outputs a trigger signal to the two-dimensional imaging device 6 and the light source control unit 101A. May be In the case where the instantaneous light L and the rolling shutter system are combined, it is necessary to output the instantaneous light L when all the pixel rows 31 are exposed. Therefore, a trigger signal may be output to the light source control unit 101A so that the instantaneous light L is output when the field of view F of the objective lens 25 moves to the imaging position 34 to be imaged by driving the stage 2.
  • the image processing unit 102 executes processing of image data output from the two-dimensional imaging device 6.
  • the image processing unit 102 receives the tile image T output from the two-dimensional imaging element 6 and generates observation image data of the entire sample S by combining tile image sequences R acquired in each lane.
  • observation image data for example, adjacent tile images T and T may be partially superimposed on each other based on position information output from the position detection unit 13.
  • the determination unit 103 counts the number of images of tile images T included in the tile image sequence R acquired in one lane, and determines whether the number of images has reached a predetermined acquisition scheduled number.
  • the number of imaging positions 34 in each lane is m
  • the tile image sequence R is configured by m tile images T. Therefore, the determination unit 103 refers to the storage unit 104, and when the number of tile images T included in the tile image sequence R acquired in one lane is m, the number of tile images T is set in advance. If it is determined that the number of tile images T is less than m, it is determined that the number of tile images T has not reached the predetermined number of scheduled acquisitions.
  • the determination unit 103 may count the number of images of tile images T included in the tile image sequence R each time imaging in one lane is completed, and is included in each tile image sequence R after completion of imaging in all lanes. The number of tile images may be counted.
  • the determination unit 103 determines that the number of images of the tile image sequence R in one lane has not reached the predetermined acquisition number, it controls instruction information indicating that lane scan re-execution for that lane is to be performed. Output to the part 101.
  • the control unit 101 that has received the instruction information uses the light source 3, the stage drive unit 12, and the two-dimensional imaging device 6 for the lanes for which it is determined that the number of tile images T has not reached the predetermined acquisition number. Rerun the lane scan.
  • Control unit 101 when the rerun lane scan may be set to a speed lower than the speed V 0 which upon initial lanes scan speed V 1 of the stage 2. For example, the control unit 101 sets the speed V 1 of the stage 2 during the re-execution of the lane scan to 2/3 or less of the velocity V 0 which upon initial lanes scanned.
  • FIG. 7 is a flowchart showing an example of an image acquisition method using the image acquisition device 1.
  • a focus map is created as pre-setting (step S01).
  • a macro image of the entire slide glass is acquired in advance by a macro image acquisition device (not shown), and the image acquisition area 32 for the sample S is set based on the acquired macro image.
  • the focus measurement position in the image acquisition area 32 is set, and the in-focus position is determined based on the contrast of the two-dimensional image acquired at each focus measurement position P.
  • the least squares method is applied to the in-focus positions determined at each of the focus measurement positions P, and a focus map of the sample S is created.
  • step S02 After creating the focus map, set the speed V 0 which stage 2 in performing the lane scan (step S02). Further, the imaging position 34 in the image acquisition area 32 is set based on the created macro image (step S03). That is, in the image acquisition area 32, a plurality of first to n-th lanes are set in the Y direction, and a plurality of first to m-th imaging positions 34 are set in the X direction for each lane. Then, the XY coordinates of each imaging position 34 and the Z coordinate of the imaging position 34 obtained from the focus map are stored in the storage unit 104 together with the number of imaging positions 34 in each lane.
  • step S04 alignment step
  • step S05 a lane scan is performed on one lane.
  • the visual field position of the objective lens 25 is moved to the imaging position 34 by driving the stage 2 (step S11).
  • step S12 position detection step).
  • a trigger signal is generated at the timing when the visual field position of the objective lens 25 reaches the imaging position 34 (step S13), and irradiation of the instantaneous light L and imaging of the sample S are performed (step S14: Imaging step).
  • the light image of the sample S is imaged by the two-dimensional imaging element 6 in synchronization with the irradiation of the instantaneous light L while moving the stage 2 in the scan direction of the lane scan at the velocity V 0 .
  • Acquire a tile image T based on the position information of the stage 2 generated in the position detection step, the imaging by the two-dimensional imaging element 6 and the emission of the instantaneous light L are synchronized.
  • step S15 After execution of imaging at one imaging position 34, it is determined whether the visual field position of the objective lens 25 has reached the end position of the lane (step S15). If it is determined that the visual field position of the objective lens 25 has not reached the end position of the lane, the processing from step S11 to step S15 is repeatedly performed on the next imaging position 34, and the image is included in the lane A tile image sequence R at each imaging position 34 is acquired. If it is determined that the visual field position of the objective lens 25 has reached the end position of the lane, the processing for the lane is completed.
  • step S06 the number of tile images T included in the tile image row R acquired for one lane is counted (step S06), and the number of images is set in advance. It is determined whether the acquired planned number has been reached (step S07: determination step). If it is determined in the determination step that the number of images has not reached the preset planned acquisition number, the lane scan for that lane is re-executed (re-execution step). The re-execution step, the speed of the stage 2 after being re-set to a slow speed V 1 than the speed V 0 set in step S02 (step S08), processing in steps S03 ⁇ step S07 is executed again.
  • step S09 it is determined whether lane scanning has been completed for all lanes. If it is determined that the lane scan is not completed, the processing from step S02 to step S09 is repeatedly performed on the next lane. When the lane scan is re-executed for the previous lane, the speed of stage 2 is reset to the speed V 0 in the process of step S02 for the next lane. If it is determined that the lane scan is completed, the tile image sequence R acquired by the lane scan of each lane is synthesized, and observation image data of the entire sample S is generated (step S10).
  • the number of images of tile images T included in the tile image row R is counted each time the imaging in one lane is completed, but as shown in FIG. 9, the imaging in all lanes
  • the number of tile images T included in each tile image row R may be counted after completion of.
  • steps S01 to S05 in FIG. 7 the creation of the focus map (step S21), the setting of the stage velocity (step S22), the setting of the imaging position (step S23), and the start of the lane scan
  • steps S21 the creation of the focus map
  • step S22 the setting of the stage velocity
  • step S23 the setting of the imaging position
  • step S25 the start of the lane scan
  • step S26 After execution of the lane scan, it is determined whether the lane scan has been completed for all lanes (step S26). If it is determined that all lane scans have not been completed, the processing from step S22 to step S26 is repeatedly performed on the next lane. If it is determined that all the lane scans have been completed, the number of tile images T included in the tile image row R acquired in each lane is counted (step S27), and the number of images is set to the preset planned number of acquisitions. It is determined whether it has reached (step S28: determination step).
  • the lane scan for that lane is re-executed (re-execution step).
  • the re-execution step the speed of the stage 2 after being re-set to a slow speed V 1 than the speed V 0 set in step S22 (step S29), processing in steps S23 ⁇ step S28 is executed again. If it is determined in the determination step that the number of images has reached the preset planned number of acquisitions, tile image sequences R acquired by lane scanning for each lane are combined to generate observation image data of the entire sample S ( Step S30).
  • the image acquisition device 1 counts the number of images of tile images T included in the tile image row R acquired in one lane when capturing the light image of the sample S by lane scanning, and the number of images It is determined whether or not the predetermined number of scheduled acquisitions has been reached. Then, if it is determined that the number of images has not reached the scheduled number for acquisition, the lane scan for that lane is re-executed. Therefore, even if the tile image T is dropped due to the environmental load, the tile image T is complemented by re-execution of the lane scan, and the tile image T can be prevented from being dropped in the observation image.
  • the control unit 101 sets the moving speed of the stage 2 to a speed slower than a predetermined speed. This makes it possible to suppress the occurrence of a missing tile image T when the lane scan is re-executed.
  • the position detection unit 13 detects the position of the stage 2, and the control unit 101 captures an image by the two-dimensional imaging device 6 based on the position information of the stage 2 generated by the position detection unit 13. And the emission of the instantaneous light L by the light source 3 are synchronized. Thereby, acquisition of the tile image T in the target position of the sample S can be performed suitably.
  • the determination unit 103 can count the number of tile images T included in the tile image sequence R each time imaging in one lane is completed. In this case, since it is determined at the time of acquisition of each tile image sequence R whether or not the tile image T needs to be complemented, it is possible to obtain an observation image without a drop in the tile image T simultaneously with the completion of the lane scan.
  • the determination unit 103 can count the number of tile images T included in each tile image row R after completion of imaging in all lanes. In this case, since the necessity of the complementation of the tile image T is determined after the acquisition of all the tile image sequences R, the time until the observation image can be obtained can be shortened when there is no missing tile image T.
  • SYMBOLS 1 Image acquisition apparatus, 2 ... stage, 3 ... light source (light emission part), 5 ... light guide optical system, 6 ... two-dimensional image sensor, 12 ... stage drive part (drive part), 13 ... position detection part, 25 ... objective lens, 101 ... control unit, 103 ... discrimination unit, L ... instantaneous light, R ... tile image sequence, T ... tile image, S ... sample.

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

画像取得装置１では、試料Ｓの光像をレーンスキャンによって撮像するにあたり、一のレーンで取得したタイル画像列Ｒに含まれるタイル画像Ｔの画像数をカウントし、画像数が予め設定された取得予定数に達しているか否かを判別する。そして、画像数が取得予定数に達していないと判別された場合に、そのレーンに対するレーンスキャンを再実行する。したがって、環境負荷に起因してタイル画像Ｔの欠落が生じたとしても、レーンスキャンの再実行によってタイル画像Ｔが補完され、観察画像におけるタイル画像Ｔの欠落を防止できる。

Description

画像取得装置及び画像取得方法
　本開示は、画像取得装置及び画像取得方法に関する。
　組織細胞などの試料の静止画像を取得するための画像取得装置において、試料が撮像素子の撮像視野に対して大きい場合、例えば試料が保持されたステージを対物レンズに対して移動させながら試料の部分画像を順次取得し、その後に部分画像を合成することで試料の全体画像を取得する。このような画像取得装置では、例えばタイリングスキャン方式と呼ばれる画像取得方法が用いられている。タイリングスキャン方式では、試料の所定領域が対物レンズの視野に含まれるようにステージを移動させ、エリアセンサなどの二次元撮像素子を用いてタイル画像（試料の部分画像）を取得する。以降、同様の動作を繰り返し実行することで複数のタイル画像列からなる観察画像（試料の全体画像）を取得する（例えば特許文献１，２参照）。
特開２０１５－０８７７２３号公報 特開２０１５－０８７７１９号公報
　タイリングスキャン方式を採用した画像取得装置では、リニアエンコーダ等の位置検出部を用いて試料が保持されたステージの位置をモニタリングし、試料が目標位置に到達したタイミングで試料の光像の撮像を実行する。しかしながら、スキャンの実行時に外部からの振動、静電気、温度といった環境負荷が画像取得装置に加わると、位置検出部に誤動作が生じることが考えられる。位置検出部に誤動作が生じると、二次元撮像素子が目標位置での撮像をスキップし、観察画像を構成するタイル画像が欠落してしまうおそれがある。
　本開示は、上記課題の解決のためになされたものであり、観察画像におけるタイル画像の欠落を防止できる画像取得装置及び画像取得方法を提供することを目的とする。
　本開示の一側面に係る画像取得装置は、試料が保持されるステージと、瞬間光を出射する光出射部と、ステージ上の試料と対峙するように配置された対物レンズを含む導光光学系と、試料を対物レンズの光軸に交差するスキャン方向に所定速度で移動させる駆動部と、光出射部及び駆動部との協働により、導光光学系で導光された試料の光像をレーンスキャンによって撮像し、複数のタイル画像列からなる観察画像データを取得する二次元撮像素子と、光出射部、駆動部、及び二次元撮像素子によるレーンスキャンの実行を制御する制御部と、一のレーンで取得したタイル画像列に含まれるタイル画像の画像数をカウントし、画像数が予め設定された取得予定数に達しているか否かを判別する判別部と、を備え、制御部は、判別部によって画像数が取得予定数に達していないと判別された場合に、一のレーンに対するレーンスキャンを再実行する。
　この画像取得装置では、試料の光像をレーンスキャンによって撮像するにあたり、一のレーンで取得したタイル画像列に含まれるタイル画像の画像数をカウントし、画像数が予め設定された取得予定数に達しているか否かを判別する。そして、画像数が取得予定数に達していないと判別された場合に、そのレーンに対するレーンスキャンを再実行する。したがって、環境負荷に起因してタイル画像の欠落が生じたとしても、レーンスキャンの再実行によってタイル画像が補完され、観察画像におけるタイル画像の欠落を防止できる。
　また、制御部は、レーンスキャンを再実行する際、ステージの移動速度を所定速度よりも遅い速度に設定してもよい。これにより、レーンスキャンの再実行時にタイル画像の欠落が生じることを抑制できる。
　また、画像取得装置は、ステージの位置を検出する位置検出部を更に備え、制御部は、位置検出部によって生成されたステージの位置情報に基づいて、二次元撮像素子による撮像と光出射部による瞬間光の出射とを同期させてもよい。これにより、試料の目標位置でのタイル画像の取得を好適に実行できる。
　また、判別部は、一のレーンにおける撮像の完了毎にタイル画像列に含まれるタイル画像の画像数をカウントしてもよい。この場合、タイル画像の補完の要否を各タイル画像列の取得時に判断するので、レーンスキャンの完了と同時にタイル画像の欠落の無い観察画像を得ることができる。
　また、判別部は、全てのレーンにおける撮像の完了後に各タイル画像列に含まれるタイル画像の画像数をカウントしてもよい。この場合、タイル画像の補完の要否を全てのタイル画像列の取得後に判断するので、タイル画像の欠落が無かった場合には、観察画像を得るまでの時間を短縮できる。
　また、本開示の一側面に係る画像取得方法は、対物レンズの視野位置がレーンスキャンの開始位置に位置するように、試料が保持されるステージを対物レンズに対して位置合わせする位置合わせステップと、ステージをレーンスキャンのスキャン方向に所定速度で移動させながら、瞬間光の照射に同期して試料の光像を二次元撮像素子によって撮像し、複数のタイル画像列からなる観察画像データを取得する撮像ステップと、一のレーンで取得したタイル画像列に含まれるタイル画像の画像数をカウントし、画像数が予め設定された取得予定数に達しているか否かを判別する判別ステップと、判別ステップにおいて画像数が前記取得予定数に達していないと判別された場合に、一のレーンに対するレーンスキャンを再実行する再実行ステップを含む。
　この画像取得方法では、試料の光像をレーンスキャンによって撮像するにあたり、一のレーンで取得したタイル画像列に含まれるタイル画像の画像数をカウントし、画像数が予め設定された取得予定数に達しているか否かを判別する。そして、画像数が取得予定数に達していないと判別された場合に、そのレーンに対するレーンスキャンを再実行する。したがって、環境負荷に起因してタイル画像の欠落が生じたとしても、レーンスキャンの再実行によってタイル画像が補完され、観察画像におけるタイル画像の欠落を防止できる。
　また、再実行ステップでは、ステージの移動速度を所定速度よりも遅い速度に設定してもよい。これにより、レーンスキャンの再実行時にタイル画像の欠落が生じることを抑制できる。
　また、画像取得方法は、ステージの位置を検出する位置検出ステップを更に備え、撮像ステップでは、位置検出ステップによって生成されたステージの位置情報に基づいて、二次元撮像素子による撮像と瞬間光の出射とを同期させてもよい。これにより、試料の目標位置でのタイル画像の取得を好適に実行できる。
　また、判別ステップでは、一のレーンにおける撮像の完了毎に当該タイル画像列に含まれるタイル画像の画像数をカウントしてもよい。この場合、タイル画像の補完の要否を各タイル画像列の取得時に判断するので、レーンスキャンの完了と同時にタイル画像の欠落の無い観察画像を得ることができる。
　また、判別ステップでは、全てのレーンにおける撮像の完了後に各タイル画像列に含まれるタイル画像の画像数をカウントしてもよい。この場合、タイル画像の補完の要否を全てのタイル画像列の取得後に判断するので、タイル画像の欠落が無かった場合には、観察画像を得るまでの時間を短縮できる。
　この画像取得装置及び画像取得方法によれば、観察画像におけるタイル画像の欠落を防止できる。
画像取得装置の一実施形態を示す図である。 画像取得装置を構成する撮像素子の受光面を示す図である。 コンピュータの機能的な構成要素を示すブロック図である。 試料に対するマクロ画像の一例を示す図である。 試料に対する画像取得領域の一例を示す図である。 撮像素子における露光期間及び読み出し期間と瞬間光の照射との関係の一例を示す図である。 画像取得方法の一例を示すフローチャートである。 レーンスキャンの一例を示すフローチャートである。 画像取得方法の別例を示すフローチャートである。
　以下、図面を参照しながら、本開示の一側面に係る画像取得装置及び画像取得方法の好適な実施形態について詳細に説明する。
　図１は、画像取得装置の一実施形態を示す図である。同図に示すように、画像取得装置１は、試料Ｓが保持されるステージ２と、試料Ｓに向けて瞬間光Ｌを照射する光源３（光出射部）と、ステージ２上の試料Ｓと対峙するように配置された対物レンズ２５を含む導光光学系５と、導光光学系５によって導光された試料Ｓの光像を撮像する二次元撮像素子６とを備えている。
　また、画像取得装置１は、試料Ｓに対する対物レンズ２５の焦点位置を変更させる対物レンズ駆動部１１と、試料Ｓを対物レンズ２５の光軸に交差する方向（スキャン方向）に所定速度で移動させるステージ駆動部（駆動部）１２と、ステージ２の位置を検出する位置検出部１３と、画像取得装置１の動作を統括するコンピュータ１４とを備えている。
　画像取得装置１で観察する試料Ｓは、例えば組織細胞などの生体サンプルであり、例えばスライドガラスに密封された状態でステージ２に載置される。光源３は、ステージ２の底面側に配置されている。光源３としては、例えばレーザダイオード（ＬＤ）、発光ダイオード（ＬＥＤ）、スーパールミネッセントダイオード（ＳＬＤ）、キセノンフラッシュランプといったフラッシュランプ方式光源などが用いられる。光源３の動作は、後述する光源制御部１０１Ａによって制御される。
　導光光学系５は、光源３とステージ２との間に配置される照明光学系２１と、ステージ２と二次元撮像素子６との間に配置される顕微鏡光学系２２とによって構成されている。照明光学系２１は、例えば集光レンズ２３と投影レンズ２４とによって構成されるケーラー照明光学系を有し、光源３からの光を導光して試料Ｓに均一な光を照射するようになっている。
　一方、顕微鏡光学系２２は、対物レンズ２５と、対物レンズ２５の後段側（二次元撮像素子６側）に配置された結像レンズ２６とを有し、試料Ｓの光像を二次元撮像素子６に導光する。なお、試料Ｓの光像とは、明視野照明の場合は透過光による像、暗視野照明の場合は散乱光による像、発光観察（蛍光観察）の場合は発光（蛍光）による像である。また、試料Ｓからの反射光による像であってもよい。これらの場合、導光光学系５として、試料Ｓの透過光画像、散乱光画像、及び発光（蛍光）画像の画像取得に対応した光学系を採用することができる。
　二次元撮像素子６は、複数の画素列を有する撮像素子である。二次元撮像素子６としては、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサが挙げられる。二次元撮像素子６の受光面６ａには、図２に示すように、例えば複数の画素が一次元に配置されてなる画素列３１（第１の画素列３１１、第２の画素列３１２、第３の画素列３１３、…、第Ｍ－２の画素列３１Ｍ－２、第Ｍ－１の画素列３１Ｍ－１、第Ｍの画素列３１Ｍ）が互いに平行になるようにＭ列配列されている。二次元撮像素子６は、コンピュータ１４から出力されるトリガ信号の入力に基づいて、導光光学系５によって導光された試料Ｓの光像を所定のフレームレートで順次撮像し、撮像によって取得した画像データ（後述するタイル画像Ｔ）をコンピュータ１４に出力する。なお、トリガ信号は、ステージ駆動部１２或いは位置検出部１３から出力されてもよい。
　対物レンズ駆動部１１は、例えばステッピングモータ（パルスモータ）といったモータやピエゾアクチュエータといったアクチュエータによって構成されている。対物レンズ駆動部１１は、後述する対物レンズ制御部１０１Ｂによる制御に基づき、対物レンズ２５を対物レンズ２５の光軸に沿ったＺ方向に駆動する。これにより、試料Ｓに対する対物レンズ２５の焦点位置が移動する。
　ステージ駆動部１２は、例えばステッピングモータ（パルスモータ）といったモータやピエゾアクチュエータといったアクチュエータによって構成されている。ステージ駆動部１２は、後述するステージ制御部１０１Ｃによる制御に基づき、ステージ２を対物レンズ２５の光軸の直交面に対して所定の角度（例えば９０度）を有する面についてＸＹ方向に駆動する。これにより、ステージ２に保持された試料Ｓが対物レンズの光軸に対して移動し、試料Ｓに対する対物レンズ２５の視野位置が移動することとなる。
　また、位置検出部１３は、例えばステージ２に取り付けられたリニアエンコーダによって構成されている。位置検出部１３は、ステージ２のＸＹ座標を検出する。位置検出部１３は、検出結果を示す位置情報を生成し、コンピュータ１４に出力する。
　コンピュータ１４は、物理的には、ＲＡＭ、ＲＯＭ等のメモリ、及びＣＰＵ等のプロセッサ（演算回路）、通信インターフェイス、ハードディスク等の格納部、ディスプレイ等の表示部を備えて構成されている。かかるコンピュータ１４としては、例えばパーソナルコンピュータ、マイクロコンピュータ、クラウドサーバ、スマートデバイス（スマートフォン、タブレット端末など）などが挙げられる。
　コンピュータ１４は、メモリに格納されるプログラムをコンピュータシステムのＣＰＵで実行することにより、図３に示すように、画像取得装置１の動作を制御する制御部１０１、二次元撮像素子６で撮像した画像データの処理を実行する画像処理部１０２、二次元撮像素子６で撮像した画像データの状態を判別する判別部１０３として機能する。また、コンピュータ１４は、画像データ等の各種情報を記憶する記憶部１０４を有している。なお、コンピュータ１４は、複数のコンピュータによって構成されてもよく、例えば、一のコンピュータで制御部１０１の機能を実行し、別のコンピュータによって、他の機能を実行してもよい。
　制御部１０１は、より具体的には、光源３の動作を制御する光源制御部１０１Ａと、対物レンズ駆動部１１の動作を制御する対物レンズ制御部１０１Ｂと、ステージ駆動部１２の動作を制御するステージ制御部１０１Ｃとによって構成されている。制御部１０１は、光源制御部１０１Ａ、対物レンズ制御部１０１Ｂ、及びステージ制御部１０１Ｃにより、光源３、ステージ駆動部１２、及び二次元撮像素子６によるレーンスキャンの実行を制御する。以下、レーンスキャンについて説明する。
　画像取得装置１では、例えば２０倍や４０倍といった高倍率で試料Ｓの撮像が行われる。このため、対物レンズ２５の視野は、試料Ｓに対して小さく、一回の撮像で画像を取得できる領域も試料Ｓに対して小さくなる。したがって、試料Ｓの全体を撮像するためには、対物レンズ２５の視野を試料Ｓに対して移動させる必要がある。そこで、画像取得装置１では、試料Ｓを保持するスライドガラスに対して試料Ｓを含むように画像取得領域が設定され、画像取得領域に対するレーンスキャンが実行される。
　本実施形態におけるレーンスキャンでは、事前設定として、図４に示すように、予めスライドガラス全体のマクロ画像をマクロ画像取得装置（不図示）で取得し、取得したマクロ画像に基づいて試料Ｓに対する画像取得領域３２を設定する。画像取得領域３２の設定の際には、マクロ画像における試料Ｓの範囲の特定を容易化するため、マクロ画像の二値化を行うことが好適である。画像取得領域３２の設定の後、フォーカスマップの作成のため、画像取得領域３２における焦点計測位置を設定する。
　図４に示す例では、画像取得領域３２がマトリクス状に９分割され、各分割領域３３の中央に焦点計測位置Ｐが設定されている。また、分割領域３３の中央が試料Ｓから外れている場合には、ユーザによる手動の設定などにより、試料Ｓが位置する任意の位置に焦点計測位置Ｐが設定される。次に、スライドガラスをミクロ画像取得装置である画像取得装置１にセットし、各焦点計測位置Ｐ上に対物レンズ２５が位置するようにステージ２を移動させる。そして、各焦点計測位置Ｐにおいて対物レンズ２５をＺ方向に駆動させながら分割領域３３における複数の二次元画像を取得し、取得した二次元画像のコントラストに基づいて合焦点位置を決定する。各焦点計測位置Ｐにおいてそれぞれ決定された合焦点位置に最小二乗法を適用し、試料Ｓのフォーカスマップを作成する。
　フォーカスマップの作成後、画像取得領域３２における撮像位置を設定する。対物レンズ２５の試料Ｓ上の視野Ｆは、使用する対物レンズ２５の倍率等によって予め定まる。このため、設定された画像取得領域３２に対して視野Ｆの大きさを割り当てることで、画像取得領域３２に複数の撮像位置３４がマトリクス状に設定される。図５に示す例では、画像取得領域３２には、Ｙ方向に第１～第ｎまでの複数のレーンが設定され、各レーンには、Ｘ方向（スキャン方向）に第１～第ｍまでの複数の撮像位置３４が設定されている。各撮像位置３４のＸＹ座標、及びフォーカスマップから求まる撮像位置３４のＺ座標は、各レーンにおける撮像位置３４の数と共に記憶部１０４に記憶される。
　レーンスキャンでは、ステージ２をＸＹ方向に移動させながら、瞬間光Ｌによって試料Ｓの一部をストロボ撮影する。ステージ２がＸステージ及びＹステージを組み合わせて構成される場合、ステージ２のＸ軸とＹ軸とが完全に直交せず、各レーンにおける撮像位置３４のＹ座標が一致しないことが考えられる。したがって、撮像位置３４の設定の際には、上述したように撮像位置３４のＹ座標を含めることが好適である。ステージ２のＸ軸とＹ軸との間の直交からのずれが無視できる程度に小さい場合には、処理の簡単化のため、撮像位置３４のＸＺ座標のみを記憶部１０４に記憶してもよい。
　画像取得装置１は、撮像位置３４に対応する試料Ｓの一部を二次元撮像素子６によって撮像することで、撮像位置３４に対応するタイル画像Ｔをそれぞれ取得する。対物レンズ２５の視野Ｆが次に撮像する撮像位置３４に移動した後、再び撮像を行って次のタイル画像Ｔを取得する。以降、画像取得装置１では、レーン毎に撮像位置３４を順次撮像する動作が繰り返し実行され、複数のタイル画像列Ｒからなる画像データの取得が行われる。
　ステージ制御部１０１Ｃによる対物レンズ２５の視野位置の移動方式は、例えば図５に示すように、各レーンでスキャン方向が同方向となる一方向スキャン(Uni-directional scanning)が採用される。対物レンズ２５の視野位置の移動方式は、一方向スキャンに限られず、隣り合うレーン間でスキャン方向が反転する双方向スキャン（Bi-directional scanning）を採用してもよい。また、光源制御部１０１Ａは、光源３から瞬間光Ｌを照射させる。本実施形態では、図６に示すように、二次元撮像素子６が露光と読み出しとを交互に実行し、画素列３１（第１の画素列３１１、第２の画素列３１２、第３の画素列３１３…第Ｍの画素列３１Ｍ）の露光期間中にトリガ信号が光源制御部１０１Ａに出力される。光源制御部１０１Ａは、トリガ信号に基づいて光源３から瞬間光Ｌを照射させる。
　二次元撮像素子６の読み出し方式は、各画素列３１の露光期間が一致するグローバルシャッタ方式であってもよく、各画素列３１の露光期間が所定時間ずつずれるローリングシャッタ方式であってもよい。トリガ信号は、例えば位置検出部１３によって検出されたステージ２の位置情報に基づいて、ステージ２の駆動によって対物レンズ２５の視野Ｆが撮像対象となる撮像位置３４に移動したときに制御部１０１から二次元撮像素子６及び光源制御部１０１Ａに出力される。また、ステージ駆動部１２を制御するためのクロック数を制御部１０１でカウントし、所定のカウント数に達したときに制御部１０１から二次元撮像素子６及び光源制御部１０１Ａにトリガ信号が出力されてもよい。なお、瞬間光Ｌとローリングシャッタ方式とを組み合わせる場合には、画素列３１の全てが露光しているときに瞬間光Ｌを出力する必要がある。したがって、ステージ２の駆動によって対物レンズ２５の視野Ｆが撮像対象となる撮像位置３４に移動する際に瞬間光Ｌが出力されるように、光源制御部１０１Ａにトリガ信号を出力すればよい。
　画像処理部１０２は、二次元撮像素子６から出力される画像データの処理を実行する。画像処理部１０２は、二次元撮像素子６から出力されるタイル画像Ｔを受け取り、各レーンで取得したタイル画像列Ｒを合成することにより試料Ｓ全体の観察画像データを生成する。観察画像データの生成にあたっては、例えば位置検出部１３から出力される位置情報に基づいて、隣接するタイル画像Ｔ，Ｔの一部同士を重畳するようにしてもよい。
　判別部１０３は、一のレーンで取得したタイル画像列Ｒに含まれるタイル画像Ｔの画像数をカウントし、画像数が予め設定された取得予定数に達しているか否かを判別する。図５に示した例では、各レーンにおける撮像位置３４の数はｍ個であり、タイル画像列Ｒは、ｍ個のタイル画像Ｔによって構成されている。したがって、判別部１０３は、記憶部１０４を参照し、一のレーンで取得したタイル画像列Ｒに含まれるタイル画像Ｔがｍ個である場合には、タイル画像Ｔの画像数が予め設定された取得予定数に達していると判断し、タイル画像Ｔがｍ個未満である場合には、タイル画像Ｔの画像数が予め設定された取得予定数に達していないと判断する。判別部１０３は、一のレーンにおける撮像の完了毎に当該タイル画像列Ｒに含まれるタイル画像Ｔの画像数をカウントしてもよく、全てのレーンにおける撮像の完了後に各タイル画像列Ｒに含まれるタイル画像の画像数をカウントしてもよい。
　判別部１０３は、一のレーンにおけるタイル画像列Ｒの画像数が予め設定された取得予定数に達していないと判断した場合、そのレーンに対するレーンスキャンの再実行を指示する旨の指示情報を制御部１０１に出力する。指示情報を受け取った制御部１０１は、タイル画像Ｔの画像数が予め設定された取得予定数に達していないと判断されたレーンについて、光源３、ステージ駆動部１２、及び二次元撮像素子６によるレーンスキャンを再実行する。制御部１０１は、レーンスキャンを再実行する際、ステージ２の速度Ｖ１を初回のレーンスキャンの際の速度Ｖ０よりも遅い速度に設定してもよい。例えば、制御部１０１は、レーンスキャンの再実行の際のステージ２の速度Ｖ１を初回のレーンスキャンの際の速度Ｖ０の２／３以下に設定する。
　次に、上述した画像取得装置１を用いた画像取得方法について説明する。
　図７は、画像取得装置１を用いた画像取得方法の一例を示すフローチャートである。同図に示すように、この画像取得方法では、事前設定として、まず、フォーカスマップを作成する（ステップＳ０１）。ここでは、予めスライドガラス全体のマクロ画像をマクロ画像取得装置（不図示）で取得し、取得したマクロ画像に基づいて試料Ｓに対する画像取得領域３２を設定する。画像取得領域３２の設定の後、画像取得領域３２における焦点計測位置を設定し、各焦点計測位置Ｐで取得した二次元画像のコントラストに基づいて合焦点位置を決定する。そして、各焦点計測位置Ｐにおいてそれぞれ決定された合焦点位置に最小二乗法を適用し、試料Ｓのフォーカスマップを作成する。
　フォーカスマップの作成後、レーンスキャンを実行する際のステージ２の速度Ｖ０を設定する（ステップＳ０２）。また、作成したマクロ画像に基づいて、画像取得領域３２における撮像位置３４を設定する（ステップＳ０３）。すなわち、画像取得領域３２において、Ｙ方向に第１～第ｎまでの複数のレーンを設定し、各レーンについてＸ方向に第１～第ｍまでの複数の撮像位置３４を設定する。そして、各撮像位置３４のＸＹ座標、及びフォーカスマップから求まる撮像位置３４のＺ座標を、各レーンにおける撮像位置３４の数と共に記憶部１０４に記憶する。
　撮像位置３４の設定後、記憶部１０４から全ての撮像位置３４の座標を読み出し、対物レンズ２５の視野位置がレーンスキャンの開始位置に位置するようにステージ２を対物レンズ２５に対して位置合わせを行う（ステップＳ０４：位置合わせステップ）。このとき、ステージ２に対する対物レンズ２５の高さも開始位置に位置するように対物レンズ駆動部１１を制御する。そして、一のレーンに対するレーンスキャンを実行する（ステップＳ０５）。レーンスキャンでは、図８に示すように、まず、ステージ２の駆動により、対物レンズ２５の視野位置を撮像位置３４に移動させる（ステップＳ１１）。このとき、ステージ２の位置を位置検出部１３によって検出する（ステップＳ１２：位置検出ステップ）。
　ステージ２の位置検出結果に基づき、対物レンズ２５の視野位置が撮像位置３４に到達したタイミングでトリガ信号を生成し（ステップＳ１３）、瞬間光Ｌの照射及び試料Ｓの撮像を行う（ステップＳ１４：撮像ステップ）。この撮像ステップでは、ステージ２をレーンスキャンのスキャン方向に速度Ｖ０で移動させながら、瞬間光Ｌの照射に同期して試料Ｓの光像を二次元撮像素子６によって撮像し、撮像位置３４におけるタイル画像Ｔを取得する。また、撮像ステップでは、位置検出ステップによって生成されたステージ２の位置情報に基づいて、二次元撮像素子６による撮像と瞬間光Ｌの出射とを同期させる。
　一の撮像位置３４における撮像の実行後、対物レンズ２５の視野位置がレーンの終了位置に到達したか否かを判断する（ステップＳ１５）。対物レンズ２５の視野位置がレーンの終了位置に到達していないと判断された場合には、次の撮像位置３４に対してステップＳ１１～ステップＳ１５までの処理を繰り返し実行し、当該レーンに含まれる各撮像位置３４におけるタイル画像列Ｒを取得する。対物レンズ２５の視野位置がレーンの終了位置に到達したと判断された場合には、当該レーンに対する処理が完了する。
　一のレーンに対するレーンスキャンが完了した後、図７に示すように、一のレーンで取得したタイル画像列Ｒに含まれるタイル画像Ｔの画像数をカウントし（ステップＳ０６）、画像数が予め設定された取得予定数に達しているか否かを判別する（ステッＳ０７：判別ステップ）。判別ステップにおいて画像数が予め設定された取得予定数に達していないと判断された場合、そのレーンに対するレーンスキャンを再実行する（再実行ステップ）。再実行ステップでは、ステージ２の速度がステップＳ０２で設定された速度Ｖ０よりも遅い速度Ｖ１に再設定された後（ステップＳ０８）、ステップＳ０３～ステップＳ０７の処理が再実行される。
　一方、判別ステップにおいて画像数が予め設定された取得予定数に達していると判断された場合、全てのレーンでレーンスキャンが完了したか否かを判断する（ステップＳ０９）。レーンスキャンが完了していないと判断された場合、次のレーンに対してステップＳ０２～ステップＳ０９までの処理を繰り返し実行する。直前のレーンに対してレーンスキャンの再実行を行った場合には、次のレーンに対するステップＳ０２の処理において、ステージ２の速度を速度Ｖ０に再設定する。レーンスキャンが完了したと判断された場合、各レーンのレーンスキャンで取得したタイル画像列Ｒを合成し、試料Ｓ全体の観察画像データを生成する（ステップＳ１０）。
　図７に示した例では、一のレーンにおける撮像の完了毎に当該タイル画像列Ｒに含まれるタイル画像Ｔの画像数をカウントしているが、図９に示すように、全てのレーンにおける撮像の完了後に各タイル画像列Ｒに含まれるタイル画像Ｔの画像数をカウントしてもよい。図９に示す例では、図７におけるステップＳ０１～ステップＳ０５と同様に、フォーカスマップの作成（ステップＳ２１）、ステージ速度の設定（ステップＳ２２）、撮像位置の設定（ステップＳ２３）、レーンスキャンの開始位置への対物レンズ２５の位置合わせ（ステップＳ２４）、及びレーンスキャンの実行（ステップＳ２５）の各処理を行う。
　レーンスキャンの実行後、全てのレーンでレーンスキャンが完了したか否かを判断する（ステップＳ２６）。全てのレーンスキャンが完了していないと判断された場合、次のレーンに対してステップＳ２２～ステップＳ２６までの処理を繰り返し実行する。全てのレーンスキャンが完了したと判断された場合、各レーンで取得したタイル画像列Ｒに含まれるタイル画像Ｔの画像数をカウントし（ステップＳ２７）、画像数が予め設定された取得予定数に達しているか否かを判別する（ステップＳ２８：判別ステップ）。
　判別ステップにおいて画像数が予め設定された取得予定数に達していないと判断された場合、そのレーンに対するレーンスキャンを再実行する（再実行ステップ）。再実行ステップでは、ステージ２の速度がステップＳ２２で設定された速度Ｖ０よりも遅い速度Ｖ１に再設定された後（ステップＳ２９）、ステップＳ２３～ステップＳ２８の処理が再実行される。判別ステップにおいて画像数が予め設定された取得予定数に達していると判断された場合、各レーンのレーンスキャンで取得したタイル画像列Ｒを合成し、試料Ｓ全体の観察画像データを生成する（ステップＳ３０）。
　以上説明したように、画像取得装置１では、試料Ｓの光像をレーンスキャンによって撮像するにあたり、一のレーンで取得したタイル画像列Ｒに含まれるタイル画像Ｔの画像数をカウントし、画像数が予め設定された取得予定数に達しているか否かを判別する。そして、画像数が取得予定数に達していないと判別された場合に、そのレーンに対するレーンスキャンを再実行する。したがって、環境負荷に起因してタイル画像Ｔの欠落が生じたとしても、レーンスキャンの再実行によってタイル画像Ｔが補完され、観察画像におけるタイル画像Ｔの欠落を防止できる。
　また、画像取得装置１では、レーンスキャンを再実行する際、制御部１０１がステージ２の移動速度を所定速度よりも遅い速度に設定する。これにより、レーンスキャンの再実行時にタイル画像Ｔの欠落が生じることを抑制できる。
　また、画像取得装置１では、ステージ２の位置を位置検出部１３によって検出し、制御部１０１は、位置検出部１３によって生成されたステージ２の位置情報に基づいて、二次元撮像素子６による撮像と光源３による瞬間光Ｌの出射とを同期させる。これにより、試料Ｓの目標位置でのタイル画像Ｔの取得を好適に実行できる。
　また、画像取得装置１では、判別部１０３が一のレーンにおける撮像の完了毎にタイル画像列Ｒに含まれるタイル画像Ｔの画像数をカウントし得る。この場合、タイル画像Ｔの補完の要否を各タイル画像列Ｒの取得時に判断するので、レーンスキャンの完了と同時にタイル画像Ｔの欠落の無い観察画像を得ることができる。
　また、画像取得装置１では、判別部１０３が全てのレーンにおける撮像の完了後に各タイル画像列Ｒに含まれるタイル画像Ｔの画像数をカウントし得る。この場合、タイル画像Ｔの補完の要否を全てのタイル画像列Ｒの取得後に判断するので、タイル画像Ｔの欠落が無かった場合には、観察画像を得るまでの時間を短縮できる。
　１…画像取得装置、２…ステージ、３…光源（光出射部）、５…導光光学系、６…二次元撮像素子、１２…ステージ駆動部（駆動部）、１３…位置検出部、２５…対物レンズ、１０１…制御部、１０３…判別部、Ｌ…瞬間光、Ｒ…タイル画像列、Ｔ…タイル画像、Ｓ…試料。

Claims (10)

  1. 　試料が保持されるステージと、
    　瞬間光を出射する光出射部と、
    　前記ステージ上の前記試料と対峙するように配置された対物レンズを含む導光光学系と、
    　前記試料を前記対物レンズの光軸に交差するスキャン方向に所定速度で移動させる駆動部と、
    　前記光出射部及び前記駆動部との協働により、前記導光光学系で導光された前記試料の光像をレーンスキャンによって撮像し、複数のタイル画像列からなる観察画像データを取得する二次元撮像素子と、
    　前記光出射部、前記駆動部、及び前記二次元撮像素子による前記レーンスキャンの実行を制御する制御部と、
    　一のレーンで取得した前記タイル画像列に含まれるタイル画像の画像数をカウントし、前記画像数が予め設定された取得予定数に達しているか否かを判別する判別部と、を備え、
    　前記制御部は、前記判別部によって前記画像数が前記取得予定数に達していないと判別された場合に、前記一のレーンに対するレーンスキャンを再実行する画像取得装置。
  2. 　前記制御部は、前記レーンスキャンを再実行する際、前記ステージの移動速度を前記所定速度よりも遅い速度に設定する請求項１記載の画像取得装置。
  3. 　前記ステージの位置を検出する位置検出部を更に備え、
    　前記制御部は、前記位置検出部によって生成された前記ステージの位置情報に基づいて、前記二次元撮像素子による撮像と前記光出射部による前記瞬間光の出射とを同期させる請求項１又は２記載の画像取得装置。
  4. 　前記判別部は、前記一のレーンにおける撮像の完了毎にタイル画像列に含まれるタイル画像の画像数をカウントする請求項１～３のいずれか一項記載の画像取得装置。
  5. 　前記判別部は、全てのレーンにおける撮像の完了後に各タイル画像列に含まれるタイル画像の画像数をカウントする請求項１～３のいずれか一項記載の画像取得装置。
  6. 　対物レンズの視野位置がレーンスキャンの開始位置に位置するように、試料が保持されるステージを前記対物レンズに対して位置合わせする位置合わせステップと、
    　前記ステージを前記レーンスキャンのスキャン方向に所定速度で移動させながら、瞬間光の照射に同期して前記試料の光像を二次元撮像素子によって撮像し、複数のタイル画像列からなる観察画像データを取得する撮像ステップと、
    　一のレーンで取得した前記タイル画像列に含まれるタイル画像の画像数をカウントし、前記画像数が予め設定された取得予定数に達しているか否かを判別する判別ステップと、
    　前記判別ステップにおいて前記画像数が前記取得予定数に達していないと判別された場合に、前記一のレーンに対するレーンスキャンを再実行する再実行ステップを含む画像取得方法。
  7. 　前記再実行ステップでは、前記ステージの移動速度を前記所定速度よりも遅い速度に設定する請求項６記載の画像取得方法。
  8. 　前記ステージの位置を検出する位置検出ステップを更に備え、
    　前記撮像ステップでは、前記位置検出ステップによって生成された前記ステージの位置情報に基づいて、前記二次元撮像素子による撮像と前記瞬間光の出射とを同期させる請求項６又は７記載の画像取得方法。
  9. 　前記判別ステップでは、前記一のレーンにおける撮像の完了毎にタイル画像列に含まれるタイル画像の画像数をカウントする請求項６～８のいずれか一項記載の画像取得方法。
  10. 　前記判別ステップでは、全てのレーンにおける撮像の完了後に各タイル画像列に含まれるタイル画像の画像数をカウントする請求項６～８のいずれか一項記載の画像取得方法。
PCT/JP2018/020375 2017-08-31 2018-05-28 画像取得装置及び画像取得方法 WO2019044076A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/637,543 US11280991B2 (en) 2017-08-31 2018-05-28 Image acquisition device and image acquisition method
CN201880055846.1A CN111033352B (zh) 2017-08-31 2018-05-28 图像取得装置和图像取得方法
EP18850525.9A EP3677946A4 (en) 2017-08-31 2018-05-28 IMAGE ACQUISITION DEVICE AND IMAGE ACQUISITION PROCESS
US17/570,245 US11698519B2 (en) 2017-08-31 2022-01-06 Image acquisition device and image acquisition method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-167294 2017-08-31
JP2017167294A JP6842387B2 (ja) 2017-08-31 2017-08-31 画像取得装置及び画像取得方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/637,543 A-371-Of-International US11280991B2 (en) 2017-08-31 2018-05-28 Image acquisition device and image acquisition method
US17/570,245 Continuation US11698519B2 (en) 2017-08-31 2022-01-06 Image acquisition device and image acquisition method

Publications (1)

Publication Number Publication Date
WO2019044076A1 true WO2019044076A1 (ja) 2019-03-07

Family

ID=65527241

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/020375 WO2019044076A1 (ja) 2017-08-31 2018-05-28 画像取得装置及び画像取得方法

Country Status (5)

Country Link
US (2) US11280991B2 (ja)
EP (1) EP3677946A4 (ja)
JP (2) JP6842387B2 (ja)
CN (1) CN111033352B (ja)
WO (1) WO2019044076A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6842387B2 (ja) * 2017-08-31 2021-03-17 浜松ホトニクス株式会社 画像取得装置及び画像取得方法
JP2021083408A (ja) * 2019-11-29 2021-06-03 株式会社島津製作所 検査方法および検査装置
KR102258958B1 (ko) * 2019-12-26 2021-06-02 나노스코프시스템즈 주식회사 고속 이미징 방법 및 이를 이용한 고속 이미징 현미경

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015087723A (ja) 2013-11-01 2015-05-07 浜松ホトニクス株式会社 画像取得装置及び画像取得装置の画像取得方法
JP2015087719A (ja) 2013-11-01 2015-05-07 浜松ホトニクス株式会社 画像取得装置及び画像取得装置の画像取得方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3863993B2 (ja) 1998-03-18 2006-12-27 オリンパス株式会社 顕微鏡
US6711283B1 (en) * 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US7155049B2 (en) * 2001-01-11 2006-12-26 Trestle Acquisition Corp. System for creating microscopic digital montage images
US7792338B2 (en) 2004-08-16 2010-09-07 Olympus America Inc. Method and apparatus of mechanical stage positioning in virtual microscopy image capture
JP2006308337A (ja) 2005-04-26 2006-11-09 Honda Electronic Co Ltd 光学顕微鏡用超音波プローブ、超音波顕微鏡システム、及び光学／超音波顕微鏡システム
CN101952762B (zh) 2008-01-02 2012-11-28 加利福尼亚大学董事会 高数值孔径远程显微镜设备
US8870751B2 (en) * 2010-09-28 2014-10-28 Fujifilm Corporation Endoscope system, endoscope image recording apparatus, endoscope image acquisition assisting method and computer readable medium
US20120127297A1 (en) * 2010-11-24 2012-05-24 Baxi Vipul A Digital microscopy with focus grading in zones distinguished for comparable image structures
US20130077892A1 (en) 2011-09-27 2013-03-28 Yasunori Ikeno Scan Order Optimization and Virtual Slide Stitching
JP6494294B2 (ja) * 2014-05-15 2019-04-03 キヤノン株式会社 画像処理装置、及び撮像システム
WO2016079853A1 (ja) * 2014-11-20 2016-05-26 オリンパス株式会社 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
JP2016125913A (ja) 2015-01-05 2016-07-11 キヤノン株式会社 画像取得装置及び画像取得装置の制御方法
JP6619217B2 (ja) 2015-11-26 2019-12-11 オリンパス株式会社 顕微鏡システムとその制御方法
JP6842387B2 (ja) * 2017-08-31 2021-03-17 浜松ホトニクス株式会社 画像取得装置及び画像取得方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015087723A (ja) 2013-11-01 2015-05-07 浜松ホトニクス株式会社 画像取得装置及び画像取得装置の画像取得方法
JP2015087719A (ja) 2013-11-01 2015-05-07 浜松ホトニクス株式会社 画像取得装置及び画像取得装置の画像取得方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3677946A4

Also Published As

Publication number Publication date
JP2019045632A (ja) 2019-03-22
JP6842387B2 (ja) 2021-03-17
EP3677946A4 (en) 2021-06-23
EP3677946A1 (en) 2020-07-08
US20220128807A1 (en) 2022-04-28
US20200257099A1 (en) 2020-08-13
CN111033352B (zh) 2021-08-03
JP2021101241A (ja) 2021-07-08
CN111033352A (zh) 2020-04-17
JP7093435B2 (ja) 2022-06-29
US11698519B2 (en) 2023-07-11
US11280991B2 (en) 2022-03-22

Similar Documents

Publication Publication Date Title
JP7093435B2 (ja) 画像取得装置、画像取得方法、及び画像取得プログラム
JP6266601B2 (ja) 画像取得装置、試料のフォーカスマップを作成する方法及びシステム
US20150358533A1 (en) Control method for imaging apparatus and imaging system
US10598916B2 (en) Image acquisition device and method and system for acquiring focusing information for specimen
US9046677B2 (en) Microscope system and autofocus method
JP2014240885A (ja) 画像取得装置及び画像取得装置のフォーカス方法
JP2013127578A (ja) 画像取得装置及び画像取得装置のフォーカス方法
JP6134249B2 (ja) 画像取得装置及び画像取得装置の画像取得方法
KR101178055B1 (ko) 높이차 측정 장치 및 방법
JP6076205B2 (ja) 画像取得装置及び画像取得装置のフォーカス方法
WO2019123869A1 (ja) 画像取得装置及び画像取得方法
EP2947487A1 (en) Image acquisition device and focus method for image acquisition device
WO2024014079A1 (ja) 細胞観察装置および細胞観察装置で用いられる撮像方法
US20220317429A1 (en) Microscope and method for imaging an object using a microscope
CN112881384A (zh) 检查方法以及检查装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18850525

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018850525

Country of ref document: EP

Effective date: 20200331