WO2020066042A1 - 顕微鏡システム、投影ユニット、及び、画像投影方法 - Google Patents

顕微鏡システム、投影ユニット、及び、画像投影方法 Download PDF

Info

Publication number
WO2020066042A1
WO2020066042A1 PCT/JP2018/047498 JP2018047498W WO2020066042A1 WO 2020066042 A1 WO2020066042 A1 WO 2020066042A1 JP 2018047498 W JP2018047498 W JP 2018047498W WO 2020066042 A1 WO2020066042 A1 WO 2020066042A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
microscope system
projection
sample
image data
Prior art date
Application number
PCT/JP2018/047498
Other languages
English (en)
French (fr)
Inventor
中田　竜男
章文 壁谷
貴 米山
佐々木　浩
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201880097760.5A priority Critical patent/CN112714888B/zh
Priority to JP2020547903A priority patent/JP7150868B2/ja
Priority to EP18935247.9A priority patent/EP3988988A4/en
Publication of WO2020066042A1 publication Critical patent/WO2020066042A1/ja
Priority to US17/195,916 priority patent/US11869166B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/053—Detail-in-context presentations
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • W WSI Whole Slide Imaging
  • WSI technology is a technology that creates a digital image of the entire specimen on a slide glass.
  • the WSI technology is described in Patent Document 1, for example.
  • An object according to one aspect of the present invention is to provide a new technology that reduces the burden on an operator by assisting operations such as diagnosis, inspection, and evaluation performed based on an optical image obtained by an optical microscope. It is.
  • a microscope system includes an eyepiece, an objective lens that guides light from a sample to the eyepiece, and an optical lens disposed on an optical path between the eyepiece and the objective lens, and light from the sample.
  • An imaging lens that forms an optical image of the sample based on the projection image generation unit that generates projection image data representing a projection image including a first auxiliary image, wherein the first auxiliary image is
  • the projection image generation unit which is an image that is an image of a region wider than the actual field of view corresponding to the optical image, and a projection device that projects the projection image onto an image plane on which the optical image is formed.
  • a projection unit is a projection unit for a microscope including an objective lens, an imaging lens, and an eyepiece, and an imaging device that acquires digital image data of the sample based on light from the sample.
  • a projection image generating unit that generates projection image data representing a projection image including a first auxiliary image, wherein the first auxiliary image is an image of the sample and is an optical image formed by the imaging lens.
  • the image processing apparatus includes the projection image generation unit, which is an image obtained by capturing an area wider than a corresponding real field of view, and a projection device that projects the projection image onto an image plane on which the optical image is formed.
  • An image projection method is an image projection method performed by a microscope system, wherein the microscope system generates projection image data representing a projection image including a first auxiliary image, wherein the 1 Auxiliary image is an image of a sample, which is an image of a region wider than the actual field of view corresponding to the optical image of the sample, and an image plane on which the optical image is formed based on light from the sample. Projecting the projection image.
  • the burden on the operator can be reduced.
  • FIG. 1 is a diagram showing a configuration of a microscope system 1.
  • FIG. 2 is a diagram showing a configuration of a control device 10.
  • 4 is an example of a flowchart of an image projection process performed by the microscope system 1.
  • 3 is an example of an image viewed from an eyepiece 104 of the microscope system 1.
  • 4 is an example of a flowchart of a projection image data generation process performed by the microscope system 1.
  • map image M1 It is a figure for explaining an example of a construction process of a map image. It is a figure for explaining another example of a construction process of a map image. It is a figure for explaining another example of a construction process of a map image.
  • FIG. 9 is another example of a flowchart of a projection image data generation process performed by the microscope system 1.
  • 5 is another example of an image viewed from the eyepiece 104 of the microscope system 1.
  • FIG. 2 is a diagram illustrating a configuration of a neural network.
  • 9 is still another example of the flowchart of the projection image data generation process performed by the microscope system 1.
  • FIG. 6 is still another example of an image viewed from the eyepiece 104 of the microscope system 1.
  • FIG. 9 is still another example of the flowchart of the projection image data generation process performed by the microscope system 1.
  • FIG. 6 is still another example of an image viewed from the eyepiece 104 of the microscope system 1.
  • FIG. FIG. 6 is still another example of an image viewed from the eyepiece 104 of the microscope system 1.
  • FIG. FIG. 6 is still another example of an image viewed from the eyepiece 104 of the microscope system 1.
  • FIG. FIG. 6 is still another example of an image viewed from the eyepiece 104 of the microscope system 1.
  • FIG. 2 is a diagram showing a configuration of a microscope 200.
  • FIG. 2 is a diagram showing a configuration of a microscope system 2.
  • FIG. 2 is a diagram showing a configuration of a microscope system 3.
  • FIG. 2 is a diagram illustrating a plurality of systems having different sizes of fields of view.
  • FIG. 3 is a diagram illustrating a device 30 that is an example of a reader device.
  • the microscope system 1 projects a projection image using the projection device 131 on an image plane on which an optical image of the sample is formed by the objective lens 102 and the imaging lens 103.
  • the projection image includes an image of the sample, which is an image of an area wider than the actual visual field corresponding to the optical image.
  • the microscope system 1 includes a microscope 100, a control device 10, and an input device 20, as shown in FIG. Note that the microscope system 1 may include a display device and the like in addition to the above.
  • the microscope main body 110 includes a stage 101 on which a sample is placed, an objective lens (objective lens 102, objective lens 102a) for guiding light from the sample to the eyepiece 104, an epi-illumination optical system, and a transmission illumination including a field stop FS.
  • Stage 101 may be a manual stage or an electric stage. It is desirable that a plurality of objective lenses having different magnifications are mounted on the revolver.
  • the objective lens 102 is a 4 ⁇ objective lens
  • the objective lens 102a is a 20 ⁇ objective lens.
  • the microscope main body 110 may include at least one of an epi-illumination optical system and a transmission illumination optical system.
  • the epi-illumination optical system may include the field stop. Further, the epi-illumination optical system may include a relay optical system (not shown) between the objective lens 102 and a light deflecting element 132 described later, and the field stop is provided at an intermediate image position formed by the relay optical system. Is also good.
  • the microscope main body 110 further includes a turret 111 for switching the microscope method.
  • a turret 111 for example, a fluorescent cube used in a fluorescence observation method, a half mirror used in a bright field observation method, and the like are arranged.
  • the microscope main body 110 may be provided with an optical element used in a specific microscope method so that it can be inserted into and removed from the optical path.
  • the microscope main body 110 may include, for example, a DIC prism, a polarizer, and an analyzer used in the differential interference observation method.
  • the lens barrel 120 is a trinocular barrel on which the eyepiece 104 and the imaging device 140 are mounted.
  • An imaging lens 103 is provided in the lens barrel 120.
  • the imaging lens 103 is arranged on an optical path between the objective lens 102 and the eyepiece 104.
  • the imaging lens 103 forms an optical image of the sample on an image plane between the eyepiece 104 and the imaging lens 103 based on light from the sample.
  • the imaging lens 103 also forms an optical image of the sample on the image plane between the imaging device 141 and the imaging lens 103 based on light from the sample.
  • the imaging lens 103 also forms a later-described projection image on these image planes based on light from the projection device 131. Accordingly, the projection image is superimposed on the optical image on the image plane, so that the user of the microscope system 1 can see the superimposed image in which the projection image is superimposed on the optical image by looking through the eyepiece 104.
  • the imaging lens 103 has a function of changing the focal length without changing the position of the image plane, a function of changing the position of the image plane without changing the focal length, or a function of changing the position and the focal length of the image plane. Each has a function that can be changed independently.
  • a lens that realizes these functions includes a lens that moves at least a part of the lens that forms the imaging lens 103 in the optical axis direction. Further, an active lens that changes at least one of the radius of curvature and the refractive index of the lens by electrically controlling at least a part of the optical system that forms the imaging lens 103 is also included.
  • the active lens may be, for example, a liquid lens.
  • the intermediate lens barrel 130 is provided between the microscope main body 110 and the lens barrel 120.
  • the intermediate lens barrel 130 includes a projection device 131, a light deflecting element 132, and a projection lens 133.
  • the projection device 131 is a device that projects a projection image on an image plane on which an optical image is formed in accordance with a command from the control device 10.
  • the projection device 131 is, for example, a projector using a liquid crystal device, a projector using a digital mirror device, a projector using LCOS, and the like.
  • the projection lens 133 is a lens that guides light from the projection device 131 to the imaging lens 103.
  • the magnification of the projected image projected on the image plane is adjusted by the focal length of the projection lens 133.
  • a lens having a function of changing at least one of the position of the image plane and the focal length for example, an active lens may be employed as the projection lens 133.
  • the imaging device 140 is, for example, a digital camera, and includes an imaging element 141 and an adapter lens 142.
  • the imaging device 140 acquires digital image data of the sample based on light from the sample.
  • the image sensor 141 is an example of a photodetector that detects light from a sample.
  • the image sensor 141 is a two-dimensional image sensor, such as a CCD image sensor or a CMOS image sensor.
  • the image sensor 141 detects light from the sample and converts the light into an electric signal.
  • the adapter lens 142 projects the optical image formed on the image plane to the image sensor 141.
  • the digital image acquired by the imaging device 140 may include a projection image in addition to the optical image of the sample.
  • the imaging device 140 can acquire digital image data of a sample that does not include a projection image.
  • the input device 20 outputs an operation signal according to a user's input operation to the control device 10.
  • the input device 20 is, for example, a keyboard, but may include a mouse, a joystick, a touch panel, and the like. Further, the input device 20 may be a device that receives a voice input, for example, a microphone. In that case, the control device 10 may have a function of recognizing a voice instruction input from the input device 20.
  • the control device 10 controls the entire microscope system 1.
  • the control device 10 is connected to the microscope 100 and the input device 20.
  • the control device 10 mainly includes an imaging control unit 11, an image analysis unit 12, a projection image generation unit 13, a projection control unit 14, and a recording unit 15 as components related to control of the projection device 131. It has.
  • the imaging control unit 11 acquires digital image data of the sample by controlling the imaging device 140.
  • the digital image data acquired by the imaging control unit 11 is output to the image analysis unit 12, the projection image generation unit 13, and the recording unit 15.
  • the image analysis unit 12 analyzes the digital image data acquired by the imaging control unit 11 and outputs an analysis result to the projection image generation unit 13.
  • the content of the analysis processing performed by the image analysis unit 12 is not particularly limited.
  • the image analysis unit 12 specifies a position corresponding to the optical image in the map image projected on the image plane based on, for example, digital image data acquired by the image sensor 141 and map image data described later. Then, the position information may be output to the projection image generation unit 13.
  • the image analysis unit 12 specifies the above-described position by comparing the map image with the digital image.
  • the image analysis unit 12 may perform a process of specifying a position by image comparison each time digital image data is acquired. Once the position is specified by the image comparison, the relationship between the coordinate information included in the map image and the coordinate information managed by the microscope system 1 is determined. Therefore, after that, the image analysis unit 12 may update the position based on the coordinate information of the map image and the moving amount of the sample without comparing the map image with the digital image.
  • the moving amount of the sample may be calculated based on a plurality of digital image data acquired at different times, for example. Specifically, for example, it is possible to calculate the moving distance of the subject shown in the digital image data by performing image analysis on digital image data acquired at different times. Further, by comparing the map image with the digital images acquired at different times, the coordinates of each image with respect to the map image can be obtained, and the movement amount can be calculated from those coordinates. In this case, the movement amount can be calculated even if there is no spatial overlap between the digital images represented by the digital image data acquired at different times. If the stage 101 is an electric stage, the movement amount may be calculated based on the control information of the electric stage.
  • the control information of the electric stage may be, for example, information on a movement instruction output from the control device 10 to the stage 101, or information on a movement result output from the stage 101 to the control device 10.
  • the information on the movement result is, for example, output information from an encoder provided on the stage 101.
  • the image analysis unit 12 classifies, for example, one or more structures appearing in a digital image represented by digital image data into one or more classes, and classifies them into at least one of the one or more classes.
  • An analysis result including information for specifying the position of the classified structure may be output. More specifically, the image analysis unit 12 classifies the cells shown in the digital image according to the staining intensity, and class information on which the cells are classified and position information for specifying the outline of the cell or the outline of the nucleus of the cell. May be generated.
  • the structures classified into at least one class are objects that serve as a basis for determination in pathological diagnosis by a pathologist.
  • the image analysis unit 12 may track the region of interest in the sample based on, for example, digital image data. In this case, it is desirable that the analysis result output by the image analysis unit 12 include the position information of the attention area and the tracking result information indicating whether the tracking is correct or not.
  • the attention area to be tracked may be determined by analyzing digital image data, or may be determined by the user using the input device 20 to specify.
  • the projection image generation unit 13 generates projection image data.
  • the projection image data generated by the projection image generation unit 13 is output to the projection control unit 14 and the recording unit 15.
  • the projection image represented by the projection image data includes a map image.
  • the map image is an example of a first auxiliary image.
  • the map image is an image of the sample, which is an image of a region wider than the actual field of view corresponding to the optical image formed on the image plane.
  • the map image may be, for example, an image of a sample acquired using an objective lens having a lower magnification than the objective lens 102.
  • the image may be an image generated by tiling a plurality of images such as Whole Slide Image. In this case, the plurality of images are images in which different portions of the sample area wider than the actual field of view are captured.
  • a map image generated by tiling a plurality of images will be described as an example.
  • the map image data included in the projection image data generated by the projection image generation unit 13 may be image data generated by a system different from the microscope system 1.
  • the projection image generation unit 13 may generate projection image data using map image data acquired by another system. Further, the projection image generation unit 13 may generate map image data based on a plurality of digital image data of the sample acquired by the imaging device 140.
  • the map image data is an example of first auxiliary image data, and is image data representing a map image.
  • the projection image may include other images in addition to the map image.
  • the projection image may include a position image indicating a position corresponding to the optical image in the map image.
  • the position image is an example of a second auxiliary image.
  • the projection image generation unit 13 may generate the position image data based on the position information corresponding to the optical image in the map image output from the image analysis unit 12, and thereby, the map image and the position image may be generated.
  • the projection image data representing the projection image including the projection image data may be generated.
  • the position image data is image data representing a position image.
  • the projection image may include an analysis image indicating the analysis result of the image analysis unit 12.
  • This analysis image is an example of a third auxiliary image.
  • the projection image generation unit 13 may generate analysis image data based on the class information and the position information output from the image analysis unit 12, whereby the projection including the map image and the analysis image indicating the analysis result is performed. Projection image data representing an image may be generated. Note that the analysis image data is image data representing an analysis image.
  • the projection image may include an analysis image indicating a tracking result of the image analysis unit 12.
  • This analysis image is an example of a fourth auxiliary image, and is, for example, an image indicating whether tracking of the attention area is correct or not.
  • the projection image generation unit 13 may generate analysis image data based on the tracking result information of the attention area output from the image analysis unit 12, and thereby includes a map image and an analysis image indicating the tracking result. Projection image data representing a projection image may be generated.
  • the projection control unit 14 controls the projection of the projection image on the image plane by controlling the projection device 131.
  • the projection control unit 14 may control the projection device 131 according to the setting of the microscope system 1.
  • the projection control unit 14 may determine whether to project the projection image on the image plane according to the setting of the microscope system 1.
  • the projection device 131 may be controlled so that the device 131 projects the projection image on the image plane. That is, the microscope system 1 can change whether or not to project the projection image on the image plane by setting.
  • the projection control unit 14 may control the projection device 131 so that, for example, the light emission period of the projection device 131 and the exposure period of the image sensor 141 do not overlap. Thereby, it is possible to prevent the projection image from appearing in the digital image.
  • the recording unit 15 records digital image data.
  • the recording unit 15 may record digital image data when detecting input of a recording instruction by a user. Further, when the microscope system 1 detects a predetermined event, the recording unit 15 may record information corresponding to the event together with the digital image data in response to the event. For example, when a cancer cell is detected based on the analysis result of the image analysis unit 12, the recording unit 15 may record position information of the cancer cell and digital image data.
  • the recording unit 15 may also record map image data, analysis results, coordinate information, and the like.
  • the memory 10b is a working memory of the processor 10a.
  • the memory 10b is an arbitrary semiconductor memory such as a random access memory (RAM).
  • the auxiliary storage device 10c is a nonvolatile memory such as an EPROM (Erasable Programmable ROM) and a hard disk drive (Hard Disc Drive).
  • the input / output interface 10d exchanges information with external devices (the microscope 100 and the input device 20).
  • the communication control device 10f inputs and outputs information to and from a network.
  • a NIC Network Interface Card
  • a wireless LAN Local Area Network
  • the bus 10g connects the processor 10a, the memory 10b, the auxiliary storage device 10c, and the like so that data can be exchanged with each other.
  • FIG. 3 is a flowchart of the image projection process performed by the microscope system 1.
  • FIG. 4 is an example of an image viewed from the eyepiece 104 of the microscope system 1.
  • FIG. 5 is an example of a flowchart of the projection image data generation processing performed by the microscope system 1.
  • FIG. 6 is a diagram for explaining the map image M1.
  • an image projection method of the microscope system 1 will be described with reference to FIGS.
  • the microscope system 1 projects the optical image of the sample on the image plane (Step S10).
  • the imaging lens 103 condenses the light from the sample captured by the objective lens 102 on the image plane, and forms an optical image of the sample.
  • the optical image O1 is projected on the region R1 on the image plane.
  • the region R1 is a region on the image plane where the light beam from the objective lens 102 is incident.
  • the region R2 indicates a region on the image plane that can be seen by looking through the eyepiece 104.
  • the microscope system 1 acquires digital image data of the sample (Step S20).
  • the imaging device 140 generates digital image data by imaging the sample based on light from the sample. Since the image sensor 141 has a rectangular shape, the region on the sample corresponding to the digital image does not completely match the region on the sample corresponding to the optical image, that is, the actual field of view.
  • the region R4 indicates a region on the image plane corresponding to a region on the sample that can be imaged by the imaging device 140. In FIG. 4, the region R4 falls within the region R1, but the region R4 may extend beyond the region R1. However, it is desirable that the center position of the region R1 and the center position of the region R4 match.
  • the microscope system 1 generates projection image data (step S30).
  • the microscope system 1 performs the projection image data generation processing shown in FIG.
  • the projection image generation unit 13 of the microscope system 1 acquires map image data (Step S31).
  • the projection image generation unit 13 acquires, for example, by reading map image data generated in advance from the auxiliary storage device 10c or the like.
  • the map image M1 represented by the map image data is an image obtained by tiling a plurality of element images E, as shown in FIG.
  • the microscope system 1 specifies a position based on the digital image data and the map image data (Step S32).
  • the image analysis unit 12 specifies the position corresponding to the optical image on the map image by comparing the digital image and the map image, and outputs the position information to the projection image generation unit 13.
  • the microscope system 1 When the position is specified, the microscope system 1 generates projection image data representing a projection image including the map image and the position image (Step S33).
  • the projection image generation unit 13 generates position image data based on the position information output from the image analysis unit 12. Then, the position image data and the map image data are combined to generate projection image data representing a projection image including the map image and the position image.
  • the position image P1 is, for example, a rectangular mark indicating a position corresponding to the optical image on the map image, as shown in FIG.
  • the microscope system 1 projects the projection image on the image plane (Step S40).
  • the projection control unit 14 controls the projection device 131 based on the projection image data generated in step S33, so that the projection device 131 projects the projection image on the image plane. More specifically, as shown in FIG. 4, the projection device 131 projects the position image P1 at a position corresponding to the optical image O1 in the map image M1. Thereby, an image in which the optical image O1 and the projection image (map image M1, position image P1) are superimposed is formed on the image plane.
  • a region R3 illustrated in FIG. 4 indicates a region where the projection device 131 is projected on an image plane.
  • the map image M1 is projected on the image plane on which the optical image O1 is formed. Accordingly, the user can observe a part of the sample in more detail with an optical image while roughly grasping a wider range of the sample without keeping his / her eyes from the eyepiece 104. Further, by projecting the position image P1 on the map image M1, the user can determine where the currently observed region is located in the sample, and how large the region is relative to the entire region. Can be easily grasped. Therefore, the microscope system 1 can assist the user in performing the operation while observing the sample with the optical image. For example, the user can easily determine in which direction and how much the stage should be moved. As a result, the burden of operating the stage of the microscope 100 is reduced.
  • the microscope system 1 does not require expensive equipment unlike a WSI system that performs pathological diagnosis based on digital images. Therefore, according to the microscope system 1, the burden on the user can be reduced while avoiding a significant increase in equipment cost.
  • the map image data may be generated.
  • the projection image generation unit 13 acquires digital image data every time the imaging region F moves on the preparation P as a sample, and maps image data each time the digital image data is acquired. May be generated to update the map image.
  • the map image is updated in the order of the map image M1a, the map image M1b, and the map image M1c in accordance with the movement of the imaging region F, and the position image P1 is located at a position corresponding to the imaging region F on the map image. The state of superimposition is shown.
  • the plurality of digital image data used for generating the map image data may include two or more pieces of digital image data obtained in a plurality of states in which the focal position of the objective lens 102 is different in the optical axis direction of the objective lens 102.
  • an omnifocal image is constructed by moving the objective lens 102 or the stage 101 in the optical axis direction at each position in a direction orthogonal to the optical axis to acquire a plurality of digital image data.
  • a map image may be constructed by tiling the all-focus image. Note that, of the map images (map images M1d, M1e, M1f) shown in FIG. 8, the map image M1e and the map image M1f indicate omnifocal images.
  • the microscope system 1 may automatically set a range including the three designated locations as the scanning range.
  • the recording unit 15 may record digital image data in addition to the map image data. In this case, it is desirable to record the coordinate information in association with the digital image data. Further, when the image analysis unit 12 analyzes the digital image data, the coordinate information may be recorded in association with the analysis result. For example, if the analysis result indicates the presence or absence of a cancer cell, distribution information of the cancer cell in the map image can be obtained.
  • the microscope system 1 may perform the projection image data generation processing shown in FIG. 10 instead of the projection image data generation processing shown in FIG.
  • FIG. 10 is another example of a flowchart of the projection image data generation processing performed by the microscope system 1.
  • FIG. 11 is another example of an image viewed from the eyepiece 104 of the microscope system 1.
  • the microscope system 1 acquires map image data (step S51), and specifies a position based on the digital image data and the map image data (step S52). .
  • Steps S51 and S52 are the same as steps S31 and S32 shown in FIG.
  • the microscope system 1 analyzes the digital image data (step S53).
  • the image analysis unit 12 analyzes the digital image data and generates, for example, information that assists in pathological diagnosis. Specifically, the nuclei of the cells are specified by analysis, and classified according to the staining intensity.
  • the microscope system 1 When the analysis is completed, the microscope system 1 generates projection image data representing a projection image including the map image, the position image, and the analysis image (Step S54).
  • the projection image generation unit 13 generates position image data based on the position information output from the image analysis unit 12. Further, the projection image generation unit 13 generates analysis image data based on the analysis result output from the image analysis unit 12. Then, the projection image generation unit 13 combines the position image data, the map image data, and the analysis image data to generate projection image data representing a projection image including the map image, the position image, and the analysis image.
  • the image V2 in FIG. 11 shows a state in which the projection image including the map image M2 and the position image P1 and the optical image O2 are superimposed.
  • the projection image further includes the analysis image A1. Therefore, as shown in the image V3 in FIG. 11, the analysis image A1 is superimposed on the optical image O2.
  • the nuclei of the cells are color-coded according to the staining intensity, so that the staining state of each cell can be easily determined.
  • the microscope system 1 can better assist the user in performing the operation while observing the sample with the optical image. For example, the user can obtain assistance in pathological diagnosis in addition to assistance in stage operation using a map image.
  • the image analysis unit 12 of the microscope system 1 may perform the analysis process using a predetermined algorithm, or may perform the analysis process using a trained neural network.
  • the parameters of the trained neural network may be generated by training the neural network in a device different from the microscope system 1, and the control device 10 downloads the generated parameters and applies the downloaded parameters to the image analysis unit 12. May be.
  • FIG. 12 is a diagram showing a configuration of the neural network NN.
  • the neural network NN has an input layer, a plurality of intermediate layers, and an output layer.
  • output data D2 output from the output layer is compared with correct answer data D3.
  • the parameters of the neural network NN are updated by learning by the error back propagation method.
  • the set of the input data D1 and the correct answer data D3 is training data for supervised learning.
  • the microscope system 1 may perform the projection image data generation processing shown in FIG. 13 instead of the projection image data generation processing shown in FIG.
  • FIG. 13 is still another example of the flowchart of the projection image data generation process performed by the microscope system 1.
  • FIG. 14 is still another example of an image viewed from the eyepiece 104 of the microscope system 1.
  • the microscope system 1 acquires map image data (step S61), and specifies a position based on the digital image data and the map image data (step S62). .
  • Steps S61 and S62 are the same as steps S31 and S32 shown in FIG.
  • the microscope system 1 analyzes the digital image data (step S63).
  • the image analysis unit 12 analyzes the digital image data and tracks, for example, a region of interest. Specifically, the image analysis unit 12 tracks, for example, a specific cell in the sample, and outputs a tracking result including position information of the cell and whether tracking is performed to the projection image generation unit 13 as an analysis result.
  • the microscope system 1 moves the stage 101 based on the analysis result (Step S64).
  • the stage 101 moves based on the tracking result obtained in step S63 such that the region of interest is located on the optical axis of the objective lens 102.
  • the microscope system 1 When the movement of the stage 101 ends, the microscope system 1 generates projection image data representing a projection image including a map image, a position image, and an analysis image (Step S65).
  • the projection image generation unit 13 generates position image data based on the position information output from the image analysis unit 12. Further, the projection image generation unit 13 generates analysis image data based on the information on the success or failure of the tracking in the analysis result output from the image analysis unit 12. Then, the projection image generation unit 13 combines the position image data, the map image data, and the analysis image data to generate projection image data representing a projection image including the map image, the position image, and the analysis image.
  • the image V4 in FIG. 14 shows a state where the projection image and the optical image O3 are superimposed on the image plane.
  • the projection image includes a map image M3, a position image P1, and an analysis image A2.
  • the analysis image A2 is an image similar to a traffic light, which indicates whether tracking of the attention area is correct.
  • the analysis image A2 is an image in which a blue lamp is lit during a period in which tracking is successful, and is an image in which a red lamp is lit during a period in which tracking is failed.
  • the attention area T shown in FIG. 14 indicates an area including cells to be tracked.
  • the rectangular image indicating the attention area T may be included in the projection image. Further, a dotted line indicating the locus of the movement of the cell may be included in the projection image.
  • the microscope system 1 acquires map image data (step S71), and specifies a position based on the digital image data and the map image data (step S72). .
  • Steps S71 and S72 are the same as steps S31 and S32 shown in FIG.
  • the microscope system 1 When the size of the map image is determined, the microscope system 1 generates projection image data representing a projection image including the map image and the position image (Step S74).
  • the projection image generation unit 13 generates map image data of the size determined in step S73. Further, the projection image generation unit 13 generates position image data based on the position information output from the image analysis unit 12. Then, the projection image generation unit 13 combines the map image data and the position image data to generate projection image data representing a projection image including the map image and the position image.
  • the image V1 in FIG. 16 is an image formed on the image plane during observation using the 4 ⁇ objective lens 102, and the images V5 and V6 in FIG. 16 are observed using the 20 ⁇ objective lens 102a. Inside is an image formed on the image plane. As shown in images V1 and V5 in FIG. 16, the size of the position image P1 is changed by changing the size of the map image (map image M1, map image M4) according to the size (magnification) of the actual visual field. May be maintained regardless of the magnification. Further, as shown in the image V1 and the image V6 in FIG.
  • the size of the map image M1 does not change even if the size (magnification) of the actual field of view changes, and the size of the position image (position image P1, position image P2) does not change.
  • the size may be adjusted or changed according to the size of the actual visual field. In this case, the magnification of the objective lens is changed from 4 times to 20 times, and the observation magnification is further enlarged by 5 times. Therefore, the position image P2 is obtained by reducing the length of one side of the position image P1 to 1/5. Is displayed on the map image M1.
  • the map image is projected so that the area where the map image and the optical image overlap is reduced.
  • the map image may be projected on the optical image.
  • the size of the region R4 on which the optical image is projected (the region on the image plane where the light beam from the objective lens is incident) and the size of the region R5 on the image plane viewed from the eyepiece 104 Shows almost the same example.
  • FIG. 18 is a diagram illustrating a configuration of a microscope 200 according to the present embodiment.
  • the microscope system according to the present embodiment is the same as the microscope system 1 except that a microscope 200 is provided instead of the microscope 100.
  • the autofocus device 300 includes a laser 301, a collimating lens 302, a shielding plate 303, a polarizing beam splitter 304, a quarter-wave plate 305, a dichroic mirror 306, an imaging lens 307, and a two-segment detector 308.
  • the laser light emitted from the laser 301 is collimated by a collimating lens 302, and then a half of the light beam is blocked by a shielding plate 303.
  • the other half of the light beam is reflected by the polarizing beam splitter 304, passes through the quarter-wave plate 305 and the dichroic mirror 306, enters the objective lens 102, and is irradiated on the sample by the objective lens 102.
  • the laser beam reflected by the sample passes through the objective lens 102, the dichroic mirror 306, and the quarter-wave plate 305, and is incident on the polarization beam splitter 304 again.
  • the laser light that enters the polarization beam splitter 304 for the second time is reflected by the polarization beam splitter 304 and then passes through the quarter-wave plate 305 twice. Therefore, it has a polarization direction orthogonal to the polarization direction when it first enters the polarization beam splitter 304. Therefore, the laser light passes through the polarization beam splitter 304. Thereafter, the laser light is applied to the two-segment detector 308 by the imaging lens 307.
  • the light amount distribution detected by the two-segment detector 308 changes according to the amount of deviation from the in-focus state. Therefore, by adjusting the distance between the stage 101 and the objective lens 102 according to the distribution of the amount of light detected by the two-segment detector 308, a focused state can be achieved.
  • FIG. 19 is a diagram illustrating a configuration of the microscope system 2 according to the present embodiment.
  • the microscope system 2 differs from the microscope system 1 in that a microscope 400 is provided instead of the microscope 100.
  • the microscope 400 includes an intermediate lens barrel 150 instead of the intermediate lens barrel 130.
  • the intermediate lens barrel 150 is provided with an imaging device 140 and a light deflecting element 143 in addition to the projection device 131, the light deflecting element 132, and the projection lens 133.
  • the light deflector 143 deflects light from the sample toward the image sensor 141.
  • the light deflection element 143 is, for example, a beam splitter such as a half mirror.
  • the light deflecting element 143 is desirably disposed on an optical path between the light deflecting element 132 and the objective lens 102. Accordingly, it is possible to prevent light from the projection device 131 from being incident on the image sensor 141.
  • the projection unit 160 is a projection unit for a microscope including the objective lens 102, the imaging lens 103, and the eyepiece 104.
  • the configuration of the optical elements in the projection unit 160 is the same as the configuration in the intermediate barrel 150. That is, the projection unit 160 includes an imaging device 140 that acquires digital image data of a sample based on light from the sample, and a projection device 131 that projects a projection image onto an image plane on which an optical image is formed.
  • the projection unit 160 further includes an imaging control unit 161, an image analysis unit 162, a projection image generation unit 163, and a projection control unit 164.
  • the imaging control unit 161, the image analysis unit 162, the projection image generation unit 163, and the projection control unit 164 are the same as the imaging control unit 11, the image analysis unit 12, the projection image generation unit 13, and the projection control unit 14, respectively. Therefore, a detailed description is omitted.
  • the same effect as the microscope system 1 can be obtained only by attaching the projection unit 160 to an existing microscope. Therefore, according to the projection unit 160 and the microscope system 3, the existing microscope system can be easily expanded.
  • the sample may be observed using only the microscope system 1, or may be observed using, in addition to the microscope system 1, another system whose actual field of view is different from that of the microscope system 1.
  • the other system may be, for example, the microscope system 4 as shown in FIG. 21 or an observation system different from the microscope system.
  • the microscope system 4 which is another system may be used for generating the map image data.
  • another microscope system different from the observation microscope system may be used to generate the map image data of the sample.
  • a WSI system that acquires a WS (Whole Slide) image using WSI technology may be used. That is, the image data of the WS image may be used as the map image data.
  • the microscope system be provided with a means for automatically collating a WS image acquired in advance with a sample placed on the microscope for observation.
  • the collating means may include, for example, a reader device that reads a barcode, RFID, or the like attached to the sample.
  • the reader device may be, for example, the imaging device 140 of the microscope 100 or a dedicated device 30 as shown in FIG. FIG. 22 illustrates a state in which the device 30 reads the barcode C attached to the preparation P.
  • the combination of the device 30 and the control device 10 may constitute a unit for collation.
  • Microscope system 10 Control device 10a Processor 10b Memory 10c Auxiliary storage device 10d Input / output interface 10e Medium drive device 10f Communication control device 10g Bus 10h Storage media 11, 161 Imaging control unit 12, 162 Image analysis unit 13 , 163 Projection image generation unit 14, 164 Projection control unit 15 Recording unit 20 Input device 30 Device 100, 200, 400, 500 Microscope 101 Stage 102, 102a Objective lens 103, 307 Imaging lens 104 Eyepiece 110 Microscope main body 111 Turret 120 Lens barrel 1 0, 150 Intermediate lens barrel 131 Projection device 132, 143 Light deflection element 133 Projection lens 140 Image pickup device 141 Image pickup device 142 Adapter lens 160 Projection unit 300 Autofocus device 301 Laser 302 Collimate lens 303 Shielding plate 304 Polarizing beam splitter 305 1/4 Wave plate 306 Dichroic mirror 308 Two-segment detector A1, A2 Analysis image E Element image F Imaging area FS Field stop M1 to M5, M1a to M1g Map image O

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

顕微鏡システム１は、接眼レンズ１０４と、試料からの光を接眼レンズ１０４へ導く対物レンズ１０２と、接眼レンズ１０４と対物レンズ１０２の間の光路上に配置され試料からの光に基づいて試料の光学画像を形成する結像レンズ１０３と、第１補助画像を含む投影画像を表す投影画像データを生成する投影画像生成部１３と、光学画像が形成されている像面へ投影画像を投影する投影装置１３１とを備える。第１補助画像は、試料の画像であって、光学画像に対応する実視野よりも広い領域を写した画像である。

Description

顕微鏡システム、投影ユニット、及び、画像投影方法
　本明細書の開示は、顕微鏡システム、投影ユニット、及び、画像投影方法に関する。
　病理診断における病理医の負担を軽減する技術の一つとして、WSI（Whole Slide Imaging）技術が注目されている。WSI技術とはスライドガラス上の検体全域のデジタル画像を作成する技術である。WSI技術については、例えば、特許文献１に記載されている。
　また、WSI技術のような、複数の画像をタイリングすることで顕微鏡の視野よりも広い領域を高い解像力で画像化する技術は、工業用途でも使用されている。例えば、品質管理のため、工業用部品の材料の微細組織を検査し、評価するなどの用途がその一例である。
　上述した技術によれば、モニタに表示した高解像度の画像を見ながら対象物の任意の領域を観察することが可能となる。このため、診断、検査、評価等における作業者の負担を軽減することができる。
特表２００１－５１９９４４号公報
　その一方で、接眼レンズを覗いて試料の光学画像を目視するニーズも引き続き存在する。これは、一般に、デジタル画像は、光学画像と比較して、色再現性とダイナミックレンジにおいて劣っているためである。例えば、病理診断では、色と濃淡の情報は極めて重要であることから、光学画像を用いて診断を行いたいといったニーズが存在する。また、仮に、光学画像と同程度まで高い色再現性と広いダイナミックレンジをデジタル画像に要求すると、顕微鏡システムは、非常に高価なものになってしまう。このため、そのような顕微鏡システムを導入できる利用者は、限られてしまう。
　本発明の一側面に係る目的は、光学顕微鏡によって得られる光学画像に基づいて行う、診断、検査、評価などの作業を補助することで、作業者の負担を軽減する新たな技術を提供することである。
　本発明の一態様に係る顕微鏡システムは、接眼レンズと、試料からの光を前記接眼レンズへ導く対物レンズと、前記接眼レンズと前記対物レンズの間の光路上に配置され、前記試料からの光に基づいて前記試料の光学画像を形成する結像レンズと、第１補助画像を含む投影画像を表す投影画像データを生成する投影画像生成部であって、前記第１補助画像は、前記試料の画像であって前記光学画像に対応する実視野よりも広い領域を写した画像である、前記投影画像生成部と、前記光学画像が形成されている像面へ前記投影画像を投影する投影装置と、を備える。
　本発明の一態様に係る投影ユニットは、対物レンズと結像レンズと接眼レンズを備える顕微鏡用の投影ユニットであって、試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、第１補助画像を含む投影画像を表す投影画像データを生成する投影画像生成部であって、前記第１補助画像は、前記試料の画像であって前記結像レンズにより形成された光学画像に対応する実視野よりも広い領域を写した画像である、前記投影画像生成部と、前記光学画像が形成されている像面へ前記投影画像を投影する投影装置と、を備える。
　本発明の一態様に係る画像投影方法は、顕微鏡システムが行う画像投影方法であって、前記顕微鏡システムは、第１補助画像を含む投影画像を表す投影画像データを生成し、ここで、前記第１補助画像は、試料の画像であって前記試料の光学画像に対応する実視野よりも広い領域を写した画像であり、前記試料からの光に基づいて前記光学画像が形成されている像面へ前記投影画像を投影する。
　上記の態様によれば、光学顕微鏡によって得られる光学画像に基づいて行う、診断、検査、評価などの作業を補助することで、作業者の負担を軽減することができる。
顕微鏡システム１の構成を示した図である。 制御装置１０の構成を示した図である。 顕微鏡システム１が行う画像投影処理のフローチャートの一例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の一例である。 顕微鏡システム１が行う投影画像データ生成処理のフローチャートの一例である。 マップ画像Ｍ１について説明するための図である。 マップ画像の構築過程の一例について説明するための図である。 マップ画像の構築過程の別の例について説明するための図である。 マップ画像の構築過程の更に別の例について説明するための図である。 顕微鏡システム１が行う投影画像データ生成処理のフローチャートの別の例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の別の例である。 ニューラルネットワークの構成を示した図である。 顕微鏡システム１が行う投影画像データ生成処理のフローチャートの更に別の例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。 顕微鏡システム１が行う投影画像データ生成処理のフローチャートの更に別の例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。 顕微鏡２００の構成を示した図である。 顕微鏡システム２の構成を示した図である。 顕微鏡システム３の構成を示した図である。 視野の大きさの異なる複数のシステムを示した図である。 リーダー機器の一例である装置３０を示した図である。
［第１実施形態］
　図１は、本実施形態に係る顕微鏡システム１の構成を示した図である。図２は、制御装置１０の構成を示した図である。顕微鏡システム１は、接眼レンズ１０４を覗いて試料を観察する顕微鏡システムであり、少なくとも、対物レンズ１０２と、結像レンズ１０３と、接眼レンズ１０４と、投影画像生成部１３と、投影装置１３１を備えている。以降では、病理医が病理診断で顕微鏡システム１を用いる場合を例に説明するが、顕微鏡システム１の用途はこれに限らない。
　顕微鏡システム１は、対物レンズ１０２と結像レンズ１０３によって試料の光学画像が形成されている像面に、投影装置１３１を用いて投影画像を投影する。この投影画像は、試料の画像であって光学画像に対応する実視野よりも広い領域を写した画像を含んでいる。これにより、顕微鏡システム１の利用者は、試料のより広い範囲を大まか把握しながら、その試料の一部を光学画像でより詳細に観察することができる。このため、顕微鏡システム１は、利用者が光学画像で試料を観察しながら行う作業を補助することができる。
　以下、図１及び図２を参照しながら、顕微鏡システム１の構成の具体例について詳細に説明する。顕微鏡システム１は、図１に示すように、顕微鏡１００と、制御装置１０と、入力装置２０と、を備えている。なお、顕微鏡システム１は、これらに加えて、表示装置などを備えても良い。
　顕微鏡１００は、例えば、正立顕微鏡であり、顕微鏡本体１１０と、鏡筒１２０と、中間鏡筒１３０と、撮像装置１４０を備えている。なお、顕微鏡１００は、倒立顕微鏡であってもよい。
　顕微鏡本体１１０は、試料を載置するステージ１０１と、試料からの光を接眼レンズ１０４に導く対物レンズ（対物レンズ１０２、対物レンズ１０２ａ）と、落射照明光学系と、視野絞りＦＳを含む透過照明光学系と、を備えている。ステージ１０１は、手動ステージであっても、電動ステージであってもよい。レボルバには、倍率の異なる複数の対物レンズが装着されていることが望ましい。例えば、対物レンズ１０２は、４倍の対物レンズであり、対物レンズ１０２ａは、２０倍の対物レンズである。なお、顕微鏡本体１１０は、落射照明光学系と透過照明光学系の少なくとも一方を備えていれば良い。透過照明光学系が視野絞りＦＳを備える例を示したが、落射照明光学系が視野絞りを備えてもよい。また、落射照明光学系は、対物レンズ１０２と後述する光偏向素子１３２の間に、図示しないリレー光学系を備えてもよく、視野絞りは、リレー光学系が形成する中間像位置に設けられても良い。
　顕微鏡本体１１０は、さらに、顕鏡法を切り換えるためのターレット１１１を備えている。ターレット１１１には、例えば、蛍光観察法で用いられる蛍光キューブ、明視野観察法で用いられるハーフミラーなどが配置されている。その他、顕微鏡本体１１０は、特定の顕鏡法で用いられる光学素子を光路に対して挿脱自在に備えていても良い。具体的には、顕微鏡本体１１０は、例えば、微分干渉観察法で用いられるＤＩＣプリズム、ポラライザ、アナライザなどを備えても良い。
　鏡筒１２０は、接眼レンズ１０４と撮像装置１４０が装着された三眼鏡筒である。鏡筒１２０内には、結像レンズ１０３が設けられる。結像レンズ１０３は、対物レンズ１０２と接眼レンズ１０４の間の光路上に配置されている。結像レンズ１０３は、接眼レンズ１０４と結像レンズ１０３の間の像面に、試料からの光に基づいて試料の光学画像を形成する。また、結像レンズ１０３は、撮像素子１４１と結像レンズ１０３の間の像面にも、試料からの光に基づいて試料の光学画像を形成する。結像レンズ１０３は、これらの像面に、投影装置１３１からの光に基づいて後述する投影画像も形成する。これにより、像面において光学画像上に投影画像が重畳されるため、顕微鏡システム１の利用者は、接眼レンズ１０４を覗くことで光学画像に投影画像が重畳した重畳画像を見ることができる。
　なお、結像レンズ１０３は、像面の位置を変更することなく焦点距離を可変する機能、焦点距離を変更することなく像面の位置を可変する機能、または、像面の位置と焦点距離をそれぞれ独立して可変する機能を備える。これらの機能を実現するものには、結像レンズ１０３を構成するレンズの少なくとも一部を光軸方向に移動させるレンズが含まれる。また、結像レンズ１０３を構成する光学系の少なくとも一部のレンズを電気的に制御することで、レンズの曲率半径と屈折率の少なくとも一方を可変するアクティブレンズも含まれる。アクティブレンズは、例えば、液体レンズであってもよい。
　中間鏡筒１３０は、顕微鏡本体１１０と鏡筒１２０の間に設けられている。中間鏡筒１３０は、投影装置１３１と、光偏向素子１３２と、投影レンズ１３３を備えている。
　投影装置１３１は、制御装置１０からの命令に従って、投影画像を光学画像が形成されている像面に投影する装置である。投影装置１３１は、例えば、液晶デバイスを用いたプロジェクタ、デジタルミラーデバイスを用いたプロジェクタ、ＬＣＯＳを用いたプロジェクタなどである。
　光偏向素子１３２は、投影装置１３１から出射した光を像面に向けて偏向する。光偏向素子１３２は、例えば、ハーフミラーなどのビームスプリッタである。光偏向素子１３２には、透過率と反射率を可変する可変ビームスプリッタが用いられても良い。また、光偏向素子１３２には、ダイクロイックミラーなどが用いられても良い。光偏向素子１３２は、対物レンズ１０２と結像レンズ１０３の間の光路上に配置される。
　投影レンズ１３３は、投影装置１３１からの光を結像レンズ１０３へ導くレンズである。投影レンズ１３３の焦点距離によって、像面へ投影される投影画像の倍率が調整される。なお、投影レンズ１３３にも、結像レンズ１０３と同様に、像面の位置と焦点距離の少なくとも一方を可変する機能を備えたレンズ、例えば、アクティブレンズなどが採用されてもよい。
　撮像装置１４０は、例えば、デジタルカメラであり、撮像素子１４１と、アダプタレンズ１４２を備えている。撮像装置１４０は、試料からの光に基づいて、試料のデジタル画像データを取得する。
　撮像素子１４１は、試料からの光を検出する光検出器の一例である。撮像素子１４１は、二次元イメージセンサであり、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどである。撮像素子１４１は、試料からの光を検出し、電気信号へ変換する。アダプタレンズ１４２は、像面に形成された光学画像を撮像素子１４１へ投影する。
　投影装置１３１が像面に投影画像を投影しているとき、撮像装置１４０には投影装置１３１からの光も入射する。このため、撮像装置１４０が取得するデジタル画像には、試料の光学画像に加えて投影画像も含まれ得る。ただし、投影装置１３１の投影期間と撮像装置１４０の露光期間とを調整することで、撮像装置１４０は、投影画像が含まれない試料のデジタル画像データを取得することができる。
　入力装置２０は、利用者の入力操作に応じた操作信号を制御装置１０へ出力する。入力装置２０は、例えば、キーボードであるが、マウス、ジョイスティック、タッチパネルなどを含んでもよい。また、入力装置２０は、音声入力を受け付ける装置、例えば、マイクなどあってもよい。その場合、制御装置１０は、入力装置２０から入力された音声指示を認識する機能を備えてもよい。
　制御装置１０は、顕微鏡システム１全体を制御する。制御装置１０は、顕微鏡１００、及び、入力装置２０に接続されている。制御装置１０は、主に投影装置１３１の制御に関連する構成要素として、図１に示すように、撮像制御部１１、画像解析部１２、投影画像生成部１３、投影制御部１４、記録部１５を備えている。
　撮像制御部１１は、撮像装置１４０を制御することで、試料のデジタル画像データを取得する。撮像制御部１１が取得したデジタル画像データは、画像解析部１２、投影画像生成部１３、及び、記録部１５へ出力される。
　画像解析部１２は、撮像制御部１１が取得したデジタル画像データを解析し、解析結果を投影画像生成部１３へ出力する。画像解析部１２が行う解析処理の内容は特に限定しない。
　画像解析部１２は、例えば、撮像素子１４１で取得したデジタル画像データと、後述するマップ画像データと、に基づいて、像面に投影されているマップ画像内における光学画像に対応する位置を特定して、その位置情報を投影画像生成部１３へ出力しても良い。
　より具体的には、画像解析部１２は、マップ画像とデジタル画像とを比較することで、上述した位置を特定する。画像解析部１２は、画像比較によって位置を特定する処理を、デジタル画像データを取得する度に行ってもよい。画像比較により一度位置が特定されると、マップ画像に含まれる座標情報と顕微鏡システム１が管理する座標情報の関係が定まる。このため、その後は、画像解析部１２は、マップ画像とデジタル画像の比較を行うことなく、マップ画像の座標情報と試料の移動量に基づいて、その位置を更新してもよい。
　試料の移動量は、例えば、異なる時刻に取得した複数のデジタル画像データに基づいて算出してもよい。具体的には、例えば、異なる時刻に取得したデジタル画像データ同士を画像解析することによりデジタル画像データに写る被写体の移動距離を算出することができる。また、マップ画像に対して、異なる時刻に取得したデジタル画像をそれぞれ比較することにより、マップ画像に対するそれぞれの画像の座標を求め、それらの座標から移動量を算出することもできる。この場合、異なる時刻に取得したデジタル画像データが表すデジタル画像に空間的な重なりが無くても移動量を算出することができる。また、ステージ１０１が電動ステージであれば、電動ステージの制御情報に基づいて移動量を算出してもよい。電動ステージの制御情報は、例えば、制御装置１０がステージ１０１へ出力した移動指示に関する情報であってもよく、ステージ１０１から制御装置１０へ出力される移動結果に関する情報であってもよい。なお、移動結果に関する情報とは、例えば、ステージ１０１に設けられたエンコーダからの出力情報などである。
　また、画像解析部１２は、例えば、デジタル画像データが表現するデジタル画像に写る一つ以上の構造物を一つ以上のクラスに分類し、その一つ以上のクラスのうちの少なくとも一つのクラスに分類された構造物の位置を特定する情報を含む解析結果を出力してもよい。より具体的には、画像解析部１２は、デジタル画像に写る細胞を染色強度に応じて分類し、細胞が分類されたクラス情報とその細胞の輪郭又はその細胞の核の輪郭を特定する位置情報とを含む解析結果を生成してもよい。なお、その場合、少なくとも一つのクラスに分類された構造物は、病理医による病理診断における判定の根拠となる対象物であることが望ましい。
　また、画像解析部１２は、例えば、デジタル画像データに基づいて、試料内の注目領域を追跡しても良い。この場合、画像解析部１２が出力する解析結果には、注目領域の位置情報と、追跡の正否を示す追跡結果情報が含まれることが望ましい。なお、追跡すべき注目領域は、デジタル画像データを解析することで決定されてもよく、利用者が入力装置２０を用いて指定することで決定されてもよい。
　投影画像生成部１３は、投影画像データを生成する。投影画像生成部１３で生成された投影画像データは、投影制御部１４及び記録部１５へ出力される。投影画像データが表す投影画像は、マップ画像を含む。ここで、マップ画像は、第１補助画像の一例である。マップ画像とは、試料の画像であって、像面に形成されている光学画像に対応する実視野よりも広い領域を写した画像のことである。このため、マップ画像は、例えば、対物レンズ１０２よりも低倍の対物レンズを用いて取得した試料の画像であってもよい。また、Whole Slide Imageのような複数の画像をタイリングすることで生成された画像であってもよい。この場合、複数の画像は、実視野よりも広い試料の領域の互いに異なる部分を写した画像である。なお、以降では、複数の画像をタイリングすることで生成されたマップ画像を例に説明する。
　投影画像生成部１３で生成される投影画像データに含まれるマップ画像データは、顕微鏡システム１とは異なるシステムで生成された画像データであってもよい。投影画像生成部１３は、他のシステムで取得したマップ画像データを用いて投影画像データを生成してもよい。また、投影画像生成部１３は、撮像装置１４０で取得した試料の複数のデジタル画像データに基づいて、マップ画像データを生成してもよい。なお、マップ画像データとは、第１補助画像データの一例であり、マップ画像を表す画像データである。
　投影画像には、マップ画像に加えて、その他の画像が含まれてもよい。例えば、投影画像は、マップ画像内の光学画像に対応する位置を示す位置画像を含んでもよい。位置画像は、第２補助画像の一例である。投影画像生成部１３は、画像解析部１２から出力された、マップ画像内の光学画像に対応する位置情報に基づいて位置画像データを生成してもよく、それによって、マップ画像と位置画像とを含む投影画像を表す投影画像データを生成してもよい。なお、位置画像データとは、位置画像を表す画像データである。
　また、投影画像には、画像解析部１２での解析結果を示す解析画像を含んでもよい。この解析画像は、第３補助画像の一例である。投影画像生成部１３は、画像解析部１２から出力された、クラス情報と位置情報に基づいて解析画像データを生成してもよく、それによって、マップ画像と解析結果を示す解析画像とを含む投影画像を表す投影画像データを生成してもよい。なお、解析画像データとは、解析画像を表す画像データである。
　また、投影画像には、画像解析部１２での追跡結果を示す解析画像を含んでもよい。この解析画像は、第４補助画像の一例であり、例えば、注目領域の追跡の正否を示す画像である。投影画像生成部１３は、画像解析部１２から出力された、注目領域の追跡結果情報に基づいて解析画像データを生成してもよく、それによって、マップ画像と追跡結果を示す解析画像とを含む投影画像を表す投影画像データを生成してもよい。
　投影制御部１４は、投影装置１３１を制御することで、像面への投影画像の投影を制御する。投影制御部１４は、例えば、顕微鏡システム１の設定に応じて投影装置１３１を制御しても良い。具体的には、投影制御部１４は、顕微鏡システム１の設定に応じて、像面に投影画像を投影するか否かを決定してもよく、顕微鏡システム１が所定の設定のときに、投影装置１３１が像面へ投影画像を投影するように、投影装置１３１を制御しても良い。つまり、顕微鏡システム１は、投影画像を像面に投影するか否かを設定によって変更することができる。
　また、投影制御部１４は、例えば、投影装置１３１の発光期間と撮像素子１４１の露光期間が重ならないように、投影装置１３１を制御しても良い。これにより、デジタル画像に投影画像が写りこむことを防止することができる。
　記録部１５は、デジタル画像データを記録する。記録部１５は、利用者による記録指示の入力を検出したときに、デジタル画像データを記録してもよい。また、記録部１５は、顕微鏡システム１が所定のイベントを検出すると、そのイベントに応答してイベントに応じた情報を、デジタル画像データと共に記録してもよい。例えば、画像解析部１２での解析結果に基づいて癌細胞が検出されると、記録部１５は、その癌細胞の位置情報とデジタル画像データを記録してもよい。また、記録部１５は、その他、マップ画像データ、解析結果、座標情報などを記録しても良い。
　なお、制御装置１０は、汎用装置であっても、専用装置であってもよい。制御装置１０は、特にこの構成に限定されるものではないが、例えば、図２に示すような物理構成を有してもよい。具体的には、制御装置１０は、プロセッサ１０ａ、メモリ１０ｂ、補助記憶装置１０ｃ、入出力インタフェース１０ｄ、媒体駆動装置１０ｅ、通信制御装置１０ｆを備えてもよく、それらが互いにバス１０ｇによって接続されてもよい。
　プロセッサ１０ａは、例えば、ＣＰＵ（Central Processing Unit）を含む、任意の処理回路である。プロセッサ１０ａは、メモリ１０ｂ、補助記憶装置１０ｃ、記憶媒体１０ｈに格納されているプログラムを実行してプログラムされた処理を行うことで、上述した投影装置１３１の制御に関連する構成要素（撮像制御部１１、画像解析部１２、投影画像生成部１３等）を実現しても良い。また、プロセッサ１０ａは、ＡＳＩＣ、ＦＰＧＡ等の専用プロセッサを用いて構成されてもよい。
　メモリ１０ｂは、プロセッサ１０ａのワーキングメモリである。メモリ１０ｂは、たとえば、ＲＡＭ（Random Access Memory）等の任意の半導体メモリである。補助記憶装置１０ｃは、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（Hard Disc Drive）等の不揮発性のメモリである。入出力インタフェース１０ｄは、外部装置（顕微鏡１００、入力装置２０）と情報をやり取りする。
　媒体駆動装置１０ｅは、メモリ１０ｂ及び補助記憶装置１０ｃに格納されているデータを記憶媒体１０ｈに出力することができ、また、記憶媒体１０ｈからプログラム及びデータ等を読み出すことができる。記憶媒体１０ｈは、持ち運びが可能な任意の記録媒体である。記憶媒体１０ｈには、例えば、ＳＤカード、ＵＳＢ（Universal Serial Bus）フラッシュメモリ、ＣＤ（Compact Disc）、ＤＶＤ(Digital Versatile Disc)などが含まれる。
　通信制御装置１０ｆは、ネットワークへの情報の入出力を行う。通信制御装置１０ｆとしては、例えば、ＮＩＣ（Network Interface Card）、無線ＬＡＮ（Local Area Network）カード等が採用され得る。バス１０ｇは、プロセッサ１０ａ、メモリ１０ｂ、補助記憶装置１０ｃ等を、相互にデータの授受可能に接続する。
　以上のように構成された顕微鏡システム１は、図３に示す画像投影処理を行う。図３は、顕微鏡システム１が行う画像投影処理のフローチャートである。図４は、顕微鏡システム１の接眼レンズ１０４から見える画像の一例である。図５は、顕微鏡システム１が行う投影画像データ生成処理のフローチャートの一例である。図６は、マップ画像Ｍ１について説明するための図である。以下、図３から図６を参照しながら、顕微鏡システム１の画像投影方法について説明する。
　まず、顕微鏡システム１は、試料の光学画像を像面に投影する（ステップＳ１０）。ここでは、対物レンズ１０２が取り込んだ試料からの光を結像レンズ１０３が像面に集光し、試料の光学像を形成する。これにより、図４に示すように、像面上の領域Ｒ１に光学画像Ｏ１が投影される。なお、領域Ｒ１は、対物レンズ１０２からの光束が入射する像面上の領域を示している。また、領域Ｒ２は、接眼レンズ１０４を覗くことで見ることが出来る像面上の領域を示している。
　次に、顕微鏡システム１は、試料のデジタル画像データを取得する（ステップＳ２０）。ここでは、撮像装置１４０が、試料からの光に基づいて試料を撮像することでデジタル画像データを生成する。なお、撮像素子１４１は矩形形状を有しているため、デジタル画像に対応する試料上の領域は光学画像に対応する試料上の領域、つまり、実視野、とは完全には一致しない。領域Ｒ４は、撮像装置１４０で撮像可能な試料上の領域に対応する像面上の領域を示している。なお、図４では、領域Ｒ４が領域Ｒ１内に収まっているが、領域Ｒ４は、領域Ｒ１からはみ出していても良い。但し、領域Ｒ１の中心位置と領域Ｒ４の中心位置は一致することが望ましい。
　また、領域Ｒ１の外周の境界をよりクリアにするために、試料上の観察面と共役な位置に視野絞りを配置しても良い。例えば、視野絞りは、顕微鏡本体１１０の落射照明光路１１０ａ上、又は、透過照明光路１１０ｂ上の観察面と共役な位置に配置することが望ましい。なお、蛍光観察の場合は、照明光路で光束を制限しても試料からの蛍光は全方位に発生する。そのため、投影装置１３１からの光路と対物レンズ１０２からの光路が合流する位置に置かれた光偏向素子１３２と対物レンズ１０２との間に中間像を生成する為のリレー光学系を設け、中間像位置に視野絞りを配置するのが望ましい。
　その後、顕微鏡システム１は、投影画像データを生成する（ステップＳ３０）。ここでは、顕微鏡システム１は、図５に示す投影画像データ生成処理を行う。
　投影画像データ生成処理が開始されると、まず、顕微鏡システム１の投影画像生成部１３は、マップ画像データを取得する（ステップＳ３１）。ここでは、投影画像生成部１３は、例えば、予め生成されたマップ画像データを補助記憶装置１０ｃなどから読み出すことによって取得する。なお、マップ画像データが表すマップ画像Ｍ１は、図６に示すように、複数の要素画像Ｅをタイリングした画像である。
　次に、顕微鏡システム１は、デジタル画像データとマップ画像データに基づいて、位置を特定する（ステップＳ３２）。ここでは、画像解析部１２がデジタル画像とマップ画像を比較することで、マップ画像上における光学画像に対応する位置を特定し、位置情報を投影画像生成部１３へ出力する。
　位置が特定されると、顕微鏡システム１は、マップ画像と位置画像を含む投影画像を表す投影画像データを生成する（ステップＳ３３）。ここでは、投影画像生成部１３が、画像解析部１２から出力された位置情報に基づいて、位置画像データを生成する。そして、位置画像データとマップ画像データを合成して、マップ画像と位置画像とを含む投影画像を表す投影画像データを生成する。なお、位置画像Ｐ１は、例えば、図６に示すように、マップ画像上における光学画像に対応する位置を示す矩形マークである。
　投影画像データ生成処理が終了すると、顕微鏡システム１は、投影画像を像面に投影する（ステップＳ４０）。ここでは、投影制御部１４がステップＳ３３で生成された投影画像データに基づいて投影装置１３１を制御することで、投影装置１３１が投影画像を像面に投影する。より詳細には、投影装置１３１は、図４に示すように、マップ画像Ｍ１内の光学画像Ｏ１に対応する位置に、位置画像Ｐ１を投影する。これにより、光学画像Ｏ１と投影画像（マップ画像Ｍ１、位置画像Ｐ１）が重畳した画像が像面に形成される。なお、図４に示す領域Ｒ３は、投影装置１３１が像面に投影される領域を示している。
　顕微鏡システム１では、光学画像Ｏ１が形成される像面にマップ画像Ｍ１が投影される。これにより、利用者は、接眼レンズ１０４から眼を離すことなく、試料のより広い範囲を大まか把握しながら、その試料の一部を光学画像でより詳細に観察することができる。さらに、マップ画像Ｍ１上に位置画像Ｐ１が投影されることで、利用者は、現在観察中の領域が試料内のどの当たりに位置するか、及び、全体領域に対してどのくらいの大きさの領域を観察しているのかを容易に把握することができる。従って、顕微鏡システム１は、利用者が光学画像で試料を観察しながら行う作業を補助することができる。例えば、利用者は、どの方向へどのくらいステージを動かすべきかといった判断が容易になり、その結果、顕微鏡１００のステージ操作の負担が軽減される。
　さらに、顕微鏡システム１では、デジタル画像に基づいて病理診断を行うＷＳＩシステムとは異なり高価な機器を必要としない。従って、顕微鏡システム１によれば、大幅な機器コストの上昇を回避しながら利用者の負担軽減を図ることができる。
　なお、以上の例では、予め取得したマップ画像データを用いて投影画像データを生成する例を示したが、投影画像データを生成するときに、マップ画像データを生成してもよい。投影画像生成部１３は、例えば、図７に示すように、試料であるプレパラートＰ上で撮像領域Ｆが移動するたびにデジタル画像データを取得し、デジタル画像データが取得される度にマップ画像データを生成することで、マップ画像を更新してもよい。図７では、撮像領域Ｆの移動に伴って、マップ画像がマップ画像Ｍ１ａ、マップ画像Ｍ１ｂ、マップ画像Ｍ１ｃの順に更新され、それらのマップ画像上の撮像領域Ｆに対応する位置に位置画像Ｐ１が重畳している様子が示されている。
　なお、撮影領域Ｆが移動中にマップ画像を生成する場合、例えば、特開2018-54690に記載される技術を用いてもよい。つまり、取得されたデジタル画像データを逐次、画像解析することにより、２枚の画像間の動きベクトルを算出し、動きベクトルを累積した現在位置にデジタル画像データを貼り合わせて、マップ画像を生成、更新しても良い。この場合、電動ステージ又はステージ位置を認識するエンコーダを用いることなく、手動ステージでマップ画像を生成することができるので、安価にシステムを構築することができる。
　また、マップ画像データの生成に用いられる複数のデジタル画像データは、対物レンズ１０２の焦点位置が対物レンズ１０２の光軸方向に異なる複数の状態で取得された２枚以上のデジタル画像データを含んでもよい。例えば、図８に示すように、光軸と直交する方向の各位置で、対物レンズ１０２又はステージ１０１を光軸方向に移動させて複数のデジタル画像データを取得することで、全焦点画像を構築し、全焦点画像をタイリングすることでマップ画像を構築しても良い。なお、図８に示すマップ画像（マップ画像Ｍ１ｄ、Ｍ１ｅ、Ｍ１ｆ）のうち、マップ画像Ｍ１ｅとマップ画像Ｍ１ｆは全焦点画像を示している。
　さらに、ステージ１０１が電動ステージである場合には、図９に示すように、観察開始前に、顕微鏡システム１がステージ１０１を制御して、利用者が指定した走査範囲Ｓを自動的に走査してもよい。そして、投影画像生成部１３は、ステージ１０１の移動完了後に、移動中に取得した複数のデジタル画像データに基づいて、マップ画像Ｍ１ｇを生成しても良い。
　走査範囲Ｓの指定方法としては、例えば、利用者が接眼レンズ１０４を観察しながら走査範囲Ｓの外周付近を３か所、マウスのクリック等で指定する方法が採用されてもよい。この場合、顕微鏡システム１は、指定した３か所を含む範囲を走査範囲として自動設定すればよい。
　なお、記録部１５は、マップ画像データが生成されるときに、マップ画像データと、マップ画像データの生成に用いられた複数のデジタル画像データの各々が表すデジタル画像の座標情報と、を記録しても良い。これにより、マップ画像データが座標情報を有することになるため、位置画像を投影すべき位置の特定が容易になる。
　さらに、記録部１５は、マップ画像データに加えて、デジタル画像データを記録しても良い。この場合、座標情報をデジタル画像データと関連付けて記録することが望ましい。さらに、画像解析部１２がデジタル画像データを解析した場合には、座標情報をその解析結果に関連付けて記録してもよい。例えば、解析結果が癌細胞の有無であれば、マップ画像内における癌細胞の分布情報を得ることができる。
　顕微鏡システム１は、図５に示す投影画像データ生成処理の代わりに図１０に示す投影画像データ生成処理を行ってもよい。図１０は、顕微鏡システム１が行う投影画像データ生成処理のフローチャートの別の例である。図１１は、顕微鏡システム１の接眼レンズ１０４から見える画像の別の例である。
　図１０に示す投影画像データ生成処理が開始されると、顕微鏡システム１は、マップ画像データを取得し（ステップＳ５１）、デジタル画像データとマップ画像データに基づいて、位置を特定する（ステップＳ５２）。ステップＳ５１とステップＳ５２の処理は、図５に示すステップＳ３１とステップＳ３２と同様である。
　その後、顕微鏡システム１は、デジタル画像データを解析する（ステップＳ５３）。ここでは、画像解析部１２が、デジタル画像データを解析して、例えば、病理診断を補助する情報を生成する。具体的には、解析により細胞の核を特定し、その染色強度に応じてクラス分けする。
　解析が終了すると、顕微鏡システム１は、マップ画像と位置画像と解析画像を含む投影画像を表す投影画像データを生成する（ステップＳ５４）。ここでは、投影画像生成部１３が、画像解析部１２から出力された位置情報に基づいて、位置画像データを生成する。さらに、投影画像生成部１３が、画像解析部１２から出力された解析結果に基づいて、解析画像データを生成する。そして、投影画像生成部１３が、位置画像データとマップ画像データと解析画像データを合成して、マップ画像と位置画像と解析画像を含む投影画像を表す投影画像データを生成する。
　図１１の画像Ｖ２には、マップ画像Ｍ２と位置画像Ｐ１を含む投影画像と、光学画像Ｏ２とが重畳した様子が示されている。これに対して、図１０に示す投影画像データ生成処理を行うことで、投影画像には、さらに解析画像Ａ１が含まれる。このため、図１１の画像Ｖ３に示すように、光学画像Ｏ２に解析画像Ａ１が重畳される。画像Ｖ３では、細胞の核が染色強度により色分けされているため、各細胞の染色状態を容易に判別することが可能である。
　従って、顕微鏡システム１は、図１０に示す投影画像データ生成処理を行うことで、利用者が光学画像で試料を観察しながら行う作業をより良く補助することができる。例えば、利用者は、マップ画像によるステージ操作についての補助に加えて病理診断についても補助を得ることができる。
　なお、顕微鏡システム１の画像解析部１２は、所定のアルゴリズムを用いて解析処理を行ってもよく、訓練済みのニューラルネットワークを用いて解析処理を行ってもよい。訓練済みのニューラルネットワークのパラメータは、顕微鏡システム１とは異なる装置において、ニューラルネットワークを訓練することで生成されても良く、制御装置１０は生成されたパラメータをダウンロードして画像解析部１２に適用しても良い。
　図１２は、ニューラルネットワークＮＮの構成を示した図である。ニューラルネットワークＮＮは、入力層と複数の中間層と出力層を有している。入力データＤ１を入力層に入力することで出力層から出力される出力データＤ２を正解データＤ３と比較する。そして、誤差逆伝播法によって学習することで、ニューラルネットワークＮＮのパラメータを更新する。なお、入力データＤ１と正解データＤ３のセットが教師あり学習の訓練データである。
　顕微鏡システム１は、図５に示す投影画像データ生成処理の代わりに図１３に示す投影画像データ生成処理を行ってもよい。図１３は、顕微鏡システム１が行う投影画像データ生成処理のフローチャートの更に別の例である。図１４は、顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。
　図１３に示す投影画像データ生成処理が開始されると、顕微鏡システム１は、マップ画像データを取得し（ステップＳ６１）、デジタル画像データとマップ画像データに基づいて、位置を特定する（ステップＳ６２）。ステップＳ６１とステップＳ６２の処理は、図５に示すステップＳ３１とステップＳ３２と同様である。
　その後、顕微鏡システム１は、デジタル画像データを解析する（ステップＳ６３）。ここでは、画像解析部１２が、デジタル画像データを解析して、例えば、注目領域を追跡する。具体的には、画像解析部１２は、例えば、試料内の特定の細胞を追跡し、その細胞の位置情報と追跡の正否を含む追跡結果を解析結果として投影画像生成部１３へ出力する。
　解析が終了すると、顕微鏡システム１は、解析結果に基づいてステージ１０１を移動する（ステップＳ６４）。ここでは、制御装置１０からの命令に従って、ステージ１０１は、ステップＳ６３で得られた追跡結果に基づいて、注目領域が対物レンズ１０２の光軸上に位置するように、移動する。
　ステージ１０１の移動が終了すると、顕微鏡システム１は、マップ画像と位置画像と解析画像を含む投影画像を表す投影画像データを生成する（ステップＳ６５）。ここでは、投影画像生成部１３が、画像解析部１２から出力された位置情報に基づいて、位置画像データを生成する。さらに、投影画像生成部１３が、画像解析部１２から出力された解析結果のうちの追跡の正否についての情報に基づいて、解析画像データを生成する。そして、投影画像生成部１３が、位置画像データとマップ画像データと解析画像データを合成して、マップ画像と位置画像と解析画像を含む投影画像を表す投影画像データを生成する。
　図１４の画像Ｖ４には、像面において、投影画像と光学画像Ｏ３とが重畳した様子が示されている。投影画像には、マップ画像Ｍ３と位置画像Ｐ１と解析画像Ａ２が含まれている。解析画像Ａ２は、注目領域の追跡の正否を示す、信号機に類似した画像である。解析画像Ａ２は、追跡が成功している期間中は青いランプが点灯している画像であり、追跡が失敗している期間中は赤いランプが点灯している画像となる。また、図１４に示す注目領域Ｔは、追跡対象である細胞を含む領域を示している。この注目領域Ｔを示す矩形の画像も投影画像に含まれてもよい。また、細胞の移動の軌跡を示す点線も投影画像に含まれてもよい。
　顕微鏡システム１は、図５に示す投影画像データ生成処理の代わりに図１５に示す投影画像データ生成処理を行ってもよい。図１５は、顕微鏡システム１が行う投影画像データ生成処理のフローチャートの更に別の例である。図１６は、顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。
　図１５に示す投影画像データ生成処理が開始されると、顕微鏡システム１は、マップ画像データを取得し（ステップＳ７１）、デジタル画像データとマップ画像データに基づいて、位置を特定する（ステップＳ７２）。ステップＳ７１とステップＳ７２の処理は、図５に示すステップＳ３１とステップＳ３２と同様である。
　その後、顕微鏡システム１は、実視野のサイズに応じてマップ画像のサイズを決定する（ステップＳ７３）。ここでは、投影画像生成部１３は、例えば、実視野のサイズによらず像面に投影される位置画像Ｐ１が示す範囲が一定の大きさになるように、マップ画像のサイズを決定してもよい。
　マップ画像のサイズが決定されると、顕微鏡システム１は、マップ画像と位置画像を含む投影画像を表す投影画像データを生成する（ステップＳ７４）。ここでは、投影画像生成部１３は、ステップＳ７３で決定されたサイズのマップ画像データを生成する。さらに、投影画像生成部１３が、画像解析部１２から出力された位置情報に基づいて、位置画像データを生成する。そして、投影画像生成部１３がマップ画像データと位置画像データを合成してマップ画像と位置画像とを含む投影画像を表す投影画像データを生成する。
　図１６の画像Ｖ１は、４倍の対物レンズ１０２を用いて観察中に、像面に形成される画像であり、図１６の画像Ｖ５及び画像Ｖ６は、２０倍の対物レンズ１０２ａを用いて観察中に、像面に形成される画像である。図１６の画像Ｖ１と画像Ｖ５に示すように、実視野の大きさ（倍率）に応じてマップ画像（マップ画像Ｍ１、マップ画像Ｍ４）の大きさを変更することで、位置画像Ｐ１の大きさが倍率によらずに維持されてもよい。また、図１６の画像Ｖ１と画像Ｖ６に示すように、マップ画像Ｍ１の大きさは実視野の大きさ（倍率）が変わっても変更せず、位置画像（位置画像Ｐ１、位置画像Ｐ２）の大きさを実視野の大きさに合わせても変更しても良い。この場合、対物レンズの倍率が４倍から２０倍へとなり、観察倍率が５倍だけさらに拡大されたので、位置画像Ｐ２は、位置画像Ｐ１の１辺の長さを１／５に縮小したものとして、マップ画像Ｍ１上に表示される。
　以上では、マップ画像と光学画像が重なる領域が少なくなるように、マップ画像を投影する例を示したが、例えば、図１７に示すように、マップ画像は光学画像上に投影されてもよい。なお、図１７の画像Ｖ７には、光学画像が投影される領域Ｒ４（対物レンズからの光束が入射する像面上の領域）の大きさと接眼レンズ１０４から見える像面上の領域Ｒ５の大きさがほとんど同じ例を示している。
［第２実施形態］
　図１８は、本実施形態に係る顕微鏡２００の構成を示した図である。なお、本実施形態に係る顕微鏡システムは、顕微鏡１００の代わりに顕微鏡２００を備える点を除き、顕微鏡システム１と同様である。
　顕微鏡２００は、アクティブ方式のオートフォーカス装置３００を備えている点が、顕微鏡１００とは異なっている。その他の点は、顕微鏡１００と同様である。
　オートフォーカス装置３００は、レーザ３０１、コリメートレンズ３０２、遮蔽板３０３、偏光ビームスプリッタ３０４、１／４波長板３０５、ダイクロイックミラー３０６、結像レンズ３０７、２分割ディテクタ３０８を備えている。レーザ３０１から出射したレーザ光は、コリメートレンズ３０２でコリメートされた後に、遮蔽板３０３でその半分の光束が遮断される。残りの半分の光束は、偏光ビームスプリッタ３０４で反射し、１／４波長板３０５、ダイクロイックミラー３０６を経由して、対物レンズ１０２に入射し、対物レンズ１０２によって試料に照射される。試料で反射したレーザ光は、対物レンズ１０２、ダイクロイックミラー３０６、１／４波長板３０５を経由して、再び、偏光ビームスプリッタ３０４へ入射する。偏光ビームスプリッタ３０４へ２度目に入射するレーザ光は、偏光ビームスプリッタ３０４で反射して以降、１／４波長板３０５を２度通過している。従って、偏光ビームスプリッタ３０４へ１度目に入射したときとの偏光方向とは直交する偏光方向を有している。このため、レーザ光は偏光ビームスプリッタ３０４を透過する。その後、レーザ光は、結像レンズ３０７により２分割ディテクタ３０８へ照射される。２分割ディテクタ３０８で検出される光量分布は、合焦状態からのずれ量に応じて変化する。このため、２分割ディテクタ３０８で検出される光量分布に応じてステージ１０１と対物レンズ１０２間の距離を調整することで、合焦状態を達成することができる。
　本実施形態に係る顕微鏡システムは、ステージ１０１が対物レンズ１０２の光軸と直交する方向に移動したときに、オートフォーカス装置３００によりオートフォーカス処理を行う。これにより、顕微鏡システム１に比べて、更に利用者の作業負担を軽減することができる。
［第３実施形態］
　図１９は、本実施形態に係る顕微鏡システム２の構成を示した図である。顕微鏡システム２は、顕微鏡１００の代わりに顕微鏡４００を備える点が、顕微鏡システム１とは異なっている。顕微鏡４００は、中間鏡筒１３０の代わりに中間鏡筒１５０を備えている。中間鏡筒１５０には、投影装置１３１、光偏向素子１３２、及び、投影レンズ１３３に加えて、撮像装置１４０と、光偏向素子１４３が設けられている。
　光偏向素子１４３は、試料からの光を撮像素子１４１に向けて偏向する。光偏向素子１４３は、例えば、ハーフミラーなどのビームスプリッタである。光偏向素子１４３は、光偏向素子１３２と対物レンズ１０２の間の光路上に配置されることが望ましい。これにより、投影装置１３１からの光が撮像素子１４１へ入射することを回避することができる。
　本実施形態に係る顕微鏡システム２によっても、顕微鏡システム１と同様の効果を得ることができる。
［第４実施形態］
　図２０は、本実施形態に係る顕微鏡システム３の構成を示した図である。顕微鏡システム３は、顕微鏡１００の代わりに顕微鏡５００を備える点が、顕微鏡システム１とは異なっている。顕微鏡５００は、顕微鏡本体１１０と鏡筒１２０の間に投影ユニット１６０を備えている。
　投影ユニット１６０は、対物レンズ１０２と結像レンズ１０３と接眼レンズ１０４を備える顕微鏡用の投影ユニットである。投影ユニット１６０内の光学素子の構成は、中間鏡筒１５０内の構成と同様である。即ち、投影ユニット１６０は、試料からの光に基づいて試料のデジタル画像データを取得する撮像装置１４０と、光学画像が形成される像面へ投影画像を投影する投影装置１３１を備えている。
　投影ユニット１６０は、さらに、撮像制御部１６１と、画像解析部１６２と、投影画像生成部１６３と、投影制御部１６４を備えている。撮像制御部１６１、画像解析部１６２、投影画像生成部１６３、投影制御部１６４は、それぞれ撮像制御部１１、画像解析部１２、投影画像生成部１３、投影制御部１４と同様である。このため、詳細な説明は省略する。
　本実施形態では、投影ユニット１６０を既存の顕微鏡に取り付けるだけで、顕微鏡システム１と同様の効果を得ることが可能である。従って、投影ユニット１６０及び顕微鏡システム３によれば、既存の顕微鏡システムを容易に拡張することができる。
　上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。顕微鏡システム、投影ユニット、及び画像投影方法は、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
　また、上述した実施形態では、顕微鏡が撮像装置を含む例を示したが、上述した技術は、例えば、走査型顕微鏡に上述した技術を提供してもよい。その場合、顕微鏡は、撮像装置の代わりに、光電子増倍管（ＰＭＴ）などの光検出器を備えてもよい。
　また、試料は、顕微鏡システム１のみを用いて観察されてもよく、顕微鏡システム１に加えて、顕微鏡システム１とは実視野の大きさが異なる他のシステムを用いて観察されてもよい。他のシステムは、例えば、図２１に示すように顕微鏡システム４であってもよく、顕微鏡システムとは異なる観察システムであってもよい。この場合、マップ画像データの生成には、他のシステムである顕微鏡システム４を用いても良い。また、試料のマップ画像データの生成には、観察用の顕微鏡システムとは異なる、他の顕微鏡システムが用いられても良い。例えば、WSI技術を用いてWS(Whole Slide)画像を取得するWSIシステムが用いられてもよい。つまり、WS画像の画像データをマップ画像データとして用いても良い。この場合、顕微鏡システムは、あらかじめ取得したWS画像と、観察のために顕微鏡に載せられた試料と、を自動的に照合する手段を備えることが望ましい。照合する手段は、例えば、試料に貼り付けられたバーコードやRFID等を読み込むリーダー機器を含んでもよい。リーダー機器は、例えば、顕微鏡１００の撮像装置１４０であってもよく、図２２に示すような専用の装置３０であってもよい。なお、図２２には、装置３０は、プレパラートＰに貼り付けられたバーコードＣを読み取る様子が描かれている。装置３０と制御装置１０の組み合わせが照合する手段を構成してもよい。
１、２、３、４　　　　　　　　　　顕微鏡システム
１０　　　　　　　　　　　　　　　制御装置
１０ａ　　　　　　　　　　　　　　プロセッサ
１０ｂ　　　　　　　　　　　　　　メモリ
１０ｃ　　　　　　　　　　　　　　補助記憶装置
１０ｄ　　　　　　　　　　　　　　入出力インタフェース
１０ｅ　　　　　　　　　　　　　　媒体駆動装置
１０ｆ　　　　　　　　　　　　　　通信制御装置
１０ｇ　　　　　　　　　　　　　　バス
１０ｈ　　　　　　　　　　　　　　記憶媒体
１１、１６１　　　　　　　　　　　撮像制御部
１２、１６２　　　　　　　　　　　画像解析部
１３、１６３　　　　　　　　　　　投影画像生成部
１４、１６４　　　　　　　　　　　投影制御部
１５　　　　　　　　　　　　　　　記録部
２０　　　　　　　　　　　　　　　入力装置
３０　　　　　　　　　　　　　　　装置
１００、２００、４００、５００　　顕微鏡
１０１　　　　　　　　　　　　　　ステージ
１０２、１０２ａ　　　　　　　　　対物レンズ
１０３、３０７　　　　　　　　　　結像レンズ
１０４　　　　　　　　　　　　　　接眼レンズ
１１０　　　　　　　　　　　　　　顕微鏡本体
１１１　　　　　　　　　　　　　　ターレット
１２０　　　　　　　　　　　　　　鏡筒
１３０、１５０　　　　　　　　　　中間鏡筒
１３１　　　　　　　　　　　　　　投影装置
１３２、１４３　　　　　　　　　　光偏向素子
１３３　　　　　　　　　　　　　　投影レンズ
１４０　　　　　　　　　　　　　　撮像装置
１４１　　　　　　　　　　　　　　撮像素子
１４２　　　　　　　　　　　　　　アダプタレンズ
１６０　　　　　　　　　　　　　　投影ユニット
３００　　　　　　　　　　　　　　オートフォーカス装置
３０１　　　　　　　　　　　　　　レーザ
３０２　　　　　　　　　　　　　　コリメートレンズ
３０３　　　　　　　　　　　　　　遮蔽板
３０４　　　　　　　　　　　　　　偏光ビームスプリッタ
３０５　　　　　　　　　　　　　　１／４波長板
３０６　　　　　　　　　　　　　　ダイクロイックミラー
３０８　　　　　　　　　　　　　　２分割ディテクタ
Ａ１、Ａ２　　　　　　　　　　　　解析画像
Ｅ　　　　　　　　　　　　　　　　要素画像
Ｆ　　　　　　　　　　　　　　　　撮像領域
ＦＳ　　　　　　　　　　　　　　　視野絞り
Ｍ１～Ｍ５、Ｍ１ａ～Ｍ１ｇ　　　　マップ画像
Ｏ１～Ｏ４　　　　　　　　　　　　光学画像
Ｐ　　　　　　　　　　　　　　　　プレパラート
Ｐ１、Ｐ２　　　　　　　　　　　　位置画像
Ｒ１～Ｒ４　　　　　　　　　　　　領域
Ｓ　　　　　　　　　　　　　　　　走査範囲
Ｔ　　　　　　　　　　　　　　　　注目領域
Ｖ１～Ｖ７　　　　　　　　　　　　画像

Claims (27)

  1. 　接眼レンズと、
    　試料からの光を前記接眼レンズへ導く対物レンズと、
    　前記接眼レンズと前記対物レンズの間の光路上に配置され、前記試料からの光に基づいて前記試料の光学画像を形成する結像レンズと、
    　第１補助画像を含む投影画像を表す投影画像データを生成する投影画像生成部であって、前記第１補助画像は、前記試料の画像であって前記光学画像に対応する実視野よりも広い領域を写した画像である、前記投影画像生成部と、
    　前記光学画像が形成されている像面へ前記投影画像を投影する投影装置と、を備える
    ことを特徴とする顕微鏡システム。
  2. 　請求項１に記載の顕微鏡システムにおいて、
    　前記第１補助画像は、前記領域の互いに異なる部分の画像である複数の画像をタイリングした画像である
    ことを特徴とする顕微鏡システム。
  3. 　請求項１又は請求項２に記載の顕微鏡システムにおいて、
    　前記投影画像は、さらに、前記第１補助画像内の前記光学画像に対応する位置を示す第２補助画像を含み、
    　前記投影装置は、前記像面に投影されている前記第１補助画像内の前記位置に、前記第２補助画像を投影する
    ことを特徴とする顕微鏡システム。
  4. 　請求項３に記載の顕微鏡システムにおいて、さらに、
    　前記試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、
    　前記撮像装置で取得した前記デジタル画像データと、前記第１補助画像を表す第１補助画像データと、に基づいて、前記位置を特定する画像解析部と、を備える
    ことを特徴とする顕微鏡システム。
  5. 　請求項４に記載の顕微鏡システムにおいて、
    　前記画像解析部は、前記第１補助画像と前記デジタル画像データが表すデジタル画像とを比較することで、前記位置を特定する
    ことを特徴とする顕微鏡システム。
  6. 　請求項５に記載の顕微鏡システムにおいて、
    　前記画像解析部は、さらに、前記第１補助画像の座標情報と前記試料の移動量に基づいて、前記位置を更新する
    ことを特徴とする顕微鏡システム。
  7. 　請求項６に記載の顕微鏡システムにおいて、
    　前記画像解析部は、前記撮像装置で取得した前記試料の複数のデジタル画像データに基づいて、前記移動量を算出する
    ことを特徴とする顕微鏡システム。
  8. 　請求項６に記載の顕微鏡システムにおいて、さらに、
    　前記試料を載置する電動ステージを備え、
    　前記画像解析部は、前記電動ステージの制御情報に基づいて、前記移動量を算出する
    ことを特徴とする顕微鏡システム。
  9. 　請求項１乃至請求項３のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    　前記試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、を備え、
    　前記投影画像生成部は、前記撮像装置で取得した前記試料の複数のデジタル画像データに基づいて、前記第１補助画像を表す第１補助画像データを生成する
    ことを特徴とする顕微鏡システム。
  10. 　請求項９に記載の顕微鏡システムにおいて、
    　前記投影画像生成部は、前記複数のデジタル画像データの各々が取得される度に、前記第１補助画像データを生成する
    ことを特徴とする顕微鏡システム。
  11. 　請求項９に記載の顕微鏡システムにおいて、さらに、
    　前記試料を載置する電動ステージを備え、
    　前記投影画像生成部は、前記電動ステージが指定された範囲を移動した後に、前記電動ステージの移動中に取得された前記複数のデジタル画像データに基づいて、前記第１補助画像データを生成する
    ことを特徴とする顕微鏡システム。
  12. 　請求項９乃至請求項１１のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    　前記複数のデジタル画像データは、前記対物レンズの焦点位置が前記対物レンズの光軸方向に異なる状態で取得された２枚以上のデジタル画像データを含む
    ことを特徴とする顕微鏡システム。
  13. 　請求項１２に記載の顕微鏡システムにおいて、
    　前記第１補助画像は、全焦点画像である
    ことを特徴とする顕微鏡システム。
  14. 　請求項９乃至請求項１３のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    　前記第１補助画像データと、前記複数のデジタル画像データの各々が表すデジタル画像の座標情報と、を記録する、記録部を備える
    ことを特徴とする顕微鏡システム。
  15. 　請求項１４に記載の顕微鏡システムにおいて、
    　前記記録部は、前記座標情報を、前記デジタル画像データと関連付けて記録する
    ことを特徴とする顕微鏡システム。
  16. 　請求項１４又は請求項１５に記載の顕微鏡システムにおいて、さらに、
    　前記デジタル画像データを解析する画像解析部を備え、
    　前記記録部は、前記座標情報を、前記デジタル画像データの解析結果に関連付けて記録する
    ことを特徴とする顕微鏡システム。
  17. 　請求項１乃至請求項３のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    　前記試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、
    　前記撮像装置で取得した前記デジタル画像データを解析する画像解析部と、を備え、
    　前記投影画像は、さらに、前記画像解析部での解析結果を示す第３補助画像を含む
    ことを特徴とする顕微鏡システム。
  18. 　請求項１７に記載の顕微鏡システムにおいて、
    　前記画像解析部は、訓練済みのニューラルネットワークを用いて前記デジタル画像データを解析する
    ことを特徴とする顕微鏡システム。
  19. 　請求項１乃至請求項３のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    　前記試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、
    　前記デジタル画像データに基づいて、前記試料内の注目領域を追跡する画像解析部と、を備え、
    　前記投影画像は、さらに、前記注目領域の追跡の正否を示す第４補助画像を含む
    ことを特徴とする顕微鏡システム。
  20. 　請求項１９に記載の顕微鏡システムにおいて、さらに、
    　前記試料を載置する電動ステージと、を備え、
    　前記電動ステージは、前記画像解析部の追跡結果に基づいて、前記注目領域が前記対物レンズの光軸上に位置するように、移動する
    ことを特徴とする顕微鏡システム。
  21. 　請求項１乃至請求項２０のいずれか１項に記載の顕微鏡システムにおいて、
    　前記投影画像生成部は、前記実視野のサイズに応じて、前記像面における前記第１補助画像のサイズを決定する
    ことを特徴とする顕微鏡システム。
  22. 　請求項１乃至請求項３のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    　前記試料を載置する電動ステージと、
    　アクティブ方式のオートフォーカス装置と、を備え、
    　前記電動ステージが移動したときに、前記オートフォーカス装置がオートフォーカス処理を行う
    ことを特徴とする顕微鏡システム。
  23. 　請求項１乃至請求項１３のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    　検出されたイベントに応答して、前記イベントに応じた情報を記録する記録部を備える
    ことを特徴とする顕微鏡システム。
  24. 　対物レンズと結像レンズと接眼レンズを備える顕微鏡用の投影ユニットであって、
    　試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、
    　第１補助画像を含む投影画像を表す投影画像データを生成する投影画像生成部であって、前記第１補助画像は、前記試料の画像であって前記結像レンズにより形成された光学画像に対応する実視野よりも広い領域を写した画像である、前記投影画像生成部と、
    　前記光学画像が形成されている像面へ前記投影画像を投影する投影装置と、を備える
    ことを特徴とする投影ユニット。
  25. 　顕微鏡システムが行う画像投影方法であって、
    　前記顕微鏡システムは、
    　　第１補助画像を含む投影画像を表す投影画像データを生成し、ここで、前記第１補助画像は、試料の画像であって前記試料の光学画像に対応する実視野よりも広い領域を写した画像であり、
    　　前記試料からの光に基づいて前記光学画像が形成されている像面へ前記投影画像を投影する
    ことを特徴とする顕微鏡システム。
  26. 　請求項１に記載の顕微鏡システムにおいて、
    　前記第１補助画像は、前記顕微鏡システムとは異なるWSIシステムによってあらかじめ取得したWS画像であり、
    　前記WS画像は、前記領域の互いに異なる部分の画像である複数の画像をタイリングした画像である
    ことを特徴とする顕微鏡システム。
  27. 　請求項２６に記載の顕微鏡システムにおいて、さらに、
    　前記WS画像と、前記顕微鏡システムで観察する前記試料を自動的に照合する手段を備える
    ことを特徴とする顕微鏡システム。
PCT/JP2018/047498 2018-09-28 2018-12-25 顕微鏡システム、投影ユニット、及び、画像投影方法 WO2020066042A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880097760.5A CN112714888B (zh) 2018-09-28 2018-12-25 显微镜系统、投影单元以及图像投影方法
JP2020547903A JP7150868B2 (ja) 2018-09-28 2018-12-25 顕微鏡システム、投影ユニット、及び、画像投影方法
EP18935247.9A EP3988988A4 (en) 2018-09-28 2018-12-25 MICROSCOPE SYSTEM, PROJECTION UNIT AND IMAGE PROJECTION METHOD
US17/195,916 US11869166B2 (en) 2018-09-28 2021-03-09 Microscope system, projection unit, and image projection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018183762 2018-09-28
JP2018-183762 2018-09-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/195,916 Continuation US11869166B2 (en) 2018-09-28 2021-03-09 Microscope system, projection unit, and image projection method

Publications (1)

Publication Number Publication Date
WO2020066042A1 true WO2020066042A1 (ja) 2020-04-02

Family

ID=69951239

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/047498 WO2020066042A1 (ja) 2018-09-28 2018-12-25 顕微鏡システム、投影ユニット、及び、画像投影方法

Country Status (5)

Country Link
US (1) US11869166B2 (ja)
EP (1) EP3988988A4 (ja)
JP (1) JP7150868B2 (ja)
CN (1) CN112714888B (ja)
WO (1) WO2020066042A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024053632A1 (ja) * 2022-09-05 2024-03-14 株式会社エビデント 顕微鏡システム、重畳ユニット、重畳表示方法、プログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112714886B (zh) * 2018-09-28 2023-03-21 仪景通株式会社 显微镜系统、投影单元以及图像投影方法
WO2020066043A1 (ja) 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
CN112714888B (zh) 2018-09-28 2023-02-17 仪景通株式会社 显微镜系统、投影单元以及图像投影方法
JP7150867B2 (ja) * 2018-09-28 2022-10-11 株式会社エビデント 顕微鏡システム
EP3904937A4 (en) 2018-12-28 2022-09-21 Olympus Corporation MICROSCOPE SYSTEM

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61156214A (ja) * 1984-12-26 1986-07-15 イー・アイ・デユポン・デ・ニモアス・アンド・カンパニー 顕微鏡分析を行なう方法
JPH0580255A (ja) * 1991-09-19 1993-04-02 Nippon Telegr & Teleph Corp <Ntt> 光学顕微鏡システム装置
JPH07253548A (ja) * 1994-03-15 1995-10-03 Nikon Corp 標本像の自動追尾装置及び追尾方法
JPH0829694A (ja) * 1994-07-20 1996-02-02 Nikon Corp 画像処理装置付き顕微鏡
JP2001519944A (ja) 1997-03-03 2001-10-23 バクス リサーチ ラボラトリーズ インコーポレイテッド コンピュータ制御の顕微鏡から試料の拡大イメージを取得し再構成するための方法および装置
JP2013054083A (ja) * 2011-09-01 2013-03-21 Osamu Shimada ホールスライドイメージ作成装置
JP2014222321A (ja) * 2013-05-14 2014-11-27 オリンパス株式会社 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム
JP2018054690A (ja) 2016-09-26 2018-04-05 オリンパス株式会社 顕微鏡撮像システム

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6483948B1 (en) 1994-12-23 2002-11-19 Leica Ag Microscope, in particular a stereomicroscope, and a method of superimposing two images
JPH11502037A (ja) 1995-05-17 1999-02-16 ライカ ミクロスコピー ズュステーメ アーゲー 顕微鏡
DE69841245D1 (de) * 1997-03-03 2009-11-26 Olympus America Inc Verfahren und Vorrichtung zur Erzeugung eines virtuellen Objektträgers für ein Mikroskop
JPH11242189A (ja) 1997-12-25 1999-09-07 Olympus Optical Co Ltd 像形成法、像形成装置
JP3824116B2 (ja) * 1998-01-29 2006-09-20 日本電信電話株式会社 顕微鏡画像遠隔制御システム
JP2000292422A (ja) 1999-04-02 2000-10-20 Olympus Optical Co Ltd 走査型サイトメータ
US20010055062A1 (en) 2000-04-20 2001-12-27 Keiji Shioda Operation microscope
US6711283B1 (en) 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
JP4047569B2 (ja) 2001-10-10 2008-02-13 オリンパス株式会社 光走査プローブシステム
DE10332468B4 (de) * 2003-07-16 2005-05-25 Leica Microsystems Wetzlar Gmbh Mikroskop und Verfahren zur Bedienung eines Mikroskops
DE102004004115B4 (de) 2004-01-28 2016-08-18 Leica Microsystems Cms Gmbh Mikroskopsystem und Verfahren zur Shading-Korrektur der im Mikroskopsystem vorhandenen Optiken
JP2005351916A (ja) 2004-06-08 2005-12-22 Olympus Corp 双眼顕微鏡装置
JP2006071430A (ja) 2004-09-01 2006-03-16 Hitachi Medical Corp 診断支援システム
JP2006297060A (ja) 2005-03-24 2006-11-02 Kanazawa Univ 手術用顕微鏡及びそれを備えた診療システム
JP2006292999A (ja) 2005-04-11 2006-10-26 Direct Communications:Kk スライド画像データ作成装置およびスライド画像データ
US8164622B2 (en) 2005-07-01 2012-04-24 Aperio Technologies, Inc. System and method for single optical axis multi-detector microscope slide scanner
CN101495917B (zh) * 2006-07-31 2011-08-10 3M创新有限公司 光学投影子系统
JP2008090072A (ja) 2006-10-03 2008-04-17 Keyence Corp 拡大画像観察システム、共焦点顕微鏡、画像データ転送方法、３次元合焦点画像生成方法、データ転送プログラム、３次元合焦点画像生成プログラムおよびコンピュータで読み取り可能な記録媒体並びに記録した機器
US9602777B2 (en) 2008-04-25 2017-03-21 Roche Diagnostics Hematology, Inc. Systems and methods for analyzing body fluids
US20100188739A1 (en) * 2009-01-19 2010-07-29 Visiongate, Inc. Tomographic Light Field Microscope
DE102009058792B3 (de) 2009-12-18 2011-09-01 Carl Zeiss Surgical Gmbh Optische Beobachtungseinrichtung zur Beobachtung eines Auges
JP5734588B2 (ja) 2010-07-15 2015-06-17 オリンパス株式会社 細胞観察装置および観察方法
JP2012073285A (ja) * 2010-09-27 2012-04-12 Olympus Corp 撮像方法および顕微鏡装置
JP5145487B2 (ja) 2011-02-28 2013-02-20 三洋電機株式会社 観察プログラムおよび観察装置
US9254103B2 (en) 2011-08-15 2016-02-09 The Trustees Of Dartmouth College Operative microscope having diffuse optical imaging system with tomographic image reconstruction and superposition in field of view
JP5893314B2 (ja) 2011-09-27 2016-03-23 オリンパス株式会社 表示装置および顕微鏡システム
WO2013094434A1 (ja) 2011-12-22 2013-06-27 三洋電機株式会社 観察システム、観察システムの制御方法及びプログラム
US9483684B2 (en) 2012-03-30 2016-11-01 Konica Minolta, Inc. Medical image processor and storage medium
ES2953897T3 (es) 2012-05-02 2023-11-16 Leica Biosystems Imaging Inc Enfoque en tiempo real en imagenología de exploración lineal
JP5996334B2 (ja) * 2012-08-28 2016-09-21 オリンパス株式会社 顕微鏡システム、標本画像生成方法及びプログラム
US9378407B2 (en) 2012-09-11 2016-06-28 Neogenomics Laboratories, Inc. Automated fish reader using learning machines
JP5953195B2 (ja) 2012-09-21 2016-07-20 株式会社キーエンス 撮影解析装置、その制御方法及び撮影解析装置用のプログラム
US20140160264A1 (en) * 2012-12-10 2014-06-12 The Johns Hopkins University Augmented field of view imaging system
US8995740B2 (en) 2013-04-17 2015-03-31 General Electric Company System and method for multiplexed biomarker quantitation using single cell segmentation on sequentially stained tissue
ES2935506T3 (es) 2013-05-15 2023-03-07 The Administrators Of The Tulane Educational Fund Microscopia de una muestra de tejido mediante iluminación estructurada
US10182757B2 (en) 2013-07-22 2019-01-22 The Rockefeller University System and method for optical detection of skin disease
DE102013216476A1 (de) 2013-08-20 2015-02-26 Carl Zeiss Meditec Ag Operationsmikroskop mit optischen Schnittstellen
CN103744172B (zh) * 2013-12-26 2016-06-22 麦克奥迪实业集团有限公司 一种具备空间光调制照明的共聚焦显微成像方法
US20170140528A1 (en) * 2014-01-25 2017-05-18 Amir Aharon Handzel Automated histological diagnosis of bacterial infection using image analysis
DE102014201571B4 (de) 2014-01-29 2022-08-04 Carl Zeiss Meditec Ag Modul für die Dateneinspiegelung in einer Visualisierungsvorrichtung, Visualisierungsvorrichtung und Verfahren zum Anpassen der Vorrichtung
DE102014205038B4 (de) 2014-02-19 2015-09-03 Carl Zeiss Meditec Ag Visualisierungsvorrichtungen mit Kalibration einer Anzeige und Kalibrierverfahren für eine Anzeige in einer Visualisierungsvorrichtung
DE102014108811B3 (de) 2014-06-24 2015-11-26 Carl Zeiss Meditec Ag Stereomikroskop mit einem Hauptbeobachterstrahlengang und einem Mitbeobachterstrahlengang
JP6397717B2 (ja) 2014-10-08 2018-09-26 オリンパス株式会社 顕微鏡結像レンズ、顕微鏡装置、及び、撮像光学系
JP6367685B2 (ja) 2014-10-24 2018-08-01 オリンパス株式会社 顕微鏡用対物レンズ
EP3227830B8 (en) 2014-12-03 2020-07-01 Ventana Medical Systems, Inc. Methods, systems, and apparatuses for quantitative analysis of heterogeneous biomarker distribution
DE102015100765A1 (de) 2015-01-20 2016-07-21 Carl Zeiss Meditec Ag Operationsmikroskop und Verfahren zum Hervorheben von Augenlinsenstücken
JP6544789B2 (ja) 2015-01-20 2019-07-17 オリンパス株式会社 パターン投影装置、パターン投影方法、及び、位相変調量設定方法
US10295815B2 (en) 2015-02-09 2019-05-21 Arizona Board Of Regents On Behalf Of The University Of Arizona Augmented stereoscopic microscopy
DE102015103426B4 (de) 2015-03-09 2020-07-02 Carl Zeiss Meditec Ag Mikroskopsystem und Verfahren zum automatisierten Ausrichten eines Mikroskops
WO2017053891A1 (en) 2015-09-24 2017-03-30 Leica Biosystems Imaging, Inc. Real-time focusing in line scan imaging
JP6805506B2 (ja) 2016-03-07 2020-12-23 株式会社サタケ 粒状物外観品位判別装置
US9971966B2 (en) 2016-02-26 2018-05-15 Google Llc Processing cell images using neural networks
US11636627B2 (en) * 2016-08-28 2023-04-25 Augmentiqs Medical Ltd. System for histological examination of tissue specimens
JP6580012B2 (ja) 2016-09-28 2019-09-25 富士フイルム株式会社 撮影画像評価装置および方法並びにプログラム
JP2018066908A (ja) 2016-10-20 2018-04-26 株式会社キーエンス 拡大観察装置
JP2018128532A (ja) 2017-02-07 2018-08-16 オリンパス株式会社 顕微鏡
DE102017105941B3 (de) 2017-03-20 2018-05-17 Carl Zeiss Meditec Ag Operationsmikroskop mit einem Bildsensor und einem Display und Verfahren zum Betrieb eines Operationsmikroskops
DE102017108371B4 (de) 2017-04-20 2020-08-27 Carl Zeiss Meditec Ag Medizinisch-optisches Darstellungssystem und Verfahren zum Betreiben desselben
DE102017121085B3 (de) 2017-09-12 2019-01-31 Carl Zeiss Meditec Ag Augenchirurgie-Visualisierungssystem
JP6462823B2 (ja) 2017-10-24 2019-01-30 株式会社キーエンス 画像検査装置
CN112714886B (zh) 2018-09-28 2023-03-21 仪景通株式会社 显微镜系统、投影单元以及图像投影方法
WO2020066043A1 (ja) 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
JP7150867B2 (ja) 2018-09-28 2022-10-11 株式会社エビデント 顕微鏡システム
CN112714888B (zh) 2018-09-28 2023-02-17 仪景通株式会社 显微镜系统、投影单元以及图像投影方法
EP3904937A4 (en) 2018-12-28 2022-09-21 Olympus Corporation MICROSCOPE SYSTEM

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61156214A (ja) * 1984-12-26 1986-07-15 イー・アイ・デユポン・デ・ニモアス・アンド・カンパニー 顕微鏡分析を行なう方法
JPH0580255A (ja) * 1991-09-19 1993-04-02 Nippon Telegr & Teleph Corp <Ntt> 光学顕微鏡システム装置
JPH07253548A (ja) * 1994-03-15 1995-10-03 Nikon Corp 標本像の自動追尾装置及び追尾方法
JPH0829694A (ja) * 1994-07-20 1996-02-02 Nikon Corp 画像処理装置付き顕微鏡
JP2001519944A (ja) 1997-03-03 2001-10-23 バクス リサーチ ラボラトリーズ インコーポレイテッド コンピュータ制御の顕微鏡から試料の拡大イメージを取得し再構成するための方法および装置
JP2013054083A (ja) * 2011-09-01 2013-03-21 Osamu Shimada ホールスライドイメージ作成装置
JP2014222321A (ja) * 2013-05-14 2014-11-27 オリンパス株式会社 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム
JP2018054690A (ja) 2016-09-26 2018-04-05 オリンパス株式会社 顕微鏡撮像システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3988988A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024053632A1 (ja) * 2022-09-05 2024-03-14 株式会社エビデント 顕微鏡システム、重畳ユニット、重畳表示方法、プログラム

Also Published As

Publication number Publication date
EP3988988A4 (en) 2023-09-13
EP3988988A1 (en) 2022-04-27
CN112714888A (zh) 2021-04-27
US20210192179A1 (en) 2021-06-24
JPWO2020066042A1 (ja) 2021-08-30
JP7150868B2 (ja) 2022-10-11
CN112714888B (zh) 2023-02-17
US11869166B2 (en) 2024-01-09

Similar Documents

Publication Publication Date Title
WO2020066042A1 (ja) 顕微鏡システム、投影ユニット、及び、画像投影方法
JP7150867B2 (ja) 顕微鏡システム
US20190258040A1 (en) Laser scan confocal microscope
US7630113B2 (en) Microscope optical system, microscope, and virtual slide forming system
JP4970869B2 (ja) 観察装置および観察方法
US8106943B2 (en) Microscope image pickup system, microscope image pickup method and recording medium
US11662565B2 (en) Microscope system, projection unit, and image projection method
WO2020066043A1 (ja) 顕微鏡システム、投影ユニット、及び、画像投影方法
JPH08190056A (ja) 観察光学装置
US7804642B2 (en) Scanning examination apparatus
US8294728B2 (en) Process for generating display images from acquired recorded images, and means for carrying out the process
JP6847693B2 (ja) 照明装置、及び、顕微鏡装置
CN106772983A (zh) 一种自动对焦的显微镜
JP7197431B2 (ja) 光学機器の調整方法、光学システム
EP1972982B1 (en) Microscope equipped with automatic focusing mechanism and method of adjusting the same
US20050139748A1 (en) Confocal laser microscope
JP6797659B2 (ja) 顕微鏡装置、プログラム、観察方法
US20230408811A1 (en) Microscope system
JP2018116197A (ja) 顕微鏡システム、貼り合わせ画像生成プログラム、及び貼り合わせ画像生成方法
Liao Imaging Innovations for Whole-Slide and Hyperspectral Microscopy

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18935247

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020547903

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018935247

Country of ref document: EP

Effective date: 20210428