WO2020066043A1 - 顕微鏡システム、投影ユニット、及び、画像投影方法 - Google Patents

顕微鏡システム、投影ユニット、及び、画像投影方法 Download PDF

Info

Publication number
WO2020066043A1
WO2020066043A1 PCT/JP2018/047499 JP2018047499W WO2020066043A1 WO 2020066043 A1 WO2020066043 A1 WO 2020066043A1 JP 2018047499 W JP2018047499 W JP 2018047499W WO 2020066043 A1 WO2020066043 A1 WO 2020066043A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
projection
microscope system
projection image
analysis
Prior art date
Application number
PCT/JP2018/047499
Other languages
English (en)
French (fr)
Inventor
貴 米山
章文 壁谷
洋輔 谷
中田　竜男
雅善 唐澤
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2020547904A priority Critical patent/JPWO2020066043A1/ja
Priority to EP24157882.2A priority patent/EP4345776A3/en
Priority to EP18935049.9A priority patent/EP3995879A4/en
Priority to CN201880097759.2A priority patent/CN112714887B/zh
Publication of WO2020066043A1 publication Critical patent/WO2020066043A1/ja
Priority to US17/196,921 priority patent/US11594051B2/en
Priority to JP2023214425A priority patent/JP2024019639A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/317—Convergence or focusing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present disclosure relates to a microscope system, a projection unit, and an image projection method.
  • W WSI Whole Slide Imaging
  • the WSI technology is a technology for creating a WSI (Whole Slide Image) which is a digital image of the entire sample on a slide glass.
  • a WSI Whole Slide Image
  • the pathologist can enjoy various advantages. Specifically, there are advantages such that the operation of the microscope main body is not required during the diagnosis, the display magnification can be easily changed, and a plurality of pathologists can be involved in the diagnosis at the same time.
  • Such a WSI technology is described in, for example, Patent Document 1.
  • WSI systems systems that apply WSI technology
  • WSI systems require high performance.
  • color and shading information is extremely important in pathological diagnosis
  • a WSI system is required to have high color reproducibility and a wide dynamic range. Therefore, each device constituting the WSI system must be expensive with high performance, and as a result, the number of users who can introduce the WSI system is limited.
  • An object according to one aspect of the present invention is to provide a diagnosis assisting technique for assisting a pathologist in making a pathological diagnosis based on an optical image.
  • a microscope system includes an eyepiece, an objective lens that guides light from a sample to the eyepiece, and an optical lens disposed on an optical path between the eyepiece and the objective lens, and light from the sample.
  • An imaging lens that forms an optical image of the sample based on, and performs at least one analysis process selected from a plurality of analysis processes on the digital image data of the sample, according to the at least one analysis process.
  • An image analysis unit that outputs an analysis result, and a projection image generation unit that generates projection image data based on the analysis result and the at least one analysis process, wherein the projection image represented by the projection image data is
  • the projection image generation unit which is an image representing an analysis result in a display format corresponding to the at least one analysis process, and an image plane on which the optical image is formed; And a projection device for projecting the shadow image.
  • a microscope system includes an eyepiece, an objective lens that guides light from a sample to the eyepiece, and an optical lens disposed on an optical path between the eyepiece and the objective lens.
  • An imaging lens that forms an optical image of the sample based on the light; and a projection image generation unit that generates projection image data based on a diagnostic protocol selected from a plurality of diagnostic protocols, wherein the projection image data is represented.
  • the projection image to be generated includes the projection image generation unit, which is an image corresponding to the selected diagnostic protocol, and a projection device that projects the projection image onto an image plane on which the optical image is formed.
  • a microscope system includes an eyepiece, an objective lens that guides light from a sample to the eyepiece, and an optical lens disposed on an optical path between the eyepiece and the objective lens.
  • An imaging lens that forms an optical image of the sample based on the light of the sample, and performs at least one analysis process selected from a plurality of analysis processes on digital image data of the sample, and performs the at least one analysis process.
  • An image analysis unit that outputs a corresponding analysis result, generates first projection image data based on the analysis result and the at least one analysis process, and generates a second projection image data based on a diagnosis protocol selected from a plurality of diagnosis protocols.
  • a projection image generation unit that generates projection image data, wherein a first projection image represented by the first projection image data is a first projection image representing the analysis result.
  • the projection image generating unit wherein the second projection image represented by the second projection image data is an image corresponding to the selected diagnostic protocol.
  • a projection device that projects the first projection image and the second projection image onto an image plane on which an optical image is formed.
  • a projection unit is a projection unit for a microscope including an objective lens, an imaging lens, and an eyepiece, and an imaging device that acquires digital image data of the sample based on light from the sample.
  • An image analysis unit that performs at least one analysis process selected from a plurality of analysis processes on the digital image data of the sample, and outputs an analysis result according to the at least one analysis process; and
  • a projection image generation unit configured to generate projection image data based on at least one analysis process, wherein the projection image represented by the projection image data represents the analysis result in a display format corresponding to the at least one analysis process. Projecting the projection image on an image plane on which an optical image of the sample is formed by the projection image generation unit and the imaging lens, That includes a projection device.
  • a projection unit is a projection unit for a microscope including an objective lens, an imaging lens, and an eyepiece, and an imaging device that acquires digital image data of the sample based on light from the sample.
  • a projection image generating unit that generates projection image data based on a diagnosis protocol selected from a plurality of diagnosis protocols, wherein the projection image represented by the projection image data is an image corresponding to the selected diagnosis protocol
  • a projection device that projects the projection image onto an image plane on which an optical image of the sample is formed by the imaging lens.
  • An image projection method is an image projection method performed by a microscope system, wherein the microscope system performs at least one analysis process selected from a plurality of analysis processes on digital image data of the sample. And outputting an analysis result corresponding to the at least one analysis process, generating projection image data based on the analysis result and the at least one analysis process, and forming an image on which an optical image of the sample is formed.
  • a projection image represented by the projection image data is projected onto a surface, wherein the projection image is an image representing the analysis result in a display format according to the at least one analysis process.
  • An image projection method is an image projection method performed by a microscope system, wherein the microscope system generates projection image data based on a diagnostic protocol selected from a plurality of diagnostic protocols, A projection image represented by the projection image data is projected onto an image plane on which an optical image of the sample is formed, wherein the projection image is an image corresponding to the selected diagnostic protocol.
  • a pathologist can assist a pathological diagnosis based on an optical image.
  • FIG. 1 is a diagram showing a configuration of a microscope system 1.
  • FIG. 2 is a diagram showing a configuration of a computer 20.
  • 5 is a flowchart of an image projection process performed by the microscope system 1.
  • FIG. 4 is a diagram illustrating a selection screen 31; 3 is an example of an image viewed from an eyepiece 104 of the microscope system 1.
  • 5 is another example of an image viewed from the eyepiece 104 of the microscope system 1.
  • FIG. 6 is still another example of an image viewed from the eyepiece 104 of the microscope system 1.
  • FIG. FIG. 6 is still another example of an image viewed from the eyepiece 104 of the microscope system 1.
  • FIG. FIG. 6 is still another example of an image viewed from the eyepiece 104 of the microscope system 1.
  • FIG. 6 is still another example of an image viewed from the eyepiece 104 of the microscope system 1.
  • FIG. FIG. 6 is still another example of an image viewed from the eyepiece 104 of the microscope system 1.
  • FIG. FIG. 6 is
  • FIG. 6 is still another example of an image viewed from the eyepiece 104 of the microscope system 1.
  • FIG. FIG. 2 is a diagram illustrating a configuration of a neural network.
  • FIG. 2 is a diagram showing a configuration of a microscope system 2.
  • FIG. 2 is a diagram illustrating a configuration of a computer 60 included in the microscope system 3.
  • 6 is a flowchart of an image projection process performed by the microscope system 3.
  • 7 is an example of an image viewed from an eyepiece 104 of the microscope system 3.
  • 9 is another example of an image viewed from the eyepiece 104 of the microscope system 3.
  • 9 is yet another example of an image viewed from the eyepiece 104 of the microscope system 3.
  • 9 is yet another example of an image viewed from the eyepiece 104 of the microscope system 3.
  • FIG. 2 is a diagram showing a configuration of a diagnostic assistance system including a microscope system 4 and an external viewing system 300.
  • FIG. 3 is a diagram showing a configuration of a microscope 500. 7 is an example of a change in an image viewed from an eyepiece 104 of a microscope system including a microscope 500.
  • FIG. 3 is a diagram showing a configuration of a microscope 600.
  • FIG. 1 is a diagram showing a configuration of a microscope system 1 according to the present embodiment.
  • FIG. 2 is a diagram illustrating a configuration of the computer 20.
  • the microscope system 1 is a microscope system used by a pathologist in pathological diagnosis, and includes at least an objective lens 102, an imaging lens 103, an eyepiece 104, an image analysis unit 22, a projection image generation unit 23, and a projection device. 133.
  • the microscope system 1 projects a projection image using the projection device 133 onto an image plane on which an optical image of the sample is formed by the objective lens 102 and the imaging lens 103. More specifically, the image analysis unit 22 performs an analysis process on the digital image data of the sample, the projection image generation unit 23 generates projection image data based on the analysis result and the analysis process, and the projection device 133 A projection image representing the analysis result in a display format according to the analysis processing is projected on the image plane. Thereby, the pathologist sees an image in which the projection image in the display format according to the analysis processing is superimposed on the optical image. For this reason, the microscope system 1 can provide a pathologist who is observing the sample looking through the eyepiece 104 with various display information that assists in pathological diagnosis in a display format that is easily visible.
  • the microscope system 1 includes a microscope 100, a microscope controller 10, a computer 20, a display device 30, an input device 40, and an identification device 50.
  • the microscope 100 is, for example, an upright microscope and includes a microscope main body 110, a lens barrel 120, and an intermediate lens barrel 130. Note that the microscope 100 may be an inverted microscope.
  • the microscope main body 110 includes a stage 101 on which a sample is mounted, an objective lens (objective lens 102, objective lens 102a) that guides light from the sample to the eyepiece 104, an epi-illumination optical system, and a transmission illumination optical system.
  • Stage 101 may be a manual stage or an electric stage. It is desirable that a plurality of objective lenses having different magnifications are mounted on the revolver.
  • the objective lens 102 is a 4 ⁇ objective lens
  • the objective lens 102a is a 20 ⁇ objective lens.
  • the microscope main body 110 may include at least one of an epi-illumination optical system and a transmission illumination optical system.
  • the microscope main body 110 further includes a turret 111 for switching the microscope method.
  • a turret 111 for example, a fluorescent cube used in a fluorescence observation method, a half mirror used in a bright field observation method, and the like are arranged.
  • the microscope main body 110 may be provided with an optical element used in a specific microscope method so that it can be inserted into and removed from the optical path.
  • the microscope main body 110 may include, for example, a DIC prism, a polarizer, and an analyzer used in the differential interference observation method.
  • the lens barrel 120 is a monocular tube or a binocular tube to which the eyepiece 104 is mounted.
  • An imaging lens 103 is provided in the lens barrel 120.
  • the imaging lens 103 is arranged on an optical path between the objective lens 102 and the eyepiece 104.
  • the imaging lens 103 forms an optical image of the sample on an image plane between the eyepiece 104 and the imaging lens 103 based on light from the sample.
  • the imaging lens 103 also forms a later-described projection image on the image plane based on light from the projection device 133. Thereby, the projection image is superimposed on the optical image on the image plane.
  • the intermediate lens barrel 130 is provided between the microscope main body 110 and the lens barrel 120.
  • the intermediate lens barrel 130 includes an imaging element 131, a light deflecting element 132, a projection device 133, and a light deflecting element 134.
  • the image sensor 131 is an example of a photodetector that detects light from a sample.
  • the image sensor 131 is a two-dimensional image sensor, such as a CCD image sensor or a CMOS image sensor.
  • the imaging element 131 detects light from the sample and generates digital image data of the sample based on the detection result.
  • the light deflector 132 is an example of a first light deflector that deflects light from a sample toward the image sensor 131.
  • the light deflection element 132 is, for example, a beam splitter such as a half mirror.
  • a variable beam splitter that changes the transmittance and the reflectance may be used.
  • the light deflection element 132 is arranged on an optical path between the eyepiece 104 and the objective lens 102. This makes it possible to obtain a digital image of the sample viewed from the same direction as the visual observation by the image sensor 131.
  • the projection device 133 is a projection device that projects a later-described projection image onto an image plane in accordance with an instruction from the computer 20.
  • the projection device 133 is, for example, a projector using a liquid crystal device, a projector using a digital mirror device, a projector using LCOS, and the like.
  • the light deflecting element 134 is an example of a second light deflecting element that deflects light emitted from the projection device 133 toward the image plane.
  • the light deflecting element 134 is, for example, a beam splitter such as a half mirror.
  • a variable beam splitter that changes the transmittance and the reflectance may be used as the light deflecting element 134.
  • a dichroic mirror or the like may be used for the light deflection element 134.
  • the light deflection element 134 is arranged on an optical path between the image plane and the light deflection element 132. Accordingly, it is possible to prevent light from the projection device 133 from being incident on the image sensor 131.
  • the microscope controller 10 controls the microscope 100, particularly the microscope main body 110.
  • the microscope controller 10 is connected to the computer 20 and the microscope 100, and controls the microscope 100 according to an instruction from the computer 20.
  • the display device 30 is, for example, a liquid crystal display, an organic EL (OLED) display, a CRT (Cathode Ray Tube) display, or the like.
  • the input device 40 outputs an operation signal corresponding to a user's input operation to the computer 20.
  • the input device 40 is, for example, a keyboard, but may include a mouse, a joystick, a touch panel, and the like.
  • the identification device 50 is a device that acquires identification information added to a sample.
  • the identification information includes at least information for identifying the sample.
  • the identification information may include information on a sample analysis method, a diagnostic protocol, and the like.
  • the identification device 50 is, for example, a barcode reader, an RFID reader, a QR (registered trademark) code reader, or the like.
  • the computer 20 controls the entire microscope system 1.
  • the computer 20 is connected to the microscope 100, the microscope controller 10, the display device 30, the input device 40, and the identification device 50.
  • the computer 20 mainly includes a camera control unit 21, an image analysis unit 22, a projection image generation unit 23, an information acquisition unit 24, and a projection control unit 25 as components related to control of the projection device 133.
  • the camera control unit 21 obtains digital image data of the sample by controlling the image sensor 131.
  • the digital image data obtained by the camera control unit 21 is output to the image analysis unit 22, the image recording unit 26, and the image synthesis unit 27.
  • the image analysis unit 22 performs at least one analysis process selected from a plurality of analysis processes on the digital image data acquired by the camera control unit 21, and outputs an analysis result according to the at least one analysis process to the projection image generation unit. 23.
  • the plurality of analysis processes to be selected may be processes targeting a plurality of different staining methods such as HE staining and IHC staining. Further, the plurality of analysis processes to be selected may be processes targeting a plurality of different biomarkers such as HER2, Ki-67, and ER / PgR. Further, the plurality of analysis processes to be selected may be processes targeting a plurality of combinations of different staining methods and biomarkers.
  • the image analysis unit 22 may select at least one analysis process based on a user's input operation. More specifically, the image analysis unit 22 may select at least one analysis process based on the operation information of the user acquired by the information acquisition unit 24. Further, the image analysis unit 22 may select at least one analysis process based on the identification information acquired by the identification device 50. More specifically, the identification information acquired by the identification device 50 may be acquired from the information acquisition unit 24, and at least one analysis process may be selected based on the analysis method included in the identification information. Note that both the operation information and the identification information include information for selecting the analysis processing. Therefore, hereinafter, such information is collectively referred to as selection information.
  • the content of the analysis processing performed by the image analysis unit 22 is not particularly limited.
  • the image analysis unit 22 classifies, for example, one or more structures appearing in the digital image represented by the digital image data into one or more classes, and classifies them into at least one of the one or more classes.
  • An analysis result including position information for specifying the position of the structure may be generated. More specifically, the image analysis unit 22 classifies the cells shown in the digital image according to the staining intensity, and class information on which the cells are classified and position information for specifying the outline of the cell or the outline of the nucleus of the cell. May be generated.
  • the image analysis unit 22 analyzes the analysis result including the statistical information of the structure classified into at least one class, such as the number of cells of each class and the cell ratio of each class to the whole. May be generated. It is desirable that the structures classified into at least one class are objects that are the basis for determination in pathological diagnosis by a pathologist.
  • the projection image generation unit 23 generates projection image data based on the analysis result output from the image analysis unit 22 and at least one analysis process specified by the selection information acquired from the information acquisition unit 24.
  • the projection image represented by the projection image data is an image representing the analysis result in a display format according to at least one analysis process.
  • the projection image generated by the projection image generation unit 23 is output to the projection control unit 25, the image recording unit 26, and the image synthesis unit 27.
  • the display format includes at least the color of the image. Therefore, the projection image generation unit 23 determines the color of the projection image according to at least one analysis process. Further, the display format may include a format of a graphic (for example, a line) constituting the image in addition to the color of the image. Therefore, the projection image generation unit 23 may determine the format of the graphic constituting the projection image according to at least one analysis process. It should be noted that the format of the graphic includes whether or not the graphic is to be painted, the type of the graphic, and the like. For example, if the graphic is a line, the line type, line thickness, and the like are included in the line format. Further, the display format may include the position of the image in addition to the color of the image. Therefore, the projection image generation unit 23 may determine the positional relationship between the projection image and the optical image on the image plane according to at least one analysis process, and place at least a part of the projection image outside the area of the optical image. Whether to project or not may be determined.
  • a graphic for example, a line
  • the projection image generation unit 23 generates projection image data such that the color of the projection image is different from the color of the optical image. Since the color of the optical image differs according to the staining method, the projection image generating unit 23 may change the color of the projection image according to the staining method targeted by the selected analysis processing. For example, in the HE staining method, since the optical image becomes blue-violet, it is desirable that the color of the projected image be different from the blue-violet color.
  • the projection image generation unit 23 changes the format of the graphic constituting the projection image according to the biomarker targeted by the selected analysis processing. Is also good.
  • the projected image may be constituted by a hollow figure that traces the outline of the cell.
  • the projected image may be configured by a figure that fills the nucleus of the cell.
  • the projection image generation unit 23 may change the position of the projection image according to the staining method targeted by the selected analysis process. For example, in the HE staining method, when the projected image includes supplementary character information, the position of the projected image may be changed so that the overlapping of the character information and the optical image is reduced.
  • the information acquisition unit 24 acquires information from a device outside the computer 20. Specifically, the information acquisition unit 24 acquires user operation information based on an operation signal from the input device 40. The information acquisition unit 24 acquires identification information from the identification device 50.
  • the projection control unit 25 controls the projection of the projection image on the image plane by controlling the projection device 133.
  • the projection control unit 25 may control the projection device 133 according to the setting of the microscope system 1. Specifically, the projection control unit 25 may determine whether to project the projection image on the image plane according to the setting of the microscope system 1.
  • the projection device 133 may be controlled so that the device 133 projects the projection image on the image plane. That is, the microscope system 1 can change whether or not to project the projection image on the image plane by setting.
  • the image recording unit 26 records digital image data and projection image data. Specifically, the image recording unit 26 records the projection image data in an area different from the digital image data in association with the digital image data. This makes it possible to individually read out digital image data and projection image data related to each other as needed. Further, the image recording unit 26 may acquire the identification information added to the sample via the identification device 50 and the information acquisition unit 24, and record the acquired identification information in association with the digital image data. The image recording unit 26 may record digital image data and projection image data when detecting input of a recording instruction by a user.
  • the image combining unit 27 generates image data of a combined image in which the digital image and the projected image are combined based on the digital image data and the projected image data, and outputs the combined image data to the display control unit 28.
  • the display control unit 28 displays the composite image on the display device 30 based on the composite image data output from the image composition unit 27. Note that the display control unit 28 may display the digital image alone on the display device 30 based on the digital image data.
  • the computer 20 may be a general-purpose device or a dedicated device.
  • the computer 20 is not particularly limited to this configuration, but may have a physical configuration as shown in FIG. 2, for example.
  • the computer 20 may include a processor 20a, a memory 20b, an auxiliary storage device 20c, an input / output interface 20d, a medium drive device 20e, and a communication control device 20f, which may be connected to each other by a bus 20g. Good.
  • the processor 20a is an arbitrary processing circuit including, for example, a CPU (Central Processing Unit).
  • the processor 20a executes a program stored in the memory 20b, the auxiliary storage device 20c, and the storage medium 20h to perform a programmed process, thereby performing a component (camera control unit) related to the control of the projection device 133 described above. 21, an image analysis unit 22, a projection image generation unit 23, etc.).
  • the processor 20a may be configured using a dedicated processor such as an ASIC or an FPGA.
  • the memory 20b is a working memory of the processor 20a.
  • the memory 20b is an arbitrary semiconductor memory such as a random access memory (RAM).
  • the auxiliary storage device 20c is a nonvolatile memory such as an EPROM (Erasable Programmable ROM) and a hard disk drive (Hard Disc Drive).
  • the input / output interface 20d exchanges information with external devices (the microscope 100, the microscope controller 10, the display device 30, the input device 40, and the identification device 50).
  • the medium drive device 20e can output data stored in the memory 20b and the auxiliary storage device 20c to the storage medium 20h, and can read out programs and data from the storage medium 20h.
  • the storage medium 20h is any portable recording medium.
  • the storage medium 20h includes, for example, an SD card, a USB (Universal Serial Bus) flash memory, a CD (Compact Disc), a DVD (Digital Versatile Disc), and the like.
  • the communication control device 20f inputs and outputs information to and from a network.
  • a NIC Network Interface Card
  • a wireless LAN Local Area Network
  • the bus 20g connects the processor 20a, the memory 20b, the auxiliary storage device 20c, and the like so that data can be exchanged with each other.
  • FIG. 3 is a flowchart of the image projection process performed by the microscope system 1.
  • FIG. 4 is a diagram illustrating the selection screen 31.
  • the image projection method of the microscope system 1 will be described with reference to FIGS.
  • the microscope system 1 projects the optical image of the sample on the image plane (Step S1).
  • the imaging lens 103 condenses the light from the sample captured by the objective lens 102 on the image plane, and forms an optical image of the sample.
  • the microscope system 1 acquires digital image data of the sample (Step S2).
  • a part of the light from the sample captured by the objective lens 102 is deflected by the light deflector 132 toward the image sensor 131.
  • the imaging device 131 generates digital image data by imaging a sample based on the light deflected by the light deflection device 132.
  • the microscope system 1 specifies an analysis process selected from a plurality of analysis processes prepared in advance (step S3).
  • the user selects, for example, each menu (menu 32, menu 33, menu 34, menu 35) on the selection screen 31 shown in FIG.
  • the image analysis unit 22 specifies the analysis process selected based on the input operation by the user.
  • Step S4 the microscope system 1 executes the specified analysis process.
  • the image analysis unit 22 performs the analysis process selected in step S3 on the digital image data acquired in step S2, and obtains an analysis result.
  • the microscope system 1 generates projection image data based on the analysis result obtained in step S4 and the analysis processing specified in step S3 (step S5).
  • the projection image generation unit 23 generates projection image data representing a projection image that displays the analysis result obtained in step S4 in a display format according to the analysis process specified in step S3.
  • the microscope system 1 projects the projection image on the image plane (Step S6).
  • the projection control unit 25 controls the projection device 133 based on the projection image data
  • the projection device 133 projects the projection image on the image plane.
  • the projection image is superimposed on the optical image of the sample.
  • the image analysis result by the computer is displayed on the optical image.
  • the pathologist can obtain various information that assists the diagnosis without taking his eyes off the eyepiece during the pathological diagnosis based on the optical image of the sample.
  • the image analysis unit 22 performs an analysis process selected from a plurality of analysis processes
  • the microscope system 1 can support various types of diagnoses.
  • the projection image projected by the projection device 133 has a display format according to the analysis processing. For this reason, the microscope system 1 can provide the pathologist with various types of information that assist the pathological diagnosis in a display format that is easily visible. Therefore, according to the microscope system 1, it is possible to assist the pathological diagnosis based on the optical image, and it is possible to reduce the work load of the pathologist.
  • the microscope system 1 assists in pathological diagnosis by displaying additional information (projection image) on the optical image. Therefore, unlike a WSI system that performs a pathological diagnosis based on a digital image, expensive equipment is not required. Therefore, according to the microscope system 1, the burden on the pathologist can be reduced while avoiding a significant increase in equipment cost.
  • it is necessary to create a WSI (Whole Slide Image) in advance, but in the microscope system 1, there is no need for advance preparation, and the diagnosis work can be started immediately. it can.
  • FIGS. 5 to 10 are diagrams illustrating images viewed from the eyepiece 104 of the microscope system 1.
  • FIG. Hereinafter, the state of observation using the microscope system 1 that executes the image projection processing illustrated in FIG. 3 will be specifically described with reference to FIGS. 5 to 10.
  • the image V1 is an optical image M1 corresponding to the actual visual field formed on the image plane.
  • Image V1 shows a stained nucleus of a cancer cell.
  • a dark region R2 exists around the region R1 on which the image V1 is projected.
  • the region R2 is a region on the image plane that can be observed from the eyepiece 104, through which light from the objective lens 102 does not pass.
  • an image corresponding to the image V1 may be displayed on the display device 30 based on the digital image data generated by the image sensor 131.
  • the computer 20 analyzes the digital image data.
  • the analysis identifies the nuclei of the cells and classifies them according to their staining intensity. For example, unstained nuclei are classified as class 0 indicating negative. In addition, weakly stained nuclei are classified into class 1+ showing weak positivity. Also, nuclei stained moderately are classified into class 2+ indicating moderate positivity. In addition, strongly stained nuclei are classified into class 3+ showing strong positivity.
  • the computer 20 generates projection image data based on the analysis result, and the projection device 133 projects the projection image represented by the projection image data on an image plane.
  • the projection image represented by the projection image data includes a position image composed of a figure representing the position of the classified cell nucleus, and the figure has a different color for each class.
  • the image V2 is an image in which a projection image including the position image P1 is superimposed on the optical image M1. At this time, an image corresponding to the image V2 may be displayed on the display device 30.
  • the staining state of each cell can be more easily determined than the image V1 (optical image M1) shown in FIG. Therefore, it is easy to calculate a score by a predetermined scoring method such as J-score used in pathological diagnosis. Therefore, the positive / negative determination operation performed by the pathologist is assisted by the microscope system 1, so that the burden on the pathologist can be reduced.
  • the projection image represented by the projection image data may include, in addition to the position image P1, a statistical image T1 including statistical information of the classified cells.
  • the pathologist can observe the image V3 shown in FIG.
  • the image V3 is an image in which a projection image including the position image P1 and the statistical image T1 is superimposed on the optical image M1.
  • an image corresponding to the image V3 may be displayed on the display device 30.
  • the calculation of the score is further facilitated by the statistical image T1. Therefore, since the positive / negative determination operation performed by the pathologist is better assisted by the microscope system 1, the burden on the pathologist can be further reduced.
  • the thresholds of the scoring judgments of 0, 1+, 2+, and 3+ which indicate the degree of staining intensity, may differ depending on the individual pathologist, hospital facility guidelines, or diagnostic criteria in each country. Based on this, the optical image M1, the position image P1, and the statistical image T1 are compared, and if the statistical image T1 based on the analysis result is questionable, the observer uses the input device for the analysis processing.
  • the threshold value may be changed. A new analysis process is performed based on the changed threshold value, and the user confirms a new statistical image T1 ′ in which the result is reflected in real time, so that the operation of setting an appropriate threshold value is better assisted. . Therefore, the burden on the pathologist can be further reduced.
  • the image V4 is an optical image M2 corresponding to the actual visual field formed on the image plane.
  • Image V4 shows the stained cell membrane of the cancer cells.
  • an image corresponding to the image V4 may be displayed on the display device 30 based on the digital image data generated by the image sensor 131.
  • the computer 20 analyzes the digital image data.
  • the analysis identifies the cell membrane and classifies it according to its staining intensity and staining pattern. For example, cells whose membranes are not stained at all are classified into class 0 indicating negative. Cells in which the membrane is partially or weakly stained are classified as weakly positive class 1+. In addition, nuclei whose membranes are moderately and wholly stained are classified into class 2+ showing moderate positivity. In addition, cells whose membranes are strong and that are stained entirely are classified into class 3+ showing strong positivity.
  • the computer 20 generates projection image data based on the analysis result, and the projection device 133 projects the projection image represented by the projection image data on an image plane.
  • the projection image represented by the projection image data includes a position image P2 composed of a graphic representing the classified cell positions, and the graphic has a different format (line type) for each class.
  • the image V5 is an image in which a projection image including the position image P2 is superimposed on the optical image M2. At this time, an image corresponding to the image V5 may be displayed on the display device 30.
  • the image V5 shown in FIG. 9 it is possible to more easily determine the staining state of the cell membrane than in the image V4 (optical image M2) shown in FIG. For this reason, it becomes easy to calculate a score by a predetermined scoring method used in pathological diagnosis. Therefore, the positive / negative determination operation performed by the pathologist is assisted by the microscope system 1, so that the burden on the pathologist can be reduced.
  • the projection image represented by the projection image data may include, in addition to the position image P2, a statistical image T2 including statistical information of the classified cells.
  • the pathologist can observe the image V6 shown in FIG.
  • the image V6 is an image in which a projection image including the position image P2 and the statistical image T2 is superimposed on the optical image M2.
  • the statistical image T2 is projected outside the region R1 through which the light beam from the objective lens 102 passes.
  • an image corresponding to the image V6 may be displayed on the display device 30.
  • the calculation of the score is further facilitated by the statistical image T2. Therefore, the positive / negative determination operation performed by the pathologist is better assisted by the microscope system 1, and the burden on the pathologist can be further reduced.
  • the projection images whose display formats are different from each other due to the difference in the format (presence or absence of filling, line type) of the graphics constituting the image are illustrated. May be different in color.
  • the image analysis unit 22 of the microscope system 1 may perform a plurality of analysis processes using a plurality of predetermined algorithms, or may perform a plurality of analysis processes using a plurality of trained neural networks.
  • Each parameter of the plurality of trained neural networks may be generated by training each neural network in a device different from the microscope system 1, and the computer 20 downloads the generated parameters and performs image analysis. You may apply to the part 22.
  • the computer 20 may add an analysis process selectable by the image analysis unit 22 as needed by downloading the parameters of the new neural network.
  • FIG. 11 is a diagram showing a configuration of the neural network NN.
  • the neural network NN has an input layer, a plurality of intermediate layers, and an output layer.
  • output data D2 output from the output layer is compared with correct answer data D3.
  • the parameters of the neural network NN are updated by learning by the error back propagation method.
  • the set of the input data D1 and the correct answer data D3 is training data for supervised learning.
  • FIG. 12 is a diagram illustrating a configuration of the microscope system 2 according to the present embodiment.
  • the microscope system 2 is different from the microscope system 1 in that a microscope 200 is provided instead of the microscope 100.
  • the microscope 200 includes a projection unit 140 between the microscope main body 110 and the lens barrel 120.
  • the projection unit 140 is a projection unit for a microscope including the objective lens 102, the imaging lens 103, and the eyepiece 104, and includes the intermediate lens barrel 130. That is, the projection unit 140 includes an imaging device 131 that is an example of an imaging device that acquires digital image data of a sample based on light from the sample, and a projection device 133 that projects a projection image onto an image plane on which an optical image is formed. It has.
  • the projection unit 140 further includes an image analysis unit 142 and a projection image generation unit 143.
  • the projection unit 140 may include a camera control unit 141, an information acquisition unit 144, and a projection control unit 145.
  • the camera control unit 141, the image analysis unit 142, the projection image generation unit 143, and the projection control unit 145 are the same as the camera control unit 21, the image analysis unit 22, the projection image generation unit 23, and the projection control unit 25, respectively. Therefore, a detailed description is omitted.
  • the information acquisition unit 144 acquires the operation information of the user based on the operation signal from the input device 40 acquired via the computer 20.
  • the information acquisition unit 144 acquires identification information from the identification device 50 via the computer 20.
  • the same effect as the microscope system 1 can be obtained only by attaching the projection unit 140 to an existing microscope. Therefore, according to the projection unit 140 and the microscope system 2, the existing microscope system can be easily expanded, and the pathologist can assist the pathological diagnosis based on the optical image.
  • FIG. 13 is a diagram illustrating a configuration of a computer 60 included in the microscope system 3 according to the present embodiment.
  • the microscope system 3 is the same as the microscope system 1 except that the microscope system 3 includes a computer 60 instead of the computer 20.
  • the computer 60 controls the entire microscope system 3.
  • the computer 60 is similar to the computer 20 in that it is connected to the microscope 100, the microscope controller 10, the display device 30, the input device 40, and the identification device 50.
  • the computer 60 mainly includes a camera control unit 61, a projection image generation unit 63, an information acquisition unit 64, a projection control unit 65, an image recording unit 66, an image synthesis unit 67, and display components related to control of the projection device 133.
  • the control unit 68 is provided.
  • the camera control unit 61, the information acquisition unit 64, the projection control unit 65, the image recording unit 66, the image synthesis unit 67, and the display control unit 68 are respectively a camera control unit 21, an information acquisition unit 24, It corresponds to the projection control unit 25, the image recording unit 26, the image synthesizing unit 27, and the display control unit 28.
  • the computer 60 is significantly different from the computer 20 in that it does not include a configuration corresponding to the image analysis unit 22. Further, the point different from 20 is that the projection image generation unit 63 performs processing different from that of the projection image generation unit 23.
  • the projection image generator 63 generates projection image data based on a diagnostic protocol selected from a plurality of diagnostic protocols.
  • the diagnostic protocol is a series of agreements including procedures from the start to the end of the diagnosis, determination criteria, and the like.
  • the projection image represented by the projection image data is an image corresponding to the selected diagnostic protocol.
  • the projection image generated by the projection image generation unit 63 is output to the projection control unit 65, the image recording unit 66, and the image synthesis unit 67.
  • the method of selecting a diagnostic protocol in the projection image generation unit 63 is the same as the method of selecting analysis processing in the image analysis unit 22 of the microscope system 1. That is, the projection image generation unit 63 may select a diagnostic protocol based on an input operation by the user, or may select a diagnostic protocol based on the identification information acquired by the identification device 50.
  • the projection image desirably includes guidance for the diagnostic procedure of the selected diagnostic protocol, and the projection image generating unit 23 may determine the color of the guide for the diagnostic procedure according to the selected diagnostic protocol. This allows the pathologist to refer to the diagnostic procedure without taking his eyes off the eyepiece 104, so that the diagnosis can proceed efficiently without erroneous diagnostic procedures.
  • the projected image may include a reference image indicating a criterion in the selected diagnostic protocol. This allows the pathologist to simultaneously check the optical image and the reference image, so that shortening of the diagnosis time and improvement of the diagnosis accuracy can be expected.
  • the projection image generation unit 63 may determine the positional relationship between the projection image and the optical image on the image plane according to the selected diagnostic protocol, and determine whether to project at least a part of the projection image outside the optical image area. It may be determined whether or not.
  • the projection image generation unit 63 may generate projection image data such that the projection image includes a warning display when the setting of the microscope system 3 does not satisfy the requirement of the selected diagnostic protocol. This allows the pathologist to make various judgments in diagnosis under a correct environment, so that improvement in diagnosis accuracy can be expected.
  • the projection control unit 65 may control the projection device 133 according to the setting of the microscope system 3. Specifically, the projection control unit 65 may determine whether to project a projection image on an image plane according to the setting of the microscope system 3. The projection device 133 may be controlled so that the device 133 projects the projection image on the image plane. That is, the microscope system 3 can change whether or not to project the projection image on the image plane by setting.
  • Some diagnostic protocols include procedures to measure the area, location, and distance between structures, such as cancer cells.
  • the projection image generation unit 63 generates projection image data so as to include the measurement result measured using the length measurement function of the microscope, and the projection control unit 65 projects the projection image including the measurement result on the image plane. May be.
  • FIG. 14 is a flowchart of the image projection process performed by the microscope system 3.
  • an image projection method of the microscope system 3 will be described with reference to FIG.
  • the microscope system 3 projects the optical image of the sample on the image plane (Step S11). This process is the same as step S1 shown in FIG.
  • the microscope system 3 specifies a diagnostic protocol selected from a plurality of diagnostic protocols prepared in advance (Step S12).
  • the user selects a diagnostic protocol on the selection screen, and the projection image generation unit 63 specifies the diagnostic protocol selected based on the input operation by the user.
  • the microscope system 3 When the diagnostic protocol is specified, the microscope system 3 generates projection image data based on the specified diagnostic protocol (Step S13).
  • the projection image generation unit 63 generates projection image data representing a projection image according to the diagnosis protocol specified in step S12.
  • the microscope system 3 projects the projection image on the image plane (Step S14).
  • the projection control unit 65 controls the projection device 133 based on the projection image data
  • the projection device 133 projects the projection image on the image plane.
  • the projection image is superimposed on the optical image of the sample.
  • a projection image according to the diagnosis protocol is displayed on the optical image.
  • the pathologist can obtain various information such as a diagnostic procedure and a criterion for assisting the diagnosis without taking his eyes off the eyepiece.
  • the projection image generation unit 63 since the projection image generation unit 63 generates projection image data according to a diagnostic protocol selected from a plurality of diagnostic protocols, the microscope system 3 can support various types of diagnostic protocols. Therefore, according to the microscope system 3, it is possible to assist the pathological diagnosis based on the optical image, and it is possible to reduce the work load of the pathologist.
  • the microscope system 3 can reduce the burden on a pathologist while avoiding a significant increase in equipment costs, and does not require advance preparation, so that diagnosis work can be started immediately.
  • the possible points are the same as those of the microscope system 1.
  • FIGS. 15 to 18 are diagrams illustrating images viewed from the eyepiece 104 of the microscope system 3.
  • FIG. Hereinafter, the state of observation using the microscope system 3 that executes the image projection processing illustrated in FIG. 14 will be specifically described with reference to FIGS.
  • a diagnostic protocol for determining overexpression of HER2 protein by IHC staining hereinafter referred to as an IHC-HER2 diagnostic protocol
  • IHC-HER2 diagnostic protocol a diagnostic protocol for determining overexpression of HER2 protein by IHC staining
  • the pathologist can observe the image V7 shown in FIG.
  • the image V7 is an image in which a projection image including the guide image G1 is superimposed on the optical image M2.
  • the optical image M2 is an image acquired using, for example, a 4 ⁇ objective lens 102, and shows a stained cell membrane of a cancer cell.
  • the guide image G1 is an image for guiding a diagnostic procedure of the IHC-HER2 diagnostic protocol.
  • the IHC-HER2 diagnostic protocol defines a procedure for observing a positive HER2 protein stained image, staining intensity, and the percentage of positive cells using a 4 ⁇ objective lens.
  • the guide image G1 guides this procedure. ing.
  • the image V8 may be projected on the image plane instead of the image V7.
  • the image V8 is an image in which a projection image including the guide image G1 and the contrast image C1 is superimposed on the optical image M2.
  • the comparison image C1 includes a plurality of reference images indicating determination criteria in the IHC-HER2 diagnostic protocol. More specifically, four reference images exemplifying images to be determined as score 0, score 1+, score 2+, and score 3+ are included.
  • the pathologist can refer to the comparison image C1 when determining the ratio of positive cells.
  • the image V9 is projected on the image plane.
  • the image V9 is an image in which a projection image including the guide image G2 is superimposed on the optical image M2.
  • the guide image G2 is an image for guiding a diagnostic procedure of the IHC-HER2 diagnostic protocol.
  • the IHC-HER2 diagnostic protocol stipulates that observation using a 10 ⁇ objective lens is performed after observation using a 4 ⁇ objective lens, and a guide image G2 guides this procedure.
  • the image V10 is projected on the image plane.
  • the image V10 is an image in which a projection image including the guide image G3 is superimposed on the optical image M2.
  • the guide image G3 is a warning display that warns a pathologist that diagnosis has not been performed according to the diagnosis protocol. Since the pathologist can recognize the error in the procedure by displaying the warning, according to the microscope system 3, it is possible to prevent the diagnosis from being continued in the incorrect procedure.
  • FIG. 19 is a diagram showing a configuration of a diagnostic assistance system including the microscope system 4 and the external viewing system 300 according to the present embodiment.
  • the microscope system 4 differs from the microscope system 1 in that a computer 70 is provided instead of the computer 20.
  • the microscope system 4 is connected to one or more external browsing systems 300 via the Internet 400.
  • the external browsing system 300 is a system including at least a computer 310 including a communication control unit 311, an input device 320, and a display device 330.
  • the Internet 400 is an example of a communication network.
  • the microscope system 3 and the external viewing system 300 may be connected via, for example, a VPN (Virtual Private Network) or a dedicated line.
  • VPN Virtual Private Network
  • the computer 70 is different from the computer 20 in that the computer 70 includes the communication control unit 29.
  • the communication control unit 29 exchanges data with the external browsing system 300.
  • the communication control unit 29 transmits the image data to the external browsing system 300, for example.
  • the image data transmitted by the communication control unit 29 may be, for example, the combined image data generated by the image combining unit 27. Digital image data and projection image data may be transmitted separately. Alternatively, only digital image data may be transmitted.
  • the computer 310 that has received the image data displays an image on the display device 330 based on the image data. For example, the computer 310 may generate composite image data based on the digital image data and the projection image data, and may display the composite image on the display device 330 based on the composite image data.
  • the communication control unit 29 receives, for example, operation information input by a user of the external viewing system 300.
  • the image analysis unit 22 may select an analysis process based on the operation information received by the communication control unit 29.
  • the microscope system 4 may use the projection device 133 to project a projection image based on an input operation by a user of the external viewing system 300 onto an image plane.
  • the microscope system 4 can communicate with the external browsing system 300 connected via a network. For this reason, it is possible to perform a pathological diagnosis while communicating between users at different locations.
  • FIG. 12 illustrates a projection unit 140 including an image analysis unit 142 that performs an analysis process selected from a plurality of analysis processes.
  • the projection unit may include a projection image generation unit that generates projection image data based on a diagnostic protocol selected from a plurality of diagnostic protocols.
  • FIG. 19 illustrates the microscope system 4 in which a communication function with the external viewing system 300 is added to the microscope system 1.
  • a new microscope system may be configured by adding a communication function with the external viewing system 300 to the microscope system 2.
  • FIG. 1 shows an example in which the projection image generation unit 23 generates projection image data based on the analysis result of the selected analysis process and the analysis process.
  • the projection image generation unit 23 generates the first projection image data based on the analysis result of the selected analysis process and the analysis process, and generates the second projection image data based on the selected diagnostic protocol. Is also good.
  • the projection device 133 may project the first projection image represented by the first projection image data and the second projection image represented by the second projection image data onto the optical image.
  • FIGS. 5 to 10 show examples of pathological diagnosis of breast cancer, but the microscope system 1 is also used for pathological diagnosis of other cancers such as cervical cancer.
  • classification may be performed based on the Bethesda system, and classification results such as NILM, LSIL, HSIL, SCC, and ASC may be displayed as a projection image.
  • classification results such as NILM, LSIL, HSIL, SCC, and ASC may be displayed as a projection image.
  • the number of tumor cells, the total number of cells, and the ratio thereof may be displayed as a projection image.
  • the microscope system 1 may change the display format according to the setting change of the illumination optical system or the observation optical system.
  • the microscope system 1 includes the image analysis unit 22 in the computer 20 of the microscope system 1
  • the image analysis unit 22 is realized by the computer 20 in the microscope system 1 and a remote module outside the microscope system 1.
  • the remote module is, for example, a server placed on the cloud.
  • the computer 20 may correspond to a new analysis process by downloading the latest program from the remote module and updating the analysis program.
  • the computer 20 may support a new diagnostic protocol by downloading the latest program from a remote module.
  • the microscope included in the microscope system 1 may be, for example, a microscope 500 illustrated in FIG.
  • the configuration in which the image pickup device 131 is provided in the intermediate lens barrel 130 is illustrated.
  • the image pickup device 151 that acquires digital image data used for image analysis is a mirror that is a trinocular tube. It may be provided in the digital camera 150 attached to the cylinder 120a. However, in this case, the light emitted from the projection device 133 included in the intermediate lens barrel 130a enters the image sensor 151. Therefore, the digital camera 150 may be controlled so that the light emission period of the projection device 133 does not overlap with the exposure period of the image sensor 151. Thereby, it is possible to prevent the projection image from appearing in the digital image.
  • the microscope system including the microscope 500 may be used for diagnosis of a moving object such as sperm sorting performed by artificial insemination or the like.
  • a moving object such as sperm sorting performed by artificial insemination or the like.
  • shape information information that can be determined based on a still image such as the shape of a sperm
  • motion information information that can be determined based on a moving image or a plurality of still images such as the straightness and speed of sperm movement
  • motion information To determine the quality of sperm.
  • sperm motion information may be output, and further, using sperm shape information and sperm motion information, A user may specify sperm candidates to be selected.
  • the image analysis unit 22 analyzes a plurality of digital image data acquired at different times to determine the movement locus of the sperm. calculate. Thereafter, the projection image generation unit 23 generates projection image data based on the analysis result, and the projection device 133 projects a projection image including the locus display MT on the image plane.
  • the trajectory display MT is a display indicating the trajectory of each sperm moving to the current position. Further, the trajectory display MT may indicate a trajectory of the movement from a time that is set back by a predetermined time (for example, 3 seconds) to the current time.
  • the user first observes the image V11 including the optical image M3 shown in FIG. 21, and when the analysis processing by the image analysis unit 22 is completed, the image including the optical image M4 and the auxiliary image A1 shown in FIG. V12 can be observed.
  • the auxiliary image A1 includes the trajectory display MT of each sperm, the user who observes the image V12 can grasp at a glance the sperm movement characteristics in addition to the sperm shape characteristics. it can. Therefore, it is easy for the user to determine the quality of the sperm, and the burden of the sorting operation is reduced.
  • the image analysis unit 22 analyzes digital image data of a superimposed image in which the auxiliary image A1 is superimposed on the optical image M4, and specifies a sperm candidate to be selected by the user.
  • the projection image generation unit 23 generates projection image data based on the analysis result including the specified sperm position information, and the projection device 133 projects a projection image including the ROI ROI on the image plane.
  • the attention area display ROI is a display for prompting the user to pay attention to the sperm specified by the image analysis unit 22, and is, for example, a rectangular or circular figure surrounding the sperm. Further, the probability that the sperm is a good sperm may be displayed based on the difference in the color of the graphic.
  • the auxiliary image A2 includes an attention area display ROI in addition to the trajectory display MT. Therefore, as in the case of the image V12, the user can grasp at a glance the sperm movement characteristics in addition to the sperm shape characteristics. In addition, the user can select a good sperm at an early stage by preferentially observing the sperm specified by the ROI of interest display. Therefore, the burden of the sorting operation is further reduced.
  • the microscope included in the microscope system 1 may be, for example, a microscope 600 illustrated in FIG.
  • the microscope 600 includes, instead of the intermediate lens barrel 130, an intermediate lens barrel 130b including a projection device 135 using a transmission type liquid crystal device.
  • the projection device 135 may be disposed on the optical path between the objective lens 102 and the eyepiece 104, as shown in FIG.
  • the image sensor is included as the photodetector, but the photodetector is not limited to the image sensor.
  • a scanning microscope may be provided with the techniques described above, in which case the photodetector may be a photomultiplier tube (PMT) or the like.
  • PMT photomultiplier tube
  • the microscope system described above may adjust the brightness of at least one of the optical image and the projected image according to the selected analysis process, and may adjust at least one of the optical image and the projected image according to the selected diagnostic protocol. May be adjusted.
  • the adjustment of the brightness may be performed by controlling the light amount of the light source, or may be performed by controlling the transmitted light amount by a variable ND filter or the like.
  • the input device 40 is exemplified by the keyboard, the mouse, the joystick, the touch panel, and the like.
  • the input device 40 may be a device that receives a voice input, for example, a microphone.
  • the computer 20 may have a function of recognizing a voice instruction input from the input device 40.
  • the information acquisition unit 24 included in the computer 20 converts voice data into operation information by voice recognition technology. May be output to the projection image generation unit 23.
  • Microscope system 10 Microscope controller 20, 60, 70, 310 Computer 20a Processor 20b Memory 20c Auxiliary storage device 20d Input / output interface 20e Medium drive device 20f Communication control device 20g Bus 20h Storage media 21, 61, 141 Camera control unit 22, 142 Image analysis unit 23, 63, 143 Projected image generation unit 24, 64, 144 Information acquisition unit 25, 65, 145 Shadow control unit 26, 66 Image recording unit 27, 67 Image synthesis unit 28, 68 Display Control unit 29, 311 Communication control unit 30, 330 Display device 31 Selection screen 32, 33, 34, 35 Menu 36 Buttons 40, 320 Input device 50 Identification device 100, 200, 500, 600 Microscope 101 Stage 102, 102a Objective lens 103 Imaging lens 104 Eyepiece 110 Microscope main body 111 Turret 120, 120a Barrel 130, 130a, 130b Intermediate barrel 131 , 151 Imaging device 132, 134 Light deflection device 133, 135 Projection device 140 Projection unit 150 Digital camera 300 External browsing system 400 Internet A1, A2 Auxiliary storage device

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

顕微鏡システム１は、接眼レンズ１０４と、試料からの光を接眼レンズ１０４へ導く対物レンズ１０２と、接眼レンズ１０４と対物レンズ１０２の間に配置され、試料からの光に基づいて試料の光学画像を形成する結像レンズ１０３と、画像解析部２２と、投影画像生成部２３と、光学画像の像面に投影画像を投影する投影装置１３３を備える。画像解析部２２は、試料のデジタル画像データに対して複数の解析処理から選択された少なくとも１つの解析処理を行い、少なくとも１つの解析処理に応じた解析結果を出力する。投影画像生成部２３は、解析結果と少なくとも１つの解析処理とに基づいて投影画像データを生成する。投影画像データが表現する投影画像は、解析結果を少なくとも１つの解析処理に応じた表示形式で表す画像である。

Description

顕微鏡システム、投影ユニット、及び、画像投影方法
　本明細書の開示は、顕微鏡システム、投影ユニット、及び、画像投影方法に関する。
　病理診断における病理医の負担を軽減する技術の一つとして、WSI（Whole Slide Imaging）技術が注目されている。WSI技術とはスライドガラス上の検体全域のデジタル画像であるWSI(Whole Slide Image)を作成する技術である。デジタル画像であるWSIをモニタに表示して診断を行うことで、病理医は様々なメリットを享受することができる。具体的には、診断中に顕微鏡本体の操作が不要となる、表示倍率を容易に変更することができる、複数名の病理医が同時に診断に関与することができる、などのメリットが挙げられる。このようなWSI技術については、例えば、特許文献１に記載されている。
特表２００１－５１９９４４号公報
　その一方で、WSI技術を適用したシステム（以降、WSIシステムと記す。）には高い性能が要求される。具体的には、病理診断では色、濃淡の情報が極めて重要であることから、WSIシステムには、高い色再現性、広いダイナミックレンジが要求される。このため、WSIシステムを構成する各機器は高い性能を有する高価なものとならざるを得ず、その結果、WSIシステムを導入することができるユーザが限られてしまう。
　このような実情から、病理医が光学顕微鏡によって得られる光学画像（アナログ画像）に基づいて行う病理診断を補助することで、病理医の負担を軽減する新たな技術が求められている。
　本発明の一側面に係る目的は、病理医による光学画像に基づく病理診断を補助する診断補助技術を提供することである。
　本発明の一態様に係る顕微鏡システムは、接眼レンズと、試料からの光を前記接眼レンズへ導く対物レンズと、前記接眼レンズと前記対物レンズの間の光路上に配置され、前記試料からの光に基づいて前記試料の光学画像を形成する結像レンズと、前記試料のデジタル画像データに対して複数の解析処理から選択された少なくとも１つの解析処理を行い、前記少なくとも１つの解析処理に応じた解析結果を出力する画像解析部と、前記解析結果と前記少なくとも１つの解析処理とに基づいて投影画像データを生成する投影画像生成部であって、前記投影画像データが表現する投影画像は、前記解析結果を前記少なくとも１つの解析処理に応じた表示形式で表す画像である、前記投影画像生成部と、前記光学画像が形成されている像面に前記投影画像を投影する投影装置と、を備える。
　本発明の別の態様に係る顕微鏡システムは、接眼レンズと、試料からの光を前記接眼レンズへ導く対物レンズと、前記接眼レンズと前記対物レンズの間の光路上に配置され、前記試料からの光に基づいて前記試料の光学画像を形成する結像レンズと、複数の診断プロトコルから選択された診断プロトコルに基づいて投影画像データを生成する投影画像生成部であって、前記投影画像データが表現する投影画像は、選択された前記診断プロトコルに応じた画像である、前記投影画像生成部と、前記光学画像が形成されている像面に前記投影画像を投影する投影装置と、を備える。
　本発明のさらに別の態様に係る顕微鏡システムは、接眼レンズと、試料からの光を前記接眼レンズへ導く対物レンズと、前記接眼レンズと前記対物レンズの間の光路上に配置され、前記試料からの光に基づいて前記試料の光学画像を形成する結像レンズと、前記試料のデジタル画像データに対して複数の解析処理から選択された少なくとも１つの解析処理を行い、前記少なくとも１つの解析処理に応じた解析結果を出力する画像解析部と、前記解析結果と前記少なくとも１つの解析処理とに基づいて第１投影画像データを生成し、複数の診断プロトコルから選択された診断プロトコルに基づいて第２投影画像データを生成する投影画像生成部であって、前記第１投影画像データが表現する第１投影画像は、前記解析結果を前記少なくとも１つの解析処理に応じた表示形式で表す画像であり、前記第２投影画像データが表現する第２投影画像は、選択された前記診断プロトコルに応じた画像である、前記投影画像生成部と、前記光学画像が形成されている像面に前記第１投影画像と前記第２投影画像を投影する投影装置と、を備える。
　本発明の一態様に係る投影ユニットは、対物レンズと結像レンズと接眼レンズを備える顕微鏡用の投影ユニットであって、試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、前記試料のデジタル画像データに対して複数の解析処理から選択された少なくとも１つの解析処理を行い、前記少なくとも１つの解析処理に応じた解析結果を出力する画像解析部と、前記解析結果と前記少なくとも１つの解析処理とに基づいて投影画像データを生成する投影画像生成部であって、前記投影画像データが表現する投影画像は、前記解析結果を前記少なくとも１つの解析処理に応じた表示形式で表す画像である、前記投影画像生成部と、前記結像レンズにより前記試料の光学画像が形成されている像面に前記投影画像を投影する投影装置と、を備える。
　本発明の別の態様に係る投影ユニットは、対物レンズと結像レンズと接眼レンズを備える顕微鏡用の投影ユニットであって、試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、複数の診断プロトコルから選択された診断プロトコルに基づいて投影画像データを生成する投影画像生成部であって、前記投影画像データが表現する投影画像は、選択された前記診断プロトコルに応じた画像である、前記投影画像生成部と、前記結像レンズにより前記試料の光学画像が形成されている像面に前記投影画像を投影する投影装置と、を備える。
　本発明の一態様に係る画像投影方法は、顕微鏡システムが行う画像投影方法であって、前記顕微鏡システムは、前記試料のデジタル画像データに対して複数の解析処理から選択された少なくとも１つの解析処理を行い、前記少なくとも１つの解析処理に応じた解析結果を出力し、前記解析結果と前記少なくとも１つの解析処理とに基づいて投影画像データを生成し、前記試料の光学画像が形成されている像面に前記投影画像データが表現する投影画像を投影し、ここで、前記投影画像は、前記解析結果を前記少なくとも１つの解析処理に応じた表示形式で表す画像である。
　本発明の別の態様に係る画像投影方法は、顕微鏡システムが行う画像投影方法であって、前記顕微鏡システムは、複数の診断プロトコルから選択された診断プロトコルに基づいて投影画像データを生成し、前記試料の光学画像が形成されている像面に前記投影画像データが表現する投影画像を投影し、ここで、前記投影画像は、選択された前記診断プロトコルに応じた画像である。
　上記の態様によれば、病理医による光学画像に基づく病理診断を補助することができる。
顕微鏡システム１の構成を示した図である。 コンピュータ２０の構成を示した図である。 顕微鏡システム１が行う画像投影処理のフローチャートである。 選択画面３１を例示した図である。 顕微鏡システム１の接眼レンズ１０４から見える画像の一例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の別の例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。 顕微鏡システム１の接眼レンズ１０４から見える画像の更に別の例である。 ニューラルネットワークの構成を示した図である。 顕微鏡システム２の構成を示した図である。 顕微鏡システム３に含まれるコンピュータ６０の構成を示した図である。 顕微鏡システム３が行う画像投影処理のフローチャートである。 顕微鏡システム３の接眼レンズ１０４から見える画像の一例である。 顕微鏡システム３の接眼レンズ１０４から見える画像の別の例である。 顕微鏡システム３の接眼レンズ１０４から見える画像の更に別の例である。 顕微鏡システム３の接眼レンズ１０４から見える画像の更に別の例である。 顕微鏡システム４と外部閲覧システム３００を含む診断補助システムの構成を示した図である。 顕微鏡５００の構成を示した図である。 顕微鏡５００を含む顕微鏡システムの接眼レンズ１０４から見える画像の変化の一例である。 顕微鏡６００の構成を示した図である。
［第１実施形態］
　図１は、本実施形態に係る顕微鏡システム１の構成を示した図である。図２は、コンピュータ２０の構成を示した図である。顕微鏡システム１は、病理医が病理診断で用いる顕微鏡システムであり、少なくとも、対物レンズ１０２と、結像レンズ１０３と、接眼レンズ１０４と、画像解析部２２と、投影画像生成部２３と、投影装置１３３と、を備えている。
　顕微鏡システム１は、対物レンズ１０２と結像レンズ１０３によって試料の光学画像が形成されている像面に、投影装置１３３を用いて投影画像を投影する。より具体的には、画像解析部２２が試料のデジタル画像データに対して解析処理を行い、投影画像生成部２３が解析結果と解析処理とに基づいて投影画像データを生成し、投影装置１３３が像面に解析結果を解析処理に応じた表示形式で表す投影画像を投影する。これにより、病理医は、解析処理に応じた表示形式の投影画像が光学画像上に重畳した画像を見ることになる。このため、顕微鏡システム１は、接眼レンズ１０４を覗いて試料を観察中の病理医に、病理診断を補助する種々の情報を視認しやすい表示形式で提供することができる。
　以下、図１及び図２を参照しながら、顕微鏡システム１の構成の具体例について詳細に説明する。顕微鏡システム１は、図１に示すように、顕微鏡１００と、顕微鏡コントローラ１０と、コンピュータ２０と、表示装置３０と、入力装置４０と、識別装置５０と、を備えている。
　顕微鏡１００は、例えば、正立顕微鏡であり、顕微鏡本体１１０と、鏡筒１２０と、中間鏡筒１３０を備えている。なお、顕微鏡１００は、倒立顕微鏡であってもよい。
　顕微鏡本体１１０は、試料を載置するステージ１０１と、試料からの光を接眼レンズ１０４に導く対物レンズ（対物レンズ１０２、対物レンズ１０２ａ）と、落射照明光学系と、透過照明光学系と、を備えている。ステージ１０１は、手動ステージであっても、電動ステージであってもよい。レボルバには、倍率の異なる複数の対物レンズが装着されていることが望ましい。例えば、対物レンズ１０２は、４倍の対物レンズであり、対物レンズ１０２ａは、２０倍の対物レンズである。なお、顕微鏡本体１１０は、落射照明光学系と透過照明光学系の少なくとも一方を備えていれば良い。
　顕微鏡本体１１０は、さらに、顕鏡法を切り換えるためのターレット１１１を備えている。ターレット１１１には、例えば、蛍光観察法で用いられる蛍光キューブ、明視野観察法で用いられるハーフミラーなどが配置されている。その他、顕微鏡本体１１０は、特定の顕鏡法で用いられる光学素子を光路に対して挿脱自在に備えていても良い。具体的には、顕微鏡本体１１０は、例えば、微分干渉観察法で用いられるＤＩＣプリズム、ポラライザ、アナライザなどを備えても良い。
　鏡筒１２０は、接眼レンズ１０４が装着された、単眼鏡筒又は双眼鏡筒である。鏡筒１２０内には、結像レンズ１０３が設けられる。結像レンズ１０３は、対物レンズ１０２と接眼レンズ１０４の間の光路上に配置されている。結像レンズ１０３は、接眼レンズ１０４と結像レンズ１０３の間の像面に、試料からの光に基づいて試料の光学画像を形成する。また、結像レンズ１０３は、像面に、投影装置１３３からの光に基づいて後述する投影画像も形成する。これにより、像面において光学画像に投影画像が重畳される。
　中間鏡筒１３０は、顕微鏡本体１１０と鏡筒１２０の間に設けられている。中間鏡筒１３０は、撮像素子１３１と、光偏向素子１３２と、投影装置１３３と、光偏向素子１３４と、を備えている。
　撮像素子１３１は、試料からの光を検出する光検出器の一例である。撮像素子１３１は、二次元イメージセンサであり、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどである。撮像素子１３１は、試料からの光を検出し、その検出結果に基づいて試料のデジタル画像データを生成する。
　光偏向素子１３２は、試料からの光を撮像素子１３１に向けて偏向する第１光偏向素子の一例である。光偏向素子１３２は、例えば、ハーフミラーなどのビームスプリッタである。光偏向素子１３２には、透過率と反射率を可変する可変ビームスプリッタが用いられても良い。光偏向素子１３２は、接眼レンズ１０４と対物レンズ１０２の間の光路上に配置される。これにより、撮像素子１３１で目視観察と同じ方向から見た試料のデジタル画像を得ることが可能となる。
　投影装置１３３は、コンピュータ２０からの命令に従って、後述する投影画像を像面に投影する投影装置である。投影装置１３３は、例えば、液晶デバイスを用いたプロジェクタ、デジタルミラーデバイスを用いたプロジェクタ、ＬＣＯＳを用いたプロジェクタなどである。
　光偏向素子１３４は、投影装置１３３から出射した光を像面に向けて偏向する第２光偏向素子の一例である。光偏向素子１３４は、例えば、ハーフミラーなどのビームスプリッタである。光偏向素子１３４には、透過率と反射率を可変する可変ビームスプリッタが用いられても良い。光偏向素子１３４には、ダイクロイックミラーなどが用いられても良い。光偏向素子１３４は、像面と光偏向素子１３２の間の光路上に配置される。これにより、投影装置１３３からの光が撮像素子１３１へ入射することを回避することができる。
　顕微鏡コントローラ１０は、顕微鏡１００、特に、顕微鏡本体１１０を制御する。顕微鏡コントローラ１０は、コンピュータ２０と顕微鏡１００に接続されていて、コンピュータ２０からの命令に応じて顕微鏡１００を制御する。
　表示装置３０は、例えば、液晶ディスプレイ、有機ＥＬ（OLED）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイなどである。入力装置４０は、利用者の入力操作に応じた操作信号をコンピュータ２０へ出力する。入力装置４０は、例えば、キーボードであるが、マウス、ジョイスティック、タッチパネルなどを含んでもよい。
　識別装置５０は、試料に付加された識別情報を取得する装置である。識別情報は、少なくとも試料を識別する情報を含んでいる。識別情報には、試料の解析方法、診断プロトコルについての情報などが含まれても良い。識別装置５０は、例えば、バーコードリーダ、ＲＦＩＤリーダ、ＱＲ（登録商標）コードリーダなどである。
　コンピュータ２０は、顕微鏡システム１全体を制御する。コンピュータ２０は、顕微鏡１００、顕微鏡コントローラ１０、表示装置３０、入力装置４０、及び、識別装置５０に接続されている。コンピュータ２０は、主に投影装置１３３の制御に関連する構成要素として、図１に示すように、カメラ制御部２１、画像解析部２２、投影画像生成部２３、情報取得部２４、投影制御部２５、画像記録部２６、画像合成部２７、表示制御部２８を備えている。
　カメラ制御部２１は、撮像素子１３１を制御することで、試料のデジタル画像データを取得する。カメラ制御部２１が取得したデジタル画像データは、画像解析部２２、画像記録部２６、及び画像合成部２７へ出力される。
　画像解析部２２は、カメラ制御部２１が取得したデジタル画像データに対して複数の解析処理から選択された少なくとも１つの解析処理を行い、少なくとも１つの解析処理に応じた解析結果を投影画像生成部２３へ出力する。選択対象である複数の解析処理は、HE染色、IHC染色などの異なる複数の染色法を対象とする処理であっても良い。また、選択対象である複数の解析処理は、HER2、Ki-67、ER/PgRなどの異なる複数のバイオマーカーを対象とする処理であってもよい。また、選択対象である複数の解析処理は、染色法とバイオマーカーの異なる複数の組み合わせを対象とする処理であってもよい。
　なお、画像解析部２２は、利用者による入力操作に基づいて少なくとも１つの解析処理を選択してもよい。より具体的には、画像解析部２２は、情報取得部２４が取得した利用者の操作情報に基づいて少なくとも１つの解析処理を選択してもよい。また、画像解析部２２は、識別装置５０が取得した識別情報に基づいて少なくとも１つの解析処理を選択してもよい。より具体的には、識別装置５０が取得した識別情報を情報取得部２４から取得し、その識別情報に含まれる解析方法に基づいて少なくとも１つの解析処理を選択してもよい。なお、操作情報と識別情報はいずれも解析処理を選択するための情報を含んでいる。このため、以降では、これらの情報を選択情報と総称する。
　画像解析部２２が行う解析処理の内容は特に限定しない。画像解析部２２は、例えば、デジタル画像データが表現するデジタル画像に写る一つ以上の構造物を一つ以上のクラスに分類し、その一つ以上のクラスのうちの少なくとも一つのクラスに分類された構造物の位置を特定する位置情報を含む解析結果を生成してもよい。より具体的には、画像解析部２２は、デジタル画像に写る細胞を染色強度に応じて分類し、細胞が分類されたクラス情報とその細胞の輪郭又はその細胞の核の輪郭を特定する位置情報とを含む解析結果を生成してもよい。また、画像解析部２２は、クラス情報と位置情報に加えて、各クラスの細胞数、全体に対する各クラスの細胞比率などの、少なくとも１つクラスに分類された構造物の統計情報を含む解析結果を生成しても良い。なお、少なくとも一つのクラスに分類された構造物は、病理医による病理診断における判定の根拠となる対象物であることが望ましい。
　投影画像生成部２３は、画像解析部２２から出力された解析結果と、情報取得部２４から取得した選択情報により特定される少なくとも１つの解析処理と、に基づいて、投影画像データを生成する。投影画像データが表現する投影画像は、解析結果を少なくとも１つの解析処理に応じた表示形式で表す画像である。投影画像生成部２３で生成された投影画像は、投影制御部２５、画像記録部２６、及び、画像合成部２７へ出力される。
　表示形式には、少なくとも、画像の色が含まれる。従って、投影画像生成部２３は、少なくとも１つの解析処理に応じて、投影画像の色を決定する。また、表示形式には、画像の色に加えて、画像を構成する図形（例えば、線）の書式が含まれてもよい。従って、投影画像生成部２３は、少なくとも１つの解析処理に応じて、投影画像を構成する図形の書式を決定してもよい。なお、図形の書式には、図形を塗りつぶすか否か、図形の種類などが含まれる。例えば、図形が線の場合であれば、線種、線の太さなどが線の書式に含まれる。さらに、表示形式には、画像の色に加えて、画像の位置が含まれてもよい。従って、投影画像生成部２３は、少なくとも１つの解析処理に応じて、像面における投影画像と光学画像の位置関係を決定してもよく、投影画像の少なくともと一部を光学画像の領域外に投影するか否かを決定してもよい。
　より具体的には、投影画像生成部２３は、投影画像の色が光学画像の色とは異なるように、投影画像データを生成する。染色法に応じて光学画像の色は異なるため、投影画像生成部２３は、選択された解析処理が対象とする染色法に応じて、投影画像の色を変更してもよい。例えば、HE染色法では光学画像が青紫色になるため、投影画像の色を青紫色とは異なる色にすることが望ましい。
　また、バイオマーカーに応じて細胞内の染色箇所が異なるため、投影画像生成部２３は、選択された解析処理が対象とするバイオマーカーに応じて、投影画像を構成する図形の書式を変更してもよい。例えば、HER2タンパク質の過剰発現を解析する場合であれば、細胞膜が染色されるため、細胞の輪郭をなぞる中抜きの図形で投影画像を構成してもよい。また、ER/PgRの発現を解析する場合であれば、細胞の核が染色されるため、細胞の核を塗りつぶす図形で投影画像を構成してもよい。
　さらに、HE染色法は細胞の形態観察にしばしば用いられる。細胞の形態について詳細に観察する場合には、投影画像により光学画像の観察が妨げられないことが望ましい。このため、投影画像生成部２３は、選択された解析処理が対象とする染色法に応じて、投影画像の位置を変更してもよい。例えば、HE染色法では、投影画像が補足的な文字情報を含んでいる場合には、その文字情報と光学画像の重なりが少なくなるように投影画像の位置を変更してもよい。
　情報取得部２４は、コンピュータ２０外部の装置から情報を取得する。具体的には、情報取得部２４は、入力装置４０からの操作信号に基づいて利用者の操作情報を取得する。また、情報取得部２４は、識別装置５０から識別情報を取得する。
　投影制御部２５は、投影装置１３３を制御することで、像面への投影画像の投影を制御する。投影制御部２５は、顕微鏡システム１の設定に応じて投影装置１３３を制御しても良い。具体的には、投影制御部２５は、顕微鏡システム１の設定に応じて、像面に投影画像を投影するか否かを決定してもよく、顕微鏡システム１が所定の設定のときに、投影装置１３３が像面へ投影画像を投影するように、投影装置１３３を制御しても良い。つまり、顕微鏡システム１は、投影画像を像面に投影するか否かを設定によって変更することができる。
　画像記録部２６は、デジタル画像データと投影画像データを記録する。具体的には、画像記録部２６は、デジタル画像データとは異なる領域に投影画像データを、デジタル画像データと関連付けて記録する。これにより、互いに関連するデジタル画像データと投影画像データを、必要に応じて個別に読み出すことが可能となる。さらに、画像記録部２６は、試料に付加された識別情報を、識別装置５０及び情報取得部２４を経由して取得し、取得した識別情報をデジタル画像データと関連付けて記録しても良い。また、画像記録部２６は、利用者による記録指示の入力を検出したときに、デジタル画像データと投影画像データを記録してもよい。
　画像合成部２７は、デジタル画像データと投影画像データに基づいて、デジタル画像と投影画像が合成された合成画像の画像データを生成し、表示制御部２８へ出力する。
　表示制御部２８は、画像合成部２７から出力された合成画像データに基づいて、合成画像を表示装置３０に表示する。なお、表示制御部２８は、デジタル画像データに基づいてデジタル画像を単独で表示装置３０に表示してもよい。
　なお、コンピュータ２０は、汎用装置であっても、専用装置であってもよい。コンピュータ２０は、特にこの構成に限定されるものではないが、例えば、図２に示すような物理構成を有してもよい。具体的には、コンピュータ２０は、プロセッサ２０ａ、メモリ２０ｂ、補助記憶装置２０ｃ、入出力インタフェース２０ｄ、媒体駆動装置２０ｅ、通信制御装置２０ｆを備えてもよく、それらが互いにバス２０ｇによって接続されてもよい。
　プロセッサ２０ａは、例えば、ＣＰＵ（Central Processing Unit）を含む、任意の処理回路である。プロセッサ２０ａは、メモリ２０ｂ、補助記憶装置２０ｃ、記憶媒体２０ｈに格納されているプログラムを実行してプログラムされた処理を行うことで、上述した投影装置１３３の制御に関連する構成要素（カメラ制御部２１、画像解析部２２、投影画像生成部２３等）を実現しても良い。また、プロセッサ２０ａは、ＡＳＩＣ、ＦＰＧＡ等の専用プロセッサを用いて構成されてもよい。
　メモリ２０ｂは、プロセッサ２０ａのワーキングメモリである。メモリ２０ｂは、たとえば、ＲＡＭ（Random Access Memory）等の任意の半導体メモリである。補助記憶装置２０ｃは、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（Hard Disc Drive）等の不揮発性のメモリである。入出力インタフェース２０ｄは、外部装置（顕微鏡１００、顕微鏡コントローラ１０、表示装置３０、入力装置４０、識別装置５０）と情報をやり取りする。
　媒体駆動装置２０ｅは、メモリ２０ｂ及び補助記憶装置２０ｃに格納されているデータを記憶媒体２０ｈに出力することができ、また、記憶媒体２０ｈからプログラム及びデータ等を読み出すことができる。記憶媒体２０ｈは、持ち運びが可能な任意の記録媒体である。記憶媒体２０ｈには、例えば、ＳＤカード、ＵＳＢ（Universal Serial Bus）フラッシュメモリ、ＣＤ（Compact Disc）、ＤＶＤ(Digital Versatile Disc)などが含まれる。
　通信制御装置２０ｆは、ネットワークへの情報の入出力を行う。通信制御装置２０ｆとしては、例えば、ＮＩＣ（Network Interface Card）、無線ＬＡＮ（Local Area Network）カード等が採用され得る。バス２０ｇは、プロセッサ２０ａ、メモリ２０ｂ、補助記憶装置２０ｃ等を、相互にデータの授受可能に接続する。
　以上のように構成された顕微鏡システム１は、図３に示す画像投影処理を行う。図３は、顕微鏡システム１が行う画像投影処理のフローチャートである。図４は、選択画面３１を例示した図である。以下、図３及び図４を参照しながら、顕微鏡システム１の画像投影方法について説明する。
　まず、顕微鏡システム１は、試料の光学画像を像面に投影する（ステップＳ１）。ここでは、対物レンズ１０２が取り込んだ試料からの光を結像レンズ１０３が像面に集光し、試料の光学像を形成する。
　さらに、顕微鏡システム１は、試料のデジタル画像データを取得する（ステップＳ２）。ここでは、対物レンズ１０２が取り込んだ試料からの光の一部を光偏向素子１３２が撮像素子１３１へ向けて偏向する。撮像素子１３１は、光偏向素子１３２で偏向された光に基づいて試料を撮像することでデジタル画像データを生成する。
　その後、顕微鏡システム１は、予め準備されている複数の解析処理から選択された解析処理を特定する（ステップＳ３）。ここでは、利用者が、例えば、図４に示す選択画面３１上の各メニュー（メニュー３２、メニュー３３、メニュー３４、メニュー３５）を選択して、ボタン３６を押下する。画像解析部２２は、利用者によるこの入力操作に基づいて選択された解析処理を特定する。
　解析処理が特定されると、顕微鏡システム１は、特定された解析処理を実行する（ステップＳ４）。ここでは、画像解析部２２は、ステップＳ２で取得したデジタル画像データに対して、ステップＳ３で選択された解析処理を行って、解析結果を得る。
　顕微鏡システム１は、ステップＳ４で取得した解析結果とステップＳ３で特定された解析処理に基づいて投影画像データを生成する（ステップＳ５）。ここでは、投影画像生成部２３がステップＳ４で取得した解析結果をステップＳ３で特定された解析処理に応じた表示形式で表示する投影画像を表す投影画像データを生成する。
　最後に、顕微鏡システム１は、投影画像を像面に投影する（ステップＳ６）。投影制御部２５が投影画像データに基づいて投影装置１３３を制御することで、投影装置１３３が投影画像を像面に投影する。これにより、試料の光学画像上に投影画像が重畳される。
　顕微鏡システム１では、コンピュータによる画像解析結果が光学画像上に表示される。これにより、病理医は、試料の光学画像に基づく病理診断中に、接眼レンズから目を離すことなく診断を補助する種々の情報を得ることができる。また、画像解析部２２では複数の解析処理から選択された解析処理が行われるため、顕微鏡システム１は、様々な種類の診断に対応することが可能である。さらに、投影装置１３３が投影する投影画像は解析処理に応じた表示形式を有している。このため、顕微鏡システム１は、病理医に病理診断を補助する種々の情報を視認しやすい表示形式で提供することができる。従って、顕微鏡システム１によれば、光学画像に基づく病理診断を補助することが可能であり、病理医の作業負担を軽減することができる。
　さらに、顕微鏡システム１では、光学画像上に付加情報（投影画像）を表示することで、病理診断を補助する。このため、デジタル画像に基づいて病理診断を行うＷＳＩシステムとは異なり高価な機器を必要としない。従って、顕微鏡システム１によれば、大幅な機器コストの上昇を回避しながら病理医の負担軽減を図ることができる。また、ＷＳＩシステムで病理診断を行うためには、事前にＷＳＩ（Whole Slide Image）を作成する必要があるが、顕微鏡システム１では、事前準備が不要であり、即座に診断作業を開始することができる。
　図５から図１０は、顕微鏡システム１の接眼レンズ１０４から見える画像を例示した図である。以下、図５から図１０を参照しながら、図３に示す画像投影処理を実行する顕微鏡システム１を用いた観察の様子を具体的に説明する。
　まず、図５から図７を参照しながら、図４に示す選択画面３１において、“細胞診断”、“乳がん”、“ＩＨＣ染色”、“ＥＲ／ＰｇＲ”が選択された場合について、説明する。
　顕微鏡システム１を用いた観察を開始し、接眼レンズ１０４を覗くと、病理医は、図５に示す画像Ｖ１を観察することができる。画像Ｖ１は、像面に形成された実視野に対応する光学画像Ｍ１である。画像Ｖ１には、癌細胞の染色された核が写っている。画像Ｖ１が投影された領域Ｒ１の周囲には暗い領域Ｒ２が存在する。領域Ｒ２は、接眼レンズ１０４から観察可能な像面上の領域のうちの対物レンズ１０２からの光が通過しない領域である。このとき、表示装置３０には、撮像素子１３１で生成されたデジタル画像データに基づいて、画像Ｖ１に対応する画像が表示されてもよい。
　その後、コンピュータ２０は、デジタル画像データを解析する。解析により細胞の核が特定され、その染色強度に応じてクラス分けされる。例えば、染色されていない核は陰性を示すクラス０に分類される。また、弱く染色された核は弱陽性を示すクラス１＋に分類される。また、中程度に染色された核は中等度陽性を示すクラス２＋に分類される。また、強く染色された核は強陽性を示すクラス３＋に分類される。
　コンピュータ２０は、解析結果に基づいて投影画像データを生成し、投影装置１３３は、投影画像データが表す投影画像を像面に投影する。投影画像データが表す投影画像は、分類された細胞の核の位置を表す図形からなる位置画像を含み、その図形はクラス毎に異なる色を有している。
　投影装置１３３が投影画像を投影すると、病理医は、図６に示す画像Ｖ２を観察することができる。画像Ｖ２は、光学画像Ｍ１に位置画像Ｐ１を含む投影画像が重畳された画像である。このとき、表示装置３０には、画像Ｖ２に対応する画像が表示されてもよい。図６に示す画像Ｖ２では、図５に示す画像Ｖ１（光学画像Ｍ１）よりも、各細胞の染色状態を容易に判別することが可能である。このため、病理診断で用いられるJ-scoreなどの所定のスコアリング法によるスコアの算出が容易になる。従って、病理医が行う陽性・陰性の判定作業が顕微鏡システム１によって補助されるため、病理医の負担を軽減することができる。
　また、投影画像データが表す投影画像は、位置画像Ｐ１に加えて、分類された細胞の統計情報からなる統計画像Ｔ１を含んでも良い。この場合、病理医は、図７に示す画像Ｖ３を観察することができる。画像Ｖ３は、光学画像Ｍ１に位置画像Ｐ１と統計画像Ｔ１を含む投影画像が重畳された画像である。このとき、表示装置３０には、画像Ｖ３に対応する画像が表示されてもよい。図７に示す画像Ｖ３では、統計画像Ｔ１によってスコアの算出が更に容易になる。従って、病理医が行う陽性・陰性の判定作業が顕微鏡システム１によってより良く補助されるため、病理医の負担をさらに軽減することができる。
　また、染色強度の度合いを示す0,1+,2+,3+の各スコアリング判定の閾値は、個別の病理医、病院施設の指針、あるいは各国の診断基準によって異なることがある。これを踏まえて、光学画像Ｍ１と、位置画像Ｐ１、及び、統計画像Ｔ１を見比べ、解析結果に基づく統計画像Ｔ１に疑義を生じた場合には、観察者は入力装置を用いて解析処理に用いられた閾値を変更してもよい。変更された閾値に基づいて新たな解析処理が実施され、その結果がリアルタイムに反映された新しい統計画像Ｔ１´を利用者が確認することで、適切な閾値を設定する作業がより良く補助される。このため、病理医の負担をさらに軽減することができる。　
　次に、図８から図１０を参照しながら、図４に示す選択画面３１において、“細胞診断”、“乳がん”、“ＩＨＣ染色”、“ＨＥＲ２”が選択された場合について、説明する。
　顕微鏡システム１を用いた観察を開始し、接眼レンズ１０４を覗くと、病理医は、図８に示す画像Ｖ４を観察することができる。画像Ｖ４は、像面に形成された実視野に対応する光学画像Ｍ２である。画像Ｖ４には、癌細胞の染色された細胞膜が写っている。このとき、表示装置３０には、撮像素子１３１で生成されたデジタル画像データに基づいて、画像Ｖ４に対応する画像が表示されてもよい。
　その後、コンピュータ２０は、デジタル画像データを解析する。解析により細胞膜が特定され、その染色強度と染色パターンに応じてクラス分けされる。例えば、膜が全く染色されていない細胞は陰性を示すクラス０に分類される。また、膜が部分的又は弱く染色された細胞は弱陽性を示すクラス１＋に分類される。また、膜が中程度で且つ全体的に染色された核は中等度陽性を示すクラス２＋に分類される。また、膜が強く且つ全体的に染色された細胞は強陽性を示すクラス３＋に分類される。
　コンピュータ２０は、解析結果に基づいて投影画像データを生成し、投影装置１３３は、投影画像データが表す投影画像を像面に投影する。投影画像データが表す投影画像は、分類された細胞の位置を表す図形からなる位置画像Ｐ２を含み、その図形はクラス毎に異なる書式（線種）を有している。
　投影装置１３３が投影画像を投影すると、病理医は、図９に示す画像Ｖ５を観察することができる。画像Ｖ５は、光学画像Ｍ２に位置画像Ｐ２を含む投影画像が重畳された画像である。このとき、表示装置３０には、画像Ｖ５に対応する画像が表示されてもよい。図９に示す画像Ｖ５では、図８に示す画像Ｖ４（光学画像Ｍ２）よりも、細胞膜の染色状態を容易に判別することが可能である。このため、病理診断で用いられる所定のスコアリング法によるスコアの算出が容易になる。従って、病理医が行う陽性・陰性の判定作業が顕微鏡システム１によって補助されるため、病理医の負担を軽減することができる。
　また、投影画像データが表す投影画像は、位置画像Ｐ２に加えて、分類された細胞の統計情報からなる統計画像Ｔ２を含んでも良い。この場合、病理医は、図１０に示す画像Ｖ６を観察することができる。画像Ｖ６は、光学画像Ｍ２に位置画像Ｐ２と統計画像Ｔ２とを含む投影画像が重畳された画像である。なお、この例では、統計画像Ｔ２は、対物レンズ１０２からの光束が通過する領域Ｒ１の外側に投影されている。このとき、表示装置３０には、画像Ｖ６に対応する画像が表示されてもよい。図１０に示す画像Ｖ６では、統計画像Ｔ２によってスコアの算出が更に容易になる。従って、病理医が行う陽性・陰性の判定作業が顕微鏡システム１によってより良く補助されるため、病理医の負担をさらに軽減することができる。
　図５から図１０の例では、画像を構成する図形の書式（塗りつぶしの有無、線種）が異なることによって表示形式が互いに異なる投影画像を例示したが、投影画像は、解析処理に応じて画像の色を異ならせても良い。
　また、顕微鏡システム１の画像解析部２２は、複数の所定のアルゴリズムを用いて複数の解析処理を行ってもよく、複数の訓練済みのニューラルネットワークを用いて複数の解析処理を行ってもよい。
　複数の訓練済みのニューラルネットワークの各々のパラメータは、顕微鏡システム１とは異なる装置において、それぞれのニューラルネットワークを訓練することで生成されても良く、コンピュータ２０は生成されたパラメータをダウンロードして画像解析部２２に適用しても良い。また、コンピュータ２０は、新たなニューラルネットワークに関してそのニューラルネットワークのパラメータをダウンロードすることで、画像解析部２２で選択可能な解析処理を随時追加してもよい。
　なお、図１１は、ニューラルネットワークＮＮの構成を示した図である。ニューラルネットワークＮＮは、入力層と複数の中間層と出力層を有している。入力データＤ１を入力層に入力することで出力層から出力される出力データＤ２を正解データＤ３と比較する。そして、誤差逆伝播法によって学習することで、ニューラルネットワークＮＮのパラメータを更新する。なお、入力データＤ１と正解データＤ３のセットが教師あり学習の訓練データである。
［第２実施形態］
　図１２は、本実施形態に係る顕微鏡システム２の構成を示した図である。顕微鏡システム２は、顕微鏡１００の代わりに顕微鏡２００を備える点が、顕微鏡システム１とは異なっている。顕微鏡２００は、顕微鏡本体１１０と鏡筒１２０の間に投影ユニット１４０を備えている。
　投影ユニット１４０は、対物レンズ１０２と結像レンズ１０３と接眼レンズ１０４を備える顕微鏡用の投影ユニットであり、中間鏡筒１３０を含んでいる。即ち、投影ユニット１４０は、試料からの光に基づいて試料のデジタル画像データを取得する撮像装置の一例である撮像素子１３１と、光学画像が形成される像面へ投影画像を投影する投影装置１３３を備えている。
　投影ユニット１４０は、さらに、画像解析部１４２と、投影画像生成部１４３を備えている。投影ユニット１４０は、カメラ制御部１４１と、情報取得部１４４と、投影制御部１４５を備えてもよい。
　カメラ制御部１４１、画像解析部１４２、投影画像生成部１４３、投影制御部１４５は、それぞれカメラ制御部２１、画像解析部２２、投影画像生成部２３、投影制御部２５と同様である。このため、詳細な説明は省略する。
　情報取得部１４４は、コンピュータ２０を経由して取得した入力装置４０からの操作信号に基づいて利用者の操作情報を取得する。また、情報取得部１４４は、コンピュータ２０を経由して識別装置５０から識別情報を取得する。
　本実施形態では、投影ユニット１４０を既存の顕微鏡に取り付けるだけで、顕微鏡システム１と同様の効果を得ることが可能である。従って、投影ユニット１４０及び顕微鏡システム２によれば、既存の顕微鏡システムを容易に拡張して、病理医による光学画像に基づく病理診断を補助することができる。
［第３実施形態］
　図１３は、本実施形態に係る顕微鏡システム３に含まれるコンピュータ６０の構成を示した図である。なお、顕微鏡システム３は、コンピュータ２０の代わりにコンピュータ６０を含む点を除き、顕微鏡システム１と同様である。
　コンピュータ６０は、顕微鏡システム３全体を制御する。コンピュータ６０は、顕微鏡１００、顕微鏡コントローラ１０、表示装置３０、入力装置４０、及び、識別装置５０に接続されている点は、コンピュータ２０と同様である。
　コンピュータ６０は、主に投影装置１３３の制御に関連する構成要素として、カメラ制御部６１、投影画像生成部６３、情報取得部６４、投影制御部６５、画像記録部６６、画像合成部６７、表示制御部６８を備えている。
　なお、カメラ制御部６１、情報取得部６４、投影制御部６５、画像記録部６６、画像合成部６７、表示制御部６８は、それぞれ、コンピュータ２０に含まれるカメラ制御部２１、情報取得部２４、投影制御部２５、画像記録部２６、画像合成部２７、表示制御部２８に相当する。
　コンピュータ６０は、画像解析部２２に対応する構成を含まない点がコンピュータ２０と大きく異なっている。また、投影画像生成部６３が投影画像生成部２３とは異なる処理を行う点も２０とは異なっている。
　投影画像生成部６３は、複数の診断プロトコルから選択された診断プロトコルに基づいて投影画像データを生成する。なお、診断プロトコルとは、診断開始から終了に至るまでの手順、判定基準などを含む一連の取決めのことである。投影画像データが表現する投影画像は、選択された診断プロトコルに応じた画像である。投影画像生成部６３で生成された投影画像は、投影制御部６５、画像記録部６６、及び、画像合成部６７へ出力される。
　なお、投影画像生成部６３での診断プロトコルの選択方法は、顕微鏡システム１の画像解析部２２での解析処理の選択方法と同様である。つまり、投影画像生成部６３は、利用者による入力操作に基づいて診断プロトコルを選択してもよく、識別装置５０が取得した識別情報に基づいて診断プロトコルを選択してもよい。
　投影画像は、選択された診断プロトコルの診断手順の案内を含むことが望ましく、投影画像生成部２３は、診断手順の案内の色を、選択された診断プロトコルに応じて決定してもよい。これにより、病理医は接眼レンズ１０４から目を離すことなく診断手順を参照することができるため、診断手順を誤ることなく効率的に診断を進めることができる。
　また、投影画像は、選択された診断プロトコルにおける判定基準を示す参考画像を含んでもよい。これにより、病理医は光学画像と参考画像を同時に確認することができるため、診断時間の短縮、診断精度の向上などが期待できる。
　投影画像生成部６３は、選択された診断プロトコルに応じて、像面における投影画像と光学画像の位置関係を決定してもよく、投影画像の少なくとも一部を光学画像の領域外に投影するか否かを決定してもよい。
　また、投影画像生成部６３は、顕微鏡システム３の設定が選択された診断プロトコルの要求を満さないときに、投影画像が警告表示を含むように、投影画像データを生成してもよい。これにより、病理医は、正しい環境下で診断における種々の判断を行うことが可能となるため、診断精度の向上が期待できる。
　なお、投影制御部６５は、顕微鏡システム３の設定に応じて投影装置１３３を制御しても良い。具体的には、投影制御部６５は、顕微鏡システム３の設定に応じて、像面に投影画像を投影するか否かを決定してもよく、顕微鏡システム３が所定の設定のときに、投影装置１３３が像面へ投影画像を投影するように、投影装置１３３を制御しても良い。つまり、顕微鏡システム３は、投影画像を像面に投影するか否かを設定によって変更することができる。
　また、診断プロトコルによっては、がん細胞などの構造物の面積、位置、構造物間の距離を測定する手順が含まれる。その場合、投影画像生成部６３が、顕微鏡の測長機能を用いて測定した測定結果を含むように投影画像データを生成し、投影制御部６５が、測定結果を含む投影画像を像面に投影してもよい。
　以上のように構成された顕微鏡システム３は、図１４に示す画像投影処理を行う。図１４は、顕微鏡システム３が行う画像投影処理のフローチャートである。以下、図１４を参照しながら、顕微鏡システム３の画像投影方法について説明する。
　まず、顕微鏡システム３は、試料の光学画像を像面に投影する（ステップＳ１１）。この処理は、図３に示すステップＳ１と同様である。
　次に、顕微鏡システム３は、予め準備されている複数の診断プロトコルから選択された診断プロトコルを特定する（ステップＳ１２）。ここでは、利用者が、例えば、選択画面上で診断プロトコルを選択し、投影画像生成部６３が、利用者によるこの入力操作に基づいて選択された診断プロトコルを特定する。
　診断プロトコルが特定されると、顕微鏡システム３は、特定された診断プロトコルに基づいて投影画像データを生成する（ステップＳ１３）。ここでは、投影画像生成部６３がステップＳ１２で特定された診断プロトコルに応じた投影画像を表す投影画像データを生成する。
　最後に、顕微鏡システム３は、投影画像を像面に投影する（ステップＳ１４）。投影制御部６５が投影画像データに基づいて投影装置１３３を制御することで、投影装置１３３が投影画像を像面に投影する。これにより、試料の光学画像上に投影画像が重畳される。
　顕微鏡システム３では、診断プロトコルに応じた投影画像が光学画像上に表示される。これにより、病理医は、試料の光学画像に基づく病理診断中に、接眼レンズから目を離すことなく診断手順、判定基準など、診断を補助する種々の情報を得ることができる。また、投影画像生成部６３では複数の診断プロトコルから選択された診断プロトコルに応じた投影画像データが生成されるため、顕微鏡システム３は、様々な種類の診断プロトコルに対応することが可能である。従って、顕微鏡システム３によれば、光学画像に基づく病理診断を補助することが可能であり、病理医の作業負担を軽減することができる。
　また、顕微鏡システム３は、大幅な機器コストの上昇を回避しながら病理医の負担軽減を図ることができる点、ＷＳＩシステムとは異なり事前準備が不要であり、即座に診断作業を開始することができる点については、顕微鏡システム１と同様である。
　図１５から図１８は、顕微鏡システム３の接眼レンズ１０４から見える画像を例示した図である。以下、図１５から図１８を参照しながら、図１４に示す画像投影処理を実行する顕微鏡システム３を用いた観察の様子を具体的に説明する。なお、ここでは、ＩＨＣ染色でＨＥＲ２タンパク質の過剰発現を判定する診断プロトコル（以降、ＩＨＣ－ＨＥＲ２診断プロトコルと記す。）を例に説明する。　
　顕微鏡システム３を用いた観察を開始し、接眼レンズ１０４を覗くと、病理医は、図１５に示す画像Ｖ７を観察することができる。画像Ｖ７は、光学画像Ｍ２に案内画像Ｇ１を含む投影画像が重畳された画像である。光学画像Ｍ２は、例えば、４倍の対物レンズ１０２を用いて取得した画像であり、癌細胞の染色された細胞膜が写っている。案内画像Ｇ１は、ＩＨＣ－ＨＥＲ２診断プロトコルの診断手順を案内する画像である。ＩＨＣ－ＨＥＲ２診断プロトコルでは、４倍の対物レンズを使用して陽性のＨＥＲ２タンパク質染色像、染色の強度、陽性細胞の割合を観察する手順が定められており、案内画像Ｇ１はこの手順を案内している。
　顕微鏡システム３では、画像Ｖ７の代わりに、画像Ｖ８が像面に投影されても良い。画像Ｖ８は、光学画像Ｍ２に案内画像Ｇ１と対比画像Ｃ１とを含む投影画像が重畳された画像である。対比画像Ｃ１には、ＩＨＣ－ＨＥＲ２診断プロトコルにおける判定基準を示す複数の参考画像が含まれている。より具体的には、スコア０、スコア１＋、スコア２＋、スコア３＋に判定されるべき画像を例示した４つの参考画像が含まれている。病理医は、陽性細胞の割合を判断するときに、対比画像Ｃ１を参考にすることができる。
　その後、画像Ｖ９が像面に投影される。画像Ｖ９は、光学画像Ｍ２に案内画像Ｇ２を含む投影画像が重畳された画像である。案内画像Ｇ２は、ＩＨＣ－ＨＥＲ２診断プロトコルの診断手順を案内する画像である。ＩＨＣ－ＨＥＲ２診断プロトコルでは、４倍の対物レンズを用いた観察の後に、１０倍の対物レンズを用いた観察を行うことが定められており、案内画像Ｇ２はこの手順を案内している。
　画像Ｖ９が投影されてから４倍の対物レンズ１０２から１０倍の対物レンズ１０２ａへの切り替えが検出されない場合には、画像Ｖ１０が像面に投影される。画像Ｖ１０は、光学画像Ｍ２に案内画像Ｇ３を含む投影画像が重畳された画像である。案内画像Ｇ３は、診断プロトコルに従って診断が行われていないことを病理医に警告する警告表示である。病理医は警告表示により手順の誤りを認識することができるため、顕微鏡システム３によれば、誤った手順で診断を継続されることが回避することができる。
［第４実施形態］
　図１９は、本実施形態に係る顕微鏡システム４と外部閲覧システム３００とを含む診断補助システムの構成を示した図である。顕微鏡システム４は、コンピュータ２０の代わりにコンピュータ７０を備えている点が顕微鏡システム１とは異なっている。
　顕微鏡システム４は、インターネット４００を経由して１つ以上の外部閲覧システム３００と接続されている。外部閲覧システム３００は、少なくとも通信制御部３１１を備えるコンピュータ３１０と、入力装置３２０と、表示装置３３０を備えるシステムである。
　なお、インターネット４００は、通信ネットワークの一例である。顕微鏡システム３と外部閲覧システム３００は、例えば、ＶＰＮ（Virtual Private Network）、専用線などを経由して接続されていてもよい。
　コンピュータ７０は、通信制御部２９を含む点がコンピュータ２０とは異なっている。通信制御部２９は、外部閲覧システム３００とデータをやり取りする。
　通信制御部２９は、例えば、画像データを外部閲覧システム３００へ送信する。通信制御部２９が送信する画像データは、例えば、画像合成部２７で生成された合成画像データであってもよい。デジタル画像データと投影画像データを個別に送信してもよい。また、デジタル画像データだけを送信してもよい。外部閲覧システム３００は、画像データを受信したコンピュータ３１０が画像データに基づいて表示装置３３０に画像を表示する。コンピュータ３１０は、例えば、デジタル画像データと投影画像データに基づいて合成画像データを生成してもよく、合成画像データに基づいて合成画像を表示装置３３０に表示してもよい。
　通信制御部２９は、例えば、外部閲覧システム３００の利用者が入力した操作情報を受信する。画像解析部２２は、通信制御部２９が受信した操作情報に基づいて解析処理を選択してもよい。顕微鏡システム４は、投影装置１３３を用いて外部閲覧システム３００の利用者による入力操作に基づく投影画像を像面に投影しても良い。
　顕微鏡システム４は、ネットワーク経由で接続された外部閲覧システム３００とやり取りすることができる。このため、異なるロケーションにいる利用者間でコミュニケーションを取りながら、病理診断を行うことが可能となる。
　上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。顕微鏡システム、投影ユニット、及び画像投影方法は、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
　図１２では、複数の解析処理から選択された解析処理を行う画像解析部１４２を含む投影ユニット１４０を例示している。しかしながら、投影ユニットは、複数の診断プロトコルから選択した診断プロトコルに基づいて投影画像データを生成する投影画像生成部を含んでもよい。
　また、図１９では、顕微鏡システム１に外部閲覧システム３００との通信機能を追加した顕微鏡システム４を例示している。しかしながら、顕微鏡システム２に外部閲覧システム３００との通信機能を追加することで、新たな顕微鏡システムを構成してもよい。
　また、図１では、投影画像生成部２３が選択された解析処理の解析結果とその解析処理に基づいて投影画像データを生成する例を示している。しかしながら、投影画像生成部２３は、選択された解析処理の解析結果とその解析処理に基づいて第１投影画像データを生成し、選択された診断プロトコルに基づいて第２投影画像データを生成しても良い。その上で、第１投影画像データが表す第１投影画像と第２投影画像データが表す第２投影画像を投影装置１３３が光学画像上に投影してもよい。
　また、図５から図１０では、乳がんの病理診断の例を示したが、顕微鏡システム１は、子宮頸がんなどの他のがんの病理診断にも使用される。例えば、子宮頸がんの病理診断に適用される場合であれば、ベセスダシステムに基づいて分類し、ＮＩＬＭ、ＬＳＩＬ、ＨＳＩＬ、ＳＣＣ、ＡＳＣなどの分類結果を投影画像で表示してもよい。また、ゲノム診断においては、腫瘍細胞数、全細胞数、及び、それらの割合などを投影画像で表示してもよい。
　解析処理に応じて投影画像の表示形式を変更する例を示したが、顕微鏡システム１は、照明光学系又は観察光学系の設定変更に応じて表示形式を変更してもよい。
　顕微鏡システム１は、画像解析部２２を顕微鏡システム１のコンピュータ２０に備える例を示したが、画像解析部２２は、顕微鏡システム１内のコンピュータ２０と顕微鏡システム１外の遠隔モジュールとによって実現されても良い。遠隔モジュールは、例えば、クラウド上に置かれたサーバなどである。コンピュータ２０は、遠隔モジュールから最新のプログラムをダウンロードして解析プログラムを更新することで、新たな解析処理に対応してもよい。また、コンピュータ２０は、遠隔モジュールから最新のプログラムをダウンロードすることで、新たな診断プロトコルに対応してもよい。
　また、顕微鏡システム１に含まれる顕微鏡は、例えば、図２０に示す顕微鏡５００であってもよい。上述した実施形態では、中間鏡筒１３０に撮像素子１３１を備える構成を例示したが、画像解析に用いるデジタル画像データを取得する撮像素子１５１は、図１２に示すように、三眼鏡筒である鏡筒１２０ａに取り付けられたデジタルカメラ１５０に設けられていてもよい。ただし、この場合、中間鏡筒１３０ａに含まれる投影装置１３３から出射した光が撮像素子１５１へ入射することになる。このため、投影装置１３３の発光期間と撮像素子１５１の露光期間が重ならないように、デジタルカメラ１５０を制御しても良い。これにより、デジタル画像に投影画像が写りこむことを防止することができる。
　また、顕微鏡５００を含む顕微鏡システムは、人工授精などで行われる精子選別など、動いている対象物の診断に使用されてもよい。精子選別では、精子の形状など静止画に基づいて判断できる情報（以降、形状情報と記す。）と、精子の動きの直進性及びスピードなど動画又は複数枚の静止画に基づいて判断できる情報（以降、動き情報と記す。）と、によって精子の良否が判断される。このため、精子選別作業を補助するための解析処理では、投影画像に反映させるために、精子の動き情報を出力してもよく、さらに、精子の形状情報と精子の動き情報とを用いて、利用者が選択すべき精子の候補を特定してもよい。
　より具体的には、まず、利用者が選別対象となる精子の観察を開始すると、画像解析部２２は、異なる時刻に取得された複数のデジタル画像データを解析して、精子の移動の軌跡を算出する。その後、投影画像生成部２３が解析結果に基づいて投影画像データを生成し、投影装置１３３が軌跡表示ＭＴを含む投影画像を像面に投影する。なお、軌跡表示ＭＴとは、各精子の現在位置に至るまでの移動の軌跡を示す表示である。また、軌跡表示ＭＴは、予め決められた時間（例えば、３秒）だけ遡った時刻から現在時刻までの間の移動の軌跡を示していても良い。
　これにより、利用者は、まず、図２１に示す光学画像Ｍ３を含む画像Ｖ１１を観察し、画像解析部２２による解析処理が終了すると、図２２に示す光学画像Ｍ４と補助画像Ａ１とを含む画像Ｖ１２を観察することができる。補助画像Ａ１には、各精子の軌跡表示ＭＴが含まれているため、画像Ｖ１２を観察した利用者は、精子の形状的特徴に加えて、精子の動きの特徴についてもひと目で把握することができる。従って、利用者による精子の良否判定が容易になり、選別作業の負担が軽減される。
　さらに、画像解析部２２は、光学画像Ｍ４上に補助画像Ａ１が重畳した重畳画像のデジタル画像データを解析することで、利用者が選択すべき精子の候補を特定する。その後、投影画像生成部２３が特定された精子の位置情報を含む解析結果に基づいて投影画像データを生成し、投影装置１３３が注目領域表示ＲＯＩを含む投影画像を像面に投影する。なお、注目領域表示ＲＯＩは、利用者に画像解析部２２が特定した精子に対する注目を促すための表示であり、例えば、精子の周囲を取り囲む矩形や円形の図形である。また、図形の色の違いによってその精子が良質な精子である確からしさを表示するものであってもよい。
　これにより、利用者は、図２３に示す光学画像Ｍ４と補助画像Ａ２を含む画像Ｖ１３を観察することができる。補助画像Ａ２には、軌跡表示ＭＴに加えて注目領域表示ＲＯＩが含まれている。このため、利用者は、画像Ｖ１２の場合と同様に、精子の形状的特徴に加えて、精子の動きの特徴についてもひと目で把握することができる。また、利用者は、注目領域表示ＲＯＩで特定される精子を優先的に観察することで早期に良質な精子を選択することができる。従って、選別作業の負担がさらに軽減される。
　また、顕微鏡システム１に含まれる顕微鏡は、例えば、図２２に示す顕微鏡６００であってもよい。顕微鏡６００は、中間鏡筒１３０の代わりに、透過型の液晶デバイスを用いた投影装置１３５を含む中間鏡筒１３０ｂを備えている。上述した実施形態では、投影装置１３３から出射した光を対物レンズ１０２と接眼レンズ１０４の間の光路上に配置された光偏向素子１３４で偏向することで、投影画像を像面に投影する構成を例示したが、図２２に示すように、投影装置１３５を対物レンズ１０２と接眼レンズ１０４の間の光路上に配置してもよい。
　また、上述した実施形態では、光検出器として撮像素子を含む例を示したが、光検出器は撮像素子に限らない。例えば、走査型顕微鏡に上述した技術を提供してもよく、その場合、光検出器は、光電子増倍管（ＰＭＴ）などであってもよい。
　さらに、上述した顕微鏡システムは、選択された解析処理に応じて光学画像と投影画像の少なくとも一方の明るさを調整してもよく、選択された診断プロトコルに応じて光学画像と投影画像の少なくとも一方の明るさを調整してもよい。明るさの調整は、光源の光量を制御することにより行われてもよく、また、可変ＮＤフィルタなどによる透過光量を制御することによって行われてもよい。
　また、上述した実施形態では、入力装置４０として、キーボード、マウス、ジョイスティック、タッチパネルなどを例示したが、入力装置４０は、音声入力を受け付ける装置、例えば、マイクなどあってもよい。その場合、コンピュータ２０は、入力装置４０から入力された音声指示を認識する機能を備えてもよく、例えば、コンピュータ２０に含まれる情報取得部２４が音声認識技術により音声データを操作情報へ変換し、投影画像生成部２３へ出力しても良い。
１、２、３、４　　　　　　　　　顕微鏡システム
１０　　　　　　　　　　　　　　顕微鏡コントローラ
２０、６０、７０、３１０　　　　コンピュータ
２０ａ　　　　　　　　　　　　　プロセッサ
２０ｂ　　　　　　　　　　　　　メモリ
２０ｃ　　　　　　　　　　　　　補助記憶装置
２０ｄ　　　　　　　　　　　　　入出力インタフェース
２０ｅ　　　　　　　　　　　　　媒体駆動装置
２０ｆ　　　　　　　　　　　　　通信制御装置
２０ｇ　　　　　　　　　　　　　バス
２０ｈ　　　　　　　　　　　　　記憶媒体
２１、６１、１４１　　　　　　　カメラ制御部
２２、１４２　　　　　　　　　　画像解析部
２３、６３、１４３　　　　　　　投影画像生成部
２４、６４、１４４　　　　　　　情報取得部
２５、６５、１４５　　　　　　　影制御部
２６、６６　　　　　　　　　　　画像記録部
２７、６７　　　　　　　　　　　画像合成部
２８、６８　　　　　　　　　　　表示制御部
２９、３１１　　　　　　　　　　通信制御部
３０、３３０　　　　　　　　　　表示装置
３１　　　　　　　　　　　　　　選択画面
３２、３３、３４、３５　　　　　メニュー
３６　　　　　　　　　　　　　　ボタン
４０、３２０　　　　　　　　　　入力装置
５０　　　　　　　　　　　　　　識別装置
１００、２００、５００、６００　顕微鏡
１０１　　　　　　　　　　　　　ステージ
１０２、１０２ａ　　　　　　　　対物レンズ
１０３　　　　　　　　　　　　　結像レンズ
１０４　　　　　　　　　　　　　接眼レンズ
１１０　　　　　　　　　　　　　顕微鏡本体
１１１　　　　　　　　　　　　　ターレット
１２０、１２０ａ　　　　　　　　鏡筒
１３０、１３０ａ、１３０ｂ　　　中間鏡筒
１３１、１５１　　　　　　　　　撮像素子
１３２、１３４　　　　　　　　　光偏向素子
１３３、１３５　　　　　　　　　投影装置
１４０　　　　　　　　　　　　　投影ユニット
１５０　　　　　　　　　　　　　デジタルカメラ
３００　　　　　　　　　　　　　外部閲覧システム
４００　　　　　　　　　　　　　インターネット
Ａ１、Ａ２　　　　　　　　　　　補助画像
Ｃ１　　　　　　　　　　　　　　対比画像
Ｄ１　　　　　　　　　　　　　　入力データ
Ｄ２　　　　　　　　　　　　　　出力データ
Ｄ３　　　　　　　　　　　　　　正解データ
Ｇ１、Ｇ２、Ｇ３　　　　　　　　案内画像
Ｍ１、Ｍ２、Ｍ３、Ｍ４　　　　　光学画像
ＭＴ　　　　　　　　　　　　　　軌跡表示
ＮＮ　　　　　　　　　　　　　　ニューラルネットワーク
Ｐ１、Ｐ２　　　　　　　　　　　位置画像
Ｒ１、Ｒ２　　　　　　　　　　　領域
ＲＯＩ　　　　　　　　　　　　　注目領域表示
Ｔ１、Ｔ２　　　　　　　　　　　統計画像
Ｖ１～Ｖ１３　　　　　　　　　　画像

Claims (28)

  1. 　接眼レンズと、
    　試料からの光を前記接眼レンズへ導く対物レンズと、
    　前記接眼レンズと前記対物レンズの間の光路上に配置され、前記試料からの光に基づいて前記試料の光学画像を形成する結像レンズと、
    　前記試料のデジタル画像データに対して複数の解析処理から選択された少なくとも１つの解析処理を行い、前記少なくとも１つの解析処理に応じた解析結果を出力する画像解析部と、
    　前記解析結果と前記少なくとも１つの解析処理とに基づいて投影画像データを生成する投影画像生成部であって、前記投影画像データが表現する投影画像は、前記解析結果を前記少なくとも１つの解析処理に応じた表示形式で表す画像である、前記投影画像生成部と、
    　前記光学画像が形成されている像面に前記投影画像を投影する投影装置と、を備える
    ことを特徴とする顕微鏡システム。
  2. 　請求項１に記載の顕微鏡システムにおいて、
    　前記表示形式は、画像の色を含み、
    　前記投影画像生成部は、前記少なくとも１つの解析処理に応じて、前記投影画像の色を決定する
    ことを特徴とする顕微鏡システム。
  3. 　請求項２に記載の顕微鏡システムにおいて、
    　前記表示形式は、さらに、画像を構成する図形の書式を含み、
    　前記投影画像生成部は、前記少なくとも１つの解析処理に応じて、前記投影画像を構成する図形の書式を決定する
    ことを特徴とする顕微鏡システム。
  4. 　請求項２又は請求項３に記載の顕微鏡システムにおいて、
    　前記表示形式は、さらに、画像の位置を含み、
    　前記投影画像生成部は、前記少なくとも１つの解析処理に応じて、前記像面における前記投影画像と前記光学画像の位置関係を決定する
    ことを特徴とする顕微鏡システム。
  5. 　請求項４に記載の顕微鏡システムにおいて、
    　前記投影画像生成部は、前記少なくとも１つの解析処理に応じて、前記投影画像の少なくとも一部を前記光学画像の領域外に投影するか否かを決定する
    ことを特徴とする顕微鏡システム。
  6. 　請求項１乃至請求項５のいずれか１項に記載の顕微鏡システムにおいて、
    　前記顕微鏡システムは、前記少なくとも１つの解析処理に応じて、前記光学画像と前記投影画像の少なくとも一方の明るさを調整する
    ことを特徴とする顕微鏡システム。
  7. 　請求項１乃至請求項６のいずれか１項に記載の顕微鏡システムにおいて、
    　前記画像解析部は、
    　　前記デジタル画像データが表現するデジタル画像に写る一つ以上の構造物を一つ以上のクラスに分類し、
    　　前記一つ以上のクラスのうちの少なくとも一つのクラスに分類された構造物の位置を特定する位置情報を生成し、
    　　前記位置情報を含む前記解析結果を出力し、
    　前記投影画像は、前記少なくとも一つのクラスに分類された構造物の位置を表す図形を含む
    ことを特徴とする顕微鏡システム。
  8. 　請求項７に記載の顕微鏡システムにおいて、
    　前記画像解析部は、
    　　前記少なくとも一つのクラスに分類された構造物の統計情報を生成し、
    　　前記位置情報と前記統計情報とを含む前記解析結果を出力し、
    　前記投影画像は、前記少なくとも一つのクラスに分類された構造物の位置を表す図形と、前記統計情報を含む
    ことを特徴とする顕微鏡システム。
  9. 　請求項７または請求項８に記載の顕微鏡システムにおいて、
    　前記少なくとも一つのクラスに分類された構造物は、病理医による病理診断における判定の根拠となる対象物である
    ことを特徴とする顕微鏡システム。
  10. 　請求項１乃至請求項９のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    　投影制御部を備え、
    　前記投影制御部は、
    　　前記顕微鏡システムの設定に応じて、前記像面へ前記投影画像を投影するか否かを決定し、
    　　前記顕微鏡システムが所定の設定のときに、前記投影装置が前記像面へ前記投影画像を投影するように、前記投影装置を制御する
    ことを特徴とする顕微鏡システム。
  11. 　請求項１乃至請求項１０のいずれか１項に記載の顕微鏡システムにおいて、
    　前記画像解析部は、利用者による入力操作に基づいて前記少なくとも１つの解析処理を選択する
    ことを特徴とする顕微鏡システム。
  12. 　請求項１乃至請求項１０のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    　前記試料に付加された識別情報を取得する識別装置を備え、
    　前記画像解析部は、前記識別装置が取得した前記識別情報に基づいて前記少なくとも１つの解析処理を選択する
    ことを特徴とする顕微鏡システム。
  13. 　請求項１乃至請求項１２のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    　利用者の入力操作に応じた操作信号を出力する入力装置を備え、
    　前記画像解析部は、前記入力装置から出力された操作信号に従って、前記少なくとも１つの解析処理に用いる閾値の一部を変更する
    ことを特徴とする顕微鏡システム。
  14. 　接眼レンズと、
    　試料からの光を前記接眼レンズへ導く対物レンズと、
    　前記接眼レンズと前記対物レンズの間の光路上に配置され、前記試料からの光に基づいて前記試料の光学画像を形成する結像レンズと、
    　複数の診断プロトコルから選択された診断プロトコルに基づいて投影画像データを生成する投影画像生成部であって、前記投影画像データが表現する投影画像は、選択された前記診断プロトコルに応じた画像である、前記投影画像生成部と、
    　前記光学画像が形成されている像面に前記投影画像を投影する投影装置と、を備える
    ことを特徴とする顕微鏡システム。
  15. 　請求項１４に記載の顕微鏡システムにおいて、
    　前記投影画像は、前記選択された診断プロトコルの診断手順の案内を含む
    ことを特徴とする顕微鏡システム。
  16. 　請求項１５に記載の顕微鏡システムにおいて、
    　前記投影画像生成部は、前記選択された診断プロトコルに応じて、前記案内の色を決定する
    ことを特徴とする顕微鏡システム。
  17. 　請求項１４乃至請求項１６のいずれか１項に記載の顕微鏡システムにおいて、
    　前記投影画像は、前記選択された診断プロトコルにおける判定基準を示す参考画像を含む
    ことを特徴とする顕微鏡システム。
  18. 　請求項１４乃至請求項１７のいずれか１項に記載の顕微鏡システムにおいて、
    　前記投影画像生成部は、前記選択された診断プロトコルに応じて、前記像面における前記投影画像と前記光学画像の位置関係を決定する
    ことを特徴とする顕微鏡システム。
  19. 　請求項１８に記載の顕微鏡システムにおいて、
    　前記投影画像生成部は、前記選択された診断プロトコルに応じて、前記投影画像の少なくとも一部を前記光学画像の領域外に投影するか否かを決定する
    ことを特徴とする顕微鏡システム。
  20. 　請求項１４乃至請求項１９のいずれか１項に記載の顕微鏡システムにおいて、
    　前記投影画像生成部は、
    　　前記顕微鏡システムの設定が前記選択された診断プロトコルの要求を満さないときに、前記投影画像が警告表示を含むように、前記投影画像データを生成する
    ことを特徴とする顕微鏡システム。
  21. 　請求項１４乃至請求項２０のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    　投影制御部を備え、
    　前記投影制御部は、
    　　前記顕微鏡システムの設定に応じて、前記像面へ前記投影画像を投影するか否かを決定し、
    　　前記顕微鏡システムが所定の設定のときに、前記投影装置が前記像面へ前記投影画像を投影するように、前記投影装置を制御する
    ことを特徴とする顕微鏡システム。
  22. 　請求項１４乃至請求項２１のいずれか１項に記載の顕微鏡システムにおいて、
    　前記投影画像生成部は、利用者による入力操作に基づいて前記診断プロトコルを選択する
    ことを特徴とする顕微鏡システム。
  23. 　請求項１４乃至請求項２１のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    　前記試料に付加された識別情報を取得する識別装置を備え、
    　前記投影画像生成部は、前記識別装置が取得した前記識別情報に基づいて前記診断プロトコルを選択する
    ことを特徴とする顕微鏡システム。
  24. 　接眼レンズと、
    　試料からの光を前記接眼レンズへ導く対物レンズと、
    　前記接眼レンズと前記対物レンズの間の光路上に配置され、前記試料からの光に基づいて前記試料の光学画像を形成する結像レンズと、
    　前記試料のデジタル画像データに対して複数の解析処理から選択された少なくとも１つの解析処理を行い、前記少なくとも１つの解析処理に応じた解析結果を出力する画像解析部と、
    　前記解析結果と前記少なくとも１つの解析処理とに基づいて第１投影画像データを生成し、複数の診断プロトコルから選択された診断プロトコルに基づいて第２投影画像データを生成する投影画像生成部であって、前記第１投影画像データが表現する第１投影画像は、前記解析結果を前記少なくとも１つの解析処理に応じた表示形式で表す画像であり、前記第２投影画像データが表現する第２投影画像は、選択された前記診断プロトコルに応じた画像である、前記投影画像生成部と、
    　前記光学画像が形成されている像面に前記第１投影画像と前記第２投影画像を投影する投影装置と、を備える
    ことを特徴とする顕微鏡システム。
  25. 　対物レンズと結像レンズと接眼レンズを備える顕微鏡用の投影ユニットであって、
    　試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、
    　前記試料のデジタル画像データに対して複数の解析処理から選択された少なくとも１つの解析処理を行い、前記少なくとも１つの解析処理に応じた解析結果を出力する画像解析部と、
    　前記解析結果と前記少なくとも１つの解析処理とに基づいて投影画像データを生成する投影画像生成部であって、前記投影画像データが表現する投影画像は、前記解析結果を前記少なくとも１つの解析処理に応じた表示形式で表す画像である、前記投影画像生成部と、
    　前記結像レンズにより前記試料の光学画像が形成されている像面に前記投影画像を投影する投影装置と、を備える
    ことを特徴とする投影ユニット。
  26. 　対物レンズと結像レンズと接眼レンズを備える顕微鏡用の投影ユニットであって、
    　試料からの光に基づいて前記試料のデジタル画像データを取得する撮像装置と、
    　複数の診断プロトコルから選択された診断プロトコルに基づいて投影画像データを生成する投影画像生成部であって、前記投影画像データが表現する投影画像は、選択された前記診断プロトコルに応じた画像である、前記投影画像生成部と、
    　前記結像レンズにより前記試料の光学画像が形成されている像面に前記投影画像を投影する投影装置と、を備える
    ことを特徴とする投影ユニット。
  27. 　顕微鏡システムが行う画像投影方法であって、
    　前記顕微鏡システムは、
    　試料のデジタル画像データに対して複数の解析処理から選択された少なくとも１つの解析処理を行い、前記少なくとも１つの解析処理に応じた解析結果を出力し、
    　前記解析結果と前記少なくとも１つの解析処理とに基づいて投影画像データを生成し、
    　前記試料の光学画像が形成されている像面に前記投影画像データが表現する投影画像を投影し、ここで、前記投影画像は、前記解析結果を前記少なくとも１つの解析処理に応じた表示形式で表す画像である
    ことを特徴とする画像投影方法。
  28. 　顕微鏡システムが行う画像投影方法であって、
    　前記顕微鏡システムは、
    　複数の診断プロトコルから選択された診断プロトコルに基づいて投影画像データを生成し、
    　試料の光学画像が形成されている像面に前記投影画像データが表現する投影画像を投影し、ここで、前記投影画像は、選択された前記診断プロトコルに応じた画像である
    ことを特徴とする画像投影方法。
PCT/JP2018/047499 2018-09-28 2018-12-25 顕微鏡システム、投影ユニット、及び、画像投影方法 WO2020066043A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2020547904A JPWO2020066043A1 (ja) 2018-09-28 2018-12-25 顕微鏡システム、投影ユニット、及び、画像投影方法
EP24157882.2A EP4345776A3 (en) 2018-09-28 2018-12-25 Microscope system, projection unit, and image projection method
EP18935049.9A EP3995879A4 (en) 2018-09-28 2018-12-25 MICROSCOPE SYSTEM, PROJECTION UNIT AND IMAGE PROJECTION DEVICE
CN201880097759.2A CN112714887B (zh) 2018-09-28 2018-12-25 显微镜系统、投影单元以及图像投影方法
US17/196,921 US11594051B2 (en) 2018-09-28 2021-03-09 Microscope system and projection unit
JP2023214425A JP2024019639A (ja) 2018-09-28 2023-12-20 顕微鏡システム、プログラム、及び、投影画像生成方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-183763 2018-09-28
JP2018183763 2018-09-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/196,921 Continuation US11594051B2 (en) 2018-09-28 2021-03-09 Microscope system and projection unit

Publications (1)

Publication Number Publication Date
WO2020066043A1 true WO2020066043A1 (ja) 2020-04-02

Family

ID=69951267

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/047499 WO2020066043A1 (ja) 2018-09-28 2018-12-25 顕微鏡システム、投影ユニット、及び、画像投影方法

Country Status (5)

Country Link
US (1) US11594051B2 (ja)
EP (2) EP4345776A3 (ja)
JP (2) JPWO2020066043A1 (ja)
CN (1) CN112714887B (ja)
WO (1) WO2020066043A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7489920B2 (ja) 2018-10-31 2024-05-24 合同会社Ｈ．Ｕ．グループ中央研究所 プログラム、学習モデル、情報処理装置、情報処理方法、情報表示方法および学習モデルの製造方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112714886B (zh) * 2018-09-28 2023-03-21 仪景通株式会社 显微镜系统、投影单元以及图像投影方法
WO2020066043A1 (ja) 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
CN112714888B (zh) 2018-09-28 2023-02-17 仪景通株式会社 显微镜系统、投影单元以及图像投影方法
JP7150867B2 (ja) * 2018-09-28 2022-10-11 株式会社エビデント 顕微鏡システム
EP3904937A4 (en) 2018-12-28 2022-09-21 Olympus Corporation MICROSCOPE SYSTEM
JP7004116B2 (ja) * 2019-07-19 2022-01-21 三菱電機株式会社 表示処理装置、表示処理方法及びプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0829694A (ja) * 1994-07-20 1996-02-02 Nikon Corp 画像処理装置付き顕微鏡
JP2001519944A (ja) 1997-03-03 2001-10-23 バクス リサーチ ラボラトリーズ インコーポレイテッド コンピュータ制御の顕微鏡から試料の拡大イメージを取得し再構成するための方法および装置
JP2013072997A (ja) * 2011-09-27 2013-04-22 Olympus Corp 表示装置および顕微鏡システム
JP2014063041A (ja) * 2012-09-21 2014-04-10 Keyence Corp 撮影解析装置、その制御方法及び撮影解析装置用のプログラム
JP2017161262A (ja) * 2016-03-07 2017-09-14 株式会社サタケ 粒状物外観品位判別装置
JP2018010021A (ja) * 2017-10-24 2018-01-18 株式会社キーエンス 画像検査装置
JP2018054425A (ja) * 2016-09-28 2018-04-05 富士フイルム株式会社 撮影画像評価装置および方法並びにプログラム
JP2018066908A (ja) * 2016-10-20 2018-04-26 株式会社キーエンス 拡大観察装置
JP2018128532A (ja) * 2017-02-07 2018-08-16 オリンパス株式会社 顕微鏡

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4672559A (en) 1984-12-26 1987-06-09 E. I. Du Pont De Nemours And Company Method for operating a microscopical mapping system
JPH0580255A (ja) 1991-09-19 1993-04-02 Nippon Telegr & Teleph Corp <Ntt> 光学顕微鏡システム装置
JPH07253548A (ja) 1994-03-15 1995-10-03 Nikon Corp 標本像の自動追尾装置及び追尾方法
US6483948B1 (en) * 1994-12-23 2002-11-19 Leica Ag Microscope, in particular a stereomicroscope, and a method of superimposing two images
JPH11502037A (ja) 1995-05-17 1999-02-16 ライカ ミクロスコピー ズュステーメ アーゲー 顕微鏡
JP3827429B2 (ja) * 1997-04-03 2006-09-27 オリンパス株式会社 手術用顕微鏡
JPH11242189A (ja) 1997-12-25 1999-09-07 Olympus Optical Co Ltd 像形成法、像形成装置
JP2000292422A (ja) * 1999-04-02 2000-10-20 Olympus Optical Co Ltd 走査型サイトメータ
US20010055062A1 (en) 2000-04-20 2001-12-27 Keiji Shioda Operation microscope
US6711283B1 (en) 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
JP4047569B2 (ja) * 2001-10-10 2008-02-13 オリンパス株式会社 光走査プローブシステム
DE102004004115B4 (de) 2004-01-28 2016-08-18 Leica Microsystems Cms Gmbh Mikroskopsystem und Verfahren zur Shading-Korrektur der im Mikroskopsystem vorhandenen Optiken
JP2005351916A (ja) 2004-06-08 2005-12-22 Olympus Corp 双眼顕微鏡装置
JP2006071430A (ja) 2004-09-01 2006-03-16 Hitachi Medical Corp 診断支援システム
JP2006297060A (ja) 2005-03-24 2006-11-02 Kanazawa Univ 手術用顕微鏡及びそれを備えた診療システム
JP2006292999A (ja) 2005-04-11 2006-10-26 Direct Communications:Kk スライド画像データ作成装置およびスライド画像データ
US8164622B2 (en) 2005-07-01 2012-04-24 Aperio Technologies, Inc. System and method for single optical axis multi-detector microscope slide scanner
CN101351736A (zh) * 2005-12-27 2009-01-21 奥林巴斯株式会社 发光测量装置及发光测量方法
JP2008090072A (ja) 2006-10-03 2008-04-17 Keyence Corp 拡大画像観察システム、共焦点顕微鏡、画像データ転送方法、３次元合焦点画像生成方法、データ転送プログラム、３次元合焦点画像生成プログラムおよびコンピュータで読み取り可能な記録媒体並びに記録した機器
US9602777B2 (en) * 2008-04-25 2017-03-21 Roche Diagnostics Hematology, Inc. Systems and methods for analyzing body fluids
DE102009058792B3 (de) 2009-12-18 2011-09-01 Carl Zeiss Surgical Gmbh Optische Beobachtungseinrichtung zur Beobachtung eines Auges
JP5734588B2 (ja) * 2010-07-15 2015-06-17 オリンパス株式会社 細胞観察装置および観察方法
JP5145487B2 (ja) * 2011-02-28 2013-02-20 三洋電機株式会社 観察プログラムおよび観察装置
US9254103B2 (en) 2011-08-15 2016-02-09 The Trustees Of Dartmouth College Operative microscope having diffuse optical imaging system with tomographic image reconstruction and superposition in field of view
JP5822345B2 (ja) 2011-09-01 2015-11-24 島田　修 ホールスライドイメージ作成装置
WO2013094434A1 (ja) * 2011-12-22 2013-06-27 三洋電機株式会社 観察システム、観察システムの制御方法及びプログラム
US9483684B2 (en) * 2012-03-30 2016-11-01 Konica Minolta, Inc. Medical image processor and storage medium
ES2953897T3 (es) 2012-05-02 2023-11-16 Leica Biosystems Imaging Inc Enfoque en tiempo real en imagenología de exploración lineal
US9378407B2 (en) * 2012-09-11 2016-06-28 Neogenomics Laboratories, Inc. Automated fish reader using learning machines
US8995740B2 (en) 2013-04-17 2015-03-31 General Electric Company System and method for multiplexed biomarker quantitation using single cell segmentation on sequentially stained tissue
JP6147080B2 (ja) 2013-05-14 2017-06-14 オリンパス株式会社 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム
ES2935506T3 (es) 2013-05-15 2023-03-07 The Administrators Of The Tulane Educational Fund Microscopia de una muestra de tejido mediante iluminación estructurada
US10182757B2 (en) * 2013-07-22 2019-01-22 The Rockefeller University System and method for optical detection of skin disease
DE102013216476A1 (de) 2013-08-20 2015-02-26 Carl Zeiss Meditec Ag Operationsmikroskop mit optischen Schnittstellen
CN103852878B (zh) * 2014-01-08 2016-05-25 麦克奥迪实业集团有限公司 一种具有实时聚焦的显微切片快速数字扫描装置及其方法
DE102014201571B4 (de) 2014-01-29 2022-08-04 Carl Zeiss Meditec Ag Modul für die Dateneinspiegelung in einer Visualisierungsvorrichtung, Visualisierungsvorrichtung und Verfahren zum Anpassen der Vorrichtung
DE102014205038B4 (de) 2014-02-19 2015-09-03 Carl Zeiss Meditec Ag Visualisierungsvorrichtungen mit Kalibration einer Anzeige und Kalibrierverfahren für eine Anzeige in einer Visualisierungsvorrichtung
AR100353A1 (es) * 2014-05-08 2016-09-28 Chugai Pharmaceutical Co Ltd Droga de direccionamiento a glipicano 3 (gpc3) que se administra a un paciente que responde a la terapia con drogas de direccionamiento a gpc3
DE102014108811B3 (de) 2014-06-24 2015-11-26 Carl Zeiss Meditec Ag Stereomikroskop mit einem Hauptbeobachterstrahlengang und einem Mitbeobachterstrahlengang
JP6397717B2 (ja) 2014-10-08 2018-09-26 オリンパス株式会社 顕微鏡結像レンズ、顕微鏡装置、及び、撮像光学系
JP6367685B2 (ja) 2014-10-24 2018-08-01 オリンパス株式会社 顕微鏡用対物レンズ
EP3227830B8 (en) * 2014-12-03 2020-07-01 Ventana Medical Systems, Inc. Methods, systems, and apparatuses for quantitative analysis of heterogeneous biomarker distribution
JP6544789B2 (ja) 2015-01-20 2019-07-17 オリンパス株式会社 パターン投影装置、パターン投影方法、及び、位相変調量設定方法
DE102015100765A1 (de) 2015-01-20 2016-07-21 Carl Zeiss Meditec Ag Operationsmikroskop und Verfahren zum Hervorheben von Augenlinsenstücken
US10295815B2 (en) 2015-02-09 2019-05-21 Arizona Board Of Regents On Behalf Of The University Of Arizona Augmented stereoscopic microscopy
DE102015103426B4 (de) 2015-03-09 2020-07-02 Carl Zeiss Meditec Ag Mikroskopsystem und Verfahren zum automatisierten Ausrichten eines Mikroskops
US11376326B2 (en) * 2015-07-01 2022-07-05 Chugai Seiyaku Kabushiki Kaisha GPC3-targeting therapeutic agent which is administered to patient for whom the GPC3-targeting therapeutic agent is effective
WO2017053891A1 (en) 2015-09-24 2017-03-30 Leica Biosystems Imaging, Inc. Real-time focusing in line scan imaging
US9971966B2 (en) 2016-02-26 2018-05-15 Google Llc Processing cell images using neural networks
US11636627B2 (en) * 2016-08-28 2023-04-25 Augmentiqs Medical Ltd. System for histological examination of tissue specimens
DE102017105941B3 (de) 2017-03-20 2018-05-17 Carl Zeiss Meditec Ag Operationsmikroskop mit einem Bildsensor und einem Display und Verfahren zum Betrieb eines Operationsmikroskops
DE102017108371B4 (de) 2017-04-20 2020-08-27 Carl Zeiss Meditec Ag Medizinisch-optisches Darstellungssystem und Verfahren zum Betreiben desselben
DE102017121085B3 (de) 2017-09-12 2019-01-31 Carl Zeiss Meditec Ag Augenchirurgie-Visualisierungssystem
CN107907987A (zh) * 2017-12-26 2018-04-13 深圳科创广泰技术有限公司 基于混合现实的3d显微镜
CN112714888B (zh) 2018-09-28 2023-02-17 仪景通株式会社 显微镜系统、投影单元以及图像投影方法
JP7150867B2 (ja) 2018-09-28 2022-10-11 株式会社エビデント 顕微鏡システム
WO2020066043A1 (ja) 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
CN112714886B (zh) 2018-09-28 2023-03-21 仪景通株式会社 显微镜系统、投影单元以及图像投影方法
EP3904937A4 (en) 2018-12-28 2022-09-21 Olympus Corporation MICROSCOPE SYSTEM

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0829694A (ja) * 1994-07-20 1996-02-02 Nikon Corp 画像処理装置付き顕微鏡
JP2001519944A (ja) 1997-03-03 2001-10-23 バクス リサーチ ラボラトリーズ インコーポレイテッド コンピュータ制御の顕微鏡から試料の拡大イメージを取得し再構成するための方法および装置
JP2013072997A (ja) * 2011-09-27 2013-04-22 Olympus Corp 表示装置および顕微鏡システム
JP2014063041A (ja) * 2012-09-21 2014-04-10 Keyence Corp 撮影解析装置、その制御方法及び撮影解析装置用のプログラム
JP2017161262A (ja) * 2016-03-07 2017-09-14 株式会社サタケ 粒状物外観品位判別装置
JP2018054425A (ja) * 2016-09-28 2018-04-05 富士フイルム株式会社 撮影画像評価装置および方法並びにプログラム
JP2018066908A (ja) * 2016-10-20 2018-04-26 株式会社キーエンス 拡大観察装置
JP2018128532A (ja) * 2017-02-07 2018-08-16 オリンパス株式会社 顕微鏡
JP2018010021A (ja) * 2017-10-24 2018-01-18 株式会社キーエンス 画像検査装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3995879A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7489920B2 (ja) 2018-10-31 2024-05-24 合同会社Ｈ．Ｕ．グループ中央研究所 プログラム、学習モデル、情報処理装置、情報処理方法、情報表示方法および学習モデルの製造方法

Also Published As

Publication number Publication date
US11594051B2 (en) 2023-02-28
US20210192181A1 (en) 2021-06-24
JP2024019639A (ja) 2024-02-09
EP4345776A2 (en) 2024-04-03
EP3995879A1 (en) 2022-05-11
CN112714887A (zh) 2021-04-27
JPWO2020066043A1 (ja) 2021-08-30
CN112714887B (zh) 2024-02-23
EP3995879A4 (en) 2023-08-23
EP4345776A3 (en) 2024-06-19

Similar Documents

Publication Publication Date Title
WO2020066043A1 (ja) 顕微鏡システム、投影ユニット、及び、画像投影方法
CN112714886B (zh) 显微镜系统、投影单元以及图像投影方法
JP5490568B2 (ja) 顕微鏡システム、標本観察方法およびプログラム
JP2019532352A (ja) 組織標本の組織学的検査のためのシステム
US20100141752A1 (en) Microscope System, Specimen Observing Method, and Computer Program Product
US20210215923A1 (en) Microscope system
JP5185151B2 (ja) 顕微鏡観察システム
US11869166B2 (en) Microscope system, projection unit, and image projection method
WO2017150194A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP2011002341A (ja) 顕微鏡システム、標本観察方法およびプログラム
JP2010156612A (ja) 画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システム
US20100329522A1 (en) Medical diagnosis support device, virtual microscope system, and specimen support member
US20130259334A1 (en) Image processing apparatus, image processing method, image processing program, and virtual microscope system
US11215808B2 (en) Microscope parameter setting method and observation method recognizing the shape of a cell
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
JP7090171B2 (ja) 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム
JP2013113818A (ja) 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
WO2021166089A1 (ja) 評価支援装置、評価支援システム、評価支援方法およびプログラム
JPWO2020039520A1 (ja) 画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム
CN118829926A (zh) 焦点调整方法、程序、装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18935049

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020547904

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018935049

Country of ref document: EP

Effective date: 20210428