WO2021161447A1 - 光学顕微鏡システム - Google Patents

光学顕微鏡システム Download PDF

Info

Publication number
WO2021161447A1
WO2021161447A1 PCT/JP2020/005541 JP2020005541W WO2021161447A1 WO 2021161447 A1 WO2021161447 A1 WO 2021161447A1 JP 2020005541 W JP2020005541 W JP 2020005541W WO 2021161447 A1 WO2021161447 A1 WO 2021161447A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
candidate
optical
candidate information
Prior art date
Application number
PCT/JP2020/005541
Other languages
English (en)
French (fr)
Inventor
健郎 大澤
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2020/005541 priority Critical patent/WO2021161447A1/ja
Publication of WO2021161447A1 publication Critical patent/WO2021161447A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an optical microscope system, and more particularly to an augmented reality optical microscope system that superimposes information obtained by analyzing a digital image on an optical image.
  • a pathological specimen is a thinly sliced and stained section of living tissue. Determining whether the tissue of a pathological specimen contains cancer cells can be difficult even for an experienced pathologist. Therefore, an augmented reality (AR) microscope has been proposed in which support information that supports diagnosis such as the contour of a cancerous region is superimposed on an optical image of a pathological specimen observed through an eyepiece (see, for example, Patent Document 1). .. Based on the support information superimposed on the optical image, the pathologist can reliably detect the cancer and know the location of the cancer.
  • AR augmented reality
  • the support information superimposed on the optical image may interfere with the diagnosis by the pathologist. For example, if the pathologist can easily detect the cancer without the support information, if the support information already recognizes the cancer area, or if the support information is incorrect, the support information is the pathologist. Not necessary for.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide an optical microscope system capable of effectively supporting a diagnosis without interfering with the diagnosis.
  • One aspect of the present invention is an optical microscope that acquires an optical image of a biological tissue, the optical microscope having an eyepiece for observing the optical image, and a digital image of the biological tissue by imaging the optical image.
  • An imaging unit that acquires This is an optical microscope system including a presence / absence information display unit for displaying candidate presence / absence information regarding the presence / absence of candidates in the field of view of the eyepiece and in a region outside the optical image.
  • a digital image including an optical image of a living tissue acquired by an optical microscope is acquired by an imaging unit.
  • the image analysis unit analyzes the digital image, and when the digital image contains a candidate for a lesion, the candidate for the lesion is recognized. Then, the candidate presence / absence information regarding whether or not the recognized lesion candidate exists is displayed in the visual field of the eyepiece by the presence / absence information display unit.
  • the observer can simultaneously observe the optical image of the biological tissue and the candidate presence / absence information through the eyepiece, and recognizes whether or not there is a lesion candidate in the biological tissue based on the candidate presence / absence information. be able to.
  • the candidate presence / absence information is displayed in a region outside the optical image and does not overlap the optical image. With such candidate presence / absence information, it is possible to effectively support the diagnosis without interfering with the diagnosis based on the optical image.
  • the image analysis unit generates candidate information regarding the candidate for the lesion, and the candidate information generated by the image analysis unit is superimposed on the candidate region of the lesion in the optical image.
  • An information superimposing unit and a superimposing switching unit that switches whether or not to superimpose the candidate information on the optical image by the candidate information superimposing unit may be provided.
  • the lesion candidate information is generated and superimposed on the lesion region in the optical image. Therefore, the observer can recognize the position of the candidate for the lesion based on the candidate information.
  • the superposition switching unit has a timer for measuring the length of time elapsed from the start of superimposition of the candidate information on the optical image, and the length of time measured by the timer is a predetermined length.
  • the number reaches the limit, the superposition of the candidate information may be stopped.
  • the candidate information superimposed on the optical image automatically disappears when a predetermined time elapses from the start of superposition.
  • the unnecessary candidate information is automatically deleted, and the unnecessary candidate information can be prevented from interfering with the diagnosis. ..
  • the superimposition switching unit has a timer for measuring the length of time elapsed from the start of stationary of the stage of the optical microscope, and the length of time measured by the timer reaches a predetermined length. At that time, the superposition of the candidate information may be stopped.
  • the candidate information superimposed on the optical image in the field of view of the eyepiece automatically disappears when a predetermined time elapses after the stage of the optical microscope comes to rest.
  • the unnecessary candidate information is automatically erased, and the unnecessary candidate information can be prevented from interfering with the diagnosis.
  • the superimposition switching unit switches whether or not to superimpose the candidate information of the lesion portion on the optical image based on the magnification of the objective lens of the optical microscope used for acquiring the optical image.
  • the candidate information superimposed on the optical image is effective for making the observer recognize the position of the lesion.
  • the lesion portion occupies the entire or most of the optical image.
  • the candidate information superimposing portion may display the candidate presence / absence information on the same side as the position of the lesion portion in the optical image with respect to the center of the optical image. According to this configuration, the observer can recognize the position of the lesion portion in the optical image based on the position of the candidate presence / absence information in the visual field.
  • FIG. 4B It is an overall block diagram of the optical microscope system which concerns on one Embodiment of this invention. It is a functional block diagram of the computer of the optical microscope system of FIG. It is a functional block diagram of the image analysis unit of FIG. It is a figure which shows an example of the field of view of an eyepiece. It is a figure which shows an example of a camera image. It is a figure which shows the cancer region recognized in the camera image of FIG. 4B. It is a figure which shows the boundary information of the cancer region of FIG. 4C. It is a figure which shows the AR image generated from the camera image of FIG. 4B and contains the cancer presence / absence information and the boundary information. It is a figure which shows the field of view of the eyepiece on which the AR image of FIG.
  • 4E is superposed. It is a figure which shows the field of view of the eyepiece which superposed the AR image which the candidate information is hidden. It is a flowchart which shows the processing of an image analysis part. It is a figure which shows another example of cancer presence / absence information. It is a figure which shows another example of cancer presence / absence information. It is a figure which shows another example of cancer presence / absence information.
  • the optical microscope system 100 is an augmented reality (AR) microscope system that acquires information about a sample from a digital image of the sample and superimposes the information on an optical image of the sample observed through an eyepiece of an optical microscope.
  • AR augmented reality
  • the optical microscope system 100 is for diagnosis that supports pathological diagnosis by an observer by superimposing information on a lesion portion such as a cancer region included in a pathological specimen on an optical image.
  • the optical microscope system 100 includes an optical microscope 1, a camera 2 and an augmented reality (AR) display 3 connected to the optical microscope 1, and a computer 4 connected to the camera 2 and the AR display 3. And have.
  • AR augmented reality
  • the optical microscope 1 is a transmission type upright microscope that acquires an optical image B of a sample S.
  • the optical microscope 1 has a horizontal stage 11 on which the specimen S is placed, a revolver 13 arranged above the stage 11 and holding a plurality of objective lenses 12, and a lower side of the specimen S arranged below the stage 11. It is provided with an illumination system 14 that irradiates the illumination light from the surface, and an eyepiece lens (eyepiece portion) 15 for observing the optical image B of the sample S formed by the objective lens 12.
  • Specimen S is a pathological specimen, that is, a section of living tissue attached on a slide glass. Specimen S is placed horizontally on stage 11.
  • the stage 11 can be moved in two horizontal directions and a vertical direction that are orthogonal to each other by manually operating a handle (not shown). By moving the stage 11 in the horizontal direction, the observation position of the sample S by the objective lens 12 can be moved in the horizontal direction. Further, the vertical movement of the stage 11 allows the objective lens 12 to be focused on the sample S.
  • the revolver 13 has a plurality of mounting holes (not shown) arranged in the circumferential direction around the rotation axis, and the objective lens 12 is mounted in each mounting hole.
  • the revolver 13 is equipped with four 4x, 10x, 20x and 40x objective lenses 12.
  • the optical microscope 1 transmits the revolver information to the computer 4.
  • the revolver information is information on the rotation position around the rotation axis of the revolver 13 corresponding to the objective lens 12 currently in use.
  • FIG. 4A represents the field of view A of the eyepiece 15 that can be seen through the eyepiece 15.
  • the field of view A includes a central bright optical image B formed by the objective lens 12 and a dark peripheral region C outside the optical image B.
  • the image light forming the AR image is also incident on the second optical element 17b from the AR display 3 and reflected toward the mirror 17c.
  • the image light is combined with the transmitted light from the sample S, and the AR image is projected onto the field of view A of the eyepiece lens 15.
  • the observer can simultaneously observe the optical image B and the AR image of the sample S through the eyepiece 15.
  • the camera (imaging unit) 2 is a digital camera having a CCD or CMOS image sensor.
  • the camera 2 acquires the camera image D, which is a digital image of the sample S, as shown in FIG. 4B, by capturing the optical image B of the sample S formed on the image sensor.
  • the camera 2 acquires a live image of the sample S by acquiring the camera image D at a predetermined frame rate (for example, 30 fps).
  • the camera image D is input from the camera 2 to the computer 4 by a communication cable such as a USB cable.
  • the AR display (presence / absence information display unit, candidate information superimposition unit) 3 is a projection type display that forms image light and projects the image light.
  • the AR display 3 receives the AR image from the computer 4 and projects the AR image onto the field of view A of the eyepiece 15 by emitting the image light forming the AR image toward the second optical element 17b.
  • a mouse 5, a keyboard 6, and a display 7 are connected to the computer 4 as user interfaces.
  • the computer 4 includes a processor such as a CPU and a storage unit having RAM, ROM and any other storage device. The functions described later of the computer 4 are realized by the processor executing the process according to the program stored in the storage unit.
  • the computer 4 analyzes the camera image D from the camera 2 and generates an AR image that can include cancer presence / absence information (candidate presence / absence information) and candidate information.
  • cancer presence / absence information is information regarding the presence / absence of a cancer region in the camera image D
  • candidate information is information regarding the cancer region E in the camera image D.
  • the computer 4 transmits the AR image to the AR display 3 via the cable for transmitting the image data.
  • the computer 4 includes a camera image input unit 41, an objective lens information generation unit 42, an ON / OFF information generation unit 43, and an image analysis unit 44.
  • the camera image input unit 41 receives the camera image D from the camera 2 at a predetermined frame rate, and overwrites and saves the latest camera image D in the memory.
  • the objective lens information generation unit 42 receives revolver information from the optical microscope 1.
  • the objective lens information generation unit 42 converts the revolver information into objective lens information including information on the magnification of the objective lens 12 currently in use, based on the correspondence between the preset revolver information and the magnification of the objective lens 12. do.
  • the ON / OFF information generation unit 43 receives the objective lens information from the objective lens information generation unit 42, and displays (ON) or hides (OFF) the candidate information based on the magnification of the objective lens 12 included in the objective lens information. Generates ON / OFF information to be represented. For example, the ON / OFF information generation unit 43 generates ON / OFF information based on the correspondence between the preset magnification and ON or OFF. The correspondence between the magnification of the objective lens 12 and the ON / OFF of the candidate information is, for example, when the magnification of the objective lens 12 is either 4 times or 10 times, the ON / OFF information is ON and the objective. When the magnification of the lens 12 is either 20 times or 40 times, the ON / OFF information is OFF.
  • the ON / OFF information generation unit 43 receives the mouse information from the mouse 5 and the keyboard information from the keyboard 6.
  • the mouse information is information based on the operation of the mouse 5 such as a click
  • the keyboard information is information based on the input to the keyboard 6.
  • the ON / OFF information generation unit 43 changes the ON / OFF information from ON to OFF or from OFF based on at least one of the mouse information and the keyboard information. Switch to ON.
  • the image analysis unit 44 receives the camera image D from the camera image input unit 41, recognizes the cancer region (candidate for lesion) E in the camera image D by analyzing the camera image D, and AR image based on the recognition result. H is generated and the AR image H is output to the AR display 3.
  • the image analysis unit 44 receives the latest camera image D from the camera image input unit 41 in synchronization with the output of the AR image H, and repeats the analysis of the camera image D and the output of the AR image H.
  • FIG. 3 shows a more detailed configuration of the image analysis unit 44. As shown in FIG. 3, the image analysis unit 44 includes a resolution conversion unit 441, a cancer region recognition unit 442, a cancer presence / absence determination unit 443, a candidate information generation unit 444, and an AR image generation unit 445. ..
  • the resolution conversion unit 441 receives the camera image D from the camera image input unit 41 and receives the objective lens information from the objective lens information generation unit 42.
  • the resolution of the camera image D with respect to the sample S differs depending on the magnification of the objective lens 12 used to acquire the camera image D.
  • the resolution conversion unit 441 converts the resolution of the camera image D based on the magnification included in the objective lens information to generate a camera image D having a predetermined resolution for the sample S regardless of the magnification of the objective lens 12. ..
  • the resolution conversion unit 441 downsamples the camera image D acquired by using the 40 times objective lens 12. ,
  • the number of vertical and horizontal pixels of the camera image D is reduced by 1/4, respectively.
  • the cancer region recognition unit 442 receives a camera image D having a predetermined resolution from the resolution conversion unit 441.
  • the cancer region recognition unit 442 recognizes the cancer region E in the camera image D, and outputs the cancer region information including the position information of the cancer region E to the cancer presence / absence determination unit 443.
  • the cancer region recognition unit 442 analyzes whether or not each pixel of the camera image D contains cancer cells, and generates information as to whether or not each pixel contains cancer as cancer region information.
  • a model created by machine learning is used for the analysis of each pixel. For example, a large number of sets of images having a predetermined resolution and corresponding correct cancer region information are prepared as training data, and a model is created by deep learning of the training data.
  • FIG. 4B shows a camera image D including the cancer region E
  • FIG. 4C shows the cancer region information obtained by analysis of the camera image D of FIG. 4B.
  • the white region represents the cancer region E
  • the black region represents a region other than the cancer region E.
  • the cancer region recognition unit 442 may analyze only the pixels in the region corresponding to the optical image B, not all the pixels in the camera image D.
  • the cancer presence / absence determination unit 443 receives the cancer region information from the cancer region recognition unit 442, determines whether or not the cancer region E is recognized in the camera image D based on the cancer region information, and determines the determination result as a candidate information generation unit. It is output to 444 and AR image generation unit 445. For example, the cancer presence / absence determination unit 443 determines that the cancer region E is recognized in the camera image D when one or more pixels including the cancer cells are included in the cancer region information. On the other hand, the cancer presence / absence determination unit 443 determines that the cancer region E is not recognized in the camera image D when all the pixels included in the cancer region information do not contain the cancer cells.
  • the candidate information generation unit (superimposition switching unit) 444 receives ON / OFF information from the ON / OFF information generation unit 43, receives cancer region information from the cancer region recognition unit 442, and receives a determination result from the cancer presence / absence determination unit 443.
  • the candidate information generation unit 444 generates the candidate information F of the cancer region E based on the ON / OFF information, the cancer region information, and the determination result. Specifically, when the ON / OFF information is ON and the cancer region E is recognized in the camera image D, the candidate information generation unit 444 determines the candidate information F of the cancer region E based on the cancer region information. Is generated, and the candidate information F is output to the AR image generation unit 445.
  • candidate information F is boundary information representing a boundary between a cancer region E and a region other than the cancer region E.
  • the candidate information F is a boundary line surrounding the cancer region E.
  • the candidate information generation unit 444 does not generate the candidate information F.
  • the AR image generation unit 445 receives the determination result from the cancer presence / absence determination unit 443, and generates the AR image H based on the determination result. Specifically, when the cancer region E is recognized in the camera image D, the AR image generation unit 445 generates the cancer presence / absence information G as shown in FIG. 4E, and the AR image including the cancer presence / absence information G. Generate H.
  • the cancer presence / absence information G is, for example, a predetermined graphic, and is a circle mark of a predetermined color in the example of FIG. 4E. Further, the AR image generation unit 445 receives the candidate information F from the candidate information generation unit 444 and adds the candidate information F to the AR image H when the candidate information F generated by the candidate information generation unit 444 exists.
  • the candidate information F is included in the AR image H only when the cancer region E is recognized in the camera image D and the ON / OFF information is ON.
  • the AR image generation unit 445 generates an AR image H that does not include the cancer presence / absence information G and the candidate information F.
  • the generated AR image H is transmitted from the AR image generation unit 445 to the AR display 3, and the AR image H is projected onto the field of view A of the eyepiece 15 by the AR display 3. Therefore, when the cancer region E is recognized in the camera image D by the cancer region recognition unit 442, at least the cancer presence / absence information G is superimposed on the visual field A as shown in FIG. 4F.
  • the ON / OFF information is ON and the candidate information F is generated by the candidate information generation unit 444, the candidate information F is further superimposed on the field of view A. That is, it is switched whether or not the candidate information F is superimposed on the visual field A depending on whether or not the candidate information generation unit 444 generates the candidate information F.
  • the cancer region E is not recognized in the camera image D by the cancer region recognition unit 442, neither the cancer presence / absence information G nor the candidate information F is superimposed on the visual field A.
  • the AR image generation unit 445 generates an AR image H including the cancer presence / absence information G at a position corresponding to the peripheral region C in the visual field A, and corresponds to the cancer region E in the optical image B in the visual field A.
  • Candidate information F is generated at the position. Therefore, as shown in FIG. 4F, the cancer presence / absence information G is superimposed on the peripheral region C, and the boundary information which is the candidate information F is superimposed on the boundary of the cancer region E in the optical image B.
  • the display position of the cancer presence / absence information G is the upper left of the optical image B.
  • the observer observes the optical image B of the sample S acquired by the optical microscope 1 through the eyepiece lens 15.
  • the camera image D of the optical image B of the sample S is acquired by the camera 2 at a predetermined frame rate, and the camera image D is input to the computer 4.
  • the revolver information is input from the optical microscope 1 to the computer 4.
  • the camera image D is input to the image analysis unit 44 via the camera image input unit 41. Further, in the computer 4, the revolver information is converted into the objective lens information in the objective lens information generation unit 42, and the objective lens information is input to the image analysis unit 44 and the ON / OFF information generation unit 43.
  • the ON / OFF information generation unit 43 generates ON / OFF information based on the magnification of the objective lens 12 currently in use, and the ON / OFF information is input to the image analysis unit 44.
  • the image analysis unit 44 inputs the camera image D, the objective lens information, and the ON / OFF information (steps S1 to S3).
  • the order of inputting the camera image D, the objective lens information, and the ON / OFF information to the image analysis unit 44 (the order of steps S1, S2, and S3) is arbitrary and can be changed.
  • the image analysis unit 44 generates an AR image H (steps S4 to S9). That is, the resolution conversion unit 441 converts the resolution of the camera image D to a predetermined resolution based on the magnification of the objective lens 12 (step S4).
  • the cancer region recognition unit 442 recognizes the cancer region E in the camera image D having a predetermined resolution (step S5). Then, the cancer region recognition unit 442 transmits the cancer region information which is the recognition result of the cancer region E to the cancer presence / absence determination unit 443 and the candidate information generation unit 444.
  • the cancer presence / absence determination unit 443 determines whether or not the cancer region E is recognized in the camera image D based on the cancer region information (step S6).
  • the candidate information generation unit 444 When the ON / OFF information input in step S3 is ON (YES in step S7), the candidate information generation unit 444 generates candidate information F based on the cancer region information (step S8), and the candidate information F is transmitted to the AR image generation unit 445.
  • the ON / OFF information input in step S3 is OFF (NO in step S7), the candidate information F is not generated, and therefore the candidate information F is not transmitted to the AR image generation unit 445.
  • the AR image generation unit 445 When it is determined in step S6 that the cancer region E is recognized in the camera image D, the AR image generation unit 445 generates an AR image H including the cancer presence / absence information G (step S9).
  • the candidate information F is generated by the candidate information generation unit 444 in step S8, the AR image H also includes the candidate information F.
  • an AR image H that does not include the cancer presence / absence information G and the candidate information F is generated (step S9).
  • the AR image H is transmitted from the computer 4 to the AR display 3 (step S10), and the AR image H is superimposed on the field of view A of the eyepiece 15 by the AR display 3.
  • the cancer presence / absence information G is displayed in the peripheral region C in the visual field A.
  • the cancer presence / absence information G is not displayed in the peripheral region C in the visual field A. Therefore, the observer can easily recognize whether or not the cancer region E exists based on the display and non-display of the cancer presence / absence information G while observing the optical image B of the sample S through the eyepiece lens 15. Can be done. Further, when the cancer region E is recognized in the optical image B, the candidate information F is superimposed on the position of the cancer region E in the optical image B. Therefore, the observer can recognize the position of the cancer region E in the optical image B based on the candidate information F.
  • Candidate information F superimposed on the cancer region E in the optical image B can interfere with the diagnosis.
  • the observer can switch between displaying and hiding the candidate information F by operating the mouse 5 or inputting to the keyboard 6.
  • the mouse information or the keyboard information is turned on / off by the information generator. It is input to 43.
  • the ON / OFF information generation unit 43 switches the ON / OFF information from ON to OFF, and in step S3, the OFF ON / OFF information is input to the candidate information generation unit 444.
  • the generation of the candidate information F is stopped, and the AR image H including only the cancer presence / absence information G is generated (step S9).
  • the mouse information or keyboard information is turned ON / OFF. It is input to the information generation unit 43.
  • the ON / OFF information generation unit 43 switches the ON / OFF information from OFF to ON, and in step S3, the ON / OFF information of ON is input to the candidate information generation unit 444. NS. Then, the generation of the candidate information F is restarted (step S8), and the AR image H including the cancer presence / absence information G and the candidate information F is generated (step S9).
  • the cancer presence / absence information G is displayed in the region C outside the optical image B, so that the cancer presence / absence information G does not interfere with the observer's observation of the optical image B.
  • Such cancer presence / absence information G can effectively support the diagnosis while preventing the observer from interfering with the diagnosis.
  • the ON / OFF information is ON, and the candidate information F is superimposed on the optical image B.
  • the ON / OFF information is OFF, and the superimposition of the candidate information F on the optical image B is stopped.
  • the optical image B formed by the low-magnification objective lens 12 is an image of a wide range of the sample S. Therefore, it is highly probable that the cancer region E occupies only a part of the optical image B. In this case, the candidate information F superimposed on the optical image B is effective for making the observer recognize the position of the cancer region E.
  • the optical image B formed by the high-magnification objective lens 12 is an image of a narrow range of the sample S. Therefore, it is highly probable that the cancer region E occupies the entire or most of the optical image B. In this case, in order for the observer to recognize the cancer region E, only the cancer presence / absence information G is sufficient.
  • Candidate information F superimposed on all or most of the optical image B can interfere with detailed observation of the cancer region E.
  • the display / non-display of the candidate information F is automatically switched based on the magnification of the objective lens 12 used for acquiring the optical image B, and the candidate information F is effective for supporting the diagnosis. Only when is, the candidate information F is superimposed on the optical image B. As a result, it is possible to prevent the candidate information F, which is unnecessary for the diagnosis, from being superimposed on the optical image B, and to prevent the candidate information F from interfering with the diagnosis.
  • the cancer presence / absence information G is a circle displayed on the upper left of the optical image B, but the display position of the cancer presence / absence information G in the visual field A and the form of the cancer presence / absence information G are , Not limited to this, and can be changed as appropriate.
  • 6A to 6C show other examples of cancer presence / absence information G.
  • the AR image generation unit 445 may change the position of the cancer presence / absence information G in the visual field A according to the position of the cancer region E in the optical image B. For example, when the cancer region E exists in the lower left portion of the optical image B, the cancer presence / absence information G may be displayed in the lower left portion of the optical image B. In this way, by displaying the cancer presence / absence information G on the same side as the position of the cancer region E in the optical image B with respect to the center of the optical image B, the observer can perform cancer based on the position of the cancer presence / absence information G. The position of the area E can be recognized.
  • the position of the cancer region E in the optical image B is determined by, for example, the cancer presence / absence determination unit 443.
  • the cancer presence / absence determination unit 443 determines the position of the pixel first determined to contain the cancer cells at the position of the cancer region E, and the position of the cancer region E is the upper left and upper right of the optical image B. , The lower left, and the lower right quadrant are determined to belong to, and the determination result is transmitted to the AR image generation unit 445.
  • the cancer presence / absence determination unit 443 may determine the position of the cancer region E in the quadrant having the largest number of pixels containing cancer cells among the four quadrants of the optical image B.
  • the AR image generation unit 445 generates an AR image H in which the cancer presence / absence information G is arranged at a position based on the determination result by the cancer presence / absence determination unit 443.
  • the cancer presence / absence information G may be a line along the edge of the optical image B.
  • the line may be a circle surrounding the optical image B as shown in FIG. 6B, or an arc displayed on the same side as the position of the cancer region E in the optical image B as shown in FIG. 6C. There may be.
  • the candidate information generation unit (superimposition switching unit) 444 may have a timer 446 that measures the length of time elapsed from the start of superimposition of the candidate information F on the optical image B. For example, the candidate information generation unit 444 sets the start of generation of the candidate information F as the start of superimposing the candidate information F on the optical image B, and starts the time measurement by the timer 446 at the start of the generation of the candidate information F. The candidate information generation unit 444 stops the generation of the candidate information F when the length of time measured by the timer 446 reaches a predetermined length.
  • the candidate information F on the optical image B is automatically switched to non-display as shown in FIG. 4G. ..
  • the candidate information F is unnecessary for the observer. Therefore, after the candidate information F is superimposed on the optical image B, the candidate information F is automatically deleted when a predetermined length of time elapses, thereby preventing unnecessary candidate information F from interfering with the diagnosis. be able to.
  • the candidate information generation unit 444 decides to switch the candidate information F to non-display by stopping the generation of the candidate information F based on the elapsed time from the start time of superimposing the candidate information F on the optical image B. Instead of this, the candidate information F may be switched to non-display based on the movement of the stage 11. That is, the candidate information generation unit 444 acquires information on whether the stage 11 is moving or stationary. For example, the candidate information generation unit 444 detects whether the stage 11 is moving or stationary from the time-series changes in the camera image D. The candidate information generation unit 444 measures the length of time elapsed from the start of stationary stage 11 by the timer 446, and when the length of time measured by the timer 446 reaches a predetermined length, the candidate information F Stops the generation of.
  • the observer observes the optical image B while moving the stage 11 in the horizontal direction, and when the cancer region E is found, the observer stops the stage 11 in order to carefully observe the optical image B. After the stage 11 is stopped, the candidate information F on the optical image B is automatically switched to non-display when a predetermined length of time has elapsed. Thereby, it is possible to prevent unnecessary candidate information F from interfering with the diagnosis.
  • the candidate information F is the boundary information of the cancer region E, but the candidate information F may be other information regarding the cancer region E.
  • the candidate information F may be a heat map showing the probability of cancer.
  • the heat map is generated by the cancer region recognition unit 442 in the process of generating the cancer region information. For example, in a heat map, each pixel is displayed in a color according to the probability of having cancer. The heat map is projected and superimposed on the cancer region E in the optical image B.
  • the cancer region E is recognized from the camera image D, and the cancer presence / absence information G and the candidate information F of the cancer region E are provided to the observer, but the lesion portion to be recognized is limited to the cancer region E. It may be any lesion that can be the subject of pathological diagnosis.
  • the lesion may be a benign tumor, an inflamed site, or the like.
  • the objective lens information generation unit 42 generates the objective lens information based on the revolver information from the optical microscope 1, but instead of this, the objective lens information is generated based on other information. You may.
  • the objective lens information generation unit 42 receives the camera image D via the camera image input unit 41 and analyzes the camera image D to estimate the magnification of the objective lens 12 used for observation and to estimate the objective lens. Information may be generated.
  • the presence / absence information display unit is the AR display 3 that projects the candidate presence / absence information G onto the field of view A, but instead of this, a lamp arranged in the field of view A may be used. In this case, the spot of light emitted by the lamp is displayed in the field of view A as candidate presence / absence information G.
  • the shape of the boundary information F of the cancer region E may be changed according to the type or magnification of the cancer.
  • the type of cancer is signet ring cell carcinoma or when the magnification is low
  • the cancer region E in the optical image B is small, so that it is difficult to visually recognize the boundary line of the cancer region E.
  • the visibility of the boundary information F can be improved by forming the boundary information F into a rectangular frame that surrounds the cancer region E and is larger than the cancer region E.
  • Optical microscope system 100 Optical microscope system 1 Optical microscope 2 Camera (imaging unit) 3 Augmented reality (AR) display (presence / absence information display unit, candidate information superimposition unit) 15 Eyepiece (eyepiece) 44 Image analysis unit 446 Timer A Field of view B Optical image C Peripheral area D Camera image, digital image E Cancer area F Candidate information, Boundary information G Cancer presence / absence information (candidate presence / absence information) H Augmented Reality (AR) Image S Specimen, Living Tissue

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

光学顕微鏡システム（１００）は、生体組織の光学像を取得する光学顕微鏡（１）であって、光学像を観察するための接眼部（１５）を有する光学顕微鏡（１）と、光学像を撮像し生体組織のデジタル画像を取得する撮像部（２）と、デジタル画像を解析し、デジタル画像に含まれる病変部の候補を認識する画像解析部（４）と、病変部の候補の有無に関する候補有無情報を、接眼部（１５）の視野内かつ光学像の外の領域に表示させる有無情報表示部（３）と、を備える。

Description

光学顕微鏡システム
　本発明は、光学顕微鏡システムに関し、特に、デジタル画像の解析によって得られた情報を光学像に重畳する拡張現実光学顕微鏡システムに関するものである。
　病理診断では、病理標本を病理医が光学顕微鏡で観察する。病理標本は、薄くスライスされ染色された生体組織の切片である。病理標本の組織に癌細胞が含まれるか否かの判断は、経験を積んだ病理医にとっても難しい場合がある。そこで、接眼レンズを通して観察される病理標本の光学像に、癌領域の輪郭等の診断を支援する支援情報を重畳する拡張現実（ＡＲ）顕微鏡が提案されている（例えば、特許文献１参照。）。光学像に重畳された支援情報に基づき、病理医は、癌を確実に発見し、癌の位置を知ることができる。
国際公開第２０１８／２３１２０４号
　病理医が支援情報を必要としていないとき、光学像に重畳される支援情報は病理医による診断を妨害することがある。例えば、支援情報がなくても病理医が容易に癌を発見することができる場合、支援情報によって癌領域を既に認識している場合、および支援情報が間違っている場合等、支援情報は病理医にとって不要である。
　本発明は、上述した事情に鑑みてなされたものであって、診断を妨害することなく、かつ、効果的に診断を支援することができる光学顕微鏡システムを提供することを目的とする。
　上記目的を達成するため、本発明は以下の手段を提供する。
　本発明の一態様は、生体組織の光学像を取得する光学顕微鏡であって、前記光学像を観察するための接眼部を有する光学顕微鏡と、前記光学像を撮像し前記生体組織のデジタル画像を取得する撮像部と、該撮像部によって取得された前記デジタル画像を解析し、該デジタル画像に含まれる病変部の候補を認識する画像解析部と、該画像解析部によって認識された前記病変部の候補の有無に関する候補有無情報を、前記接眼部の視野内かつ前記光学像の外の領域に表示させる有無情報表示部と、を備える光学顕微鏡システムである。
　本態様によれば、光学顕微鏡によって取得された生体組織の光学像を含むデジタル画像が撮像部によって取得される。次に、画像解析部によって、デジタル画像が解析され、デジタル画像内に病変部の候補が含まれる場合には当該病変部の候補が認識される。そして、認識された病変部の候補が存在するか否かに関する候補有無情報が、有無情報表示部によって接眼部の視野内に表示される。
　観察者は、接眼部を通して、生体組織の光学像と候補有無情報とを同時に観察することができ、候補有無情報に基づいて、生体組織に病変部の候補が存在するか否かを認識することができる。
　この場合に、候補有無情報は、光学像の外の領域に表示され、光学像に重なることはない。このような候補有無情報によって、光学像に基づく診断を妨害することなく、かつ、効果的に診断を支援することができる。
　上記態様において、前記画像解析部が、前記病変部の候補に関する候補情報を生成し、前記画像解析部によって生成された前記候補情報を前記光学像内の前記病変部の候補の領域に重畳する候補情報重畳部と、該候補情報重畳部によって前記候補情報を前記光学像に重畳するか否かを切り替える重畳切替部と、を備えていてもよい。
　この構成によれば、デジタル画像内に病変部の候補が認識された場合に、病変部の候補情報が生成され、光学像内の病変部の領域に重畳される。したがって、観察者は、候補情報に基づいて病変部の候補の位置を認識することができる。また、候補情報が必要であるか、または不要であるかに応じて候補情報を重畳するか否かを切り替えることができ、それにより、候補情報が診断を妨害することを防ぐことができる。
　上記態様において、前記重畳切替部は、前記候補情報の前記光学像への重畳開始から経過した時間の長さを計測するタイマを有し、該タイマによって計測された時間の長さが所定の長さに達したときに前記候補情報の重畳を停止してもよい。
　この構成によれば、光学像に重畳された候補情報は、重畳開始から所定の時間が経過したときに自動的に消える。これにより、観察者が、候補情報に基づいて光学像内の病変部を確認した後、不要になった候補情報を自動的に消し、不要な候補情報が診断を妨害することを防ぐことができる。
　上記態様において、前記重畳切替部は、前記光学顕微鏡のステージの静止開始から経過した時間の長さを計測するタイマを有し、該タイマによって計測された時間の長さが所定の長さに達したときに前記候補情報の重畳を停止してもよい。
　この構成によれば、接眼部の視野内の光学像に重畳された候補情報は、光学顕微鏡のステージが静止してから所定の時間が経過したときに自動的に消える。これにより、観察者が、ステージを停止させて光学像を注意深く観察した後、不要になった候補情報を自動的に消し、不要な候補情報が診断を妨害することを防ぐことができる。
　上記態様において、前記重畳切替部が、前記光学像の取得に使用されている前記光学顕微鏡の対物レンズの倍率に基づいて、前記病変部の候補情報を前記光学像に重畳するか否かを切り替えてもよい。
　低倍率の対物レンズを使用して取得された光学像の場合、病変部が光学像の一部分のみを占めている可能性が高い。この場合、光学像に重畳された候補情報は、病変部の位置を観察者に認識させるために有効である。一方、高倍率の対物レンズを使用して取得された光学像の場合、病変部が光学像の全体または大部分を占めている可能性が高い。この場合、病変部を観察者に認識させるためには、候補有無情報のみで足り、候補情報は不要である。したがって、対物レンズの倍率に基づいて候補情報が診断の支援に有効であるか否かを判断することができる。そして、候補情報が診断の支援に有効ではないときには候補情報の光学像への重畳を停止することによって、候補情報が診断を妨害することを防ぐことができる。
　上記態様において、前記候補情報重畳部が、前記候補有無情報を前記光学像の中心に対して前記光学像内の前記病変部の位置と同じ側に表示してもよい。
　この構成によれば、観察者は、視野内の候補有無情報の位置に基づいて、光学像内の病変部の位置を認識することができる。
　本発明によれば、診断を妨害することなく、かつ、効果的に診断を支援することができるという効果を奏する。
本発明の一実施形態に係る光学顕微鏡システムの全体構成図である。 図１の光学顕微鏡システムのコンピュータの機能ブロック図である。 図２の画像解析部の機能ブロック図である。 接眼レンズの視野の一例を示す図である。 カメラ画像の一例を示す図である。 図４Ｂのカメラ画像において認識された癌領域を示す図である。 図４Ｃの癌領域の境界情報を示す図である。 図４Ｂのカメラ画像から生成され、癌有無情報および境界情報を含むＡＲ画像を示す図である。 図４ＥのＡＲ画像が重畳された接眼レンズの視野を示す図である。 候補情報が非表示であるＡＲ画像が重畳された接眼レンズの視野を示す図である。 画像解析部の処理を示すフローチャートである。 癌有無情報の他の例を示す図である。 癌有無情報の他の例を示す図である。 癌有無情報の他の例を示す図である。
　以下に、本発明の一実施形態に係る光学顕微鏡システム１００について図面を参照して説明する。
　光学顕微鏡システム１００は、標本のデジタル画像から標本に関する情報を取得し、光学顕微鏡の接眼レンズを通して観察される標本の光学像に前記情報を重畳する拡張現実（ＡＲ）顕微鏡システムである。特に、光学顕微鏡システム１００は、病理標本に含まれる癌領域等の病変部に関する情報を光学像に重畳することによって、観察者による病理診断を支援する診断用である。
　光学顕微鏡システム１００は、図１に示されるように、光学顕微鏡１と、光学顕微鏡１に接続されたカメラ２および拡張現実（ＡＲ）ディスプレイ３と、カメラ２およびＡＲディスプレイ３と接続されたコンピュータ４とを備えている。
　光学顕微鏡１は、標本Ｓの光学像Ｂを取得する透過型の正立顕微鏡である。光学顕微鏡１は、標本Ｓが載置される水平なステージ１１と、ステージ１１の上側に配置され複数の対物レンズ１２を保持するレボルバ１３と、ステージ１１の下側に配置され標本Ｓに下側から照明光を照射する照明系１４と、対物レンズ１２によって形成された標本Ｓの光学像Ｂを観察するための接眼レンズ（接眼部）１５とを備える。標本Ｓは、病理標本、すなわち、スライドガラス上に貼られた生体組織の切片である。標本Ｓは、ステージ１１上に水平に載置される。
　ステージ１１は、図示しないハンドルの手動操作によって、相互に直交する２つの水平方向と、鉛直方向と、に移動可能である。ステージ１１の水平方向の移動によって、対物レンズ１２による標本Ｓの観察位置を水平方向に移動することができる。また、ステージ１１の鉛直方向の移動によって、標本Ｓに対物レンズ１２の焦点を合わせることができる。
　レボルバ１３は、回転軸回りの周方向に配列する複数の取付穴（図示略）を有し、各取付穴に対物レンズ１２が取り付けられている。例えば、レボルバ１３には、４倍、１０倍、２０倍および４０倍の４つの対物レンズ１２が取り付けられている。レボルバ１３の回転軸回りの回転によって、複数の対物レンズ１２が択一的に光路上に配置され、標本Ｓの光学像の取得に使用される対物レンズ１２が切り替えられる。
　光学顕微鏡１は、レボルバ情報をコンピュータ４に送信する。レボルバ情報は、現在使用中の対物レンズ１２に対応するレボルバ１３の回転軸回りの回転位置の情報である。
　標本Ｓを透過した照明光は、光路上の対物レンズ１２を通って第１中間鏡筒１６ａ内に進み、第１中間鏡筒１６ａ内でハーフミラーのような半透明の第１光学素子１７ａによって透過光と反射光とに分割される。反射光は、カメラ２に入射し、カメラ２のイメージセンサ上で像を結ぶ。透過光は、第２中間鏡筒１６ｂ内に進み、ハーフミラーのような第２光学素子１７ｂを透過し、ミラー１７ｃを経由して接眼レンズ１５に入射する。図４Ａは、接眼レンズ１５を通して見ることができる接眼レンズ１５の視野Ａを表している。視野Ａは、対物レンズ１２によって形成された中央の明るい光学像Ｂと、光学像Ｂの外の暗い周辺領域Ｃとを含む。
　第２光学素子１７ｂには、後述するように、ＡＲ画像を形成する画像光もＡＲディスプレイ３から入射してミラー１７ｃに向かって反射される。画像光は標本Ｓからの透過光に合成され、接眼レンズ１５の視野ＡにＡＲ画像が投影される。観察者は、接眼レンズ１５を通して、標本Ｓの光学像ＢとＡＲ画像とを同時に観察することができる。
　カメラ（撮像部）２は、ＣＣＤまたはＣＭＯＳイメージセンサを有するデジタルカメラである。カメラ２は、イメージセンサ上に形成される標本Ｓの光学像Ｂを撮像することによって、図４Ｂに示されるように、標本Ｓのデジタル画像であるカメラ画像Ｄを取得する。カメラ２は、所定のフレームレート（例えば、３０ｆｐｓ）でカメラ画像Ｄを取得することによって標本Ｓのライブ画像を取得する。カメラ画像Ｄは、ＵＳＢケーブル等の通信ケーブルによって、カメラ２からコンピュータ４に入力される。
　ＡＲディスプレイ（有無情報表示部、候補情報重畳部）３は、画像光を形成し、画像光を投射する投射型ディスプレイである。ＡＲディスプレイ３は、コンピュータ４からＡＲ画像を受け取り、ＡＲ画像を形成する画像光を第２光学素子１７ｂに向かって射出することによって、ＡＲ画像を接眼レンズ１５の視野Ａに投影する。
　コンピュータ４には、ユーザインタフェースとして、マウス５、キーボード６およびディスプレイ７が接続されている。
　コンピュータ４は、ＣＰＵのようなプロセッサと、ＲＡＭ、ＲＯＭおよびその他の任意の記憶装置を有する記憶部と、を備える。コンピュータ４の後述の機能は、プロセッサが記憶部に記憶されたプログラムに従って処理を実行することによって、実現される。
　コンピュータ４は、カメラ２からのカメラ画像Ｄを解析し、癌有無情報（候補有無情報）および候補情報を含み得るＡＲ画像を生成する。後述するように、癌有無情報は、カメラ画像Ｄ内の癌領域の有無に関する情報であり、候補情報は、カメラ画像Ｄ内の癌領域Ｅに関する情報である。コンピュータ４は、画像データの伝送用のケーブルを経由して、ＡＲ画像をＡＲディスプレイ３に送信する。
　具体的には、コンピュータ４は、図２に示されるように、カメラ画像入力部４１と、対物レンズ情報生成部４２と、ＯＮ／ＯＦＦ情報生成部４３と、画像解析部４４とを備える。
　カメラ画像入力部４１は、カメラ２からカメラ画像Ｄを所定のフレームレートで受け取り、最新のカメラ画像Ｄをメモリに上書き保存する。
　対物レンズ情報生成部４２は、光学顕微鏡１からレボルバ情報を受け取る。対物レンズ情報生成部４２は、予め設定されたレボルバ情報と対物レンズ１２の倍率との対応関係に基づき、レボルバ情報を、現在使用されている対物レンズ１２の倍率の情報を含む対物レンズ情報に変換する。
　ＯＮ／ＯＦＦ情報生成部４３は、対物レンズ情報生成部４２から対物レンズ情報を受け取り、対物レンズ情報に含まれる対物レンズ１２の倍率に基づき、候補情報の表示（ＯＮ）または非表示（ＯＦＦ）を表すＯＮ／ＯＦＦ情報を生成する。例えば、ＯＮ／ＯＦＦ情報生成部４３は、予め設定された倍率とＯＮまたはＯＦＦとの対応関係に基づき、ＯＮ／ＯＦＦ情報を生成する。
　上記の対物レンズ１２の倍率と候補情報のＯＮ／ＯＦＦとの対応関係は、例えば、対物レンズ１２の倍率が４倍および１０倍のいずれかである場合、ＯＮ／ＯＦＦ情報はＯＮであり、対物レンズ１２の倍率が２０倍および４０倍のいずれかである場合、ＯＮ／ＯＦＦ情報はＯＦＦである。
　また、ＯＮ／ＯＦＦ情報生成部４３は、マウス５からマウス情報を受け取り、キーボード６からキーボード情報を受け取る。マウス情報は、クリック等のマウス５の操作に基づく情報であり、キーボード情報は、キーボード６への入力に基づく情報である。対物レンズ１２の倍率に基づいてＯＮ／ＯＦＦ情報を生成した後、ＯＮ／ＯＦＦ情報生成部４３は、マウス情報およびキーボード情報の少なくとも一方に基づき、ＯＮ／ＯＦＦ情報をＯＮからＯＦＦへ、またはＯＦＦからＯＮへ切り替える。
　画像解析部４４は、カメラ画像入力部４１からカメラ画像Ｄを受け取り、カメラ画像Ｄを解析することによってカメラ画像Ｄ内の癌領域（病変部の候補）Ｅを認識し、認識結果に基づくＡＲ画像Ｈを生成し、ＡＲ画像ＨをＡＲディスプレイ３に出力する。画像解析部４４は、ＡＲ画像Ｈの出力と同期してカメラ画像入力部４１から最新のカメラ画像Ｄを受け取り、カメラ画像Ｄの解析およびＡＲ画像Ｈの出力を繰り返す。
　図３は、画像解析部４４のより詳細な構成を示している。図３に示されるように、画像解析部４４は、解像度変換部４４１と、癌領域認識部４４２と、癌有無判定部４４３と、候補情報生成部４４４と、ＡＲ画像生成部４４５と、を備える。
　解像度変換部４４１は、カメラ画像入力部４１からカメラ画像Ｄを受け取り、対物レンズ情報生成部４２から対物レンズ情報を受け取る。カメラ画像Ｄの取得に使用された対物レンズ１２の倍率に応じて、標本Ｓに対するカメラ画像Ｄの解像度は異なる。解像度変換部４４１は、対物レンズ情報に含まれる倍率に基づいてカメラ画像Ｄの解像度を変換することによって、対物レンズ１２の倍率に関わらず標本Ｓに対して所定の解像度のカメラ画像Ｄを生成する。例えば、所定の解像度が１０倍であり対物レンズ情報に含まれる倍率が４０倍である場合、解像度変換部４４１は、４０倍の対物レンズ１２を使用して取得されたカメラ画像Ｄをダウンサンプリングし、カメラ画像Ｄの縦および横の画素数を１／４倍にそれぞれ減らす。
　癌領域認識部４４２は、解像度変換部４４１から所定の解像度のカメラ画像Ｄを受け取る。癌領域認識部４４２は、カメラ画像Ｄ内の癌領域Ｅを認識し、癌領域Ｅの位置の情報を含む癌領域情報を癌有無判定部４４３に出力する。
　例えば、癌領域認識部４４２は、カメラ画像Ｄの各画素が癌細胞を含むか否かを解析し、各画素が癌を含むか否かの情報を癌領域情報として生成する。各画素の解析には、機械学習によって作成されたモデルが使用される。例えば、所定の解像度の画像とそれに対応する正解の癌領域情報の多数のセットが学習データとして用意され、学習データの深層学習によってモデルが作成される。
　図４Ｂは、癌領域Ｅを含むカメラ画像Ｄを示し、図４Ｃは、図４Ｂのカメラ画像Ｄの解析によって得られた癌領域情報を示している。図４Ｃにおいて、白い領域が癌領域Ｅであり、黒い領域が癌領域Ｅ以外の領域を表している。
　図４Ａおよび図４Ｂに示されるように、カメラ画像Ｄの撮影範囲が光学像Ｂの視野よりも広い場合、カメラ画像Ｄは、光学像Ｂの視野の外の周辺領域も含む。この場合、癌領域認識部４４２は、カメラ画像Ｄの全画素ではなく、光学像Ｂに対応する領域の画素のみを解析してもよい。
　癌有無判定部４４３は、癌領域認識部４４２から癌領域情報を受け取り、癌領域情報に基づいてカメラ画像Ｄ内に癌領域Ｅが認識されたか否かを判定し、判定結果を候補情報生成部４４４およびＡＲ画像生成部４４５に出力する。例えば、癌有無判定部４４３は、癌細胞を含む１つ以上の画素が癌領域情報に含まれている場合、カメラ画像Ｄ内に癌領域Ｅが認識されたと判定する。一方、癌有無判定部４４３は、癌領域情報に含まれる全ての画素が癌細胞を含まない場合、カメラ画像Ｄ内に癌領域Ｅが認識されなかったと判定する。
　候補情報生成部（重畳切替部）４４４は、ＯＮ／ＯＦＦ情報生成部４３からＯＮ／ＯＦＦ情報を受け取り、癌領域認識部４４２から癌領域情報を受け取り、癌有無判定部４４３から判定結果を受け取る。候補情報生成部４４４は、ＯＮ／ＯＦＦ情報、癌領域情報および判定結果に基づいて、癌領域Ｅの候補情報Ｆを生成する。
　具体的には、ＯＮ／ＯＦＦ情報がＯＮであり、かつ、カメラ画像Ｄ内に癌領域Ｅが認識された場合、候補情報生成部４４４は、癌領域情報に基づいて癌領域Ｅの候補情報Ｆを生成し、候補情報ＦをＡＲ画像生成部４４５に出力する。候補情報Ｆの一例は、癌領域Ｅと癌領域Ｅ以外の領域との間の境界を表す境界情報である。例えば、図４Ｄに示されるように、候補情報Ｆは、癌領域Ｅを囲う境界線である。
　一方、ＯＮ／ＯＦＦ情報がＯＦＦであるか、または、カメラ画像Ｄ内に癌領域Ｅが認識されなかった場合、候補情報生成部４４４は、候補情報Ｆを生成しない。
　ＡＲ画像生成部４４５は、癌有無判定部４４３から判定結果を受け取り、判定結果に基づいてＡＲ画像Ｈを生成する。
　具体的には、カメラ画像Ｄ内に癌領域Ｅが認識された場合、ＡＲ画像生成部４４５は、図４Ｅに示されるように、癌有無情報Ｇを生成し、癌有無情報Ｇを含むＡＲ画像Ｈを生成する。癌有無情報Ｇは、例えば、所定のグラフィックであり、図４Ｅの例において、所定の色の丸印である。さらに、ＡＲ画像生成部４４５は、候補情報生成部４４４によって生成された候補情報Ｆが存在する場合、候補情報Ｆを候補情報生成部４４４から受け取り、候補情報ＦをＡＲ画像Ｈに追加する。すなわち、カメラ画像Ｄ内に癌領域Ｅが認識され、かつ、ＯＮ／ＯＦＦ情報がＯＮである場合のみ、ＡＲ画像Ｈに候補情報Ｆが含まれる。
　一方、カメラ画像Ｄ内に癌領域Ｅが認識されなかった場合、ＡＲ画像生成部４４５は、癌有無情報Ｇおよび候補情報Ｆを含まないＡＲ画像Ｈを生成する。
　生成されたＡＲ画像Ｈは、ＡＲ画像生成部４４５からＡＲディスプレイ３に送信され、ＡＲ画像ＨがＡＲディスプレイ３によって接眼レンズ１５の視野Ａに投影される。したがって、癌領域認識部４４２によってカメラ画像Ｄ内に癌領域Ｅが認識された場合、図４Ｆに示されるように、少なくとも癌有無情報Ｇが視野Ａに重畳される。ＯＮ／ＯＦＦ情報がＯＮであり候補情報生成部４４４によって候補情報Ｆが生成されている場合には、さらに候補情報Ｆが視野Ａに重畳される。すなわち、候補情報生成部４４４が候補情報Ｆを生成するか否かによって、視野Ａに候補情報Ｆが重畳されるか否かが切り替えられる。
　一方、癌領域認識部４４２によってカメラ画像Ｄ内に癌領域Ｅが認識されなかった場合、癌有無情報Ｇおよび候補情報Ｆのいずれも視野Ａに重畳されない。
　ここで、ＡＲ画像生成部４４５は、視野Ａ内の周辺領域Ｃに対応する位置に癌有無情報Ｇを含むＡＲ画像Ｈを生成し、視野Ａ内の光学像Ｂ内の癌領域Ｅに対応する位置に候補情報Ｆを生成する。したがって、図４Ｆに示されるように、癌有無情報Ｇは、周辺領域Ｃに重畳され、候補情報Ｆである境界情報は、光学像Ｂ内の癌領域Ｅの境界に重畳される。図４Ｆの例において、癌有無情報Ｇの表示位置は、光学像Ｂの左上である。
　次に、光学顕微鏡システム１００の作用について、図５を参照して説明する。
　観察者は、光学顕微鏡１によって取得された標本Ｓの光学像Ｂを、接眼レンズ１５を通して観察する。
　観察者による標本Ｓの光学像Ｂの観察と併行して、標本Ｓの光学像Ｂのカメラ画像Ｄが所定のフレームレートでカメラ２によって取得され、カメラ画像Ｄがコンピュータ４に入力される。また、レボルバ情報が光学顕微鏡１からコンピュータ４に入力される。
　コンピュータ４において、カメラ画像Ｄは、カメラ画像入力部４１を経由して画像解析部４４に入力される。また、コンピュータ４において、レボルバ情報は、対物レンズ情報生成部４２において対物レンズ情報に変換され、対物レンズ情報が画像解析部４４およびＯＮ／ＯＦＦ情報生成部４３に入力される。ＯＮ／ＯＦＦ情報生成部４３において、現在使用されている対物レンズ１２の倍率に基づいてＯＮ／ＯＦＦ情報が生成され、ＯＮ／ＯＦＦ情報が画像解析部４４に入力される。
　画像解析部４４では、図５に示されるように、カメラ画像Ｄ、対物レンズ情報およびＯＮ／ＯＦＦ情報が入力される（ステップＳ１～Ｓ３）。カメラ画像Ｄ、対物レンズ情報およびＯＮ／ＯＦＦ情報の画像解析部４４への入力の順序（ステップＳ１，Ｓ２，Ｓ３の順序）は、任意であり、変更可能である。次に、画像解析部４４において、ＡＲ画像Ｈが生成される（ステップＳ４～Ｓ９）。
　すなわち、解像度変換部４４１によって、カメラ画像Ｄの解像度が対物レンズ１２の倍率に基づいて所定の解像度に変換される（ステップＳ４）。次に、カメラ画像Ｄ内に癌領域Ｅが存在する場合、癌領域認識部４４２によって、所定の解像度のカメラ画像Ｄ内の癌領域Ｅが認識される（ステップＳ５）。そして、癌領域認識部４４２から癌有無判定部４４３および候補情報生成部４４４に、癌領域Ｅの認識結果である癌領域情報が送信される。
　次に、癌有無判定部４４３によって、カメラ画像Ｄ内に癌領域Ｅが認識されたか否かが癌領域情報に基づいて判定される（ステップＳ６）。また、ステップＳ３で入力されたＯＮ／ＯＦＦ情報がＯＮである場合（ステップＳ７のＹＥＳ）、候補情報生成部４４４によって、癌領域情報に基づいて候補情報Ｆが生成され（ステップＳ８）、候補情報ＦがＡＲ画像生成部４４５に送信される。ステップＳ３で入力されたＯＮ／ＯＦＦ情報がＯＦＦである場合（ステップＳ７のＮＯ）、候補情報Ｆは生成されず、したがってＡＲ画像生成部４４５に候補情報Ｆは送信されない。
　ステップＳ６においてカメラ画像Ｄ内に癌領域Ｅが認識されたと判定された場合、ＡＲ画像生成部４４５において、癌有無情報Ｇを含むＡＲ画像Ｈが生成される（ステップＳ９）。ステップＳ８において、候補情報生成部４４４によって候補情報Ｆが生成された場合、ＡＲ画像Ｈには、候補情報Ｆも含まれる。
　一方、ステップＳ６においてカメラ画像Ｄ内に癌領域Ｅが認識されなかったと判定され場合、癌有無情報Ｇおよび候補情報Ｆを含まないＡＲ画像Ｈが生成される（ステップＳ９）。
　次に、ＡＲ画像Ｈがコンピュータ４からＡＲディスプレイ３に送信され（ステップＳ１０）、ＡＲディスプレイ３によって、ＡＲ画像Ｈが接眼レンズ１５の視野Ａに重畳される。
　このように、カメラ画像Ｄ内に癌領域Ｅが認識された場合、視野Ａ内の周辺領域Ｃに癌有無情報Ｇが表示される。一方、カメラ画像Ｄ内に癌領域Ｅが認識されなかった場合、視野Ａ内の周辺領域Ｃに癌有無情報Ｇは表示されない。したがって、観察者は、接眼レンズ１５を覗いて標本Ｓの光学像Ｂを観察しながら、癌有無情報Ｇの表示および非表示に基づいて癌領域Ｅが存在するか否かを容易に認識することができる。
　さらに、光学像Ｂ内に癌領域Ｅが認識された場合、光学像Ｂの癌領域Ｅの位置に候補情報Ｆが重畳される。したがって、観察者は、候補情報Ｆに基づいて、光学像Ｂ内の癌領域Ｅの位置を認識することができる。
　光学像Ｂ内の癌領域Ｅに重畳される候補情報Ｆは、診断の邪魔になり得る。観察者は、マウス５の操作またはキーボード６への入力によって、候補情報Ｆの表示と非表示とを切り替えることができる。例えば、マウス５またはキーボード６を使用して、光学像Ｂに重畳されている候補情報Ｆを非表示に切り替える入力操作が観察者によって行われると、マウス情報またはキーボード情報がＯＮ／ＯＦＦ情報生成部４３に入力される。マウス情報またはキーボード情報に応答して、ＯＮ／ＯＦＦ情報生成部４３によって、ＯＮ／ＯＦＦ情報がＯＮからＯＦＦに切り替えられ、ステップＳ３において、ＯＦＦのＯＮ／ＯＦＦ情報が候補情報生成部４４４に入力される。そして、候補情報Ｆの生成が停止し、癌有無情報Ｇのみを含むＡＲ画像Ｈが生成される（ステップＳ９）。
　また、候補情報Ｆが非表示に切り替えられた後、マウス５またはキーボード６を使用して、候補情報Ｆを表示に切り替える入力操作が観察者によって行われると、マウス情報またはキーボード情報がＯＮ／ＯＦＦ情報生成部４３に入力される。マウス情報またはキーボード情報に応答して、ＯＮ／ＯＦＦ情報生成部４３によって、ＯＮ／ＯＦＦ情報がＯＦＦからＯＮに切り替えられ、ステップＳ３において、ＯＮのＯＮ／ＯＦＦ情報が候補情報生成部４４４に入力される。そして、候補情報Ｆの生成が再開され（ステップＳ８）、癌有無情報Ｇおよび候補情報Ｆを含むＡＲ画像Ｈが生成される（ステップＳ９）。
　このように、本実施形態によれば、癌有無情報Ｇは、光学像Ｂの外の領域Ｃに表示されるので、癌有無情報Ｇが観察者による光学像Ｂの観察を妨げることがない。このような癌有無情報Ｇによって、観察者による診断を妨害することを防ぎながら、効果的に診断を支援することができる。
　また、比較的低倍率の対物レンズ１２で標本Ｓを観察しているときは、ＯＮ／ＯＦＦ情報がＯＮであり、候補情報Ｆが光学像Ｂに重畳される。一方、比較的高倍率の対物レンズ１２で標本Ｓを観察しているときは、ＯＮ／ＯＦＦ情報がＯＦＦであり、候補情報Ｆの光学像Ｂへの重畳が停止される。
　低倍率の対物レンズ１２によって形成された光学像Ｂは、標本Ｓの広い範囲の像である。したがって、癌領域Ｅが光学像Ｂの一部分のみを占める蓋然性が高い。この場合、光学像Ｂに重畳された候補情報Ｆは、癌領域Ｅの位置を観察者に認識させるのに有効である。一方、高倍率の対物レンズ１２によって形成された光学像Ｂは、標本Ｓの狭い範囲の像である。したがって、癌領域Ｅが光学像Ｂの全体または大部分を占める蓋然性が高い。この場合、観察者に癌領域Ｅを認識させるためには、癌有無情報Ｇのみで足る。光学像Ｂの全体または大部分に重畳される候補情報Ｆは、癌領域Ｅの詳細な観察を妨げる可能性がある。
　本実施形態によれば、光学像Ｂの取得に使用されている対物レンズ１２の倍率に基づいて候補情報Ｆの表示と非表示とが自動的に切り替えられ、候補情報Ｆが診断の支援に有効であるときのみ、候補情報Ｆが光学像Ｂに重畳される。これにより、診断に不要な候補情報Ｆが光学像Ｂに重畳されることを防ぎ、候補情報Ｆが診断を妨害することを防ぐことができる。
　上記実施形態において、癌有無情報Ｇが、光学像Ｂの左上に表示される丸印であることとしたが、視野Ａ内の癌有無情報Ｇの表示位置、および、癌有無情報Ｇの形態は、これに限定されるものではなく、適宜変更可能である。図６Ａから図６Ｃは、癌有無情報Ｇの他の例を示している。
　図６Ａおよび図６Ｃに示されるように、ＡＲ画像生成部４４５は、光学像Ｂ内の癌領域Ｅの位置に応じて、視野Ａ内の癌有無情報Ｇの位置を変更してもよい。例えば、癌領域Ｅが、光学像Ｂ内の左下部分に存在する場合、癌有無情報Ｇが光学像Ｂの左下に表示されてもよい。このように、光学像Ｂの中心に対して光学像Ｂ内の癌領域Ｅの位置と同じ側に癌有無情報Ｇを表示することによって、観察者は、癌有無情報Ｇの位置に基づいて癌領域Ｅの位置を認識することができる。
　光学像Ｂ内の癌領域Ｅの位置は、例えば、癌有無判定部４４３によって判定される。判定方法の一例として、癌有無判定部４４３は、癌細胞を含むと最初に判定された画素の位置を癌領域Ｅの位置に決定し、癌領域Ｅの位置が、光学像Ｂの左上、右上、左下、右下の４つの象限の内、いずれに属するかを判定し、判定結果をＡＲ画像生成部４４５に送信する。判定方法の他の例として、癌有無判定部４４３は、光学像Ｂの４つの象限の内、癌細胞を含む画素が最も多い象限を癌領域Ｅの位置に決定してもよい。ＡＲ画像生成部４４５は、癌有無判定部４４３による判定結果に基づく位置に癌有無情報Ｇが配置されたＡＲ画像Ｈを生成する。
　図６Ｂおよび図６Ｃに示されるように、癌有無情報Ｇは、光学像Ｂの縁に沿う線であってもよい。線は、図６Ｂに示されるように、光学像Ｂを囲む円であってもよく、図６Ｃに示されるように、光学像Ｂ内の癌領域Ｅの位置と同じ側に表示される円弧であってもよい。
　上記実施形態において、候補情報生成部（重畳切替部）４４４は、候補情報Ｆの光学像Ｂへの重畳開始から経過した時間の長さを計測するタイマ４４６を有していてもよい。例えば、候補情報生成部４４４は、候補情報Ｆの生成開始を候補情報Ｆの光学像Ｂへの重畳開始とし、候補情報Ｆの生成開始時にタイマ４４６による時間の計測を開始する。候補情報生成部４４４は、タイマ４４６によって計測された時間の長さが所定の長さに達したときに、候補情報Ｆの生成を停止する。したがって、光学像Ｂへの候補情報Ｆの重畳開始から所定の長さの時間が経過したときに、図４Ｇに示されるように、光学像Ｂ上の候補情報Ｆが自動的に非表示に切り替わる。
　観察者が光学像Ｂ上の候補情報Ｆを一度認識した後、観察者にとって候補情報Ｆは不要である。したがって、候補情報Ｆが光学像Ｂに重畳された後、所定の長さの時間が経過したときに候補情報Ｆを自動的に消すことによって、不要な候補情報Ｆが診断を妨害することを防ぐことができる。
　候補情報生成部４４４は、候補情報Ｆの光学像Ｂへの重畳開始時刻からの経過時間に基づいて候補情報Ｆの生成を停止することによって、候補情報Ｆを非表示に切り替えることとしたが、これに代えて、ステージ１１の動きに基づいて候補情報Ｆを非表示に切り替えてもよい。
　すなわち、候補情報生成部４４４は、ステージ１１が動いているか、または静止しているかの情報を取得する。例えば、候補情報生成部４４４は、時系列のカメラ画像Ｄの変化から、ステージ１１が動いているか、または静止しているかを検知する。候補情報生成部４４４は、ステージ１１の静止開始から経過した時間の長さをタイマ４４６によって計測し、タイマ４４６によって計測された時間の長さが所定の長さに達したときに、候補情報Ｆの生成を停止する。
　観察者は、ステージ１１を水平方向に移動させながら光学像Ｂを観察し、癌領域Ｅが発見されたときに、光学像Ｂを注意深く観察するためにステージ１１を停止させる。ステージ１１を停止させた後、所定の長さ時間が経過したときに光学像Ｂ上の候補情報Ｆが自動的に非表示に切り替わる。これにより、不要な候補情報Ｆが診断を妨害することを防ぐことができる。
　上記実施形態において、候補情報Ｆが、癌領域Ｅの境界情報であることとしたが、候補情報Ｆは、癌領域Ｅに関する他の情報であってもよい。
　例えば、候補情報Ｆは、癌の確率を表すヒートマップでもよい。ヒートマップは、癌領域情報を生成する過程で癌領域認識部４４２によって生成される。例えば、ヒートマップにおいて、各画素は、癌である確率に応じた色で表示される。ヒートマップは、光学像Ｂ内の癌領域Ｅに投影され重畳される。
　上記実施形態において、カメラ画像Ｄから癌領域Ｅを認識し、癌有無情報Ｇおよび癌領域Ｅの候補情報Ｆを観察者に提供することとしたが、認識対象の病変部は癌領域Ｅに限定されるものではなく、病理診断の対象になり得る任意の病変部であってもよい。例えば、病変部は、良性の腫瘍または炎症部位等であってもよい。
　上記実施形態において、対物レンズ情報生成部４２が、光学顕微鏡１からのレボルバ情報に基づいて対物レンズ情報を生成することとしたが、これに代えて、他の情報に基づいて対物レンズ情報を生成してもよい。例えば、対物レンズ情報生成部４２は、カメラ画像入力部４１を経由してカメラ画像Ｄを受け取り、カメラ画像Ｄを解析することによって、観察に使用されている対物レンズ１２の倍率を推定し対物レンズ情報を生成してもよい。
　上記実施形態において、認識された病変部が存在するか否かの情報を、視野Ａ内に表示された候補有無情報Ｇによって観察者に視覚的に提供することとしたが、これに代えて、またはこれに加えて、音声によって提供してもよい。
　上記実施形態において、有無情報表示部が、候補有無情報Ｇを視野Ａに投影するＡＲディスプレイ３であることとしたが、これに代えて、視野Ａ内に配置されたランプであってもよい。この場合、ランプが発する光のスポットが、候補有無情報Ｇとして視野Ａ内に表示される。
　上記実施形態において、癌領域Ｅの境界情報Ｆの形状を、癌の種類または倍率に応じて変更してもよい。例えば、癌の種類が印環細胞癌の場合、または倍率が低倍率の場合、光学像Ｂ内の癌領域Ｅは小さいため、癌領域Ｅの境界線を視認し難い。このような場合、境界情報Ｆを、癌領域Ｅを囲み癌領域Ｅよりも大きい矩形の枠にすることによって、境界情報Ｆの視認性を向上することができる。
１００　光学顕微鏡システム
１　光学顕微鏡
２　カメラ（撮像部）
３　拡張現実（ＡＲ）ディスプレイ（有無情報表示部、候補情報重畳部）
１５　接眼レンズ（接眼部）
４４　画像解析部
４４６　タイマ
Ａ　視野
Ｂ　光学像
Ｃ　周辺領域
Ｄ　カメラ画像、デジタル画像
Ｅ　癌領域
Ｆ　候補情報、境界情報
Ｇ　癌有無情報（候補有無情報）
Ｈ　拡張現実（ＡＲ）画像
Ｓ　標本、生体組織

Claims (6)

  1. 　生体組織の光学像を取得する光学顕微鏡であって、前記光学像を観察するための接眼部を有する光学顕微鏡と、
    　前記光学像を撮像し前記生体組織のデジタル画像を取得する撮像部と、
    　該撮像部によって取得された前記デジタル画像を解析し、該デジタル画像に含まれる病変部の候補を認識する画像解析部と、
    　該画像解析部によって認識された前記病変部の候補の有無に関する候補有無情報を、前記接眼部の視野内かつ前記光学像の外の領域に表示させる有無情報表示部と、を備える光学顕微鏡システム。
  2. 　前記画像解析部が、前記病変部の候補に関する候補情報を生成し、
    　前記画像解析部によって生成された前記候補情報を前記光学像内の前記病変部の候補の領域に重畳する候補情報重畳部と、
    　該候補情報重畳部によって前記候補情報を前記光学像に重畳するか否かを切り替える重畳切替部と、を備える請求項１に記載の光学顕微鏡システム。
  3. 　前記重畳切替部は、前記候補情報の前記光学像への重畳開始から経過した時間の長さを計測するタイマを有し、該タイマによって計測された時間の長さが所定の長さに達したときに前記候補情報の重畳を停止する、請求項２に記載の光学顕微鏡システム。
  4. 　前記重畳切替部は、前記光学顕微鏡のステージの静止開始から経過した時間の長さを計測するタイマを有し、該タイマによって計測された時間の長さが所定の長さに達したときに前記候補情報の重畳を停止する、請求項２または請求項３に記載の光学顕微鏡システム。
  5. 　前記重畳切替部が、前記光学像の取得に使用されている前記光学顕微鏡の対物レンズの倍率に基づいて、前記病変部の候補情報を前記光学像に重畳するか否かを切り替える、請求項２から請求項４のいずれかに記載の光学顕微鏡システム。
  6. 　前記候補情報重畳部が、前記候補有無情報を前記光学像の中心に対して前記光学像内の前記病変部の位置と同じ側に表示する、請求項２から請求項５のいずれかに記載の光学顕微鏡システム。
PCT/JP2020/005541 2020-02-13 2020-02-13 光学顕微鏡システム WO2021161447A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/005541 WO2021161447A1 (ja) 2020-02-13 2020-02-13 光学顕微鏡システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/005541 WO2021161447A1 (ja) 2020-02-13 2020-02-13 光学顕微鏡システム

Publications (1)

Publication Number Publication Date
WO2021161447A1 true WO2021161447A1 (ja) 2021-08-19

Family

ID=77292352

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/005541 WO2021161447A1 (ja) 2020-02-13 2020-02-13 光学顕微鏡システム

Country Status (1)

Country Link
WO (1) WO2021161447A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10325798A (ja) * 1997-05-23 1998-12-08 Olympus Optical Co Ltd 顕微鏡装置
JPH11501403A (ja) * 1994-10-26 1999-02-02 ライカ ミクロスコピー ズュステーメ アーゲー 顕微鏡、特に手術用顕微鏡
JPH11271643A (ja) * 1998-03-20 1999-10-08 Olympus Optical Co Ltd システム顕微鏡
JP2016114943A (ja) * 2014-12-11 2016-06-23 カール ツアイス メディテック アクチエンゲゼルシャフト 光学観察デバイスおよび光学観察デバイスを操作するための方法
WO2018231204A1 (en) * 2017-06-13 2018-12-20 Google Llc Augmented reality microscope for pathology

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11501403A (ja) * 1994-10-26 1999-02-02 ライカ ミクロスコピー ズュステーメ アーゲー 顕微鏡、特に手術用顕微鏡
JPH10325798A (ja) * 1997-05-23 1998-12-08 Olympus Optical Co Ltd 顕微鏡装置
JPH11271643A (ja) * 1998-03-20 1999-10-08 Olympus Optical Co Ltd システム顕微鏡
JP2016114943A (ja) * 2014-12-11 2016-06-23 カール ツアイス メディテック アクチエンゲゼルシャフト 光学観察デバイスおよび光学観察デバイスを操作するための方法
WO2018231204A1 (en) * 2017-06-13 2018-12-20 Google Llc Augmented reality microscope for pathology

Similar Documents

Publication Publication Date Title
JP4855150B2 (ja) 眼底観察装置、眼科画像処理装置及び眼科画像処理プログラム
JP5576739B2 (ja) 画像処理装置、画像処理方法、撮像装置及びプログラム
JP2019532352A (ja) 組織標本の組織学的検査のためのシステム
JP5663283B2 (ja) 内視鏡画像処理装置及びプログラム
EP2543308A1 (en) Fluorescence observation device
JP6779089B2 (ja) 内視鏡システム及び内視鏡システムの駆動方法
US9678326B2 (en) Generating perspective views in microscopy
US11426052B2 (en) Endoscopic system
JP4751689B2 (ja) 眼球表面解析システム
EP1882967B1 (en) Scanning examination apparatus
JP2012013804A (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP5677770B2 (ja) 医療診断支援装置、バーチャル顕微鏡システムおよび標本支持部材
JP2006023476A (ja) 共焦点走査型顕微鏡
US10721413B2 (en) Microscopy system, microscopy method, and computer readable recording medium
US11010914B2 (en) Image processing device, microscope system, image processing method, and program
WO2021161447A1 (ja) 光学顕微鏡システム
WO2020008920A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
US20060193496A1 (en) Examination method and examination-assisting tool
JP5119111B2 (ja) 顕微鏡装置
WO2021166219A1 (ja) 光学顕微鏡システム
JP2003290133A (ja) 光イメージング装置
JP2010164635A (ja) 共焦点顕微鏡
JP2009294465A (ja) 顕微鏡用撮像装置と、対物ミクロメータ
JP4812272B2 (ja) 観察方法および観察装置
JP6177000B2 (ja) レーザ走査型顕微鏡

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20918867

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20918867

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP