WO2021166219A1 - 光学顕微鏡システム - Google Patents

光学顕微鏡システム Download PDF

Info

Publication number
WO2021166219A1
WO2021166219A1 PCT/JP2020/007039 JP2020007039W WO2021166219A1 WO 2021166219 A1 WO2021166219 A1 WO 2021166219A1 JP 2020007039 W JP2020007039 W JP 2020007039W WO 2021166219 A1 WO2021166219 A1 WO 2021166219A1
Authority
WO
WIPO (PCT)
Prior art keywords
lesion
unit
image
stage
candidate
Prior art date
Application number
PCT/JP2020/007039
Other languages
English (en)
French (fr)
Inventor
健郎 大澤
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2020/007039 priority Critical patent/WO2021166219A1/ja
Publication of WO2021166219A1 publication Critical patent/WO2021166219A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an optical microscope system, and more particularly to an optical microscope system that estimates a lesion by analyzing a digital image and supports pathological diagnosis.
  • a pathological specimen is a thinly sliced and stained section of living tissue. Determining whether the tissue of a pathological specimen contains cancer cells can be difficult even for an experienced pathologist. Therefore, an augmented reality (AR) microscope has been proposed in which support information that supports diagnosis such as the contour of a cancerous region is superimposed on an optical image of a pathological specimen observed through an eyepiece (see, for example, Patent Document 1). .. Based on the support information superimposed on the optical image, the pathologist can reliably detect the cancer and know the location of the cancer.
  • AR augmented reality
  • the support information superimposed on the optical image may interfere with the diagnosis by the pathologist. For example, if the pathologist can easily detect the cancer without the support information, if the support information already recognizes the cancer area, or if the support information is incorrect, the support information is the pathologist. Not necessary for.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide an optical microscope system capable of effectively supporting a diagnosis without interfering with the diagnosis.
  • One aspect of the present invention is an optical microscope that acquires an optical image of a biological tissue, the optical microscope having an electric stage on which the biological tissue is placed and an eyepiece for observing the optical image.
  • a stage control unit that controls the electric stage, an imaging unit that captures the optical image and acquires a digital image of the biological tissue, and the digital image acquired by the imaging unit are analyzed and included in the digital image. Calculates the moving direction and the amount of movement of the lesion recognition portion that recognizes the candidate of the lesion portion and the electric stage for moving the candidate of the lesion portion recognized by the lesion recognition portion to the center of the optical image.
  • the stage control unit includes the movement amount calculation unit and a notification unit that notifies the observer that a candidate for the lesion portion has been recognized by the lesion portion recognition unit, and the stage control unit has the lesion by the lesion portion recognition unit.
  • This is an optical microscope system that moves the electric stage according to the movement direction and the movement amount calculated by the movement amount calculation unit when the candidate of the unit is recognized.
  • a digital image including an optical image of a living tissue acquired by an optical microscope is acquired by an imaging unit.
  • the lesion portion recognition unit analyzes the digital image, and when the lesion region candidate is included in the digital image, the lesion region candidate is recognized.
  • the movement amount and the movement direction of the electric stage for moving the lesion candidate to the center of the optical image are calculated by the movement amount calculation unit, and the electric stage is calculated according to the movement amount and the movement direction. Is moved by the stage control unit. As a result, the lesion candidate is placed in the center of the optical image. Further, the notification unit notifies the observer that the candidate lesion has been recognized. The observer can easily find a candidate lesion by gazing at the center of the optical image through the eyepiece based on the notification.
  • the movement of the electric stage and the notification by the notification unit support the observer's diagnosis of the biological tissue of the lesion. Thereby, the diagnosis can be effectively supported without interfering with the diagnosis.
  • the notification unit may display candidate presence / absence information regarding the presence / absence of a candidate for the lesion portion in the visual field of the eyepiece portion.
  • the observer can simultaneously observe the optical image of the biological tissue and the candidate presence / absence information through the eyepiece, and based on the candidate presence / absence information, whether or not there is a candidate for the lesion. Can be recognized.
  • the notification unit may display the candidate presence / absence information in a region within the field of view and outside the optical image.
  • the candidate presence / absence information displayed in the area outside the optical image does not overlap the optical image.
  • Such candidate presence / absence information can more reliably prevent interference with the diagnosis based on the optical image.
  • the digital image acquired by the imaging unit may include a peripheral region outside the field of view of the optical image.
  • the only area that the observer can observe through the eyepiece is the field of view of the optical image.
  • the recognized lesion candidate in the peripheral region moves to the center of the optical image by moving the electric stage. As a result, the observer can easily find a candidate for a lesion in the peripheral region.
  • the lesion recognition portion detects a position in which the probability value of the lesion is equal to or greater than a predetermined value and is the maximum in the region recognized as a candidate for the lesion portion, and the movement amount is calculated.
  • the unit may calculate the movement direction and the movement amount for moving the position detected by the lesion recognition part to the center of the optical image. According to this configuration, among the candidates for the lesion, the position with the highest probability of being a lesion is placed in the center of the optical image by moving the electric stage. This makes it possible to support the diagnosis more effectively.
  • FIG. 4B It is a figure explaining an example of the calculation method of the moving direction and the moving amount of the electric stage for moving the cancer region of FIG. 4C to the center of an optical image. It is a figure which shows the field of view of an eyepiece after moving an electric stage by automatic control. It is a flowchart which shows the processing of an image analysis part.
  • the optical microscope system 100 includes an optical microscope 1, a camera 2 and an indicator lamp 3 connected to the optical microscope 1, and a computer 4 connected to the optical microscope 1, the camera 2, and the indicator lamp 3. And have.
  • the optical microscope 1 is a transmission type upright microscope that acquires an optical image B of a specimen S.
  • the optical microscope 1 includes a horizontal stage 11 on which the specimen S is placed, a revolver 13 arranged above the stage 11 and holding a plurality of objective lenses 12, and a lower side of the specimen S arranged below the stage 11. It is provided with an illumination system 14 that irradiates the illumination light from the surface, and an eyepiece lens (eyepiece portion) 15 for observing the optical image B of the specimen S formed by the objective lens 12.
  • Specimen S is a pathological specimen, that is, a section of living tissue attached on a slide glass. Specimen S is placed horizontally on the stage 11.
  • the stage 11 is an electric stage that can move in two horizontal directions that are orthogonal to each other. Therefore, the optical microscope system 100 further includes an electric motor 5 for automatic control of the stage 11 and a motor control unit 6.
  • the horizontal movement of the stage 11 is controlled automatically or manually.
  • a stage control signal is input from the computer 4 to the motor control unit 6 via a data transmission cable.
  • the motor control unit 6 controls the electric motor 5 according to the stage control signal from the computer 4, the moving direction and the moving amount of the stage 11 by the electric motor 5 are controlled.
  • the stage 11 is moved by a manual operation of a handle (not shown). By moving the stage 11 in the horizontal direction, the observation position of the specimen S by the objective lens 12 can be moved in the horizontal direction.
  • the stage 11 can move in the vertical direction.
  • the vertical movement of the stage 11 is manually controlled by a manual operation of a handle (not shown).
  • the vertical movement of the stage 11 allows the objective lens 12 to be focused on the specimen S.
  • the stage 11 is controlled either automatically or manually, and is configured not to accept the manual control of the stage 11 during the automatic control.
  • the revolver 13 has a plurality of mounting holes (not shown) arranged in the circumferential direction around the rotation axis, and the objective lens 12 is mounted in each mounting hole.
  • the revolver 13 is equipped with four 4x, 10x, 20x and 40x objective lenses 12.
  • the optical microscope 1 transmits the revolver information to the computer 4.
  • the revolver information is information on the rotation position around the rotation axis of the revolver 13 corresponding to the objective lens 12 currently in use.
  • FIG. 4A represents the field of view A of the eyepiece 15 that can be seen through the eyepiece 15.
  • the field of view A includes a central bright optical image B formed by the objective lens 12 and a dark peripheral region C outside the optical image B.
  • the lamp light is also incident on the second optical element 17b from the indicator lamp 3 and reflected toward the eyepiece lens 15.
  • the lamp light is combined with the transmitted light from the specimen S, and the light spot (candidate presence / absence information) G of the lamp light is displayed in the field of view A of the eyepiece lens 15.
  • the observer can simultaneously observe the optical image B and the light spot G of the specimen S through the eyepiece 15 (see FIG. 4E).
  • the camera (imaging unit) 2 is a digital camera having a CCD or CMOS image sensor.
  • the camera 2 acquires the camera image D, which is a digital image of the sample S, as shown in FIG. 4B.
  • the camera 2 acquires a live image of the sample S by acquiring the camera image D at a predetermined frame rate (for example, 30 fps).
  • the camera image D is input from the camera 2 to the computer 4 by a communication cable such as a USB cable.
  • a display control signal is input to the indicator lamp (notification unit) 3 from the computer 4 via a data transmission cable.
  • the indicator lamp 3 emits lamp light according to a display control signal. Specifically, as will be described later, when the cancer region E is recognized in the camera image D, an ON display control signal is input to the display lamp 3. When the display control signal is ON, the display lamp 3 lights up and emits lamp light. On the other hand, when the cancer region E is not recognized in the camera image D, an OFF display control signal is input to the display lamp 3. When the display control signal is OFF, the display lamp 3 does not light and does not emit lamp light. That is, the indicator lamp 3 notifies the observer that the cancer region E has been recognized in the camera image D by displaying the light spot G in the visual field A. Here, the display lamp 3 displays the light spot G at a position corresponding to the peripheral region C in the visual field A. In the example of FIG. 4E, the display position of the light spot G is the upper left of the optical image B.
  • the computer 4 includes a processor such as a CPU and a storage unit having RAM, ROM and any other storage device. The functions described later of the computer 4 are realized by the processor executing the process according to the program stored in the storage unit.
  • the computer 4 analyzes the camera image D, generates a display control signal and a stage control signal based on the analysis result, outputs the display control signal to the display lamp 3, and outputs the stage control signal to the motor control unit 6.
  • the computer 4 includes a camera image input unit 41, an objective lens information generation unit 42, and an image analysis unit 43.
  • the camera image input unit 41 receives the camera image D from the camera 2 at a predetermined frame rate, and overwrites and saves the latest camera image D in the memory.
  • the objective lens information generation unit 42 receives revolver information from the optical microscope 1.
  • the objective lens information generation unit 42 converts the revolver information into objective lens information including information on the magnification of the objective lens 12 currently in use, based on the correspondence between the preset revolver information and the magnification of the objective lens 12. do.
  • the image analysis unit 43 receives the camera image D from the camera image input unit 41, recognizes the cancer region (candidate for lesion) E in the camera image D by analyzing the camera image D, and displays it based on the recognition result. Generate control signals and stage control signals.
  • the image analysis unit 43 receives the latest camera image D from the camera image input unit 41 in synchronization with the output of the display control signal, and repeats the analysis of the camera image D and the output of the display control signal.
  • FIG. 3 shows a more detailed configuration of the image analysis unit 43. As shown in FIG. 3, the image analysis unit 43 includes a resolution conversion unit 431, a cancer region recognition unit (lesion recognition unit) 432, a cancer presence / absence determination unit 433, and a stage control signal generation unit (movement amount calculation unit). , Stage control unit) 434.
  • the resolution conversion unit 431 receives the camera image D from the camera image input unit 41 and receives the objective lens information from the objective lens information generation unit 42.
  • the resolution of the camera image D with respect to the specimen S differs depending on the magnification of the objective lens 12 used to acquire the camera image D.
  • the resolution conversion unit 431 converts the resolution of the camera image D based on the magnification included in the objective lens information to generate a camera image D having a predetermined resolution for the sample S regardless of the magnification of the objective lens 12. ..
  • the resolution conversion unit 431 downsamples the camera image D acquired by using the 40 times objective lens 12. ,
  • the number of vertical and horizontal pixels of the camera image D is reduced by 1/4, respectively.
  • the cancer region recognition unit 432 receives a camera image D having a predetermined resolution from the resolution conversion unit 431.
  • the cancer region recognition unit 432 recognizes the cancer region E in the camera image D, and outputs the cancer region information including the position information of the cancer region E to the cancer presence / absence determination unit 433.
  • the cancer region recognition unit 432 analyzes whether or not each pixel of the camera image D contains cancer cells, and generates information as to whether or not each pixel contains cancer as cancer region information.
  • a model created by machine learning is used for the analysis of each pixel. For example, a large number of sets of images having a predetermined resolution and corresponding correct cancer region information are prepared as training data, and a model is created by deep learning of the training data.
  • FIG. 4B shows a camera image D including the cancer region E
  • FIG. 4C shows the cancer region information obtained by analyzing the camera image D of FIG. 4B.
  • the white region represents the cancer region E
  • the black region represents a region other than the cancer region E.
  • the cancer region recognition unit 432 may analyze only the pixels in the region corresponding to the optical image B (see the chain line circle in FIG. 4B) instead of all the pixels in the camera image D.
  • the cancer presence / absence determination unit 433 receives the cancer region information from the cancer region recognition unit 432, and determines whether or not the cancer region E is recognized in the camera image D based on the cancer region information. For example, the cancer presence / absence determination unit 433 determines that the cancer region E is recognized in the camera image D when one or more pixels including the cancer cells are included in the cancer region information. On the other hand, the cancer presence / absence determination unit 433 determines that the cancer region E is not recognized in the camera image D when all the pixels included in the cancer region information do not contain the cancer cells. The cancer presence / absence determination unit 433 stores the determination result in the memory and determines the next camera image D.
  • the cancer presence / absence determination unit 433 outputs a display control signal based on the determination result to the display lamp 3. Specifically, when the cancer presence / absence determination unit 433 determines that the cancer region E is recognized in the camera image D, it outputs an ON display control signal, and the cancer region E is not recognized in the camera image D. If it is determined, an OFF display control signal is output. Further, the cancer presence / absence determination unit 433 automatically controls the stage 11 to the stage control signal generation unit 434 only when the determination result that the cancer region E is not recognized changes to the determination result that the cancer region E is recognized. Output the automatic control permission signal to enable.
  • the stage control signal generation unit 434 receives the cancer region information from the cancer region recognition unit 432 and the objective lens information from the objective lens information generation unit 42. ..
  • the stage control signal generation unit 434 calculates the moving direction and moving amount of the stage 11 for moving the cancer region E to the center of the optical image B based on the cancer region information and the objective lens information.
  • the stage control signal generation unit 434 generates a stage control signal for moving the stage 11 by the calculated movement amount in the calculated movement direction, and outputs the stage control signal to the motor control unit 6.
  • the cancer region E is arranged in the center of the optical image B as shown in FIG. 4E.
  • FIG. 4D describes an example of a method of calculating the moving direction and the moving amount of the electric stage 11 for moving the cancer region E of FIG. 4C to the center of the optical image B.
  • the vector from the central position of the optical image B shown by the cross in the cancer region information to the representative position of the cancer region E is calculated.
  • the central position of the optical image B in the cancer region information is given in advance for each magnification of the objective lens 12.
  • the representative position is, for example, the position of the top pixel of the cancer region E or the position of the center of gravity of the cancer region E.
  • the amount of movement of the stage 11 in each of the vertical and horizontal directions is calculated from the calculated number of pixels in each of the vertical and horizontal directions of the vector.
  • the amount of movement in the vertical direction is calculated by multiplying the number of pixels in the vertical direction by a predetermined coefficient, and the number of pixels in the horizontal direction is calculated.
  • the amount of lateral movement is calculated by multiplying by a predetermined coefficient.
  • a predetermined coefficient is stored in advance in the memory of the stage control signal generation unit 434, and is given for each magnification of the objective lens 12.
  • the observer observes the optical image B of the specimen S acquired by the optical microscope 1 through the eyepiece lens 15.
  • the camera image D of the optical image B of the sample S is acquired by the camera 2 at a predetermined frame rate, and the camera image D is input to the computer 4.
  • the revolver information is input from the optical microscope 1 to the computer 4.
  • the camera image D is input to the image analysis unit 43 via the camera image input unit 41. Further, in the computer 4, the revolver information is converted into the objective lens information by the objective lens information generation unit 42, and the objective lens information is input to the image analysis unit 43.
  • the automatic control permission signal for enabling the automatic control of the stage 11 is set to OFF, that is, invalid (step S0).
  • the camera image D and the objective lens information are input (steps S1 and S2).
  • the order of inputting the camera image D and the objective lens information to the image analysis unit 43 is arbitrary and can be changed.
  • the image analysis unit 43 generates a display control signal and a stage control signal (steps S3 to S10). That is, the resolution conversion unit 431 converts the resolution of the camera image D to a predetermined resolution based on the magnification of the objective lens 12 (step S3).
  • the cancer region recognition unit 432 recognizes the cancer region E in the camera image D having a predetermined resolution (step S4). Then, the cancer region recognition unit 432 transmits the cancer region information which is the recognition result of the cancer region E to the cancer presence / absence determination unit 433 and the stage control signal generation unit 434.
  • the cancer presence / absence determination unit 433 determines whether or not the cancer region E is recognized in the camera image D based on the cancer region information (step S5).
  • the ON display control signal is output from the cancer presence / absence determination unit 433 to the indicator lamp 3 (step S7).
  • the indicator lamp 3 lights up in response to the ON display control signal and emits lamp light.
  • the spot G of the lamp light is displayed in the field of view A of the eyepiece lens 15 being observed by the observer.
  • the cancer presence / absence determination unit 433 turns on the automatic control permission signal for enabling the automatic control of the stage 11 (step S8).
  • the stage control signal generation unit 434 generates a stage control signal and outputs it to the motor control unit 6 (step S9).
  • the motor control unit 6 controls the electric motor 5 in response to the stage control signal to move the stage 11.
  • the cancer region E is arranged in the center of the optical image B in the field of view A of the eyepiece 15 being observed by the observer.
  • the OFF display control signal is output from the cancer presence / absence determination unit 433 to the indicator lamp 3 (step S10).
  • the indicator lamp 3 turns off in response to the OFF display control signal and does not emit lamp light. Therefore, the light spot G is not displayed in the field of view A of the eyepiece 15 that the observer is observing.
  • the automatic control permission signal is ON, the cancer presence / absence determination unit 433 turns off the automatic control signal, and when the automatic control permission signal is OFF, it is not changed as it is (step S11).
  • the light spot G is displayed in the visual field A, and the cancer region E is displayed by the automatic control of the stage 11. It is arranged in the center of the optical image B.
  • the observer can recognize that the cancer region E has been recognized based on the display of the light spot G, and that the cancer region E has moved to the center of the optical image B by the automatic control of the stage 11. Then, the observer can easily find the cancer region E by gazing at the center of the optical image B. Further, the movement of the light spot G and the cancer region E displayed in the peripheral region C does not interfere with the observation of the optical image B by the observer. This makes it possible to effectively support the diagnosis while preventing the observer from interfering with the diagnosis.
  • the camera image D when the shooting range of the camera image D is wider than the field of view of the optical image B, the camera image D also has a peripheral region F outside the field of view of the optical image B.
  • the cancer region recognition unit 432 may recognize not only the cancer region E in the optical image B but also the cancer region E in the peripheral region F by analyzing the entire camera image D.
  • the range that the observer can observe through the eyepiece 15 is only the field of view of the optical image B. According to the above configuration, even when the cancer region E is recognized in the peripheral region F, the cancer region E is arranged in the center of the optical image B by the movement of the stage 11. Therefore, the observer can also find the cancer region E in the peripheral region F.
  • the cancer region recognition unit 432 generates and outputs information on the position of the cancer region E in the camera image D as the cancer region information, but instead of this, other information is generated as the cancer region information. It may be generated. For example, the cancer region recognition unit 432 detects a position in which the probability value of cancer (lesion) is equal to or higher than a predetermined value and is the maximum among the regions recognized as the cancer region E, and the detected position. The information may be generated as cancer region information. For example, the cancer region recognition unit 432 calculates a probability value of cancer for each pixel when analyzing whether or not each pixel of the camera image D contains cancer cells.
  • the cancer region recognition unit 432 determines that the cancer region E exists only when the maximum value of the probability value is equal to or greater than a predetermined value, and outputs the position of the pixel having the maximum value as the cancer region information.
  • the stage control signal generation unit 434 calculates the movement direction and the movement amount for moving the position of the pixel having the maximum probability value to the center of the optical image B.
  • the notification unit is the display lamp 3, and the fact that the cancer region E has been recognized is visually notified to the observer by displaying the light spot G in the visual field A, but instead of this. , Or in addition to this, the observer may be notified by other means.
  • the notification unit may be a device that outputs voice.
  • a storage unit that stores the movement direction and the movement amount of the stage 11 calculated by the stage control signal generation unit 434 may be provided.
  • a means for returning the stage 11 to the position before the automatic control for example, a return button may be provided.
  • the stage control signal generation unit 434 responds to the pressing of the return button and generates a stage control signal for moving the stage 11 to the position before the automatic control based on the movement direction and the movement amount stored in the storage unit. , Output to the motor control unit 6.
  • the control of the stage 11 is automatically changed from manual control to automatic control. It is switched and the stage 11 moves automatically. After observing the recognized cancer region E, the observer can return the stage 11 to the position before switching to the automatic control and resume the observation of the specimen S by pressing the return button.
  • the information on the movement of the stage 11 may be presented to the operator.
  • an arrow indicating the moving direction and the moving amount of the stage 11 may be superimposed on the visual field A.
  • the arrow is projected onto the field of view A by an augmented reality display connected to the optical microscope 1 and superimposed on the optical image B or the peripheral region C. The observer can recognize the moving direction and the moving amount of the stage 11 by the automatic control based on the arrows.
  • Optical microscope 2 Camera (imaging unit) 3 Indicator lamp (notification unit) 11 Electric stage 15 Eyepiece (eyepiece) 432 Cancer area recognition part (lesion part recognition part) 434 Stage control signal generation unit (movement amount calculation unit, stage control unit) 100 Optical microscope system A Field B Optical image C Peripheral area D Camera image, digital image E Cancer area (candidate for lesion) G light spot (candidate presence / absence information) S specimen, biological tissue

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

光学顕微鏡システム（１００）は、生体組織が載置される電動ステージ（１１）および生体組織の光学像を観察するための接眼部（１５）を有する光学顕微鏡（１）と、光学像を撮像し生体組織のデジタル画像を取得する撮像部（２）と、デジタル画像を解析し、デジタル画像に含まれる病変部の候補を認識する病変部認識部（４）と、認識された病変部の候補を光学像の中央に移動させるための電動ステージ（１１）の移動方向および移動量を算出する移動量算出部（４）と、病変部の候補が認識されたときに、算出された移動方向および移動量に従って電動ステージ（１１）を移動させるステージ制御部（４）と、病変部の候補が認識されたことを観察者に報知する報知部（３）と、を備える。

Description

光学顕微鏡システム
　本発明は、光学顕微鏡システムに関し、特に、デジタル画像の解析によって病変部を推定し病理診断を支援する光学顕微鏡システムに関するものである。
　病理診断では、病理標本を病理医が光学顕微鏡で観察する。病理標本は、薄くスライスされ染色された生体組織の切片である。病理標本の組織に癌細胞が含まれるか否かの判断は、経験を積んだ病理医にとっても難しい場合がある。そこで、接眼レンズを通して観察される病理標本の光学像に、癌領域の輪郭等の診断を支援する支援情報を重畳する拡張現実（ＡＲ）顕微鏡が提案されている（例えば、特許文献１参照。）。光学像に重畳された支援情報に基づき、病理医は、癌を確実に発見し、癌の位置を知ることができる。
国際公開第２０１８／２３１２０４号
　病理医が支援情報を必要としていないとき、光学像に重畳される支援情報は病理医による診断を妨害することがある。例えば、支援情報がなくても病理医が容易に癌を発見することができる場合、支援情報によって癌領域を既に認識している場合、および支援情報が間違っている場合等、支援情報は病理医にとって不要である。
　本発明は、上述した事情に鑑みてなされたものであって、診断を妨害することなく、かつ、効果的に診断を支援することができる光学顕微鏡システムを提供することを目的とする。
　上記目的を達成するため、本発明は以下の手段を提供する。
　本発明の一態様は、生体組織の光学像を取得する光学顕微鏡であって、前記生体組織が載置される電動ステージと、前記光学像を観察するための接眼部とを有する光学顕微鏡と、前記電動ステージを制御するステージ制御部と、前記光学像を撮像し前記生体組織のデジタル画像を取得する撮像部と、該撮像部によって取得された前記デジタル画像を解析し、該デジタル画像に含まれる病変部の候補を認識する病変部認識部と、該病変部認識部によって認識された前記病変部の候補を前記光学像の中央に移動させるための前記電動ステージの移動方向および移動量を算出する移動量算出部と、前記病変部認識部によって前記病変部の候補が認識されたことを観察者に報知する報知部と、を備え、前記ステージ制御部は、前記病変部認識部によって前記病変部の候補が認識されたときに、前記移動量算出部によって算出された移動方向および移動量に従って前記電動ステージを移動させる、光学顕微鏡システムである。
　本態様によれば、光学顕微鏡によって取得された生体組織の光学像を含むデジタル画像が撮像部によって取得される。次に、病変部認識部によって、デジタル画像が解析され、デジタル画像内に病変部の候補が含まれる場合には当該病変部の候補が認識される。
　病変部の候補が認識されたときに、病変部の候補を光学像の中央に移動させるための電動ステージの移動量および移動方向が移動量算出部によって算出され、移動量および移動方向に従って電動ステージがステージ制御部によって移動させられる。これにより、病変部の候補が光学像の中央に配置される。さらに、報知部によって、病変部の候補が認識されたことが観察者に報知される。観察者は、報知に基づき、接眼部を通して光学像の中央を注視することによって、病変部の候補を容易に発見することができる。
　このように、電動ステージの移動と報知部による報知によって、観察者による病変部の生体組織の診断が支援される。これにより、診断を妨害することなく、かつ、効果的に診断を支援することができる。
　上記態様において、前記報知部が、前記接眼部の視野内に前記病変部の候補の有無に関する候補有無情報を表示させてもよい。
　この構成によれば、観察者は、接眼部を通して、生体組織の光学像と候補有無情報とを同時に観察することができ、候補有無情報に基づいて、病変部の候補が存在するか否かを認識することができる。
　上記態様において、前記報知部が、前記視野内かつ前記光学像の外の領域に前記候補有無情報を表示してもよい。
　光学像の外の領域に表示された候補有無情報は、光学像に重なることはない。このような候補有無情報によって、光学像に基づく診断を妨害することをさらに確実に防ぐことができる。
　上記態様において、前記撮像部によって取得される前記デジタル画像が、前記光学像の視野の外の周辺領域を含んでいてもよい。
　観察者が接眼部を通して観察することができる領域は、光学像の視野のみである。上記構成によれば、光学像の視野のみならず周辺領域に存在する病変部の候補も、病変部認識部によって認識される。そして、周辺領域の認識された病変部の候補は、電動ステージの移動によって光学像の中央に移動する。これにより、観察者は、周辺領域の病変部の候補も容易に発見することができる。
　上記態様において、前記病変部認識部が、前記病変部の候補として認識された領域の内、病変である確率値が所定値以上であり、かつ、最大である位置を検出し、前記移動量算出部は、前記病変部認識部によって検出された前記位置を前記光学像の中央に移動させるための前記移動方向および前記移動量を算出してもよい。
　この構成によれば、病変部の候補の内、病変である確率が最も高い位置が、電動ステージの移動によって光学像の中央に配置される。これにより、より効果的に診断を支援することができる。
　本発明によれば、診断を妨害することなく、かつ、効果的に診断を支援することができるという効果を奏する。
本発明の一実施形態に係る光学顕微鏡システムの全体構成図である。 図１の光学顕微鏡システムのコンピュータの機能ブロック図である。 図２の画像解析部の機能ブロック図である。 接眼レンズの視野の一例を示す図である。 カメラ画像の一例を示す図である。 図４Ｂのカメラ画像において認識された癌領域を示す図である。 図４Ｃの癌領域を光学像の中央に移動させるための電動ステージの移動方向および移動量の算出方法の一例を説明する図である。 自動制御による電動ステージの移動後の接眼レンズの視野を示す図である。 画像解析部の処理を示すフローチャートである。
　以下に、本発明の一実施形態に係る光学顕微鏡システム１００について図面を参照して説明する。
　光学顕微鏡システム１００は、図１に示されるように、光学顕微鏡１と、光学顕微鏡１に接続されたカメラ２および表示ランプ３と、光学顕微鏡１、カメラ２および表示ランプ３と接続されたコンピュータ４とを備えている。
　光学顕微鏡１は、標本Ｓの光学像Ｂを取得する透過型の正立顕微鏡である。光学顕微鏡１は、標本Ｓが載置される水平なステージ１１と、ステージ１１の上側に配置され複数の対物レンズ１２を保持するレボルバ１３と、ステージ１１の下側に配置され標本Ｓに下側から照明光を照射する照明系１４と、対物レンズ１２によって形成された標本Ｓの光学像Ｂを観察するための接眼レンズ（接眼部）１５とを備える。標本Ｓは、病理標本、すなわち、スライドガラス上に貼られた生体組織の切片である。標本Ｓは、ステージ１１上に水平に載置される。
　ステージ１１は、相互に直交する２つの水平方向に移動可能な電動ステージである。したがって、光学顕微鏡システム１００は、ステージ１１の自動制御用の電動モータ５およびモータ制御部６をさらに備える。
　ステージ１１の水平方向の移動は、自動または手動で制御される。自動制御において、コンピュータ４からデータ伝送ケーブルを経由してモータ制御部６にステージ制御信号が入力される。モータ制御部６がコンピュータ４からのステージ制御信号に従って電動モータ５を制御することによって、電動モータ５によるステージ１１の移動方向および移動量が制御される。手動制御において、ステージ１１は、図示しないハンドルの手動操作によって移動させられる。ステージ１１の水平方向の移動によって、対物レンズ１２による標本Ｓの観察位置を水平方向に移動することができる。
　また、ステージ１１は、鉛直方向に移動可能である。ステージ１１の鉛直方向の移動は、図示しないハンドルの手動操作によって手動で制御される。ステージ１１の鉛直方向の移動によって、標本Ｓに対物レンズ１２の焦点を合わせることができる。
　ステージ１１は自動および手動のいずれかで制御され、自動制御中は、ステージ１１の手動制御を受け付けないように構成されている。
　レボルバ１３は、回転軸回りの周方向に配列する複数の取付穴（図示略）を有し、各取付穴に対物レンズ１２が取り付けられている。例えば、レボルバ１３には、４倍、１０倍、２０倍および４０倍の４つの対物レンズ１２が取り付けられている。レボルバ１３の回転軸回りの回転によって、複数の対物レンズ１２が択一的に光路上に配置され、標本Ｓの光学像の取得に使用される対物レンズ１２が切り替えられる。
　光学顕微鏡１は、レボルバ情報をコンピュータ４に送信する。レボルバ情報は、現在使用中の対物レンズ１２に対応するレボルバ１３の回転軸回りの回転位置の情報である。
　標本Ｓを透過した照明光は、光路上の対物レンズ１２を通って第１中間鏡筒１６ａ内に進み、第１中間鏡筒１６ａ内でハーフミラーのような半透明の第１光学素子１７ａによって透過光と反射光とに分割される。反射光は、カメラ２に入射し、カメラ２のイメージセンサ上で像を結ぶ。透過光は、第２中間鏡筒１６ｂ内に進み、ハーフミラーのような第２光学素子１７ｂを透過し、ミラー１７ｃを経由して接眼レンズ１５に入射する。図４Ａは、接眼レンズ１５を通して見ることができる接眼レンズ１５の視野Ａを表している。視野Ａは、対物レンズ１２によって形成された中央の明るい光学像Ｂと、光学像Ｂの外の暗い周辺領域Ｃとを含む。
　第２光学素子１７ｂには、後述するように、表示ランプ３からランプ光も入射して接眼レンズ１５に向かって反射される。ランプ光は標本Ｓからの透過光に合成され、接眼レンズ１５の視野Ａにランプ光の光スポット（候補有無情報）Ｇが表示される。観察者は、接眼レンズ１５を通して、標本Ｓの光学像Ｂと光スポットＧとを同時に観察することができる（図４Ｅ参照。）。
　カメラ（撮像部）２は、ＣＣＤまたはＣＭＯＳイメージセンサを有するデジタルカメラである。カメラ２は、イメージセンサ上に形成される標本Ｓの光学像Ｂを撮像することによって、図４Ｂに示されるように、標本Ｓのデジタル画像であるカメラ画像Ｄを取得する。カメラ２は、所定のフレームレート（例えば、３０ｆｐｓ）でカメラ画像Ｄを取得することによって標本Ｓのライブ画像を取得する。カメラ画像Ｄは、ＵＳＢケーブル等の通信ケーブルによって、カメラ２からコンピュータ４に入力される。
　表示ランプ（報知部）３には、コンピュータ４からデータ伝送ケーブルを経由して表示制御信号が入力される。表示ランプ３は、表示制御信号に従ってランプ光を射出する。具体的には、後述するように、カメラ画像Ｄ内に癌領域Ｅが認識された場合、ＯＮの表示制御信号が表示ランプ３に入力される。表示制御信号がＯＮのとき、表示ランプ３は、点灯してランプ光を射出する。一方、カメラ画像Ｄ内に癌領域Ｅが認識されなかった場合、ＯＦＦの表示制御信号が表示ランプ３に入力される。表示制御信号がＯＦＦのとき、表示ランプ３は、点灯せずランプ光を射出しない。すなわち、表示ランプ３は、カメラ画像Ｄ内に癌領域Ｅが認識されたことを、視野Ａ内に光スポットＧを表示することによって観察者に報知する。
　ここで、表示ランプ３は、視野Ａ内の周辺領域Ｃに対応する位置に光スポットＧを表示させる。図４Ｅの例において、光スポットＧの表示位置は、光学像Ｂの左上である。
　コンピュータ４は、ＣＰＵのようなプロセッサと、ＲＡＭ、ＲＯＭおよびその他の任意の記憶装置を有する記憶部と、を備える。コンピュータ４の後述の機能は、プロセッサが記憶部に記憶されたプログラムに従って処理を実行することによって、実現される。
　コンピュータ４は、カメラ画像Ｄを解析し、解析結果に基づいて表示制御信号およびステージ制御信号を生成し、表示制御信号を表示ランプ３に出力するとともにステージ制御信号をモータ制御部６に出力する。
　具体的には、コンピュータ４は、図２に示されるように、カメラ画像入力部４１と、対物レンズ情報生成部４２と、画像解析部４３とを備える。
　カメラ画像入力部４１は、カメラ２からカメラ画像Ｄを所定のフレームレートで受け取り、最新のカメラ画像Ｄをメモリに上書き保存する。
　対物レンズ情報生成部４２は、光学顕微鏡１からレボルバ情報を受け取る。対物レンズ情報生成部４２は、予め設定されたレボルバ情報と対物レンズ１２の倍率との対応関係に基づき、レボルバ情報を、現在使用されている対物レンズ１２の倍率の情報を含む対物レンズ情報に変換する。
　画像解析部４３は、カメラ画像入力部４１からカメラ画像Ｄを受け取り、カメラ画像Ｄを解析することによってカメラ画像Ｄ内の癌領域（病変部の候補）Ｅを認識し、認識結果に基づいて表示制御信号およびステージ制御信号を生成する。画像解析部４３は、表示制御信号の出力と同期してカメラ画像入力部４１から最新のカメラ画像Ｄを受け取り、カメラ画像Ｄの解析および表示制御信号の出力を繰り返す。
　図３は、画像解析部４３のより詳細な構成を示している。図３に示されるように、画像解析部４３は、解像度変換部４３１と、癌領域認識部（病変部認識部）４３２と、癌有無判定部４３３と、ステージ制御信号生成部（移動量算出部、ステージ制御部）４３４と、を備える。
　解像度変換部４３１は、カメラ画像入力部４１からカメラ画像Ｄを受け取り、対物レンズ情報生成部４２から対物レンズ情報を受け取る。カメラ画像Ｄの取得に使用された対物レンズ１２の倍率に応じて、標本Ｓに対するカメラ画像Ｄの解像度は異なる。解像度変換部４３１は、対物レンズ情報に含まれる倍率に基づいてカメラ画像Ｄの解像度を変換することによって、対物レンズ１２の倍率に関わらず標本Ｓに対して所定の解像度のカメラ画像Ｄを生成する。例えば、所定の解像度が１０倍であり対物レンズ情報に含まれる倍率が４０倍である場合、解像度変換部４３１は、４０倍の対物レンズ１２を使用して取得されたカメラ画像Ｄをダウンサンプリングし、カメラ画像Ｄの縦および横の画素数を１／４倍にそれぞれ減らす。
　癌領域認識部４３２は、解像度変換部４３１から所定の解像度のカメラ画像Ｄを受け取る。癌領域認識部４３２は、カメラ画像Ｄ内の癌領域Ｅを認識し、癌領域Ｅの位置の情報を含む癌領域情報を癌有無判定部４３３に出力する。
　例えば、癌領域認識部４３２は、カメラ画像Ｄの各画素が癌細胞を含むか否かを解析し、各画素が癌を含むか否かの情報を癌領域情報として生成する。各画素の解析には、機械学習によって作成されたモデルが使用される。例えば、所定の解像度の画像とそれに対応する正解の癌領域情報の多数のセットが学習データとして用意され、学習データの深層学習によってモデルが作成される。
　図４Ｂは、癌領域Ｅを含むカメラ画像Ｄを示し、図４Ｃは、図４Ｂのカメラ画像Ｄの解析によって得られた癌領域情報を示している。図４Ｃにおいて、白い領域が癌領域Ｅであり、黒い領域が癌領域Ｅ以外の領域を表している。
　図４Ａおよび図４Ｂに示されるように、カメラ画像Ｄの撮影範囲が光学像Ｂの視野よりも広い場合、カメラ画像Ｄは、光学像Ｂの視野の外の周辺領域Ｆも含む。この場合、癌領域認識部４３２は、カメラ画像Ｄの全画素ではなく、光学像Ｂに対応する領域（図４Ｂにおいて、鎖線の円参照。）内の画素のみを解析してもよい。
　癌有無判定部４３３は、癌領域認識部４３２から癌領域情報を受け取り、癌領域情報に基づいてカメラ画像Ｄ内に癌領域Ｅが認識されたか否かを判定する。例えば、癌有無判定部４３３は、癌細胞を含む１つ以上の画素が癌領域情報に含まれている場合、カメラ画像Ｄ内に癌領域Ｅが認識されたと判定する。一方、癌有無判定部４３３は、癌領域情報に含まれる全ての画素が癌細胞を含まない場合、カメラ画像Ｄ内に癌領域Ｅが認識されなかったと判定する。癌有無判定部４３３は、判定結果をメモリに記憶し、次のカメラ画像Ｄの判定を行う。
　癌有無判定部４３３は、判定結果に基づく表示制御信号を表示ランプ３に出力する。具体的には、癌有無判定部４３３は、カメラ画像Ｄ内に癌領域Ｅが認識されたと判定した場合、ＯＮの表示制御信号を出力し、カメラ画像Ｄ内に癌領域Ｅが認識されなかったと判定した場合、ＯＦＦの表示制御信号を出力する。
　また、癌有無判定部４３３は、癌領域Ｅが認識されなかったという判定結果から癌領域Ｅが認識されたという判定結果に変化した場合のみ、ステージ制御信号生成部４３４にステージ１１の自動制御を有効にする自動制御許可信号を出力する。
　ステージ制御信号生成部４３４は、癌有無判定部４３３から自動制御許可信号が入力された場合、癌領域認識部４３２から癌領域情報を受信するとともに対物レンズ情報生成部４２から対物レンズ情報を受信する。ステージ制御信号生成部４３４は、癌領域情報および対物レンズ情報に基づいて、癌領域Ｅを光学像Ｂの中央に移動させるためのステージ１１の移動方向および移動量を算出する。次に、ステージ制御信号生成部４３４は、算出された移動方向に算出された移動量だけステージ１１を移動させるためのステージ制御信号を生成し、ステージ制御信号をモータ制御部６に出力する。このようなステージ制御信号に従ってステージ１１が移動することによって、図４Ｅに示されるように、癌領域Ｅが光学像Ｂの中央に配置される。
　図４Ｄは、図４Ｃの癌領域Ｅを光学像Ｂの中央に移動させるための電動ステージ１１の移動方向および移動量の算出方法の一例を説明している。
　図４Ｄに示されるように、癌領域情報において十字で示した光学像Ｂの中央位置から癌領域Ｅの代表位置までのベクトルを算出する。癌領域情報における光学像Ｂの中央位置は、予め対物レンズ１２の倍率毎に与えられている。代表位置は、例えば、癌領域Ｅの一番上の画素の位置、または、癌領域Ｅの重心位置である。
　次に、算出されたベクトルの縦方向および横方向の各々の画素数からステージ１１の縦方向および横方向の各々の移動量を算出する。カメラ画像Ｄの縦横方向とステージ１１の縦横方向とが一致していると仮定し、縦方向の画素数に所定の係数を掛けることによって縦方向の移動量を算出し、横方向の画素数に所定の係数を掛けることによって横方向の移動量を算出する。所定の係数は、ステージ制御信号生成部４３４のメモリに予め記憶されており、対物レンズ１２の倍率毎に与えられている。カメラ画像Ｄの縦横方向とステージ１１の縦横方向とが一致していない場合、回転を考慮した計算によって、縦方向および横方向の画素数からステージ１１の縦方向および横方向の各々の移動量を算出することができる。
　次に、光学顕微鏡システム１００の作用について、図５を参照して説明する。
　観察者は、光学顕微鏡１によって取得された標本Ｓの光学像Ｂを、接眼レンズ１５を通して観察する。
　観察者による標本Ｓの光学像Ｂの観察と併行して、標本Ｓの光学像Ｂのカメラ画像Ｄが所定のフレームレートでカメラ２によって取得され、カメラ画像Ｄがコンピュータ４に入力される。また、レボルバ情報が光学顕微鏡１からコンピュータ４に入力される。
　コンピュータ４において、カメラ画像Ｄは、カメラ画像入力部４１を経由して画像解析部４３に入力される。また、コンピュータ４において、レボルバ情報は、対物レンズ情報生成部４２において対物レンズ情報に変換され、対物レンズ情報が画像解析部４３に入力される。
　画像解析部４３では、図５に示されるように、まず、ステージ１１の自動制御を有効にする自動制御許可信号がＯＦＦ、つまり無効にセットされる（ステップＳ０）。そして、カメラ画像Ｄおよび対物レンズ情報が入力される（ステップＳ１，Ｓ２）。カメラ画像Ｄおよび対物レンズ情報の画像解析部４３への入力の順序（ステップＳ１，Ｓ２の順序）は、任意であり、変更可能である。次に、画像解析部４３において、表示制御信号およびステージ制御信号が生成される（ステップＳ３～Ｓ１０）。
　すなわち、解像度変換部４３１によって、カメラ画像Ｄの解像度が対物レンズ１２の倍率に基づいて所定の解像度に変換される（ステップＳ３）。次に、カメラ画像Ｄ内に癌領域Ｅが存在する場合、癌領域認識部４３２によって、所定の解像度のカメラ画像Ｄ内の癌領域Ｅが認識される（ステップＳ４）。そして、癌領域認識部４３２から癌有無判定部４３３およびステージ制御信号生成部４３４に、癌領域Ｅの認識結果である癌領域情報が送信される。
　次に、癌有無判定部４３３によって、カメラ画像Ｄ内に癌領域Ｅが認識されたか否かが癌領域情報に基づいて判定される（ステップＳ５）。
　カメラ画像Ｄ内に癌領域Ｅが認識された場合（ステップＳ６のＹＥＳ）、癌有無判定部４３３から表示ランプ３にＯＮの表示制御信号が出力される（ステップＳ７）。表示ランプ３は、ＯＮの表示制御信号に応答して点灯し、ランプ光を射出する。これにより、観察者が観察している接眼レンズ１５の視野Ａ内にランプ光のスポットＧが表示される。
　また、カメラ画像Ｄ内に癌領域Ｅが認識された場合（ステップＳ６のＹＥＳ）、癌有無判定部４３３によって、ステージ１１の自動制御を有効にする自動制御許可信号がＯＮにされる（ステップＳ８）。さらに、ステージ制御信号生成部４３４によって、ステージ制御信号が生成されモータ制御部６に出力される（ステップＳ９）。モータ制御部６は、ステージ制御信号に応答して電動モータ５を制御し、ステージ１１を移動させる。これにより、観察者が観察している接眼レンズ１５の視野Ａ内の光学像Ｂの中央に癌領域Ｅが配置される。
　一方、カメラ画像Ｄに癌領域Ｅが認識されなかった場合（ステップＳ６のＮＯ）、癌有無判定部４３３から表示ランプ３にＯＦＦの表示制御信号が出力される（ステップＳ１０）。表示ランプ３は、ＯＦＦの表示制御信号に応答して消灯し、ランプ光を射出しない。したがって、観察者が観察している接眼レンズ１５の視野Ａ内に光スポットＧが表示されない。また、自動制御許可信号がＯＮになっている場合、癌有無判定部４３３によって、自動制御信号がＯＦＦされ、自動制御許可信号がＯＦＦになっている場合はそのまま変更されない（ステップＳ１１）。
　このように、本実施形態によれば、カメラ画像Ｄの解析によって癌領域Ｅが認識されたときに、視野Ａ内に光スポットＧが表示されるとともに、ステージ１１の自動制御によって癌領域Ｅが光学像Ｂの中央に配置される。観察者は、光スポットＧの表示に基づいて、癌領域Ｅが認識されたこと、および、ステージ１１の自動制御によって癌領域Ｅが光学像Ｂの中央に移動したことを認識することができる。そして、観察者は、光学像Ｂの中央を注視することによって、癌領域Ｅを容易に発見することができる。
　また、周辺領域Ｃに表示された光スポットＧおよび癌領域Ｅの移動は、観察者による光学像Ｂの観察を妨げることがない。これにより、観察者による診断を妨害することを防ぎながら、効果的に診断を支援することができる。
　上記実施形態において、図４Ａおよび図４Ｂに示されるように、カメラ画像Ｄの撮影範囲が光学像Ｂの視野よりも広い場合、カメラ画像Ｄは、光学像Ｂの視野の外の周辺領域Ｆも含む。この場合、癌領域認識部４３２は、カメラ画像Ｄの全体を解析することによって、光学像Ｂ内の癌領域Ｅのみならず、周辺領域Ｆの癌領域Ｅも認識してもよい。
　観察者が接眼レンズ１５を通して観察することができる範囲は光学像Ｂの視野のみである。上記構成によれば、周辺領域Ｆに癌領域Ｅが認識された場合も、ステージ１１の移動によって癌領域Ｅが光学像Ｂの中央に配置される。したがって、周辺領域Ｆの癌領域Ｅも観察者に発見させることができる。
　上記実施形態において、癌領域認識部４３２が、カメラ画像Ｄ内の癌領域Ｅの位置の情報を癌領域情報として生成し出力することとしたが、これ代えて、癌領域情報として他の情報を生成してもよい。
　例えば、癌領域認識部４３２が、癌領域Ｅとして認識された領域の内、癌（病変）である確率値が所定値以上であり、かつ、最大である位置を検出し、検出された位置の情報を癌領域情報として生成してもよい。例えば、癌領域認識部４３２は、カメラ画像Ｄの各画素が癌細胞を含むか否かを解析する際に、各画素について癌である確率値を算出する。そして、癌領域認識部４３２は、確率値の最大値が所定値以上である場合にのみ、癌領域Ｅが存在すると判断し、最大値の画素の位置を癌領域情報として出力する。
　この場合、ステージ制御信号生成部４３４は、確率値が最大値である画素の位置を光学像Ｂの中央に移動させるための移動方向および移動量を算出する。
　上記実施形態において、報知部が表示ランプ３であり、癌領域Ｅが認識されたことを視野Ａ内の光スポットＧの表示によって視覚的に観察者に報知することとしたが、これに代えて、またはこれに加えて、他の手段によって観察者に報知してもよい。例えば、報知部が、音声を出力するデバイスであってもよい。
　上記実施形態において、ステージ制御信号生成部４３４によって算出されたステージ１１の移動方向および移動量を記憶する記憶部が設けられていてもよい。この場合、自動制御によるステージ１１の移動後、自動制御前の位置にステージ１１を戻すための手段、例えば復帰ボタンが設けられていてもよい。ステージ制御信号生成部４３４は、復帰ボタンの押下に応答し、記憶部に記憶された移動方向および移動量に基づいて、ステージ１１を自動制御前の位置に移動させるためのステージ制御信号を生成し、モータ制御部６に出力する。
　観察者がステージ１１を手動で移動させながら標本Ｓを観察している最中に癌領域Ｅが癌領域認識部４３２に認識されると、ステージ１１の制御が手動制御から自動制御に自動的に切り替えられ、ステージ１１が自動的に移動する。観察者は、認識された癌領域Ｅを観察した後、復帰ボタンを押下することによって、自動制御に切り替えられる前の位置にステージ１１を復帰させ、標本Ｓの観察を再開することができる。
　上記実施形態において、自動制御によってステージ１１が移動したときに、ステージ１１の移動の情報が操作者に提示されてもよい。
　例えば、ステージ１１の移動方向および移動量を表わす矢印が視野Ａに重畳されてもよい。矢印は、光学顕微鏡１に接続された拡張現実ディスプレイによって視野Ａに投影され、光学像Ｂまたは周辺領域Ｃに重畳される。観察者は、自動制御によるステージ１１の移動方向および移動量を、矢印に基づいて認識することができる。
１　光学顕微鏡
２　カメラ（撮像部）
３　表示ランプ（報知部）
１１　電動ステージ
１５　接眼レンズ（接眼部）
４３２　癌領域認識部（病変部認識部）
４３４　ステージ制御信号生成部（移動量算出部、ステージ制御部）
１００　光学顕微鏡システム
Ａ　視野
Ｂ　光学像
Ｃ　周辺領域
Ｄ　カメラ画像、デジタル画像
Ｅ　癌領域（病変部の候補）
Ｇ　光スポット（候補有無情報）
Ｓ　標本、生体組織

Claims (5)

  1. 　生体組織の光学像を取得する光学顕微鏡であって、前記生体組織が載置される電動ステージと、前記光学像を観察するための接眼部とを有する光学顕微鏡と、
    　前記光学像を撮像し前記生体組織のデジタル画像を取得する撮像部と、
    　該撮像部によって取得された前記デジタル画像を解析し、該デジタル画像に含まれる病変部の候補を認識する病変部認識部と、
    　該病変部認識部によって認識された前記病変部の候補を前記光学像の中央に移動させるための前記電動ステージの移動方向および移動量を算出する移動量算出部と、
    　前記病変部認識部によって前記病変部の候補が認識されたときに、前記移動量算出部によって算出された移動方向および移動量に従って前記電動ステージを移動させるステージ制御部と、
    　前記病変部認識部によって前記病変部の候補が認識されたことを観察者に報知する報知部と、を備える光学顕微鏡システム。
  2. 　前記報知部が、前記接眼部の視野内に前記病変部の候補の有無に関する候補有無情報を表示させる、請求項１に記載の光学顕微鏡システム。
  3. 　前記報知部が、前記視野内かつ前記光学像の外の領域に前記候補有無情報を表示させる、請求項２に記載の光学顕微鏡システム。
  4. 　前記撮像部によって取得される前記デジタル画像が、前記光学像の視野の外の周辺領域を含む、請求項２または請求項３に記載の光学顕微鏡システム。
  5. 　前記病変部認識部が、前記病変部の候補として認識された領域の内、病変である確率値が所定値以上であり、かつ、最大である位置を検出し、
    　前記移動量算出部は、前記病変部認識部によって検出された前記位置を前記光学像の中央に移動させるための前記移動方向および前記移動量を算出する、請求項１から請求項４のいずれかに記載の光学顕微鏡システム。
PCT/JP2020/007039 2020-02-21 2020-02-21 光学顕微鏡システム WO2021166219A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/007039 WO2021166219A1 (ja) 2020-02-21 2020-02-21 光学顕微鏡システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/007039 WO2021166219A1 (ja) 2020-02-21 2020-02-21 光学顕微鏡システム

Publications (1)

Publication Number Publication Date
WO2021166219A1 true WO2021166219A1 (ja) 2021-08-26

Family

ID=77390550

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/007039 WO2021166219A1 (ja) 2020-02-21 2020-02-21 光学顕微鏡システム

Country Status (1)

Country Link
WO (1) WO2021166219A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07275209A (ja) * 1994-04-07 1995-10-24 Toshiba Corp 医用画像診断支援装置
JPH11501403A (ja) * 1994-10-26 1999-02-02 ライカ ミクロスコピー ズュステーメ アーゲー 顕微鏡、特に手術用顕微鏡
JPH11271643A (ja) * 1998-03-20 1999-10-08 Olympus Optical Co Ltd システム顕微鏡
JP2011008245A (ja) * 2009-05-29 2011-01-13 Olympus Corp 生体観察装置
WO2018231204A1 (en) * 2017-06-13 2018-12-20 Google Llc Augmented reality microscope for pathology

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07275209A (ja) * 1994-04-07 1995-10-24 Toshiba Corp 医用画像診断支援装置
JPH11501403A (ja) * 1994-10-26 1999-02-02 ライカ ミクロスコピー ズュステーメ アーゲー 顕微鏡、特に手術用顕微鏡
JPH11271643A (ja) * 1998-03-20 1999-10-08 Olympus Optical Co Ltd システム顕微鏡
JP2011008245A (ja) * 2009-05-29 2011-01-13 Olympus Corp 生体観察装置
WO2018231204A1 (en) * 2017-06-13 2018-12-20 Google Llc Augmented reality microscope for pathology

Similar Documents

Publication Publication Date Title
EP2194414B1 (en) Microscope system and method of operation thereof
JP5555014B2 (ja) バーチャルスライド作成装置
JP2019532352A (ja) 組織標本の組織学的検査のためのシステム
US7572009B2 (en) Method and apparatus for processing an eye fundus image
CN113358654B (zh) 一种图像获取与分析系统
US20120154749A1 (en) Fundus camera
US20050280892A1 (en) Examination method and examination apparatus
JP6143436B2 (ja) 眼科装置、制御方法よびプログラム
JP6893896B2 (ja) 医学−光学式表示システムを作動させるための方法
JP2024019639A (ja) 顕微鏡システム、プログラム、及び、投影画像生成方法
CN111399208B (zh) 生物荧光样本的聚焦拍摄实现方法、显微镜和存储介质
US10613313B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
JP6518126B2 (ja) 細隙灯顕微鏡
JP2014521114A (ja) 生体イメージングの画像品質最適化
US20160091701A1 (en) Generating perspective views in microscopy
US8837790B2 (en) Medical diagnosis support device
JP2002345757A (ja) 眼底カメラ
JP3955126B2 (ja) 内視鏡の視野変換装置
US10429632B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
WO2021166219A1 (ja) 光学顕微鏡システム
JP5199009B2 (ja) 眼底カメラ
JP2016209133A5 (ja)
WO2016067365A1 (ja) 観察装置及び観察方法並びにコンピュータプログラム
WO2021161447A1 (ja) 光学顕微鏡システム
EP2724662A1 (en) Fundus imaging apparatus and control method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20920504

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20920504

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP