WO2020170866A1 - 制御装置、眼科用顕微鏡システム、眼科用顕微鏡及び画像処理装置 - Google Patents

制御装置、眼科用顕微鏡システム、眼科用顕微鏡及び画像処理装置 Download PDF

Info

Publication number
WO2020170866A1
WO2020170866A1 PCT/JP2020/004902 JP2020004902W WO2020170866A1 WO 2020170866 A1 WO2020170866 A1 WO 2020170866A1 JP 2020004902 W JP2020004902 W JP 2020004902W WO 2020170866 A1 WO2020170866 A1 WO 2020170866A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
eye
front lens
inspected
situation
Prior art date
Application number
PCT/JP2020/004902
Other languages
English (en)
French (fr)
Inventor
潤一郎 榎
大月 知之
芳男 相馬
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to DE112020000880.0T priority Critical patent/DE112020000880T5/de
Priority to US17/430,027 priority patent/US20220115122A1/en
Publication of WO2020170866A1 publication Critical patent/WO2020170866A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13Ophthalmic microscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007Methods or devices for eye surgery
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/02Objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3417Details of tips or shafts, e.g. grooves, expandable, bendable; Multiple coaxial sliding cannulas, e.g. for dilating
    • A61B17/3421Cannulas
    • A61B17/3423Access ports, e.g. toroid shape introducers for instruments or hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Definitions

  • the present technology relates to a control device used for ophthalmic surgery, an ophthalmic microscope system, an ophthalmic microscope, and an image processing device.
  • a unit including a front lens may be used in addition to the ophthalmic surgery microscope.
  • a wide-angle observation lens is widely used as a front lens in retinal vitreous surgery, and a gonioscope is used as a front lens in minimally invasive glaucoma surgery (MIGS) for treating a corner.
  • MIGS minimally invasive glaucoma surgery
  • an ophthalmologic surgical microscope with a wide-angle microscope unit including a wide-angle observation lens is suitable for observing a wide range of fundus.
  • the focus position changes to the position where an image is formed by the wide-angle observation lens which is a front lens.
  • the front lens is inverted.
  • the addition of the front lens changes various optical conditions in the microscope, and thus the microscope needs to be adjusted.
  • Patent Document 1 describes that the presence or absence of a front lens is detected and various adjustments are automatically performed according to the detection.
  • an object of the present technology is to provide a control device, an ophthalmic microscope system, an ophthalmic microscope, and an image processing device that can assist the setting of a microscope.
  • a control device includes a control unit.
  • the control unit based on the detection result of the surgical instrument using the imaged image of the eye to be inspected taken through the front lens by the image sensor of the ophthalmic microscope, the imaging conditions of the image sensor, by the front lens At least one of the presence and absence of the inversion process for making the image of the inverted region a normal image is controlled.
  • the ophthalmic microscope has an optical system that guides the image of the eye to be examined to the image sensor, and an extraocular illumination light source that outputs extraocular illumination light that illuminates the eye to be examined from the outside, and the imaging conditions are as follows. At least one of the focal position of the optical system and the presence/absence of irradiation of the extraocular illumination light may be included.
  • the control unit controls at least one of the imaging condition of the image sensor and the presence/absence of the inversion process based on preset information set for each situation determined based on the detection result of the surgical instrument. Good.
  • the situation is determined to be a situation in which the insertion position is set when it is detected that the tip of the surgical instrument is located outside the region of the front lens in the captured image, When it is detected that the tip is located in the area of the front lens in the captured image, it may be determined that the surgical tool is located inside the eye to be examined.
  • the surgical instrument can be inserted into the eye through a trocar arranged on the eye to be inspected, and in the setting information, in the situation where the insertion position is set, the focus position is set to the trocar, The reversal process is set not to be performed, the extraocular illumination light is set to be output, and in a situation where the surgical instrument is inserted, the focal position is set to the front lens, and the reversal process is It may be set to be performed and not to output the extraocular illumination light.
  • the ophthalmic microscope further comprises an intraocular illuminator that irradiates intraocular illumination light inside the eye to be inspected, and the front lens is a wide-angle observation lens for observing the inside of the eye of the eye to be inspected.
  • the output of the intraocular illumination light is set to none in the situation where the insertion position is set, and the output of the intraocular illumination light is present in the situation where the surgical tool is inserted. It may be set.
  • the front lens may be a corner mirror for observing a corner angle of the eye to be inspected. May be done.
  • the setting information preset for each situation further comprises a memory for recording resetting information reset by the user of the ophthalmic microscope, the control unit is preset according to the determined situation.
  • the shooting condition of the image sensor may be controlled by using the reset information with priority over the setting information.
  • the shooting condition includes at least one of a magnification of the optical system and a depth of field of the optical system, and the control unit sets the magnification based on setting information preset for each determined situation. At least one of the depths of field may be controlled.
  • the situation in which the surgical instrument is located inside the eye to be inspected includes a situation during treatment in which treatment of the eye to be inspected is being performed, and a situation in which treatment is not being performed at the eye to be inspected,
  • the control unit may control at least one of the magnification and the depth of field based on setting information preset for the determined situation during the treatment or the situation not under the treatment. ..
  • the situation not being treated is a state during insertion which is a movement of the surgical instrument from the insertion position of the eye to be examined to a position at the time of treatment, and the surgical instrument from the position at the time of treatment to the outside of the eye to be examined.
  • Including the situation during removal which is the movement of The control unit, based on setting information preset for the determined situation during the treatment, the situation during insertion, or the situation during removal, at least the magnification and the depth of field. Either one may be controlled.
  • the ophthalmic microscope may further include an inverter that optically performs the inversion process, and the control unit may control the inverter based on the setting information set for the determined situation.
  • the control unit further includes an image processing unit that performs the inversion process of inverting the region in which the image is formed by the front lens in the captured image to generate a display image, and the control unit
  • the image processing unit may be controlled based on the setting information set for the.
  • an ophthalmic microscope system includes an ophthalmic microscope and a control device.
  • the ophthalmic microscope a front lens that can be arranged in front of the eye to be examined, an extraocular illumination light source that outputs the extraocular illumination light that illuminates the eye to be examined from the outside, and an image sensor for photographing the eye to be examined.
  • Prepare The control device based on the detection result of the surgical tool using the imaged image of the eye to be inspected taken by the image pickup device through the front lens, the imaging condition of the image pickup device, inverted by the front lens At least one of the presence and absence of the reversal processing for making the image of the region being processed into a normal image is controlled.
  • an ophthalmologic microscope includes a first optical system, a second optical system, a first image sensor, and a second image sensor.
  • the first optical system transmits an image of the eye to be inspected and includes a front lens arranged in front of the eye to be inspected.
  • the second optical system transmits the image of the eye to be inspected and does not include the front lens.
  • the first imaging device forms an image of the eye to be inspected transmitted by the first optical system in a state where the focal position of the first optical system is located in a region where the front lens is located.
  • the second image pickup device transmits by the second optical system in a state where the focal position of the second optical system is located in a region outside the region in which the front lens of the eye to be examined is located.
  • the formed image of the subject eye is formed.
  • a second illuminator that irradiates the eye to be inspected with the second illumination light without the interposition of the front lens when the second image pickup device captures an image may be further provided.
  • a second illuminator for irradiating illumination light is further provided, and the photographing by the first image sensor and the photographing by the second image sensor are alternately performed, and the first illuminator is The first illumination light is output in synchronization with image capturing by the first image sensor, and the second illuminator emits the second illumination light in synchronization with image capturing by the second image sensor. You may output.
  • the second image pickup device may include an image pickup device that selectively receives the light of the second wavelength.
  • An optical element that transmits light may be disposed.
  • an image processing device includes an image processing unit.
  • the image processing unit includes a front lens that can be arranged in front of an eye to be inspected, a first image sensor that captures the eye to be inspected by focusing on the front lens, and the front lens to be inspected.
  • the front lens In the first imaged image acquired by the first imager of the ophthalmic microscope including the second imager that focuses the focus on an area outside the area where In the first image obtained by extracting the area in which the front lens is located and performing inversion processing only on the extracted area, and the second image captured by the second image sensor, the front lens is A display image is generated by synthesizing with a second image composed of a region other than the region where it is located.
  • an ophthalmic microscope system includes an ophthalmic microscope and an image processing device.
  • the ophthalmic microscope includes a front lens that can be arranged in front of an eye to be inspected, a first imaging element that captures the eye to be inspected by focusing on the front lens, and the front lens to the eye to be inspected. And a second image pickup device for photographing the eye to be inspected by focusing on a region outside the region where is located.
  • the image processing device extracts a region in which the front lens is located in the first captured image acquired by the first image sensor, and a first image obtained by performing inversion processing on only the extracted region, An image processing unit is provided that synthesizes a second image formed by a region other than the region where the front lens is located in the second captured image acquired by the second image sensor to generate a display image. ..
  • FIG. 1 is a schematic diagram of an ophthalmic microscope system according to a first embodiment of the present technology. It is a block diagram of the microscope system for ophthalmology. It is a schematic diagram showing a situation of surgery of an eye which is an observation object of the microscope system for ophthalmology. It is a schematic diagram showing a situation of surgery of an eye which is an observation object of the ophthalmic microscope system, and is a plan view of the eye on which a front lens and a trocar are arranged, as seen from the front direction. It is sectional drawing of an eye. It is a schematic diagram of the microscope with which the same ophthalmic microscope system is provided, and is a figure explaining the case where a front lens is arrange
  • FIG. 15 is a schematic diagram showing a state of eye surgery using the ophthalmic microscope system of FIG. 14. It is a flow chart which shows operation of other situation judgment.
  • a user of an ophthalmic microscope such as a doctor or an assistant can perform observation or surgery while observing an image captured by an image sensor with a display device instead of looking at the microscope, and HUS (HeadsUpSurgery).
  • HUS HeadsUpSurgery
  • a display image is displayed on the display device as a surgical field image obtained by performing image processing such as color enhancement on the captured image acquired by the image sensor 181 mounted on the microscope body 11 described later.
  • the situation is judged based on the detection result of the surgical instrument using the captured image of the eye to be inspected as the surgical field. Then, the microscope is controlled according to the determined situation, and more specifically, the photographing condition of the image sensor, the presence/absence of the inversion process, and the like are controlled.
  • the present technology to an ophthalmic microscope system that performs observation or surgery by eyepiece observation of a microscope by a user without using a display device.
  • the captured image acquired by the image sensor 181 is used for detecting the surgical tool used for situation determination.
  • FIG. 1 is a schematic diagram showing a configuration of an ophthalmic microscope system (hereinafter, referred to as a microscope system) 100 according to this embodiment.
  • the microscope system 100 includes an ophthalmic microscope (hereinafter, referred to as a microscope) 10, a control device 20, a display device 40, and an input device 41.
  • a microscope ophthalmic microscope
  • the microscope 10 is used by the user of the microscope system 100 for observing an enlarged image of the eye 6 to be inspected or operated in the field of ophthalmology.
  • reference numeral 1 indicates the eye of the user of the microscope 10.
  • the user can perform medical examination and surgery while looking at the display image displayed on the display device 40.
  • the eye 6 to be inspected is an eye of a patient who is a target of medical examination and surgery.
  • the microscope 10 includes a microscope main body 11 having an observation lens barrel 111, a non-contact wide-angle observation unit 13 as a function expansion unit, a microscope illumination light source 161 as an extraocular illumination light source, and an eye.
  • the internal illuminator 19 is provided.
  • the microscope 10 can be an optical microscope having a general configuration. Two observation lens barrels 111 are provided for the left and right eyes, but are not limited thereto. Details of the microscope 10 will be described later.
  • the control device 20 controls the microscope 10 using a captured image acquired by an image sensor 181 described later mounted on the microscope 10. Further, the control device 20 performs image processing on the captured image and generates a display image to be displayed on the display device 40. Details of the control device 20 will be described later.
  • the display device 40 displays a display image obtained by performing image processing on the control device 20 based on the captured image acquired by the image sensor 181.
  • the display device 40 is a general display or a head mounted display. Further, the display device 40 may be a plurality of displays, and may be, for example, a display for a doctor who operates and a display for an assistant.
  • the input device 41 is an input interface for the microscope system 100.
  • the user can input the physical information of the patient, various kinds of information regarding surgery, and the like via the input device 41. Further, for example, the user can input an instruction or the like to change various settings related to the microscope according to the situation via the input device 41.
  • the type of the input device 41 is not limited, and the input device 41 may be various known input devices.
  • the input device 41 for example, a mouse, a keyboard, a touch panel, a switch, a foot switch, a lever or the like can be applied.
  • the touch panel may be provided on the display surface of the display device 40.
  • the input device 41 may include a microphone capable of collecting the voice of the user, and various inputs may be performed by voice through the microphone.
  • the input device 41 since the input device 41 is configured to be able to input various kinds of information in a contactless manner, it becomes possible for a user who belongs to a clean area to operate devices belonging to a dirty area in a contactless manner. In addition, since the user can operate the device without releasing his/her hand from the surgical tool, the convenience of the user is improved.
  • FIG. 3 and 4 are schematic diagrams showing the state of retinal vitreous surgery with the microscope system 100.
  • 3 and 4 show a surgical instrument T used for eye surgery.
  • FIG. 3 is a schematic perspective view of the eyeball of the eye 6 to be inspected, showing a state in which the intraocular illuminator 19 and the surgical instrument T are inserted into the eye, and the illustration of the front lens 132 is omitted.
  • FIG. 4 corresponds to a front view of the eye 6 in which the front lens 132 is arranged in front of the eye 6 and shows a state before the intraocular illuminator 19 and the surgical instrument T are inserted.
  • FIG. 5 is a partial cross-sectional view of the eye 6 to be inspected.
  • the surgical tool T one suitable for the treatment at that time is used.
  • the surgical instrument T includes a vitreous body cutter, forceps, a backflush needle, an ILM (internal limiting membrane) egg, a laser device for retinal photocoagulation, and the like. Since the access range is restricted depending on the position of the surgical instrument insertion port, typically, two ports are used to appropriately insert and remove the surgical instrument T to perform treatment.
  • the eye 6 to be inspected is composed of tissues such as the iris 61, the crystalline lens 65, and the cornea 66.
  • a pupil 64 is located between the iris 61 on the surface of the crystalline lens 65, and a corner angle 62 is located on the peripheral edge of the cornea 66.
  • the vitreous body 68 is a jelly-like tissue that occupies most of the eyeball from the rear of the crystalline lens 65 to the retina 69.
  • reference numeral 671 indicates a blood vessel on the fundus 67.
  • the intraocular illuminator 19 is inserted into the inside of the eye 6 to be inspected and the intraocular irradiation is performed. T is inserted into the eye and surgery is performed.
  • an intraocular illuminator 19 When performing an operation, an intraocular illuminator 19, a vitreous cutter for excising and aspirating the vitreous body, and a tube (not shown) for injecting a perfusate for maintaining the shape of the eyeball during the operation are taken in and out.
  • a tubular trocar 50 serving as a guide is arranged on the eye 6 to be inspected.
  • the trocar 50 is arranged in the area of the white eye 63 around the iris 61 of the eye 6 to be inspected.
  • the front lens 132 is arranged in front of the eye 6 to be inspected, the front lens 132 is provided corresponding to the black eye.
  • the pupil 64 is observed in a state in which it is considerably close to the edge of the front lens 132.
  • FIG. 2 is a block diagram of the microscope system 100.
  • the microscope 10 includes an eyepiece lens unit 12, a non-contact wide-angle observation unit 13, an inverted image correction inverter 14, an objective lens 15, a microscope illumination optical system 16, and an observation optical system 17.
  • the imaging system 18 and the intraocular illuminator 19 are provided.
  • the eyepiece lens unit 12 further magnifies the image formed by the observation optical system 17 so that it can be observed with the eyes.
  • the non-contact wide-angle observation unit 13 is a function expansion unit that is detachably attached to the microscope body 11.
  • 6A shows a case where the front lens 132 of the non-contact wide-angle observation unit 13 is located on the observation optical path
  • FIG. 6B shows a case where it is not located on the observation optical path.
  • the non-contact wide-angle observation unit 13 is installed between the objective lens 15 and the eye 6 to be inspected.
  • the non-contact wide-angle observation unit 13 includes a reduction lens 131, a front lens 132, and a holding arm 133.
  • the reduction lens 131 and the front lens 132 are held by a holding arm 133.
  • the holding arm 133 is configured to be movable while being installed in the microscope body 11. As shown in FIGS. 6A and 6B, by moving the holding arm 133, the reduction lens 131 and the front lens 132 can be positioned or removed from the observation optical path.
  • a wide-angle observation lens is used as the front lens 132, and by using the non-contact wide-angle observation unit 13, the fundus of the eye 6 to be inspected can be observed.
  • the front lens 132 produces an intermediate image in which the fundus 67 is inverted on the intermediate image plane 70. By disposing the front lens 132 in the optical path, the fundus of the subject's eye 6 can be observed.
  • the reduction lens 131 amplifies the refracting power of the objective lens 15.
  • the reduction lens 131 displaces the focusing surface of the observation optical path of the microscope 10 so as to match the intermediate image surface 70.
  • the microscope body 11 accommodates an inverted image correction inverter 14, an objective lens 15, a part of a microscope illumination optical system 16, an observation optical system 17, and a photographing system 18.
  • the inverted image correction inverter 14 performs an inversion process for returning an inverted image inverted by the front lens 132 to a normal image.
  • the inverted image correction inverter 14 is controlled based on the control signal generated by the control device 20.
  • the microscope illumination optical system 16 as an extraocular illumination optical system illuminates the subject's eye 6 via the objective lens 15.
  • the microscope illumination optical system 16 is divided into a user's left-eye microscope illumination optical system and a right-eye microscope illumination optical system. In the following description, the microscope illumination optical system 16 will be referred to when there is no need to distinguish between the right eye and the left eye.
  • the microscope illumination optical system 16 includes a microscope illumination light source 161 and an optical fiber 162 arranged outside the microscope body 11, and a condenser lens (not shown) housed in the microscope body 11. It has a collimator lens and a reflection mirror.
  • the microscope illumination light source 161 emits illumination light for illuminating the subject's eye 6 from the outside of the subject's eye 6 at the time of medical examination or surgery.
  • One end of the optical fiber 162 is connected to the microscope illumination light source 161, and the other end is connected to the microscope body 11.
  • the illumination light (extra-ocular illumination light) output from the microscope illumination light source 161 is guided by the optical fiber 162, enters the condenser lens, and becomes a parallel light flux by the collimator lens.
  • the illumination light that has been converted into a parallel light flux is reflected by the reflecting mirror toward the objective lens 15, passes through the objective lens 15, and illuminates the subject's eye 6.
  • the illumination light applied to the subject's eye 6 is reflected and scattered by the tissues of the subject's eye 6, such as the cornea 66 and the retina 69.
  • the reflected and scattered return light passes through the objective lens 15 and enters the observation optical system 17.
  • the return light passes through the front lens 132, the reduction lens 131, and the objective lens 15 and enters the observation optical system 17.
  • the intraocular illuminator 19 is provided outside the microscope body 11 and illuminates the inside of the subject's eye 6.
  • the intraocular illuminator 19 includes an intraocular illumination light source 191 and an optical fiber 192.
  • the intraocular illumination light source 191 emits illumination light (intraocular illumination light) for illuminating the inside of the subject's eye 6 such as retinal vitreous surgery requiring observation of a wide range of the fundus.
  • One end of the optical fiber 192 is connected to the intraocular illumination light source 191, and the other end is inserted inside the subject's eye 6. As shown in FIG. 3, the illumination light output from the intraocular illumination light source 191 is guided by the optical fiber 192 and emitted from the other end of the optical fiber 192 inside the eye 6 to be inspected.
  • Presence/absence of illumination light output from the microscope illumination light source 161 and presence/absence of illumination light output from the intraocular illumination light source 191 are controlled based on a control signal output from the control device 20.
  • the observation optical system 17 is for observing the subject's eye 6 illuminated by the microscope illumination optical system 16 and the intraocular illuminator 19 via the objective lens 15.
  • the observation optical system 17 transmits the projected image of the eye 6 to be inspected to the eye 1 of the user or the image sensor 181 described later.
  • the non-contact wide-angle observation unit 13, the objective lens 15, and the observation optical system 17 constitute a transmission optical system 30 which is an optical system for transmitting the image of the eye 6 to be inspected to the image sensor 181.
  • the transmission optical system 30 is an optical system that forms the return light (image of the subject's eye) from the subject's eye 6 on the image sensor 181.
  • the transmission optical system 30 includes a first transmission optical system and a second transmission optical system.
  • the first transmission optical system includes a front lens 132, a reduction lens 131, an objective lens 15, and an observation optical system 17.
  • the second transmission optical system includes a reduction lens 131, an objective lens 15, and an observation optical system 17.
  • a second transmission optical system includes an optical system that transmits the return light that does not pass through the front lens 132 to the image sensor 181.
  • the transmission optical system 30 If there is no need to distinguish between the first transmission optical system and the second transmission optical system, they may be referred to as the transmission optical system 30.
  • the observation optical system 17 is divided into an observation optical system for the left eye and an observation optical system for the right eye of the user, each having an observation optical path.
  • the observation optical system 17 will be referred to as the description.
  • the observation optical system 17 includes a focusing device 171, a variable magnification lens system 172 including a plurality of zoom lenses, an imaging lens (not shown), a variable diaphragm 173, and a beam splitter (not shown).
  • the focusing device 171 can move the microscope 10 up and down. This makes it possible to adjust the operation interval between the objective lens 15 and the patient's eye 6 to be examined, and the microscope 10 is focused on the examination target region of the eye 6 to be examined. Therefore, the focus position of the transmission optical system 30 can be controlled by controlling the focusing device 171.
  • a plurality of zoom lenses of the variable power lens system 172 can be moved along the optical axis of the observation optical system. By moving the plurality of zoom lenses, the enlargement magnification in the captured image of the eye 6 to be inspected is changed. Therefore, by controlling the variable power lens system 172, the magnification of the transmission optical system 30 can be controlled, and the angle of view of the captured image and the display image can be controlled.
  • the depth of field of the transmission optical system 30 depends on the focal length of the lens, the aperture value, and the shooting distance. Therefore, the depth of field of the transmission optical system 30 can be controlled by controlling the focusing device 171 and the variable diaphragm 173.
  • the control of the focus position of the transmission optical system 30, the control of the magnification (angle of view), and the control of the depth of field are performed based on the control signal output from the control device 20.
  • the illumination light applied to the subject's eye 6 is reflected and scattered by the tissues of the subject's eye 6 such as the cornea 66 and the retina 69.
  • the reflected light that has been reflected and scattered passes through the front lens 132, the reduction lens 131, and the objective lens 15 and enters the observation optical system 17.
  • the return light that has entered the observation optical system 17 has its magnification controlled by the variable power lens system 172, passes through the imaging lens and the variable diaphragm 173, and enters the beam splitter.
  • the beam splitter guides a part of the return light to the imaging system 18, and guides another part of the return light to the eyepiece lens unit 12.
  • the eyepiece observation can be performed by the returning light incident on the eyepiece lens unit 12.
  • the imaging system 18 has an imaging lens (not shown), an image sensor 181 and the like.
  • the image sensor 181 is composed of, for example, an image sensor such as a CCD (Charge Coupled Devices) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the light receiving surface of the image sensor 181 is arranged at a position optically conjugate with the focal position of the objective lens 15.
  • the photographing system 18 may correspond to both the left and right observation optical systems 17, or may correspond to either the left or right observation optical system 17.
  • the imaging system 18 corresponds to both the left and right, and in FIG. 8 described later, two image pickup elements 181 provided in the left and right imaging systems are shown.
  • the image pickup devices 181 are provided on the left and right sides, respectively, a stereoscopic image can be obtained.
  • the image pickup device 181 is mounted on the microscope 10 and is capable of taking an image of an eye through the front lens 132, the reduction lens 131, and the observation optical system 17.
  • the captured image captured by the image sensor 181 is output to the control device 20.
  • the display device is used in the present embodiment as an example of using the HUS system, the display device is not always necessary in a microscope system that performs observation or surgery by eyepiece observation, and is acquired by the image sensor 181. The captured image is used for detecting a surgical tool for situation determination.
  • the control device 20 detects the surgical tool using the captured image acquired from the microscope 10, determines the situation based on the surgical tool detection result, and sets the preset information for each situation according to the determined situation. Based on this, the microscope 10 is controlled. More specifically, the control device 20 controls at least one of the shooting condition of the image sensor 181 and the presence/absence of the inversion process based on the setting information. Further, as to the photographing condition, at least one of the focus position of the transmission optical system 30 and the presence/absence of output of the microscope illumination light source 161 (presence/absence of illumination light) is controlled.
  • control device 20 controls the focus position of the transmission optical system 30, the presence/absence of the reversal processing by the inverted image correction inverter 14, and the microscope illumination light source 161 based on the setting information preset for the determined situation.
  • a control signal for controlling the presence or absence of the output of the intraocular illumination light source 191 is generated and output to the microscope 10.
  • control of the focusing device 171 of the observation optical system 17 control of presence/absence of reversal processing by the inverted image correction inverter 14, control of presence/absence of irradiation of illumination light from the microscope illumination light source 161, The presence/absence of irradiation of the illumination light from the intraocular illumination light source 191 is controlled.
  • the control device 20 includes an image acquisition unit 21, a surgical instrument detection unit 22, a determination unit 23, a control unit 24, an image processing unit 25, and a memory 26.
  • the image acquisition unit 21 acquires a captured image captured by the image sensor 181 from the microscope 10.
  • the surgical instrument detection unit 22 detects the presence or absence of the surgical instrument T using the acquired captured image.
  • an object recognition technique using feature points In the detection of the surgical tool T using the captured image, an object recognition technique using feature points, detection using machine learning, detection using a marker provided on the surgical tool, and a motion vector using time direction information are used. Known techniques such as detection can be used.
  • the surgical instrument detection unit 22 detects the tip of the surgical instrument T.
  • an object recognition technique similarly to the detection of the presence or absence of the surgical instrument T, an object recognition technique, machine learning, detection by a marker, or the like can be used.
  • the presence of the surgical instrument T and the tip of the surgical instrument T may be detected at the same time.
  • the detection by extracting the region of the surgical instrument T using the parallax information can be used.
  • the following technique can be used for detecting the tip of the surgical instrument T. That is, when the surgical tool T is present in the captured image, a region of the linear surgical tool T extending from the outer peripheral portion of the image toward the central portion of the image is detected on the captured image. It is possible to detect that the end portion of the area T that is opposite to the end portion that is closer to the outer peripheral portion of the image is the tip of the surgical instrument T.
  • the surgical instrument detection unit 22 detects the tip position of the surgical instrument T. More specifically, the surgical instrument detection unit 22 detects whether or not the tip of the surgical instrument T is located inside the region where the front lens 132 is supposed to be located in the captured image.
  • the determination unit 23 determines the situation based on the detection result of the surgical instrument detection unit 22.
  • the determination unit 23 determines that there is no surgical tool, based on the detection result of the surgical tool T that is performed by the surgical tool detection unit 22.
  • the determination unit 23 detects the position of the distal end of the surgical instrument T, which is determined by the surgical instrument detection unit 22 and is located inside the region where the front lens 132 is estimated to be located in the captured image (inside the region of the front lens). Based on the above, it is determined that the surgical instrument T is located inside the eye 6 to be inspected.
  • the determination unit 23 detects the result of the surgical instrument detection unit 22 that the tip of the surgical instrument T is located outside the region where the front lens 132 is estimated to be located in the captured image (outside the region of the front lens). Based on the above, it is determined that the insertion position of the surgical instrument T is set.
  • the situation in which the insertion position of the surgical instrument T is set is a situation in which the surgical instrument T is not yet inserted into the inside of the eye 6 to be inspected.
  • the area in which the front lens 132 is estimated to be located in the captured image may be recorded in advance. Since the front lens 132 is fixed to the microscope body 11, it is possible to estimate in which range in the captured image the front lens 132 is located if the magnification is determined. An area in which the front lens 132 is estimated to be located in the captured image may be recorded for each magnification, and a region in which the front lens 132 is estimated to be located in the captured image changes due to a change in the magnification.
  • the determination unit 23 determines, based on the trajectory information of the tip of the surgical instrument T, whether the surgical instrument T is being inserted into the subject's eye 6, is being removed, or is being treated. Determine if there is. In this way, the situation in which the surgical instrument T is located inside the eye 6 to be examined may be further divided into three situations during insertion, during treatment, and during withdrawal, and will be described in the second embodiment described later. To do.
  • the tip position of the surgical instrument T is detected using the Z coordinate indicating the depth information obtained from the parallax information of the two captured images for the left eye and the right eye. Good. More specifically, since the tip of the surgical instrument T is a captured image located in front of the front lens 132 by reversing through the front lens 132, using the Z coordinate, the surgical instrument is indicated on the captured image. When the tip of T is located in front of the front lens 132, it may be determined that the surgical tool T is located in the eye 6 to be examined. Further, in addition to the detection using the Z coordinate, the tip position of the surgical instrument T may be detected using the XY coordinates, which improves the detection accuracy.
  • the determination unit 23 may determine that there is no surgical tool based on the detection result of the surgical tool detection unit 22 that there is no surgical tool, and adds “status without surgical tool” as a determination item. May be.
  • the memory 26 stores preset setting information for each situation.
  • the setting information for each situation will be described later.
  • the memory 26 may record the determination result of the situation by the determination unit 23 in time series.
  • the memory 26 may record the reset value adjusted and reset by the user in chronological order in association with the situation at that time. The use of the reset value recorded in the memory 26 will be described in a second embodiment described later.
  • the control unit 24 generates a control signal regarding the microscope 10 based on the determination result by the determination unit 23, based on the setting information regarding the microscope 10 preset for each situation, and outputs the control signal to the microscope 10.
  • the image processing unit 25 generates a display image by performing image processing such as color enhancement on the captured image acquired by the image acquisition unit 21, and outputs the display image to the display device 40.
  • the microscope 10 is, for example, the focus position of the transmission optical system 30, the magnification (angle of view) of the transmission optical system 30, the depth of field of the transmission optical system 30, the presence or absence of reversal processing, and the illumination, depending on the situation at that time. It is necessary to set whether or not
  • the focus position it is essential to focus on the trocar 50 when setting the insertion position of the surgical instrument T.
  • the focus is placed in the front lens 132 in order to correctly observe the surgical instrument being inserted. It is desirable to match.
  • the procedure in order to correctly observe the inside of the anterior lens that is the operative field, it is essential to focus on the area where the anterior lens 132 is located.
  • the removal of the surgical tool it is essential to focus on the area in which the front lens 132 is located in order to properly observe the surgical tool being removed. After removal, the user can arbitrarily set the focus depending on which part of the eye 6 to be inspected.
  • the trocar 50 arranged outside the region where the front lens 132 is located is observed, and therefore the reversing process of the inverted image in the front lens is not performed.
  • the inverted image in the front lens is displayed in order to correctly observe the surgical tool being inserted. It is essential to perform the reversal process so that the image becomes an upright image.
  • it is essential to perform the reversal process so that the inverted image in the anterior lens becomes an erect image.
  • the removal of the surgical tool in order to correctly observe the surgical tool that is being removed, it is essential to perform the reversal process so that the inverted image in the front lens becomes an erect image.
  • the user can arbitrarily set the presence/absence of the reversal process depending on which part of the eye 6 to be inspected.
  • the intraocular illumination when setting the insertion position of the surgical instrument T, it is essential to turn on extraocular illumination in order to observe the trocar 50 until the tip of the surgical instrument T fits into the trocar 50. While the surgical instrument T is being inserted and the surgical instrument T is being inserted into the subject's eye 6, the intraocular illumination is turned on in order to observe the surgical instrument being inserted. It is desirable to turn off the extraocular illumination in order to eliminate specular reflection of light on the surface of the table lens 132. During the treatment, it is desirable to turn on the intraocular illumination in order to observe the fundus and the surgical instrument, and turn off the extraocular illumination to eliminate the specular reflection of light on the surface of the front lens 132.
  • the intraocular illumination in order to observe the fundus and the surgical instrument, and turn off the extraocular illumination to eliminate specular reflection of light on the surface of the front lens 132.
  • the user can arbitrarily set the intraocular illumination to remain on when the user wants to observe the inside of the eye as it is. Alternatively, in order to avoid retinal light damage, it may be set by the user or automatically set to turn off the intraocular illumination.
  • magnification angle of view
  • the magnification is set so as to have a wide angle of view in order to observe both the region where the trocar 50 is located and the region where the front lens 132 is located. Is desirable.
  • the outside of the front lens 132 where the trocar 50 is arranged can be confirmed in the captured image and the display image.
  • the insertion position of the surgical instrument T is determined and the surgical instrument T is inserted into the eye 6 to be inspected. During the surgical instrument insertion, both the trocar 50 and the front lens 132 are observed so that a wide angle of view is obtained. It is desirable that the magnification be set to.
  • the angle of view narrower than when the surgical instrument insertion position is set or during the surgical instrument insertion. It is desirable to have a wide angle of view that allows observation from the entire fundus to the trocar 50 for safe work during removal of the surgical tool. After the surgical tool is removed, the user can arbitrarily set the magnification (angle of view) depending on which part of the eye 6 to be inspected.
  • the depth of field it is not necessary to give priority to resolution when setting the surgical instrument insertion position and during the surgical instrument insertion.
  • the focus position changes from the trocar 50 to the inside of the front lens 132 as the state of setting the surgical instrument insertion position changes to the state during the insertion of the surgical instrument
  • the surgical operation is performed so as not to require much adjustment.
  • the depth of field is deep when setting the tool insertion position and during the insertion of the surgical tool.
  • the depth of field is set to a shallow depth because it is necessary to focus on the resolution and brightness in order to grasp the accurate state of the operative field. It is desirable to be able to set to.
  • the microscope setting is automatically performed based on the surgical tool detection result using the captured image. More specifically, the situation is determined based on the detection result of the surgical tool, and various settings of the microscope 10 are automatically performed based on the setting information preset for each of the determined situations.
  • the setting information includes the shooting conditions of the image sensor and the presence/absence of the inversion process in which the image of the area inverted by the front lens 132 is made a normal image.
  • the shooting conditions include the focus position of the transmission optical system 30, illumination, the magnification (angle of view) of the transmission optical system 30, the depth of field of the transmission optical system 30, and the like.
  • the focus position of the transmission optical system 30 is set by the control of the focusing device 171
  • the magnification of the transmission optical system 30 is set by controlling the variable power lens system 172, and the field of the transmission optical system 30 is controlled by controlling the focusing device 171 and the variable aperture 173.
  • the depth is set.
  • FIG. 7 is a diagram for explaining setting information of the microscope 10 for each preset situation.
  • FIG. 7 shows five situations divided into five situations, that is, when the surgical instrument insertion position is set, during the surgical instrument insertion, during the procedure, during the surgical instrument removal, and after the surgical instrument removal.
  • FIG. 8 is a schematic diagram for explaining a state of eye surgery using the microscope system 100.
  • the extraocular illumination indicates the irradiation of the illumination light (extraocular illumination light) from the microscope illumination light source 161, and the irradiation of the illumination light (intraocular illumination light) from the intraocular illuminator 19 is off.
  • the intraocular illumination refers to irradiation of illumination light (intraocular illumination light) from the intraocular illuminator 19, and is a state in which the inside of the eye 6 to be inspected is illuminated by the illumination light.
  • the irradiation of the illumination light (external illumination light) is off.
  • the five situations include a situation in which the surgical instrument T is located outside the eye 6 to be examined (outside the eye to be examined by the surgical instrument) and a situation in which the tip of the surgical instrument T is located inside the eye to be examined (surgery). (Inside eye to be inspected).
  • the situation outside the eye to be examined includes the situation when the surgical instrument insertion position is set and the situation after the surgical instrument is removed.
  • the surgical instrument T is not located inside the eye 6 to be examined, but the surgical instrument T is located outside the eye 6 to be examined.
  • the tip of the surgical instrument T is located outside the region where the front lens 132 is located on the captured image.
  • the situation inside the eye to be inspected for the surgical instrument includes three situations during insertion of the surgical instrument, treatment, and removal of the surgical instrument.
  • the surgical instrument T is located inside the eye 6 to be examined.
  • the tip of the surgical instrument T is located in the area where the front lens 132 is located on the captured image.
  • the focus As shown in FIG. 7, in the present embodiment, after the surgical instrument is removed, the focus, the presence/absence of the reversal process, the setting of the illumination, the magnification (angle of view), the object to be photographed, depending on where the user wants to see the eye 6. Since the depth of field is different, it can be set by the user.
  • the focus position, the reversal process, and the illumination may be automatically controlled.
  • the focus position, the reversal process, and the illumination are automatically controlled.
  • the setting information regarding the focus position, the reversal process, and the illumination is the same in the situation during the insertion of the surgical instrument, the situation during the treatment, and the situation during the removal of the surgical instrument. Therefore, when controlling the focus position, the reversal process, and the illumination depending on the situation, whichever of the two situations, the situation at the time of setting the surgical instrument insertion position (immediately before the surgical instrument insertion) and the situation inside the surgical instrument eye is selected. It may be determined whether the situation.
  • the microscope 10 is controlled by determining whether it is the situation when the surgical instrument insertion position is set (immediately before the surgical instrument is inserted) or the situation inside the surgical instrument eye.
  • the control of the magnification (angle of view) and the depth of field of the transmission optical system 30 will be described in the second embodiment described later.
  • the microscope system 100 of the present embodiment based on the surgical instrument detection result using the picked-up image, it is determined whether the surgical instrument is outside the eye to be inspected and the surgical instrument insertion position is set, or the inside of the surgical instrument to be inspected. It is determined whether there is any.
  • the focusing device 171, the inverted image correction inverter 14, and the microscope illumination light source 161 are set on the basis of the information (setting information) about the focus position, the reversal process, and the illumination control that are preset for each situation. Further, the intraocular illumination light source 191 is automatically controlled, and the focus position, the presence/absence of the inversion process, and the presence/absence of illumination are set.
  • the microscope system 100 can assist the user in setting the microscope 10.
  • the microscope 10 is automatically controlled according to the determined situation so that a display image suitable for the determined situation is obtained, so that the user's labor for setting the microscope 10 can be reduced. it can.
  • the trocar 50 that serves as a guide for inserting the surgical instrument T is an observation target.
  • the trocar 50 is arranged outside the region where the front lens 132 is located when the eye 6 to which the front lens 132 is arranged is viewed from the front direction.
  • the focal position is the trocar 50 as the setting information regarding the focal position in the situation when the surgical instrument insertion position is set. Is set, and the set value is d2 mm.
  • the distance d2mm is a preset setting value, which is a default value determined from general values.
  • the control unit 24 automatically controls the focusing device 171 of the observation optical system 17 so that the distance from the object-side principal point of the objective lens 15 to the trocar 50 is d2 mm.
  • the focus position of the transmission optical system 30, more specifically, the second transmission optical system is set to the trocar 50.
  • the state in which the focal position of the second transmission optical system is the trocar 5 is a state in which the front focal position of the objective lens 15 is set to the trocar 50.
  • control unit 24 controls the inverted image correction inverter 14 so as not to perform the inversion process.
  • the setting information related to the lighting when setting the surgical instrument insertion position is that there is no intraocular lighting and there is extraocular lighting. Based on this setting information, the control unit 24 controls the irradiation of the illumination light from the microscope illumination light source 161 to be on and the irradiation of the illumination light from the intraocular illuminator 19 to be off.
  • the area inside the front lens 132 is an observation target.
  • the focus position is the front lens 132, from the object side principal point of the objective lens 15 of the microscope 10 to the front lens.
  • the value of the distance to 132 is set, and the set value is d1 mm.
  • the distance d1 mm is a preset setting value, which is a default value determined from general values.
  • d1 is a value smaller than d2.
  • the control unit 24 automatically controls the focusing device 171 of the observation optical system 17 so that the distance from the object side principal point of the objective lens 15 to the front lens 132 is d1 mm. ..
  • the focal position of the transmission optical system 30, more specifically, the first transmission optical system is set to be the front lens 132.
  • the state in which the focal position of the first transmission optical system is the front lens 132 is the following state. That is, the position of the rear focus of the front lens 132 and the position of the front focus of the objective lens 15 coincide with each other, and the objective lens 15, the front lens 132, and the subject's eye 6 are focused so that the fundus 67 is in focus. The relative positional relationship is adjusted.
  • control unit 24 controls the inverted image correction inverter 14 to perform the inversion process.
  • the setting information related to the illumination in the in-eye condition is that there is intraocular illumination and no extraocular illumination. Based on this setting information, the control unit 24 controls the irradiation of the illumination light from the microscope illumination light source 161 to be off and the irradiation of the illumination light from the intraocular illuminator 19 to be on.
  • the focus position, the presence/absence of inversion processing, and the presence/absence of illumination are automatically set based on the setting information preset according to the situation, so that the user does not have to bother with the setting of the microscope 10.
  • the focus position after the distance from the object-side principal point of the objective lens 15 to the trocar 50 (front lens 132) is automatically set to d2 mm (d1 mm), the user can appropriately finely adjust the focus position. Can be performed, and a surgical field more suitable for the user can be obtained. Even in such a case, the focus position is automatically set to the standard position in advance, so that the time spent for setting is greatly reduced as compared with the case where the user manually sets from the beginning. be able to. Further, the reset value newly set by the user's fine adjustment may be recorded in the memory 26.
  • FIG. 9 is a flowchart showing the operation of the control device 20.
  • the control unit 24 When the front lens 132 is placed on the observation optical path, the control unit 24 reads from the memory 26 preset setting information associated with the status of the surgical instrument insertion position setting shown in FIG. 7.
  • the setting information includes a setting value related to the focus position, presence/absence of inversion processing, and presence/absence of illumination.
  • the control unit 24 outputs the control signal generated based on the read setting information to the microscope 10.
  • the focus position of the transmission optical system 30 is controlled so as to be the trocar 50 based on the control signal output from the control device 20. Further, the inverted image correction inverter 14 is controlled so that the inversion processing is not performed. Further, the output of the illumination light from the intraocular illumination light source 191 and the microscope illumination light source 161 is controlled so that there is extraocular illumination.
  • FIG. 10 is a flowchart regarding the situation determination 1.
  • the image acquisition unit 21 acquires a captured image captured by the image sensor 181 of the microscope 10 (St11).
  • the surgical instrument detection unit 22 detects the surgical instrument T in the image using the acquired captured image (St12).
  • St13 the process proceeds to St13. If the surgical instrument detector 22 does not detect the presence of the surgical instrument T (No), the process proceeds to St16.
  • the determination unit 23 determines that there is no surgical tool T based on the detection result of the surgical tool T without the surgical tool T.
  • the surgical instrument detection unit 22 detects the tip position of the surgical instrument T and detects whether the distal end of the surgical instrument T is located outside the eye 6 to be examined.
  • the determination unit 23 determines that the insertion position of the surgical instrument T is set (St14). Although the tip of the surgical instrument T is located outside the eye 6 to be inspected even after the surgical instrument T is removed, for example, when the condition determined immediately before is not in the intraoperative eye to be inspected, the insertion is performed. It can be determined that it is the situation of position setting. On the other hand, if the situation determined immediately before is the situation inside the eye to be inspected by the surgical instrument, it can be determined that it is after removal. In this case, the situation determined by the determination unit 23 is recorded in the memory 26 in time series, and the recorded information can be used to grasp the situation determined immediately before.
  • the determination unit 23 determines whether or not the surgical instrument T is inserted in the eye 6 to be examined based on the determined situation. If it is determined that the surgical instrument T is inserted (YES), the process proceeds to St3. When it is determined that the surgical instrument T is not inserted (NO), the process proceeds to St5.
  • the control unit 24 reads from the memory 26 the preset setting information associated with the situation in which the surgical instrument T shown in FIG. 7 is inserted.
  • the setting information includes a setting value related to the focus position, presence/absence of inversion processing, and presence/absence of illumination.
  • the control unit 24 outputs the control signal generated based on the read setting information to the microscope 10.
  • the focus position of the transmission optical system 30 is controlled to be within the front lens 132.
  • the inverted image correction inverter 14 is controlled so that the inversion processing is performed.
  • the output of the illumination light from the intraocular illumination light source 191 and the microscope illumination light source 161 is controlled so that the intraocular illumination is provided.
  • the determination unit 23 determines whether or not the surgery is completed (St5).
  • the determination of the completion of the operation is performed, for example, when the control device 20 receives an input operation signal from the input device 41 such as a foot switch by the user. If it is determined that the operation has been completed (YES), the series of processing ends. When it is determined that the operation is not completed (NO), the process returns to St1 and the process is repeated.
  • the setting values such as d1mm and d2mm which are the setting information related to the focus position, are default values made of preset general values, but the present invention is not limited to this.
  • the setting value set by the user may be used, or the reset value recorded in the memory 26, which has been finely adjusted by the user and reset, may be used.
  • magnification (angle of view) and depth of field are controlled based on preset values (setting information) set for each situation.
  • preset values setting information
  • the setting values of the magnification (angle of view) and the depth of field are default values formed of preset general values.
  • the setting value set by the user may be used, or the reset value recorded in the memory 26 that has been finely adjusted and reset by the user may be used.
  • the setting information may be set based on the captured image acquired by the image sensor 181.
  • the area of the front lens 132 is extracted from the captured image, and the area of the front lens 132 is X% of the captured image in terms of the area ratio in XY coordinates (X is a preset numerical value or is set by the user. Set the magnification (angle of view) so that it will be the set value), detect the trocar or conjunctival blood vessel on the captured image, and set the focus position so that the peak will be there, etc. is there.
  • the illumination intensity, the degree of image enhancement of the display image, and the like are set for each situation. May be. Similar to the focus, magnification (angle of view), and depth of field, these set values may be default values made of general values, set values set by the user, or set by the user.
  • the reset value recorded in the memory 26 that has been finely adjusted and reset may be used.
  • driving of the surgical instrument T may be added and ON/OFF of driving of the surgical instrument T may be set for each situation.
  • the setting information may be that the rotation drive of the vitreous cutter is locked.
  • control unit 24 detects a situation based on a user's input operation such as a foot switch, an operation switch, or an operation by voice, and according to the detected situation, setting information preset for each situation is stored in the microscope.
  • the control signal may be output to the microscope 10 so as to be reflected. For example, by operating the foot switch, it is possible to switch between two controls, one corresponding to the situation of the surgical instrument insertion position setting and the other one corresponding to the situation inside the surgical instrument eye.
  • the situation may be detected by the user's input operation without detecting the surgical instrument, and the microscope 10 may be controlled based on the setting information preset for each situation according to the detected situation. ..
  • the display device and the image pickup device are not necessarily required in the microscope system that performs observation and surgery by eyepiece observation.
  • the focal position, the reversal process, and the illumination are automatically changed based on the surgical instrument detection result.
  • the following configurations may be adopted. That is, the user turns on/off the illumination, the situation is determined by turning the illumination on/off, and the focus position and the presence/absence of the reversal process preset for each situation are automatically determined according to the determined situation. It may be configured so as to be performed automatically.
  • the determination unit 23 determines that the surgical instrument T is located in the eye. It is judged that there is a situation. Then, the control unit 24 sets the microscope 10 so that the distance from the object-side principal point of the objective lens 15 to the front lens 132 is d1 mm and the reversal process is performed, based on the setting information preset for each situation. A control signal for controlling is generated and output to the microscope 10.
  • the setting information of the microscope may be changed based on the switching of the illumination by the user without detecting the surgical instrument.
  • the situation is determined by the illumination operation by the user, and the focus position of the microscope and the presence/absence of the reversal process are automatically controlled according to the determination result. Therefore, a microscope system for performing observation or surgery by eyepiece observation. Then, the display device and the image pickup device are not necessarily required.
  • the focus, the magnification (angle of view), the depth of field, the illumination intensity, the degree of image enhancement of the display image, etc. are set so that the user can finely adjust the preset value (setting information) for each situation. Good. Thereby, a display image more suitable for the user can be obtained.
  • the adjustment when the adjustment is performed by the user and the reset value is set, it is configured so that the changed reset value is always reflected, and the setting information using the surgical instrument detection result is changed every time. It may not necessarily be reflected.
  • the user can perform fine adjustment and overwrite the re-set setting values, and it is possible to perform medical examination and surgery in a state in which the microscope settings are stable.
  • change of the setting information using the surgical tool detection result Should not be reflected.
  • the setting value related to the control of the microscope is not unnecessarily changed except during the adjustment by the user during the treatment.
  • the setting information is not reflected by the surgical instrument detection result until a fixed time has elapsed after the setting by the user is reflected. This prevents the setting value from being unnecessarily and frequently changed after the user makes fine adjustments.
  • the microscope system of the present embodiment can assist the setting work of the microscope, and the user can observe the eye to be inspected with an appropriate display image without being bothered by the setting of the microscope.
  • the operation of the control device when the situation inside the eye to be examined of the surgical instrument is further divided into three situations, that is, a situation during treatment, a situation during insertion of the surgical instrument, and a situation during removal of the surgical instrument explain.
  • the determination unit 23 determines that the surgical instrument detection unit 22. Three situations are determined using the trajectory information of the tip of the surgical instrument T detected using the captured images acquired over time.
  • the surgical instrument detection unit 22 detects that the tip of the surgical instrument T is present inside the front lens 132 in the captured image, and in the region of the front lens 132, the surgical operation is performed. When it is detected that the tip of the tool T is continuously moving from the outside to the inside, it is determined that the operation tool is in the middle of insertion.
  • the surgical instrument detection unit 22 detects that the tip of the surgical instrument T exists inside the front lens 132 in the captured image, and the movement of the distal end of the surgical instrument T in the area of the front lens 132. Is detected to be a movement from the inner side to the outer side continuously, it is determined that the surgical tool is being removed.
  • the surgical instrument detection unit 22 detects that the tip of the surgical instrument T exists inside the front lens 132 in the captured image, and the movement of the distal end of the surgical instrument T in the area of the front lens 132. Is detected as not being a movement from the inner side to the outer side continuously and is not a movement from the outer side to the inner side continuously, it means that the treatment is being performed on the eye 6 under the treatment. judge.
  • the determination unit 23 compares the determined status with the status determined immediately before and determines whether the status has changed.
  • the control unit 24 reads from the memory 26 the setting information associated with the newly determined situation.
  • the setting information is a setting value relating to the focus position, presence/absence of inversion processing, presence/absence of illumination, setting value of magnification (angle of view), setting value of depth of field.
  • the control unit 24 outputs a control signal based on the read setting information to the microscope 10.
  • the focus position of the transmission optical system 30, inversion processing, illumination, magnification (angle of view), and depth of field are controlled based on the control signal output from the control device 20.
  • the setting value (setting information) regarding the magnification (angle of view) in the situation where the surgical instrument insertion position is set and the situation while the surgical instrument is being inserted is a magnification a times so that a wide angle of view is obtained.
  • a region outside the front lens 132 in which the trocar 50 is arranged can be observed in the captured image and the display image in addition to the region of the front lens 132.
  • the angle of view is preferable.
  • the control unit 24 controls the variable power lens system 172 of the observation optical system 17 so that the magnification is a.
  • the magnification a is a preset value, which is a default value determined from general values.
  • the setting value (setting information) regarding the depth of field in the situation of setting the surgical instrument insertion position and the situation during the insertion of the surgical instrument is a value that deepens the depth of field.
  • the control unit 24 controls the focusing device 171 and the variable aperture 173 based on the setting information.
  • the setting value (setting information) regarding the magnification (angle of view) in the situation during treatment is the magnification b times so that the angle of view becomes narrow.
  • the control unit 24 controls the variable magnification lens system 172 of the observation optical system 17 so that the magnification is b times.
  • the magnification b times is a preset setting value, which is a default value determined from general values.
  • the magnification b is a magnification higher than the magnification a.
  • the setting information regarding the depth of field in the situation during the treatment can be set by the user.
  • the control unit 24 controls the focusing device 171 and the variable aperture 173 based on the setting made by the user.
  • the depth of field is set to be shallow in a situation where the resolution and brightness are important during the treatment. Therefore, the setting value (setting information) regarding the depth of field in the situation during the treatment may be set in advance so that the depth of field becomes shallow. Then, the user may arbitrarily make fine adjustments from preset setting values.
  • the setting information regarding the magnification (angle of view) when the surgical instrument is being removed is the magnification a so that the angle of view is wide.
  • the front lens 132 in which the trocar 50 is arranged in addition to the area in the front lens 132 on the captured image and the display image is displayed so that the entire fundus can be observed up to the trocar 50. It is preferable that the angle of view is wide so that the region outside the can be observed.
  • the control unit 24 controls the variable power lens system 172 of the observation optical system 17 so that the magnification is a.
  • the setting value (setting information) regarding the depth of field when the surgical tool is being removed is a value that deepens the depth of field.
  • the control unit 24 controls the focusing device 171 and the variable aperture 173 based on the setting information.
  • the insertion status is divided into three statuses, that is, a status during treatment, a status during insertion of the surgical tool, and a status during removal of the surgical tool, and the change of the set value by the fine adjustment by the user is recorded.
  • 6 is a flowchart showing an operation of the control device 20 in the case of being performed.
  • the control unit 24 displays, from the memory 26, preset setting information associated with the status of the surgical instrument insertion position setting shown in FIG. 7. Read.
  • the setting information includes a setting value related to the focus position, presence/absence of inversion processing, presence/absence of illumination, magnification (angle of view), and depth of field.
  • the control unit 24 outputs the control signal generated based on the read setting information to the microscope 10.
  • the focus position of the transmission optical system 30 is controlled so as to be the trocar 50 based on the control signal output from the control device 20. Further, the inverted image correction inverter 14 is controlled so that the inversion processing is not performed. Further, the output of the illumination light from the intraocular illumination light source 191 and the microscope illumination light source 161 is controlled so that there is extraocular illumination, and the magnification is controlled to be a times, so that the depth of field is deepened. Controlled by.
  • FIG. 12 is a flowchart regarding the situation determination 2, and the same steps as the processing of the situation determination 1 described in the first embodiment are given the same step names and the description thereof will be omitted.
  • the situation determination 2 the situation in which the surgical tool is located inside the eye to be inspected is further divided into three situations, that is, a situation during insertion, a situation during treatment, and a situation during removal. There is.
  • the surgical instrument detection unit 22 detects whether or not the distal end of the surgical instrument T continuously moves from the inner side to the outer side in the area of the front lens 132 on the captured image.
  • the determination unit 23 determines that the situation is that the removal is in progress (St152).
  • the process proceeds to St153.
  • the surgical instrument detection unit 22 detects whether or not the distal end of the surgical instrument T continuously moves from the outer side to the inner side in the area of the front lens 132 on the captured image.
  • the determination unit 23 determines that the situation is in the middle of insertion (St154).
  • the determination unit 23 determines that the treatment is being performed (St155). As described above, the situation determination 2 (St21) is performed, and the process proceeds to the next St22.
  • the determination unit 23 determines whether the determined situation is different from the immediately previous situation.
  • the control unit 24 causes the control unit 24 to set the focus position, the inversion process, the illumination, and the magnification set value at the present time.
  • Setting information such as a setting value related to the depth of field is obtained (St26).
  • the setting value of each of the focus position, the magnification, and the depth of field may be changed by the user's fine adjustment, and the setting value previously recorded as the default value may be different from the setting value at the present time.
  • the reset value (reset information) adjusted and set by the user is acquired.
  • the control unit 24 updates the record setting value which has been reset and recorded so far so as to be changed to the acquired reset value (St27).
  • the control unit 24 reads the setting information (new set value) corresponding to the newly determined situation (St23).
  • the setting information new set value
  • the updated and stored record setting value is set as the new setting value in advance. It is read in preference to the value (default value).
  • the control unit 24 generates a control signal based on the read new setting value (new setting information) and outputs it to the microscope 10 (St24).
  • the microscope 10 the focus position, the reversal process, the illumination, the magnification (angle of view), and the depth of field are controlled based on the control signal output from the control device 20.
  • the memory 26 for recording the reset information adjusted by the user of the microscope is provided, and the control unit 24 uses the reset information with priority over the preset information according to the determined situation.
  • the control unit 24 uses the reset information with priority over the preset information according to the determined situation.
  • the surgical instrument may be reinserted and treated during one and the same operation. It is assumed that the user finely adjusts the focus position and the like at the time of the procedure of inserting the surgical instrument for the first time, and the set value of the final state at the time of the procedure in which the fine adjustment is reflected is recorded.
  • the recorded setting value can be used to control the microscope 10, and the user can save the trouble of performing fine adjustment again.
  • the setting information is changed by a user's input operation such as a foot switch due to a change in the situation, operating the same switch used for the change will set the reset value to reflect the fine adjustment made by the user. It may be configured to. Further, a switch for memory may be provided separately from the switch used for switching.
  • the user may use a reset value that reflects the user's fine adjustment used in the previous operation, or may use a default value. May use a newly set setting value, or may be appropriately selectable by the user.
  • the situation inside the surgical instrument eye is further divided into three situations, that is, a situation during treatment, a situation during insertion of the surgical instrument, and a situation during removal of the surgical instrument, and according to each situation,
  • the magnification (angle of view) and the depth of field may be controlled.
  • a reset value reflecting a fine adjustment made by the user may be recorded, and control may be performed using the updated reset value.
  • the inversion process is performed by using the inverted image correction inverter 14, but the present invention is not limited to this.
  • the inversion process may be performed by performing image processing on the captured image acquired by the image sensor 181 and will be described with reference to FIG. 13.
  • FIG. 13A is a schematic diagram showing a captured image of the eye to be inspected observed through the front lens 132, and inversion processing by the inverted image correction inverter 14 is not performed.
  • FIG. 13B is a schematic diagram showing a display image on which the inversion processing has been performed by the image processing.
  • the front lens 132 is arranged in front of the eye 6 to be inspected, so that the region inside the peripheral edge S of the front lens 132 has a reversed region where the image is reversed. It becomes R1.
  • the reversal region R1 is a region where an image is formed by the front lens 132.
  • a region in which the image is not inverted is shown as a non-inverted region R2.
  • the inversion region detection unit (not shown) included in the control device 20 detects the inversion region R1 in the captured image.
  • control unit 24 of the control device 20 inverts to the inversion area detection unit in the case of the setting information with the inversion process.
  • the region is detected, and the image processing unit 25 is caused to perform the inversion process of the captured image.
  • the inversion area R1 can be detected using object recognition.
  • the outside of the anterior lens 132 is a region (white eye 63) corresponding to the sclera, while the inside of the anterior lens 132 is a region (black eye) where the color and texture are different from those of the white eye such as the iris and the pupil. It is also possible to detect the inversion region R1 by utilizing the fact that
  • the peripheral edge S of the front lens 132 in the captured image since a clear edge exists on the peripheral edge S of the front lens 132 in the captured image, it is possible to perform edge detection processing and detect the area inside the detected edge as the inversion area R1.
  • the above detection method detects the reversal region R1 from one captured image.
  • the image pickup device 181 when the image pickup device 181 is mounted on each of the left and right sides of the microscope 10, it is possible to obtain picked-up images for both the left eye and the right eye.
  • the depth information can be extracted from the parallax information of these two captured images, and the fact that the front lens 132 is in front of the eyes can also be used to detect the reversal region R1.
  • the inverted region R1 can be detected by using a plurality of captured images. Specifically, a captured image when the front lens 132 is not attached is held, the captured image and the captured image including the front lens 132 are compared, and a region having a large difference is set as an inversion region R1. May be detected.
  • the range of the detected reversal region R1 is supplied to the image processing unit 25.
  • the image processing unit 25 inverts the inversion region R1 included in the captured image output from the image sensor 181 so as to be point-symmetrical about the center of the inversion region R1. Further, the image processing unit 25 combines the inverted region R1 and the non-inverted region R2 by making the outer periphery of the inverted region R1 and the inner periphery of the non-inverted region R2 coincide with each other.
  • the image processing unit 25 can generate a display image in which inversion is eliminated, as shown in FIG.
  • the image processing unit 25 outputs the generated display image to the display device 40 and displays it on the display device 40.
  • the display image may be generated by performing the inversion processing by the image processing, and the user inserts or removes the surgical tool T and examines the eye 6 to be examined while observing the display image displayed on the display device 40. Treatment can be performed.
  • a microscope system 400 An ophthalmic microscope system (hereinafter, referred to as a microscope system) 400 according to the fourth embodiment will be described.
  • a microscope system 400 retinal vitreous surgery using a wide-angle observation lens as a front lens will be described as an example.
  • the microscope system 400 of the present embodiment is a HUS system that performs an operation while viewing an image captured by an image sensor on a display device.
  • the same components as those in the above-described embodiment are denoted by the same reference numerals, and description thereof may be omitted.
  • the eyepiece unit is not provided, and the microscope is configured to observe the eye to be inspected by the display device.
  • the eyepiece unit is provided as in the first embodiment, and the eyepiece observation and the observation by the display device are performed. It may be configured to be able to do both.
  • FIG. 14 is a schematic diagram showing the configuration of the microscope system 400 according to this embodiment.
  • the microscope system 400 includes an ophthalmic microscope (hereinafter, referred to as a microscope) 410, an image processing device 420, a display device 40, and an input device 41.
  • a microscope ophthalmic microscope
  • the microscope 410 includes an intraocular image pickup device as a first image pickup device for photographing the subject's eye 6 in front of which the front lens 132 is placed while focusing on the front lens 132. 4181 and an image pickup device 4182 for extraocular observation as a second image pickup device for focusing on a region of the subject's eye 6 where the front lens 132 is not arranged.
  • the display device 40 displays a display image generated using the first captured image acquired by the intraocular observation image sensor 4181 and the second captured image acquired by the extraocular observation image sensor 4182. It In this display image, a region in which the front lens 132 is located is extracted from the first captured image, and only the extracted region is subjected to the inversion process. A second image including an area other than the area in which 132 is located is generated by combining. The details will be described below.
  • the microscope 410 is used for a user of the microscope system 400 (a doctor or an assistant who performs an examination or an operation of the eye to be examined using the microscope system 400) to observe an enlarged image of the eye 6 during examination or surgery in the field of ophthalmology. To be done.
  • the microscope 410 includes a microscope body 412, a non-contact wide-angle observation unit 13 as a function expansion unit, an intraocular illuminator 19, a microscope illumination light source 161, and an extraocular illuminator 411. Equipped with. Details of the microscope 410 will be described later.
  • the image processing device 420 performs image processing on the images captured by the intraocular observation image pickup device 4181 and the extraocular observation image pickup device 4182, which will be described later, mounted on the microscope 410, and generates a display image displayed on the display device 40. .. Details of the image processing device 420 will be described later.
  • the display device 40 displays the display image generated by the image processing device 420.
  • the input device 41 is an input interface for the microscope system 400, and is the same as in the first embodiment.
  • FIG. 15 is a block diagram of the microscope system 400.
  • the microscope 410 includes a non-contact wide-angle observation unit 13, a microscope illumination optical system 16, an observation optical system 417, a photographing system 418, an intraocular illuminator 19, and an extraocular illuminator. 411.
  • the main body 412 of the microscope accommodates a part of the microscope illumination optical system 16, an observation optical system 417, and a photographing system 418.
  • the configurations of the non-contact wide-angle observation unit 13, the microscope illumination optical system 16, and the intraocular illuminator 19 are the same as those in the first embodiment.
  • FIG. 16 is a schematic diagram for explaining a state of eye surgery using the microscope system 400.
  • the reduction lens 131 is not shown.
  • the extraocular illuminator 411 is provided outside the microscope main body 412 and emits illumination light for illuminating the eye 6 from the outside of the eye 6 to be inspected.
  • the extraocular illuminator 411 is provided, for example, in the non-contact wide-angle observation unit 13.
  • the extraocular illuminator 411 includes an extraocular illumination light source 4111 and an optical fiber 4112.
  • the extraocular illumination light source 4111 emits illumination light (extraocular illumination light).
  • One end of the optical fiber 4112 is connected to the extraocular illumination light source 4111, and the other end is arranged so as to be located on the side part of the front lens 132, as shown in FIG.
  • the illumination light from the microscope illumination optical system 16 illuminates the eye 6 via the front lens 132.
  • the illumination light from the extraocular illuminator 411 illuminates the subject's eye 6 without passing through the front lens 132.
  • the extraocular illuminator 411 and the microscope illuminating optical system 16 as extraocular illumination optical systems both output extraocular illumination light that illuminates the subject's eye 6 from the outside.
  • the illumination light from the extraocular illuminator 411 illuminates the subject's eye 6 without passing through the front lens 132, and therefore is not reflected by the front lens 132.
  • Whether or not the illumination light is output from the microscope illumination light source 161, whether or not the illumination light is output from the intraocular illumination light source 191, and whether or not the illumination light is output from the extraocular illumination light source 4111 is determined by a user input operation. It may be controlled. Alternatively, similarly to the above-described embodiment, the control may be performed based on the setting information set in advance according to the situation determined using the surgical tool detection result of the captured image.
  • the observation optical system 417 is for observing the subject's eye 6 illuminated by the microscope illumination optical system 16, the intraocular illuminator 19 or the extraocular illuminator 411.
  • the observation optical system 417 has an intraocular observation optical system 4171 as a first observation optical system and an extraocular observation optical system 4172 as a second observation optical system.
  • the intraocular observation optical system 4171 is provided with an observation optical path corresponding to the intraocular observation image pickup element 4181
  • the extraocular observation optical system 4172 is provided with an observation optical path corresponding to the extraocular observation image pickup element 4182.
  • the non-contact wide-angle observation unit 13 and the intraocular observation optical system 4171 transmit the image of the eye 6 to the intraocular observation image pickup device 4181 (extraocular observation image pickup device 4182).
  • An intraocular transmission optical system 431 (extraocular transmission optical system 432) as a first optical system (second optical system) is configured.
  • the intraocular transmission optical system 431 (extraocular transmission optical system 432) forms an image of the return light (image of the eye to be inspected) from the eye 6 on the intraocular observation image pickup element 4181 (extraocular observation image pickup element 4182).
  • the intraocular transmission optical system 431 includes a front lens 132, a reduction lens 131, and an intraocular observation optical system 4171.
  • the extraocular transmission optical system 432 includes a reduction lens 131 and an extraocular observation optical system 4172.
  • the intraocular observation optical system 4171 and the extraocular observation optical system 4172 are respectively divided into an observation optical system for the user's left eye and an observation optical system for the right eye, and each has an observation optical path.
  • the intraocular observation optical system 4171 and the extraocular observation optical system 4172 will be described.
  • the intraocular observation optical system 4171 includes an objective lens 4151 (4152), a focusing device 41711 (41721), a variable magnification lens system 41712 (41722) including a plurality of zoom lenses, and an image formation. It has a lens (not shown), a variable diaphragm 41713 (41723), and an imaging lens (not shown).
  • the intraocular observation optical system 4171 (extraocular observation optical system 4172) can be moved up and down by the focusing device 41711 (41721). Accordingly, the operation interval between the objective lens 4151 (4152) and the subject's eye 6 can be adjusted, and the microscope 410 is focused on the examination target region of the subject's eye 6.
  • the focusing device 41711 and the focusing device 41712 are independently controllable.
  • the focus position, magnification, and depth of field of the transmission optical system are individually controlled by the intraocular transmission optical system 431 and the extraocular transmission optical system 432.
  • the focusing device 41711 of the intraocular observation optical system 4171 in a state where the front lens 132 is arranged in front of the subject's eye 6, so as to focus on the area where the front lens 132 is located, The distance D1 from the object side principal point of the objective lens 4151 to the front lens 132 is adjusted.
  • the focal position of the intraocular transmission optical system 431 is set so as to be located in the area where the front lens 132 is located.
  • the state where the focal position of the intraocular transmission optical system 431 is located in the area where the front lens 132 is located is as follows. That is, the position of the rear focus of the front lens 132 and the position of the front focus of the objective lens 4151 coincide with each other, and the objective lens 4151, the front lens 132, and the subject's eye 6 are focused so that the fundus 67 is in focus. The relative positional relationship is adjusted.
  • the focusing device 41721 of the extraocular observation optical system 4172 in a state where the front lens 132 is arranged in front of the eye 6 to be inspected, the objective is adjusted so as to focus on the trocar 50 located outside the front lens 132.
  • the distance D2 from the object-side principal point of the lens 4152 to the trocar 50 arranged on the eye 6 to be inspected is adjusted.
  • the distance from the object-side principal point of the objective lens 4152 to the surface of the subject's eye 6 is D2.
  • the focal position of the extraocular transmission optical system 432 is set so as to be located in an area outside the area in which the front lens 132 is located, more specifically, in the trocar 50.
  • the state where the focal position of the extraocular transmission optical system 432 is located on the trocar 50 is a state in which the front focal position of the objective lens 4152 is set to be located on the trocar 50.
  • the multiple zoom lenses of the variable magnification lens system 41712 (41722) are movable along the optical axis of the observation optical system. By moving the plurality of zoom lenses, the magnification of the image of the subject's eye 6 is changed.
  • the depth of field of the intraocular transmission optical system 431 and the extraocular transmission optical system 432 depends on the focal length of the lens, the aperture value, and the shooting distance. Therefore, the depth of field is changed by controlling the focusing device 41711 (41721) and the variable diaphragm 41713 (41723).
  • the return light reflected and scattered by the eye 6 to be inspected and incident on the objective lens 4151 (4152) is controlled in magnification by the variable power lens system 41712 (41722), passes through the imaging lens and the variable diaphragm 41713 (41723), The light enters the imaging lens and then enters an intraocular observation image pickup device 4181 (extraocular observation image pickup device 4182) of an image pickup system 418 described later.
  • the imaging system 418 includes an intraocular observation image pickup element 4181 and an extraocular observation image pickup element 4182.
  • the intraocular observation image pickup device 4181 (extraocular observation image pickup device 4182) may correspond to both the left and right intraocular observation optical systems 4171 (extraocular observation optical system 4172), or one of the left and right ones. It may correspond to the intraocular observation optical system 4171 (extraocular observation optical system 4172).
  • the intraocular observation image pickup device 4181 corresponds to both left and right, and in the example shown in FIG. Two imaging devices for observation 4182) are shown. As described above, in the present embodiment, since the image pickup devices are provided on the left and right sides, respectively, a stereo image can be obtained.
  • the intraocular image pickup device 4181 and the extraocular image pickup device 4182 are mounted on the microscope 410. An image of the subject's eye 6 is formed on the intraocular observation image pickup device 4181 (extraocular observation image pickup device 4182) via the intraocular transmission optical system 431 (extraocular transmission optical system 432). The captured images captured by the intraocular observation image pickup device 4181 and the extraocular observation image pickup device 4182 are output to the image processing device 420.
  • the image pickup device 4181 for intraocular observation is arranged so as to photograph the subject's eye 6 through the front lens 132.
  • the objective lens 4151 is arranged so that the focal position of the intraocular transmission optical system 431 corresponding to the intraocular image pickup device 4181 is within the area where the front lens 132 is located when the eye 6 to be inspected is viewed from the front side.
  • the distance D1 between the object-side principal point of and the front lens 132 is adjusted.
  • the first captured image captured by the intraocular observation image sensor 4181 is an image in which the front lens 132 has a focus when the eye 6 to be inspected is viewed from the front side.
  • the imaging element 4182 for extraocular observation is configured to capture an image of the eye 6 without the front lens 132 in a state where the front lens 132 is arranged in front of the eye 6. Will be placed.
  • the focus position of the extraocular transmission optical system 432 corresponding to the extraocular imaging device 4182 is set to the trocar 50 located outside the region where the front lens 132 is located when the eye 6 to be inspected is viewed from the front side. Then, the distance D2 between the object-side principal point of the objective lens 4152 and the trocar 50 is adjusted.
  • the second imaged image acquired by the extraocular observation image pickup element 4182 is an image in which an area outside the front lens 132 is focused.
  • the image pickup device 4181 for intraocular observation and the image pickup device 4182 for extraocular observation it is possible to obtain a picked-up image with different focus positions in each image pickup device.
  • the image processing device 420 generates a display image based on the first captured image and the second captured image acquired from the microscope 410.
  • the inversion process is performed by image processing without using the inverted image correction inverter.
  • the image processing device 420 includes an image acquisition unit 421 and an image processing unit 422.
  • the image acquisition unit 421 acquires the first captured image captured by the intraocular observation image sensor 4181 and the second captured image captured by the extraocular observation image sensor 4182.
  • the image processing unit 422 extracts an inversion area (an area in which the image is inverted by the front lens 132) where the front lens 132 is located in the first captured image, and inverts only the extracted area to form a normal image.
  • the generated first image is generated.
  • a second image is generated by extracting a region other than the region where the front lens 132 is located in the second captured image. Then, the first image and the second image are combined to generate a display image.
  • the generated display image is output to the display device 40.
  • the display device 40 displays a display image, and the user can observe the subject's eye 6 while looking at the displayed display image.
  • the inversion processing of the inversion area of the first captured image is similar to that of the third embodiment.
  • the combined display image is an image that is focused on each of the region in which the front lens 132 exists and the region in which the front lens 132 does not exist, and the inside and outside of the front lens 132 can be naturally observed. It becomes a display image that can be. Therefore, the user can observe each area simultaneously with an appropriate image.
  • the surgical instrument T is set to the eye 6 to be examined from the situation of setting the insertion position of the surgical instrument T. There is no need to control the microscope to change the focus position when changing to the situation of being located inside. Therefore, the user does not have to bother with the setting of the microscope.
  • the extraocular illuminator 411 is arranged on the side portion of the front lens 132, it is possible to irradiate the eye 6 to be inspected with the illumination light without using the front lens 132. ..
  • the front lens 132 When the front lens 132 is arranged in front of the eye 6 to be inspected, by irradiating the eye 6 with the illumination light from the extraocular illuminator 411 as the illumination light for extraocular illumination, not the illumination light from the microscope illumination light source 161. A display image suitable for observation without specular reflection of illumination light by the front lens 132 can be obtained.
  • the extraocular illuminator 411 is provided on the side of the front lens 132 to prevent specular reflection at the front lens 132, but the present invention is not limited to this.
  • the extrailluminator 411 is not provided, and the illumination light from the microscope illumination optical system 16 is used. Then, the image pickup device 4181 for in-eye observation and the image pickup device 4182 for out-of-eye observation are alternately performed. Further, at the time of photographing with the image pickup device 4181 for intraocular observation, which focuses on the inside of the front lens 132, the irradiation of the illumination light from the microscope illumination optical system 16 is turned off (turned off), and the outside of the front lens 132 is exposed.
  • the illumination light from the microscope illumination optical system 16 is turned on at high speed at the time of photography so that the illumination light from the microscope illumination optical system 16 is turned on (lighted) at the time of photography by the image pickup device 4182 for extraocular observation for focusing. Blink to. It should be noted that the illumination light from the intraocular illuminator 19 turns on the irradiation at the time of photographing by the intraocular observation image pickup device 4181 and turns off the irradiation at the time of photographing by the extraocular observation image pickup device 4182.
  • the reflection of the illumination light from the microscope illumination optical system 16 does not occur in the front lens 132, and an image suitable for observation without specular reflection of the illumination light in the front lens 132. Can be obtained.
  • the illumination light from the microscope illumination optical system 16 is used as the illumination light for external illumination for irradiating the subject's eye 6 from the outside, without providing the illumination device for external illumination 411.
  • the first illumination light output from the intraocular illuminator 19 has a first wavelength
  • the second illumination light output from the microscope illumination optical system 16 has a second wavelength different from the first wavelength. It is configured to have a wavelength.
  • the intraocular observation image pickup element 4181 as the first image pickup element is an image pickup element that selectively receives light of the first wavelength
  • the extraocular observation image pickup element 4182 as the second image pickup element is the second image pickup element.
  • the image pickup device is configured to selectively receive light of the wavelength.
  • the illumination light (first illumination light) output from the intraocular illuminator 19 is illumination light (light having a first wavelength) in which near-infrared light is cut off.
  • the illuminator 19 is used, and the microscope illumination optical system 16 in which the illumination light (second illumination light) output from the microscope illumination optical system 16 becomes near infrared light (light of the second wavelength) is used.
  • the imaging device 4181 for intraocular observation that selectively receives the light (the light of the first wavelength) from which the near-infrared light is cut is used, and the near-infrared light (the light of the second wavelength) is selectively selected.
  • the image pickup element 4182 for extraocular observation receives light.
  • illumination light is simultaneously emitted from the intraocular illuminator 19 and the microscope illumination optical system 16, and the images are simultaneously captured by the intraocular observation image pickup device 4181 and the extraocular observation image pickup device 4182.
  • the intraocular observation image pickup element 4181 displays near red light.
  • the near infrared light is not received because the light from which the external light is cut is received. Therefore, it is possible to obtain a captured image that is not affected by the specular reflection of illumination light by the front lens 132, and obtain an image suitable for observation.
  • the illumination light from the microscope illumination optical system 16 is used as the illumination light for external illumination for irradiating the subject's eye 6 from the outside without providing the illumination device for external illumination 411.
  • the microscope illumination optical system 16 is configured such that the second illumination light from the microscope illumination optical system 16 has a specific polarization state (second polarization state).
  • an optical element that transmits only the light in the first polarization state orthogonal to the polarization state (second polarization state) of the second illumination light from the microscope illumination optical system 16.
  • a polarization filter as an element is provided.
  • illumination light is simultaneously emitted from the intraocular illuminator 19 and the microscope illumination optical system 16, and the images are simultaneously captured by the intraocular observation image pickup device 4181 and the extraocular observation image pickup device 4182.
  • the illumination light having a specific polarization state from the microscope illumination optical system 16 is reflected by the front lens 132, the reflected light has a specific polarization state maintained. Therefore, the reflected light cannot pass through the polarization filter provided in front of the intraocular observation image pickup element 4181 and is not incident on the intraocular observation image pickup element 4181. Therefore, it is possible to obtain a captured image that is not affected by the specular reflection of illumination light by the front lens 132, and obtain an image suitable for observation.
  • a wide-angle observation lens that provides a wide-angle field of view is used as a front lens for fundus observation.
  • the image through the front lens is smaller than the image without the front lens. Therefore, a first image generated based on the first captured image acquired by the intraocular observation image sensor 4181 and a second image captured by the extraocular observation image sensor 4182 are generated. In the image combined with the second image, the sense of depth may be greatly different between the inside and outside of the front lens.
  • the image pickup device 4181 for intraocular observation and the image pickup device 4182 for extraocular observation are provided, the image pickup device 4182 for extraocular observation for the left eye and the image pickup device for right eye 4182 are provided.
  • the image pickup device can be arranged by adjusting the distance (baseline length L2, see FIG. 16) from the image pickup device 4182 for extraocular observation. By changing the baseline length L2, it is possible to adjust the size of the image acquired by the intraocular observation image pickup element 4181.
  • the image inside the front lens can be enlarged, and adjustment can be performed so that the display image inside and outside the front lens has a close sense of depth.
  • an intraocular observation optical system 4171 and an extraocular observation optical system 4172 are provided corresponding to the intraocular observation image pickup device 4181 and the extraocular observation image pickup device 4182, respectively. .. Therefore, the focus position can be adjusted separately for each of the intraocular transmission optical system 431 having the intraocular observation optical system 4171 and the extraocular transmission optical system 432 having the extraocular observation optical system 4172. Thereby, the size of the image acquired by the intraocular image pickup device 4181 is adjusted by changing the distance D2 from the object-side principal point of the objective lens 4152 to the trocar 50 arranged in the eye 6 to be inspected. You can
  • the image inside the front lens can be enlarged, and adjustment can be performed so that the display image inside and outside the front lens has a close sense of depth.
  • either one of the base line length L2 and the distance D2 may be used, or both may be used.
  • the microscope system of the present embodiment can assist the setting work of the microscope, and the user can observe the eye to be inspected with an appropriate display image without being bothered by the setting of the microscope.
  • a wide-angle observation lens has been described as an example of the front lens 132, but a corner mirror may be used as the front lens 132, for example.
  • the angle can be observed by using a corner mirror.
  • intraocular illumination is unnecessary. Therefore, for example, the setting information regarding the illumination in the first embodiment is either ON or OFF of the extraocular illumination in the microscope illumination optical system.
  • the situation in which the surgical tool is located inside the eye to be inspected is divided into three situations, that is, a treatment situation, a situation during insertion, and a situation during removal is given.
  • the situation in which the surgical instrument is located inside the eye to be inspected may be divided into, for example, a situation during treatment and a situation not under treatment. This will be described below with reference to FIG.
  • FIG. 17 is a flowchart showing the operation of the control device 20 when the situation where the surgical instrument is located inside the eye to be inspected is divided into two situations, a situation under treatment and a situation not under treatment.
  • this situation determination is illustrated as situation determination 3.
  • the same step as the process described in the above-described embodiment is given the same step name, and the description thereof may be omitted.
  • the surgical instrument detection unit 22 determines whether the distal end of the surgical instrument T continuously moves from the inside to the outside in the area of the front lens 132 on the captured image. Is detected. When it is detected that the tip of the surgical instrument T is moving from the inner side to the outer side (YES), the determination unit 23 determines that the treatment is not being performed (St156). When it is detected that the tip of the surgical instrument T does not move from the inner side to the outer side (NO), the process proceeds to St153.
  • the surgical instrument detection unit 22 detects whether or not the distal end of the surgical instrument T continuously moves from the outer side to the inner side in the area of the front lens 132 on the captured image.
  • the determination unit 23 determines that the treatment is not being performed (St156).
  • the determination unit 23 determines that the treatment is being performed (St155). The situation determination 3 is performed as described above.
  • the shooting conditions of the image sensor 181 can be automatically set based on the magnification (angle of view) and the setting information relating to the depth of field that are set in advance for each determination.
  • the magnification is set to b and the microscope 10 is set so that the user can set the depth of field. Controlled.
  • the magnification is set to a and the microscope 10 is controlled so that the depth of field becomes deep.
  • magnification angle of view
  • depth of field a magnification (angle of view) and the depth of field are automatically set.
  • at least one of the magnification (angle of view) and the depth of field may be automatically controlled according to the determination result of the situation.
  • the shooting condition may be set on the basis of the result of the determination, which is performed separately for the status during insertion and the status other than the status for insertion.
  • the shooting condition may be set on the basis of the determination result by making a determination separately for the situation during removal and the situation other than removal.
  • an inner focus microscope may be used.
  • a focusing lens is provided in the observation optical system.
  • the focus position of the transmission optical system can be controlled without vertically moving the microscope body. In this case, the distance between the objective lens and the subject's eye does not change.
  • the focus of the transmission optical system can be increased.
  • the position may be controlled.
  • a control device comprising a control unit for controlling at least one of the presence and absence of a reversal process in which the image of FIG.
  • the control device has an optical system that guides the image of the subject's eye to the image sensor, and an extraocular illumination light source that outputs extraocular illumination light that illuminates the subject eye from the outside,
  • the control device includes at least one of the focus position of the optical system and the presence/absence of irradiation of the extraocular illumination light in the imaging condition.
  • the control unit controls at least one of the imaging condition of the image sensor and the presence/absence of the inversion process based on setting information preset for each situation determined based on the detection result of the surgical instrument. apparatus.
  • the surgical instrument can be inserted into the eye through a trocar arranged on the eye to be inspected,
  • the focus position is set to the trocar, the inversion process is not performed, the extraocular illumination light is set to be output,
  • the focal position is set to the front lens, the inversion process is performed, and the extraocular illumination light is not output.
  • the control device further comprises an intraocular illuminator that irradiates intraocular illumination light inside the eye to be examined,
  • the front lens is a wide-angle observation lens for observing the inside of the eye to be inspected,
  • the output of the intraocular illumination light is set to none in the situation where the insertion position is set, and the output of the intraocular illumination light is set to be present in the situation where the surgical tool is inserted. Control device.
  • the control device is a corner mirror for observing the corner angle of the eye to be inspected.
  • the control device according to any one of (3) to (7) above,
  • the setting information preset for each situation further comprises a memory for recording resetting information reset by the user of the ophthalmic microscope,
  • the control device includes at least one of the magnification of the optical system and the depth of field of the optical system, A control device in which the control unit controls at least one of the magnification and the depth of field based on setting information preset for each determined situation.
  • the situation not being treated is a state during insertion which is a movement of the surgical instrument from the insertion position of the eye to be examined to a position at the time of treatment, and the surgical instrument from the position at the time of treatment to the outside of the eye to be examined.
  • Including the situation during removal which is the movement of The control unit, based on setting information preset for the determined situation during the treatment, the situation during insertion, or the situation during removal, at least the magnification and the depth of field.
  • the control device according to any one of (3) to (11) above, The ophthalmic microscope further comprises an inverter that optically performs the inversion process, The control device controls the inverter based on setting information set for the determined situation.
  • the image processing unit further includes an image processing unit that generates a display image by performing the inversion process of inverting an area where an image is formed by the front lens in the captured image.
  • the control unit controls the image processing unit based on the setting information set for the determined situation.
  • a front lens that can be arranged in front of the eye to be inspected, an extraocular illumination light source that outputs an extraocular illumination light that illuminates the eye to be inspected from the outside, and an ophthalmic microscope including an image pickup device that captures the eye to be inspected, Based on the detection result of the surgical tool using the imaged image of the eye to be inspected taken by the image pickup device through the front lens, the image pickup condition of the image pickup device, of the region inverted by the front lens
  • An ophthalmic microscope system comprising a control device for controlling at least one of the presence and absence of reversal processing for making an image a normal image.
  • a first optical system for transmitting an image of an eye to be inspected including a front lens arranged in front of the eye to be inspected;
  • the image of the eye to be inspected transmitted by the second optical system is in a state in which the focal position of the second optical system is located in an area outside the area in which the front lens of the eye to be inspected is located.
  • An ophthalmic microscope comprising a second image pickup device for forming an image.
  • the ophthalmic microscope according to (15) above The ophthalmic microscope further comprising a second illuminator that irradiates the eye to be inspected with the second illumination light without the interposition of the front lens when the second imaging device captures an image.
  • the ophthalmic microscope according to (15) above A first illuminator for irradiating the inside of the eye to be inspected with first illumination light at the time of imaging with the first image sensor; A second illuminator for irradiating the eye to be inspected with second illumination light at the time of imaging with the second image sensor, Shooting with the first image sensor and shooting with the second image sensor are alternately performed, The first illuminator outputs the first illumination light in synchronism with the image capturing by the first image sensor, The second illuminator is an ophthalmic microscope that outputs the second illumination light in synchronization with the image capturing by the second image sensor.
  • the first image pickup device has an image pickup device that selectively receives the light of the first wavelength, and the second image pickup device has an image pickup device that selectively receives the light of the second wavelength.
  • a front lens that can be arranged in front of the eye to be inspected, a first image pickup device that captures the eye to be inspected by focusing on the front lens, and a region in which the front lens of the eye to be inspected is located
  • the front lens is A region other than a region in which the front lens is located in a first image obtained by extracting a region in which the region is located and performing inversion processing only in the extracted region, and in a second captured image acquired by the second image sensor.
  • An image processing apparatus comprising: an image processing unit configured to generate a display image by synthesizing the second image including the second image.
  • An ophthalmic microscope comprising: a second image pickup device for photographing the eye to be inspected by focusing on a region outside the region where the front lens of the eye to be inspected is located; A first image obtained by extracting a region in which the front lens is located from the first captured image acquired by the first image sensor, and subjecting only the extracted region to inversion processing, and the second image sensor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Vascular Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Urology & Nephrology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Microscoopes, Condenser (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】顕微鏡の設定を補助することができる制御装置、眼科用顕微鏡システム、眼科用顕微鏡及び画像処理装置を提供する。 【解決手段】本技術に係る制御装置は制御部を具備する。上記制御部は、眼科用顕微鏡の撮像素子により前置レンズを介して撮影された被検眼の撮像画像を用いた術具の検出結果に基づいて、上記撮像素子の撮影条件、上記前置レンズにより反転している領域の像を正像とする反転処理の有無の少なくともどちらかを制御する。

Description

制御装置、眼科用顕微鏡システム、眼科用顕微鏡及び画像処理装置
 本技術は、眼科手術に利用される制御装置、眼科用顕微鏡システム、眼科用顕微鏡及び画像処理装置に関する。
 眼科手術において、前置レンズを含むユニットが眼科手術顕微鏡に追加されて用いられることがある。網膜硝子体手術では広角観察レンズが、隅角を処置する低侵襲緑内障手術(MIGS:minimally invasive glaucoma surgery)では隅角鏡が、それぞれ前置レンズとして広く使われている。
 例えば、広角観察レンズを含む広角顕微鏡ユニットが追加された眼科手術顕微鏡は、広い範囲の眼底を観察するのに適している。この広角顕微鏡ユニットが追加されることにより、眼科手術顕微鏡では、例えば焦点位置が前置レンズである広角観察レンズにより結像された位置に変化する。また、前置レンズを配置することにより前置レンズ内の像が反転する。このように、前置レンズの追加により顕微鏡内の様々な光学条件が変更されてしまうため、顕微鏡を調整する必要がある。
 特許文献1には、前置レンズの有無を検出し、それに応じて各種調整を自動的に行うことが記載されている。
特開2017-217290号公報
 実際の手術では、前置レンズを被検眼の前に配置した状態で、術具の挿抜や処置が行われる。顕微鏡のユーザは、術具の挿抜時や処置中等の異なる状況それぞれに適した像が得られるように顕微鏡を設定する必要がある。
 以上のような事情に鑑み、本技術の目的は、顕微鏡の設定を補助することができる制御装置、眼科用顕微鏡システム、眼科用顕微鏡及び画像処理装置を提供することにある。
 上記目的を達成するため、本技術の一形態に係る制御装置は制御部を具備する。
 上記制御部は、眼科用顕微鏡の撮像素子により前置レンズを介して撮影された被検眼の撮像画像を用いた術具の検出結果に基づいて、上記撮像素子の撮影条件、上記前置レンズにより反転している領域の像を正像とする反転処理の有無の少なくともどちらかを制御する。
 この構成によれば、術具の検出結果に基づいて、撮像素子の撮影条件、反転処理の有無の少なくともどちらかが自動的に設定される。
 上記眼科用顕微鏡は、上記被検眼の像を上記撮像素子に導く光学系と、上記被検眼を外側から照明する眼外用照明光を出力する眼外用照明光源とを有し、上記撮影条件には、上記光学系の焦点位置、上記眼外用照明光の照射の有無の少なくともどちらかが含まれてもよい。
 上記制御部は、上記術具の検出結果に基づいて判定された状況毎に予め設定された設定情報に基づいて、上記撮像素子の撮影条件、上記反転処理の有無の少なくともどちらかを制御してもよい。
 上記状況は、上記術具の先端が上記撮像画像における上記前置レンズの領域外に位置することが検出された場合、上記挿入位置を設定している状況であると判定され、上記術具の先端が上記撮像画像における上記前置レンズの領域内に位置することが検出された場合、上記術具が上記被検眼の内部に位置している状況であると判定されてもよい。
 上記術具は上記被検眼上に配置されたトロッカを介して眼内に挿入可能であり、上記設定情報において、上記挿入位置を設定している状況では、上記焦点位置は上記トロッカに設定され、上記反転処理は行わない設定とされ、上記眼外用照明光は出力される設定とされ、上記術具が挿入されている状況では、上記焦点位置は上記前置レンズに設定され、上記反転処理は行われる設定とされ、上記眼外用照明光の出力は行わない設定とされてもよい。
 上記眼科用顕微鏡は、上記被検眼の内部に眼内用照明光を照射する眼内用照明器を更に備え、上記前置レンズは上記被検眼の眼内を観察するための広角観察レンズであり、上記設定情報において、上記挿入位置を設定している状況では上記眼内用照明光の出力はなしと設定され、上記術具が挿入されている状況では上記眼内用照明光の出力はありと設定されてもよい。
 上記前置レンズは上記被検眼の隅角を観察するための隅角鏡であってもよい。
されてもよい。
 状況毎に予め設定された上記設定情報が上記眼科用顕微鏡のユーザにより再設定された再設定情報を記録するメモリを更に具備し、上記制御部は、判定された状況に応じて、予め設定された設定情報よりも優先的に上記再設定情報を用いて、上記撮像素子の撮影条件を制御してもよい。
 上記撮影条件には、上記光学系の倍率、上記光学系の被写界深度の少なくともどちらかが含まれ、上記制御部は、判定された状況毎に予め設定された設定情報に基づいて上記倍率、上記被写界深度の少なくともどちらかを制御してもよい。
 上記状況は、上記術具の先端が上記撮像画像における上記前置レンズの領域外に位置することが検出された場合、上記挿入位置を設定している状況であると判定され、上記術具の先端が上記撮像画像における上記前置レンズの領域内に位置することが検出された場合、上記術具が上記被検眼の内部に位置している状況であると判定され、
 上記被検眼の内部に上記術具が位置する状況は、上記被検眼の処置が行われている処置中の状況と、上記被検眼の処置が行われていない処置中でない状況とを含み、
 上記制御部は、判定された上記処置中の状況又は上記処置中でない状況に対して予め設定された設定情報に基づいて、上記倍率、上記被写界深度の少なくともどちらかを制御してもよい。
 上記処置中でない状況は、上記被検眼の上記挿入位置から処置時の位置までの上記術具の移動である挿入中の状況と、上記処置時の位置から上記被検眼の外までの上記術具の移動である抜去中の状況を含み、
 上記制御部は、判定された上記処置中の状況、上記挿入中の状況、又は、上記抜去中の状況に対して予め設定された設定情報に基づいて、上記倍率、上記被写界深度の少なくともどちらかを制御してもよい。
 上記眼科用顕微鏡は、上記反転処理を光学的に行うインバータを更に備え、上記制御部は、判定された状況に対して設定された設定情報に基づいて上記インバータを制御してもよい。
 上記撮像画像の中で上記前置レンズにより像が結像している領域を反転させる上記反転処理を行って表示画像を生成する画像処理部を更に具備し、上記制御部は、判定された状況に対して設定された設定情報に基づいて上記画像処理部を制御してもよい。
 上記目的を達成するため、本技術の一形態に係る眼科用顕微鏡システムは、眼科用顕微鏡と、制御装置を具備する。
 上記眼科用顕微鏡は、被検眼の前に配置可能な前置レンズと、上記被検眼を外側から照明する眼外用照明光を出力する眼外用照明光源と、上記被検眼を撮影する撮像素子とを備える。
 上記制御装置は、上記撮像素子により上記前置レンズを介して撮影された上記被検眼の撮像画像を用いた術具の検出結果に基づいて、上記撮像素子の撮影条件、上記前置レンズにより反転している領域の像を正像とする反転処理の有無の少なくともどちらかを制御する。
 上記目的を達成するため、本技術の一形態に係る眼科用顕微鏡は、第1の光学系と、第2の光学系と、第1の撮像素子と、第2の撮像素子とを具備する。
 上記第1の光学系は、被検眼の像を伝送し、上記被検眼の前に配置される前置レンズを含む。
 上記第2の光学系は、上記被検眼の像を伝送し、上記前置レンズを含まない。
 上記第1の撮像素子は、上記第1の光学系の焦点位置が、上記前置レンズが位置する領域に位置する状態で、上記第1の光学系により伝送された上記被検眼の像が結像する。
 上記第2の撮像素子は、上記第2の光学系の焦点位置が、上記被検眼の上記前置レンズが位置する領域よりも外側の領域に位置する状態で、上記第2の光学系により伝送された上記被検眼の像が結像する。
 上記第2の撮像素子での撮影時に、上記前置レンズを介さずに上記被検眼に第2の照明光を照射する第2の照明器を更に具備してもよい。
 上記第1の撮像素子での撮影時に、上記被検眼の内部に第1の照明光を照射する第1の照明器と、上記第2の撮像素子での撮影時に、上記被検眼に第2の照明光を照射する第2の照明器とを更に具備し、上記第1の撮像素子での撮影と上記第2の撮像素子での撮影は交互に行われ、上記第1の照明器は、上記第1の撮像素子での撮影と同期して上記第1の照明光を出力し、上記第2の照明器は、上記第2の撮像素子での撮影と同期して上記第2の照明光を出力してもよい。
 上記第1の撮像素子での撮影時に、上記被検眼の内部に第1の波長を有する第1の照明光を照射する第1の照明器と、上記第2の撮像素子での撮影時に、上記被検眼に上記第1の波長とは異なる第2の波長を有する第2の照明光を照射する第2の照明器とを更に具備し、上記第1の撮像素子は上記第1の波長の光を選択的に受光する撮像素子を有し、上記第2の撮像素子は上記第2の波長の光を選択的に受光する撮像素子を有してもよい。
 上記第1の撮像素子での撮影時に、上記被検眼の内部に第1の照明光を照射する第1の照明器と、上記第2の撮像素子での撮影時に、上記被検眼に第2の偏光状態を有する第2の照明光を照射する第2の照明器とを更に具備し、上記第1の撮像素子の前には、上記第2の偏光状態と直交する第1の偏光状態の光を透過する光学素子が配置されてもよい。
 上記目的を達成するため、本技術の一形態に係る画像処理装置は画像処理部を具備する。
 上記画像処理部は、被検眼の前に配置可能な前置レンズと、上記前置レンズに焦点位置をあわせて上記被検眼を撮影する第1の撮像素子と、上記被検眼の上記前置レンズが位置する領域よりも外側の領域に焦点位置をあわせて上記被検眼を撮影する第2の撮像素子とを備える眼科用顕微鏡の上記第1の撮像素子で取得された第1の撮像画像の中で上記前置レンズが位置する領域を抽出し、抽出した領域のみを反転処理した第1の画像と、上記第2の撮像素子で取得された第2の撮像画像の中で上記前置レンズが位置する領域以外の領域からなる第2の画像とを合成して表示画像を生成する。
 上記目的を達成するため、本技術の一形態に係る眼科用顕微鏡システムは、眼科用顕微鏡と、画像処理装置とを具備する。
 上記眼科用顕微鏡は、被検眼の前に配置可能な前置レンズと、上記前置レンズに焦点位置をあわせて上記被検眼を撮影する第1の撮像素子と、上記被検眼の上記前置レンズが位置する領域よりも外側の領域に焦点位置をあわせて上記被検眼を撮影する第2の撮像素子とを備える。
 上記画像処理装置は、上記第1の撮像素子で取得された第1の撮像画像の中で上記前置レンズが位置する領域を抽出し、抽出した領域のみを反転処理した第1の画像と、上記第2の撮像素子で取得された第2の撮像画像の中で上記前置レンズが位置する領域以外の領域からなる第2の画像とを合成して表示画像を生成する画像処理部を備える。
本技術の第1の実施形態に係る眼科用顕微鏡システムの模式図である。 同眼科用顕微鏡システムのブロック図である。 同眼科用顕微鏡システムの観察対象である眼の手術の様子を示す概略図である。 同眼科用顕微鏡システムの観察対象である眼の手術の様子を示す概略図であり、前置レンズ、トロッカが配置された眼を正面方向からみた平面図である。 眼の断面図である。 同眼科用顕微鏡システムが備える顕微鏡の模式図であり、前置レンズを光学路に配置する場合としない場合を説明する図である。 同眼科用顕微鏡システムが備える顕微鏡の状況毎の設定情報を説明するための図である。 同眼科用顕微鏡システムを用いた眼の手術の様子を示す模式図である。 同眼科用顕微鏡システムが備える制御装置の動作を示すフローチャートである。 図9に示すSt1の状況判定1の動作を示すフローチャートである。 第2の実施形態に係る制御装置の動作を示すフローチャートである。 図11に示すSt21の状況判定2の動作を示すフローチャートである。 第3の実施形態に係る眼科用顕微鏡システムにおける反転処理を説明するための図である。 第4の実施形態に係る眼科用顕微鏡システムの模式図である。 図14の眼科用顕微鏡システムのブロック図である。 図14の眼科用顕微鏡システムを用いた眼の手術の様子を示す模式図である。 他の状況判定の動作を示すフローチャートである。
 (第1の実施形態)
 本技術の第1の実施形態に係る眼科用顕微鏡システムについて説明する。ここでは、前置レンズとして広角観察レンズを用いる網膜硝子体手術を例にあげて説明する。
 本実施形態では、医師や補助者等の眼科用顕微鏡のユーザが、顕微鏡をのぞく代わりに撮像素子で撮影された映像を表示装置で見ながら観察や手術を行うことが可能なHUS(Heads Up Surgery)システムに適用した例をあげて説明する。表示装置には、後述する顕微鏡本体11にマウントされた撮像素子181により取得される撮像画像に色強調などの画像処理が施された術野画像となる表示画像が表示される。
 本実施形態の眼科用顕微鏡システム100では、術野となる被検眼の撮像画像を用いた術具検出結果に基づいて状況が判定される。そして、判定された状況に応じて顕微鏡が制御、より具体的には、撮像素子の撮影条件や反転処理の有無等が制御される。
 尚、本技術を、表示装置を用いずに、ユーザによる顕微鏡の接眼観察によって観察や手術を行う眼科用顕微鏡システムに適用することも可能である。この場合、状況判定に用いられる術具検出に撮像素子181により取得される撮像画像が用いられる。
 [眼科用顕微鏡システムの構成]
 図1は本実施形態に係る眼科用顕微鏡システム(以下、顕微鏡システムと称する。)100の構成を示す模式図である。
 図1に示すように、顕微鏡システム100は、眼科用顕微鏡(以下、顕微鏡と称する。)10と、制御装置20と、表示装置40と、入力装置41を備える。
 顕微鏡10は、眼科分野における診察や手術において被検眼6の拡大像を顕微鏡システム100のユーザが観察するために使用される。図中、符号1は顕微鏡10のユーザの眼を示す。ユーザは、表示装置40に表示される表示画像を見ながら、診察や手術を行うことができる。被検眼6は、診察や手術の対象となる患者の眼である。
 図1に示すように、顕微鏡10は、観察用鏡筒111を有する顕微鏡本体11と、機能拡張ユニットとしての非接触型広角観察ユニット13と、眼外用照明光源としての顕微鏡照明光源161と、眼内用照明器19を備える。
 顕微鏡10は、一般的構成を有する光学顕微鏡とすることができる。観察用鏡筒111は、左右両眼用に二つ設けられているが、これに限定されない。
 顕微鏡10の詳細については後述する。
 制御装置20は、顕微鏡10にマウントされている後述する撮像素子181により取得された撮像画像を用いて顕微鏡10を制御する。また、制御装置20は、撮像画像を画像処理し、表示装置40に表示する表示画像を生成する。
 制御装置20の詳細については後述する。
 表示装置40は、撮像素子181で取得された撮像画像を基に制御装置20で画像処理が施されてなる表示画像を表示する。表示装置40は一般的なディスプレイやヘッドマウントディスプレイである。また、表示装置40は複数のディスプレイであってもよく、例えば執刀する医師用のディスプレイと補助者用のディスプレイとすることができる。
 入力装置41は、顕微鏡システム100に対する入力インターフェースである。ユーザは、入力装置41を介して、患者の身体情報や、手術に関する各種の情報等を入力することができる。また、例えば、ユーザは、入力装置41を介して、状況に応じた顕微鏡に係る各種設定を変更する旨の指示等を入力することができる。
 入力装置41の種類は限定されず、入力装置41は各種の公知の入力装置であってよい。入力装置41としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ、レバー等が適用され得る。入力装置41としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置40の表示面上に設けられてもよい。
 また、入力装置41は、ユーザの声を集音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われてもよい。このように、入力装置41が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザが、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
 図3及び図4は、顕微鏡システム100での網膜硝子体手術の様子を示す概略図である。図3及び図4には眼の手術に用いられる術具Tを示す。図3は被検眼6の眼球の概略斜視図であり、眼内用照明器19及び術具Tが眼内に挿入された様子を示し、前置レンズ132の図示は省略している。図4は、被検眼6の前に前置レンズ132が配置された被検眼6の正面方向からみた図に相当し、眼内用照明器19及び術具Tが挿入される前の様子を示す。
 図5は、被検眼6の部分断面図である。
 術具Tには、その時の処置に適したものが使用される。例えば、術具Tとしては、硝子体カッター、鉗子、バックフラッシュニードル、ILM(internal limiting membrane:内境界膜)鑷子、網膜光凝固用のレーザ装置等ある。術具挿入用のポート位置によりアクセス範囲の制約がでるため、典型的には2つのポートを使い適宜術具Tを抜き差しして、処置を行う。
 図4及び図5に示すように、被検眼6は、虹彩61、水晶体65及び角膜66等の組織で構成されている。水晶体65の表面において虹彩61の間が瞳孔64であり、角膜66の周縁には隅角62が位置する。硝子体68は、水晶体65の後方から網膜69に達するまでの眼球の大部分を占めるゼリー状の組織である。図4において、符号671は眼底67の血管を示す。
 図3に示すように、網膜硝子体手術では、眼底67の観察を必要とするため、眼内用照明器19が被検眼6の内部に挿入されて眼内が照射された状態で、術具Tが眼内に挿入されて手術が行われる。手術を行う際、眼内用照明器19、硝子体を切除、吸引する硝子体カッター、術中に眼球の形態を保つための灌流液を注入するための管(図示せず)を出し入れするためのガイドとなる筒状のトロッカ50が被検眼6上に配置される。
 図3及び図4に示すように、トロッカ50は、被検眼6の虹彩61の周囲の白目63の領域に配置される。前置レンズ132は、被検眼6の前に配置した際、黒目に対応して設けられる。非接触型広角観察ユニット13を用いた広角観察では、眼底67を観察するため、瞳孔64は前置レンズ132の縁にかなり近づいた状態で観察される。
 [眼科用顕微鏡の構成]
 次に、顕微鏡10について説明する。
 図2は顕微鏡システム100のブロック図である。
 図2に示すように、顕微鏡10は、接眼レンズユニット12と、非接触型広角観察ユニット13と、倒立像補正用インバータ14と、対物レンズ15と、顕微鏡照明光学系16と、観察光学系17と、撮影系18と、眼内用照明器19を備える。
 接眼レンズユニット12は、観察光学系17でつくられた像を眼で観察するために更に拡大する。
 非接触型広角観察ユニット13は、顕微鏡本体11に挿脱可能に設けられた機能拡張ユニットである。
 図6(A)は非接触型広角観察ユニット13の前置レンズ132が観察光路上に位置する場合を示し、図6(B)は観察光路上に位置しない場合を示す。
 図1及び図6に示すように、非接触型広角観察ユニット13は、対物レンズ15と被検眼6との間に設置される。非接触型広角観察ユニット13は、リダクションレンズ131と、前置レンズ132と、保持アーム133とを有する。リダクションレンズ131及び前置レンズ132は、保持アーム133により保持される。
 保持アーム133は、顕微鏡本体11に設置された状態で移動可能に構成される。図6(A)及び(B)に示すように、保持アーム133の移動によりリダクションレンズ131及び前置レンズ132を観察光路上に位置させたり外したりすることができる。
 本実施形態では、前置レンズ132として広角観察レンズが用いられ、非接触型広角観察ユニット13を用いることにより、被検眼6の眼底の観察が可能となる。
 図6(A)に示すように、前置レンズ132は、眼底67を反転させた中間像を中間像面70に生じさせる。前置レンズ132が光路に配置されることにより、被検眼6の眼底の観察が可能となる。
 リダクションレンズ131は、対物レンズ15の屈折力を増幅させる。リダクションレンズ131は、顕微鏡10の観察光路の合焦面を変位させて中間像面70と一致させる。
 顕微鏡本体11は、倒立像補正用インバータ14と、対物レンズ15と、顕微鏡照明光学系16の一部と、観察光学系17と、撮影系18を収容する。
 倒立像補正用インバータ14は、前置レンズ132により反転した倒立像を正像に戻す反転処理を行うものである。
 倒立像補正用インバータ14は制御装置20により生成された制御信号に基づいて制御される。
 眼外用照明光学系としての顕微鏡照明光学系16は、対物レンズ15を介して、被検眼6を照明する。
 顕微鏡照明光学系16は、ユーザの左眼用の顕微鏡照明光学系と右眼用の顕微鏡照明光学系に分かれている。以下の説明で、特に右眼用、左眼用とで区別する必要がない場合は顕微鏡照明光学系16と称して説明する。
 図1及び図2に示すように、顕微鏡照明光学系16は、顕微鏡本体11外に配置される顕微鏡照明光源161及び光ファイバ162と、顕微鏡本体11内に収容され、それぞれ図示しない集光レンズ、コリメートレンズ、反射ミラーを有する。
 顕微鏡照明光源161は、診察や手術時等に被検眼6の外側から被検眼6を照明するための照明光を発する。
 光ファイバ162の一端は顕微鏡照明光源161に接続され、他端は顕微鏡本体11に接続される。
 顕微鏡照明光源161から出力された照明光(眼外用照明光)は、光ファイバ162により導光されて集光レンズに入射し、コリメートレンズにより平行光束となる。平行光束化された照明光は反射ミラーで対物レンズ15に向けて反射し、対物レンズ15を透過して被検眼6を照射する。被検眼6に照射された照明光は、角膜66や網膜69等の被検眼6の組織で反射、散乱される。
 その反射、散乱した戻り光は、非接触型広角観察ユニット13が観察光路上に位置しない場合は、対物レンズ15を透過して、観察光学系17に入射する。一方、非接触型広角観察ユニット13が観察光路上に位置する場合、戻り光は、前置レンズ132、リダクションレンズ131、対物レンズ15を透過して、観察光学系17に入射する。
 眼内用照明器19は、顕微鏡本体11の外部に設けられ、被検眼6の内部を照明する。
 眼内用照明器19は、眼内用照明光源191と光ファイバ192とを有する。
 眼内用照明光源191は、例えば広い範囲の眼底の観察を必要とする網膜硝子体手術等の被検眼6の内部を照射するための照明光(眼内用照明光)を発する。
 光ファイバ192の一端は眼内用照明光源191に接続され、他端は被検眼6の内部に挿入される。
 図3に示すように、眼内用照明光源191から出力された照明光は、光ファイバ192で導光され、光ファイバ192の他端から被検眼6の内部で出射される。
 顕微鏡照明光源161からの照明光の出力の有無及び眼内用照明光源191からの照明光の出力の有無は、制御装置20から出力される制御信号に基づいて制御される。
 観察光学系17は、顕微鏡照明光学系16や眼内用照明器19により照明されている被検眼6を、対物レンズ15を介して観察するためのものである。観察光学系17は、被検眼6の投影像をユーザの眼1或いは後述する撮像素子181に伝送する。
 非接触型広角観察ユニット13と、対物レンズ15と、観察光学系17は、被検眼6の像を撮像素子181に伝送する光学系である伝送光学系30を構成する。伝送光学系30は、被検眼6からの戻り光(被検眼の像)を撮像素子181に結像する光学系である。
 伝送光学系30は、第1の伝送光学系と、第2の伝送光学系とを含む。
 第1の伝送光学系は、前置レンズ132、リダクションレンズ131、対物レンズ15及び観察光学系17から構成される。
 第2の伝送光学系は、リダクションレンズ131、対物レンズ15及び観察光学系17から構成される。被検眼6からの戻り光のうち、前置レンズ132を通過せず、リダクションレンズ131、対物レンズ15及び観察光学系17を通過して、撮像素子181に入射する戻り光もある。この前置レンズ132を通過しない戻り光を撮像素子181に伝送する光学系を第2の伝送光学系と称する。
 尚、第1の伝送光学系、第2の伝送光学系というように区別する必要がない場合、伝送光学系30と称する場合がある。
 観察光学系17は、ユーザの左眼用の観察光学系と右眼用の観察光学系に分かれており、それぞれに観察光路を有している。特に右眼用、左眼用とで区別する必要がない場合は観察光学系17と称して説明する。
 観察光学系17は、フォーカシング装置171と、複数のズームレンズを含む変倍レンズ系172と、結像レンズ(図示せず)と、可変絞り173と、ビームスプリッタ(図示せず)を有する。
 フォーカシング装置171により、顕微鏡10を上下動させることができる。これにより、対物レンズ15と患者の被検眼6との間の動作間隔を調整することができ、顕微鏡10は被検眼6の診察対象領域にフォーカシングされる。したがって、フォーカシング装置171を制御することにより伝送光学系30の焦点位置を制御することができる。
 変倍レンズ系172の複数のズームレンズは、観察光学系の光軸に沿って移動可能となっている。複数のズームレンズの移動により、被検眼6の撮像画像における拡大倍率が変更される。したがって、変倍レンズ系172を制御することにより、伝送光学系30の倍率を制御することができ、撮像画像及び表示画像の画角を制御することができる。
 伝送光学系30の被写界深度は、レンズの焦点距離、絞り値、撮影距離に依存する。したがって、フォーカシング装置171及び可変絞り173を制御することにより伝送光学系30の被写界深度を制御することができる。
 伝送光学系30の焦点位置の制御、倍率(画角)の制御、被写界深度の制御は、制御装置20から出力される制御信号に基づいて行われる。
 上述したように、被検眼6に照射された照明光は、角膜66や網膜69等の被検眼6の組織で反射、散乱される。その反射、散乱した戻り光は、前置レンズ132、リダクションレンズ131、対物レンズ15を透過して、観察光学系17に入射する。
 観察光学系17に入射した戻り光は、変倍レンズ系172で倍率が制御され、結像レンズ、可変絞り173を透過し、ビームスプリッタに入射する。ビームスプリッタは、戻り光の一部を撮影系18に案内し、戻り光の他の部分を接眼レンズユニット12に案内する。接眼レンズユニット12に入射する戻り光により接眼観察することができる。
 撮影系18は、結像レンズ(図示せず)、撮像素子181等を有する。撮像素子181は、例えばCCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)といったイメージセンサ等から構成される。撮像素子181の受光面は対物レンズ15の焦点位置と光学的に共役な位置に配置される。
 撮影系18は左右双方の観察光学系17に対応してあってもよいし、左右のいずれか一方の観察光学系17に対応してあってもよい。本実施形態では、撮影系18は左右双方に対応してあり、後述する図8では、左右それぞれの撮影系に備えられる撮像素子181を2つ図示している。このように、本実施形態では左右それぞれに撮像素子181を設けているのでステレオ画像の撮像画像を得ることができる。
 撮像素子181は、顕微鏡10にマウントされ、前置レンズ132、リダクションレンズ131及び観察光学系17を介して眼を撮影することが可能となっている。撮像素子181により撮影された撮像画像は、制御装置20へ出力される。
 尚、本実施形態ではHUSシステムを用いる例をあげているため表示装置を挙げているが、接眼観察によって観察や手術を行う顕微鏡システムでは、表示装置は必ずしも必要ではなく、撮像素子181により取得される撮像画像は状況判定のための術具検出に用いられる。
 [制御装置の構成]
 次に、制御装置20について説明する。
 制御装置20は、顕微鏡10から取得した撮像画像を用いて、術具検出をし、術具検出結果に基づき状況を判定し、判定した状況に応じた、予め状況毎に設定された設定情報に基づいて、顕微鏡10を制御する。より詳細には、制御装置20は、設定情報に基づいて、撮像素子181の撮影条件、反転処理の有無の少なくとも一方を制御する。更に、撮影条件については、伝送光学系30の焦点位置、顕微鏡照明光源161の出力の有無(照明光の有無)の少なくとも一方を制御する。
 本実施形態では、制御装置20は、判定した状況に対して予め設定された設定情報に基づいて、伝送光学系30の焦点位置、倒立像補正用インバータ14による反転処理の有無、顕微鏡照明光源161及び眼内用照明光源191の出力の有無を制御する制御信号を生成し、顕微鏡10に出力する。
 顕微鏡10では、制御信号に基づいて、観察光学系17のフォーカシング装置171の制御、倒立像補正用インバータ14による反転処理の有無の制御、顕微鏡照明光源161からの照明光の照射の有無の制御、眼内用照明光源191からの照明光の照射の有無の制御が行われる。
 図2に示すように、制御装置20は、画像取得部21と、術具検出部22と、判定部23と、制御部24と、画像処理部25と、メモリ26と、を有する。
 画像取得部21は、顕微鏡10から、撮像素子181で撮影された撮像画像を取得する。
 術具検出部22は、取得された撮像画像を用いて術具Tの存在の有無を検出する。撮像画像を用いた術具Tの検出では、特徴点を用いた物体認識技術、機械学習を用いた検出、術具に設けたマーカーを用いた検出、時間方向の情報を用い動きベクトルを利用した検出等、既知の技術を用いることができる。
 更に、術具検出部22は、術具Tの存在を検出した場合、術具Tの先端を検出する。先端位置の検出では、術具Tの存在の有無の検出と同様に、物体認識技術、機械学習、マーカーによる検出等を用いることができる。これらの技術を用いて検出する場合は、術具Tの存在の検出と術具Tの先端の検出を同時に行ってもよい。
 術具Tの存在の検出と術具Tの先端の検出を別々に行う場合、上述の技術を用いる他に、術具Tの存在の検出に、エッジ情報や色情報を利用した検出、ステレオ画像を用いる場合には視差情報を用いた術具Tの領域の抽出による検出等を用いることができる。
 術具Tの先端の検出には、上述の技術を用いる他に、次のような技術を用いることができる。すなわち、術具Tが撮像画像の中に存在する場合、撮像画像上、画像外周部から画像中央部にむけて延在する線状の術具Tの領域が検出されるので、抽出した術具Tの領域のうち、画像外周部寄りに位置する端部と反対側の端部が、術具Tの先端であると検出することができる。
 更に、術具検出部22は、術具Tの先端位置を検出する。より具体的には、術具検出部22は、撮像画像中の前置レンズ132が位置すると想定される領域の内部に術具Tの先端が位置するか否かを検出する。
 判定部23は、術具検出部22の検出結果に基づいて状況を判定する。
 判定部23は、術具検出部22によりなされた術具Tが存在していないという検出結果に基づいて、術具無しの状況であると判定する。
 判定部23は、術具検出部22によりなされた、撮像画像における前置レンズ132が位置すると推定される領域の内部(前置レンズの領域内)に術具Tの先端が位置するという検出結果に基づいて、術具Tが被検眼6の内部に位置する状況と判定する。
 判定部23は、術具検出部22によりなされた、撮像画像における前置レンズ132が位置すると推定される領域の外(前置レンズの領域外)に術具Tの先端が位置するという検出結果に基づいて、術具Tの挿入位置を設定している状況と判定する。術具Tの挿入位置を設定している状況とは、術具Tが被検眼6の内部にまだ挿入されていない状況である。
 ここで、撮像画像における前置レンズ132が位置すると推定される領域は、予め記録されていてもよい。前置レンズ132は顕微鏡本体11に固定されているため、倍率が決まっていれば、撮像画像中のどの範囲に前置レンズ132が位置するかを推定することができる。倍率毎に撮像画像中の前置レンズ132が位置すると推定される領域が記録されてもよく、倍率の変更により撮像画像中における前置レンズ132が位置すると推定される領域は変わる。
 更に、判定部23は、術具Tの先端の軌跡情報から、術具Tを被検眼6内に挿入している途中の状況であるか、抜去中の状況であるか、処置中の状況であるかを判定する。このように、術具Tが被検眼6の内部に位置する状況を、挿入途中、処置中、抜去中の3つの状況に更に分けて判定してもよく、後述する第2の実施形態で説明する。
 尚、後述する図10及び図11のフローチャートを用いた制御装置20の動作の説明では、術具Tの挿入位置を設定している状況と、術具Tが被検眼6の内部に位置している状況とを判定する例をあげて説明する。
 このように、術具Tの先端位置のXY座標を用いて被検眼6の内部に術具Tが位置するか否かを判定することができる。
 また、撮像画像がステレオ画像である場合、左眼用と右眼用の二つの撮像画像の視差情報から得られる奥行情報を示すZ座標を用いて、術具Tの先端位置の検出を行ってもよい。より具体的には、前置レンズ132を介することによる反転によって術具Tの先端は前置レンズ132よりも手前に位置する撮像画像となるので、Z座標を用いて、撮像画像上、術具Tの先端が前置レンズ132よりも手前に位置する場合、術具Tが被検眼6内に位置すると判定してもよい。
 また、Z座標を用いた検出に加え、XY座標を用いて術具Tの先端位置を検出してもよく、検出精度が向上する。
 また、判定部23は、術具検出部22で術具なしとの検出結果に基づいて術具なしの状況であると判定してもよく、判定項目として「術具なしの状況」を追加してもよい。
 メモリ26は、予め設定された状況毎の設定情報を格納する。状況毎の設定情報については後述する。
 メモリ26は、判定部23による状況の判定結果を時系列に記録してもよい。
 メモリ26は、ユーザによって調整され再設定された再設定値を、その時の状況と紐づけして時系列に記録してもよい。メモリ26に記録された再設定値を用いることについては後述する第2の実施形態で説明する。
 制御部24は、判定部23による判定結果に基づき、状況毎に予め設定された顕微鏡10に関する設定情報に基づいて、顕微鏡10に関する制御信号を生成し、顕微鏡10へ出力する。
 画像処理部25は、画像取得部21で取得された撮像画像に色強調などの画像処理を施した表示画像を生成し、表示装置40へ出力する。
 ここで、顕微鏡10は、その時の状況毎に、例えば、伝送光学系30の焦点位置、伝送光学系30の倍率(画角)、伝送光学系30の被写界深度、反転処理の有無、照明の有無等を設定する必要がある。
 焦点位置においては、術具Tの挿入位置設定時には、トロッカ50に焦点を合わせることが必須となる。
 術具Tの挿入位置が決定して術具Tを被検眼6の内部に挿入していく術具挿入途中では、挿入されていく術具を正しく観察するために前置レンズ132内に焦点を合わせることが望ましい。
 処置中では、術野となる前置レンズ内を正しく観察するために、前置レンズ132が位置する領域内に焦点を合わせることが必須となる。
 術具抜去中では、抜去されていく術具を正しく観察するために、前置レンズ132が位置する領域内に焦点を合わせることが必須となる。
 尚、抜去後は、ユーザが被検眼6のどの箇所を観察したいかによりユーザが任意に焦点を設定することができる。
 また、反転処理においては、術具Tの挿入位置設定時には、前置レンズ132が位置する領域外に配置されるトロッカ50を観察するため、前置レンズ内の倒立像の反転処理は行わない。
 術具Tの挿入位置が決定して術具Tを被検眼6の内部に挿入していく術具挿入途中では、挿入されていく術具を正しく観察するために前置レンズ内の倒立像が正立像となるように反転処理を実行することが必須となる。
 処置中では、術野となる前置レンズ内を正しく観察するために、前置レンズ内の倒立像が正立像となるように反転処理を実行することが必須となる。
 術具抜去中では、抜去されていく術具を正しく観察するために、前置レンズ内の倒立像が正立像となるように反転処理を実行することが必須となる。
 尚、抜去後は、ユーザが被検眼6のどの箇所を観察したいかによりユーザが任意に反転処理の有無を設定することができる。
 また、照明においては、術具Tの挿入位置設定時には、術具Tの先端がトロッカ50にはまるまでトロッカ50を観察するため眼外照明をオンすることが必須となる。
 術具Tの挿入位置が決定して術具Tを被検眼6の内部に挿入していく術具挿入途中では、挿入されていく術具を観察するために、眼内照明をオンとし、前置レンズ132の表面での光の鏡面反射をなくすために眼外照明をオフすることが望ましい。
 処置中では、眼底や術具を観察するために、眼内照明をオンとし、前置レンズ132の表面での光の鏡面反射をなくすために眼外照明をオフすることが望ましい。
 術具抜去中では、眼底や術具を観察するために、眼内照明をオンとし、前置レンズ132の表面での光の鏡面反射をなくすために眼外照明をオフすることが望ましい。
 尚、術具抜去後は、ユーザがそのまま眼内を観察したい場合は眼内照明がオンのままになるようにユーザが任意に設定することができる。或いは、網膜光障害を回避するために、ユーザによる設定又は自動的に、いったん眼内照明がオフとするように設定するようにしてもよい。
 また、倍率(画角)においては、術具挿入位置設定時には、トロッカ50が位置する領域及び前置レンズ132が位置する領域の双方を観察するため広い画角となるように倍率が設定されることが望ましい。これにより、前置レンズ132が位置する領域に加え、トロッカ50が配置される前置レンズ132の外側も撮像画像、表示画像で確認できるようになる。
 術具Tの挿入位置が決定して術具Tを被検眼6の内部に挿入していく術具挿入途中では、トロッカ50及び前置レンズ132内の双方を観察するため広い画角となるように倍率が設定されることが望ましい。
 処置中では、トロッカ50を必ずしも観察する必要がないため、術具挿入位置設定時及び術具挿入途中の時よりも狭い画角とすることが望ましい。
 術具抜去中では、安全な作業のため、眼底全体からトロッカ50まで観察することができる広い画角とすることが望ましい。
 尚、術具抜去後は、ユーザが被検眼6のどの箇所を観察したいかによりユーザが任意に倍率(画角)を設定することができる。
 また、被写界深度においては、術具挿入位置設定時及び術具挿入途中では、解像度を重視する必要がない。また、術具挿入位置設定の状況から術具挿入途中の状況へ変化するのに伴って焦点位置がトロッカ50から前置レンズ132内へと変化する際に、調整があまり必要ないように、術具挿入位置設定時及び術具挿入途中では、被写界深度は深い方が望ましい。
 処置中では、術野の正確な状態を把握するために、解像度や明るさを重視する必要があるため、一般的には被写界深度は浅く設定されることが考えられるが、ユーザが任意に設定可能とすることが望ましい。
 術具抜去中では、眼内の広い範囲の眼底が観察できることが重要であるため、明るさとバランスをとりつつ被写界深度を深くすることが望ましい。
 術具抜去後は、基本的に観察となるため、抜去中と同様に、明るさとバランスをとりつつ被写界深度を深くすることが望ましい。
 このように、状況に応じて、必須で変更すべき設定に加え、行った方が望ましい設定もあり、顕微鏡の設定は複雑であり、手術中にこれらの設定を状況毎に行うのはユーザにとって非常に手間がかかることである。
 本実施形態では、撮像画像を用いた術具検出結果に基づいて、顕微鏡の設定が自動的に行われる。より具体的には、術具検出結果により状況が判定され、判定された状況毎に予め設定された設定情報に基づいて、顕微鏡10の各種設定が自動的に行われる。
 設定情報には、撮像素子の撮影条件、前置レンズ132により反転している領域の像を正像とする反転処理の有無が含まれる。
 撮影条件には、伝送光学系30の焦点位置、照明、伝送光学系30の倍率(画角)、伝送光学系30の被写界深度等がある。
 第1の実施形態では、フォーカシング装置171の制御により伝送光学系30の焦点位置が設定される例をあげる。第2の実施形態では、焦点位置の設定に加え、変倍レンズ系172の制御により伝送光学系30の倍率が設定され、フォーカシング装置171及び可変絞り173の制御により伝送光学系30の被写界深度が設定される例をあげる。
 図7は、予め設定された状況毎の顕微鏡10の設定情報を説明するための図である。
 図7では、術具挿入位置設定時、術具挿入途中、処置中、術具抜去中、術具抜去後の5つの状況にわけて図示している。
 図8は、顕微鏡システム100を用いた眼の手術の様子を説明するための模式図である。
 図7中、眼外照明とは、顕微鏡照明光源161からの照明光(眼外用照明光)の照射を示し、眼内用照明器19からの照明光(眼内用照明光)の照射はオフとなっている。眼内照明とは、眼内用照明器19からの照明光(眼内用照明光)の照射を示し、被検眼6の内部が照明光により照明されている状態であり、顕微鏡照明光源161からの照明光(眼外用照明光)の照射はオフとなっている。
 図7に示すように、5つの状況は、術具Tが被検眼6の外に位置する状況(術具被検眼外)と、術具Tの先端が被検眼の内部に位置する状況(術具被検眼内)の2つに分けられる。
 術具被検眼外の状況は、術具挿入位置設定時の状況と術具抜去後の状況を含む。この状況では、被検眼6の内部には術具Tは位置せず、被検眼6の外に術具Tは位置する。この場合、撮像画像上、前置レンズ132が位置する領域の外側に術具Tの先端が位置する。
 一方、術具被検眼内の状況は、術具挿入途中、処置中、術具抜去中の3つの状況を含む。この状況では、被検眼6の内部に術具Tが位置する。この場合、撮像画像上、前置レンズ132が位置する領域内に術具Tの先端が位置する。
 図7に示すように、本実施形態では、術具抜去後は、ユーザが被検眼6のどこを見たいかによって、焦点、反転処理の有無、照明の設定、倍率(画角)、被写界深度が異なるため、ユーザによる設定が可能となっている。
 顕微鏡システム100において、焦点位置、反転処理、照明のうち少なくともいずれか一つが自動的に制御されればよい。本実施形態では、焦点位置、反転処理、照明が自動的に制御される例について説明する。
 図7に示すように、術具挿入途中の状況、処置中の状況、術具抜去中の状況では、焦点位置、反転処理、照明に関する設定情報は同じである。したがって、状況に応じて焦点位置、反転処理、照明を制御する場合、術具挿入位置設定時(術具挿入直前)の状況と、術具被検眼内の状況の2つの状況のうち、どちらの状況であるかを判定すればよい。
 以下、術具挿入位置設定時(術具挿入直前)の状況であるか、或いは、術具被検眼内の状況であるかを判定することにより、顕微鏡10が制御される場合について説明する。
 伝送光学系30の倍率(画角)、被写界深度の制御については後述する第2の実施形態で説明する。
 本実施形態の顕微鏡システム100では、撮像画像を用いた術具検出結果から、術具被検眼外であって術具挿入位置設定時の状況であるか、或いは、術具被検眼内の状況であるかが判定される。
 この判定された状況に応じて、状況毎に予め設定された焦点位置、反転処理、照明の制御に関する情報(設定情報)に基づいて、フォーカシング装置171、倒立像補正用インバータ14、顕微鏡照明光源161及び眼内用照明光源191が自動的に制御され、焦点位置、反転処理の有無、照明の有無が設定される。
 このように、顕微鏡システム100はユーザによる顕微鏡10の設定作業を補助することができる。顕微鏡システム100では、判定された状況に適した表示画像となるように、判定された状況に応じて自動的に顕微鏡10が制御されるので、顕微鏡10の設定にかかるユーザの手間を減らすことができる。
 図7に示すように、術具挿入位置設定時の状況では、術具Tの挿入のガイドとなるトロッカ50が観察対象となる。
 図4及び図8に示すように、トロッカ50は、前置レンズ132が前に配置された被検眼6を正面方向からみたときに、前置レンズ132が位置する領域の外側に配置される。
 図7及び図8に示すように、術具挿入位置設定時の状況での焦点位置に関する設定情報として、焦点位置がトロッカ50となる、顕微鏡10の対物レンズ15の物体側主点からトロッカ50までの距離の値が設定され、その設定値はd2mmとなっている。本実施形態では、距離d2mmは予め設定された設定値であり、一般的な値から定まるデフォルト値である。
 尚、トロッカ50を用いない場合は、対物レンズ15の物体側主点から被検眼6の前置レンズ132が位置しない領域の表面までの距離の値をd2mmとする。
 この設定情報に基づいて、制御部24により、観察光学系17のフォーカシング装置171は、対物レンズ15の物体側主点からトロッカ50までの距離がd2mmとなるように自動的に制御される。
 このように、伝送光学系30、より詳細には第2の伝送光学系の焦点位置がトロッカ50となるように設定される。第2の伝送光学系の焦点位置がトロッカ5となる状態とは、対物レンズ15の前側焦点位置がトロッカ50に位置するように設定される状態である。
 術具挿入位置設定時の状況での反転処理に関する設定情報は、反転処理はなしとなっている。この設定情報に基づいて、制御部24により、倒立像補正用インバータ14は反転処理を実行しないように制御される。
 術具挿入位置設定時の状況での照明に関する設定情報は、眼内照明なし、眼外照明ありとなっている。この設定情報に基づいて、制御部24により、顕微鏡照明光源161からの照明光の照射はオン、眼内用照明器19からの照明光の照射はオフに制御される。
 図7に示すように、術具被検眼内の状況では、前置レンズ132内の領域が観察対象となる。
 図7及び図8に示すように、術具被検眼内の状況の焦点位置に関する設定情報として、焦点位置が前置レンズ132となる、顕微鏡10の対物レンズ15の物体側主点から前置レンズ132までの距離の値が設定され、その設定値はd1mmとなっている。本実施形態では、距離d1mmは予め設定された設定値であり、一般的な値から定まるデフォルト値である。d1はd2よりも小さい値である。
 この設定情報に基づいて、制御部24により、観察光学系17のフォーカシング装置171は、対物レンズ15の物体側主点から前置レンズ132までの距離がd1mmとなるように自動的に制御される。
 このように、伝送光学系30、より詳細には第1の伝送光学系の焦点位置が前置レンズ132となるように設定される。
 第1の伝送光学系の焦点位置が前置レンズ132となる状態とは、次のような状態である。すなわち、前置レンズ132の後ろ側焦点の位置と対物レンズ15の前側焦点の位置とが一致し、かつ、眼底67にピントがあうように対物レンズ15、前置レンズ132、被検眼6との相対位置関係が調整された状態である。
 術具被検眼内の状況での反転処理に関する設定情報は、反転処理はありとなっている。この設定情報に基づいて、制御部24により、倒立像補正用インバータ14は反転処理を実行するように制御される。
 術具被検眼内の状況での照明に関する設定情報は、眼内照明あり、眼外照明なしとなっている。この設定情報に基づいて、制御部24により、顕微鏡照明光源161からの照明光の照射はオフ、眼内用照明器19からの照明光の照射はオンに制御される。
 このように、状況に応じて予め設定された設定情報に基づいて、焦点位置、反転処理の有無、照明の有無が自動的に設定されるので、ユーザは顕微鏡10の設定に手を煩わされない。
 尚、焦点位置について、対物レンズ15の物体側主点からトロッカ50(前置レンズ132)までの距離が自動的にd2mm(d1mm)に設定された後、ユーザにより適宜、焦点位置の細かな調整を行うことができ、ユーザにとってより適した術野とすることができる。このような場合においても、焦点位置が自動的に標準的な位置に予め設定されているので、最初から手動でユーザが設定を行う場合と比較して、設定に費やされる時間を大幅に短縮することができる。
 また、ユーザによる細かな調整により新たに設定された再設定値がメモリ26に記録されてもよい。
 [制御装置の動作]
 図9は、制御装置20の動作を示すフローチャートである。
 制御部24は、前置レンズ132が観察光路上に配置されると、メモリ26から、図7に示す術具挿入位置設定の状況に紐づけられている予め設定されている設定情報を読み込む。設定情報は、焦点位置に係る設定値、反転処理の有無、照明の有無である。次に、制御部24は、読み込んだ設定情報に基づいて生成した制御信号を顕微鏡10へ出力する。
 顕微鏡10では、制御装置20から出力された制御信号に基づき、伝送光学系30の焦点位置がトロッカ50となるように制御される。更に、反転処理はなしとなるように倒立像補正用インバータ14が制御される。更に、眼外照明ありとなるように眼内用照明光源191及び顕微鏡照明光源161からの照明光の出力が制御される。
 次に、図9に示すように、まず状況判定1の処理が行われる(St1)。図10は、状況判定1に関するフローチャートである。
 図10に示すように、画像取得部21は、顕微鏡10の撮像素子181により撮影された撮像画像を取得する(St11)。
 次に、術具検出部22は、取得した撮像画像を用いて画像内の術具Tを検出する(St12)。術具検出部22により、術具Tの存在が検出されると(Yes)、St13に進む。術具検出部22により、術具Tの存在が検出されないと(No)、St16に進む。
 St16では、判定部23は、術具検出部22による術具Tなしの検出結果に基づき、術具Tなしの状況であると判定する。
 St13では、術具検出部22は、術具Tの先端位置を検出し、術具Tの先端が被検眼6の外に位置するか否かを検出する。
 判定部23は、術具Tの先端が被検眼6の外側に位置するという検出結果の場合(YES)、術具Tの挿入位置設定の状況であると判定する(St14)。
 尚、術具Tの抜去後の状況でも術具Tの先端が被検眼6の外側に位置することになるが、例えば、直前で判定された状況が術具被検眼内の状況でない場合、挿入位置設定の状況であると判定することができる。一方、直前で判定された状況が術具被検眼内の状況である場合、抜去後であると判定することができる。この場合、判定部23によって判定された状況は時系列でメモリ26に記録され、この記録情報を用いて直前で判定された状況を把握することができる。
 判定部23は、術具Tの先端が被検眼6の外側に位置しないという検出結果の場合(NO)、被検眼6に術具Tが挿入されている状況であると判定する(St15)。
 以上のように、状況判定1(St1)が行われ、次のSt2へ進む。
 図9に戻って、St2では、判定部23は、判定した状況に基づいて、術具Tが被検眼6の内部に挿入されている状況であるか否かを判定する。術具Tが挿入されている状況であると判定すると(YES)、St3へ進む。術具Tが挿入されている状況ではないと判定すると(NO)、St5へ進む。
 St3では、制御部24は、メモリ26から、図7に示す術具Tが挿入されている状況に紐づけられている予め設定されている設定情報を読み込む。設定情報は、焦点位置に係る設定値、反転処理の有無、照明の有無である。次に、制御部24は、読み込んだ設定情報に基づいて生成した制御信号を顕微鏡10へ出力する。
 顕微鏡10では、制御装置20から出力された制御信号に基づき、伝送光学系30の焦点位置が前置レンズ132内となるように制御される。更に、反転処理はありとなるように倒立像補正用インバータ14が制御される。更に、眼内照明ありとなるように眼内用照明光源191及び顕微鏡照明光源161からの照明光の出力が制御される。
 次に、判定部23は、手術終了か否かを判定する(St5)。
 手術終了の判定は、例えば、ユーザによるフットスイッチ等の入力装置41からの入力操作信号を制御装置20がうけることにより行われる。
 手術終了であると判定すると(YES)、一連の処理が終了する。手術終了でないと判定すると(NO)、St1に戻って処理が繰り返される。
 以上の説明では、焦点位置に関する設定情報であるd1mmやd2mmといった設定値は、予め設定された一般的な値からなるデフォルト値であるとしたが、これに限定されない。例えば、ユーザが設定した設定値であってもよいし、ユーザにより細かな調整がされ再設定されたメモリ26に記録されている再設定値を使うようにしてもよい。
 後述する第2の実施形態では、焦点位置、反転処理、照明に加え、倍率(画角)、被写界深度についても、状況毎に予め設定した設定値(設定情報)に基づいて制御する例をあげる。第2の実施形態においても、倍率(画角)、被写界深度の設定値は、予め設定された一般的な値からなるデフォルト値であるとする例をあげる。しかし、焦点位置と同様に、ユーザが設定した設定値であってもよいし、ユーザにより細かな調整がされ再設定されたメモリ26に記録されている再設定値を使うようにしてもよい。
 また、設定情報を、撮像素子181で取得された撮像画像に基づいて設定してもよい。具体的な例では、撮像画像から前置レンズ132の領域を抽出し、その前置レンズ132の領域が、XY座標における面積比率で撮像画像のX%(Xは予め設定された数値又はユーザによって設定された数値)になるように倍率(画角)を設定する、撮像画像上でトロッカや結膜血管を検出し、そこにピークがあうように焦点を合わせるように焦点位置を設定する、等がある。
 また、図7に記載した、焦点位置、反転処理、照明、倍率(画角)、被写界深度といった設定項目以外に、照明強度や、表示画像の画像強調の度合い等も状況毎に設定してもよい。これらの設定値は、焦点、倍率(画角)、被写界深度と同様に、一般的な値からなるデフォルト値としてもよいし、ユーザが設定した設定値であってもよいし、ユーザにより細かな調整がされ再設定されたメモリ26に記録されている再設定値を使うようにしてもよい。
 更に、他の設定項目として、術具Tの駆動を加え、術具Tの駆動のオン、オフを状況毎に設定してもよい。例えば、術具Tとして硝子体カッターを用いる場合、被検眼6内への硝子体カッターの挿入途中や抜去中に硝子体カッターが回転しないように、硝子体カッターの挿入途中の状況及び抜去中の状況では、硝子体カッターの回転駆動をロックする、という設定情報とすることができる。これにより、処置中以外に術具Tが不要に駆動することなく、手術の安全性を高めることができる。
 また、上述では、撮像素子で取得された撮像画像を用いた術具検出結果に基づいて顕微鏡の設定情報の変更を自動的に行う例をあげたが、これに限定されない。
 例えば、制御部24は、ユーザのフットスイッチ、操作スイッチ、音声による操作等の入力操作に基づいて状況を検出し、検出した状況に応じて、状況毎に予め設定されている設定情報が顕微鏡に反映されるように制御信号を顕微鏡10に対して出力してもよい。例えば、フットスイッチの操作により、術具挿入位置設定の状況に対応する制御と術具被検眼内の状況に対応する制御の2つを切り替えるようにしてもよい。
 このように、術具を検出することなく、ユーザの入力操作により状況が検出され、検出された状況に応じた、状況毎に予め設定されている設定情報基づいて顕微鏡10が制御されてもよい。
 尚、この構成では、状況の検出がユーザの入力操作によって行われるので、接眼観察によって観察や手術を行う顕微鏡システムでは、表示装置や撮像素子は必ずしも必要ではない。
 更に、他の例としては次のようなものがある。
 上述では焦点位置、反転処理及び照明が、術具検出結果に基づいて自動的に変更される例をあげたが、次のように構成してもよい。すなわち、ユーザにより照明のオンオフの切り替えが行われるようにし、照明のオンオフの切り替えによって状況が判定され、判定された状況に応じた、状況毎に予め設定された焦点位置及び反転処理の有無が自動的に行われるように構成してもよい。
 より具体的には、ユーザが眼外照明をオンからオフに変更し、眼内照明をオフからオンに変更したことが検出された場合、判定部23により術具Tが眼内に位置している状況と判定される。そして、制御部24により、状況毎に予め設定された設定情報に基づいて、対物レンズ15の物体側主点から前置レンズ132までの距離がd1mm、反転処理あり、となるように顕微鏡10を制御する制御信号が生成され、顕微鏡10へ出力される。
 このように、術具を検出することなく、ユーザによる照明の切り替えに基づいて顕微鏡の設定情報の変更が行われても良い。
 尚、この構成では、ユーザによる照明操作によって状況が判定され、その判定結果に応じて顕微鏡の焦点位置、反転処理の有無が自動的に制御されるので、接眼観察によって観察や手術を行う顕微鏡システムでは、表示装置や撮像素子は必ずしも必要ではない。
 また、焦点、倍率(画角)、被写界深度、照明強度、表示画像の画像強調の度合い等は、状況毎に予め設定された設定値(設定情報)をユーザにより微調整できるようにしてもよい。これにより、ユーザにとってより適した表示画像を得ることができる。
 この場合、ユーザにより調整が行われ再設定値が設定された場合は、必ず、その変更された再設定値が反映されるように構成し、術具検出結果を用いた設定情報の変更は毎回必ずしも反映されないようにしてもよい。これにより、ユーザによって細かな調整が行われ再設定された設定値が上書きされず、顕微鏡の設定が安定した状態で診察や手術を行うことができる。
 例えば、術具が被検眼内に位置している状況という判定後に、術具が被検眼内に位置していない状況という判定がなされた後でないと、術具検出結果を用いた設定情報の変更は反映されないようにする。
 これにより、処置中にユーザによる調整以外で顕微鏡の制御に係る設定値が不必要に変更することがない。
 また、他の例としては、ユーザによる設定が反映されてから一定時間が経過した後でないと術具検出結果による設定情報の反映はされないようにする。
 これにより、ユーザが細かな調整を行った後に設定値が不必要に頻繁に変更することがない。
 以上のように、本実施形態の顕微鏡システムは顕微鏡の設定作業を補助することができ、ユーザは顕微鏡の設定に手を煩わされることなく、適切な表示画像で被検眼を観察することができる。
 (第2の実施形態)
 第1の実施形態のフローチャートを用いた制御装置の動作の説明では、術具Tの挿入位置を設定している状況と、術具被検眼内の状況とを判定する例をあげて説明した。
 本実施形態では、術具被検眼内の状況を、更に、処置中の状況と術具挿入途中の状況と術具抜去中の状況の3つの状況に分けて判定する場合の制御装置の動作について説明する。
 また、本実施形態では、第1の実施形態で説明した焦点位置、反転処理、照明の制御に加え、状況毎に顕微鏡10における画角、被写界深度も制御する例をあげる。
 また、本実施形態では、ユーザによる設定値の細かな調整が行われ、ユーザにより調整され再設定された再設定値が記録される例をあげて説明する。
 以下、上述の実施形態と同様の構成については同様の符号を付し、説明を省略する場合がある。また、焦点位置、反転処理、照明の設定情報は、第1の実施形態と同様のため、説明を省略する。
 術具被検眼内の状況を、処置中の状況と、術具挿入途中の状況と、術具抜去中の状況の3つの状況に分けて判定する場合、判定部23は、術具検出部22により経時的に取得された撮像画像を用いて検出された術具Tの先端の軌跡情報を用いて3つの状況を判別する。
 より具体的には、判定部23は、術具検出部22により、撮像画像において術具Tの先端が前置レンズ132の内部に存在することが検出され、前置レンズ132の領域において、術具Tの先端の動きが連続的に外側から内側へ向かう動きであることが検出された場合、術具挿入途中の状況であると判定する。
 判定部23は、術具検出部22により、撮像画像において術具Tの先端が前置レンズ132の内部に存在することが検出され、前置レンズ132の領域において、術具Tの先端の動きが連続的に内側から外側へ向かう動きであると検出された場合、術具抜去中の状況であると判定する。
 判定部23は、術具検出部22により、撮像画像において術具Tの先端が前置レンズ132の内部に存在することが検出され、前置レンズ132の領域において、術具Tの先端の動きが連続的に内側から外側へ向かう動きではなく、かつ、連続的に外側から内側へ向かう動きではないことが検出された場合、被検眼6の処置が行われている処置中の状況であると判定する。
 また、判定部23は、判定した状況と、その直前に判定した状況とを比較して、状況が変化しているか否かを判定する。
 制御部24は、判定部23により状況が変化していると判定された場合、新たに判定された状況に紐づけられる設定情報をメモリ26から読み込む。設定情報は、焦点位置に係る設定値、反転処理の有無、照明の有無、倍率(画角)の設定値、被写界深度の設定値である。
 制御部24は、読み込んだ設定情報に基づいた制御信号を顕微鏡10へ出力する。
 顕微鏡10では、制御装置20から出力された制御信号に基づき、伝送光学系30の焦点位置、反転処理、照明、倍率(画角)、被写界深度が制御される。
 図7に示すように、術具挿入位置設定の状況及び術具挿入途中の状況での倍率(画角)に関する設定値(設定情報)は、広い画角となるように、倍率a倍となっている。術具挿入位置設定の状況及び術具挿入途中の状況では、撮像画像及び表示画像上、前置レンズ132の領域に加えてトロッカ50が配置される前置レンズ132の外側の領域も観察できる広い画角となることが好ましい。
 この設定情報に基づいて、制御部24により、倍率a倍となるように観察光学系17の変倍レンズ系172は制御される。倍率a倍は予め設定された設定値であり、一般的な値から定まるデフォルト値である。
 術具挿入位置設定の状況及び術具挿入途中の状況での被写界深度に関する設定値(設定情報)は、被写界深度が深くなる値となっている。
 この設定情報に基づいて、制御部24により、フォーカシング装置171及び可変絞り173が制御される。
 図7に示すように、処置中の状況での倍率(画角)に関する設定値(設定情報)は、狭い画角となるように、倍率b倍となっている。処置中では、術野が位置する前置レンズ132内の領域を観察する狭い画角となることが好ましい。
 この設定情報に基づいて、制御部24により、倍率b倍となるように観察光学系17の変倍レンズ系172は制御される。倍率b倍は予め設定された設定値であり、一般的な値から定まるデフォルト値である。倍率b倍は、倍率a倍よりも高い倍率である。
 処置中の状況での被写界深度に関する設定情報は、ユーザによる設定が可能となっている。ユーザによる設定に基づいて、制御部24により、フォーカシング装置171及び可変絞り173が制御される。
 尚、一般的に、解像度や明るさが重視される処置中の状況では被写界深度は浅く設定される。従って、処置中の状況での被写界深度に関する設定値(設定情報)が、被写界深度が浅くなる値となるように予め設定されていてもよい。そして、予め設定された設定値からユーザが任意に細かな調整を行うようにしてもよい。
 図7に示すように、術具抜去中の状況での倍率(画角)に関する設定情報は、広い画角となるように、倍率a倍となっている。術具抜去中では、安全な作業のため、眼底全体からトロッカ50まで観察できるように、撮像画像及び表示画像上、前置レンズ132内の領域に加えてトロッカ50が配置される前置レンズ132の外側の領域も観察できる広い画角となることが好ましい。
 この設定情報に基づいて、制御部24により、倍率a倍となるように観察光学系17の変倍レンズ系172は制御される。
 更に、術具抜去中の状況での被写界深度に関する設定値(設定情報)は、被写界深度が深くなる値となっている。この設定情報に基づいて、制御部24により、フォーカシング装置171及び可変絞り173が制御される。
 次に、制御装置20の動作について説明する。
 図11は、挿入状況を、処置中の状況と術具挿入途中の状況と術具抜去中の状況の3つの状況に分けて判定し、また、ユーザによる細かな調整による設定値の変更が記録される場合の制御装置20の動作を示すフローチャートである。
 まず、制御部24は、前置レンズ132が観察光路上に配置されると、メモリ26から、図7に示す術具挿入位置設定の状況に紐づけられている予め設定されている設定情報を読み込む。設定情報は、焦点位置に係る設定値、反転処理の有無、照明の有無、倍率(画角)、被写界深度である。次に、制御部24は、読み込んだ設定情報に基づいて生成した制御信号を顕微鏡10へ出力する。
 顕微鏡10では、制御装置20から出力された制御信号に基づき、伝送光学系30の焦点位置がトロッカ50となるように制御される。更に、反転処理はなしとなるように倒立像補正用インバータ14が制御される。更に、眼外照明ありとなるように眼内用照明光源191及び顕微鏡照明光源161からの照明光の出力が制御され、倍率がa倍となるように制御され、被写界深度が深くなるように制御される。
 次に、図11に示すように、まず状況判定2の処理が行われる(St21)。図12は、状況判定2に関するフローチャートであり、第1の実施形態で説明した状況判定1の処理と同じステップには同様のステップ名を付し、説明を省略する。図12に示すように、状況判定2では、術具が被検眼内に位置する状況を、更に、挿入中の状況、処置中の状況、抜去中の状況の3つの状況にわけて判別している。
 図12に示すように、St15で術具が被検眼6内に位置する状況と判定されると、St151に進む。
 St151では、術具検出部22により、撮像画像上、前置レンズ132の領域において、術具Tの先端が内側から外側に向かって連続的に移動しているか否かが検出される。
 術具Tの先端が内側から外側に向かって移動していることが検出されると(YES)、判定部23は抜去中の状況であると判定する(St152)。
 術具Tの先端が内側から外側に向かって移動していないことが検出されると(NO)、St153に進む。
 St153では、術具検出部22により、撮像画像上、前置レンズ132の領域において、術具Tの先端が外側から内側に向かって連続的に移動しているか否かが検出される。
 術具Tの先端が外側から内側に向かって連続的に移動していることが検出されると(YES)、判定部23は挿入途中の状況であると判定する(St154)。
 術具Tの先端が外側から内側に向かって連続的に移動していないことが検出されると(NO)、判定部23は処置中の状況であると判定する(St155)。
 以上のように、状況判定2(St21)が行われ、次のSt22へすすむ。
 St22では、判定部23は、判定した状況が、直前の状況と変化しているか否かを判定する。
 St22で、判定部23により状況が変化していないと判定されると(NO)、制御部24は、現時点における、焦点位置に係る設定値、反転処理の有無、照明の有無、倍率の設定値、被写界深度に係る設定値といった設定情報を取得する(St26)。
 例えば、ユーザの細かな調整により焦点位置、倍率、被写界深度それぞれの設定値が変更され、デフォルト値として予め記録されていた設定値と現時点での設定値が異なる場合がある。St26により、ユーザにより調整され設定された再設定値(再設定情報)が取得される。
 制御部24は、取得された再設定値に変更されるようにこれまで再設定され記録された記録設定値を更新する(St27)。
 St22で、判定部23により状況が変化していると判定されると(YES)、制御部24は、新しく判定した状況に対応する設定情報(新設定値)を読みこむ(St23)。ここで、以前にユーザにより細かに調整されて設定された再設定値が更新されて記録されている場合、その更新されて記憶された記録設定値が新設定値として、予め設定されている設定値(デフォルト値)よりも優先的に読み込まれる。
 制御部24は、読み込んだ新設定値(新設定情報)に基づいて制御信号を生成し、顕微鏡10へ出力する(St24)。
 顕微鏡10では、制御装置20から出力された制御信号に基づき、焦点位置、反転処理、照明、倍率(画角)、被写界深度が制御される。
 次に、手術終了か否かが判定される(St25)。
 手術終了であると判定されると(YES)、一連の処理が終了する。手術終了でないと判定されると(NO)、St21に戻って処理が繰り返される。
 このように、顕微鏡のユーザが調整した再設定情報を記録するメモリ26を設け、制御部24が、判定された状況に応じて、予め設定された設定情報よりも優先的に再設定情報を用いて顕微鏡10を制御することで、顕微鏡10の設定に係る作業効率が向上する。
 すなわち、ユーザによる調整が行われた再設定値が更新して記録されることにより、それ以降の同様の状況下で更新された再設定値を用いて顕微鏡10を設定することができ、再度ユーザが細かな調整を行う必要がなく、作業効率が向上する。
 例えば、1つの同じ手術中に、術具が再挿入されて処置される場合がある。一度目の術具挿入時の処置時に、ユーザにより焦点位置等の微調整が行われ、その微調整が反映された処置時の最終状態の設定値が記録されたとする。二度目以降の術具挿入時では、その記録されていた設定値を用いて顕微鏡10を制御することができ、再度ユーザが微調整を行う手間を省くことができる。
 尚、状況の変化による設定情報の切り替えをフットスイッチ等のユーザの入力操作から行う場合、切り替えに用いるスイッチと同一のスイッチを操作することによりユーザによる微調整が反映された再設定値に設定されるように構成してもよい。また、切り替えに用いるスイッチとは別にメモリ用のスイッチを設けてもよい。
 また、次回の別の手術において、ユーザは、前回の手術に用いたユーザの微調整が反映された再設定値を使うようにしてもよいし、デフォルト値を使うようにしてもよいし、ユーザが新たに設定した設定値を使うようにしてもよく、ユーザにより適宜選択可能としてもよい。
 以上のように、術具被検眼内の状況を、更に、処置中の状況と術具挿入途中の状況と術具抜去中の状況の3つの状況に分けて判定し、各状況に応じて、焦点位置、反転処理、照明の制御に加え、倍率(画角)、被写界深度を制御してもよい。
 また、ユーザによる細かな調整が反映された再設定値が記録され、この更新された再設定値を使って制御が行われるようにしてもよい。
 (第3の実施形態)
 上述の実施形態において、反転処理は、倒立像補正用インバータ14を用いて行う例をあげたが、これに限定されない。例えば、撮像素子181で取得された撮像画像を画像処理することによって反転処理を行ってもよく、図13を用いて説明する。
 図13(A)は、前置レンズ132を介して観察した被検眼の撮像画像を示す模式図であり、倒立像補正用インバータ14による反転処理は行われていない。
 図13(B)は、画像処理によって反転処理が行われた表示画像を示す模式図である。
 図13(A)に示すように、撮像画像Gにおいて、前置レンズ132が被検眼6の前に配置されることにより、前置レンズ132の周縁Sより内側の領域は像が反転する反転領域R1となる。反転領域R1は、前置レンズ132により像が結像している領域である。図13において、像が反転しない領域を非反転領域R2として示す。
 撮像画像における反転領域R1の検出は、制御装置20が備える図示しない反転領域検出部が行う。
 制御装置20の制御部24は、上述の実施形態で説明した顕微鏡10を制御する制御信号を生成するのに加え、反転処理ありの設定情報となっている状況の場合、反転領域検出部に反転領域の検出を行わせ、画像処理部25に、撮像画像の反転処理を行わせる。
 反転領域R1の検出は物体認識を利用して検出することができる。また、前置レンズ132の外側は強膜に相当する領域(白目63)である一方、前置レンズ132の内側は虹彩及び瞳孔のように白目とは色やテクスチャの様子が異なる領域(黒目)であることを利用して反転領域R1を検出することもできる。
 また、撮像画像において前置レンズ132の周縁Sには明確なエッジが存在するため、エッジ検出処理を行い、検出されたエッジの内側の領域を反転領域R1として検出することも可能である。
 以上の検出方法は1つの撮像画像から反転領域R1を検出するものである。
 また、顕微鏡10に左右それぞれに撮像素子181を搭載する場合、左眼用と右眼用の両方の撮像画像を得ることができる。この二つの撮像画像の視差情報から奥行情報を抽出し、前置レンズ132は眼の手前にあることを利用して反転領域R1を検出することもできる。
 また、複数の撮像画像を利用して反転領域R1を検出することもできる。具体的には、前置レンズ132が装着されていない時の撮像画像を保持しておき、その撮像画像と前置レンズ132が含まれる撮像画像を比較し、差分が大きい領域を反転領域R1として検出してもよい。
 検出された反転領域R1の範囲は画像処理部25に供給される。
 画像処理部25は、設定情報が反転処理ありの場合、撮像素子181から出力された撮像画像に含まれる反転領域R1を、反転領域R1の中心を中心点として点対称となるように反転させる。さらに、画像処理部25は、反転させた反転領域R1の外周と非反転領域R2の内周を一致させることによって反転領域R1と非反転領域R2とを合成する。
 これにより、画像処理部25は、図13(B)に示すように、反転が解消された表示画像を生成することができる。画像処理部25は、生成した表示画像を表示装置40に出力し、表示装置40に表示させる。
 以上のように、画像処理により反転処理を行って、表示画像を生成してもよく、ユーザは表示装置40に表示される表示画像をみながら、術具Tの挿入や抜去、被検眼6の処置を行うことができる。
 (第4の実施形態)
 第4の実施形態に係る眼科用顕微鏡システム(以下、顕微鏡システムと称する。)400について説明する。ここでは、前置レンズとして広角観察レンズを用いる網膜硝子体手術を例にあげて説明する。
 本実施形態の顕微鏡システム400は、撮像素子で撮影された画像を表示装置で見ながら手術を行うHUSシステムである。上述の実施形態と同様の構成については同様の符号を付し、説明を省略する場合がある。尚、本実施形態では、接眼レンズユニットを設けず、表示装置により被検眼を観察する構成の顕微鏡としたが、第1の実施形態のように接眼レンズユニットを設け、接眼観察と表示装置による観察の双方ができるように構成してもよい。
 [眼科用顕微鏡システムの構成]
 図14は本実施形態に係る顕微鏡システム400の構成を示す模式図である。
 図14に示すように、顕微鏡システム400は、眼科用顕微鏡(以下、顕微鏡と称する)410と、画像処理装置420と、表示装置40と、入力装置41を備える。
 詳細については後述するが、顕微鏡410は、前置レンズ132が前に配置された被検眼6を、前置レンズ132に焦点をあわせて撮影する第1の撮像素子としての眼内観察用撮像素子4181と、被検眼6の前置レンズ132が配置されない領域に焦点をあわせて撮影する第2の撮像素子としての眼外観察用撮像素子4182とを備える。
 表示装置40には、眼内観察用撮像素子4181により取得される第1の撮像画像と眼外観察用撮像素子4182により取得される第2の撮像画像を用いて生成された表示画像が表示される。
 この表示画像は、第1の撮像画像の中で前置レンズ132が位置する領域を抽出し、抽出した領域のみを反転処理した第1の画像と、第2の撮像画像の中で前置レンズ132が位置する領域以外の領域からなる第2の画像とが合成されて生成される。
 以下、詳細について説明する。
 顕微鏡410は、眼科分野における診察や手術において被検眼6の拡大像を顕微鏡システム400のユーザ(顕微鏡システム400を用いて被検眼の診察や手術を行う医師や補助者等)が観察するために使用される。
 図14に示すように、顕微鏡410は、顕微鏡本体412と、機能拡張ユニットとしての非接触型広角観察ユニット13と、眼内用照明器19と、顕微鏡照明光源161と、眼外用照明器411とを備える。顕微鏡410の詳細については後述する。
 画像処理装置420は、顕微鏡410にマウントされている後述する眼内観察用撮像素子4181及び眼外観察用撮像素子4182による撮像画像を画像処理し、表示装置40に表示される表示画像を生成する。画像処理装置420の詳細については後述する。
 表示装置40は、画像処理装置420で生成された表示画像を表示する。
 入力装置41は、顕微鏡システム400に対する入力インターフェースであり、第1の実施形態と同様である。
 [顕微鏡の構成]
 次に、顕微鏡410について説明する。
 図15は顕微鏡システム400のブロック図である。
 図15に示すように、顕微鏡410は、非接触型広角観察ユニット13と、顕微鏡照明光学系16と、観察光学系417と、撮影系418と、眼内用照明器19と、眼外用照明器411を備える。
 顕微鏡本体412は、顕微鏡照明光学系16の一部と、観察光学系417と、撮影系418を収容する。
 非接触型広角観察ユニット13、顕微鏡照明光学系16、眼内用照明器19の構成は第1の実施形態と同様である。
 図16は、顕微鏡システム400を用いた眼の手術の様子を説明するための模式図である。図16において、リダクションレンズ131の図示を省略している。
 図14及び図16に示すように、眼外用照明器411は、顕微鏡本体412の外部に設けられ、被検眼6の外側から被検眼6を照明するための照明光を発するものである。眼外用照明器411は、例えば、非接触型広角観察ユニット13に設けられる。
 図14に示すように、眼外用照明器411は、眼外用照明光源4111と光ファイバ4112とを有する。
 眼外用照明光源4111は照明光(眼外用照明光)を発する。光ファイバ4112の一端は眼外用照明光源4111に接続され、他端は、図16に示すように、前置レンズ132の側部に位置するように配置される。
 図16に示すように、被検眼6の前に前置レンズ132を配置したときに、顕微鏡照明光学系16からの照明光は前置レンズ132を介して被検眼6を照明する。これに対し、眼外用照明器411からの照明光は前置レンズ132を介さずに被検眼6を照明する。
 眼外用照明光学系としての眼外用照明器411及び顕微鏡照明光学系16は、いずれも被検眼6を外側から照明する眼外用照明光を出力する。しかしながら、眼外用照明器411からの照明光は前置レンズ132を介さずに被検眼6を照明するので、前置レンズ132で反射することがない。
 顕微鏡照明光源161からの照明光の出力の有無、眼内用照明光源191からの照明光の出力の有無、及び、眼外用照明光源4111からの照明光の出力の有無は、ユーザの入力操作により制御されてもよい。或いは、上述の実施形態と同様に撮像画像の術具検出結果を用いて判定された状況に応じて予め設定された設定情報に基づいて制御されてもよい。
 観察光学系417は、顕微鏡照明光学系16、眼内用照明器19、又は、眼外用照明器411により照明されている被検眼6を観察するためのものである。
 観察光学系417は、第1の観察光学系としての眼内観察光学系4171と、第2の観察光学系としての眼外観察光学系4172とを有する。
 眼内観察光学系4171は眼内観察用撮像素子4181に対応して観察光路が設けられ、眼外観察光学系4172は眼外観察用撮像素子4182に対応して観察光路が設けられる。
 非接触型広角観察ユニット13と眼内観察光学系4171(眼外観察光学系4172)とは、被検眼6の像を眼内観察用撮像素子4181(眼外観察用撮像素子4182)に伝送する第1の光学系(第2の光学系)としての眼内用伝送光学系431(眼外用伝送光学系432)を構成する。
 眼内用伝送光学系431(眼外用伝送光学系432)は、被検眼6からの戻り光(被検眼の像)を眼内観察用撮像素子4181(眼外観察用撮像素子4182)に結像する光学系である。
 詳細には、眼内用伝送光学系431は、前置レンズ132、リダクションレンズ131及び眼内観察光学系4171から構成される。
 眼外用伝送光学系432は、リダクションレンズ131及び眼外観察光学系4172から構成される。
 眼内観察光学系4171と眼外観察光学系4172は、それぞれ、ユーザの左眼用の観察光学系と右眼用の観察光学系に分かれており、それぞれに観察光路を有している。特に右眼用、左眼用と区別する必要がない場合は眼内観察光学系4171、眼外観察光学系4172と称して説明する。
 眼内観察光学系4171(眼外観察光学系4172)は、対物レンズ4151(4152)と、フォーカシング装置41711(41721)と、複数のズームレンズを含む変倍レンズ系41712(41722)と、結像レンズ(図示せず)と、可変絞り41713(41723)と、結像レンズ(図示せず)を有する。
 フォーカシング装置41711(41721)により、眼内観察光学系4171(眼外観察光学系4172)を上下動させることができる。これにより、対物レンズ4151(4152)と患者の被検眼6との間の動作間隔を調整することができ、顕微鏡410は被検眼6の診察対象領域にフォーカシングされる。
 尚、本実施形態において、フォーカシング装置41711とフォーカシング装置41712とはそれぞれ独立して制御可能に構成される。伝送光学系の焦点位置、倍率、被写界深度は、眼内用伝送光学系431と眼外用伝送光学系432とで個別に制御される。
 本実施形態においては、眼内観察光学系4171のフォーカシング装置41711により、被検眼6の前に前置レンズ132が配置された状態で、前置レンズ132が位置する領域に焦点を合わせるように、対物レンズ4151の物体側主点から前置レンズ132までの距離D1が調整される。
 このように、眼内用伝送光学系431の焦点位置は、前置レンズ132が位置する領域に位置するように設定される。
 眼内用伝送光学系431の焦点位置が、前置レンズ132が位置する領域に位置する状態は、次のような状態である。すなわち、前置レンズ132の後ろ側焦点の位置と対物レンズ4151の前側焦点の位置とが一致し、かつ、眼底67にピントがあうように対物レンズ4151、前置レンズ132、被検眼6との相対位置関係が調整された状態である。
 また、眼外観察光学系4172のフォーカシング装置41721により、被検眼6の前に前置レンズ132が配置された状態で、前置レンズ132の外側に位置するトロッカ50に焦点を合わせるように、対物レンズ4152の物体側主点から被検眼6に配置されるトロッカ50までの距離D2が調整される。尚、トロッカ50を用いない場合は、対物レンズ4152の物体側主点から被検眼6の表面までの距離をD2とする。
 このように、眼外用伝送光学系432の焦点位置は、前置レンズ132が位置する領域よりも外側の領域に、より詳細には、トロッカ50に、位置するように設定される。眼外用伝送光学系432の焦点位置がトロッカ50に位置する状態とは、対物レンズ4152の前側焦点位置がトロッカ50に位置するように設定された状態である。
 変倍レンズ系41712(41722)の複数のズームレンズは、観察光学系の光軸に沿って移動可能となっている。複数のズームレンズの移動により、被検眼6を撮影する際の拡大倍率が変更される。
 眼内用伝送光学系431及び眼外用伝送光学系432の被写界深度は、レンズの焦点距離、絞り値、撮影距離に依存する。したがって、フォーカシング装置41711(41721)及び可変絞り41713(41723)を制御することにより被写界深度が変更される。
 被検眼6で反射、散乱し、対物レンズ4151(4152)に入射した戻り光は、変倍レンズ系41712(41722)で倍率が制御され、結像レンズ、可変絞り41713(41723)を透過し、結像レンズに入射し、後述する撮影系418の眼内観察用撮像素子4181(眼外観察用撮像素子4182)に入射する。
 撮影系418は、眼内観察用撮像素子4181と眼外観察用撮像素子4182を有する。
 眼内観察用撮像素子4181(眼外観察用撮像素子4182)は、左右双方の眼内観察光学系4171(眼外観察光学系4172)に対応してあってもよいし、左右のいずれか一方の眼内観察光学系4171(眼外観察光学系4172)に対応してあってもよい。本実施形態では、眼内観察用撮像素子4181(眼外観察用撮像素子4182)は左右双方に対応してあり、図16に示す例では、左右それぞれの眼内観察用撮像素子4181(眼外観察用撮像素子4182)を二つ図示している。このように、本実施形態では左右それぞれに撮像素子を設けているのでステレオ画像を得ることができる。
 眼内観察用撮像素子4181及び眼外観察用撮像素子4182は、顕微鏡410にマウントされる。眼内観察用撮像素子4181(眼外観察用撮像素子4182)には、眼内用伝送光学系431(眼外用伝送光学系432)を介して被検眼6の像が結像される。眼内観察用撮像素子4181及び眼外観察用撮像素子4182により撮影された撮像画像は、画像処理装置420へ出力される。
 図16に示すように、眼内観察用撮像素子4181は、前置レンズ132を介した被検眼6を撮影するように配置される。
 眼内観察用撮像素子4181に対応する眼内用伝送光学系431の焦点位置が、被検眼6を正面側から見たときの前置レンズ132が位置する領域内となるように、対物レンズ4151の物体側主点と前置レンズ132との距離D1が調整される。眼内観察用撮像素子4181で撮影される第1の撮像画像は、被検眼6を正面側から見たときの前置レンズ132内に焦点があった画像となる。
 一方、図16に示すように、眼外観察用撮像素子4182は、被検眼6の前に前置レンズ132を配置した状態で、前置レンズ132を介さずに被検眼6を撮影するように配置される。
 眼外観察用撮像素子4182に対応する眼外用伝送光学系432の焦点位置が、被検眼6を正面側から見たときに前置レンズ132が位置する領域の外側に位置するトロッカ50となるように、対物レンズ4152の物体側主点とトロッカ50との距離D2が調整される。眼外観察用撮像素子4182で取得される第2の撮像画像は前置レンズ132の外側の領域に焦点があった画像となる。
 以上のように、眼内観察用撮像素子4181と眼外観察用撮像素子4182を用いることにより、それぞれの撮像素子で焦点位置が異なった撮像画像を得ることができる。
 [画像処理装置の構成]
 次に、画像処理装置420について説明する。
 画像処理装置420は、顕微鏡410から取得した第1の撮像画像及び第2の撮像画像を基に表示画像を生成する。尚、本実施形態では、倒立像補正用インバータを用いずに、画像処理によって反転処理を行っている。
 図15に示すように、画像処理装置420は、画像取得部421と、画像処理部422と、を有する。
 画像取得部421は、眼内観察用撮像素子4181で撮影された第1の撮像画像と、眼外観察用撮像素子4182で撮影された第2の撮像画像を取得する。
 画像処理部422は、第1の撮像画像の中で前置レンズ132が位置する反転領域(前置レンズ132により像が反転する領域)を抽出し、抽出した領域のみを反転処理し正像とした第1の画像を生成する。更に、第2の撮像画像の中で前置レンズ132が位置する領域以外の領域を抽出した第2の画像を生成する。そして、第1の画像と第2の画像とを合成して表示画像を生成する。生成された表示画像は表示装置40に出力される。
 表示装置40は表示画像を表示し、ユーザは表示された表示画像を見ながら被検眼6を観察することができる。
 第1の撮像画像の反転領域の反転処理は第3の実施形態と同様である。
 このように本実施形態では、合成されて生成される表示画像は、前置レンズ132が存在する領域と存在しない領域それぞれの焦点に合った画像となり、前置レンズ132内外を自然に観察することができる表示画像となる。従って、ユーザは、それぞれの領域を同時に適切な画像で観察することができる。
 また、本実施形態の顕微鏡システム400では、前置レンズ132内外の領域を同じ撮像素子で取得する場合と比較して、術具Tの挿入位置を設定する状況から術具Tが被検眼6の内部に位置している状況へと変化するにあたって、焦点位置を変更するように顕微鏡を制御する必要がない。従って、ユーザは顕微鏡の設定に手を煩わされない。
 また、本実施形態においては、前置レンズ132の側部に眼外用照明器411を配置しているので、前置レンズ132を介さずに被検眼6に対して照明光を照射することができる。
 被検眼6の前に前置レンズ132を配置する場合、眼外用照明光として、顕微鏡照明光源161からの照明光ではなく、眼外用照明器411からの照明光を被検眼6に照射することにより、前置レンズ132での照明光の鏡面反射のない観察に適した表示画像を得ることができる。
 本実施形態においては、前置レンズ132の側部に眼外用照明器411を設けることにより前置レンズ132での鏡面反射を防止したが、これに限定されない。
 例えば、被検眼6を外側から照射する眼外用照明光として、眼外用照明器411は設けず、顕微鏡照明光学系16からの照明光を用いるように構成する。そして、眼内観察用撮像素子4181と眼外観察用撮像素子4182による撮影を交互に行う。更に、前置レンズ132内に焦点をあわせて撮影する眼内観察用撮像素子4181での撮影時には、顕微鏡照明光学系16からの照明光の照射をオフ(消灯)し、前置レンズ132外に焦点をあわせて撮影する眼外観察用撮像素子4182での撮影時には顕微鏡照明光学系16からの照明光の照射をオン(点灯)するように、撮影時に顕微鏡照明光学系16からの照明光を高速に点滅させる。尚、眼内用照明器19からの照明光は、眼内観察用撮像素子4181での撮影時には照射をオンし、眼外観察用撮像素子4182での撮影時には照射をオフする。
 これにより、前置レンズ132内の撮影では顕微鏡照明光学系16からの照明光の前置レンズ132での反射が生じず、前置レンズ132での照明光の鏡面反射のない観察に適した像を得ることができる。
 また、他の例としては、被検眼6を外側から照射する眼外用照明光として、眼外用照明器411は設けず、顕微鏡照明光学系16からの照明光を用いるように構成する。そして、眼内用照明器19から出力される第1の照明光は第1の波長を有し、顕微鏡照明光学系16から出力される第2の照明光は第1の波長と異なる第2の波長を有するように構成する。更に、第1の撮像素子としての眼内観察用撮像素子4181は第1の波長の光を選択的に受光する撮像素子とし、第2の撮像素子としての眼外観察用撮像素子4182は第2の波長の光を選択的に受光する撮像素子とする。
 具体的な例として、眼内用照明器19から出力される照明光(第1の照明光)が、近赤外光がカットされた照明光(第1の波長の光)となる眼内用照明器19を用い、顕微鏡照明光学系16から出力される照明光(第2の照明光)が近赤外光(第2の波長の光)となる顕微鏡照明光学系16を用いる。更に、近赤外光がカットされた光(第1の波長の光)を選択的に受光する眼内観察用撮像素子4181とし、近赤外光(第2の波長の光)を選択的に受光する眼外観察用撮像素子4182とする。
 ここで、眼内用照明器19及び顕微鏡照明光学系16から同時に照明光が照射され、眼内観察用撮像素子4181及び眼外観察用撮像素子4182で同時に撮影されたとする。この場合、顕微鏡照明光学系16からの照明光(近赤外光)が前置レンズ132で反射して眼内観察用撮像素子4181に入射しても、眼内観察用撮像素子4181では近赤外光がカットされた光が受光されることになるので、近赤外光は受光されない。従って、前置レンズ132での照明光の鏡面反射の影響のない撮像画像を得ることができ、観察に適した像を得ることができる。
 更に、他の例としては、被検眼6を外側から照射する眼外用照明光として、眼外用照明器411は設けず、顕微鏡照明光学系16からの照明光を用いるように構成する。そして、顕微鏡照明光学系16からの第2の照明光が特定の偏光状態(第2の偏光状態)となるように顕微鏡照明光学系16を構成する。更に、眼内観察用撮像素子4181の前に、顕微鏡照明光学系16からの第2の照明光の偏光状態(第2の偏光状態)と直交する第1の偏光状態の光のみを透過する光学素子としての偏光フィルタを設ける。
 ここで、眼内用照明器19及び顕微鏡照明光学系16から同時に照明光が照射され、眼内観察用撮像素子4181及び眼外観察用撮像素子4182で同時に撮影されたとする。この場合、顕微鏡照明光学系16からの特定の偏光状態の照明光が前置レンズ132で反射した場合、その反射光は特定の偏光状態が維持されたものとなる。このため、この反射光は、眼内観察用撮像素子4181の前に設けられている偏光フィルタを透過することができず、眼内観察用撮像素子4181に入射されない。従って、前置レンズ132での照明光の鏡面反射の影響のない撮像画像を得ることができ、観察に適した像を得ることができる。
 一般的に、眼底観察には、前置レンズとして広角視野が得られる広角観察レンズを用いる。前置レンズを介した像は、前置レンズを介さない像と比較して小さくなる。このため、眼内観察用撮像素子4181で取得した第1の撮像画像を基に生成された第1の画像と、眼外観察用撮像素子4182で取得した第2の撮像画像を基に生成された第2の画像とを合成した画像では、前置レンズ内外で奥行き感が大きく異なる場合がある。
 これに対し、本実施形態の顕微鏡システム400では、眼内観察用撮像素子4181と眼外観察用撮像素子4182とを設けているため、左眼用の眼外観察用撮像素子4182と右眼用の眼外観察用撮像素子4182との間の距離(基線長L2、図16参照)を調整して撮像素子を配置することができる。基線長L2を変化させることにより、眼内観察用撮像素子4181で取得される像の大きさを調整することができる。
 具体的には基線長L2をより短くすることにより、前置レンズ内の像を大きくすることができ、前置レンズ内外の奥行き感の近い表示画像となるように調整することができる。
 また、本実施形態の顕微鏡システム400では、眼内観察用撮像素子4181と眼外観察用撮像素子4182それぞれに対応して眼内観察光学系4171と眼外観察光学系4172とが設けられている。このため、眼内観察光学系4171を有する眼内用伝送光学系431と眼外観察光学系4172を有する眼外用伝送光学系432それぞれの光学系で別々に焦点位置を調整することができる。これにより、対物レンズ4152の物体側主点から被検眼6に配置されるトロッカ50までの距離D2を変化させることにより、眼内観察用撮像素子4181で取得される像の大きさを調整することができる。
 具体的には距離D2をより長くすることにより、前置レンズ内の像を大きくすることができ、前置レンズ内外の奥行き感の近い表示画像となるように調整することができる。
 前置レンズ内外の奥行き感の調整には、基線長L2、距離D2のいずれか一方を用いてもよいし、両方を用いてもよい。
 以上のように、本実施形態の顕微鏡システムは顕微鏡の設定作業を補助することができ、ユーザは顕微鏡の設定に手を煩わされることなく、適切な表示画像で被検眼を観察することができる。
 本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 例えば、上述の各実施形態においては、前置レンズ132として広角観察レンズを例にあげて説明したが、例えば、前置レンズ132として隅角鏡を用いてもよい。隅角鏡を用いることにより隅角を観察することができる。隅角観察の場合は、眼内照明は不要となる。したがって、例えば第1の実施形態における照明に関する設定情報は、顕微鏡照明光学系における眼外照明のオン、オフのいずれかとなる。
 また、上述の第2の実施形態において、被検眼の内部に術具が位置する状況を、処置状況と、挿入中の状況と、抜去中の状況の3つの状況にわけて判定する例をあげたが、被検眼の内部に術具が位置する状況を、例えば、処置中の状況と処置中でない状況の2つにわけてもよい。以下、図17を用いて説明する。
 図17は、術具が被検眼内に位置する状況を、処置中の状況と、処置中でない状況の2つの状況に分けて判定する場合の制御装置20の動作を示すフローチャートである。図17では、この状況判定を状況判定3と称して図示している。図17において、上述の実施形態で説明した処理と同じステップには同様のステップ名を付し、説明を省略する場合がある。
 図17に示すように、St151で、術具検出部22により、撮像画像上、前置レンズ132の領域において、術具Tの先端が内側から外側に向かって連続的に移動しているか否かが検出される。
 術具Tの先端が内側から外側に向かって移動していることが検出されると(YES)、判定部23は処置中でない状況と判定する(St156)。
 術具Tの先端が内側から外側に向かって移動していないことが検出されると(NO)、St153に進む。
 St153では、術具検出部22により、撮像画像上、前置レンズ132の領域において、術具Tの先端が外側から内側に向かって連続的に移動しているか否かが検出される。
 術具Tの先端が外側から内側に向かって連続的に移動していることが検出されると(YES)、判定部23は処置中でない状況と判定する(St156)。
 術具Tの先端が外側から内側に向かって連続的に移動していないことが検出されると(NO)、判定部23は処置中の状況であると判定する(St155)。
 以上のように、状況判定3が行われる。
 このように、術具検出結果を用いて、処置中の状況であるか、処置中でない状況かを判定することができる。そして、予め判定毎に設定された倍率(画角)、被写界深度に係る設定情報に基づいて、撮像素子181の撮影条件は自動的に設定され得る。
 ここで示した例では、図7に示すように、処置中の状況であると判定された場合、倍率はb倍に設定され、被写界深度はユーザが設定可能となるように顕微鏡10が制御される。
 一方、処置中の状況でないと判定された場合、倍率はa倍に設定され、被写界深度は深くなるように顕微鏡10が制御される。
 ここでは、倍率(画角)、被写界深度の双方が自動的に設定される例をあげたが、いずれか一方であってもよい。
 以上のように、状況の判定結果に応じて、倍率(画角)、被写界深度の少なくとも一方を自動的に制御してもよい。
 ここで説明したように、被検眼の内部に術具が位置する状況を、処置中の状況と、挿入中の状況と、抜去中の状況の3つの状況にわけて判定する以外に、処置中の状況と処置中でない状況の2つの状況にわけて判定してもよい。また、挿入中の状況と、挿入中以外の状況とに分けて判定し、その判定結果に基づいて撮影条件が設定されてもよい。また、抜去中の状況と抜去中以外の状況に分けて判定し、その判定結果に基づいて撮影条件が設定されてもよい。
 また、上述の実施形態においては、フォーカシング装置により、伝送光学系の焦点位置を制御する例をあげたが、これに限定されない。
 例えば、インナーフォーカスの顕微鏡を用いてもよい。インナーフォーカスの顕微鏡では、観察光学系に焦点調節用レンズが設けられる。焦点調節用レンズの駆動により、顕微鏡本体を上下動させることなく、伝送光学系の焦点位置を制御することができる。この場合、対物レンズと被検眼との距離は変化しない。
 また、他の例として、顕微鏡本体を上下動させずに、伝送光学系の一部を構成するリダクションレンズと前置レンズ(広角観察レンズ)の少なくとも一方を移動させることによって、伝送光学系の焦点位置を制御してもよい。
 なお、本技術は以下のような構成もとることができる。
 (1)
 眼科用顕微鏡の撮像素子により前置レンズを介して撮影された被検眼の撮像画像を用いた術具の検出結果に基づいて、上記撮像素子の撮影条件、上記前置レンズにより反転している領域の像を正像とする反転処理の有無の少なくともどちらかを制御する制御部
 を具備する制御装置。
 (2)
 上記(1)に記載の制御装置であって、
 上記眼科用顕微鏡は、上記被検眼の像を上記撮像素子に導く光学系と、上記被検眼を外側から照明する眼外用照明光を出力する眼外用照明光源とを有し、
 上記撮影条件には、上記光学系の焦点位置、上記眼外用照明光の照射の有無の少なくともどちらかが含まれる
 制御装置。
 (3)
 上記(1)又は(2)に記載の制御装置であって、
 上記制御部は、上記術具の検出結果に基づいて判定された状況毎に予め設定された設定情報に基づいて、上記撮像素子の撮影条件、上記反転処理の有無の少なくともどちらかを制御する
 制御装置。
 (4)
 上記(3)に記載の制御装置であって、
 上記状況は、上記術具の先端が上記撮像画像における上記前置レンズの領域外に位置することが検出された場合、上記挿入位置を設定している状況であると判定され、上記術具の先端が上記撮像画像における上記前置レンズの領域内に位置することが検出された場合、上記術具が上記被検眼の内部に位置している状況であると判定される
 制御装置。
 (5)
 上記(4)に記載の制御装置であって、
 上記術具は上記被検眼上に配置されたトロッカを介して眼内に挿入可能であり、
 上記設定情報において、上記挿入位置を設定している状況では、上記焦点位置は上記トロッカに設定され、上記反転処理は行わない設定とされ、上記眼外用照明光は出力される設定とされ、上記術具が挿入されている状況では、上記焦点位置は上記前置レンズに設定され、上記反転処理は行われる設定とされ、上記眼外用照明光の出力は行わない設定とされる
 制御装置。
 (6)
 上記(4)又は(5)に記載の制御装置であって、
 上記眼科用顕微鏡は、上記被検眼の内部に眼内用照明光を照射する眼内用照明器を更に備え、
 上記前置レンズは上記被検眼の眼内を観察するための広角観察レンズであり、
 上記設定情報において、上記挿入位置を設定している状況では上記眼内用照明光の出力はなしと設定され、上記術具が挿入されている状況では上記眼内用照明光の出力はありと設定される
 制御装置。
 (7)
 上記(1)~(5)のいずれか1つに記載の制御装置であって、
 上記前置レンズは上記被検眼の隅角を観察するための隅角鏡である
 制御装置。
 (8)
 上記(3)~(7)のいずれか1つに記載の制御装置であって、
 状況毎に予め設定された上記設定情報が上記眼科用顕微鏡のユーザにより再設定された再設定情報を記録するメモリを更に具備し、
 上記制御部は、判定された状況に応じて、予め設定された設定情報よりも優先的に上記再設定情報を用いて、上記撮像素子の撮影条件を制御する
 制御装置。
 (9)
 上記(3)~(8)のいずれか1つに記載の制御装置であって、
 上記撮影条件には、上記光学系の倍率、上記光学系の被写界深度の少なくともどちらかが含まれ、
 上記制御部は、判定された状況毎に予め設定された設定情報に基づいて上記倍率、上記被写界深度の少なくともどちらかを制御する
 制御装置。
 (10)
 上記(9)に記載の制御装置であって、
 上記状況は、上記術具の先端が上記撮像画像における上記前置レンズの領域外に位置することが検出された場合、上記挿入位置を設定している状況であると判定され、上記術具の先端が上記撮像画像における上記前置レンズの領域内に位置することが検出された場合、上記術具が上記被検眼の内部に位置している状況であると判定され、
 上記被検眼の内部に上記術具が位置する状況は、上記被検眼の処置が行われている処置中の状況と、上記被検眼の処置が行われていない処置中でない状況とを含み、
 上記制御部は、判定された上記処置中の状況又は上記処置中でない状況に対して予め設定された設定情報に基づいて、上記倍率、上記被写界深度の少なくともどちらかを制御する
 制御装置。
 (11)
 上記(10)に記載の制御装置であって、
 上記処置中でない状況は、上記被検眼の上記挿入位置から処置時の位置までの上記術具の移動である挿入中の状況と、上記処置時の位置から上記被検眼の外までの上記術具の移動である抜去中の状況を含み、
 上記制御部は、判定された上記処置中の状況、上記挿入中の状況、又は、上記抜去中の状況に対して予め設定された設定情報に基づいて、上記倍率、上記被写界深度の少なくともどちらかを制御する
 制御装置。
 (12)
 上記(3)~(11)のいずれか1つに記載の制御装置であって、
 上記眼科用顕微鏡は、上記反転処理を光学的に行うインバータを更に備え、
 上記制御部は、判定された状況に対して設定された設定情報に基づいて上記インバータを制御する
 制御装置。
 (13)
 上記(3)~(11)のいずれか1つに記載の制御装置であって、
 上記撮像画像の中で上記前置レンズにより像が結像している領域を反転させる上記反転処理を行って表示画像を生成する画像処理部
 を更に具備し、
 上記制御部は、判定された状況に対して設定された設定情報に基づいて上記画像処理部を制御する
 制御装置。
 (14)
 被検眼の前に配置可能な前置レンズと、上記被検眼を外側から照明する眼外用照明光を出力する眼外用照明光源と、上記被検眼を撮影する撮像素子とを備える眼科用顕微鏡と、
 上記撮像素子により上記前置レンズを介して撮影された上記被検眼の撮像画像を用いた術具の検出結果に基づいて、上記撮像素子の撮影条件、上記前置レンズにより反転している領域の像を正像とする反転処理の有無の少なくともどちらかを制御する制御装置
 を具備する眼科用顕微鏡システム。
 (15)
 被検眼の像を伝送する、上記被検眼の前に配置される前置レンズを含む第1の光学系と、
 上記被検眼の像を伝送する、上記前置レンズを含まない第2の光学系と、
 上記第1の光学系の焦点位置が、上記前置レンズが位置する領域に位置する状態で、上記第1の光学系により伝送された上記被検眼の像が結像する第1の撮像素子と、
 上記第2の光学系の焦点位置が、上記被検眼の上記前置レンズが位置する領域よりも外側の領域に位置する状態で、上記第2の光学系により伝送された上記被検眼の像が結像する第2の撮像素子と
 を具備する眼科用顕微鏡。
 (16)
 上記(15)に記載の眼科用顕微鏡であって、
 上記第2の撮像素子での撮影時に、上記前置レンズを介さずに上記被検眼に第2の照明光を照射する第2の照明器
 を更に具備する眼科用顕微鏡。
 (17)
 上記(15)に記載の眼科用顕微鏡であって、
 上記第1の撮像素子での撮影時に、上記被検眼の内部に第1の照明光を照射する第1の照明器と、
 上記第2の撮像素子での撮影時に、上記被検眼に第2の照明光を照射する第2の照明器と
 を更に具備し、
 上記第1の撮像素子での撮影と上記第2の撮像素子での撮影は交互に行われ、
 上記第1の照明器は、上記第1の撮像素子での撮影と同期して上記第1の照明光を出力し、
 上記第2の照明器は、上記第2の撮像素子での撮影と同期して上記第2の照明光を出力する
 眼科用顕微鏡。
 (18)
 上記(15)に記載の眼科用顕微鏡であって、
 上記第1の撮像素子での撮影時に、上記被検眼の内部に第1の波長を有する第1の照明光を照射する第1の照明器と、
 上記第2の撮像素子での撮影時に、上記被検眼に上記第1の波長とは異なる第2の波長を有する第2の照明光を照射する第2の照明器と
 を更に具備し、
 上記第1の撮像素子は上記第1の波長の光を選択的に受光する撮像素子を有し、上記第2の撮像素子は上記第2の波長の光を選択的に受光する撮像素子を有する
 眼科用顕微鏡。
 (19)
 上記(15)に記載の眼科用顕微鏡であって、
 上記第1の撮像素子での撮影時に、上記被検眼の内部に第1の照明光を照射する第1の照明器と、
 上記第2の撮像素子での撮影時に、上記被検眼に第2の偏光状態を有する第2の照明光を照射する第2の照明器と
 を更に具備し、
 上記第1の撮像素子の前には、上記第2の偏光状態と直交する第1の偏光状態の光を透過する光学素子が配置される
 眼科用顕微鏡。
 (20)
 被検眼の前に配置可能な前置レンズと、上記前置レンズに焦点位置をあわせて上記被検眼を撮影する第1の撮像素子と、上記被検眼の上記前置レンズが位置する領域よりも外側の領域に焦点位置をあわせて上記被検眼を撮影する第2の撮像素子とを備える眼科用顕微鏡の上記第1の撮像素子で取得された第1の撮像画像の中で上記前置レンズが位置する領域を抽出し、抽出した領域のみを反転処理した第1の画像と、上記第2の撮像素子で取得された第2の撮像画像の中で上記前置レンズが位置する領域以外の領域からなる第2の画像とを合成して表示画像を生成する画像処理部
 を具備する画像処理装置。
 (21)
  被検眼の前に配置可能な前置レンズと、
  上記前置レンズに焦点位置をあわせて上記被検眼を撮影する第1の撮像素子と、
  上記被検眼の上記前置レンズが位置する領域よりも外側の領域に焦点位置をあわせて上記被検眼を撮影する第2の撮像素子と
 を備える眼科用顕微鏡と、
  上記第1の撮像素子で取得された第1の撮像画像の中で上記前置レンズが位置する領域を抽出し、抽出した領域のみを反転処理した第1の画像と、上記第2の撮像素子で取得された第2の撮像画像の中で上記前置レンズが位置する領域以外の領域からなる第2の画像とを合成して表示画像を生成する画像処理部
 を備える画像処理装置
 を具備する眼科用顕微鏡システム。
 6…被検眼
 10、410…眼科用顕微鏡
 14…倒立像補正用インバータ
 19…眼内用照明器(第1の照明器)
 20…制御装置
 24…制御部
 25、422…画像処理部
 30、430…伝送光学系(光学系)
 50…トロッカ
 100、400…眼科用顕微鏡システム(顕微鏡システム)
 132…広角観察レンズ(前置レンズ)
 161…顕微鏡照明光源(眼外用照明光源)
 181…撮像素子
 191…眼内用照明光源
 420…画像処理装置
 431…眼内用伝送光学系(第1の光学系)
 432…眼外用伝送光学系(第2の光学系)
 4111…眼外用照明光源
 4181…眼内観察用撮像素子(第1の撮像素子)
 4182…眼外観察用撮像素子(第2の撮像素子)
 T…術具

Claims (21)

  1.  眼科用顕微鏡の撮像素子により前置レンズを介して撮影された被検眼の撮像画像を用いた術具の検出結果に基づいて、前記撮像素子の撮影条件、前記前置レンズにより反転している領域の像を正像とする反転処理の有無の少なくともどちらかを制御する制御部
     を具備する制御装置。
  2.  請求項1に記載の制御装置であって、
     前記眼科用顕微鏡は、前記被検眼の像を前記撮像素子に導く光学系と、前記被検眼を外側から照明する眼外用照明光を出力する眼外用照明光源とを有し、
     前記撮影条件には、前記光学系の焦点位置、前記眼外用照明光の照射の有無の少なくともどちらかが含まれる
     制御装置。
  3.  請求項2に記載の制御装置であって、
     前記制御部は、前記術具の検出結果に基づいて判定された状況毎に予め設定された設定情報に基づいて、前記撮像素子の撮影条件、前記反転処理の有無の少なくともどちらかを制御する
     制御装置。
  4.  請求項3に記載の制御装置であって、
     前記状況は、前記術具の先端が前記撮像画像における前記前置レンズの領域外に位置することが検出された場合、前記挿入位置を設定している状況であると判定され、前記術具の先端が前記撮像画像における前記前置レンズの領域内に位置することが検出された場合、前記術具が前記被検眼の内部に位置している状況であると判定される
     制御装置。
  5.  請求項4に記載の制御装置であって、
     前記術具は前記被検眼上に配置されたトロッカを介して眼内に挿入可能であり、
     前記設定情報において、前記挿入位置を設定している状況では、前記焦点位置は前記トロッカに設定され、前記反転処理は行わない設定とされ、前記眼外用照明光は出力される設定とされ、前記術具が挿入されている状況では、前記焦点位置は前記前置レンズに設定され、前記反転処理は行われる設定とされ、前記眼外用照明光の出力は行わない設定とされる
     制御装置。
  6.  請求項5に記載の制御装置であって、
     前記眼科用顕微鏡は、前記被検眼の内部に眼内用照明光を照射する眼内用照明器を更に備え、
     前記前置レンズは前記被検眼の眼内を観察するための広角観察レンズであり、
     前記設定情報において、前記挿入位置を設定している状況では前記眼内用照明光の出力はなしと設定され、前記術具が挿入されている状況では前記眼内用照明光の出力はありと設定される
     制御装置。
  7.  請求項5に記載の制御装置であって、
     前記前置レンズは前記被検眼の隅角を観察するための隅角鏡である
     制御装置。
  8.  請求項3に記載の制御装置であって、
     状況毎に予め設定された前記設定情報が前記眼科用顕微鏡のユーザにより再設定された再設定情報を記録するメモリを更に具備し、
     前記制御部は、判定された状況に応じて、予め設定された設定情報よりも優先的に前記再設定情報を用いて、前記撮像素子の撮影条件を制御する
     制御装置。
  9.  請求項3に記載の制御装置であって、
     前記撮影条件には、前記光学系の倍率、前記光学系の被写界深度の少なくともどちらかが含まれ、
     前記制御部は、判定された状況毎に予め設定された設定情報に基づいて前記倍率、前記被写界深度の少なくともどちらかを制御する
     制御装置。
  10.  請求項9に記載の制御装置であって、
     前記状況は、前記術具の先端が前記撮像画像における前記前置レンズの領域外に位置することが検出された場合、前記挿入位置を設定している状況であると判定され、前記術具の先端が前記撮像画像における前記前置レンズの領域内に位置することが検出された場合、前記術具が前記被検眼の内部に位置している状況であると判定され、
     前記被検眼の内部に前記術具が位置する状況は、前記被検眼の処置が行われている処置中の状況と、前記被検眼の処置が行われていない処置中でない状況とを含み、
     前記制御部は、判定された前記処置中の状況又は前記処置中でない状況に対して予め設定された設定情報に基づいて、前記倍率、前記被写界深度の少なくともどちらかを制御する
     制御装置。
  11.  請求項10に記載の制御装置であって、
     前記処置中でない状況は、前記被検眼の前記挿入位置から処置時の位置までの前記術具の移動である挿入中の状況と、前記処置時の位置から前記被検眼の外までの前記術具の移動である抜去中の状況を含み、
     前記制御部は、判定された前記処置中の状況、前記挿入中の状況、又は、前記抜去中の状況に対して予め設定された設定情報に基づいて、前記倍率、前記被写界深度の少なくともどちらかを制御する
     制御装置。
  12.  請求項3に記載の制御装置であって、
     前記眼科用顕微鏡は、前記反転処理を光学的に行うインバータを更に備え、
     前記制御部は、判定された状況に対して設定された設定情報に基づいて前記インバータを制御する
     制御装置。
  13.  請求項3に記載の制御装置であって、
     前記撮像画像の中で前記前置レンズにより像が結像している領域を反転させる前記反転処理を行って表示画像を生成する画像処理部
     を更に具備し、
     前記制御部は、判定された状況に対して設定された設定情報に基づいて前記画像処理部を制御する
     制御装置。
  14.  被検眼の前に配置可能な前置レンズと、前記被検眼を外側から照明する眼外用照明光を出力する眼外用照明光源と、前記被検眼を撮影する撮像素子とを備える眼科用顕微鏡と、
     前記撮像素子により前記前置レンズを介して撮影された前記被検眼の撮像画像を用いた術具の検出結果に基づいて、前記撮像素子の撮影条件、前記前置レンズにより反転している領域の像を正像とする反転処理の有無の少なくともどちらかを制御する制御装置
     を具備する眼科用顕微鏡システム。
  15.  被検眼の像を伝送し、前記被検眼の前に配置される前置レンズを含む第1の光学系と、
     前記被検眼の像を伝送し、前記前置レンズを含まない第2の光学系と、
     前記第1の光学系の焦点位置が、前記前置レンズが位置する領域に位置する状態で、前記第1の光学系により伝送された前記被検眼の像が結像する第1の撮像素子と、
     前記第2の光学系の焦点位置が、前記被検眼の前記前置レンズが位置する領域よりも外側の領域に位置する状態で、前記第2の光学系により伝送された前記被検眼の像が結像する第2の撮像素子と
     を具備する眼科用顕微鏡。
  16.  請求項15に記載の眼科用顕微鏡であって、
     前記第2の撮像素子での撮影時に、前記前置レンズを介さずに前記被検眼に第2の照明光を照射する第2の照明器
     を更に具備する眼科用顕微鏡。
  17.  請求項15に記載の眼科用顕微鏡であって、
     前記第1の撮像素子での撮影時に、前記被検眼の内部に第1の照明光を照射する第1の照明器と、
     前記第2の撮像素子での撮影時に、前記被検眼に第2の照明光を照射する第2の照明器と
     を更に具備し、
     前記第1の撮像素子での撮影と前記第2の撮像素子での撮影は交互に行われ、
     前記第1の照明器は、前記第1の撮像素子での撮影と同期して前記第1の照明光を出力し、
     前記第2の照明器は、前記第2の撮像素子での撮影と同期して前記第2の照明光を出力する
     眼科用顕微鏡。
  18.  請求項15に記載の眼科用顕微鏡であって、
     前記第1の撮像素子での撮影時に、前記被検眼の内部に第1の波長を有する第1の照明光を照射する第1の照明器と、
     前記第2の撮像素子での撮影時に、前記被検眼に前記第1の波長とは異なる第2の波長を有する第2の照明光を照射する第2の照明器と
     を更に具備し、
     前記第1の撮像素子は前記第1の波長の光を選択的に受光する撮像素子を有し、前記第2の撮像素子は前記第2の波長の光を選択的に受光する撮像素子を有する
     眼科用顕微鏡。
  19.  請求項15に記載の眼科用顕微鏡であって、
     前記第1の撮像素子での撮影時に、前記被検眼の内部に第1の照明光を照射する第1の照明器と、
     前記第2の撮像素子での撮影時に、前記被検眼に第2の偏光状態を有する第2の照明光を照射する第2の照明器と
     を更に具備し、
     前記第1の撮像素子の前には、前記第2の偏光状態と直交する第1の偏光状態の光を透過する光学素子が配置される
     眼科用顕微鏡。
  20.  被検眼の前に配置可能な前置レンズと、前記前置レンズに焦点位置をあわせて前記被検眼を撮影する第1の撮像素子と、前記被検眼の前記前置レンズが位置する領域よりも外側の領域に焦点位置をあわせて前記被検眼を撮影する第2の撮像素子とを備える眼科用顕微鏡の前記第1の撮像素子で取得された第1の撮像画像の中で前記前置レンズが位置する領域を抽出し、抽出した領域のみを反転処理した第1の画像と、前記第2の撮像素子で取得された第2の撮像画像の中で前記前置レンズが位置する領域以外の領域からなる第2の画像とを合成して表示画像を生成する画像処理部
     を具備する画像処理装置。
  21.   被検眼の前に配置可能な前置レンズと、
      前記前置レンズに焦点位置をあわせて前記被検眼を撮影する第1の撮像素子と、
      前記被検眼の前記前置レンズが位置する領域よりも外側の領域に焦点位置をあわせて前記被検眼を撮影する第2の撮像素子と
     を備える眼科用顕微鏡と、
      前記第1の撮像素子で取得された第1の撮像画像の中で前記前置レンズが位置する領域を抽出し、抽出した領域のみを反転処理した第1の画像と、前記第2の撮像素子で取得された第2の撮像画像の中で前記前置レンズが位置する領域以外の領域からなる第2の画像とを合成して表示画像を生成する画像処理部
     を備える画像処理装置
     を具備する眼科用顕微鏡システム。
PCT/JP2020/004902 2019-02-20 2020-02-07 制御装置、眼科用顕微鏡システム、眼科用顕微鏡及び画像処理装置 WO2020170866A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112020000880.0T DE112020000880T5 (de) 2019-02-20 2020-02-07 Steuervorrichtung, ophthalmisches mikroskopsystem, ophthalmisches mikroskop und bildverarbeitungsvorrichtung
US17/430,027 US20220115122A1 (en) 2019-02-20 2020-02-07 Control device, ophthalmic microscope system, ophthalmic microscope, and image processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-028043 2019-02-20
JP2019028043A JP2020130607A (ja) 2019-02-20 2019-02-20 制御装置、眼科用顕微鏡システム、眼科用顕微鏡及び画像処理装置

Publications (1)

Publication Number Publication Date
WO2020170866A1 true WO2020170866A1 (ja) 2020-08-27

Family

ID=72143695

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/004902 WO2020170866A1 (ja) 2019-02-20 2020-02-07 制御装置、眼科用顕微鏡システム、眼科用顕微鏡及び画像処理装置

Country Status (4)

Country Link
US (1) US20220115122A1 (ja)
JP (1) JP2020130607A (ja)
DE (1) DE112020000880T5 (ja)
WO (1) WO2020170866A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022161930A1 (de) * 2021-01-26 2022-08-04 Carl Zeiss Meditec Ag Tool-typ-agnostische assistenzfunktionalität bei chirurgischen eingriffen
EP4226844A1 (en) * 2022-02-11 2023-08-16 Leica Instruments (Singapore) Pte. Ltd. Apparatus and method for an imaging device

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3653107A4 (en) * 2017-07-12 2020-07-08 Sony Corporation IMAGE PROCESSING DEVICE, OPHTHALMIC OBSERVATION DEVICE AND OPHTHALMIC OBSERVATION SYSTEM
US20240008741A1 (en) * 2020-10-27 2024-01-11 Topcon Corporation Ophthalmic observation apparatus
JP2022142902A (ja) * 2021-03-17 2022-10-03 ソニーグループ株式会社 力計測装置及び力計測方法、手術装置、及び手術システム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001017459A (ja) * 1999-07-02 2001-01-23 Topcon Corp 手術用顕微鏡
JP2001108906A (ja) * 1999-10-01 2001-04-20 Topcon Corp 手術用顕微鏡
JP2003062003A (ja) * 2001-06-13 2003-03-04 Topcon Corp 手術用顕微鏡
JP2006247399A (ja) * 2005-03-11 2006-09-21 Carl Zeiss Surgical Gmbh 焦点ずれ型眼手術用顕微鏡
WO2018096763A1 (ja) * 2016-11-22 2018-05-31 ソニー・オリンパスメディカルソリューションズ株式会社 顕微鏡装置及び制御方法
WO2018105411A1 (ja) * 2016-12-06 2018-06-14 ソニー株式会社 画像処理装置および方法、並びに手術顕微鏡システム
WO2019012881A1 (ja) * 2017-07-12 2019-01-17 ソニー株式会社 画像処理装置、眼科用観察装置及び眼科用観察システム
DE102017121085B3 (de) * 2017-09-12 2019-01-31 Carl Zeiss Meditec Ag Augenchirurgie-Visualisierungssystem

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6915968B2 (ja) 2016-06-09 2021-08-11 株式会社トプコン 眼科用手術顕微鏡

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001017459A (ja) * 1999-07-02 2001-01-23 Topcon Corp 手術用顕微鏡
JP2001108906A (ja) * 1999-10-01 2001-04-20 Topcon Corp 手術用顕微鏡
JP2003062003A (ja) * 2001-06-13 2003-03-04 Topcon Corp 手術用顕微鏡
JP2006247399A (ja) * 2005-03-11 2006-09-21 Carl Zeiss Surgical Gmbh 焦点ずれ型眼手術用顕微鏡
WO2018096763A1 (ja) * 2016-11-22 2018-05-31 ソニー・オリンパスメディカルソリューションズ株式会社 顕微鏡装置及び制御方法
WO2018105411A1 (ja) * 2016-12-06 2018-06-14 ソニー株式会社 画像処理装置および方法、並びに手術顕微鏡システム
WO2019012881A1 (ja) * 2017-07-12 2019-01-17 ソニー株式会社 画像処理装置、眼科用観察装置及び眼科用観察システム
DE102017121085B3 (de) * 2017-09-12 2019-01-31 Carl Zeiss Meditec Ag Augenchirurgie-Visualisierungssystem

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022161930A1 (de) * 2021-01-26 2022-08-04 Carl Zeiss Meditec Ag Tool-typ-agnostische assistenzfunktionalität bei chirurgischen eingriffen
EP4226844A1 (en) * 2022-02-11 2023-08-16 Leica Instruments (Singapore) Pte. Ltd. Apparatus and method for an imaging device

Also Published As

Publication number Publication date
JP2020130607A (ja) 2020-08-31
DE112020000880T5 (de) 2021-11-11
US20220115122A1 (en) 2022-04-14

Similar Documents

Publication Publication Date Title
WO2020170866A1 (ja) 制御装置、眼科用顕微鏡システム、眼科用顕微鏡及び画像処理装置
US11369517B2 (en) Device for machining an object by application of laser radiation
EP1292212B1 (en) Digital eye camera
JP4398352B2 (ja) 医療用立体撮像装置
JP6527717B2 (ja) レーザ治療装置
JP2006158452A5 (ja)
JP2000333905A (ja) 眼科装置
JP6812724B2 (ja) 眼科手術システム、眼科手術システム制御プログラム、および眼科用手術顕微鏡
JP6899632B2 (ja) 眼科撮影装置
JP5101370B2 (ja) 眼底撮影装置
JP2017012432A (ja) 眼科用顕微鏡システム
JP2009297073A (ja) 手術用顕微鏡
JP6556466B2 (ja) レーザ治療装置
JP6630807B2 (ja) レーザ治療装置
WO2020195865A1 (ja) 検眼用アタッチメント、制御装置及び眼科用顕微鏡システム
WO2019056042A1 (en) OPHTHALMIC IMAGING WITH DOUBLE CAMERA
JP2019037834A (ja) レーザ治療装置
JP6588750B2 (ja) 眼科用顕微鏡システム
KR100428932B1 (ko) 무산동 광각의 디지털 안저영상 획득장치
WO2022091430A1 (ja) 眼科観察装置、その制御方法、プログラム、及び記録媒体
JP2018157969A (ja) 眼科装置
CN210871523U (zh) 一种双目立体和激光共焦扫描眼底相机
JP6484466B2 (ja) レーザ治療装置
WO2020241699A1 (ja) 光干渉断層撮影装置及び光学モジュール
JP2019037833A (ja) レーザ治療装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20759083

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20759083

Country of ref document: EP

Kind code of ref document: A1