WO2022091430A1 - 眼科観察装置、その制御方法、プログラム、及び記録媒体 - Google Patents

眼科観察装置、その制御方法、プログラム、及び記録媒体 Download PDF

Info

Publication number
WO2022091430A1
WO2022091430A1 PCT/JP2020/045760 JP2020045760W WO2022091430A1 WO 2022091430 A1 WO2022091430 A1 WO 2022091430A1 JP 2020045760 W JP2020045760 W JP 2020045760W WO 2022091430 A1 WO2022091430 A1 WO 2022091430A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
optical system
eye
observation device
moving
Prior art date
Application number
PCT/JP2020/045760
Other languages
English (en)
French (fr)
Inventor
和広 山田
和宏 大森
康文 福間
Original Assignee
株式会社トプコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社トプコン filed Critical 株式会社トプコン
Priority to US18/033,815 priority Critical patent/US20230404400A1/en
Priority to JP2022558822A priority patent/JPWO2022091430A1/ja
Publication of WO2022091430A1 publication Critical patent/WO2022091430A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13Ophthalmic microscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/117Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for examining the anterior chamber or the anterior chamber angle, e.g. gonioscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/145Arrangements specially adapted for eye photography by video means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/15Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/15Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • A61B3/152Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for aligning
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0012Surgical microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08Accessories or related features not otherwise provided for
    • A61B2090/0807Indication means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Definitions

  • the present disclosure relates to an ophthalmologic observation device, a control method thereof, a program, and a recording medium.
  • the ophthalmic observation device is a device for observing the patient's eye (called an eye to be inspected). Ophthalmic observation is performed to grasp the condition of the eye to be inspected in various situations such as examination, surgery, and treatment.
  • ophthalmic observation devices provide users with magnified images obtained by objective lenses and variable magnification optical systems via eyepieces, but recent ophthalmic observation devices include objective lenses and variable magnification optics. Some are configured to capture an enlarged image obtained by the system with an image pickup element and display the obtained captured image (called a digital ophthalmic observation device). Types of digital ophthalmic observation devices include surgical microscopes, slit lamp microscopes, and fundus cameras. In addition, various ophthalmologic examination devices such as a reflex meter, a keratometer, a tonometer, a specular microscope, a wavefront analyzer, and a microperimeter are also provided with a function as a digital ophthalmologic observation device.
  • optical scanning scanning ophthalmic observation device
  • Such ophthalmic devices include scanning laser ophthalmoscopes (SLOs), optical coherence tomography (OCT) devices, and the like.
  • SLOs scanning laser ophthalmoscopes
  • OCT optical coherence tomography
  • the ophthalmologic observation device provides a moving image of the eye to be inspected to a user (for example, a medical worker such as a doctor).
  • the digital ophthalmic observation device is typically configured to perform moving images using infrared light and / or visible light as illumination light, and real-time moving image display of the obtained image.
  • a scanning ophthalmic observation device typically collects data by iterative optical scanning, reconstructs a real-time image based on a sequentially collected data set, and displays a real-time moving image of the sequentially reconstructed image. And is configured to run.
  • the real-time moving image provided in this way is called an observation image or a live image.
  • Patent Document 1 discloses a device to which various observation modes having different conditions such as an illumination angle, a magnification, and a light amount can be selectively applied.
  • Patent Document 2 discloses a device capable of linking a change of an illumination angle and a change of a light amount.
  • Coaxial lighting (0 degree lighting) is one of the typical observation modes.
  • Coaxial illumination is an observation mode in which illumination light is projected onto the eye to be inspected along the optical axis of the observation optical system (shooting optical system) (or along a direction tilted by a small angle with respect to the optical axis). It is used to obtain a transillumination image by diffuse reflection in.
  • the transillumination image is typically used to observe the opacity of intermediate translucent bodies (lens, vitreous, etc.) and the placement of intraocular lenses.
  • the range in which the fundus reflection of the illumination light returns to the optical system is limited, so it is necessary to adjust the position of the optical system so that a wider range can be observed brighter.
  • the position of the optical system was adjusted manually, so it took time and effort to search for the optimum position of the optical system. Also, there was no way to know if the optimal position was actually achieved. For example, even if the optical system was guided to the optimum position by manual operation, there was a possibility that a more suitable position existed, but there was no way to know it.
  • the optical system is placed in a suitable position to some extent, the success rate of surgery can be improved, the surgery time can be shortened, the ease of surgery can be improved, and the amount of illumination light can be reduced. Considering that, there is room for improvement. Even when an illumination method other than coaxial illumination is applied, the state of the observed image generally depends on the position of the optical system, so that there is a similar problem.
  • One object of the present disclosure is to provide a new technique for facilitating ophthalmologic observation.
  • Some exemplary embodiments are ophthalmologic observation devices for observing the eye to be inspected, wherein the moving image generator is configured to illuminate and photograph the eye to be inspected to generate a moving image, and the moving image.
  • a moving mechanism configured to move the image generation unit and a plurality of still images included in the moving image generated by the moving image generation unit moved by the moving mechanism are sequentially analyzed, and the subject is analyzed.
  • An analysis unit configured to sequentially detect images of a predetermined portion of optometry, and a configuration to control the movement mechanism based on changes in predetermined image parameters in the image sequentially detected by the analysis unit. It may include a first control unit and the like.
  • the first control unit is the moving image when the image parameter in the image sequentially detected by the analysis unit satisfies the first condition.
  • the movement mechanism may be controlled so as to stop the movement of the generation unit.
  • the image parameter may include luminance, the first condition being that the luminance is maximum and that the luminance is the first threshold. It may include at least one of the above.
  • the first control unit controls the moving image when the image parameters in the image sequentially detected by the analysis unit satisfy the second condition.
  • the movement mechanism may be controlled so as to start the movement of the image generation unit.
  • the image parameter may include brightness
  • the second condition may include that the brightness is less than or equal to the second threshold
  • the first control unit determines the moving direction of the moving image generation unit based on the change of the image parameter, and is based on the determined moving direction. It may be configured to control the movement mechanism.
  • the moving image generator may be configured to generate a moving image of the anterior segment of the eye to be inspected, the predetermined portion comprising a pupil. You can go out.
  • the moving image generator may be configured to generate a moving image of the posterior eye portion of the eye to be inspected, wherein the predetermined site is the optic disc. May include.
  • an ophthalmic observation device it is possible to enable and disable control of the moving mechanism based on changes in the image parameters executed by the first control unit. good.
  • the ophthalmologic observation apparatus has a notification unit configured to notify when the image parameter in the image sequentially detected by the analysis unit satisfies the third condition. Further may be included.
  • the ophthalmologic observation device may further include a response receiving unit that receives the user's response to the notification, and the first control unit is the response received by the response receiving unit. It may be configured to control the moving mechanism based on the above.
  • the ophthalmologic observation device is configured to determine whether or not to perform control of the movement mechanism based on changes in the image parameters performed by the first control unit. Parts may be further included.
  • the determination unit may be configured to make a determination based on the moving image generated by the moving image generation unit.
  • the determination unit determines whether or not the treatment for the eye to be inspected is performed based on the moving image generated by the moving image generation unit, and the treatment is performed. It may be configured to determine that the control of the moving mechanism is not executed when it is determined that the movement is being performed.
  • the ophthalmologic observation apparatus is notified when the optimum value of the image parameter obtained in the control of the movement mechanism based on the change of the image parameter satisfies the fourth condition.
  • a second control unit configured to perform at least one of an increase in the amount of illumination light by the moving image generation unit, an increase in the gain of the image pickup device of the moving image generation unit, and a change in the determination conditions regarding the image parameters. May further be included.
  • the ophthalmologic observation apparatus is based on the moving image generation unit, provided that the image parameters are included in a predetermined range after the control of the movement mechanism based on the change of the image parameters. It may further include a third control unit configured to reduce the amount of illumination light.
  • the image parameter may include at least one of luminance, contrast, sharpness, and color tone.
  • Some exemplary embodiments are methods of controlling an ophthalmologic observation device including an optical system and a processor for observing the eye to be inspected, the movement of the optical system and the moving image of the eye being inspected by the optical system. In parallel with the generation of The movement of the optical system is executed based on the change of a predetermined image parameter in the image detected in.
  • Some exemplary embodiments are programs that cause a computer to execute the method according to the exemplary embodiments.
  • Some exemplary embodiments are computer-readable non-temporary recording media in which the program according to the exemplary embodiments is recorded.
  • the ophthalmologic observation device according to the embodiment, the method for controlling the device, the program, and some exemplary embodiments of the recording medium will be described in detail with reference to the drawings. It is possible to combine the matters described in the documents cited in this specification and any known technique in an exemplary embodiment.
  • the technique according to the present disclosure is also combined with a product to which such a conventional technique is applied. This makes it possible to further improve the lighting performance.
  • the ophthalmologic observation device is used to grasp the condition of the eye to be inspected in medical practice such as examination, surgery, and treatment of the eye to be inspected.
  • An exemplary embodiment of the ophthalmologic observation device described below is a surgical microscope system, but the ophthalmic observation device is not limited to a surgical microscope system.
  • the ophthalmologic observation device may be any of a slit lamp microscope, a fundus camera, a reflex meter, a keratometer, a tonometer, a specular microscope, a wavefront analyzer, a microperimeter, an SLO, and an OCT device.
  • the system may include any one or more of these.
  • the ophthalmologic observation device may be any ophthalmology device having an observation function.
  • the target site for observation using the ophthalmologic observation device may be any site of the eye to be inspected, and may be any site of the anterior eye and / or any site of the posterior eye.
  • the observation target site of the anterior eye portion includes, for example, the cornea, the iris, the anterior chamber, the angle, the crystalline lens, the ciliary body, and the zonule of Zinn.
  • the observation target site of the posterior eye portion includes, for example, the retina, choroid, sclera, and vitreous body.
  • the observation target site is not limited to the eyeball tissue, and may be any site to be observed in ophthalmology (and / or other departments) such as the eyelid, meibomian gland, orbit.
  • the circuit configuration or processing circuit configuration is a general-purpose processor, a dedicated processor, an integrated circuit, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit) configured and / or programmed to perform at least a part of the disclosed functions. ), ASIC (Application Special Integrated Circuit), programmable logic device (for example, SPLD (Simple Program Digital Device), CPLD (Complex Program A processor is considered to be a processing circuit configuration or circuit configuration, including transistors and / or other circuit configurations.
  • circuit configurations, units, means, or similar terms are disclosed.
  • Hardware that performs at least a portion of the disclosed functionality, or hardware that is programmed to perform at least a portion of the disclosed functionality.
  • Hardware is the hardware disclosed herein. It may or may be known hardware programmed and / or configured to perform at least some of the described functions. Processors where the hardware can be considered as a type of circuit configuration. Where is the circuit configuration, unit, means, or similar terminology, a combination of hardware and software, which software is used to configure the hardware and / or processor.
  • ⁇ Ophthalmology observation device The configuration of the ophthalmologic observation device of the exemplary embodiment is shown in FIG.
  • the ophthalmologic observation device 1 (surgical microscope system) according to the embodiment includes an operating device 2, a display device 3, and a surgical microscope 10.
  • the operating microscope 10 may include at least one of an operating device 2 and a display device 3.
  • the display device 3 may not be included in the ophthalmologic observation device 1. That is, the display device 3 may be a peripheral device of the ophthalmologic observation device 1.
  • the operating device 2 includes an operating device and / or an input device.
  • the operating device 2 may include a button, a switch, a mouse, a keyboard, a trackball, an operating panel, a dial, and the like.
  • the operating device 2 includes a foot switch, similar to a general ophthalmologic operating microscope. Further, the operation may be performed by using voice recognition, line-of-sight input, or the like.
  • the display device 3 displays an image of the eye to be inspected acquired by the surgical microscope 10.
  • the display device 3 includes a display device such as a flat panel display. Further, the display device 3 may include various display devices such as a touch panel.
  • a typical display device 3 includes a large screen display device.
  • the display device 3 includes one or more display devices. When the display device 3 includes two or more display devices, for example, one may be a relatively large screen display device and the other one may be a relatively small screen display device. Further, a configuration may be adopted in which a plurality of display areas are provided on one display device to display a plurality of information.
  • the operating device 2 and the display device 3 do not have to be separate devices.
  • a device such as a touch panel in which an operation function and a display function are integrated may be used as the display device 3.
  • the operating device 2 includes the touch panel and a computer program.
  • the operation content for the operation device 2 is input to the processor (not shown) as an electric signal.
  • the graphical user interface (GUI) displayed on the display device 3 and the operation device 2 may be used to perform operations and information input.
  • the functions of the operating device 2 and the display device 3 may be realized by a touch screen.
  • the operating microscope 10 is used for observing the eyes (optometry) of a patient in the supine position.
  • the surgical microscope 10 photographs the eye to be inspected and generates digital image data.
  • the operating microscope 10 produces a moving image of the eye to be inspected.
  • the moving image (video) generated by the surgical microscope 10 is transmitted to and displayed on the display device 3 through a wired and / or wireless signal path.
  • the user can perform surgery while observing the eye to be inspected by the displayed image.
  • the surgical microscope 10 of some embodiments may be capable of observing through an eyepiece as in the past.
  • the surgical microscope 10 includes a communication device for transmitting and receiving electrical signals to and from the operating device 2.
  • the operation device 2 receives an operation by the user and generates an electric signal (operation signal) corresponding to the operation.
  • the operation signal is transmitted to the operating microscope 10 through a wired and / or wireless signal path.
  • the surgical microscope 10 executes a process corresponding to the received operation signal.
  • the optical axis direction of the objective lens is the z direction (for example, the vertical direction and the vertical direction at the time of surgery), and the predetermined direction orthogonal to the z direction is the x direction (for example, the horizontal direction at the time of surgery, the operator and the operator.
  • the direction perpendicular to both the z direction and the x direction is the y direction (for example, the horizontal direction at the time of surgery, the anterior-posterior direction for the operator, and the body axis direction for the patient).
  • observation optical system has a pair of left and right optical systems (optical systems capable of binocular observation)
  • observation optical system of other embodiments may have an optical system for monocular observation, and the configuration described below can be incorporated into such an embodiment.
  • FIG. 2 shows an example of the configuration of the optical system of the surgical microscope 10.
  • FIG. 2 shows a schematic top view (top view) of the optical system viewed from above and a schematic side view (side view) of the optical system viewed from the side in association with each other.
  • the illustration of the illumination optical system 30 arranged above the objective lens 20 is omitted in the top view.
  • the operating microscope 10 includes an objective lens 20, a dichroic mirror DM1, an illumination optical system 30, and an observation optical system 40.
  • the observation optical system 40 includes a zoom expander 50 and an image pickup camera 60.
  • the illumination optical system 30 or the observation optical system 40 comprises a dichroic mirror DM1.
  • the objective lens 20 is arranged so as to face the eye to be inspected.
  • the objective lens 20 is arranged so that its optical axis is along the z direction.
  • the objective lens 20 may include two or more lenses.
  • the dichroic mirror DM1 couples the optical path of the illumination optical system 30 and the optical path of the observation optical system 40.
  • the dichroic mirror DM1 is arranged between the illumination optical system 30 and the objective lens 20.
  • the dichroic mirror DM1 transmits the illumination light from the illumination optical system 30 and guides it to the eye to be inspected through the objective lens 20, and reflects the return light from the eye to be inspected incident through the objective lens 20 to observe the observation optical system. It leads to the image pickup camera 60 of 40.
  • the dichroic mirror DM1 coaxially couples the optical path of the illumination optical system 30 and the optical path of the observation optical system 40. That is, the optical axis of the illumination optical system 30 and the optical axis of the observation optical system 40 intersect in the dichroic mirror DM1.
  • the illumination optical system 30 includes an illumination optical system for the left eye (31L) and an illumination optical system for the right eye (31R)
  • the observation optical system 40 includes an observation optical system 40L for the left eye and an observation optical system 40R for the right eye.
  • the dichroic mirror DM1 coaxially couples the optical path of the left-eye illumination optical system (first illumination optical system 31L) and the optical path of the left-eye observation optical system 40L, and the right-eye illumination optical system.
  • the optical path of the (first illumination optical system 31R) and the optical path of the observation optical system 40R for the right eye are coaxially coupled.
  • the illumination optical system 30 is an optical system for illuminating the eye to be inspected via the objective lens 20.
  • the illumination optical system 30 may be configured to illuminate the eye to be inspected by any one of two or more illumination lights having different color temperatures.
  • the illumination optical system 30 projects illumination light having a specified color temperature onto the eye to be inspected under the control of the control unit (200) described later.
  • the illumination optical system 30 includes a first illumination optical system 31L and 31R and a second illumination optical system 32.
  • Each of the optical axis OL of the first illumination optical system 31L and the optical axis OR of the first illumination optical system 31R are arranged substantially coaxially with the optical axis of the objective lens 20.
  • coaxial illumination can be realized, and a transilluminated image using diffuse reflection at the fundus can be obtained.
  • the second illumination optical system 32 is arranged so that its optical axis OS is eccentric from the optical axis of the objective lens 20.
  • the deviation of the optical axis OS with respect to the optical axis of the objective lens 20 is larger than the deviation of the optical axes OL and OR with respect to the optical axis of the objective lens 20. It is arranged like this.
  • so-called "angled illumination (diagonal illumination)" can be realized, and the eye to be inspected can be observed binocularly while preventing ghosts from being mixed due to corneal reflexes and the like. Furthermore, it becomes possible to observe the unevenness of the site or tissue of the eye to be inspected in detail.
  • the first illumination optical system 31L includes a light source 31LA and a condenser lens 31LB.
  • the light source 31LA outputs, for example, illumination light having a wavelength in the visible region corresponding to a color temperature of 3000 K (Kelvin).
  • the illumination light output from the light source 31LA passes through the condenser lens 31LB, passes through the dichroic mirror DM1, passes through the objective lens 20, and is incident on the eye to be inspected.
  • the first illumination optical system 31R includes a light source 31RA and a condenser lens 31RB.
  • the light source 31RA also outputs illumination light having a wavelength in the visible region corresponding to, for example, a color temperature of 3000 K.
  • the illumination light output from the light source 31RA passes through the condenser lens 31RB, passes through the dichroic mirror DM1, passes through the objective lens 20, and is incident on the eye to be inspected.
  • the second illumination optical system 32 includes a light source 32A and a condenser lens 32B.
  • the light source 32A outputs, for example, illumination light having a wavelength in the visible region corresponding to a color temperature of 4000K to 6000K.
  • the illumination light output from the light source 32A passes through the condenser lens 32B, passes through the objective lens 20 without passing through the dichroic mirror DM1, and is incident on the eye to be inspected.
  • the color temperature of the illumination light from the first illumination optical system 31L and 31R is lower than the color temperature of the illumination light from the second illumination optical system 32.
  • each of the optical axes OL and OR is movable relative to the optical axis of the objective lens 20.
  • the direction of this relative movement is a direction that intersects the optical axis of the objective lens 20, and this relative movement is represented by a displacement vector in which at least one of the x component and the y component is not zero.
  • the optical axes OL and OR may be independently movable.
  • the optical axes OL and OR may be integrally movable.
  • the operating microscope 10 includes a moving mechanism (31d) that moves the first illumination optical systems 31L and 31R independently or integrally, and the moving mechanism causes the first illumination optical systems 31L and 31R to move independently.
  • the moving mechanism operates under the control of the control unit (200) described below.
  • the optical axis OS is movable relative to the optical axis of the objective lens 20.
  • the direction of this relative movement is a direction that intersects the optical axis of the objective lens 20, and this relative movement is represented by a displacement vector in which at least one of the x component and the y component is not zero.
  • the operating microscope 10 includes a moving mechanism (32d) for moving the second illumination optical system 32, and the moving mechanism moves the second illumination optical system 32 in a direction intersecting the optical axis of the objective lens 20. do.
  • the moving mechanism operates under the control of the control unit (200) described below.
  • the illumination optical system 30 is arranged at a position directly above the objective lens 20 (the position in the transmission direction of the dichroic mirror DM1), and the observation optical system 40 is located at the position in the reflection direction of the dichroic mirror DM1. Is placed.
  • the observation optical system 40 may be arranged so that the angle formed by the optical axis of the observation optical system 40 and the plane (xy plane) orthogonal to the optical axis of the objective lens 20 is ⁇ 20 degrees or less.
  • the observation optical system 40 having a longer optical path length than the illumination optical system 30 is generally arranged substantially parallel to the xy plane, so that the observation optical system is in the vertical direction in front of the operator's eyes. It does not obstruct the operator's field of view like a conventional operating microscope placed in. Therefore, the operator can easily see the screen of the display device 3 installed on the front surface. That is, the visibility of the displayed information (images and videos of the eye to be inspected and other various reference information) during surgery and the like is improved. Further, since the housing is not arranged in front of the operator's eyes, the operator does not feel oppressive and the burden on the operator is reduced.
  • the observation optical system 40 is an optical system for observing an image formed based on the return light of the illumination light incident from the eye to be inspected through the objective lens 20.
  • the observation optical system 40 provides an image to the image pickup device of the image pickup camera 60.
  • the observation optical system 40 includes an observation optical system 40L for the left eye and an observation optical system 40R for the right eye.
  • the configuration of the observation optical system 40L for the left eye is the same as the configuration of the observation optical system 40R for the right eye.
  • the observation optical system 40L for the left eye and the observation optical system 40R for the right eye may be able to change their optical arrangements independently of each other.
  • the zoom expander 50 is also called a beam expander, a variable beam expander, or the like.
  • the zoom expander 50 includes a zoom expander 50L for the left eye and a zoom expander 50R for the right eye.
  • the configuration of the left eye zoom expander 50L is the same as the configuration of the right eye zoom expander 50R.
  • the left eye zoom expander 50L and the right eye zoom expander 50R may be capable of changing their optical arrangements independently of each other.
  • the left eye zoom expander 50L includes a plurality of zoom lenses 51L, 52L and 53L. At least one of the plurality of zoom lenses 51L, 52L and 53L can be moved in the optical axis direction by a scaling mechanism (not shown).
  • the zoom expander 50R for the right eye includes a plurality of zoom lenses 51R, 52R and 53R, and at least one of the plurality of zoom lenses 51R, 52R, 53R is illuminated by a scaling mechanism (not shown). It can move in the axial direction.
  • the scaling mechanism may be configured to move each zoom lens of the left eye zoom expander 50L and each zoom lens of the right eye zoom expander 50R independently or integrally in the optical axis direction. As a result, the magnifying power when the eye to be inspected is photographed is changed.
  • the scaling mechanism operates under the control of the control unit (200) described below.
  • the image pickup camera 60 is a device that captures an image formed by the observation optical system 40 and generates digital image data, and is typically a digital camera (digital video camera).
  • the image pickup camera 60 includes a left eye image pickup camera 60L and a right eye image pickup camera 60R.
  • the configuration of the left-eye image pickup camera 60L is the same as the configuration of the right-eye image pickup camera 60R.
  • the left-eye image pickup camera 60L and the right-eye image pickup camera 60R can change their optical arrangements independently of each other.
  • the left eye image pickup camera 60L includes an image pickup lens 61L and an image pickup element 62L.
  • the image pickup lens 61L forms an image based on the return light that has passed through the left eye zoom expander 50L on the image pickup surface of the image pickup element 62L.
  • the image pickup device 62L is an area sensor, and may be typically a charge-coupled device (CCD) image sensor or a complementary metal oxide semiconductor (CMOS) image sensor.
  • CCD charge-coupled device
  • CMOS complementary metal oxide semiconductor
  • the image pickup camera 60R for the right eye includes an image pickup lens 61R and an image pickup element 62R.
  • the imaging lens 61R forms an image based on the return light that has passed through the zoom expander 50R for the right eye on the imaging surface of the imaging element 62L.
  • the image pickup device 62R is an area sensor, and may be typically a CCD image sensor or a CMOS image sensor.
  • the image sensor 62R operates under the control of the control unit (200) described later.
  • FIGS. 3 and 4 A configuration example of the processing system is shown in FIGS. 3 and 4. Any two or more of the plurality of configuration examples described below can be combined at least partially. The configuration of the processing system is not limited to these examples.
  • the control unit 200 controls each unit of the ophthalmologic observation device 1.
  • the control unit 200 includes a main control unit 201 and a storage unit 202.
  • the main control unit 201 includes a processor and controls each unit of the ophthalmologic observation device 1.
  • the processor can read and execute a program stored in the storage unit 202 or another storage device in order to realize the function according to the present embodiment, and also stores the program in the storage unit 202 or another storage device. It is possible to use (reference, processing, calculation, etc.) the data and information that have been created.
  • the main control unit 201 includes light sources 31LA, 31RA and 32A of the illumination optical system 30, image pickup elements 62L and 62R of the observation optical system 40, moving mechanisms 31d and 32d, scaling mechanisms 50Ld and 50Rd, an operating device 2, a display device 3, and the like. Can be controlled.
  • the control of the light source 31LA includes turning on and off the light source, adjusting the amount of light, adjusting the aperture, and the like.
  • the control of the light source 31RA includes turning on / off the light source, adjusting the amount of light, adjusting the aperture, and the like.
  • the main control unit 201 can exclusively control the light sources 31LA and 31RA.
  • the control of the light source 32A includes turning on / off the light source, adjusting the amount of light, adjusting the aperture, and the like.
  • the main control unit 201 can change the color temperature of the output illumination light by controlling this light source.
  • the control of the image sensor 62L includes exposure adjustment, gain adjustment, shooting rate adjustment, and the like.
  • the control of the image sensor 62R includes exposure adjustment, gain adjustment, shooting rate adjustment, and the like.
  • the main control unit 201 can control the image pickup devices 62L and 62R so that the shooting timings of the image pickup elements 62L and 62R match, or the difference between the shooting timings of the two is within a predetermined time. Further, the main control unit 201 can control the reading of the digital data obtained by the image pickup devices 62L and 62R.
  • the moving mechanism 31d moves the light sources 31LA and 31RA independently or integrally in a direction intersecting the optical axis of the objective lens 20.
  • the main control unit 201 can move the optical axes OL and OR independently or integrally with respect to the optical axis of the objective lens 20.
  • the moving mechanism 32d moves the light source 32A in a direction intersecting the optical axis of the objective lens 20.
  • the main control unit 201 can move the optical axis OS with respect to the optical axis of the objective lens 20 by controlling the moving mechanism 32d.
  • the moving mechanism 70 moves the surgical microscope 10.
  • the moving mechanism 70 is configured to integrally integrate at least a part of the illumination optical system 30 with the observation optical system 40. Thereby, while maintaining the relative positional relationship between at least a part of the illumination optical system 30 and the observation optical system 40, the relative positions of at least a part of the illumination optical system 30 and the observation optical system 40 with respect to the eye to be inspected are changed. Can be done.
  • the moving mechanism 70 is configured to integrally move the first illumination optical systems 31L and 31R and the observation optical system 40. This makes it possible to change the relative positions of the first illumination optical systems 31L and 31R and the observation optical system 40 with respect to the eye to be inspected while maintaining the state of coaxial illumination.
  • the moving mechanism 70 is configured to integrally move the second illumination optical system 32 and the observation optical system 40. This makes it possible to change the relative positions of the second illumination optical system 32 and the observation optical system 40 with respect to the eye to be inspected while maintaining the illumination angle of the oblique illumination.
  • the moving mechanism 70 is configured to integrally move the first illumination optical systems 31L and 31R and the second illumination optical system 32 and the observation optical system 40. This makes it possible to change the relative positions of the illumination optical system 30 and the observation optical system 40 with respect to the eye to be inspected while maintaining both the state of coaxial illumination and the illumination angle of oblique illumination.
  • the moving mechanism 70 operates under the control of the control unit 200.
  • the main control unit 201 can collectively control at least two of the moving mechanisms 31d, 32d and 70.
  • the scaling mechanism 50Ld moves at least one of a plurality of zoom lenses 51L to 53L of the left eye zoom expander 50L in the optical axis direction.
  • the main control unit 201 can change the magnification of the observation optical system for the left eye 40L by controlling the scaling mechanism 50Ld.
  • the scaling mechanism 50Rd moves at least one of the plurality of zoom lenses 51R to 53R of the zoom expander 50R for the right eye in the optical axis direction.
  • the main control unit 201 can change the magnifying power of the observation optical system 40R for the right eye by controlling the scaling mechanism 50Rd.
  • Controls for the operating device 2 include operation permission control, operation prohibition control, operation signal transmission control and / or reception control from the operation device 2.
  • the main control unit 201 receives the operation signal generated by the operation device 2 and executes the control corresponding to the received signal.
  • the control for the display device 3 includes information display control and the like.
  • the main control unit 201 can display an image based on the digital image data generated by the image pickup devices 62L and 62R on the display device 3.
  • a moving image (video) based on digital image data (video signal) generated by the image pickup devices 62L and 62R can be displayed on the display device 3, and a still image (still image) included in the moving image (typically).
  • the frame) can be displayed on the display device 3.
  • the main control unit 201 can display an image (moving image, still image, etc.) obtained by processing the digital image data generated by the image pickup elements 62L and 62R on the display device 3.
  • the main control unit 201 can display the display device 3 with arbitrary information generated by the ophthalmology observation device 1 or arbitrary information acquired from the outside by the ophthalmology observation device 1.
  • the main control unit 201 creates an image for the left eye from the digital image data generated by the image pickup element 62L and also creates an image for the right eye from the digital image data generated by the image pickup element 62R.
  • the created left-eye image and right-eye image can be displayed on the display device 3 in a stereoscopic manner.
  • the main control unit 201 can create a pair of left and right parallax images from the left eye image and the right eye image, and display the pair of parallax images on the display device 3.
  • a user (operator or the like) can recognize a pair of parallax images as a stereoscopic image by using a known stereoscopic visual technique.
  • the stereoscopic method applicable to this embodiment may be arbitrary, for example, a stereoscopic method with the naked eye, a stereoscopic method using an auxiliary device (polarized glasses, etc.), an image for the left eye, and an image for the right eye.
  • a stereoscopic method using processing image composition, rendering, etc.
  • a stereoscopic method for displaying a pair of parallax images at the same time a stereoscopic technique for switching and displaying a pair of parallax images, and a combination of two or more of these. It may be one of the stereoscopic viewing methods.
  • the data processing unit 210 executes various data processing. Some examples of the processes that can be executed by the data processing unit 210 will be described below.
  • the data processing unit 210 (each element thereof) includes a processor that operates according to predetermined software (program), and is realized by cooperation between hardware and software.
  • FIG. 4 shows a configuration example of the data processing unit 210 (and related elements).
  • the data processing unit 210A shown in FIG. 4 is an example of the data processing unit 210 of FIG. 3, and includes an analysis unit 211.
  • the control unit 200 of this embodiment controls the movement mechanism 70 for integrally moving the illumination optical system 30 and the observation optical system 40 (movement control), and shoots a moving image of the eye to be inspected (illumination and shooting).
  • the control (shooting control) of the illumination optical system 30 and the observation optical system 40 can be executed in parallel.
  • the mode of this parallel control may be arbitrary, for example, movement control and shooting control may be performed at the same time, movement control and shooting control may be performed alternately, and simultaneous control and alternating control may be performed. It may be a combination.
  • At least a part of the moving image (frame group, still image group) acquired by such parallel control is input to the analysis unit 211.
  • all the still images acquired by the parallel control may be input to the analysis unit 211, or only the still images selected by the thinning process or the like may be input to the analysis unit 211.
  • the still image selection process is executed by the control unit 200 or the data processing unit 210A.
  • the analysis unit 211 may perform the still image selection process.
  • the parallel control and the processing by the analysis unit 211 are executed sequentially and in real time, the processing load can be reduced by adding the still image selection processing.
  • the processing load reduction method is not limited to the still image selection process. Further, when the ophthalmologic observation device 1 has sufficient processing resources, it is not necessary to adopt the processing load reduction method.
  • the analysis unit 211 sequentially analyzes a plurality of still images included in the moving image generated by the imaging control executed in parallel with the movement control, and sequentially detects an image of a predetermined part of the eye to be inspected. It is configured.
  • the part of the eye to be inspected detected by the analysis unit 211 may be arbitrary.
  • the analysis unit 211 may use, for example, the pupil (the whole or a characteristic part such as the pupil edge, the center of the pupil, the center of the pupil), the cornea (the whole, or the corneal ring).
  • Corneal margin corneal center, characteristic site such as corneal apex), iris (whole or characteristic site such as iris inner edge, iris outer edge, iris pattern), anterior chamber (whole or anterior boundary, posterior boundary, etc.) Characteristic site), cornea (whole, peripheral site, etc.), lens (whole or characteristic site such as lens sac, anterior sac, posterior sac, crystal nucleus), hairy body, chin zonule, blood vessel, and lesion It may be configured to detect any one of them.
  • the analysis unit 211 may, for example, include an optic disc, macula, blood vessel, retina (whole, surface, or one or more subtissues), choroid (whole, anterior surface). , Posterior or one or more subtissues), sclera (whole, anterior, posterior, or one or more subtissues), vitreous (whole, opaque, suspended matter, exfoliated tissue, etc.), and lesions It may be configured to detect any one of them.
  • the analysis unit 211 may be configured to detect an arbitrary site (tissue) such as an eyelid, a meibomian gland, or an orbit.
  • the site detected by the analysis unit 211 may be determined according to the lighting method, the surgical site, the surgical method, and the like.
  • the analysis unit 211 can detect an image of a predetermined part of the eye to be inspected from a still image by using an arbitrary region extraction method. For example, when detecting an image of a portion characterized by luminance, the analysis unit 211 may be configured to detect an image of a predetermined portion of the eye to be inspected from a still image by using a luminance thresholding process such as binarization. .. When detecting an image of a portion having a characteristic shape, the analysis unit 211 may be configured to detect an image of a predetermined portion of the eye to be inspected from a still image by using shape analysis processing such as pattern matching.
  • shape analysis processing such as pattern matching.
  • the analysis unit 211 may be configured to detect an image of a predetermined portion of the eye to be inspected from a still image by using a color analysis process such as feature color extraction. Further, the analysis unit 211 may be configured to detect the image of the predetermined portion of the eye to be inspected by applying the segmentation for specifying the image of the predetermined portion of the eye to be inspected to the still image.
  • segmentation is a process of identifying a partial area in an image.
  • the segmentation may include any known image processing technique, and may include, for example, segmentation utilizing image processing such as edge detection and / or segmentation utilizing machine learning (eg, deep learning). ..
  • the control unit 200 controls the movement mechanism 70 based on changes in predetermined image parameters in the image of a predetermined portion sequentially detected from the moving image by the analysis unit 211 (first control). Department).
  • the moving direction of the illumination optical system 30 and the observation optical system 40 under the control of the moving mechanism 70 may be arbitrary, and may be any one of the vertical direction (Z direction), the horizontal direction (X direction), and the front-back direction (Y direction). It may be in one or more directions.
  • the ophthalmic observation device 1 to adjust the position of the surgical microscope 10 according to the change in the image parameters according to the change in the position of the surgical microscope 10 with respect to the eye to be inspected.
  • the range in which the fundus reflection of the illumination light returns to the optical system is limited, so it is necessary to adjust the position of the optical system so that a wider range can be observed brighter.
  • the position of the optical system was adjusted manually, so it took time and effort to search for the optimum position of the optical system.
  • the type of image parameter referred to by the control unit 200 (and the data processing unit 210A) may be arbitrary.
  • the image parameter may be at least one of luminance, contrast, sharpness, and color tone.
  • the control unit 200 determines the illumination optical system 30 and the observation optical system 40 when the image parameters in the image of a predetermined portion sequentially detected from the moving image by the analysis unit 211 satisfy the first condition.
  • the moving mechanism 70 may be configured to control the movement of the moving mechanism 70 so as to stop the movement of the moving mechanism 70.
  • the control unit 200 (and the data processing unit 210A) performs illumination optics when the brightness (or contrast or sharpness) of the image of a predetermined portion sequentially detected from the moving image by the analysis unit 211 becomes maximum.
  • the movement mechanism 70 may be configured to control the movement of the system 30 and the observation optical system 40 so as to stop the movement.
  • control unit 200 when the brightness (or contrast or sharpness) of the image of a predetermined portion sequentially detected from the moving image by the analysis unit 211 becomes equal to or higher than a predetermined threshold value.
  • the moving mechanism 70 may be controlled so as to stop the movement of the illumination optical system 30 and the observation optical system 40.
  • control unit 200 observes the illumination optical system 30 and the observation when the color tone of the image of the predetermined portion sequentially detected from the moving image by the analysis unit 211 is included in the predetermined allowable range. It may be configured to control the movement mechanism 70 so as to stop the movement of the optical system 40.
  • the threshold value or range in the first condition may be fixed or variable.
  • the control unit 200 determines the illumination optical system 30 and the observation optical system 40 when the image parameters in the image of a predetermined portion sequentially detected from the moving image by the analysis unit 211 satisfy the second condition. It may be configured to control the movement mechanism 70 so as to start the movement of the. For example, the control unit 200 (and the data processing unit 210A) when the brightness (or contrast or sharpness) of the image of a predetermined portion sequentially detected from the moving image by the analysis unit 211 becomes less than a predetermined threshold value. , The moving mechanism 70 may be configured to start the movement of the illumination optical system 30 and the observation optical system 40.
  • control unit 200 determines the illumination optical system 30 and the observation optics when the color tone of the image of the predetermined portion sequentially detected from the moving image by the analysis unit 211 deviates from the predetermined allowable range. It may be configured to control the movement mechanism 70 so as to start the movement of the system 40.
  • the threshold value or range in the second condition may be fixed or variable. Further, the second condition may be the same as or different from the first condition.
  • the movement of the illumination optical system 30 and the observation optical system 40 can be automatically started in response to the deterioration of the image parameters, and the optimum position of the optical system can be searched for, so that the quality of the observation image is maintained. It becomes possible to do.
  • the positional relationship between the eye to be inspected and the operating microscope 10 may change due to eye movements or the like, and the image parameters may deteriorate.
  • Deterioration of image parameters can be automatically detected and the search for the optimum position of the optical system can be restarted, which has the effect of facilitating optometry observation.
  • the control unit 200 (and the data processing unit 210A) can determine the moving direction of the illumination optical system 30 and the observation optical system 40 based on the change of the image parameter. For example, the control unit 200 (and the data processing unit 210A) determines whether or not the change in the image parameters when the illumination optical system 30 and the observation optical system 40 move in a certain direction is a suitable change, and determines whether or not the change in the image parameters is a suitable change. If the change in is a suitable change, the direction is determined as the moving direction, and if the change in the image parameter is not a suitable change, the direction other than the direction (for example, the opposite direction of the direction) is set as the moving direction. decide.
  • control unit 200 determines whether or not the change in the image parameters when the illumination optical system 30 and the observation optical system 40 move in a certain direction is a suitable change, and determines whether or not the change in the image parameters is a suitable change. If the change in is a suitable change, the direction is determined as the moving direction, and if the change in the image parameter is not a suitable change, the direction other than the direction (for example, the opposite direction of the direction) is set as the moving direction. decide.
  • the control unit 200 controls the movement mechanism 70 based on the determined movement direction.
  • control unit 200 continues to move in the direction when the brightness increases with the movement of the illumination optical system 30 and the observation optical system 40 in a certain direction. If the brightness decreases with the movement, it is possible to switch to the movement in the opposite direction.
  • the moving direction of the surgical microscope 10 can be automatically determined according to the change in the image parameter, which has the effect of facilitating ophthalmic observation.
  • the ophthalmic observation device 1 may be configured so that such a control function can be turned on / off. For example, if it is desired to avoid the surgical microscope 10 from moving automatically (that is, at a timing not intended by the user), the control function can be disabled (turned off). Switching between activation / invalidation may be performed by, for example, an operation using the operating device 2 (foot switch). Further, the ophthalmologic observation device 1 may be configured so that the activation / invalidation can be switched by using voice recognition or the like.
  • the ophthalmologic observation device 1 moves the surgical microscope 10, a means for notifying the deterioration of the image parameter (for example, the brightness of the image of the pupil has decreased).
  • a means for notifying the start, a means for asking the user for permission to move the surgical microscope 10, and the like may be provided.
  • the automatic movement function can be stopped.
  • the automatic movement function can be stopped.
  • the method of notification may be arbitrary, and may be, for example, display of information on the display device 3, voice output, lighting of a light source, or the like.
  • the condition that triggers the notification is arbitrary, and may be the same as or different from the first condition and / or the second condition described above, for example.
  • the ophthalmology observation device 1 can receive a user's response to a notification such as deterioration of image parameters.
  • the user's response is received by the operation device 2, the voice recognition device, or the like (response reception unit).
  • the control unit 200 (and the data processing unit 210A) can move the illumination optical system 30 and the observation optical system 40 by controlling the movement mechanism 70 based on the user's response received by the response reception unit.
  • the ophthalmic observation device 1 automatically detects that the third condition is satisfied (for example, the image parameter has deteriorated), notifies it, receives a user's response corresponding to the condition, and performs an operation.
  • the microscope 10 can be moved. Therefore, the user can recognize that the third condition is satisfied and instruct the start of the search for the optimum positions of the illumination optical system 30 and the observation optical system 40.
  • the data processing unit 210B shown in FIG. 5 is an example of the data processing unit 210 of FIG. 3, and includes a determination unit 212 in addition to the analysis unit 211 of the data processing unit 210A of FIG. Unless otherwise specified, the data processing unit 21B can execute the same processing as the data processing unit 210A.
  • the determination unit 212 is configured to determine whether or not to execute the processing executed by the control unit 200 (and the data processing unit 210B) (that is, the control of the movement mechanism 70 based on the change in the image parameter). For example, the determination unit 212 is configured to make a determination based on a moving image generated by the surgical microscope 10. For example, the determination unit 212 determines whether or not the treatment for the eye to be inspected is performed based on the moving image generated by the surgical microscope 10, and when it is determined that the treatment is being performed, the determination unit 212 moves based on the change in the image parameter. It may be configured to determine that the control of the mechanism 70 is not executed.
  • the ophthalmologic observation device 1 may include means for automatically determining whether or not the surgical microscope 10 can be moved by analyzing the observation image obtained by the surgical microscope 10. For example, the movement of the surgical microscope 10 may be prohibited while the user is performing the procedure for the eye to be inspected. For example, the ophthalmologic observation device 1 determines whether or not an instrument (surgical instrument or the like) is reflected in the observation image by the determination unit 212, and if it is determined that the instrument is reflected in the observation image, the surgical microscope 10 is moved. It may be configured to be prohibited.
  • an instrument surgical instrument or the like
  • the ophthalmologic observation device 1 determines whether or not the instrument moved to the observation image (moving image) is moving by the determination unit 212, and if it is determined that the instrument shown in the observation image is moving, it is for surgery. It may be configured to prohibit the movement of the microscope 10.
  • the ophthalmologic observation device 1 may have the following functions (second control unit). First, the ophthalmology observation device 1 (for example, the data processing unit 210) can determine the optimum value of the image parameter by controlling the movement mechanism 70 based on the change of the image parameter, for example. Next, the ophthalmology observation device 1 (for example, the data processing unit 210) can determine whether or not this optimum value satisfies the fourth condition.
  • the ophthalmology observation device 1 for example, the data processing unit 210 can determine whether or not this optimum value satisfies the fourth condition.
  • the ophthalmic observation device 1 When it is determined that the optimum value of the image parameter satisfies the fourth condition, the ophthalmic observation device 1 (for example, the control unit 200) is notified, an increase in the amount of illumination light by the illumination optical system 30, and an image pickup element of the observation optical system 40. At least one of the increase in the gain of the image and the change of the determination condition regarding the image parameter can be executed. A specific example of such a function will be described. First, the ophthalmology observation device 1 obtains the maximum luminance value by sequentially detecting the luminance value of the pupil image while taking a moving image while moving the illumination optical system 30 and the observation optical system 40.
  • This maximum luminance value is an example of the optimum value of the image parameter, and is the maximum luminance value obtained in the search for the optimum position of the optical system.
  • the ophthalmology observation device 1 compares the maximum luminance value with the threshold value of the first condition described above, and determines whether the maximum luminance value is less than the threshold value. In this example, the fact that the maximum luminance value is less than the threshold value corresponds to satisfying the fourth condition.
  • the ophthalmic observation device 1 determines the determination conditions regarding the increase in the amount of illumination light by the illumination optical system 30, the increase in the gain of the image pickup device of the observation optical system 40, and the image parameters. At least one of the changes can be made.
  • the notification informs the user that the pupil image (transillumination image) having sufficient brightness cannot be obtained by the automatic search for the position of the optical system, and the user who recognizes this can take the desired action. ..
  • Both the increase in the amount of illumination light and the increase in the gain contribute to the increase in the brightness of the pupil image (transillumination image).
  • the change of the judgment condition regarding the image parameter is, for example, to lower the threshold value of the first condition, and the medical practice (surgery, etc.) can be continued even if the brightness of the pupil image (transillumination image) is slightly insufficient. It can be said that it is a priority.
  • the ophthalmologic observation device 1 may select and execute a process from among notification, increase in illumination light, increase in gain, and change in determination conditions regarding image parameters. Further, it may be configured to execute any of notification, increase in illumination light, increase in gain, and change in determination conditions regarding image parameters by default. Further, it may be executed in combination of two or more of notification, increase in illumination light, increase in gain, and change in determination conditions regarding image parameters. For example, when the brightness equal to or higher than the threshold value of the first condition is not obtained even if the illumination optical system 30 and the observation optical system 40 are moved, the ophthalmic observation device 1 can first perform notification. This allows the user to know that the automatic search for the position of the optical system did not obtain a transilluminated image with sufficient brightness.
  • the ophthalmologic observation device 1 increases the amount of light of the light sources 31LA and 31RA (for example, in response to a user's instruction or automatically).
  • the ophthalmologic observation device 1 re-executes the automatic search for the position of the optical system. If the brightness of the transillumination image is insufficient even in this automatic search, the ophthalmologic observation device 1 increases the gains of the image pickup elements 62L and 62R of the observation optical system 40.
  • the ophthalmologic observation device 1 re-executes the automatic search for the position of the optical system. If the brightness of the transillumination image is insufficient even in this automatic search, the ophthalmologic observation device 1 lowers the threshold value of the first condition by a predetermined value.
  • the ophthalmologic observation device 1 re-executes the automatic search for the position of the optical system. If the brightness of the transillumination image is insufficient even in this automatic search, the ophthalmologic observation device 1 performs notification again. This notification informs the user that a transillumination image with sufficient brightness cannot be obtained by a series of automatic searches, and prompts the shift to manual operation.
  • the manual operation may include, for example, position adjustment of the illumination optical system 30 and the observation optical system 40, adjustment of the illumination light amount, adjustment of the gain, adjustment of the threshold value of the first condition, and the like.
  • the control unit 200 of the ophthalmologic observation device 1 may reduce the amount of illumination light by the illumination optical system 30 on condition that the image parameters are included in a predetermined range.
  • This predetermined range is, for example, a range equal to or larger than the threshold value of the first condition.
  • the amount of illumination light can be reduced and the burden on the subject can be reduced on condition that an image of good quality can be obtained. It will be possible.
  • the ophthalmologic observation device 1 can perform the same processing as in the case of the anterior eye region observation described above.
  • the ophthalmology observation device 1 generates a moving image by a surgical microscope 10 while moving the illumination optical system 30 and the observation optical system 40 by the moving mechanism 70, and analyzes a plurality of still images included in the moving image by the analysis unit 211.
  • the moving mechanism 70 sequentially detects an image of a predetermined part of the posterior segment of the eye (for example, the optic disc), and based on a change in a predetermined image parameter (for example, brightness) in the sequentially detected image. Can be controlled.
  • a predetermined image parameter for example, brightness
  • FIG. 6 shows an example of the operation and usage of the ophthalmic observation device 1.
  • the case of coaxial lighting will be described, but it is possible to carry out the same operation and usage pattern in the case of other lighting methods (for example, oblique lighting) or in the case of rear eye observation. ..
  • the user selects the coaxial illumination by performing a predetermined operation using the operation device 2, and starts the generation and display of the live image of the eye to be inspected (anterior eye portion) by the ophthalmologic observation device 1.
  • the operating microscope 10 generates digital image data (video) of the eye to be inspected by the image pickup elements 62L and 62R while illuminating the eye to be inspected by the illumination optical system 30 (first illumination optical system 31L and 31R). ..
  • the generated video (live image 301) is displayed on the display device 3 in real time (see FIG. 7A). That is, the moving image acquired by the surgical microscope 10 is displayed as a live image (observation image) on the display device 3. The user can perform surgery while observing this live image.
  • the data processing unit 210 detects the center of the pupil from the live image (frame thereof) whose generation is started in step S1.
  • the data processing unit 210 first applies binarization or segmentation to detect the corneal ring portion 302 (see FIG. 7B).
  • the data processing unit 210 may detect the pupil edge 303.
  • detecting the pupil edge 303 for example, a low-luminance region corresponding to the pupil is searched, the low-luminance region is arranged in the center of the frame, and then an elliptical approximation is applied to this low-luminance region. You may do it.
  • the data processing unit 210 identifies a position (pixel) 304 corresponding to the center of the pupil based on the detected corneal ring portion 302 (see FIG. 7C). For example, the data processing unit 210 obtains an approximate ellipse (approximate circle) of the detected corneal ring portion 302, and identifies the center of the approximate ellipse. The identification of the center of the approximate ellipse is performed, for example, by a known geometric method.
  • the ophthalmologic observation device 1 aligns the optical axis of the surgical microscope 10 (illumination optical system 30, observation optical system 40) with the pupil center 304 identified in step S2. For example, the ophthalmologic observation device 1 performs registration between the newly acquired frame and the frame used for detecting the pupil center 304, and based on the result of this registration, the position corresponding to the pupil center in the new frame is determined. It is specified, and the illumination optical system 30 and the observation optical system 40 are moved so that the optical axis is arranged at the position corresponding to the center of the pupil.
  • the user may manually arrange the optical axis of the surgical microscope 10 at the center of the pupil.
  • the ophthalmologic observation device 1 (analysis unit 211) detects the pupil image from the live image after the optical axis of the surgical microscope 10 is moved to the pupil center 304 by step S3.
  • the ophthalmology observation device 1 calculates the brightness of the pupil image detected in step S4.
  • the data processing unit 210 for example, the analysis unit 211 divides the pupil image (and its vicinity) into a plurality of partial regions, and represents the luminance of each partial region.
  • the brightness of the pupil image is determined based on the process of obtaining a value (for example, an arbitrary statistical value such as an average value, a maximum value, a mode value, a median value, etc.) and the distribution of representative values of the brightness obtained for a plurality of partial regions. Execute the process to determine.
  • the process of determining the brightness of the pupil image from the distribution may include arbitrary statistical processing, for example, calculation of the average, specification of the maximum value, specification of the mode value, specification of the median value, and the like.
  • the data processing unit 210 (for example, the analysis unit 211) determines a predetermined value from the brightness of a plurality of pixels (all pixels or selected pixel groups) in the pupil image.
  • the brightness of the pupil image can be determined by a statistical method.
  • the ophthalmologic observation device 1 determines whether the brightness of the pupil image calculated in step S5 is equal to or higher than a predetermined threshold value, and the brightness of the pupil image is the maximum value (). It is determined whether it is a maximum value). It should be noted that only one of these determination processes may be executed.
  • the threshold value determination is performed by comparing the brightness of the pupil image with the threshold value. This threshold value may be, for example, the threshold value of the first condition described above.
  • the maximum value determination is performed by monitoring the change in luminance with the movement of the illumination optical system 30 and the observation optical system 40.
  • the illumination optical system 30 and the observation optical system 40 are the positions where the luminance becomes maximum (that is, the luminance is high). The positions of the maximum illumination optical system 30 and the observation optical system 40 can be obtained).
  • step S5 When it is determined that the luminance of the pupil image calculated in step S5 is equal to or greater than the threshold value and the luminance of the pupil image is determined to be the maximum value (S6: Yes), the operation proceeds to step S8.
  • step S7 When it is determined that the luminance of the pupil image calculated in step S5 is less than the threshold value and / or when it is determined that the luminance of the pupil image is not the maximum value (S6: No), the operation is in step S7. Transition.
  • step S7 Move the optical system
  • the ophthalmic observation device 1 control unit 200, moving mechanism 70 moves the illumination optical system 30 and the observation optical system 40.
  • the moving direction may be arbitrary, and may be one or more of the vertical direction (Z direction), the horizontal direction (X direction), and the front-back direction (Y direction). Further, as described above, the moving direction may be determined based on the change in brightness.
  • the movement amount (movement distance) may be set in advance or may be determined based on the change in brightness.
  • step S8 End the movement of the optical system
  • the ophthalmic observation device 1 controls the movement of the illumination optical system 30 and the observation optical system 40 (end).
  • the illumination optical system 30 and the observation optical system 40 are arranged at positions where the brightness of the pupil image is equal to or greater than the threshold value and becomes maximum. That is, a transilluminated image having a brightness equal to or higher than the threshold value and having the maximum brightness can be obtained.
  • any of the above items can be combined with the operation and usage pattern of this example.
  • the illumination optical system 30 and the observation optical system 40 are moved again to search for a position where the brightness of the pupil image is maximized.
  • the illumination optical system 30 and the observation optical system 40 can be arranged at that position.
  • processing such as notification, an increase in the amount of illumination light, an increase in the gain of the image pickup element, and a decrease in the threshold value is executed. Can be done.
  • the amount of illumination light is reduced in the range where the brightness of the pupil image is equal to or more than the specified value.
  • the burden on the examiner may be reduced.
  • An exemplary embodiment (eg, the ophthalmic observation device 1 described above) provides a method of controlling the ophthalmic observation device. It is possible to combine any matter relating to the ophthalmologic observation apparatus 1 of the above embodiment with the exemplary method described below.
  • the ophthalmologic observation apparatus controlled by the method of the exemplary embodiment includes an optical system for observing the eye to be inspected (for example, the illumination optical system 30 and the observation optical system 40 moved by the moving mechanism 70) and a processor (for example, the observation optical system 40). It includes a control unit 200 and a data processing unit 210).
  • the movement of the optical system and the generation of the moving image of the eye to be inspected by the optical system are performed in parallel.
  • the processor is made to perform sequential analysis of a plurality of still images included in the moving image to sequentially detect an image of a predetermined part of the eye to be inspected.
  • the method of the exemplary embodiment causes the processor to perform movement of the optical system based on changes in predetermined image parameters in a sequentially detected image of a predetermined portion.
  • the same operation and effect as the ophthalmologic observation device 1 of the above embodiment can be obtained. Further, by combining the matters relating to the ophthalmic observation device 1 of the above embodiment with the method of the exemplary embodiment, the method obtained as a result can exert an action and an effect corresponding to the combined matters.
  • An exemplary embodiment provides a program that causes a computer to perform the method of the exemplary embodiment described above. It is possible to combine the items related to the ophthalmologic observation device 1 of the above embodiment with such a program.
  • the same actions and effects as those of the ophthalmologic observation device 1 of the above embodiment can be obtained. Further, by combining the items related to the ophthalmic observation device 1 of the above embodiment with the program, the program obtained as a result can exert the action and effect corresponding to the combined items.
  • An exemplary embodiment provides a computer-readable non-temporary recording medium on which the program described above is recorded. It is possible to combine such a recording medium with the matters relating to the ophthalmologic observation device 1 of the above embodiment.
  • the form of the non-temporary recording medium may be arbitrary, and examples thereof include magnetic disks, optical disks, magneto-optical disks, and semiconductor memories.
  • the same actions and effects as those of the ophthalmologic observation device 1 of the above embodiment can be obtained. Further, by combining the items related to the ophthalmic observation device 1 of the above embodiment with the recording medium, the recording medium obtained as a result can exert the action and effect corresponding to the combined items.
  • the observation environment is automatically optimized by automatically determining the position where the return intensity of the fundus reflex of coaxial illumination is good (greater than or equal to the threshold value, maximum) and moving the microscope optical system. Can be planned. Further, by performing the same operation when the subject or the subject's eye moves, a good observation environment can be maintained. The same operation can be performed with a lighting method other than coaxial lighting (for example, diagonal lighting), but preset information for each user may be prepared when the user's preference is reflected. good.
  • the present disclosure as long as the operation is functioning correctly, the user can always observe the eye under the optimum lighting condition, improving the success rate of surgery, shortening the surgery time, and reducing the amount of illumination light. And so on. This reduces the burden on the patient.
  • a suitable transillumination image can be obtained in coaxial illumination, so that lens emulsification suction work, posterior capsule polishing work, and the like can be appropriately and efficiently performed.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Microscoopes, Condenser (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

例示的な実施形態に係る眼科観察装置(1)は、動画像生成部(30、40)と、移動機構(70)と、解析部(211)と、第1の制御部(200)とを含む。動画像生成部は、被検眼を照明及び撮影して動画像を生成するように構成されている。移動機構は、動画像生成部を移動するように構成されている。解析部は、移動機構により移動される動画像生成部によって生成される動画像に含まれる複数の静止画像を逐次に解析して、被検眼の所定部位の像を逐次に検出するように構成されている。第1の制御部は、解析部により逐次に検出される像における所定の画像パラメータの変化に基づいて移動機構を制御するように構成されている。

Description

眼科観察装置、その制御方法、プログラム、及び記録媒体
(関連出願の相互参照)
 本出願は、2020年10月27日に出願された「APPARATUS AND METHOD FOR OPHTHALMIC OBSERVATION(眼科観察のための装置及び方法)」と題する米国仮特許出願第63/106,087号に基づく優先権を主張するものであり、その全体を参照により本明細書に援用する。
 本開示は、眼科観察装置、その制御方法、プログラム、及び記録媒体に関する。
 眼科観察装置は、患者の眼(被検眼と呼ぶ)を観察するための装置である。眼科観察は、検査、手術、治療などの様々な場面において被検眼の状態を把握するために行われる。
 旧来の眼科観察装置は、対物レンズや変倍光学系により得られた拡大像を接眼レンズを介してユーザーに提供するものであったが、近年の眼科観察装置には、対物レンズや変倍光学系により得られた拡大像を撮像素子で撮影し、得られた撮影像を表示するように構成されたものがある(デジタル眼科観察装置と呼ぶ)。デジタル眼科観察装置の種類としては、手術用顕微鏡、スリットランプ顕微鏡、眼底カメラなどがある。また、レフラクトメーター、ケラトメーター、眼圧計、スペキュラーマイクロスコープ、ウェーブフロントアナライザー、マイクロペリメーターといった各種の眼科検査装置にも、デジタル眼科観察装置としての機能が設けられている。
 更に、近年の眼科観察装置には、光走査を利用したものもある(走査型眼科観察装置)。そのような眼科装置として、走査型レーザー検眼鏡(SLO)、光コヒーレンストモグラフィ(OCT)装置などがある。
 一般に、眼科観察装置は、被検眼の動画像をユーザー(例えば、医師などの医療従事者)に提供する。デジタル眼科観察装置は、典型的には、赤外光及び/又は可視光を照明光とした動画撮影と、それにより得られた画像のリアルタイム動画表示とを実行するように構成されている。一方、走査型眼科観察装置は、典型的には、反復的な光走査によるデータ収集と、逐次に収集されるデータセットに基づくリアルタイム画像再構成と、逐次に再構成された画像のリアルタイム動画表示とを実行するように構成されている。このようにして提供されるリアルタイム動画像を観察画像又はライブ画像と呼ぶ。
 被検眼を観察する手法(観察モードと呼ぶ)には様々なものがある。例えば、特許文献1には、照明角度、倍率、光量などの条件が異なる様々な観察モードを選択的に適用可能な装置が開示されている。また、特許文献2には、照明角度の変更と光量の変更とを連係可能な装置が開示されている。
 代表的な観察モードの1つに同軸照明(0度照明)がある。同軸照明は、観察光学系(撮影光学系)の光軸に沿って(又は、光軸に対して微小角度だけ傾斜した方向に沿って)照明光を被検眼に投射する観察モードであり、眼底での拡散反射による徹照像を得るために用いられる。徹照像は、典型的には、中間透光体(水晶体、硝子体など)の混濁や、眼内レンズの配置を観察するために利用される。
特開2003-310556号公報 特開2009-118955号公報
 同軸照明においては、照明光の眼底反射が光学系に戻ってくる範囲が限られているため、より広い範囲をより明るく観察できるように光学系の位置を調整する必要がある。従来は、光学系の位置調整は手動で行われていたため、光学系の最適位置の探索には手間や時間が掛かっていた。また、最適位置が実際に達成されているか把握するために手段がなかった。例えば、手動操作によって最適と思われる位置に光学系を導いたとしても、より好適な位置が存在する可能性があったが、それを知るすべがなかった。なお、或る程度好適な位置に光学系が配置されていれば何とか手術を行うことはできるが、手術の成功率の向上、手術時間の短縮、手術し易さの向上、照明光量の低減などを考慮すると、改善の余地はある。なお、同軸照明以外の照明法が適用される場合においても、一般に、観察画像の状態は光学系の位置に依存するため、同様の課題がある。
 本開示の1つの目的は、眼科観察を容易化するための新たな技術を提供することにある。
 幾つかの例示的な態様は、被検眼を観察するための眼科観察装置であって、前記被検眼を照明及び撮影して動画像を生成するように構成された動画像生成部と、前記動画像生成部を移動するように構成された移動機構と、前記移動機構により移動される前記動画像生成部によって生成される前記動画像に含まれる複数の静止画像を逐次に解析して、前記被検眼の所定部位の像を逐次に検出するように構成された解析部と、前記解析部により逐次に検出される前記像における所定の画像パラメータの変化に基づいて前記移動機構を制御するように構成された第1の制御部とを含んでいてよい。
 幾つかの例示的な態様に係る眼科観察装置において、前記第1の制御部は、前記解析部により逐次に検出される前記像における前記画像パラメータが第1の条件を満足したとき、前記動画像生成部の移動を停止するように前記移動機構を制御するように構成されていてよい。
 幾つかの例示的な態様に係る眼科観察装置において、前記画像パラメータは、輝度を含んでいてよく、前記第1の条件は、前記輝度が最大であること、及び、前記輝度が第1の閾値以上であることの少なくとも一方を含んでいてよい。
 幾つかの例示的な態様に係る眼科観察装置において、前記第1の制御部は、前記解析部により逐次に検出される前記像における前記画像パラメータが第2の条件を満足したときに、前記動画像生成部の移動を開始するように前記移動機構を制御するように構成されていてよい。
 幾つかの例示的な態様に係る眼科観察装置において、前記画像パラメータは、輝度を含んでいてよく、前記第2の条件は、前記輝度が第2の閾値未満であることを含んでいてよい。
 幾つかの例示的な態様に係る眼科観察装置において、前記第1の制御部は、前記画像パラメータの変化に基づいて前記動画像生成部の移動方向を決定し、決定された前記移動方向に基づいて前記移動機構の制御を行うように構成されていてよい。
 幾つかの例示的な態様に係る眼科観察装置において、前記動画像生成部は、前記被検眼の前眼部の動画像を生成するように構成されていてよく、前記所定部位は、瞳孔を含んでいてよい。
 幾つかの例示的な態様に係る眼科観察装置において、前記動画像生成部は、前記被検眼の後眼部の動画像を生成するように構成されていてよく、前記所定部位は、視神経乳頭を含んでいてよい。
 幾つかの例示的な態様に係る眼科観察装置において、前記第1の制御部により実行される前記画像パラメータの変化に基づく前記移動機構の制御の有効化及び無効化を行うことが可能であってよい。
 幾つかの例示的な態様に係る眼科観察装置は、前記解析部により逐次に検出される前記像における前記画像パラメータが第3の条件を満足したときに報知を行うように構成された報知部を更に含んでいてよい。
 幾つかの例示的な態様に係る眼科観察装置は、前記報知に対するユーザーの応答を受け付ける応答受付部を更に含んでいてよく、前記第1の制御部は、前記応答受付部により受け付けられた前記応答に基づいて前記移動機構の制御を行うように構成されていてよい。
 幾つかの例示的な態様に係る眼科観察装置は、前記第1の制御部により実行される前記画像パラメータの変化に基づく前記移動機構の制御を実行するか否か判定するように構成された判定部を更に含んでいてよい。
 幾つかの例示的な態様に係る眼科観察装置において、前記判定部は、前記動画像生成部によって生成される前記動画像に基づいて判定を行うように構成されていてよい。
 幾つかの例示的な態様に係る眼科観察装置において、前記判定部は、前記動画像生成部によって生成される前記動画像に基づいて前記被検眼に対する処置が行われているか判定し、前記処置が行われていると判定されたときには前記移動機構の制御を実行しないと判定するように構成されていてよい。
 幾つかの例示的な態様に係る眼科観察装置は、前記画像パラメータの変化に基づく前記移動機構の制御において得られた前記画像パラメータの最適値が第4の条件を満足したときに、報知、前記動画像生成部による照明光量の増加、前記動画像生成部の撮像素子のゲインの増加、及び、前記画像パラメータに関する判定条件の変更の少なくとも1つを実行するように構成された第2の制御部を更に含んでいてよい。
 幾つかの例示的な態様に係る眼科観察装置は、前記画像パラメータの変化に基づく前記移動機構の制御の後に、前記画像パラメータが所定の範囲に含まれることを条件として、前記動画像生成部による照明光量を低下させるように構成された第3の制御部を更に含んでいてよい。
 幾つかの例示的な態様に係る眼科観察装置において、前記画像パラメータは、輝度、コントラスト、鮮鋭度、及び色調の少なくとも1つを含んでいてよい。
 幾つかの例示的な態様は、被検眼を観察するための光学系とプロセッサとを含む眼科観察装置を制御する方法であって、前記光学系の移動と前記光学系による前記被検眼の動画像の生成とを並行して実行させ、前記プロセッサに、前記動画像に含まれる複数の静止画像の逐次解析を実行させて前記被検眼の所定部位の像を逐次に検出させ、前記プロセッサに、逐次に検出される前記像における所定の画像パラメータの変化に基づいて前記光学系の移動を実行させる。
 幾つかの例示的な態様は、例示的な態様に係る方法をコンピュータに実行させるプログラムである。
 幾つかの例示的な態様は、例示的な態様に係るプログラムが記録されたコンピュータ可読な非一時的記録媒体である。
 例示的な態様によれば、眼科観察を容易化することが可能となる。
例示的な実施形態に係る眼科観察装置(眼科手術用顕微鏡)の構成の一例を示す概略図である。 例示的な実施形態に係る眼科観察装置の構成の一例を示す概略図である。 例示的な実施形態に係る眼科観察装置の構成の一例を示す概略図である。 例示的な実施形態に係る眼科観察装置の構成の一例を示す概略図である。 例示的な実施形態に係る眼科観察装置の構成の一例を示す概略図である。 例示的な実施形態に係る眼科観察装置が実行する処理の一例を示すフローチャートである。 例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。 例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。 例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。
 実施形態に係る眼科観察装置、それを制御する方法、プログラム、及び記録媒体の幾つかの例示的な態様について、図面を参照しながら詳細に説明する。なお、この明細書において引用された文献に記載された事項や任意の公知技術を例示的な態様に組み合わせることが可能である。
 なお、眼科観察装置の照明性能(例えば同軸照明の性能)の向上を目的として光学系を工夫した従来技術もあるが、そのような従来技術を応用した製品においても、本開示に係る技術を組み合わせることによって照明性能の更なる向上を図ることが可能である。
 例示的な態様に係る眼科観察装置は、被検眼の検査、手術、治療などの医療行為において被検眼の状態を把握するために使用される。以下に説明される例示的な態様の眼科観察装置は手術用顕微鏡システムであるが、眼科観察装置は手術用顕微鏡システムに限定されない。例えば、眼科観察装置は、スリットランプ顕微鏡、眼底カメラ、レフラクトメーター、ケラトメーター、眼圧計、スペキュラーマイクロスコープ、ウェーブフロントアナライザー、マイクロペリメーター、SLO、及びOCT装置のうちのいずれかであってよく、また、これらのうちのいずれか1つ以上を含むシステムであってよい。より一般に、眼科観察装置は、観察機能を有する任意の眼科装置であってよい。
 眼科観察装置を用いた観察の対象部位は、被検眼の任意の部位であってよく、前眼部の任意の部位及び/又は後眼部の任意の部位であってよい。前眼部の観察対象部位としては、例えば、角膜、虹彩、前房、隅角、水晶体、毛様体、チン小帯などがある。後眼部の観察対象部位としては、例えば、網膜、脈絡膜、強膜、硝子体などがある。観察対象部位は、眼球組織に限定されるものではなく、瞼、マイボーム腺、眼窩など、眼科(及び/又は他科)において観察対象となる任意の部位であってもよい。
 本明細書に開示された要素の機能の少なくとも一部は、回路構成(circuitry)又は処理回路構成(processing circuitry)を用いて実装される。回路構成又は処理回路構成は、開示された機能の少なくとも一部を実行するように構成及び/又はプログラムされた、汎用プロセッサ、専用プロセッサ、集積回路、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)、従来の回路構成、及びそれらの任意の組み合わせのいずれかを含む。プロセッサは、トランジスタ及び/又は他の回路構成を含む、処理回路構成又は回路構成とみなされる。本開示において、回路構成、ユニット、手段、又はこれらに類する用語は、開示された機能の少なくとも一部を実行するハードウェア、又は、開示された機能の少なくとも一部を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されたハードウェアであってよく、或いは、記載された機能の少なくとも一部を実行するようにプログラム及び/又は構成された既知のハードウェアであってもよい。ハードウェアが或るタイプの回路構成とみなされ得るプロセッサである場合、回路構成、ユニット、手段、又はこれらに類する用語は、ハードウェアとソフトウェアとの組み合わせであり、このソフトウェアはハードウェア及び/又はプロセッサを構成するために使用される。
<眼科観察装置>
 例示的な態様の眼科観察装置の構成を図1に示す。
 実施形態に係る眼科観察装置1(手術用顕微鏡システム)は、操作装置2と、表示装置3と、手術用顕微鏡10とを含む。幾つかの態様では、手術用顕微鏡10が操作装置2及び表示装置3の少なくとも1つを含んでいてよい。また、幾つかの態様では、表示装置3は眼科観察装置1に含まれていなくてもよい。つまり、表示装置3は眼科観察装置1の周辺機器であってよい。
<操作装置2>
 操作装置2は、操作デバイス及び/又は入力デバイスを含む。例えば、操作装置2は、ボタン、スイッチ、マウス、キーボード、トラックボール、操作パネル、ダイアルなどを含んでいてよい。典型的には、操作装置2は、一般的な眼科手術用顕微鏡と同様に、フットスイッチを含んでいる。また、音声認識や視線入力などを用いて操作を行うように構成されてもよい。
<表示装置3>
 表示装置3は、手術用顕微鏡10により取得された被検眼の画像を表示させる。表示装置3は、フラットパネルディスプレイなどの表示デバイスを含む。また、表示装置3は、タッチパネルなどの各種表示デバイスを含んでいてもよい。典型的な表示装置3は、大画面の表示デバイスを含む。表示装置3は、1つ以上の表示デバイスを含む。表示装置3が2つ以上の表示デバイスを含む場合、例えば、1つは比較的大画面の表示デバイスであり、他の1つは比較的小画面の表示デバイスであってよい。また、1つの表示デバイスに複数の表示領域を設けて複数の情報を表示させる構成を採用してもよい。
 操作装置2と表示装置3は、それぞれ個別のデバイスである必要はない。例えば、タッチパネルのように操作機能と表示機能とが一体化されたデバイスを表示装置3として用いてもよい。その場合、操作装置2は、このタッチパネルとコンピュータプログラムとを含む。操作装置2に対する操作内容は、電気信号としてプロセッサ(不図示)に入力される。また、表示装置3に表示されたグラフィカルユーザーインターフェイス(GUI)と、操作装置2とを用いて、操作や情報入力を行うようにしてもよい。幾つかの態様では、操作装置2及び表示装置3の機能はタッチスクリーンによって実現されてよい。
<手術用顕微鏡10>
 手術用顕微鏡10は、仰臥位の患者の眼(被検眼)を観察するために用いられる。手術用顕微鏡10は、被検眼を撮影してデジタル画像データを生成する。特に、手術用顕微鏡10は、被検眼の動画像を生成する。手術用顕微鏡10により生成された動画像(映像)は、有線及び/又は無線の信号路を通じて表示装置3に送信されて表示される。ユーザー(術者)は、表示される映像によって被検眼を観察しつつ手術を行うことができる。幾つかの態様の手術用顕微鏡10は、このような表示映像の観察に加えて、旧来のような接眼レンズを介した観察が可能であってもよい。
 幾つかの態様では、手術用顕微鏡10は、操作装置2との間で電気信号を送受信するための通信デバイスを含む。操作装置2は、ユーザーによる操作を受け付け、それに対応する電気信号(操作信号)を生成する。操作信号は、有線及び/又は無線の信号路を通じて手術用顕微鏡10に送信される。手術用顕微鏡10は、受信した操作信号に対応した処理を実行する。
<手術用顕微鏡10の光学系>
 手術用顕微鏡10の光学系の構成の例を説明する。以下では、説明の便宜上、対物レンズの光軸方向をz方向(例えば、手術時には鉛直方向、上下方向)とし、z方向に直交する所定方向をx方向(例えば、手術時には水平方向、術者及び患者にとって左右方向)とし、z方向及びx方向の双方に直交する方向をy方向(例えば、手術時には水平方向、術者にとって前後方向、患者にとって体軸方向)とする。
 また、以下では、主として、観察光学系が左右一対の光学系(双眼観察が可能な光学系)を有している場合について説明する。しかしながら、他の態様の観察光学系は単眼観察用の光学系を有していてもよく、そのような態様に以下に説明する構成を援用できることは当業者であれば理解できるであろう。
 手術用顕微鏡10の光学系の構成例を図2に示す。図2は、光学系を上から見た模式的な上面図(top view)と光学系を側方から見た模式的な側面図(side view)とを対応付けて図示したものである。図示を簡略化するため、上面図においては、対物レンズ20の上方に配置される照明光学系30の図示が省略されている。
 手術用顕微鏡10は、対物レンズ20と、ダイクロイックミラーDM1と、照明光学系30と、観察光学系40とを含む。観察光学系40は、ズームエキスパンダ50と、撮像カメラ60とを含む。幾つかの態様では、照明光学系30又は観察光学系40は、ダイクロイックミラーDM1を含む。
 対物レンズ20は、被検眼に対向するように配置される。対物レンズ20は、その光軸がz方向に沿うように配置されている。対物レンズ20は、2枚以上のレンズを含んでいてもよい。
 ダイクロイックミラーDM1は、照明光学系30の光路と観察光学系40の光路とを結合する。ダイクロイックミラーDM1は、照明光学系30と対物レンズ20との間に配置される。ダイクロイックミラーDM1は、照明光学系30からの照明光を透過して対物レンズ20を介して被検眼に導くとともに、対物レンズ20を介して入射する被検眼からの戻り光を反射して観察光学系40の撮像カメラ60に導く。
 ダイクロイックミラーDM1は、照明光学系30の光路と観察光学系40の光路とを同軸に結合する。つまり、照明光学系30の光軸と観察光学系40の光軸とがダイクロイックミラーDM1において交差している。照明光学系30が左眼用照明光学系(31L)及び右眼用照明光学系(31R)を含み、且つ、観察光学系40が左眼用観察光学系40L及び右眼用観察光学系40Rを含む場合において、ダイクロイックミラーDM1は、左眼用照明光学系(第1照明光学系31L)の光路と左眼用観察光学系40Lの光路とを同軸に結合し、且つ、右眼用照明光学系(第1照明光学系31R)の光路と右眼用観察光学系40Rの光路とを同軸に結合する。
 照明光学系30は、対物レンズ20を介して被検眼を照明するための光学系である。照明光学系30は、色温度が異なる2以上の照明光のいずれかによって被検眼を照明するように構成されていてよい。照明光学系30は、後述の制御部(200)の制御の下に、指定された色温度の照明光を被検眼に投射する。
 照明光学系30は、第1照明光学系31L及び31Rと、第2照明光学系32とを含んでいる。
 第1照明光学系31Lの光軸OL及び第1照明光学系31Rの光軸ORのそれぞれは、対物レンズ20の光軸と略同軸に配置されている。これにより、同軸照明を実現することができ、眼底での拡散反射を利用した徹照像を得ることが可能となる。本態様では、被検眼の徹照像を双眼で観察することが可能である。
 第2照明光学系32は、その光軸OSが対物レンズ20の光軸から偏心するように配置されている。第1照明光学系31L及び31R並びに第2照明光学系32は、対物レンズ20の光軸に対する光軸OSの偏位が対物レンズ20の光軸に対する光軸OL及びORの偏位よりも大きくなるように配置されている。これにより、いわゆる「角度付き照明(斜め照明)」を実現することができ、角膜反射などに起因するゴーストの混入を防止しつつ被検眼を双眼で観察することが可能になる。更に、被検眼の部位や組織の凹凸を詳細に観察することも可能になる。
 第1照明光学系31Lは、光源31LAと、コンデンサーレンズ31LBとを含む。光源31LAは、例えば、3000K(ケルビン)の色温度に相当する可視領域の波長の照明光を出力する。光源31LAから出力された照明光は、コンデンサーレンズ31LBを通過し、ダイクロイックミラーDM1を透過し、対物レンズ20を通過して被検眼に入射する。
 第1照明光学系31Rは、光源31RAと、コンデンサーレンズ31RBとを含む。光源31RAもまた、例えば、3000Kの色温度に相当する可視領域の波長の照明光を出力する。光源31RAから出力された照明光は、コンデンサーレンズ31RBを通過し、ダイクロイックミラーDM1を透過し、対物レンズ20を通過して被検眼に入射する。
 第2照明光学系32は、光源32Aと、コンデンサーレンズ32Bとを含む。光源32Aは、例えば、4000K~6000Kの色温度に相当する可視領域の波長の照明光を出力する。光源32Aから出力された照明光は、コンデンサーレンズ32Bを通過し、ダイクロイックミラーDM1を経由することなく対物レンズ20を通過して被検眼に入射する。
 すなわち、第1照明光学系31L及び31Rからの照明光の色温度は、第2照明光学系32からの照明光の色温度よりも低い。このような構成とすることで、第1照明光学系31L及び31Rを用いて暖色系の色で被検眼を観察することが可能になり、被検眼の構造や形態を詳細に観察することが可能となる。
 幾つかの態様では、光軸OL及びORのそれぞれが対物レンズ20の光軸に対して相対的に移動可能とされる。この相対移動の方向は対物レンズ20の光軸に交差する方向であり、この相対移動はx成分及びy成分の少なくとも一方がゼロでない変位ベクトルで表現される。幾つかの態様では、光軸OL及びORのそれぞれが独立に移動可能であってよい。一方、幾つかの態様では、光軸OL及びORが一体的に移動可能であってよい。例えば、手術用顕微鏡10は、第1照明光学系31L及び31Rを独立に又は一体的に移動する移動機構(31d)を備えており、この移動機構によって第1照明光学系31L及び31Rを独立に又は一体的に対物レンズ20の光軸に交差する方向に移動する。それにより、被検眼の見え具合を調整することが可能になる。幾つかの態様では、後述の制御部(200)の制御の下に移動機構が動作する。
 幾つかの態様では、光軸OSが対物レンズ20の光軸に対して相対的に移動可能とされる。この相対移動の方向は、対物レンズ20の光軸に交差する方向であり、この相対移動はx成分及びy成分の少なくとも一方がゼロでない変位ベクトルで表現される。例えば、手術用顕微鏡10は、第2照明光学系32を移動する移動機構(32d)を備えており、この移動機構によって第2照明光学系32を対物レンズ20の光軸に交差する方向に移動する。それにより、被検眼の部位や組織における凹凸の見え具合を調整することが可能になる。幾つかの態様では、後述の制御部(200)の制御の下に移動機構が動作する。
 以上のように、本態様では、対物レンズ20の直上の位置(ダイクロイックミラーDM1の透過方向の位置)に照明光学系30が配置され、且つ、ダイクロイックミラーDM1の反射方向の位置に観察光学系40が配置されている。例えば、観察光学系40の光軸と対物レンズ20の光軸に直交する平面(xy平面)とのなす角が±20度以下になるように、観察光学系40が配置されていてよい。
 本態様の構成によれば、一般的に照明光学系30よりも光路長が長い観察光学系40がxy平面に対して略平行に配置されるため、術者の眼前に観察光学系が鉛直方向に配置される従来の手術用顕微鏡のように術者の視野を邪魔することがない。したがって、術者は、正面に設置された表示装置3の画面を容易に見ることができる。つまり、手術中などにおける表示情報(被検眼の画像や映像、その他の各種参照情報)の視認性が向上する。また、術者の眼前に筐体が配置されることがないため、術者に圧迫感を与えることがなく、術者の負担が軽減される。
 観察光学系40は、対物レンズ20を介して被検眼から入射した照明光の戻り光に基づき形成される像を観察するための光学系である。本態様では、観察光学系40は、撮像カメラ60の撮像素子に像を提供する。
 上記したように、観察光学系40は、左眼用観察光学系40Lと、右眼用観察光学系40Rとを含んでいる。左眼用観察光学系40Lの構成は、右眼用観察光学系40Rの構成と同様である。幾つかの態様では、左眼用観察光学系40L及び右眼用観察光学系40Rは、互いに独立に光学配置の変更が可能であってよい。
 ズームエキスパンダ50は、ビームエキスパンダ、可変ビームエキスパンダなどとも呼ばれる。ズームエキスパンダ50は、左眼用ズームエキスパンダ50Lと、右眼用ズームエキスパンダ50Rとを含んでいる。左眼用ズームエキスパンダ50Lの構成は、右眼用ズームエキスパンダ50Rの構成と同様である。幾つかの態様では、左眼用ズームエキスパンダ50L及び右眼用ズームエキスパンダ50Rは、互いに独立に光学配置の変更が可能であってよい。
 左眼用ズームエキスパンダ50Lは、複数のズームレンズ51L、52L及び53Lを含む。複数のズームレンズ51L、52L及び53Lの少なくとも1つは、変倍機構(不図示)によって光軸方向に移動可能である。
 同様に、右眼用ズームエキスパンダ50Rは、複数のズームレンズ51R、52R及び53Rを含んでおり、複数のズームレンズ51R、52R、53Rの少なくとも1つは、変倍機構(不図示)によって光軸方向に移動可能である。
 変倍機構は、左眼用ズームエキスパンダ50Lの各ズームレンズ及び右眼用ズームエキスパンダ50Rの各ズームレンズを独立に又は一体的に光軸方向に移動するように構成されてよい。それにより、被検眼を撮影する際の拡大倍率が変更される。幾つかの態様では、後述の制御部(200)の制御の下に変倍機構が動作する。
 撮像カメラ60は、観察光学系40により形成される像を撮影してデジタル画像データを生成するデバイスであり、典型的にはデジタルカメラ(デジタルビデオカメラ)である。撮像カメラ60は、左眼用撮像カメラ60Lと、右眼用撮像カメラ60Rとを含んでいる。左眼用撮像カメラ60Lの構成は、右眼用撮像カメラ60Rの構成と同様である。幾つかの態様では、左眼用撮像カメラ60L及び右眼用撮像カメラ60Rは、互いに独立に光学配置の変更が可能である。
 左眼用撮像カメラ60Lは、結像レンズ61Lと、撮像素子62Lとを含んでいる。結像レンズ61Lは、左眼用ズームエキスパンダ50Lを通過した戻り光に基づく像を撮像素子62Lの撮像面に形成する。撮像素子62Lは、エリアセンサであり、典型的には電荷結合素子(CCD)イメージセンサ又は相補型金属酸化膜半導体(CMOS)イメージセンサであってよい。撮像素子62Lは、後述の制御部(200)の制御の下に動作する。
 右眼用撮像カメラ60Rは、結像レンズ61Rと、撮像素子62Rとを含んでいる。結像レンズ61Rは、右眼用ズームエキスパンダ50Rを通過した戻り光に基づく像を撮像素子62Lの撮像面に形成する。撮像素子62Rは、エリアセンサであり、典型的にはCCDイメージセンサ又はCMOSイメージセンサであってよい。撮像素子62Rは、後述の制御部(200)の制御の下に動作する。
<処理系>
 眼科観察装置1の処理系について説明する。処理系の構成例を図3及び図4に示す。以下に説明される複数の構成例のうちの任意の2つ以上を少なくとも部分的に組み合わせることができる。なお、処理系の構成はこれらの例に限定されない。
 制御部200は、眼科観察装置1の各部の制御を行う。制御部200は、主制御部201と記憶部202とを含む。主制御部201は、プロセッサを含み、眼科観察装置1の各部を制御する。例えば、プロセッサは、本態様に係る機能を実現するために、記憶部202又は他の記憶装置に格納されているプログラムを読み出し実行することができ、また、記憶部202又は他の記憶装置に格納されているデータや情報を利用(参照、加工、演算など)することができる。
 主制御部201は、照明光学系30の光源31LA、31RA及び32A、観察光学系40の撮像素子62L及び62R、移動機構31d及び32d、変倍機構50Ld及び50Rd、操作装置2、表示装置3などの制御を行うことができる。
 光源31LAの制御には、光源の点灯、消灯、光量調整、絞りの調整などがある。光源31RAの制御には、光源の点灯、消灯、光量調整、絞りの調整などがある。主制御部201は、光源31LA及び31RAに対して互いに排他的に制御を行うことができる。光源32Aの制御には、光源の点灯、消灯、光量調整、絞りの調整などがある。
 照明光学系30が色温度を変更可能な光源を含む場合、主制御部201は、この光源を制御することによって、出力される照明光の色温度を変更することができる。
 撮像素子62Lの制御には、露光調整、ゲイン調整、撮影レート調整などがある。撮像素子62Rの制御には、露光調整、ゲイン調整、撮影レート調整などがある。また、主制御部201は、撮像素子62L、62Rの撮影タイミングが一致するように、又は両者の撮影タイミングの差が所定時間以内になるように、撮像素子62L及び62Rを制御することができる。更に、主制御部201は、撮像素子62L及び62Rにより得られたデジタルデータの読み出し制御を行うことができる。
 移動機構31dは、対物レンズ20の光軸に交差する方向に光源31LA及び31RAを独立に又は一体的に移動する。主制御部201は、移動機構31dを制御することにより、対物レンズ20の光軸に対して光軸OL及びORを独立に又は一体的に移動することができる。
 移動機構32dは、対物レンズ20の光軸に交差する方向に光源32Aを移動する。主制御部201は、移動機構32dを制御することにより、対物レンズ20の光軸に対して光軸OSを移動することができる。
 移動機構70は、手術用顕微鏡10を移動する。例えば、移動機構70は、照明光学系30の少なくとも一部と観察光学系40とを一体的にするように構成されている。これにより、照明光学系30の少なくとも一部と観察光学系40との間の相対位置関係を保ちつつ、照明光学系30の少なくとも一部及び観察光学系40の被検眼に対する相対位置を変更することができる。幾つかの態様では、移動機構70は、第1照明光学系31L及び31Rと観察光学系40とを一体的に移動するように構成されている。これにより、同軸照明の状態を保ちつつ、第1照明光学系31L及び31R並びに観察光学系40の被検眼に対する相対位置を変更することが可能になる。幾つかの態様では、移動機構70は、第2照明光学系32と観察光学系40とを一体的に移動するように構成されている。これにより、斜め照明の照明角度を保ちつつ、第2照明光学系32及び観察光学系40の被検眼に対する相対位置を変更することが可能になる。幾つかの態様では、移動機構70は、第1照明光学系31L及び31R並びに第2照明光学系32と観察光学系40とを一体的に移動するように構成されている。これにより、同軸照明の状態及び斜め照明の照明角度の双方を保ちつつ、照明光学系30及び観察光学系40の被検眼に対する相対位置を変更することが可能になる。移動機構70は、制御部200の制御の下に動作する。
 幾つかの態様では、主制御部201は、移動機構31d、32d及び70のうちの少なくとも2つを連係的に制御することができる。
 変倍機構50Ldは、左眼用ズームエキスパンダ50Lの複数のズームレンズ51L~53Lの少なくとも1つを光軸方向に移動する。主制御部201は、変倍機構50Ldを制御することによって左眼用観察光学系40Lの拡大倍率を変更することができる。
 同様に、変倍機構50Rdは、右眼用ズームエキスパンダ50Rの複数のズームレンズ51R~53Rの少なくとも1つを光軸方向に移動する。主制御部201は、変倍機構50Rdを制御することによって右眼用観察光学系40Rの拡大倍率を変更することができる。
 操作装置2に対する制御には、操作許可制御、操作禁止制御、操作装置2からの操作信号の送信制御及び/又は受信制御などがある。主制御部201は、操作装置2により生成された操作信号を受信し、この受信信号に対応する制御を実行する。
 表示装置3に対する制御には、情報表示制御などがある。主制御部201は、表示制御部として、撮像素子62L及び62Rにより生成されたデジタル画像データに基づく画像を表示装置3に表示させることができる。典型的には、撮像素子62L及び62Rにより生成されたデジタル画像データ(映像信号)に基づく動画像(映像)を表示装置3に表示させることができ、また、この動画像に含まれる静止画像(フレーム)を表示装置3に表示させることができる。更に、主制御部201は、撮像素子62L及び62Rにより生成されたデジタル画像データを加工して得られた画像(動画像、静止画像など)を表示装置3に表示させることができる。また、主制御部201は、眼科観察装置1により生成された任意の情報や、眼科観察装置1が外部から取得した任意の情報を表示装置3に表示させることができる。
 また、主制御部201は、表示制御部として、撮像素子62Lによって生成されたデジタル画像データから左眼用画像を作成するとともに撮像素子62Rによって生成されたデジタル画像データから右眼用画像を作成し、作成された左眼用画像及び右眼用画像を立体視可能な態様で表示装置3に表示させることができる。例えば、主制御部201は、左眼用画像及び右眼用画像から左右一対の視差画像を作成し、この一対の視差画像を表示装置3に表示させることができる。ユーザー(術者など)は、公知の立体視手法を利用して一対の視差画像を立体画像として認識することができる。本態様に適用可能な立体視手法は任意であってよく、例えば、裸眼での立体視手法、補助器具(偏光眼鏡など)を用いた立体視手法、左眼用画像及び右眼用画像に対する画像処理(画像合成、レンダリングなど)を利用した立体視手法、一対の視差画像を同時に表示させる立体視手法、一対の視差画像を切り換え表示させる立体視手法、及び、これらのうちの2つ以上を組み合わせた立体視手法のうちのいずれかであってよい。
 データ処理部210は、各種のデータ処理を実行する。データ処理部210が実行可能な処理については、幾つかの例を以下に説明する。データ処理部210(その各要素)は、所定のソフトウェア(プログラム)にしたがって動作するプロセッサを含んでおり、ハードウェアとソフトウェアとの協働によって実現される。
 データ処理部210が実行可能な処理の幾つかの例について、関連する要素とともに説明する。図4は、データ処理部210(及び関連要素)の構成例を示している。図4に示すデータ処理部210Aは、図3のデータ処理部210の例であり、解析部211を含んでいる。
 本態様の制御部200は、照明光学系30と観察光学系40とを一体的に移動するための移動機構70の制御(移動制御)と、被検眼の動画撮影(照明及び撮影)を行うための照明光学系30及び観察光学系40の制御(撮影制御)とを並行して実行することができる。この並行制御の態様は任意であってよく、例えば、移動制御と撮影制御とを同時に行ってもよいし、移動制御と撮影制御とを交互に行ってもよいし、同時制御と交互制御とを組み合わせであってもよい。
 このような並行制御によって取得される動画像(フレーム群、静止画像群)の少なくとも一部が解析部211に入力される。ここで、並行制御によって取得される全ての静止画像を解析部211に入力してもよいし、間引き処理などによって選択された静止画像のみを解析部211に入力してもよい。後者の場合、例えば、制御部200又はデータ処理部210Aによって静止画像選択処理が実行される。なお、前者の場合において、解析部211が静止画像選択処理を行ってもよい。本態様では、上記並行制御と解析部211による処理とが逐次に且つリアルタイムで実行されるため、静止画像選択処理を加えることによって処理負荷の低減を図ることができる。なお、処理負荷低減法は静止画像選択処理に限定されない。また、眼科観察装置1が十分な処理リソースを有している場合などには、処理負荷低減法を採用しなくてもよい。
 解析部211は、移動制御と並行して実行される撮影制御によって生成される動画像に含まれる複数の静止画像を逐次に解析して、被検眼の所定部位の像を逐次に検出するように構成されている。
 解析部211により検出される被検眼の部位は任意であってよい。眼科観察装置1による観察対象が前眼部である場合、解析部211は、例えば、瞳孔(全体、又は、瞳孔縁、瞳孔中心、瞳孔重心などの特徴部位)、角膜(全体、又は、角膜輪、角膜縁、角膜中心、角膜頂点などの特徴部位)、虹彩(全体、又は、虹彩内縁、虹彩外縁、虹彩パターンなどの特徴部位)、前房(全体、又は、前側境界、後側境界などの特徴部位)、隅角(全体、周辺部位など)、水晶体(全体、又は、水晶体嚢、前嚢、後嚢、水晶体核などの特徴部位)、毛様体、チン小帯、血管、及び病変部のうちのいずれかを検出するように構成されてよい。眼科観察装置1による観察対象が後眼部である場合、解析部211は、例えば、視神経乳頭、黄斑、血管、網膜(全体、表面、又は、1つ以上のサブ組織)、脈絡膜(全体、前面、後面、又は、1つ以上のサブ組織)、強膜(全体、前面、後面、又は、1つ以上のサブ組織)、硝子体(全体、混濁、浮遊物、剥離組織など)、及び病変部のうちのいずれかを検出するように構成されてよい。眼科観察装置1による観察対象が眼球組織ではない場合、解析部211は、例えば、瞼、マイボーム腺、眼窩などの任意の部位(組織)を検出するように構成されていてよい。解析部211によって検出される部位は、照明法、手術部位、手術法などに応じて決定されてよい。
 解析部211は、任意の領域抽出法を用いて静止画像から被検眼の所定部位の像を検出することができる。例えば、輝度に特徴のある部位の像を検出する場合、解析部211は、二値化などの輝度閾値処理を用いて静止画像から被検眼の所定部位の像を検出するように構成されてよい。形状に特徴のある部位の像を検出する場合、解析部211は、パターンマッチングなどの形状解析処理を用いて静止画像から被検眼の所定部位の像を検出するように構成されてよい。色調に特徴のある部位の像を検出する場合、解析部211は、特徴色抽出などの色解析処理を用いて静止画像から被検眼の所定部位の像を検出するように構成されてよい。また、解析部211は、被検眼の所定部位の像を特定するためのセグメンテーションを静止画像に適用することによって被検眼の所定部位の像を検出するように構成されてよい。一般に、セグメンテーションは、画像中の部分領域を特定する処理である。セグメンテーションは、任意の公知の画像処理技術を含んでいてよく、例えば、エッジ検出などの画像処理を利用したセグメンテーション、及び/又は、機械学習(例えば、深層学習)を利用したセグメンテーションを含んでいてよい。
 制御部200(及びデータ処理部210A)は、解析部211によって動画像から逐次に検出される所定部位の像における所定の画像パラメータの変化に基づいて移動機構70の制御を行う(第1の制御部)。この移動機構70の制御による照明光学系30及び観察光学系40の移動方向は任意であってよく、上下方向(Z方向)、左右方向(X方向)、及び前後方向(Y方向)のいずれか1つ以上の方向であってよい。
 これにより、眼科観察装置1は、被検眼に対する手術用顕微鏡10の位置の変化に応じた画像パラメータの変化に応じて手術用顕微鏡10の位置調整を行うことが可能となる。例えば、前述したように、同軸照明においては、照明光の眼底反射が光学系に戻ってくる範囲が限られているため、より広い範囲をより明るく観察できるように光学系の位置を調整する必要があるが、従来は光学系の位置調整を手動で行っていたため、光学系の最適位置の探索には手間や時間が掛かっていた。これに対し、本態様によれば、光学系の最適位置の探索を画像パラメータを監視しつつ自動で行うことが可能である。また、本態様によれば、画像パラメータを参照することによって、最適位置が実際に達成されているか把握することができる。このように、本態様によれば、眼科観察を容易化することができるとともに、手術の成功率、手術時間、手術し易さなどの改善を図ることができる。同軸照明以外の照明法(例えば、斜め照明)が適用される場合においても同様である。
 制御部200(及びデータ処理部210A)によって参照される画像パラメータの種類は任意であってよい。例えば、画像パラメータは、輝度、コントラスト、鮮鋭度、及び色調の少なくとも1つであってよい。
 制御部200(及びデータ処理部210A)は、解析部211により動画像から逐次に検出される所定部位の像における画像パラメータが第1の条件を満足したとき、照明光学系30及び観察光学系40の移動を停止するように移動機構70を制御するように構成されてよい。例えば、制御部200(及びデータ処理部210A)は、解析部211により動画像から逐次に検出される所定部位の像の輝度(又は、コントラスト若しくは鮮鋭度)が最大になったときに、照明光学系30及び観察光学系40の移動を停止するように移動機構70を制御するように構成されてよい。また、制御部200(及びデータ処理部210A)は、解析部211により動画像から逐次に検出される所定部位の像の輝度(又は、コントラスト若しくは鮮鋭度)が所定の閾値以上になったときに、照明光学系30及び観察光学系40の移動を停止するように移動機構70を制御するように構成されてよい。また、制御部200(及びデータ処理部210A)は、解析部211により動画像から逐次に検出される所定部位の像の色調が所定の許容範囲に含まれたときに、照明光学系30及び観察光学系40の移動を停止するように移動機構70を制御するように構成されてよい。第1の条件における閾値や範囲は固定でもよいし可変でもよい。
 これにより、好適な画像パラメータが得られる位置に照明光学系30及び観察光学系40を自動で誘導し配置することが可能となり、眼科観察の容易化などの効果が奏される。
 制御部200(及びデータ処理部210A)は、解析部211により動画像から逐次に検出される所定部位の像における画像パラメータが第2の条件を満足したとき、照明光学系30及び観察光学系40の移動を開始するように移動機構70を制御するように構成されてよい。例えば、制御部200(及びデータ処理部210A)は、解析部211により動画像から逐次に検出される所定部位の像の輝度(又は、コントラスト若しくは鮮鋭度)が所定の閾値未満になったときに、照明光学系30及び観察光学系40の移動を開始するように移動機構70を制御するように構成されてよい。また、制御部200(及びデータ処理部210A)は、解析部211により動画像から逐次に検出される所定部位の像の色調が所定の許容範囲から外れたときに、照明光学系30及び観察光学系40の移動を開始するように移動機構70を制御するように構成されてよい。第2の条件における閾値や範囲は固定でもよいし可変でもよい。また、第2の条件は、第1の条件と同じでもよいし異なってもよい。
 これにより、画像パラメータが悪化したことに対応して照明光学系30及び観察光学系40の移動を自動で開始し、光学系の最適位置の探索を行うことができるため、観察画像の品質を維持することが可能となる。例えば、自動探索によって光学系が最適位置に配置された後に、眼球運動などにより被検眼と手術用顕微鏡10との位置関係が変化して画像パラメータが悪化することがあるが、本態様によれば、画像パラメータの悪化を自動で検知して光学系の最適位置の探索を再開することが可能となり、眼科観察の容易化などの効果が奏される。
 制御部200(及びデータ処理部210A)は、画像パラメータの変化に基づいて照明光学系30及び観察光学系40の移動方向を決定することができる。例えば、制御部200(及びデータ処理部210A)は、照明光学系30及び観察光学系40が或る方向に移動したときの画像パラメータの変化が好適な変化であるか否か判定し、画像パラメータの変化が好適な変化である場合には当該方向を移動方向として決定し、画像パラメータの変化が好適な変化でない場合には当該方向ではない方向(例えば、当該方向の逆方向)を移動方向として決定する。例えば、制御部200(及びデータ処理部210A)は、照明光学系30及び観察光学系40が或る方向に移動したときの画像パラメータの変化が好適な変化であるか否か判定し、画像パラメータの変化が好適な変化である場合には当該方向を移動方向として決定し、画像パラメータの変化が好適な変化でない場合には当該方向ではない方向(例えば、当該方向の逆方向)を移動方向として決定する。制御部200は、決定された移動方向に基づいて移動機構70の制御を行う。具体例として、制御部200(及びデータ処理部210A)は、或る方向への照明光学系30及び観察光学系40の移動に伴って輝度が増加した場合には当該方向への移動を継続し、当該移動に伴って輝度が減少した場合にはその逆方向への移動に切り替えることができる。
 これにより、手術用顕微鏡10の移動方向を画像パラメータの変化に応じて自動で決定することができるので、眼科観察の容易化などの効果が奏される。
 制御部200(及びデータ処理部210A)により実行される処理(つまり、画像パラメータの変化に基づく移動機構70の制御)の有効化及び無効化を行うことが可能であってよい。つまり、眼科観察装置1は、このような制御機能をオン/オフできるように構成されていてよい。例えば、手術用顕微鏡10が自動で(つまり、ユーザーの意図しないタイミングで)移動することを避けたい場合には当該制御機能を無効化(オフ)にすることができる。有効化/無効化の切り替えは、例えば、操作装置2(フットスイッチ)を用いた操作によって行われてよい。また、音声認識などを利用して有効化/無効化の切り替えを行えるように眼科観察装置1を構成してもよい。このような操作やそれに伴う処理や作業を補助するために、眼科観察装置1は、画像パラメータの悪化(例えば、瞳孔の像の輝度が下がったこと)を報知する手段、手術用顕微鏡10の移動開始を報知する手段、手術用顕微鏡10の移動許可をユーザーに求める手段などを備えていてもよい。
 これにより、手術用顕微鏡10の自動移動機能をユーザーが使用したくないときや、被検眼に対する処置をユーザーが行っているときには、自動移動機能を停止することができる。また、画像パラメータの悪化などの条件が満足されたことを報知することが可能となる。なお、報知の方法は任意であってよく、例えば、表示装置3への情報の表示、音声出力、光源の点灯などであってよい。また、報知のトリガーとなる条件(第3の条件)は任意であり、例えば、前述した第1の条件及び/又は第2の条件と同じでもよいし異なってもよい。
 眼科観察装置1は、画像パラメータの悪化などの報知に対するユーザーの応答を受け付けることができる。ユーザーの応答の受け付けは、操作装置2、音声認識装置などによって行われる(応答受付部)。制御部200(及びデータ処理部210A)は、応答受付部により受け付けられたユーザーの応答に基づき移動機構70の制御を行って照明光学系30及び観察光学系40を移動させることができる。
 これにより、眼科観察装置1は、第3の条件が満足されたこと(例えば、画像パラメータが悪化したこと)を自動で検知し、それを報知し、これに応じたユーザーの応答を受け付け、手術用顕微鏡10を移動させることが可能となる。よって、ユーザーは、第3の条件が満足されたことを認識し、照明光学系30及び観察光学系40の最適位置の探索の開始を指示することができる。
 図5に示すデータ処理部210Bは、図3のデータ処理部210の例であり、図4のデータ処理部210Aの解析部211に加えて判定部212を含んでいる。特に言及しない限り、データ処理部21Bは、データ処理部210Aと同様の処理を実行することができる。
 判定部212は、制御部200(及びデータ処理部210B)により実行される処理(つまり、画像パラメータの変化に基づく移動機構70の制御)を実行するか否か判定するように構成されている。例えば、判定部212は、手術用顕微鏡10によって生成される動画像に基づいて判定を行うように構成される。例えば、判定部212は、手術用顕微鏡10によって生成される動画像に基づいて被検眼に対する処置が行われているか判定し、処置が行われていると判定されたときには画像パラメータの変化に基づく移動機構70の制御を実行しないと判定するように構成されてよい。このように、幾つかの態様では、眼科観察装置1は、手術用顕微鏡10により得られる観察画像を解析して手術用顕微鏡10の移動の可否を自動判定する手段を備えていてもよい。例えば、被検眼に対する処置をユーザーが行っている間には手術用顕微鏡10の移動を禁止するようにしてもよい。例えば、眼科観察装置1は、観察画像に器具(手術器具など)が映っているか判定部212によって判定し、観察画像に器具が映っていると判定された場合には手術用顕微鏡10の移動を禁止するように構成されていてよい。また、眼科観察装置1は、観察画像(動画像)に移っている器具が動いているか判定部212によって判定し、観察画像に映っている器具が動いていると判定された場合には手術用顕微鏡10の移動を禁止するように構成されていてよい。
 これにより、眼科観察装置1は、手術用顕微鏡10の光学系の位置の自動探索の実行の可否を自動判定することが可能になる。また、被検眼に対する処置が行われているときなどに、ユーザーの意図しない(予期しない、所望しない)タイミングで手術用顕微鏡10が移動することを防止することが可能になる。
 手術用顕微鏡10の光学系の位置の自動探索を実行しても良好な品質の画像が得られない場合も想定される。このような場合への対処のために、眼科観察装置1は、次のような機能を有していてもよい(第2の制御部)。まず、眼科観察装置1(例えば、データ処理部210)は、例えば、画像パラメータの変化に基づく移動機構70の制御を行うことにより画像パラメータの最適値を決定することができる。次に、眼科観察装置1(例えば、データ処理部210)は、この最適値が第4の条件を満足するか否か判定することができる。画像パラメータの最適値が第4の条件を満足すると判定された場合、眼科観察装置1(例えば、制御部200)は、報知、照明光学系30による照明光量の増加、観察光学系40の撮像素子のゲインの増加、及び、画像パラメータに関する判定条件の変更の少なくとも1つを実行することができる。このような機能の具体例を説明する。まず、眼科観察装置1は、照明光学系30及び観察光学系40を移動しながら動画撮影を行うとともに瞳孔像の輝度値を逐次に検出することによって、輝度の最大値を求める。この最大輝度値は、画像パラメータの最適値の例であり、光学系の最適位置の探索において得られた輝度の最大値である。次に、眼科観察装置1は、この最大輝度値と前述した第1の条件の閾値とを比較し、最大輝度値が閾値未満であるか判定する。本例では、最大輝度値が閾値未満であることが、第4の条件を満足したことに相当する。最大輝度値が閾値未満であると判定された場合、眼科観察装置1は、照明光学系30による照明光量の増加、観察光学系40の撮像素子のゲインの増加、及び、画像パラメータに関する判定条件の変更の少なくとも1つを実行することができる。報知は、光学系の位置の自動探索では十分な明るさの瞳孔像(徹照像)が得られないことをユーザーに知らせるものであり、これを認識したユーザーは所望の対処を行うことができる。照明光量の増加及びゲインの増加は、いずれも、瞳孔像(徹照像)の輝度の増加に寄与する。画像パラメータに関する判定条件の変更は、例えば、第1の条件の閾値を下げるものであり、瞳孔像(徹照像)の明るさが多少不十分であっても医療行為(手術など)の継続を優先するものであると言える。報知、照明光の増加、ゲインの増加、及び、画像パラメータに関する判定条件の変更のうちから眼科観察装置1が処理を選択して実行してもよい。また、報知、照明光の増加、ゲインの増加、及び、画像パラメータに関する判定条件の変更のうちのいずれかをデフォルトで実行するように構成されてもよい。また、報知、照明光の増加、ゲインの増加、及び、画像パラメータに関する判定条件の変更のうちの2つ以上の組み合わせて実行してもよい。例えば、照明光学系30及び観察光学系40を移動しても第1の条件の閾値以上の輝度が得られなかった場合、眼科観察装置1は、まず、報知を行うことができる。これにより、ユーザーは、光学系の位置の自動探索で十分な明るさの徹照像が得られなかったことを知ることができる。次に、眼科観察装置1は、(例えば、ユーザーの指示を受けて、又は、自動的に)光源31LA及び31RAの光量を増加する。次に、眼科観察装置1は、光学系の位置の自動探索を再度実行する。この自動探索でも徹照像の輝度が不足している場合、眼科観察装置1は、観察光学系40の撮像素子62L及び62Rのゲインを上げる。次に、眼科観察装置1は、光学系の位置の自動探索を再度実行する。この自動探索でも徹照像の輝度が不足している場合、眼科観察装置1は、第1の条件の閾値を所定値だけ下げる。次に、眼科観察装置1は、光学系の位置の自動探索を再度実行する。この自動探索でも徹照像の輝度が不足している場合、眼科観察装置1は、再度報知を行う。この報知は、一連の自動探索では十分な明るさの徹照像が得られないことをユーザーに知らせるものであり、手動操作への移行を促すものである。手動操作では、例えば、照明光学系30及び観察光学系40の位置調整、照明光量の調整、ゲインの調整、第1の条件の閾値の調整などを含んでいてよい。
 これにより、手術用顕微鏡10の光学系の位置の自動探索を実行しても良好な品質の画像が得られない場合において、様々な好適な対処を行うことが可能になる。
 手術用顕微鏡10の光学系の位置の自動探索によって良好な品質の画像が得られた場合(自動探索に成功した場合)において、必要最低限の明るさの像が得られる場合も想定される。そのような場合、被検者への負担を低減するために、照明光量を低下させることができる(第3の制御部)。例えば、光学系の位置の自動探索に成功した後、眼科観察装置1の制御部200は、画像パラメータが所定の範囲に含まれることを条件として、照明光学系30による照明光量を低下させることができる。この所定の範囲は、例えば、第1の条件の閾値以上の範囲である。
 これにより、手術用顕微鏡10の光学系の位置の自動探索に成功した場合に、良好な品質の画像が得られることを条件として照明光量を低下させて被検者への負担を低減させることが可能になる。
 後眼部手術を行う場合のように観察対象が後眼部である場合において、眼科観察装置1は、上記した前眼部観察の場合と同様の処理を実行することができる。例えば、眼科観察装置1は、移動機構70により照明光学系30及び観察光学系40を移動しつつ手術用顕微鏡10により動画像を生成し、この動画像に含まれる複数の静止画像を解析部211により逐次に解析して後眼部の所定部位(例えば、視神経乳頭)の像を逐次に検出し、逐次に検出される像における所定の画像パラメータ(例えば、輝度)の変化に基づいて移動機構70を制御することができる。これにより、前眼部観察の場合と同様の作用及び効果が後眼部観察においても奏される。前眼部観察の場合について説明された任意の事項を後眼部観察の場合に組み合わせることが可能である。
<動作・使用形態>
 眼科観察装置1の動作及び使用形態について説明する。眼科観察装置1の動作及び使用形態の例を図6に示す。本例では、同軸照明の場合について説明するが、他の照明法(例えば、斜め照明)の場合や、後眼部観察の場合においても、同様の動作及び使用形態を実施することが可能である。
(S1:同軸照明でライブ画像の生成及び表示を開始)
 まず、ユーザーは、操作装置2を用いて所定の操作を行うことで、同軸照明を選択するとともに、眼科観察装置1による被検眼(前眼部)のライブ画像の生成及び表示を開始させる。具体的には、手術用顕微鏡10は、照明光学系30(第1照明光学系31L及び31R)によって被検眼を照明しつつ撮像素子62L及び62Rによって被検眼のデジタル画像データ(映像)を生成する。生成された映像(ライブ画像301)は、表示装置3にリアルタイムで表示される(図7Aを参照)。つまり、手術用顕微鏡10により取得される動画像が表示装置3にライブ画像(観察画像)として表示される。ユーザーは、このライブ画像を観察しながら手術を行うことができる。
(S2:ライブ画像から瞳孔中心を検出する)
 次に、データ処理部210(例えば、解析部211)は、ステップS1で生成が開始されたライブ画像(そのフレーム)から瞳孔中心を検出する。幾つかの態様では、データ処理部210は、まず、二値化やセグメンテーションを適用して角膜輪部302を検出する(図7Bを参照)。なお、データ処理部210は瞳孔縁303を検出してもよい。瞳孔縁303を検出する場合、例えば、瞳孔に相当する低輝度領域を探索し、この低輝度領域をがフレームの中央に配置されるようにした後に、この低輝度領域に楕円近似を適用するようにしてもよい。データ処理部210は、検出された角膜輪部302に基づいて瞳孔中心に相当する位置(ピクセル)304を特定する(図7Cを参照)。例えば、データ処理部210は、検出された角膜輪部302の近似楕円(近似円)を求め、この近似楕円の中心を特定する。近似楕円の中心の特定は、例えば、公知の幾何学的方法によって実行される。
(S3:瞳孔中心に光学系の光軸を合わせる)
 次に、眼科観察装置1は、手術用顕微鏡10(照明光学系30、観察光学系40)の光軸を、ステップS2で特定された瞳孔中心304に合わせる。例えば、眼科観察装置1は、新たに取得されたフレームと瞳孔中心304の検出に用いられたフレームとのレジストレーションを実行し、このレジストレーションの結果に基づいて新たなフレームにおける瞳孔中心相当位置を特定し、この瞳孔中心相当位置に光軸が配置されるように照明光学系30及び観察光学系40を移動する。
 なお、ユーザーが手動操作によって、手術用顕微鏡10の光軸を瞳孔中心に配置させてもよい。
(S4:瞳孔像を検出する)
 眼科観察装置1(解析部211)は、ステップS3によって手術用顕微鏡10の光軸が瞳孔中心304に移動された後のライブ画像から瞳孔像を検出する。
(S5:瞳孔像の輝度を算出する)
 次に、眼科観察装置1は、ステップS4で検出された瞳孔像の輝度を算出する。瞳孔像の輝度算出の第1の例として、データ処理部210(例えば、解析部211)は、瞳孔像(及びその近傍)を複数の部分領域に分割する処理と、各部分領域の輝度の代表値(例えばい、平均値、最大値、最頻値、中央値など、任意の統計値)を求める処理と、複数の部分領域について得られた輝度の代表値の分布に基づき瞳孔像の輝度を決定する処理とを実行する。瞳孔像の輝度を当該分布から決定する処理は、任意の統計処理を含んでよく、例えば、平均の算出、最大値の特定、最頻値の特定、中央値の特定などを含んでいてよい。瞳孔像の輝度算出の第2の例として、データ処理部210(例えば、解析部211)は、瞳孔像内の複数の画素(全ての画素、又は、選択された画素群)の輝度から所定の統計手法によって瞳孔像の輝度を決定することができる。
(S6:輝度は閾値以上且つ最大か?)
 次に、眼科観察装置1(制御部200又はデータ処理部210)は、ステップS5で算出された瞳孔像の輝度が所定の閾値以上であるか判定し、且つ、瞳孔像の輝度が最大値(極大値)であるか判定する。なお、これらの判定処理の一方のみを実行してもよい。閾値判定は、瞳孔像の輝度と閾値との比較によって行われる。この閾値は、例えば、前述した第1の条件の閾値であってよい。最大値判定は、照明光学系30及び観察光学系40の移動に伴う輝度の変化を監視することによって行われる。例えば、輝度の変化が増加から減少に変わる位置を探索することによって、照明光学系30及び観察光学系40の或る位置が輝度最大となる位置であるか判定することができる(つまり、輝度が最大となる照明光学系30及び観察光学系40の位置を求めることができる)。
 ステップS5で算出された瞳孔像の輝度が閾値以上であると判定され、且つ、瞳孔像の輝度が最大値であると判定された場合(S6:Yes)、動作はステップS8に移行する。ステップS5で算出された瞳孔像の輝度が閾値未満であると判定された場合、及び/又は、瞳孔像の輝度が最大値ではないと判定された場合(S6:No)、動作はステップS7に移行する。
(S7:光学系を移動する)
 ステップS6において「No」と判定された場合、眼科観察装置1(制御部200、移動機構70)は、照明光学系30及び観察光学系40を移動する。移動方向は任意であってよく、上下方向(Z方向)、左右方向(X方向)、及び前後方向(Y方向)のいずれか1つ以上の方向であってよい。また、前述したように、輝度の変化に基づいて移動方向を決定してもよい。移動量(移動距離)は、予め設定されていてもよいし、輝度の変化に基づいて決定してもよい。
(S8:光学系の移動を終了する)
 ステップS6において「Yes」と判定された場合、眼科観察装置1(制御部200)は、照明光学系30及び観察光学系40の移動を終了する(エンド)。これにより、瞳孔像の輝度が閾値以上且つ最大となる位置に照明光学系30及び観察光学系40が配置される。つまり、輝度が閾値以上且つ最大である徹照像が得られる。
 本例の動作及び使用形態に、前述した事項のいずれかを組み合わせることができる。例えば、瞳孔像の輝度が規定値(前述した第2の条件の閾値)を下回ったときに、照明光学系30及び観察光学系40を再度移動させて瞳孔像の輝度が最大になる位置を探索し、その位置に照明光学系30及び観察光学系40を配置することができる。また、照明光学系30及び観察光学系40を移動しても閾値以上の輝度が得られない場合、報知、照明光量の増加、撮像素子のゲインの増加、閾値の低減などの処理を実行することができる。また、瞳孔像の輝度が閾値以上且つ最大となる位置に照明光学系30及び観察光学系40が移動された後、瞳孔像の輝度が規定値以上となる範囲において照明光量を下げることによって、被検者への負担を低減させてもよい。
<眼科観察装置を制御する方法>
 例示的な実施形態(例えば、上記した眼科観察装置1)は、眼科観察装置を制御する方法を提供する。以下に説明する例示的な方法に対し、上記実施形態の眼科観察装置1に関する任意の事項を組み合わせることが可能である。
 例示的な態様の方法によって制御される眼科観察装置は、被検眼を観察するための光学系(例えば、移動機構70によって移動される照明光学系30及び観察光学系40)と、プロセッサ(例えば、制御部200及びデータ処理部210)とを含む。例示的な態様の方法は、まず、光学系の移動と光学系による被検眼の動画像の生成とを並行して実行させる。更に、例示的な態様の方法は、プロセッサに、動画像に含まれる複数の静止画像の逐次解析を実行させて被検眼の所定部位の像を逐次に検出させる。加えて、例示的な態様の方法は、プロセッサに、逐次に検出される所定部位の像における所定の画像パラメータの変化に基づいて光学系の移動を実行させる。
 このような例示的な態様の方法によれば、上記実施形態の眼科観察装置1と同様の作用及び効果を奏することができる。また、上記実施形態の眼科観察装置1に関する事項を例示的な態様の方法に組み合わせることで、その結果として得られる方法は、組み合わされた事項に対応する作用及び効果を奏することができる。
<プログラム>
 例示的な実施形態は、上記した例示的な態様の方法をコンピュータに実行させるプログラムを提供する。このようなプログラムに対して、上記実施形態の眼科観察装置1に関する事項を組み合わせることが可能である。
 このようなプログラムによれば、上記実施形態の眼科観察装置1と同様の作用及び効果を奏することができる。また、上記実施形態の眼科観察装置1に関する事項をプログラムに組み合わせることで、その結果として得られるプログラムは、組み合わされた事項に対応する作用及び効果を奏することができる。
<記録媒体>
 例示的な実施形態は、上記したプログラムを記録したコンピュータ可読な非一時的記録媒体を提供する。このような記録媒体に対して、上記実施形態の眼科観察装置1に関する事項を組み合わせることが可能である。非一時的記録媒体の形態は、任意であってよく、その例として、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどがある。
 このような記録媒体によれば、上記実施形態の眼科観察装置1と同様の作用及び効果を奏することができる。また、上記実施形態の眼科観察装置1に関する事項を記録媒体に組み合わせることで、その結果として得られる記録媒体は、組み合わされた事項に対応する作用及び効果を奏することができる。
 本開示によれば、例えば同軸照明の眼底反射の戻り強度が良好(閾値以上、最大)となる位置を自動で決定して顕微鏡光学系を移動することで、観察環境の自動的な最適化を図ることができる。また、被検者や被検眼が動いたときにも同様の動作を行うことで、良好な観察環境を保つことができる。また、同軸照明以外の照明法(例えば、斜め照明)においても同様の動作を行うことができるが、ユーザーの好みなどが反映される場合などにおいてはユーザー毎のプリセット情報を準備しておいてもよい。
 また、本開示によれば、その動作が正しく機能している限り、ユーザーは常に最適な照明状態で眼を観察することができ、手術の成功率の向上、手術時間の短縮、照明光量の低減などを図ることができる。これにより、患者の負担が軽減される。例えば、白内障手術において本開示を利用すれば、同軸照明において好適な徹照像が得られるため、水晶体乳化吸引作業や後嚢研磨作業などを適切に且つ効率的に行うことが可能になる。
 本開示は、実施態様を例示したものに過ぎず、本開示及びその均等の範囲内において任意の変形、省略、追加、置換などを施すことが可能である。
1 眼科観察装置
2 操作装置
3 表示装置
10 手術用顕微鏡
30 照明光学系
40 観察光学系
200 制御部
210 データ処理部
211 解析部
212 判定部

Claims (20)

  1.  被検眼を観察するための眼科観察装置であって、
     前記被検眼を照明及び撮影して動画像を生成する動画像生成部と、
     前記動画像生成部を移動する移動機構と、
     前記移動機構により移動される前記動画像生成部によって生成される前記動画像に含まれる複数の静止画像を逐次に解析して、前記被検眼の所定部位の像を逐次に検出する解析部と、
     前記解析部により逐次に検出される前記像における所定の画像パラメータの変化に基づいて前記移動機構を制御する第1の制御部と
     を含む、眼科観察装置。
  2.  前記第1の制御部は、前記解析部により逐次に検出される前記像における前記画像パラメータが第1の条件を満足したとき、前記動画像生成部の移動を停止するように前記移動機構を制御する、
     請求項1の眼科観察装置。
  3.  前記画像パラメータは、輝度を含み、
     前記第1の条件は、前記輝度が最大であること、及び、前記輝度が第1の閾値以上であることの少なくとも一方を含む、
     請求項2の眼科観察装置。
  4.  前記第1の制御部は、前記解析部により逐次に検出される前記像における前記画像パラメータが第2の条件を満足したとき、前記動画像生成部の移動を開始するように前記移動機構を制御する、
     請求項1~3のいずれかの眼科観察装置。
  5.  前記画像パラメータは、輝度を含み、
     前記第2の条件は、前記輝度が第2の閾値未満であることを含む、
     請求項4の眼科観察装置。
  6.  前記第1の制御部は、前記画像パラメータの変化に基づいて前記動画像生成部の移動方向を決定し、決定された前記移動方向に基づいて前記移動機構の制御を行う、
     請求項1~5のいずれかの眼科観察装置。
  7.  前記動画像生成部は、前記被検眼の前眼部の動画像を生成し、
     前記所定部位は、瞳孔を含む、
     請求項1~6のいずれかの眼科観察装置。
  8.  前記動画像生成部は、前記被検眼の後眼部の動画像を生成し、
     前記所定部位は、視神経乳頭を含む、
     請求項1~6のいずれかの眼科観察装置。
  9.  前記第1の制御部により実行される前記画像パラメータの変化に基づく前記移動機構の制御の有効化及び無効化を行うことが可能である、
     請求項1~8のいずれかの眼科観察装置。
  10.  前記解析部により逐次に検出される前記像における前記画像パラメータが第3の条件を満足したときに報知を行う報知部を更に含む、
     請求項1~9のいずれかの眼科観察装置。
  11.  前記報知に対するユーザーの応答を受け付ける応答受付部を更に含み、
     前記第1の制御部は、前記応答受付部により受け付けられた前記応答に基づいて前記移動機構の制御を行う、
     請求項10の眼科観察装置。
  12.  前記第1の制御部により実行される前記画像パラメータの変化に基づく前記移動機構の制御を実行するか否か判定する判定部を更に含む、
     請求項1~11のいずれかの眼科観察装置。
  13.  前記判定部は、前記動画像生成部によって生成される前記動画像に基づいて判定を行う、
     請求項12の眼科観察装置。
  14.  前記判定部は、前記動画像生成部によって生成される前記動画像に基づいて前記被検眼に対する処置が行われているか判定し、前記処置が行われていると判定されたときには前記移動機構の制御を実行しないと判定する、
     請求項13の眼科観察装置。
  15.  前記画像パラメータの変化に基づく前記移動機構の制御において得られた前記画像パラメータの最適値が第4の条件を満足したときに、報知、前記動画像生成部による照明光量の増加、前記動画像生成部の撮像素子のゲインの増加、及び、前記画像パラメータに関する判定条件の変更の少なくとも1つを実行する第2の制御部を更に含む、
     請求項1~14のいずれかの眼科観察装置。
  16.  前記画像パラメータの変化に基づく前記移動機構の制御の後、前記画像パラメータが所定の範囲に含まれることを条件として、前記動画像生成部による照明光量を低下させる第3の制御部を更に含む、
     請求項1~15のいずれかの眼科観察装置。
  17.  前記画像パラメータは、輝度、コントラスト、鮮鋭度、及び色調の少なくとも1つを含む、
     請求項1~16のいずれかの眼科観察装置。
  18.  被検眼を観察するための光学系とプロセッサとを含む眼科観察装置を制御する方法であって、
     前記光学系の移動と前記光学系による前記被検眼の動画像の生成とを並行して実行させ、
     前記プロセッサに、前記動画像に含まれる複数の静止画像の逐次解析を実行させて前記被検眼の所定部位の像を逐次に検出させ、
     前記プロセッサに、逐次に検出される前記像における所定の画像パラメータの変化に基づいて前記光学系の移動を実行させる、
     方法。
  19.  請求項18の方法をコンピュータに実行させるプログラム。
  20.  請求項19のプログラムが記録されたコンピュータ可読な非一時的記録媒体。
PCT/JP2020/045760 2020-10-27 2020-12-09 眼科観察装置、その制御方法、プログラム、及び記録媒体 WO2022091430A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/033,815 US20230404400A1 (en) 2020-10-27 2020-12-09 Ophthalmic observation apparatus, method for controlling the same, and recording medium
JP2022558822A JPWO2022091430A1 (ja) 2020-10-27 2020-12-09

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063106087P 2020-10-27 2020-10-27
US63/106,087 2020-10-27

Publications (1)

Publication Number Publication Date
WO2022091430A1 true WO2022091430A1 (ja) 2022-05-05

Family

ID=81382141

Family Applications (5)

Application Number Title Priority Date Filing Date
PCT/JP2020/045760 WO2022091430A1 (ja) 2020-10-27 2020-12-09 眼科観察装置、その制御方法、プログラム、及び記録媒体
PCT/JP2020/045761 WO2022091431A1 (ja) 2020-10-27 2020-12-09 眼科観察装置
PCT/JP2020/045754 WO2022091428A1 (ja) 2020-10-27 2020-12-09 眼科観察装置、その制御方法、プログラム、及び記録媒体
PCT/JP2020/045755 WO2022091429A1 (ja) 2020-10-27 2020-12-09 眼科観察装置
PCT/JP2021/003639 WO2022091435A1 (ja) 2020-10-27 2021-02-02 眼科観察装置、その制御方法、プログラム、及び記録媒体

Family Applications After (4)

Application Number Title Priority Date Filing Date
PCT/JP2020/045761 WO2022091431A1 (ja) 2020-10-27 2020-12-09 眼科観察装置
PCT/JP2020/045754 WO2022091428A1 (ja) 2020-10-27 2020-12-09 眼科観察装置、その制御方法、プログラム、及び記録媒体
PCT/JP2020/045755 WO2022091429A1 (ja) 2020-10-27 2020-12-09 眼科観察装置
PCT/JP2021/003639 WO2022091435A1 (ja) 2020-10-27 2021-02-02 眼科観察装置、その制御方法、プログラム、及び記録媒体

Country Status (5)

Country Link
US (5) US20230397809A1 (ja)
EP (4) EP4238479A1 (ja)
JP (5) JPWO2022091430A1 (ja)
CN (4) CN116507266A (ja)
WO (5) WO2022091430A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001276111A (ja) * 2000-03-31 2001-10-09 Nidek Co Ltd 眼科手術装置
JP2017012430A (ja) * 2015-06-30 2017-01-19 株式会社トプコン 眼科用顕微鏡システム
JP2020116140A (ja) * 2019-01-24 2020-08-06 株式会社トプコン 眼科装置、その制御方法、プログラム、及び記録媒体

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7311402B2 (en) 2001-09-07 2007-12-25 Kabushiki Kaisha Topcon Eye optical characteristic measuring instrument
JP4638783B2 (ja) * 2005-07-19 2011-02-23 オリンパスイメージング株式会社 3d画像ファイルの生成装置、撮像装置、画像再生装置、画像加工装置、及び3d画像ファイルの生成方法
JP2013027672A (ja) * 2011-07-29 2013-02-07 Nidek Co Ltd 眼底撮影装置
US9278029B2 (en) * 2011-10-19 2016-03-08 Iridex Corporation Short duration pulse grid pattern laser treatment and methods
JP6173169B2 (ja) * 2012-11-26 2017-08-02 キヤノン株式会社 眼科装置及び眼科装置の制御方法
WO2016149155A1 (en) * 2015-03-13 2016-09-22 Richard Awdeh Methods and systems for regitration using a microscope insert
JP6456208B2 (ja) * 2015-03-26 2019-01-23 キヤノン株式会社 眼科装置及び眼科装置の制御方法
JP6685151B2 (ja) 2016-03-08 2020-04-22 株式会社トプコン 眼科装置
WO2017221507A1 (ja) * 2016-06-21 2017-12-28 オリンパス株式会社 内視鏡システム
JP6812724B2 (ja) * 2016-09-30 2021-01-13 株式会社ニデック 眼科手術システム、眼科手術システム制御プログラム、および眼科用手術顕微鏡
EP3607922B1 (en) * 2017-05-09 2022-07-20 Sony Group Corporation Image processing device, image processing method, and image processing program
WO2019059314A1 (ja) * 2017-09-22 2019-03-28 株式会社ニコン 画像表示装置及び画像表示システム
JP2019092844A (ja) 2017-11-22 2019-06-20 株式会社トプコン 前置レンズ装置及び眼科用顕微鏡
JP7070992B2 (ja) 2018-03-20 2022-05-18 i-PRO株式会社 眼科手術装置および眼科撮影装置
DE102018208014A1 (de) * 2018-05-22 2019-11-28 Carl Zeiss Meditec Ag Planungseinrichtung für eine Astigmatismus-Korrektur
JP6638050B2 (ja) 2018-10-23 2020-01-29 株式会社トプコン 眼科手術用顕微鏡および眼科手術用アタッチメント
JP2020130607A (ja) * 2019-02-20 2020-08-31 ソニー株式会社 制御装置、眼科用顕微鏡システム、眼科用顕微鏡及び画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001276111A (ja) * 2000-03-31 2001-10-09 Nidek Co Ltd 眼科手術装置
JP2017012430A (ja) * 2015-06-30 2017-01-19 株式会社トプコン 眼科用顕微鏡システム
JP2020116140A (ja) * 2019-01-24 2020-08-06 株式会社トプコン 眼科装置、その制御方法、プログラム、及び記録媒体

Also Published As

Publication number Publication date
JPWO2022091430A1 (ja) 2022-05-05
WO2022091435A1 (ja) 2022-05-05
JPWO2022091429A1 (ja) 2022-05-05
US20230397811A1 (en) 2023-12-14
JPWO2022091435A1 (ja) 2022-05-05
WO2022091429A1 (ja) 2022-05-05
US20230397810A1 (en) 2023-12-14
US20230397809A1 (en) 2023-12-14
EP4238484A1 (en) 2023-09-06
JPWO2022091428A1 (ja) 2022-05-05
EP4238482A1 (en) 2023-09-06
CN116437849A (zh) 2023-07-14
WO2022091428A1 (ja) 2022-05-05
JPWO2022091431A1 (ja) 2022-05-05
US20240008741A1 (en) 2024-01-11
EP4238483A1 (en) 2023-09-06
US20230404400A1 (en) 2023-12-21
EP4238479A1 (en) 2023-09-06
CN116490117A (zh) 2023-07-25
CN116507268A (zh) 2023-07-28
WO2022091431A1 (ja) 2022-05-05
CN116507266A (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
JP6518054B2 (ja) 眼科装置
JP6685151B2 (ja) 眼科装置
JP6899632B2 (ja) 眼科撮影装置
JP2019041841A (ja) 眼科装置、及びその制御方法
JP7343331B2 (ja) 眼科装置、その制御方法、プログラム、及び、記録媒体
WO2018135175A1 (ja) 眼科装置
WO2019138916A1 (ja) 眼底撮影装置
JP2004024470A (ja) 眼科撮影装置
JP2024016065A (ja) 眼科装置、及び眼科システム
JP2019118720A (ja) 眼底撮影装置
JP7266375B2 (ja) 眼科装置及びその作動方法
WO2022085540A1 (ja) 眼科観察装置、眼科画像処理装置、眼科画像処理方法、プログラム、及び記録媒体
WO2022091430A1 (ja) 眼科観察装置、その制御方法、プログラム、及び記録媒体
JP5522841B2 (ja) 眼底撮影装置
WO2018135174A1 (ja) 眼科装置
JP6958367B2 (ja) 眼底撮影装置
JP6860637B2 (ja) 眼科撮影装置、およびその制御方法
JP7171162B2 (ja) 眼科撮影装置
JP2022071191A (ja) 眼科装置、及びその制御方法
JP2024037413A (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP2020138002A (ja) 眼科装置及びその作動方法
JP2018143561A (ja) 眼科装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20959944

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022558822

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20959944

Country of ref document: EP

Kind code of ref document: A1