WO2022085540A1 - 眼科観察装置、眼科画像処理装置、眼科画像処理方法、プログラム、及び記録媒体 - Google Patents

眼科観察装置、眼科画像処理装置、眼科画像処理方法、プログラム、及び記録媒体 Download PDF

Info

Publication number
WO2022085540A1
WO2022085540A1 PCT/JP2021/037930 JP2021037930W WO2022085540A1 WO 2022085540 A1 WO2022085540 A1 WO 2022085540A1 JP 2021037930 W JP2021037930 W JP 2021037930W WO 2022085540 A1 WO2022085540 A1 WO 2022085540A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
image processing
parameter
moving image
Prior art date
Application number
PCT/JP2021/037930
Other languages
English (en)
French (fr)
Inventor
和広 山田
Original Assignee
株式会社トプコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社トプコン filed Critical 株式会社トプコン
Priority to CN202180071853.2A priority Critical patent/CN116437848A/zh
Priority to EP21882681.6A priority patent/EP4233689A1/en
Publication of WO2022085540A1 publication Critical patent/WO2022085540A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13Ophthalmic microscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • A61B3/005Constructional features of the display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1025Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for confocal scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/145Arrangements specially adapted for eye photography by video means

Definitions

  • the present invention relates to an ophthalmic observation device, an ophthalmic image processing device, an ophthalmic image processing method, a program, and a recording medium.
  • the ophthalmic observation device is a device for observing the patient's eye (called an eye to be inspected). Ophthalmic observation is performed to grasp the condition of the eye to be inspected in various situations such as examination, surgery, and treatment.
  • ophthalmic observation devices provide users with magnified images obtained by objective lenses and variable magnification optical systems via eyepieces, but recent ophthalmic observation devices include objective lenses and variable magnification optics. Some are configured to capture an enlarged image obtained by the system with an image pickup element and display the obtained captured image (the ophthalmologic observation device of the first aspect). Such ophthalmic observation devices include slit lamp microscopes, surgical microscopes, fundus cameras and the like. Further, various ophthalmologic examination devices such as a refractometer, a keratometer, a tonometer, a specular microscope, a wavefront analyzer, and a microperimeter are also provided with a function as an ophthalmologic observation device of the first aspect.
  • ophthalmic observation devices in recent years use optical scanning (the second aspect of the ophthalmic observation device).
  • ophthalmic devices include scanning laser ophthalmoscopes (SLOs), optical coherence tomography (OCT) devices, and the like.
  • SLOs scanning laser ophthalmoscopes
  • OCT optical coherence tomography
  • the ophthalmologic observation device provides a moving image of the eye to be inspected to a user (for example, a medical worker such as a doctor).
  • the ophthalmologic observation device of the first aspect is typically configured to perform moving images using infrared light and / or visible light as illumination light and real-time moving image display of the obtained images.
  • the ophthalmologic observation device of the second aspect typically includes data acquisition by iterative optical scanning, real-time image reconstruction based on sequentially collected datasets, and sequentially reconstructed images. It is configured to perform real-time video display.
  • the real-time moving image provided in this way is called an observation image.
  • the desired image quality differs depending on the user, and also differs depending on the type and phase of examination and surgery. For example, one doctor may prefer an image with a reddish tint and another may prefer an image with a greenish tint.
  • Cataract surgery one of the most common eye surgeries, includes alignment, wound creation, ocular mucous membrane injection, anterior capsule incision (CCC), lens emulsification suction, lens cortex suction, and intraocular lens (IOL) insertion. , IOL centering, eye mucilage removal, wound closure, etc., but the image quality desired by the doctor may differ from phase to phase. Further, there may be a case where it is desired to selectively improve the quality of the image of the region of interest. In addition, the desired image quality may differ depending on the condition of the eye to be inspected.
  • the quality desired for the observation image varies, but in the conventional typical ophthalmologic observation device, the image quality is manually adjusted each time, which is very complicated and time-consuming, and inspection and surgery. It was one of the factors that caused the lengthening of the period. On the other hand, it is conceivable to automatically adjust the image quality, but considering the variety of desired image qualities, the adjustment will be performed manually in the end.
  • One object of the present invention is to provide a new technique for facilitating ophthalmic observation.
  • Some exemplary embodiments are ophthalmologic observation devices for observing the eye to be inspected, including a moving image generation unit that captures the eye to be inspected and generates a first moving image, and the first moving image.
  • An image processing unit that creates a plurality of processed images by applying first image processing using a plurality of values having different predetermined image parameters to the still image, and the plurality of processed images on the first display device. Includes a display control unit to be displayed.
  • the ophthalmologic observation device further includes an instruction receiving unit that receives an instruction for selecting at least one processed image from the plurality of processed images displayed on the first display device.
  • the image processing unit performs second image processing based on at least one value of the image parameter corresponding to the at least one processed image, and the instruction receiving unit is used to select the at least one processed image. After that, it is applied to the second moving image generated by the moving image generation unit, and the display control unit causes the second display device to display the second moving image to which the second image processing is applied.
  • the image processing unit uses the one processed image.
  • Image processing using one value of the image parameter corresponding to is applied to the second moving image as the second image processing.
  • the two image processing units are used. Image processing using one value of the image parameter corresponding to one of the above processed images is applied to the second moving image as the second image processing.
  • the two image processing units are used.
  • One value is determined based on two or more values of the image parameter corresponding to each of the above processed images, and image processing using the one value is applied to the second moving image as the second image processing. ..
  • the ophthalmologic observation device further includes a recording unit that records the one value of the image parameter used in the second image processing.
  • the ophthalmologic observation device further includes an identifier receiving unit that receives an identifier of the user, and the recording unit is associated with the identifier received by the identifier receiving unit and the above 1 of the image parameter. Record one value.
  • the ophthalmologic observation device further includes an attribute information acquisition unit that acquires attribute information indicating the attributes of the medical practice for the eye to be inspected, and the recording unit is acquired by the attribute information acquisition unit.
  • the one value of the image parameter is recorded in association with the attribute information.
  • the image processing unit further includes a selection unit that selects at least one value from the values of the image parameters recorded by the recording unit in the past. Image processing based on the at least one value selected by the selection unit is applied to the third moving image generated by the moving image generation unit.
  • the recording unit records the imaging conditions when the second moving image is generated in association with the one value of the image parameter, and the selection unit. Further selects the imaging conditions associated with the at least one value selected by the selection unit, and the ophthalmic observation device is based on the at least one value and the imaging conditions selected by the selection unit, respectively.
  • the image processing unit includes a determination unit for determining the value of the image parameter, and the image processing unit applies image processing using the value of the image parameter determined by the determination unit to the third moving image.
  • the image processing unit applies the first image processing to a partial image that is a part of the still image included in the first moving image.
  • a plurality of processed partial images as the plurality of processed partial images are created, and the display control unit causes the first display device to display a plurality of images including the plurality of processed partial images.
  • the image processing unit applies segmentation for identifying an image of a predetermined portion of the eye to be inspected to the still image included in the first moving image.
  • a first partial image specifying portion for specifying the partial image is included.
  • the first partial image identification unit applies the segmentation to the second moving image to sequentially sequentially partial images of the still image included in the second moving image.
  • the image processing unit sequentially applies the second image processing to the partial image specified from the still image included in the second moving image.
  • the display control unit displays the first moving image or the still image included in the first moving image on the first display device or the second display device.
  • the ophthalmic observation device further includes a graphical user interface for designating a partial region in the still image contained in the displayed first moving image or the first moving image, and the image processing unit is described as described above. Set the partial image based on the partial area specified using the user interface.
  • the image processing unit is a second partial image specifying unit that sequentially specifies a partial image corresponding to the partial region in the still image included in the second moving image.
  • the image processing unit sequentially applies the second image processing to the partial image specified from the still image included in the second moving image.
  • the display control unit displays thumbnails of two or more processed images or the two or more processed images of the plurality of processed images as the first display device. Display side by side.
  • the display control unit displays thumbnails of two or more processed images or the two or more processed images of the plurality of processed images as the first display device. Is displayed in sequence.
  • the ophthalmologic observation device further includes a monitoring unit that monitors the movement of the eye to be inspected, and the display control unit is a display state of the plurality of processed images based on the output from the monitoring unit. To change.
  • the ophthalmic observation device further includes an abnormality detection unit for detecting an abnormality in the eye to be inspected, and the display control unit is a display control unit for the plurality of processed images based on the output from the abnormality detection unit. Change the display status.
  • the image parameters include a color tone parameter, a brightness parameter, a contrast parameter, a gain parameter, a gamma parameter, a color temperature parameter, a white balance parameter, an RGB balance parameter, and a gray balance parameter.
  • a color tone parameter a color tone parameter
  • a brightness parameter a contrast parameter
  • a gain parameter a gain parameter
  • a gamma parameter a color temperature parameter
  • a white balance parameter a white balance parameter
  • an RGB balance parameter an RGB balance parameter
  • a gray balance parameter includes one or more of edge enhancement parameters, shadow enhancement parameters, sharpening parameters, and high dynamic range parameters.
  • Some exemplary embodiments are ophthalmic image processing devices that process images of the eye under test, a moving image receiving unit that receives the first moving image of the eye under test, and a still image included in the first moving image.
  • An image processing unit that creates a plurality of processed images by applying first image processing using a plurality of values having different predetermined image parameters, and a display for displaying the plurality of processed images on the first display device. Including the control unit.
  • the ophthalmic image processing apparatus further includes an instruction receiving unit that receives an instruction for selecting at least one processed image from the plurality of processed images displayed on the first display device.
  • the image processing unit includes, after the second image processing based on at least one value of the image parameter corresponding to the at least one processed image is performed, after the selection of the at least one processed image based on the instruction is performed. It is applied to the second moving image of the eye to be inspected received by the moving image receiving unit, and the display control unit causes the second display device to display the second moving image to which the second image processing is applied.
  • a few exemplary embodiments are ophthalmic image processing methods that process an image of the eye to be inspected, which accepts the first moving image of the eye to be inspected and is predetermined with respect to the still image included in the first moving image.
  • a plurality of processed images are created by applying the first image processing using a plurality of values having different image parameters, the plurality of processed images are displayed, and at least one of the displayed plurality of processed images is displayed.
  • the second moving image of the eye to be inspected is received, and the said corresponding to the at least one processed image.
  • the second image processing based on at least one value of the image parameter is applied to the second moving image, and the second moving image to which the second image processing is applied is displayed.
  • Some exemplary embodiments are programs that cause a computer to execute the ophthalmic image processing method according to the exemplary embodiments.
  • Some exemplary embodiments are computer-readable non-temporary recording media in which the program according to the exemplary embodiments is recorded.
  • the ophthalmologic observation device is used to grasp the condition of the eye to be inspected in medical practice such as examination, surgery, and treatment of the eye to be inspected.
  • An exemplary embodiment of the ophthalmologic observation device described below is a surgical microscope system, but the ophthalmic observation device is not limited to a surgical microscope system.
  • the ophthalmologic observation device may be any of a slit lamp microscope, a fundus camera, a reflex meter, a keratometer, a tonometer, a specular microscope, a wavefront analyzer, a microperimeter, an SLO, and an OCT device.
  • the system may include any one or more of these.
  • the ophthalmologic observation device may be any ophthalmology device having an observation function.
  • the target site for observation using the ophthalmologic observation device may be any site of the eye to be inspected, and may be any site of the anterior eye and / or any site of the posterior eye.
  • the observation target site of the anterior eye portion includes, for example, the cornea, the iris, the anterior chamber, the angle, the crystalline lens, the ciliary body, and the zonule of Zinn.
  • the observation target site of the posterior eye portion includes, for example, the retina, choroid, sclera, and vitreous body.
  • the observation target site is not limited to the eyeball tissue, and may be any site to be observed in ophthalmology (and / or other departments) such as the eyelid, meibomian gland, orbit.
  • the circuit configuration or processing circuit configuration is a general-purpose processor, a dedicated processor, an integrated circuit, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit) configured and / or programmed to perform at least a part of the disclosed functions. ), ASIC (Application Special Integrated Circuit), programmable logic device (for example, SPLD (Simple Programmable Logical Device), CPLD (Complex Programmable Logic Device), CPLD (Complex Project A processor is considered to be a processing circuit configuration or circuit configuration, including transistors and / or other circuit configurations.
  • circuit configurations, units, means, or similar terms are disclosed.
  • Hardware that performs at least a portion of the disclosed functionality, or hardware that is programmed to perform at least a portion of the disclosed functionality.
  • Hardware is the hardware disclosed herein. It may or may be known hardware programmed and / or configured to perform at least some of the described functions. Processors where the hardware can be considered as a type of circuit configuration. Where is the circuit configuration, unit, means, or similar terminology, a combination of hardware and software, which software is used to configure the hardware and / or processor.
  • ⁇ Ophthalmology observation device The configuration of the ophthalmologic observation device of the exemplary embodiment is shown in FIG.
  • the ophthalmologic observation device 1 (surgical microscope system) according to the embodiment includes an operating device 2, a display device 3, and a surgical microscope 10.
  • the operating microscope 10 may include at least one of an operating device 2 and a display device 3.
  • the display device 3 may not be included in the ophthalmologic observation device 1. That is, the display device 3 may be a peripheral device of the ophthalmologic observation device 1.
  • the operating device 2 includes an operating device and / or an input device.
  • the operating device 2 may include a button, a switch, a mouse, a keyboard, a trackball, an operating panel, a dial, and the like.
  • the operating device 2 includes a foot switch, similar to a general ophthalmologic operating microscope.
  • the display device 3 displays an image of the eye to be inspected acquired by the surgical microscope 10.
  • the display device 3 includes a display device such as a flat panel display. Further, the display device 3 may include various display devices such as a touch panel.
  • a typical display device 3 includes a large screen display device.
  • the display device 3 includes one or more display devices. When the display device 3 includes two or more display devices, for example, one may be a relatively large screen display device and the other one may be a relatively small screen display device.
  • the operating device 2 and the display device 3 do not have to be separate devices.
  • a device such as a touch panel in which an operation function and a display function are integrated may be used as the display device 3.
  • the operating device 2 includes the touch panel and a computer program.
  • the operation content for the operation device 2 is input to the processor (not shown) as an electric signal.
  • the graphical user interface (GUI) displayed on the display device 3 and the operation device 2 may be used to perform operations and information input.
  • the functions of the operating device 2 and the display device 3 may be realized by a touch screen.
  • the operating microscope 10 is used for observing the eyes (optometry) of a patient in the supine position.
  • the surgical microscope 10 photographs the eye to be inspected and generates digital image data.
  • the operating microscope 10 produces a moving image of the eye to be inspected.
  • the moving image (video) generated by the surgical microscope 10 is transmitted to and displayed on the display device 3 through a wired and / or wireless signal path.
  • the user can perform surgery while observing the eye to be inspected by the displayed image.
  • the surgical microscope 10 of some embodiments may be capable of observing through an eyepiece as in the past.
  • the surgical microscope 10 includes a communication device for transmitting and receiving electrical signals to and from the operating device 2.
  • the operation device 2 receives an operation by the user and generates an electric signal (operation signal) corresponding to the operation.
  • the operation signal is transmitted to the operating microscope 10 through a wired and / or wireless signal path.
  • the surgical microscope 10 executes a process corresponding to the received operation signal.
  • the optical axis direction of the objective lens is the z direction (for example, the vertical direction and the vertical direction at the time of surgery), and the predetermined direction orthogonal to the z direction is the x direction (for example, the horizontal direction at the time of surgery, the operator and the operator.
  • the direction perpendicular to both the z direction and the x direction is the y direction (for example, the horizontal direction at the time of surgery, the anterior-posterior direction for the operator, and the body axis direction for the patient).
  • observation optical system has a pair of left and right optical systems (optical systems capable of binocular observation)
  • observation optical system of other embodiments may have an optical system for monocular observation, and the configuration described below can be incorporated into such an embodiment.
  • FIG. 2 shows an example of the configuration of the optical system of the surgical microscope 10.
  • FIG. 2 shows a schematic top view of the optical system viewed from above and a schematic side view of the optical system viewed from the side in association with each other.
  • the illustration of the illumination optical system 30 arranged above the objective lens 20 is omitted.
  • the operating microscope 10 includes an objective lens 20, a dichroic mirror DM1, an illumination optical system 30, and an observation optical system 40.
  • the observation optical system 40 includes a zoom expander 50 and an image pickup camera 60.
  • the illumination optical system 30 or the observation optical system 40 comprises a dichroic mirror DM1.
  • the objective lens 20 is arranged so as to face the eye to be inspected.
  • the objective lens 20 is arranged so that its optical axis is along the z direction.
  • the objective lens 20 may include two or more lenses.
  • the dichroic mirror DM1 couples the optical path of the illumination optical system 30 and the optical path of the observation optical system 40.
  • the dichroic mirror DM1 is arranged between the illumination optical system 30 and the objective lens 20.
  • the dichroic mirror DM1 transmits the illumination light from the illumination optical system 30 and guides it to the eye to be inspected through the objective lens 20, and reflects the return light from the eye to be inspected incident through the objective lens 20 to observe the observation optical system. It leads to the image pickup camera 60 of 40.
  • the dichroic mirror DM1 coaxially couples the optical path of the illumination optical system 30 and the optical path of the observation optical system 40. That is, the optical axis of the illumination optical system 30 and the optical axis of the observation optical system 40 intersect in the dichroic mirror DM1.
  • the illumination optical system 30 includes an illumination optical system for the left eye (31L) and an illumination optical system for the right eye (31R)
  • the observation optical system 40 includes an observation optical system 40L for the left eye and an observation optical system 40R for the right eye.
  • the dichroic mirror DM1 coaxially couples the optical path of the left-eye illumination optical system (first illumination optical system 31L) and the optical path of the left-eye observation optical system 40L, and the right-eye illumination optical system.
  • the optical path of the (first illumination optical system 31R) and the optical path of the observation optical system 40R for the right eye are coaxially coupled.
  • the illumination optical system 30 is an optical system for illuminating the eye to be inspected via the objective lens 20.
  • the illumination optical system 30 may be configured to illuminate the eye to be inspected by any one of two or more illumination lights having different color temperatures.
  • the illumination optical system 30 projects illumination light having a specified color temperature onto the eye to be inspected under the control of the control unit (200) described later.
  • the illumination optical system 30 includes a first illumination optical system 31L and 31R and a second illumination optical system 32.
  • Each of the optical axis OL of the first illumination optical system 31L and the optical axis OR of the first illumination optical system 31R are arranged substantially coaxially with the optical axis of the objective lens 20.
  • so-called "0 degree illumination” can be realized, and a transillumination image using diffuse reflection at the fundus can be obtained.
  • the second illumination optical system 32 is arranged so that its optical axis OS is eccentric from the optical axis of the objective lens 20.
  • the deviation of the optical axis OS with respect to the optical axis of the objective lens 20 is larger than the deviation of the optical axes OL and OR with respect to the optical axis of the objective lens 20. It is arranged like this.
  • so-called "angled illumination (diagonal illumination)" can be realized, and the eye to be inspected can be observed binocularly while preventing ghosts from being mixed due to corneal reflexes and the like. Furthermore, it becomes possible to observe the unevenness of the site or tissue of the eye to be inspected in detail.
  • the first illumination optical system 31L includes a light source 31LA and a condenser lens 31LB.
  • the light source 31LA outputs, for example, illumination light having a wavelength in the visible region corresponding to a color temperature of 3000 K (Kelvin).
  • the illumination light output from the light source 31LA passes through the condenser lens 31LB, passes through the dichroic mirror DM1, passes through the objective lens 20, and is incident on the eye to be inspected.
  • the first illumination optical system 31R includes a light source 31RA and a condenser lens 31RB.
  • the light source 31RA also outputs illumination light having a wavelength in the visible region corresponding to, for example, a color temperature of 3000 K.
  • the illumination light output from the light source 31RA passes through the condenser lens 31RB, passes through the dichroic mirror DM1, passes through the objective lens 20, and is incident on the eye to be inspected.
  • the second illumination optical system 32 includes a light source 32A and a condenser lens 32B.
  • the light source 32A outputs, for example, illumination light having a wavelength in the visible region corresponding to a color temperature of 4000K to 6000K.
  • the illumination light output from the light source 32A passes through the condenser lens 32B, passes through the objective lens 20 without passing through the dichroic mirror DM1, and is incident on the eye to be inspected.
  • the color temperature of the illumination light from the first illumination optical system 31L and 31R is lower than the color temperature of the illumination light from the second illumination optical system 32.
  • each of the optical axes OL and OR is movable relative to the optical axis of the objective lens 20.
  • the direction of this relative movement is a direction that intersects the optical axis of the objective lens 20, and this relative movement is represented by a displacement vector in which at least one of the x component and the y component is not zero.
  • the optical axes OL and OR may be independently movable.
  • the optical axes OL and OR may be integrally movable.
  • the surgical microscope 10 includes a moving mechanism (31d) that moves the first illuminating optical systems 31L and 31R independently or integrally, and the moving mechanism causes the first illuminating optical systems 31L and 31R to move independently.
  • the moving mechanism operates under the control of the control unit (200) described below.
  • the optical axis OS is movable relative to the optical axis of the objective lens 20.
  • the direction of this relative movement is a direction that intersects the optical axis of the objective lens 20, and this relative movement is represented by a displacement vector in which at least one of the x component and the y component is not zero.
  • the surgical microscope 10 includes a moving mechanism (32d) for moving the second illumination optical system 32, and the movement mechanism moves the second illumination optical system 32 in a direction intersecting the optical axis of the objective lens 20. do.
  • the moving mechanism operates under the control of the control unit (200) described below.
  • the illumination optical system 30 is arranged at a position directly above the objective lens 20 (the position in the transmission direction of the dichroic mirror DM1), and the observation optical system 40 is located at the position in the reflection direction of the dichroic mirror DM1. Is placed.
  • the observation optical system 40 may be arranged so that the angle formed by the optical axis of the observation optical system 40 and the plane (xy plane) orthogonal to the optical axis of the objective lens 20 is ⁇ 20 degrees or less.
  • the observation optical system 40 having a longer optical path length than the illumination optical system 30 is generally arranged substantially parallel to the xy plane, so that the observation optical system is in the vertical direction in front of the operator's eyes. It does not obstruct the operator's field of view like a conventional operating microscope placed in. Therefore, the operator can easily see the screen of the display device 3 installed on the front surface. That is, the visibility of the displayed information (images and videos of the eye to be inspected and other various reference information) during surgery and the like is improved. Further, since the housing is not arranged in front of the operator's eyes, the operator does not feel oppressive and the burden on the operator is reduced.
  • the observation optical system 40 is an optical system for observing an image formed based on the return light of the illumination light incident from the eye to be inspected through the objective lens 20.
  • the observation optical system 40 provides an image to the image pickup device of the image pickup camera 60.
  • the observation optical system 40 includes an observation optical system 40L for the left eye and an observation optical system 40R for the right eye.
  • the configuration of the observation optical system 40L for the left eye is the same as the configuration of the observation optical system 40R for the right eye.
  • the observation optical system 40L for the left eye and the observation optical system 40R for the right eye may be able to change their optical arrangements independently of each other.
  • the zoom expander 50 is also called a beam expander, a variable beam expander, or the like.
  • the zoom expander 50 includes a zoom expander 50L for the left eye and a zoom expander 50R for the right eye.
  • the configuration of the left eye zoom expander 50L is the same as the configuration of the right eye zoom expander 50R.
  • the left eye zoom expander 50L and the right eye zoom expander 50R may be capable of changing their optical arrangements independently of each other.
  • the left eye zoom expander 50L includes a plurality of zoom lenses 51L, 52L and 53L. At least one of the plurality of zoom lenses 51L, 52L and 53L can be moved in the optical axis direction by a scaling mechanism (not shown).
  • the zoom expander 50R for the right eye includes a plurality of zoom lenses 51R, 52R and 53R, and at least one of the plurality of zoom lenses 51R, 52R, 53R is illuminated by a scaling mechanism (not shown). It can move in the axial direction.
  • the scaling mechanism may be configured to move each zoom lens of the left eye zoom expander 50L and each zoom lens of the right eye zoom expander 50R independently or integrally in the optical axis direction. As a result, the magnifying power when the eye to be inspected is photographed is changed.
  • the scaling mechanism operates under the control of the control unit (200) described below.
  • the image pickup camera 60 is a device that captures an image formed by the observation optical system 40 and generates digital image data, and is typically a digital camera (digital video camera).
  • the image pickup camera 60 includes a left eye image pickup camera 60L and a right eye image pickup camera 60R.
  • the configuration of the left-eye image pickup camera 60L is the same as the configuration of the right-eye image pickup camera 60R.
  • the left-eye image pickup camera 60L and the right-eye image pickup camera 60R can change their optical arrangements independently of each other.
  • the left eye image pickup camera 60L includes an image pickup lens 61L and an image pickup element 62L.
  • the image pickup lens 61L forms an image based on the return light that has passed through the left eye zoom expander 50L on the image pickup surface of the image pickup element 62L.
  • the image pickup device 62L is an area sensor, and may be typically a charge-coupled device (CCD) image sensor or a complementary metal oxide semiconductor (CMOS) image sensor.
  • CCD charge-coupled device
  • CMOS complementary metal oxide semiconductor
  • the image pickup camera 60R for the right eye includes an image pickup lens 61R and an image pickup element 62R.
  • the imaging lens 61R forms an image based on the return light that has passed through the zoom expander 50R for the right eye on the imaging surface of the imaging element 62L.
  • the image pickup device 62R is an area sensor, and may be typically a CCD image sensor or a CMOS image sensor.
  • the image sensor 62R operates under the control of the control unit (200) described later.
  • FIGS. 3 to 10 Some configuration examples of the processing system are shown in FIGS. 3 to 10. Any two or more of the plurality of configuration examples described below can be combined at least partially. The configuration of the processing system is not limited to these examples.
  • the control unit 200 controls each unit of the ophthalmologic observation device 1.
  • the control unit 200 includes a main control unit 201 and a storage unit 202.
  • the main control unit 201 includes a processor and controls each unit of the ophthalmologic observation device 1.
  • the processor can read and execute a program stored in the storage unit 202 or another storage device in order to realize the function according to the present embodiment, and also stores the program in the storage unit 202 or another storage device. It is possible to use (reference, processing, calculation, etc.) the data and information that have been created.
  • the main control unit 201 includes light sources 31LA, 31RA and 32A of the illumination optical system 30, image pickup elements 62L and 62R of the observation optical system 40, moving mechanisms 31d and 32d, scaling mechanisms 50Ld and 50Rd, an operating device 2, a display device 3, and the like. Can be controlled.
  • the control of the light source 31LA includes turning on and off the light source, adjusting the amount of light, adjusting the aperture, and the like.
  • the control of the light source 31RA includes turning on / off the light source, adjusting the amount of light, adjusting the aperture, and the like.
  • the main control unit 201 can exclusively control the light sources 31LA and 31RA.
  • the control of the light source 32A includes turning on / off the light source, adjusting the amount of light, adjusting the aperture, and the like.
  • the main control unit 201 can change the color temperature of the output illumination light by controlling this light source.
  • the control of the image sensor 62L includes exposure adjustment, gain adjustment, shooting rate adjustment, and the like.
  • the control of the image sensor 62R includes exposure adjustment, gain adjustment, shooting rate adjustment, and the like.
  • the main control unit 201 can control the image pickup devices 62L and 62R so that the shooting timings of the image pickup elements 62L and 62R match, or the difference between the shooting timings of the two is within a predetermined time. Further, the main control unit 201 can control the reading of the digital data obtained by the image pickup devices 62L and 62R.
  • the moving mechanism 31d moves the light sources 31LA and 31RA independently or integrally in a direction intersecting the optical axis of the objective lens 20.
  • the main control unit 201 can move the optical axes OL and OR independently or integrally with respect to the optical axis of the objective lens 20.
  • the moving mechanism 32d moves the light source 32A independently or integrally in the direction intersecting the optical axis of the objective lens 20.
  • the main control unit 201 can move the optical axis OS with respect to the optical axis of the objective lens 20 by controlling the moving mechanism 32d.
  • the main control unit 201 can control the moving mechanisms 31d and 32d in a coordinated manner.
  • the scaling mechanism 50Ld moves at least one of a plurality of zoom lenses 51L to 53L of the left eye zoom expander 50L in the optical axis direction.
  • the main control unit 201 can change the magnification of the observation optical system for the left eye 40L by controlling the scaling mechanism 50Ld.
  • the scaling mechanism 50Rd moves at least one of the plurality of zoom lenses 51R to 53R of the zoom expander 50R for the right eye in the optical axis direction.
  • the main control unit 201 can change the magnifying power of the observation optical system 40R for the right eye by controlling the scaling mechanism 50Rd.
  • Controls for the operating device 2 include operation permission control, operation prohibition control, operation signal transmission control and / or reception control from the operation device 2.
  • the main control unit 201 receives the operation signal generated by the operation device 2 and executes the control corresponding to the received signal.
  • the control for the display device 3 includes information display control and the like.
  • the main control unit 201 can display an image based on the digital image data generated by the image pickup devices 62L and 62R on the display device 3.
  • a moving image (video) based on digital image data (video signal) generated by the image pickup devices 62L and 62R can be displayed on the display device 3, and a still image (still image) included in the moving image (typically).
  • the frame) can be displayed on the display device 3.
  • the main control unit 201 can display an image (moving image, still image, etc.) obtained by processing the digital image data generated by the image pickup elements 62L and 62R on the display device 3.
  • the main control unit 201 can display the display device 3 with arbitrary information generated by the ophthalmology observation device 1 or arbitrary information acquired from the outside by the ophthalmology observation device 1.
  • the main control unit 201 creates an image for the left eye from the digital image data generated by the image pickup element 62L and also creates an image for the right eye from the digital image data generated by the image pickup element 62R.
  • the created left-eye image and right-eye image can be displayed on the display device 3 in a stereoscopic manner.
  • the main control unit 201 can create a pair of left and right parallax images from the left eye image and the right eye image, and display the pair of parallax images on the display device 3.
  • a user (operator or the like) can recognize a pair of parallax images as a stereoscopic image by using a known stereoscopic visual technique.
  • the stereoscopic method applicable to this embodiment may be arbitrary, for example, a stereoscopic method with the naked eye, a stereoscopic method using an auxiliary device (polarized glasses, etc.), an image for the left eye, and an image for the right eye.
  • a stereoscopic method using processing image composition, rendering, etc.
  • a stereoscopic method for displaying a pair of parallax images at the same time a stereoscopic technique for switching and displaying a pair of parallax images, and a combination of two or more of these. It may be one of the stereoscopic viewing methods.
  • the data processing unit 210 executes various data processing. Some examples of the processes that can be executed by the data processing unit 210 will be described below.
  • FIGS. 4 to 10 shows a configuration example of the data processing unit 210 (and related elements). Any two or more of the configuration examples shown in FIGS. 4 to 10 can be combined at least partially.
  • the data processing unit 210 (each element thereof) includes a processor that operates according to predetermined software (program), and is realized by cooperation between hardware and software.
  • the data processing unit 210A shown in FIG. 4 is an example of the data processing unit 210 of FIG.
  • the data processing unit 210A of this example includes an image processing unit 211.
  • the image processing unit 211 uses a plurality of values having different predetermined image parameters for the still image included in the moving image (first moving image, video) of the eye to be inspected generated by the surgical microscope 10 (image processing unit 211). First image processing) is applied respectively. As a result, a plurality of processed images based on this still image are created.
  • the processed image creation process by the image processing unit 211 may be executed in parallel with the moving image shooting of the eye to be inspected by the surgical microscope 10.
  • the type of image parameter used in the first image processing may be arbitrary.
  • the image parameter may include one or more of the types of parameters exemplified below: color tone parameter (parameter for color tone conversion); lightness parameter (parameter for lightness conversion); contrast parameter ( Parameter for contrast conversion); Gain parameter (parameter for changing gain); Gamma parameter (parameter for gamma correction (correction of response characteristics of image gradation)); Color temperature parameter (for color temperature conversion) (Parameter); White balance parameter (parameter for white balance conversion); RGB balance parameter (parameter for balance conversion between R value, G value and B value); Gray balance parameter (for gray balance conversion) Parameters); Edge enhancement parameter (parameter for edge enhancement); Shadow enhancement parameter (parameter for shadow enhancement); Sharpening parameter (parameter for sharpening (sharpening)); High dynamic range parameter (HDR) Parameters for synthesis).
  • image parameters applicable to this example are not limited to the types exemplified here, and more generally, any parameter that can be used to change the appearance of the image (for example, display control parameter, image). It may be a parameter for expression, a parameter for image correction, a parameter for image adjustment, etc.).
  • the image processing unit 211 can apply each of a plurality of image processing using a plurality of values having different one image parameter to the still image included in the first moving image.
  • the image processing unit 211 can apply each of N image processing (color tone conversion) using N values of the color tone parameter to a still image (N is an integer of 2 or more).
  • N is an integer of 2 or more.
  • the image processing unit 211 applies each of a plurality of image processes using a combination of a plurality of different values of the two image parameters to the still image included in the first moving image. can do.
  • the image processing unit 211 performs each of N ⁇ M image processing (color tone conversion and brightness conversion) composed of a combination of N values of the color tone parameter and M values of the brightness parameter for the still image.
  • N ⁇ M image processing color tone conversion and brightness conversion
  • the number of image parameters to be combined may be any number of two or more. Also, it is not necessary to use all of the plurality of values prepared for each image parameter. For example, when N values of the color tone parameter and M values of the lightness parameter are prepared, a combination of N1 value of the color tone parameter and M1 value of the lightness parameter can be considered.
  • the plurality of processed images created in this way are displayed on the display device 3 by the main control unit 201.
  • the main control unit 201 may display the plurality of processed images themselves created by the image processing unit 211 on the display device 3, or display thumbnails (reduced images) of these processed images on the display device 3. You may.
  • the mode of displaying a plurality of processed images may be arbitrary.
  • the main control unit 201 can display two or more processed images (or thumbnails thereof) of the plurality of processed images side by side.
  • the main control unit 201 performs a process of displaying the first group selected from a plurality of processed images in parallel, and a parallel display of the first group to a parallel display of the second group corresponding to a predetermined trigger.
  • the process of switching to may be executed.
  • the trigger for switching the group displayed in parallel is issued manually or automatically.
  • the main control unit 201 can sequentially display two or more processed images (or thumbnails thereof) among the plurality of processed images. Switching of the displayed processed image is performed manually or automatically.
  • the main control unit 201 executes a process of creating the thumbnail from the processed image created by the first image processing.
  • the user for example, an operator, an assistant who has been instructed by the operator, etc.
  • the number of processed images selected may be arbitrary. When one processed image is selected, the processed image is used for the subsequent processing. When two or more processed images are selected, all or part of them are subjected to the subsequent processing.
  • the image processing unit 211A (or the data processing unit 210A) may be configured to select one of two or more selected processed images according to a predetermined algorithm.
  • the ophthalmology observation device 1 has an element (instruction receiving unit) that receives a user's instruction for selecting a processed image.
  • the element that functions as the instruction receiving unit may be arbitrary.
  • the user can give an instruction using the operation device 2.
  • the instruction receiving unit is a voice recognition unit that detects and recognizes a voice instruction, a line-of-sight recognition unit that detects and recognizes a line-of-sight instruction, a brain wave recognition unit that detects and recognizes a brain wave instruction, and a pointing. It may include a pointing recognition unit that detects and recognizes an instruction, a biological signal recognition unit that detects and recognizes an instruction by an arbitrary biological signal, and the like.
  • the ophthalmologic observation device 1 executes processing based on the selected processed image. Some examples of this process will be described below.
  • the image processing unit 211A shown in FIG. 5 is an example of the image processing unit 211 of FIG.
  • the image processing unit 211A of this example includes a processed image creation unit 2111 and a moving image processing unit 2112.
  • the processed image creation unit 2111 executes at least a part of the above processing described with reference to FIG. 4, for example.
  • the moving image processing unit 2112 processes a moving image based on a processed image selected by the user from a plurality of processed images displayed on the display device 3. For example, the moving image processing unit 2112 first acquires the image parameters corresponding to the processed image selected by the user. That is, the moving image processing unit 2112 acquires the values of the image parameters used in the first image processing for creating the processed image selected by the user. Next, the moving image processing unit 2112 applies image processing (second image processing) based on the value of this image parameter to the moving image.
  • the moving image to which the second image processing is applied is at least a moving image (referred to as a second moving image) generated by the surgical microscope 10 after the user selects the processed image.
  • a moving image that has undergone the same image processing as the processed image selected by the user can be obtained. If one or more still images included in the moving image (first moving image) acquired before the user selects the processed image, at least a part of the one or more still images is saved. The same image processing can be applied to.
  • the main control unit 201 causes the display device 3 to display the second moving image to which the second image processing is applied.
  • the ophthalmologic observation device 1 performs real-time application of the second image processing to the moving image (second moving image) acquired by the moving image while taking a moving image of the eye to be inspected by the surgical microscope 10. It is possible to execute the real-time display of the moving image to which the second image processing has been performed. As a result, the user can observe in real time a moving image to which image processing using the same image parameter values as the processed image selected by himself / herself is applied.
  • the number of processed images selected by the user may be arbitrary.
  • the moving image processing unit 2112 performs image processing using the value of the image parameter (one value) corresponding to the selected one processed image. 2 It can be applied to the second moving image as image processing.
  • the moving image processing unit 2112 selects one processed image from the two or more selected processed images, and processes this one image.
  • Image processing using the value (one value) of the image parameter corresponding to the image can be applied to the second moving image as the second image processing.
  • the moving image processing unit 2112 selects one value from two or more values of the image parameters corresponding to the selected two or more processed images, and performs image processing using this one value. 2 It can be applied to the second moving image as image processing.
  • the moving image processing unit 2112 is configured to analyze two or more processed images selected by the user, calculate a predetermined image quality evaluation value, and select one processed image having the optimum image quality evaluation value. It may have been done. Alternatively, when two or more image parameters are used in the first image processing, the moving image processing unit 2112 selects a processed image or determines the image parameter value by referring to the priority among the preset image parameters. It may be configured to make a choice. In this case, for example, the moving image processing unit 2112 is configured to select the optimum value (for example, the highest contrast value) from a plurality of values of the image parameter having the highest priority.
  • the optimum value for example, the highest contrast value
  • the moving image processing unit 2112 is based on two or more values of image parameters corresponding to each of the two or more selected processed images. One value can be determined, and image processing using this one value can be applied to the second moving image as the second image processing.
  • the arithmetic processing for determining one value from two or more values may be arbitrary, for example, statistical arithmetic.
  • the statistical value obtained by this statistical calculation may be any kind of statistical value such as an average value, a median value, a maximum value, and a minimum value. Further, the arithmetic processing to be applied may be set in advance or may be set for each processing.
  • the moving image processing unit 2112 may include the type of image parameters used in the first image processing, the number of processed images selected by the user, the type of image acquired by the surgical microscope 10, and medical practice ( In this example, the type of arithmetic processing (statistical arithmetic) to be applied can be determined based on any one or more factors such as the phase of surgery).
  • the data processing unit 210B shown in FIG. 6 is an example of the data processing unit 210 of FIG.
  • the data processing unit 210B of this example includes an image processing unit 211 and a parameter processing unit 212.
  • the image processing unit 211 may be configured to execute the same processing as the image processing unit 211 or the image processing unit 211A described above.
  • the parameter processing unit 212 executes processing related to image parameters.
  • the image processing unit 211 can perform processing by using the output from the parameter processing unit 212.
  • the parameter processing unit 212 is configured to record the value of the image parameter used in the second image processing by the moving image processing unit 2112 (recording unit), and the image processing unit 211 is recorded by the parameter processing unit 212. It is configured to execute new image processing (for example, new first image processing, new second image processing) using the values of the image parameters.
  • the parameter processing unit 212 as a recording unit may be configured to record only the values of the image parameters used in the second image processing, or may be configured to record other values as well. good.
  • the parameter processing unit 212 as a recording unit may record the value of the image parameter corresponding to each processed image selected by the user, or may correspond to a part of a plurality of processed images selected by the user. You may record one or more values of the image parameters you want, or you may record the values of the manually adjusted image parameters.
  • the parameter processing unit 212A shown in FIG. 7 is an example of the parameter processing unit 212 of FIG.
  • the parameter processing unit 212A includes a parameter recording unit 2121 and a parameter selection unit 2122.
  • the ophthalmology observation device 1 may have an identifier reception unit 221 and an attribute information acquisition unit 222.
  • the ophthalmic observation device 1 may include only one of the identifier reception unit 221 and the attribute information acquisition unit 222.
  • the identifier reception unit 221 receives the user's identifier (user ID).
  • This user is typically a surgeon.
  • the user ID is, for example, a character string or an image (for example, a bar code, a two-dimensional bar code, etc.) assigned to the surgeon (doctor) at the medical institution, the name of the surgeon, and biometric information of the surgeon (for example,). , Face, fingerprint, palm print, iris pattern, voice, etc.).
  • the identifier receiving unit 221 may include any device (hardware, software) for receiving such a user ID, and may include, for example, an operating device 2, a camera, a bar code scanner, a biometric information scanner, a microphone, a processor, or the like. May include.
  • the parameter recording unit 2121 functions as the recording unit described above, and records the value of the image parameter in association with the user ID accepted by the identifier reception unit 221. This makes it possible to identify which user has selected the value of which image parameter. For example, it is possible to search for the value of an image parameter using the user ID as a search query.
  • the attribute information acquisition unit 222 acquires attribute information indicating the attributes of medical practice for the eye to be inspected. That is, the attribute information acquisition unit 222 acquires attribute information indicating various attributes related to the medical practice (surgery in this example) performed on the eye to be inspected by using the ophthalmology observation device 1.
  • the attributes of surgery include the type of surgery according to the surgical site (for example, anterior eye surgery, posterior eye surgery, corneal surgery, corner surgery, hairy surgery, retinal surgery, vitreous surgery, etc.) and diseases.
  • There are various types of surgery for example, cataract surgery, glaucoma surgery, corneal transplant surgery, retinal cell transplant surgery, retinal detachment surgery, laser photocoagulation, etc.).
  • the same applies to medical practices other than surgery eg, examination, treatment, screening, etc.).
  • attribute information may include information indicating multiple phases of surgery.
  • the phases of cataract surgery include alignment, wound creation, ocular mucous membrane injection, CCC, lens emulsification suction, lens cortex suction, IOL insertion, IOL centering, ocular mucous membrane removal, wound closure and the like.
  • Information indicating such a surgical phase can be included in the attribute information.
  • the phase included in the attribute information may be set in advance or may be determined by the operator. Further, two or more phases to which the same image parameter value is applied may be grouped together (phase group).
  • the attribute information may be expressed by, for example, a character string or an image (for example, a bar code, a two-dimensional bar code, etc.) assigned to a medical practice at the medical institution, a name of the medical practice, or the like.
  • a character string or an image for example, a bar code, a two-dimensional bar code, etc. assigned to a medical practice at the medical institution, a name of the medical practice, or the like.
  • the attribute information acquisition unit 222 may include any device (hardware, software) for receiving such attribute information, and may include, for example, an operating device 2, a camera, a bar code scanner, a biometric information scanner, a microphone, and a processor. Etc. may be included.
  • the attribute information acquisition unit 222 analyzes an image (video) generated by the surgical microscope 10, an operation performed using the operation device 2, an image displayed on the display device 3, and the like. It may be configured to automatically identify the current phase. Further, when the surgical procedure is predetermined, the attribute information acquisition unit 222 may be configured to automatically specify the current phase by referring to the steps performed up to the current stage.
  • the main control unit 201 can display the information indicating the phase automatically specified by the attribute information acquisition unit 222 on the display device 3. The user can determine whether or not the displayed information is correct, and input the result of this determination using the operation device 2 or the like. With such a configuration, since the attribute information acquisition unit 222 can automatically confirm the specified phase, it is possible to prevent an erroneous phase from being recorded.
  • the parameter recording unit 2121 as a recording unit records the value of the image parameter in association with the attribute information acquired by the attribute information acquisition unit 222. This makes it possible to identify which image parameter value the user has selected in which medical practice (type, phase, etc.). For example, it is possible to search for the value of an image parameter using the type or phase of surgery as a search query.
  • the attribute information may include arbitrary information such as the degree of disease progression, the date when the medical practice was performed, and the skill level of the operator.
  • the parameter recording unit 2121 as a recording unit has acquired the user ID received by the identifier reception unit 221 and the attribute information acquisition unit 222.
  • the value of the image parameter can be recorded in association with both the attribute information. This makes it possible to identify which image parameter value was selected by which user in which medical practice (type, phase, etc.). For example, it is possible to search for the value of an image parameter using the user ID and / or the type or phase of surgery as a search query.
  • the parameter selection unit 2122 selects at least one value from the image parameter values recorded in the past by the parameter recording unit 2121.
  • the parameter selection unit 2122 can execute the selection of the value of the image parameter by the search query described above.
  • the image processing unit 211 may apply image processing based on the value of the image parameter selected by the parameter selection unit 2122 to the moving image (third moving image) generated by the surgical microscope 10.
  • the third moving image may be an arbitrary moving image, for example, the above-mentioned second moving image, a moving image acquired by another medical act for the same subject, or a medical act for another subject. It may be an acquired moving image or the like.
  • the image processing using the value of the image parameter used in the past by the user can be applied to the third moving image, so that the user's It is possible to easily provide a third moving image of a favorite display mode (hue, brightness, contrast, etc.).
  • image processing using the image parameter value used in the past is applied to the third moving image according to the type and phase of the medical practice. Therefore, it is possible to easily provide a third moving image having a display mode (color, brightness, contrast, etc.) suitable for the type and phase of the medical practice.
  • the parameter processing unit 212B shown in FIG. 8 is an example of the parameter processing unit 212 of FIG.
  • the parameter processing unit 212B includes a parameter recording unit 2121 and a parameter selection unit 2122 as in the parameter processing unit 212A of FIG. 7, and further includes a shooting condition recording unit 2123, a shooting condition selection unit 2124, and a parameter determination unit 2125. There is.
  • the configuration and operation of the parameter recording unit 2121 and the parameter selection unit 2122 may be the same as in the case of FIG. 7, and the description thereof will be omitted.
  • the ophthalmology observation device 1 may include an identifier reception unit 221 and an attribute information acquisition unit 222.
  • the ophthalmic observation device 1 may include only one of the identifier reception unit 221 and the attribute information acquisition unit 222.
  • the configuration and operation of the identifier reception unit 221 and the attribute information acquisition unit 222 may be the same as in the case of FIG. 7, and the description thereof will be omitted.
  • the imaging condition recording unit 2123 records the imaging conditions when the second moving image is generated by the surgical microscope 10 in association with the values of the image parameters recorded by the parameter recording unit 2121.
  • the combination of the parameter recording unit 2121 and the shooting condition recording unit 2123 functions as a recording unit.
  • the imaging conditions may include, for example, lighting conditions, observation conditions, environmental conditions, eye conditions to be inspected, and the like.
  • the illumination conditions include conditions relating to the elements of the illumination optical system 30, and examples thereof include light amount (output light amount from light sources 31LA, 31RA and 32A, output intensity), aperture value of aperture, and illumination mode (0 degree illumination, with angle). Lighting etc.).
  • the observation conditions are conditions relating to the elements of the observation optical system 40, and examples thereof include an aperture value of an aperture, a magnifying magnification, and control values (gain, etc.) of the image pickup devices 62L and 62R.
  • the environmental conditions include conditions relating to the environment at the time of photographing, and examples thereof include the brightness of the room in which the operating microscope 10 is installed.
  • the conditions to be inspected include conditions related to the eye to be inspected, and examples thereof include the presence or absence of a disease, the type and degree of the disease affected, the diameter of the pupil, and the degree of opacity of the site (cornea, lens, vitreous body, etc.). ..
  • the shooting conditions can be considered in addition to the information considered in the example of FIG.
  • the shooting condition selection unit 2124 selects the shooting conditions associated with the values of the image parameters selected by the parameter selection unit 2122 from the shooting conditions recorded in the past by the shooting condition recording unit 2123. As a result, in addition to the image parameter values selected by the parameter selection unit 2122, the shooting conditions associated with the image parameter values can also be acquired.
  • the parameter determination unit 2125 determines the value of the image parameter based on the value of the image parameter selected by the parameter selection unit 2122 and the imaging condition selected by the imaging condition selection unit 2124.
  • the main control unit 201 may use the surgical microscope 10 (illumination optical system 30, observation optical system 40, etc.) based on the selected imaging conditions. Can be controlled.
  • the main control unit 201 can control the surgical microscope 10 so as to reproduce the selected imaging conditions. This makes it possible to reproduce the display mode of the image when the value of the image parameter selected by the parameter selection unit 2122 is applied.
  • the parameter determination unit 2125 executes processing based on the values of the selected image parameters and the imaging conditions, respectively. .. This process may be an arithmetic process based on a predetermined algorithm.
  • the parameter determination unit 2125 can compare the current shooting conditions with the selected shooting conditions, and determine the value of the image parameter based on the comparison result (change amount of the shooting conditions, etc.) and the corresponding relationship. ..
  • a system that uses machine learning to learn the relationship between changes in imaging conditions (environmental conditions, eye conditions, etc.) and image parameter values.
  • Intelligent engine includes, for example, a neural network constructed by machine learning in which shooting conditions and image parameter values are input and new image parameter values are output.
  • This artificial intelligence engine is trained to output the optimum image parameter value according to a change in shooting conditions, for example, based on a given image parameter value.
  • the parameter determination unit 2125 includes such an artificial intelligence engine, and inputs the values and shooting conditions of the selected image parameters to the artificial intelligence engine.
  • the value of the image parameter output from this artificial intelligence engine is the result obtained by the parameter determination unit 2125.
  • the image processing unit 211 applies image processing using the values of the image parameters determined by the parameter determination unit 2125 to the moving image (third moving image) generated by the surgical microscope 10. Can be done.
  • the third moving image may be any moving image, for example, the above-mentioned second moving image, a moving image acquired by another medical practice for the same subject, or another test. It may be a moving image acquired in a medical practice for a person.
  • the value of the image parameter can be adjusted (corrected) according to the difference in the shooting conditions, so that the good display mode (color tone, brightness) previously achieved regardless of the difference in the shooting conditions can be adjusted (corrected). , Contrast, etc.) can be easily provided.
  • the image processing unit 211B shown in FIG. 9 performs a plurality of processing by applying the first image processing to a part (partial image) of the still image included in the first moving image generated by the operating microscope 10. Create a partial image.
  • a plurality of processed partial images are treated as a plurality of processed images.
  • the main control unit 201 causes the display device 3 to display a plurality of images including the created plurality of processed partial images.
  • Each displayed image may be a corresponding processed partial image or may be a wider area image including the corresponding processed partial image.
  • This wide area image may be, for example, an image in which a partial image in the corresponding still image is replaced with a processed partial image.
  • the image processing unit 211B shown in FIG. 9 is an example of the image processing unit 211 of FIG.
  • the image processing unit 211B of this example includes a processed image creation unit 2111 and a moving image processing unit 2112, similarly to the image processing unit 211A of FIG.
  • the processed image creating unit 2111 and the moving image processing unit 2112 of this example may be the same as the processed image creating unit 2111 and the moving image processing unit 2112 in the example of FIG. 5, respectively.
  • the image processing unit 211B further includes a partial image specifying unit 2113A.
  • the partial image specifying unit 2113A identifies the partial image in the still image by applying the segmentation for specifying the image of the predetermined portion of the eye to be inspected to the still image included in the first moving image.
  • segmentation is a process of identifying a partial area in an image.
  • the segmentation may include any known image processing technique, and may include, for example, image processing such as edge detection and / or segmentation utilizing machine learning (eg, deep learning).
  • the processed image creation unit 2111 of this example applies the first image processing to the partial image specified by the partial image identification unit 2113A. That is, the applicable range of the first image processing by the processed image creating unit 2111 of this example is limited to the partial image specified by the partial image specifying unit 2113A.
  • the partial image specifying unit 2113A can apply the same segmentation to the second moving image generated by the surgical microscope 10 after the user selects the processed image. More specifically, the partial image specifying unit 2113A first pays the same attention to each still image included in the second moving image (or each of the still images selected by the thinning process or the like (the same applies hereinafter)). Apply segmentation to identify the image of the site.
  • the segmentation for the still image included in the second moving image may be performed in the same manner as the segmentation for the still image included in the first moving image.
  • the same image of the region of interest is specified from each still image included in the second moving image.
  • the ophthalmologic observation device 1 has a function of analyzing a moving image generated by a surgical microscope 10 and monitoring the movement of the eye to be inspected.
  • the partial image specifying unit 2113A stores the position (referred to as the reference position) of the eye to be inspected when the still image (the one to which the segmentation is applied. Called the reference still image) included in the first moving image is obtained. ing. Further, the partial image specifying unit 2113A stores information indicating a range (partial image range) of the partial image in the still image included in the first moving image.
  • the partial image specifying unit 2113A When the generation of the second moving image is started, the partial image specifying unit 2113A includes each still image (referred to as a target still image) included in the second moving image and the eye to be inspected when the target still image is obtained. The position (called the target position) is input.
  • the partial image specifying unit 2113A obtains the deviation of the target position with respect to the reference position, and specifies the range of the partial image in the target still image by moving the partial image range by this deviation. According to this example, even in a part where segmentation is difficult (for example, a part where the brightness and color difference from the surroundings are small, a small part, etc.), the partial image in the second moving image (frames can be obtained one after another) Tracking can be done in real time.
  • the partial image specifying unit 2113A sequentially specifies the partial image of the still image included in the second moving image by applying segmentation to the second moving image. Can be done. Further, the image processing unit 210B (moving image processing unit 2112) can sequentially apply the second image processing to the partial image specified from the still image included in the second moving image. As a result, the values of the image parameters applied to the processed partial image selected by the user can be applied to the second moving image, and it is possible to observe the second moving image in which the region of interest is appropriately depicted. Become.
  • FIG. 10 Similar to the example of FIG. 9, in this example, by applying the image processing only to a part of the still image (frame) included in the moving image, the resources required for the image processing can be reduced and the time can be shortened. Optimize the image quality of the area of interest in the observation of the eye to be inspected.
  • the image processing unit 211C shown in FIG. 10 performs a plurality of processing by applying the first image processing to a part (partial image) of the still image included in the first moving image generated by the operating microscope 10. Create a partial image.
  • a plurality of processed partial images are treated as a plurality of processed images.
  • the main control unit 201 causes the display device 3 to display a plurality of images including the created plurality of processed partial images.
  • Each displayed image may be a corresponding processed partial image or may be a wider area image including the corresponding processed partial image. This wide area image may be, for example, an image in which a partial image in the corresponding still image is replaced with a processed partial image.
  • the image processing unit 211C shown in FIG. 10 is an example of the image processing unit 211 of FIG.
  • the image processing unit 211C of this example includes a processed image creation unit 2111 and a moving image processing unit 2112, similarly to the image processing unit 211A of FIG.
  • the processed image creating unit 2111 and the moving image processing unit 2112 of this example may be the same as the processed image creating unit 2111 and the moving image processing unit 2112 in the example of FIG. 5, respectively.
  • the image processing unit 211C further includes a partial image specifying unit 2113B.
  • control unit 200A shown in FIG. 10 is an example of the control unit 200 in FIG.
  • the control unit 200A of this example includes a main control unit 201 and a storage unit 202, similarly to the control unit 200 of FIG. Unless otherwise specified, the main control unit 201 and the storage unit 202 of this example may be the same as the main control unit 201 and the storage unit 202 in the example of FIG. 3, respectively.
  • the control unit 200A further includes a graphical user interface (GUI) control unit 203.
  • GUI graphical user interface
  • the main control unit 201 causes the display device 3 to display the first moving image (or the still image included in the first moving image (the same applies hereinafter)) generated by the surgical microscope 10.
  • the GUI control unit 203 causes the display device 3 to display a GUI for designating a partial area in the first moving image.
  • This GUI is, for example, an image of a figure having a shape and dimensions similar to the region of interest.
  • the site of interest is the pupil and the GUI is a circular or elliptical image.
  • the user can change the position, size, and shape of the GUI by using, for example, the operation device 2. This allows, for example, the user to match the GUI to the outer edge of the pupil image in the first moving image.
  • the GUI control unit 203 can track the GUI according to the movement of the eye to be inspected in the first moving image.
  • the partial image specifying unit 2113B specifies a range specified by the GUI (for example, a range surrounded by the GUI (and a predetermined range around it)) as a partial area.
  • the processed image creation unit 2111 of this example applies the first image processing to the partial image specified by the partial image identification unit 2113B. That is, the applicable range of the first image processing by the processed image creating unit 2111 of this example is limited to the partial image specified by the partial image specifying unit 2113B.
  • the partial image specifying unit 2113B can specify the partial image in the second moving image generated by the surgical microscope 10 after the user selects the processed image, for example, in the same manner as the above tracking.
  • the partial image specifying unit 2113B applies segmentation to the second moving image to obtain a partial image corresponding to the region of interest in the still image included in the second moving image. It can be specified sequentially. Further, the image processing unit 210C (moving image processing unit 2112) can sequentially apply the second image processing to the partial image specified from the still image included in the second moving image. As a result, the values of the image parameters applied to the processed partial image selected by the user can be applied to the second moving image, and it is possible to observe the second moving image in which the region of interest is appropriately depicted. Become. Further, in this example, since the range specified by the user himself / herself is set in the partial image, it is possible to express the range according to the user's preference in the mode according to the user's preference.
  • the user starts the generation and display of the live image of the eye to be inspected by the ophthalmologic observation device 1 by performing a predetermined operation using the operation device 2.
  • the operating microscope 10 generates digital image data (video) of the eye to be inspected by the image pickup elements 62L and 62R while illuminating the eye to be inspected by the illumination optical system 30.
  • the generated video (live image 301) is displayed on the display device 3 in real time (see FIG. 12A). That is, the image acquired by the surgical microscope 10 is displayed as a live image on the display device 3.
  • the user can perform surgery while observing this live image.
  • This live image corresponds to the above-mentioned first moving image.
  • the image processing mode is an operation mode for processing a live image displayed by the ophthalmologic observation device 1.
  • the number of frames to be captured is arbitrary. When one frame is captured, this frame is subjected to the following processing.
  • the ophthalmologic observation device 1 (for example, the data processing unit 210) can select one frame from these frames or generate one still image.
  • the ophthalmology observation device 1 can select one frame by calculating the image quality evaluation values of two or more captured frames and comparing them.
  • the ophthalmologic observation device 1 can display two or more captured frames on the display device 3 and select one frame specified by the user using the operation device 2.
  • the ophthalmologic observation device 1 can create one frame by synthesizing two or more captured frames by a predetermined image processing.
  • the data processing unit 210 (image processing unit 211, processed image creation unit 2111) applies the first image processing using a plurality of different values of one or more image parameters to the frame captured in step S3. do. This creates a plurality of processed images based on the captured frame.
  • each of the K image processes included in the first image process is applied to the frame (still image) 302 captured from the live image 301.
  • I (I types) of image parameters are used (I is an integer of 1 or more).
  • the number J of the prepared values may be equal to or different for all the image parameters.
  • K I ⁇ J.
  • K ⁇ [J (i)].
  • J (i) indicates the number of values in the i-th image parameter
  • is the sum of i.
  • the jth value of the i-th image parameter is indicated by P (i, j).
  • the main control unit 201 or the data processing unit 210 records each of the plurality of processed images in association with the value of the image parameter (one or more values) used for creating the processed image.
  • the image parameter one or more values
  • the main control unit 201 or the data processing unit 210 records each of the plurality of processed images in association with the value of the image parameter (one or more values) used for creating the processed image.
  • the image parameter one or more values used for creating the processed image.
  • one or more values P (i, j) of one or more image parameters used to create the processed image 303-k are associated with each processed image 303-k. Be done.
  • Information in which such processed images and image parameter values are associated with each other is called related information.
  • the main control unit 201 causes the display device 3 to display the plurality of thumbnails created in step S5.
  • a plurality of thumbnails (thumbnail groups) 303 arranged in a predetermined array are displayed on the live image 301.
  • the number of thumbnails displayed at one time is arbitrary, and for example, all the thumbnails created in step S5 may be presented at one time, or a part of all the thumbnails created in step S5 (for example, a predetermined number). The number of) may be presented at one time. Further, the number of thumbnails presented at one time may be changed. When only a part of all the thumbnails created in step S5 is presented at one time, an operation for switching the presented thumbnails can be performed. This operation may be, for example, page switching or scrolling.
  • step S7 Select thumbnail
  • the user compares a plurality of thumbnails displayed in step S6 and selects a desired thumbnail. This selection operation is performed using the above-mentioned instruction receiving unit (for example, a foot switch included in the operating device 2).
  • the above-mentioned instruction receiving unit for example, a foot switch included in the operating device 2.
  • one thumbnail 304 is selected from the plurality of thumbnails 303.
  • the main control unit 201 or the data processing unit 210 specifies the value of the image parameter associated with the processed image corresponding to the thumbnail selected in step S7 by referring to the related information described above.
  • the data processing unit 210 processes the live image generated by the operating microscope 10 in real time using the values of the specified image parameters (second). Image processing).
  • the live image processed in real time is displayed in real time on the display device 3 by the main control unit 201 (end).
  • the live image generated and displayed at this stage corresponds to the above-mentioned second moving image (live image 305 in FIG. 12E).
  • the user can perform surgery while observing the live image 305 to which the same image processing as the processed image selected by himself is applied.
  • the values of the image parameters applied in the past can be read out and applied again.
  • the values of the image parameters adopted by the user in the past can be selectively read out and reapplied, or the values of the image parameters matching the attributes of the medical practice currently being performed (for example, the type of surgery) can be obtained. It can be selectively read and reapplied.
  • the values of the image parameters matching the phase of the medical practice currently being performed are selectively read out and reapplied, and the plurality of values matching the plurality of phases of the medical practice are sequentially reapplied. be able to.
  • color tone parameters, brightness parameters, contrast parameters, gain parameters, etc. are used as image parameters.
  • the user can observe parts such as the cornea, iris, pupil, and crystalline lens in the desired display mode, for example, in cataract surgery, as well as the wound, side port, anterior capsule incision in CCC, and the emulsified / aspirated state of the crystalline lens.
  • the position and orientation of the IOL can be clearly grasped.
  • such a suitable image display mode can be easily and quickly realized.
  • gamma parameter, gain parameter, color temperature parameter, white balance parameter, RGB balance parameter, etc. are used as image parameters.
  • gamma parameter, gain parameter, color temperature parameter, white balance parameter, RGB balance parameter, etc. are used as image parameters.
  • opacity, proliferative membrane, etc. in the vitreous can be highlighted, and it becomes possible to improve the work efficiency of surgery and avoid / reduce surgical mistakes.
  • the user starts the generation and display of the live image of the eye to be inspected by the ophthalmologic observation device 1 by performing a predetermined operation using the operation device 2.
  • the operating microscope 10 generates digital image data (video) of the eye to be inspected by the image pickup elements 62L and 62R while illuminating the eye to be inspected by the illumination optical system 30.
  • the generated video (live image 401) is displayed in real time on the display device 3 (see FIG. 14A). That is, the image acquired by the surgical microscope 10 is displayed as a live image on the display device 3.
  • the user can perform surgery while observing this live image.
  • This live image corresponds to the above-mentioned first moving image.
  • the image processing mode is an operation mode for processing a live image displayed by the ophthalmologic observation device 1.
  • the number of frames to be captured is arbitrary. When one frame is captured, this frame is subjected to the following processing.
  • the ophthalmologic observation device 1 (for example, the data processing unit 210) can select one frame from these frames or generate one still image.
  • the ophthalmology observation device 1 can select one frame by calculating the image quality evaluation values of two or more captured frames and comparing them.
  • the ophthalmologic observation device 1 can display two or more captured frames on the display device 3 and select one frame specified by the user using the operation device 2.
  • the ophthalmologic observation device 1 can create one frame by synthesizing two or more captured frames by a predetermined image processing.
  • the ophthalmology observation device 1 sets a partial image of the frame captured in step S13.
  • the processing of this step is performed automatically or manually.
  • the partial image specifying unit 2113A of FIG. 9 identifies the partial image by applying segmentation to the frame captured in step S13 (the image area surrounded by the frame 402 shown in FIG. 14B).
  • the main control unit 201 causes the display device 3 to display the frame captured in step S13, and the GUI control unit 203 displays a predetermined GUI on this frame.
  • the user uses this GUI to specify a partial area of the frame.
  • the partial image specifying unit 2113B specifies a range specified by the GUI (for example, a range surrounded by the GUI (and a predetermined range around it)) as a partial area (an image area surrounded by a frame 402 shown in FIG. 14B). ).
  • the partial image 403 shown in FIG. 14C is obtained.
  • the data processing unit 210 (image processing unit 211, processed image creation unit 2111) performs first image processing using a plurality of different values of one or more image parameters on the partial image obtained in step S14. Apply. As a result, a plurality of processed partial images based on this partial image are created.
  • each of the K image processes included in the first image process is applied to the partial image 403.
  • I (I types) of image parameters are used (I is an integer of 1 or more).
  • the number J of the prepared values may be equal to or different for all the image parameters.
  • K I ⁇ J.
  • K ⁇ [J (i)].
  • J (i) indicates the number of values in the i-th image parameter, and ⁇ is the sum of i.
  • the jth value of the i-th image parameter is indicated by Q (i, j).
  • the main control unit 201 or the data processing unit 210 has a value (one) of an image parameter used for creating the processed partial image for each of the plurality of processed partial images (or a plurality of processed images).
  • the above values) are associated and recorded.
  • one of the one or more image parameters used to create the processed partial image 404-k for each processed partial image 404-k (or the corresponding processed image), one of the one or more image parameters used to create the processed partial image 404-k.
  • One or more values Q (i, j) are associated.
  • Information in which such a processed partial image (or processed image) and the value of an image parameter are associated with each other is called related information.
  • the main control unit 201 causes the display device 3 to display the plurality of thumbnails created in step S16.
  • a plurality of thumbnails (thumbnail groups) 405 arranged in a predetermined array are displayed on the live image 401.
  • the number of thumbnails displayed at one time is arbitrary, and for example, all the thumbnails created in step S16 may be presented at one time, or a part of all the thumbnails created in step S16 (for example, a predetermined number). The number of) may be presented at one time. Further, the number of thumbnails presented at one time may be changed. When only a part of all the thumbnails created in step S16 is presented at one time, an operation for switching the presented thumbnails can be performed. This operation may be, for example, page switching or scrolling.
  • step S18 Select thumbnail
  • the user compares a plurality of thumbnails displayed in step S17 and selects a desired thumbnail. This selection operation is performed using the above-mentioned instruction receiving unit (for example, a foot switch included in the operating device 2). In the example shown in FIG. 14F, one thumbnail 406 is selected from the plurality of thumbnails 405.
  • the main control unit 201 or the data processing unit 210 specifies the value of the image parameter associated with the processed partial image corresponding to the thumbnail selected in step S18 by referring to the related information described above.
  • the data processing unit 210 processes the live image generated by the operating microscope 10 in real time using the values of the specified image parameters (second). Image processing).
  • the applicable range of the second image processing may be only the area of the live image (the frame) corresponding to the frame 402 of FIG. 14B, or may be the entire live image (the frame). In the former case, for example, by the tracking described above, the area of the live image corresponding to the frame 402 is sequentially specified.
  • the live image processed in real time is displayed in real time on the display device 3 by the main control unit 201 (end).
  • the live image generated and displayed at this stage corresponds to the above-mentioned second moving image.
  • the live image 407 of FIG. 12E is an example of a live image displayed in this way. In the live image 407, the second image processing is applied only to the region corresponding to the frame 402 (the region surrounded by the frame 408).
  • the user can perform surgery while observing the live image 407 to which the same image processing as the processed image selected by himself / herself is applied.
  • the values of the image parameters applied in the past can be read out and applied again.
  • the values of the image parameters adopted by the user in the past can be selectively read out and reapplied, or the values of the image parameters matching the attributes of the medical practice currently being performed (for example, the type of surgery) can be obtained. It can be selectively read and reapplied.
  • the values of the image parameters matching the phase of the medical practice currently being performed are selectively read out and reapplied, and the plurality of values matching the plurality of phases of the medical practice are sequentially reapplied. be able to.
  • color tone parameters, brightness parameters, contrast parameters, gain parameters, etc. are used as image parameters.
  • image parameters For example, color tone parameters, brightness parameters, contrast parameters, gain parameters, etc. are used as image parameters.
  • This allows the user to observe parts such as the iris, pupil, and crystalline lens in the desired display mode, for example, in cataract surgery, as well as the wound, side port, anterior capsule incision in the CCC, emulsified / aspirated state of the crystalline lens, and IOL. It is possible to clearly grasp the position and orientation of the lens.
  • a suitable image display mode can be easily and quickly realized.
  • gamma parameter, gain parameter, color temperature parameter, white balance parameter, RGB balance parameter, etc. are used as image parameters.
  • gamma parameter, gain parameter, color temperature parameter, white balance parameter, RGB balance parameter, etc. are used as image parameters.
  • opacity, proliferative membrane, etc. in the vitreous can be highlighted, and it becomes possible to improve the work efficiency of surgery and avoid / reduce surgical mistakes.
  • a part of the image of the eye to be inspected is hidden by a plurality of thumbnails (processed image, processed partial image).
  • a plurality of thumbnails can be displayed in an area where the image of the eye to be inspected is not displayed.
  • reduce the display size of multiple thumbnails reduce the display size of each thumbnail, change the arrangement of multiple thumbnails, and change the number of thumbnails displayed at one time. There are things like reducing it. Further, it is possible to detect the range of the image of the eye to be inspected and display a plurality of thumbnails in other areas.
  • FIG. 15 shows an example of a configuration that can be adopted to realize such an operation.
  • the data processing unit 210C of FIG. 15 is an example of the data processing unit 210 of FIG.
  • the data processing unit 210C of this example includes a monitoring processing unit 213 in addition to the image processing unit 211.
  • the image processing unit 211 executes the same configuration and operation as that of the above-described embodiment.
  • the monitoring processing unit 213 executes data processing for monitoring the movement of the eye to be inspected (monitoring unit).
  • the monitoring processing unit 213 detects the feature points of the eye to be inspected, for example, by analyzing the frame of the moving image generated by the surgical microscope 10.
  • the feature point may be any landmark, such as a pupil (center, outer edge, etc.), corneal ring (outer edge of iris), angle, optic disc, macula, blood vessel, and the like.
  • the monitoring processing unit 213 detects the movement of feature points in the moving image (time change of the position of the feature point) in real time by sequentially analyzing the frames sequentially generated as the real-time moving image (first moving image). do.
  • the main control unit 201 can change the display state of a plurality of processed images (a plurality of processed partial images, a plurality of thumbnails) displayed together with a real-time moving image based on the output from the monitoring processing unit 213.
  • This display state change control is performed so that, for example, a plurality of processed images are displayed in an area where the image of the eye to be inspected is not displayed.
  • the main control unit 201 controls to reduce the display size of a plurality of processed images, controls to reduce the display size of each processed image, controls to change the arrangement of a plurality of processed images, and the number of thumbnails displayed at one time. It is possible to execute control to reduce the number of images, control to stop the display of a plurality of processed images (control not to display a plurality of processed images), and the like.
  • the display state of the plurality of processed images can be changed (dynamically) according to the movement of the eye to be inspected, so that the plurality of processed images interfere with the observation of the image of the eye to be inspected. There will be no such thing.
  • the configuration (monitoring unit) for detecting the movement of the eye to be inspected is not limited to the above-mentioned configuration and processing, and may be arbitrary.
  • FIG. 16 shows another modified example.
  • the modified example of FIG. 15 focuses on the movement of the eye to be inspected, while this modified example focuses on the occurrence of an abnormality in the eye to be inspected.
  • the data processing unit 210D in FIG. 16 is an example of the data processing unit 210 in FIG.
  • the data processing unit 210D of this example includes an abnormality detection unit 214 in addition to the image processing unit 211.
  • the image processing unit 211 executes the same configuration and operation as that of the above-described embodiment.
  • the abnormality detection unit 214 executes data processing for detecting an abnormality in the eye to be inspected.
  • the type of abnormality to be detected may be arbitrary, for example, bleeding, scratches, or the like.
  • the abnormality detection unit 214 detects an abnormality by, for example, analyzing a frame of a moving image generated by a surgical microscope 10. For example, bleeding detection is performed by changing the color of the image (such as increasing the red area).
  • the anomaly detection unit 214 may include a system (artificial intelligence engine) constructed by machine learning using a training data set including surgical images and the like.
  • This artificial intelligence engine includes, for example, a neural network (typically, a convolutional neural network) constructed by machine learning that takes a surgical image as an input and outputs a probability of occurrence of a predetermined abnormality as an output.
  • the abnormality detection unit 214 of this example sequentially inputs frames of a real-time moving image (first moving image) generated by the surgical microscope 10 to the artificial intelligence engine.
  • the artificial intelligence engine sequentially outputs the probability of occurrence of an abnormality based on the input frame.
  • the abnormality detection unit 214 detects an abnormality based on the probability of occurrence of an abnormality that is sequentially output. For example, the abnormality detection unit 214 determines that an abnormality has been detected when the probability of occurrence of an abnormality that is sequentially output exceeds a predetermined threshold value. As another example, the abnormality detection unit 214 can perform abnormality detection based on changes in the probability of abnormality occurrence (for example, rate of change, amount of change) that are sequentially output.
  • the main control unit 201 can change the display state of a plurality of processed images (a plurality of processed partial images, a plurality of thumbnails) displayed together with a real-time moving image based on the output from the abnormality detection unit 214.
  • This display state change control is, for example, to display a plurality of processed images in an area where the image of the eye to be inspected is not displayed, or to display a plurality of processed images in an area other than the area where an abnormality is detected. Is executed.
  • the main control unit 201 controls to reduce the display size of a plurality of processed images, controls to reduce the display size of each processed image, controls to change the arrangement of a plurality of processed images, and the number of thumbnails displayed at one time. It is possible to execute control to reduce the number of images, control to stop the display of a plurality of processed images (control not to display a plurality of processed images), and the like.
  • the display state of the plurality of processed images can be changed (dynamically) in response to the occurrence of an abnormality in the eye to be inspected, so that the plurality of processed images are images of the eye to be inspected. It does not interfere with the observation of (especially the place where the abnormality occurs).
  • the configuration (monitoring unit) for detecting an abnormality in the eye to be inspected is not limited to the above-mentioned configuration and processing, and may be arbitrary.
  • the ophthalmology observation device 1 of the above embodiment is configured to generate and display a plurality of processed images by applying the first image processing to the still image (frame) included in the first moving image.
  • the first image processing is sequentially applied to each still image (each frame) included in the first moving image to obtain a plurality of processed images (plural processed moving images). ) May be generated and displayed.
  • a plurality of processed moving images can be displayed side by side or sequentially. It is also possible to display a still image (processed still image, processed frame) included in the processed image for at least a part of the plurality of processed moving images.
  • the display mode of a moving subject when it is desired to optimize the display mode of a moving subject, or when it is desired to optimize the display mode of a moving object (suspended substance, turbidity, growth membrane, liquid flow, blood flow, etc.). It is effective for such things.
  • a larger amount of resources are required than the ophthalmologic observation device 1 of the above embodiment. Therefore, in order to reduce the processing load when handling the processed moving image, the number of generated processed moving images should be reduced, the number of processed moving images (thumbnails) should be reduced, and the displayed processing should be reduced.
  • Arbitrary processing load reduction methods such as reducing the number of moving images (thumbnails) and thinning out frames may be applied.
  • ⁇ Ophthalmology image processing device An ophthalmologic image processing apparatus according to an exemplary embodiment will be described.
  • the ophthalmologic image processing apparatus is configured to process an image of the eye to be inspected.
  • Arbitrary items (function, configuration, processing, operation, usage mode, etc.) relating to the ophthalmologic observation device 1 of the above embodiment can be combined with the following exemplary ophthalmic image processing device.
  • FIG. 17 shows a configuration example of the ophthalmic image processing apparatus of this example.
  • the elements other than the moving image receiving unit 501 may be configured in the same manner as the corresponding elements in the ophthalmic observation device 1 according to the above embodiment, and unless otherwise specified, they may be configured. A detailed description will be omitted.
  • the control unit 502 of the ophthalmology image processing device 500 corresponds to the control unit 200 of the ophthalmology observation device 1 of the above embodiment.
  • the image processing unit 503 of the ophthalmic image processing device 500 corresponds to the data processing unit 210 (image processing unit 211) of the ophthalmic observation device 1 of the above embodiment.
  • the user interface (UI) 504 of the ophthalmologic image processing device 500 corresponds to the operation device 2 and the display device 3 of the ophthalmology observation device 1 of the above embodiment.
  • the moving image receiving unit 501 receives the moving image of the eye to be inspected.
  • the moving image receiving unit 501 receives moving images directly or indirectly from the surgical microscope 10.
  • the moving image receiving unit 501 is connected to the surgical microscope 10 by a communication line or a cable.
  • the moving image receiving unit 501 is connected to a device (buffer) in which the moving image generated by the surgical microscope 10 is (temporarily) stored by a communication line or a cable.
  • the moving image receiving unit 501 receives the first moving image of the above embodiment.
  • the control unit 502 sends the first moving image received by the moving image receiving unit 501 to the image processing unit 503.
  • the image processing unit 503 applies the first image processing using a plurality of values having different predetermined image parameters to the still image included in the first moving image by executing the processing described in the above embodiment. To create multiple processed images.
  • the control unit 502 (display control unit) causes the UI 504 (first display device) to display a plurality of processed images created by the image processing unit 503.
  • the ophthalmology image processing apparatus 500 can perform the following processing in the same manner as the ophthalmology observation apparatus 1 of the above embodiment.
  • the user can give an instruction to select at least one processed image from the plurality of processed images displayed on the UI 504.
  • This instruction can be performed in the same manner as in the case of the ophthalmic observation device 1 of the above embodiment, and is performed by using, for example, UI504 (instruction receiving unit).
  • the image processing unit 503 performs the second image processing based on at least one value of the image parameter corresponding to at least one processed image specified by the user, after the selection based on the instruction of the user is performed, the moving image receiving unit. It is applied to the moving image (second moving image) of the eye to be inspected received by 501.
  • This processing (second image processing) is executed in the same manner as in the case of the ophthalmologic observation device 1 of the above embodiment.
  • the control unit 502 (display control unit) causes the UI 504 (second display device) to display the second moving image to which the second image processing is applied.
  • the same actions and effects as those of the ophthalmology observation apparatus 1 of the above embodiment can be obtained. Further, by combining the items (function, configuration, processing, operation, usage mode, etc.) relating to the ophthalmology observation device 1 of the above embodiment with the ophthalmology image processing device 500, the ophthalmology image processing device 500 obtained as a result is combined. It is possible to exert the action and effect corresponding to the above-mentioned matters.
  • An exemplary embodiment (eg, the ophthalmic observation device 1 or the ophthalmic image processing device 500 described above) provides a method of processing an ophthalmic image (an image of an eye to be inspected). It is possible to combine any matter concerning the ophthalmologic observation device 1 of the above embodiment with the following exemplary ophthalmology image processing method, and to combine any matter concerning the ophthalmology image processing apparatus 500 of the above embodiment. Is possible.
  • the ophthalmologic image processing method of the exemplary embodiment first accepts the first moving image of the eye to be inspected. Next, a plurality of processed images are created by applying first image processing using a plurality of values having different predetermined image parameters to the still image included in the first moving image. Next, the created plurality of processed images are displayed. Next, an instruction for selecting at least one processed image from the displayed plurality of processed images is received. After the selection of at least one processed image based on this instruction is made, the second moving image of the eye to be inspected is accepted. Next, a second image process based on at least one value of the image parameter corresponding to at least one selected processed image is applied to the second moving image. Next, the second moving image to which the second image processing is applied is displayed. Such a series of steps is described as an operation and a usage mode (FIG. 11, FIGS. 12A to 12E, FIG. 13, FIGS. 14A to 14G, etc.) of the ophthalmologic observation device 1 of the above embodiment.
  • the same actions and effects as those of the ophthalmic observation device 1 and the ophthalmic image processing device 500 of the above embodiment can be obtained. Further, by combining the items relating to the ophthalmic observation device 1 or the ophthalmic image processing device 500 of the above embodiment with the ophthalmic image processing method, the ophthalmic image processing method obtained as a result has an action and an effect corresponding to the combined items. Can play.
  • An exemplary embodiment provides a program that causes a computer to execute the above-mentioned ophthalmologic image processing method. It is possible to combine the matters relating to the ophthalmic observation device 1 or the ophthalmic image processing device 500 of the above embodiment with such a program.
  • the same actions and effects as those of the ophthalmology observation device 1 and the ophthalmology image processing device 500 of the above embodiment can be obtained. Further, by combining the items related to the ophthalmic observation device 1 or the ophthalmic image processing device 500 of the above embodiment into the program, the program obtained as a result can exert the action and effect corresponding to the combined items.
  • An exemplary embodiment provides a computer-readable non-temporary recording medium on which a program such as described above is recorded. It is possible to combine such a recording medium with the matters relating to the ophthalmic observation device 1 or the ophthalmic image processing device 500 of the above embodiment.
  • the form of the non-temporary recording medium may be arbitrary, and examples thereof include magnetic disks, optical disks, magneto-optical disks, and semiconductor memories.
  • the same actions and effects as those of the ophthalmology observation device 1 and the ophthalmology image processing device 500 of the above embodiment can be obtained. Further, by combining the items relating to the ophthalmic observation device 1 or the ophthalmic image processing device 500 of the above embodiment with the recording medium, the recording medium obtained as a result can exert the action and effect corresponding to the combined items. ..
  • Ophthalmology observation device Operation device 3
  • Display device 10
  • Surgical microscope 30
  • Illumination optical system 40
  • Observation optical system 60
  • Imaging camera 200 Control unit 201
  • Main control unit 203 GUI control unit 210
  • Data processing unit 211
  • Image processing unit 2111 Processed image creation unit 2112
  • Video processing unit 212
  • Parameter processing unit 2121
  • Parameter storage unit 2122
  • Parameter selection unit 2123
  • Shooting condition recording unit 2124 Shooting condition selection unit
  • Parameter determination unit 2113A, 2113B
  • Partial image identification unit 221 Identifier reception unit 222

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

例示的な実施形態に係る眼科観察装置(1)は、被検眼を観察するために使用される。眼科観察装置(1)は、動画像生成部(手術用顕微鏡10)と、画像処理部(データ処理部210、画像処理部211)と、表示制御部(主制御部201)とを含む。動画像生成部は、被検眼を撮影して第1動画像を生成する。画像処理部は、動画像生成部により生成された第1動画像に含まれる静止画像に対して所定の画像パラメータの異なる複数の値を用いた第1画像処理をそれぞれ適用して複数の加工画像を作成する。表示制御部は、画像処理部により作成された複数の加工画像を第1表示装置(表示装置3)に表示させる。

Description

眼科観察装置、眼科画像処理装置、眼科画像処理方法、プログラム、及び記録媒体
 本発明は、眼科観察装置、眼科画像処理装置、眼科画像処理方法、プログラム、及び記録媒体に関する。
 眼科観察装置は、患者の眼(被検眼と呼ぶ)を観察するための装置である。眼科観察は、検査、手術、治療などの様々な場面において被検眼の状態を把握するために行われる。
 旧来の眼科観察装置は、対物レンズや変倍光学系により得られた拡大像を接眼レンズを介してユーザーに提供するものであったが、近年の眼科観察装置には、対物レンズや変倍光学系により得られた拡大像を撮像素子で撮影し、得られた撮影像を表示するように構成されたものがある(第1の態様の眼科観察装置)。そのような眼科観察装置として、スリットランプ顕微鏡、手術用顕微鏡、眼底カメラなどがある。また、レフラクトメーター、ケラトメーター、眼圧計、スペキュラーマイクロスコープ、ウェーブフロントアナライザー、マイクロペリメーターといった各種の眼科検査装置にも、第1の態様の眼科観察装置としての機能が設けられている。
 更に、近年の眼科観察装置には、光走査を用いたものもある(第2の態様の眼科観察装置)。そのような眼科装置として、走査型レーザー検眼鏡(SLO)、光コヒーレンストモグラフィ(OCT)装置などがある。
 一般に、眼科観察装置は、被検眼の動画像をユーザー(例えば、医師などの医療従事者)に提供する。第1の態様の眼科観察装置は、典型的には、赤外光及び/又は可視光を照明光とした動画撮影と、それにより得られた画像のリアルタイム動画表示とを実行するように構成されている。一方、第2の態様の眼科観察装置は、典型的には、反復的な光走査によるデータ収集と、逐次に収集されるデータセットに基づくリアルタイム画像再構成と、逐次に再構成された画像のリアルタイム動画表示とを実行するように構成されている。このようにして提供されるリアルタイム動画像を観察画像と呼ぶ。
 良好な観察画像を提供するためには画像品質の調整を行うことが必要であるが、望まれる画像品質はユーザーによって異なり、また、検査や手術の種類やフェーズにおいても異なる。例えば、或る医師は赤みがかった色合いの画像が好みであり、別の医師は緑がかった色合いの画像が好みであったりする。また、最も一般的な眼科手術の1つである白内障手術は、アライメント、創口作成、眼粘弾剤注入、前嚢切開(CCC)、水晶体乳化吸引、水晶体皮質吸引、眼内レンズ(IOL)挿入、IOLセンタリング、眼粘弾剤除去、創口閉鎖といった手順で行われるが、医師が望む画像品質がフェーズ毎に異なる場合がある。更に、注目部位の像の品質を選択的に高めたい場合もある。また、被検眼の状態によって望まれる画像品質が異なる場合もある。
 このように、観察画像に望まれる品質は様々であるが、従来の典型的な眼科観察装置では画像品質の調整をその都度手動で行っていたため、非常に煩雑で手間が掛かる上、検査や手術の長時間化を招く要因の1つとなっていた。一方、画像品質の調整を自動で行うことも考えられるが、望まれる画像品質の多様性を考慮すると、結局、手動で調整を行うこととなってしまう。
特開2003-310556号公報 特開2009-118955号公報
 本発明の1つの目的は、眼科観察を容易化するための新たな技術を提供することにある。
 幾つかの例示的な態様は、被検眼を観察するための眼科観察装置であって、前記被検眼を撮影して第1動画像を生成する動画像生成部と、前記第1動画像に含まれる静止画像に対して所定の画像パラメータの異なる複数の値を用いた第1画像処理をそれぞれ適用して複数の加工画像を作成する画像処理部と、前記複数の加工画像を第1表示装置に表示させる表示制御部とを含む。
 幾つかの例示的な態様に係る眼科観察装置は、前記第1表示装置に表示された前記複数の加工画像のうちから少なくとも1つの加工画像を選択するための指示を受け付ける指示受付部を更に含み、前記画像処理部は、前記少なくとも1つの加工画像に対応する前記画像パラメータの少なくとも1つの値に基づく第2画像処理を、前記指示受付部を用いて前記少なくとも1つの加工画像の選択が行われた後に前記動画像生成部により生成される第2動画像に適用し、前記表示制御部は、前記第2画像処理が適用された前記第2動画像を第2表示装置に表示させる。
 幾つかの例示的な態様に係る眼科観察装置において、前記複数の加工画像のうちの1つの加工画像が前記指示受付部を用いて選択された場合、前記画像処理部は、前記1つの加工画像に対応する前記画像パラメータの1つの値を用いた画像処理を前記第2画像処理として前記第2動画像に適用する。
 幾つかの例示的な態様に係る眼科観察装置において、前記複数の加工画像のうちの2つ以上の加工画像が前記指示受付部を用いて選択された場合、前記画像処理部は、前記2つ以上の加工画像のうちの1つの加工画像に対応する前記画像パラメータの1つの値を用いた画像処理を前記第2画像処理として前記第2動画像に適用する。
 幾つかの例示的な態様に係る眼科観察装置において、前記複数の加工画像のうちの2つ以上の加工画像が前記指示受付部を用いて選択された場合、前記画像処理部は、前記2つ以上の加工画像にそれぞれ対応する前記画像パラメータの2つ以上の値に基づき1つの値を決定し、前記1つの値を用いた画像処理を前記第2画像処理として前記第2動画像に適用する。
 幾つかの例示的な態様に係る眼科観察装置は、前記第2画像処理に用いられた前記画像パラメータの前記1つの値を記録する記録部を更に含む。
 幾つかの例示的な態様に係る眼科観察装置は、ユーザーの識別子を受け付ける識別子受付部を更に含み、前記記録部は、前記識別子受付部により受け付けられた前記識別子に関連付けて前記画像パラメータの前記1つの値を記録する。
 幾つかの例示的な態様に係る眼科観察装置は、前記被検眼に対する医療行為の属性を示す属性情報を取得する属性情報取得部を更に含み、前記記録部は、前記属性情報取得部により取得された前記属性情報に関連付けて前記画像パラメータの前記1つの値を記録する。
 幾つかの例示的な態様に係る眼科観察装置において、過去に前記記録部により記録された前記画像パラメータの値のうちから少なくとも1つの値を選択する選択部を更に含み、前記画像処理部は、前記選択部により選択された前記少なくとも1つの値に基づく画像処理を、前記動画像生成部により生成された第3動画像に適用する。
 幾つかの例示的な態様に係る眼科観察装置において、前記記録部は、前記第2動画像が生成されたときの撮影条件を前記画像パラメータの前記1つの値に関連付けて記録し、前記選択部は、前記選択部により選択された前記少なくとも1つの値に関連付けられた撮影条件を更に選択し、前記眼科観察装置は、前記選択部によりそれぞれ選択された前記少なくとも1つの値及び前記撮影条件に基づいて前記画像パラメータの値を決定する決定部を更に含み、前記画像処理部は、前記決定部により決定された前記画像パラメータの前記値を用いた画像処理を前記第3動画像に適用する。
 幾つかの例示的な態様に係る眼科観察装置において、前記画像処理部は、前記第1動画像に含まれる前記静止画像の一部である部分画像に対して前記第1画像処理を適用して、前記複数の加工画像としての複数の加工部分画像を作成し、前記表示制御部は、前記複数の加工部分画像をそれぞれ含む複数の画像を前記第1表示装置に表示させる。
 幾つかの例示的な態様に係る眼科観察装置において、前記画像処理部は、前記被検眼の所定部位の像を特定するためのセグメンテーションを前記第1動画像に含まれる前記静止画像に適用して前記部分画像を特定する第1部分画像特定部を含む。
 幾つかの例示的な態様に係る眼科観察装置において、前記第1部分画像特定部は、前記第2動画像に前記セグメンテーションを適用して前記第2動画像に含まれる静止画像の部分画像を逐次に特定し、前記画像処理部は、前記第2動画像に含まれる前記静止画像から特定された前記部分画像に対して逐次に前記第2画像処理を適用する。
 幾つかの例示的な態様に係る眼科観察装置において、前記表示制御部は、前記第1動画像又は前記第1動画像に含まれる静止画像を前記第1表示装置又は前記第2表示装置に表示させ、前記眼科観察装置は、表示された前記第1動画像又は前記第1動画像に含まれる前記静止画像における部分領域を指定するためのグラフィカルユーザーインターフェイスを更に含み、前記画像処理部は、前記ユーザーインターフェイスを用いて指定された前記部分領域に基づき前記部分画像を設定する。
 幾つかの例示的な態様に係る眼科観察装置において、前記画像処理部は、前記第2動画像に含まれる静止画像において前記部分領域に対応する部分画像を逐次に特定する第2部分画像特定部を含み、前記画像処理部は、前記第2動画像に含まれる前記静止画像から特定された前記部分画像に対して逐次に前記第2画像処理を適用する。
 幾つかの例示的な態様に係る眼科観察装置において、前記表示制御部は、前記複数の加工画像のうちの2つ以上の加工画像又は前記2つ以上の加工画像のサムネイルを前記第1表示装置に並べて表示させる。
 幾つかの例示的な態様に係る眼科観察装置において、前記表示制御部は、前記複数の加工画像のうちの2つ以上の加工画像又は前記2つ以上の加工画像のサムネイルを前記第1表示装置に順次に表示させる。
 幾つかの例示的な態様に係る眼科観察装置は、前記被検眼の動きを監視する監視部を更に含み、前記表示制御部は、前記監視部からの出力に基づき前記複数の加工画像の表示状態を変更する。
 幾つかの例示的な態様に係る眼科観察装置は、前記被検眼の異常を検知する異常検知部を更に含み、前記表示制御部は、前記異常検知部からの出力に基づき前記複数の加工画像の表示状態を変更する。
 幾つかの例示的な態様に係る眼科観察装置において、前記画像パラメータは、色調パラメータ、明度パラメータ、コントラストパラメータ、ゲインパラメータ、ガンマパラメータ、色温度パラメータ、ホワイトバランスパラメータ、RGBバランスパラメータ、グレイバランスパラメータ、エッジ強調パラメータ、影強調パラメータ、鮮鋭化パラメータ、及び、ハイダイナミックレンジパラメータのうちの1つ以上を含む。
 幾つかの例示的な態様は、被検眼の画像を処理する眼科画像処理装置であって、前記被検眼の第1動画像を受け付ける動画像受付部と、前記第1動画像に含まれる静止画像に対して所定の画像パラメータの異なる複数の値を用いた第1画像処理をそれぞれ適用して複数の加工画像を作成する画像処理部と、前記複数の加工画像を第1表示装置に表示させる表示制御部とを含む。
 幾つかの例示的な態様に係る眼科画像処理装置は、前記第1表示装置に表示された前記複数の加工画像のうちから少なくとも1つの加工画像を選択するための指示を受け付ける指示受付部を更に含み、前記画像処理部は、前記少なくとも1つの加工画像に対応する前記画像パラメータの少なくとも1つの値に基づく第2画像処理を、前記指示に基づく前記少なくとも1つの加工画像の選択が行われた後に前記動画像受付部により受け付けられた前記被検眼の第2動画像に適用し、前記表示制御部は、前記第2画像処理が適用された前記第2動画像を第2表示装置に表示させる。
 幾つかの例示的な態様は、被検眼の画像を処理する眼科画像処理方法であって、前記被検眼の第1動画像を受け付け、前記第1動画像に含まれる静止画像に対して所定の画像パラメータの異なる複数の値を用いた第1画像処理をそれぞれ適用して複数の加工画像を作成し、前記複数の加工画像を表示し、表示された前記複数の加工画像のうちから少なくとも1つの加工画像を選択するための指示を受け付け、前記指示に基づく前記少なくとも1つの加工画像の選択が行われた後に、前記被検眼の第2動画像を受け付け、前記少なくとも1つの加工画像に対応する前記画像パラメータの少なくとも1つの値に基づく第2画像処理を前記第2動画像に適用し、前記第2画像処理が適用された前記第2動画像を表示する。
 幾つかの例示的な態様は、例示的な態様に係る眼科画像処理方法をコンピュータに実行させるプログラムである。
 幾つかの例示的な態様は、例示的な態様に係るプログラムが記録されたコンピュータ可読な非一時的記録媒体である。
 例示的な態様によれば、眼科観察を容易化するための新たな技術を提供することが可能となる。
例示的な実施形態に係る眼科観察装置(眼科手術用顕微鏡)の構成の一例を示す概略図である。 例示的な実施形態に係る眼科観察装置の構成の一例を示す概略図である。 例示的な実施形態に係る眼科観察装置の構成の一例を示す概略図である。 例示的な実施形態に係る眼科観察装置の構成の一例を示す概略図である。 例示的な実施形態に係る眼科観察装置の構成の一例を示す概略図である。 例示的な実施形態に係る眼科観察装置の構成の一例を示す概略図である。 例示的な実施形態に係る眼科観察装置の構成の一例を示す概略図である。 例示的な実施形態に係る眼科観察装置の構成の一例を示す概略図である。 例示的な実施形態に係る眼科観察装置の構成の一例を示す概略図である。 例示的な実施形態に係る眼科観察装置の構成の一例を示す概略図である。 例示的な実施形態に係る眼科観察装置が実行する処理の一例を示すフローチャートである。 例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。 例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。 例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。 例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。 例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。 例示的な実施形態に係る眼科観察装置が実行する処理の一例を示すフローチャートである。 例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。 例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。 例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。 例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。 例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。 例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。 例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。 例示的な実施形態に係る眼科観察装置の構成の一例を示す概略図である。 例示的な実施形態に係る眼科観察装置の構成の一例を示す概略図である。 例示的な実施形態に係る眼科画像処理装置の構成の一例を示す概略図である。
 実施形態に係る眼科観察装置、眼科画像処理装置、眼科画像処理方法、プログラム、及び記録媒体の幾つかの例示的な態様について、図面を参照しながら詳細に説明する。なお、この明細書において引用された文献に記載された事項や任意の公知技術を例示的な態様に組み合わせることが可能である。
 例示的な態様に係る眼科観察装置は、被検眼の検査、手術、治療などの医療行為において被検眼の状態を把握するために使用される。以下に説明される例示的な態様の眼科観察装置は手術用顕微鏡システムであるが、眼科観察装置は手術用顕微鏡システムに限定されない。例えば、眼科観察装置は、スリットランプ顕微鏡、眼底カメラ、レフラクトメーター、ケラトメーター、眼圧計、スペキュラーマイクロスコープ、ウェーブフロントアナライザー、マイクロペリメーター、SLO、及びOCT装置のうちのいずれかであってよく、また、これらのうちのいずれか1つ以上を含むシステムであってよい。より一般に、眼科観察装置は、観察機能を有する任意の眼科装置であってよい。
 眼科観察装置を用いた観察の対象部位は、被検眼の任意の部位であってよく、前眼部の任意の部位及び/又は後眼部の任意の部位であってよい。前眼部の観察対象部位としては、例えば、角膜、虹彩、前房、隅角、水晶体、毛様体、チン小帯などがある。後眼部の観察対象部位としては、例えば、網膜、脈絡膜、強膜、硝子体などがある。観察対象部位は、眼球組織に限定されるものではなく、瞼、マイボーム腺、眼窩など、眼科(及び/又は他科)において観察対象となる任意の部位であってもよい。
 本明細書に開示された要素の機能の少なくとも一部は、回路構成(circuitry)又は処理回路構成(processing circuitry)を用いて実装される。回路構成又は処理回路構成は、開示された機能の少なくとも一部を実行するように構成及び/又はプログラムされた、汎用プロセッサ、専用プロセッサ、集積回路、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)、従来の回路構成、及びそれらの任意の組み合わせのいずれかを含む。プロセッサは、トランジスタ及び/又は他の回路構成を含む、処理回路構成又は回路構成とみなされる。本開示において、回路構成、ユニット、手段、又はこれらに類する用語は、開示された機能の少なくとも一部を実行するハードウェア、又は、開示された機能の少なくとも一部を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されたハードウェアであってよく、或いは、記載された機能の少なくとも一部を実行するようにプログラム及び/又は構成された既知のハードウェアであってもよい。ハードウェアが或るタイプの回路構成とみなされ得るプロセッサである場合、回路構成、ユニット、手段、又はこれらに類する用語は、ハードウェアとソフトウェアとの組み合わせであり、このソフトウェアはハードウェア及び/又はプロセッサを構成するために使用される。
<眼科観察装置>
 例示的な態様の眼科観察装置の構成を図1に示す。
 実施形態に係る眼科観察装置1(手術用顕微鏡システム)は、操作装置2と、表示装置3と、手術用顕微鏡10とを含む。幾つかの態様では、手術用顕微鏡10が操作装置2及び表示装置3の少なくとも1つを含んでいてよい。また、幾つかの態様では、表示装置3は眼科観察装置1に含まれていなくてもよい。つまり、表示装置3は眼科観察装置1の周辺機器であってよい。
<操作装置2>
 操作装置2は、操作デバイス及び/又は入力デバイスを含む。例えば、操作装置2は、ボタン、スイッチ、マウス、キーボード、トラックボール、操作パネル、ダイアルなどを含んでいてよい。典型的には、操作装置2は、一般的な眼科手術用顕微鏡と同様に、フットスイッチを含んでいる。
<表示装置3>
 表示装置3は、手術用顕微鏡10により取得された被検眼の画像を表示させる。表示装置3は、フラットパネルディスプレイなどの表示デバイスを含む。また、表示装置3は、タッチパネルなどの各種表示デバイスを含んでいてもよい。典型的な表示装置3は、大画面の表示デバイスを含む。表示装置3は、1つ以上の表示デバイスを含む。表示装置3が2つ以上の表示デバイスを含む場合、例えば、1つは比較的大画面の表示デバイスであり、他の1つは比較的小画面の表示デバイスであってよい。
 操作装置2と表示装置3は、それぞれ個別のデバイスである必要はない。例えば、タッチパネルのように操作機能と表示機能とが一体化されたデバイスを表示装置3として用いてもよい。その場合、操作装置2は、このタッチパネルとコンピュータプログラムとを含む。操作装置2に対する操作内容は、電気信号としてプロセッサ(不図示)に入力される。また、表示装置3に表示されたグラフィカルユーザーインターフェイス(GUI)と、操作装置2とを用いて、操作や情報入力を行うようにしてもよい。幾つかの態様では、操作装置2及び表示装置3の機能はタッチスクリーンによって実現されてよい。
<手術用顕微鏡10>
 手術用顕微鏡10は、仰臥位の患者の眼(被検眼)を観察するために用いられる。手術用顕微鏡10は、被検眼を撮影してデジタル画像データを生成する。特に、手術用顕微鏡10は、被検眼の動画像を生成する。手術用顕微鏡10により生成された動画像(映像)は、有線及び/又は無線の信号路を通じて表示装置3に送信されて表示される。ユーザー(術者)は、表示される映像によって被検眼を観察しつつ手術を行うことができる。幾つかの態様の手術用顕微鏡10は、このような表示映像の観察に加えて、旧来のような接眼レンズを介した観察が可能であってもよい。
 幾つかの態様では、手術用顕微鏡10は、操作装置2との間で電気信号を送受信するための通信デバイスを含む。操作装置2は、ユーザーによる操作を受け付け、それに対応する電気信号(操作信号)を生成する。操作信号は、有線及び/又は無線の信号路を通じて手術用顕微鏡10に送信される。手術用顕微鏡10は、受信した操作信号に対応した処理を実行する。
<手術用顕微鏡10の光学系>
 手術用顕微鏡10の光学系の構成の例を説明する。以下では、説明の便宜上、対物レンズの光軸方向をz方向(例えば、手術時には鉛直方向、上下方向)とし、z方向に直交する所定方向をx方向(例えば、手術時には水平方向、術者及び患者にとって左右方向)とし、z方向及びx方向の双方に直交する方向をy方向(例えば、手術時には水平方向、術者にとって前後方向、患者にとって体軸方向)とする。
 また、以下では、主として、観察光学系が左右一対の光学系(双眼観察が可能な光学系)を有している場合について説明する。しかしながら、他の態様の観察光学系は単眼観察用の光学系を有していてもよく、そのような態様に以下に説明する構成を援用できることは当業者であれば理解できるであろう。
 手術用顕微鏡10の光学系の構成例を図2に示す。図2は、光学系を上から見た模式的な上面図と光学系を側方から見た模式的な側面図とを対応付けて図示したものである。図示を簡略化するため、対物レンズ20の上方に配置される照明光学系30の図示が省略されている。
 手術用顕微鏡10は、対物レンズ20と、ダイクロイックミラーDM1と、照明光学系30と、観察光学系40とを含む。観察光学系40は、ズームエキスパンダ50と、撮像カメラ60とを含む。幾つかの態様では、照明光学系30又は観察光学系40は、ダイクロイックミラーDM1を含む。
 対物レンズ20は、被検眼に対向するように配置される。対物レンズ20は、その光軸がz方向に沿うように配置されている。対物レンズ20は、2枚以上のレンズを含んでいてもよい。
 ダイクロイックミラーDM1は、照明光学系30の光路と観察光学系40の光路とを結合する。ダイクロイックミラーDM1は、照明光学系30と対物レンズ20との間に配置される。ダイクロイックミラーDM1は、照明光学系30からの照明光を透過して対物レンズ20を介して被検眼に導くとともに、対物レンズ20を介して入射する被検眼からの戻り光を反射して観察光学系40の撮像カメラ60に導く。
 ダイクロイックミラーDM1は、照明光学系30の光路と観察光学系40の光路とを同軸に結合する。つまり、照明光学系30の光軸と観察光学系40の光軸とがダイクロイックミラーDM1において交差している。照明光学系30が左眼用照明光学系(31L)及び右眼用照明光学系(31R)を含み、且つ、観察光学系40が左眼用観察光学系40L及び右眼用観察光学系40Rを含む場合において、ダイクロイックミラーDM1は、左眼用照明光学系(第1照明光学系31L)の光路と左眼用観察光学系40Lの光路とを同軸に結合し、且つ、右眼用照明光学系(第1照明光学系31R)の光路と右眼用観察光学系40Rの光路とを同軸に結合する。
 照明光学系30は、対物レンズ20を介して被検眼を照明するための光学系である。照明光学系30は、色温度が異なる2以上の照明光のいずれかによって被検眼を照明するように構成されていてよい。照明光学系30は、後述の制御部(200)の制御の下に、指定された色温度の照明光を被検眼に投射する。
 照明光学系30は、第1照明光学系31L及び31Rと、第2照明光学系32とを含んでいる。
 第1照明光学系31Lの光軸OL及び第1照明光学系31Rの光軸ORのそれぞれは、対物レンズ20の光軸と略同軸に配置されている。これにより、いわゆる「0度照明」を実現することができ、眼底での拡散反射を利用した徹照像を得ることが可能となる。本態様では、被検眼の徹照像を双眼で観察することが可能である。
 第2照明光学系32は、その光軸OSが対物レンズ20の光軸から偏心するように配置されている。第1照明光学系31L及び31R並びに第2照明光学系32は、対物レンズ20の光軸に対する光軸OSの偏位が対物レンズ20の光軸に対する光軸OL及びORの偏位よりも大きくなるように配置されている。これにより、いわゆる「角度付き照明(斜め照明)」を実現することができ、角膜反射などに起因するゴーストの混入を防止しつつ被検眼を双眼で観察することが可能になる。更に、被検眼の部位や組織の凹凸を詳細に観察することも可能になる。
 第1照明光学系31Lは、光源31LAと、コンデンサーレンズ31LBとを含む。光源31LAは、例えば、3000K(ケルビン)の色温度に相当する可視領域の波長の照明光を出力する。光源31LAから出力された照明光は、コンデンサーレンズ31LBを通過し、ダイクロイックミラーDM1を透過し、対物レンズ20を通過して被検眼に入射する。
 第1照明光学系31Rは、光源31RAと、コンデンサーレンズ31RBとを含む。光源31RAもまた、例えば、3000Kの色温度に相当する可視領域の波長の照明光を出力する。光源31RAから出力された照明光は、コンデンサーレンズ31RBを通過し、ダイクロイックミラーDM1を透過し、対物レンズ20を通過して被検眼に入射する。
 第2照明光学系32は、光源32Aと、コンデンサーレンズ32Bとを含む。光源32Aは、例えば、4000K~6000Kの色温度に相当する可視領域の波長の照明光を出力する。光源32Aから出力された照明光は、コンデンサーレンズ32Bを通過し、ダイクロイックミラーDM1を経由することなく対物レンズ20を通過して被検眼に入射する。
 すなわち、第1照明光学系31L及び31Rからの照明光の色温度は、第2照明光学系32からの照明光の色温度よりも低い。このような構成とすることで、第1照明光学系31L及び31Rを用いて暖色系の色で被検眼を観察することが可能になり、被検眼の構造や形態を詳細に観察することが可能となる。
 幾つかの態様では、光軸OL及びORのそれぞれが対物レンズ20の光軸に対して相対的に移動可能とされる。この相対移動の方向は対物レンズ20の光軸に交差する方向であり、この相対移動はx成分及びy成分の少なくとも一方がゼロでない変位ベクトルで表現される。幾つかの態様では、光軸OL及びORのそれぞれが独立に移動可能であってよい。一方、幾つかの態様では、光軸OL及びORが一体的に移動可能であってよい。例えば、手術用顕微鏡10は、第1照明光学系31L及び31Rを独立に又は一体的に移動する移動機構(31d)を備えており、この移動機構によって第1照明光学系31L及び31Rを独立に又は一体的に対物レンズ20の光軸に交差する方向に移動する。それにより、被検眼の見え具合を調整することが可能になる。幾つかの態様では、後述の制御部(200)の制御の下に移動機構が動作する。
 幾つかの態様では、光軸OSが対物レンズ20の光軸に対して相対的に移動可能とされる。この相対移動の方向は、対物レンズ20の光軸に交差する方向であり、この相対移動はx成分及びy成分の少なくとも一方がゼロでない変位ベクトルで表現される。例えば、手術用顕微鏡10は、第2照明光学系32を移動する移動機構(32d)を備えており、この移動機構によって第2照明光学系32を対物レンズ20の光軸に交差する方向に移動する。それにより、被検眼の部位や組織における凹凸の見え具合を調整することが可能になる。幾つかの態様では、後述の制御部(200)の制御の下に移動機構が動作する。
 以上のように、本態様では、対物レンズ20の直上の位置(ダイクロイックミラーDM1の透過方向の位置)に照明光学系30が配置され、且つ、ダイクロイックミラーDM1の反射方向の位置に観察光学系40が配置されている。例えば、観察光学系40の光軸と対物レンズ20の光軸に直交する平面(xy平面)とのなす角が±20度以下になるように、観察光学系40が配置されていてよい。
 本態様の構成によれば、一般的に照明光学系30よりも光路長が長い観察光学系40がxy平面に対して略平行に配置されるため、術者の眼前に観察光学系が鉛直方向に配置される従来の手術用顕微鏡のように術者の視野を邪魔することがない。したがって、術者は、正面に設置された表示装置3の画面を容易に見ることができる。つまり、手術中などにおける表示情報(被検眼の画像や映像、その他の各種参照情報)の視認性が向上する。また、術者の眼前に筐体が配置されることがないため、術者に圧迫感を与えることがなく、術者の負担が軽減される。
 観察光学系40は、対物レンズ20を介して被検眼から入射した照明光の戻り光に基づき形成される像を観察するための光学系である。本態様では、観察光学系40は、撮像カメラ60の撮像素子に像を提供する。
 上記したように、観察光学系40は、左眼用観察光学系40Lと、右眼用観察光学系40Rとを含んでいる。左眼用観察光学系40Lの構成は、右眼用観察光学系40Rの構成と同様である。幾つかの態様では、左眼用観察光学系40L及び右眼用観察光学系40Rは、互いに独立に光学配置の変更が可能であってよい。
 ズームエキスパンダ50は、ビームエキスパンダ、可変ビームエキスパンダなどとも呼ばれる。ズームエキスパンダ50は、左眼用ズームエキスパンダ50Lと、右眼用ズームエキスパンダ50Rとを含んでいる。左眼用ズームエキスパンダ50Lの構成は、右眼用ズームエキスパンダ50Rの構成と同様である。幾つかの態様では、左眼用ズームエキスパンダ50L及び右眼用ズームエキスパンダ50Rは、互いに独立に光学配置の変更が可能であってよい。
 左眼用ズームエキスパンダ50Lは、複数のズームレンズ51L、52L及び53Lを含む。複数のズームレンズ51L、52L及び53Lの少なくとも1つは、変倍機構(不図示)によって光軸方向に移動可能である。
 同様に、右眼用ズームエキスパンダ50Rは、複数のズームレンズ51R、52R及び53Rを含んでおり、複数のズームレンズ51R、52R、53Rの少なくとも1つは、変倍機構(不図示)によって光軸方向に移動可能である。
 変倍機構は、左眼用ズームエキスパンダ50Lの各ズームレンズ及び右眼用ズームエキスパンダ50Rの各ズームレンズを独立に又は一体的に光軸方向に移動するように構成されてよい。それにより、被検眼を撮影する際の拡大倍率が変更される。幾つかの態様では、後述の制御部(200)の制御の下に変倍機構が動作する。
 撮像カメラ60は、観察光学系40により形成される像を撮影してデジタル画像データを生成するデバイスであり、典型的にはデジタルカメラ(デジタルビデオカメラ)である。撮像カメラ60は、左眼用撮像カメラ60Lと、右眼用撮像カメラ60Rとを含んでいる。左眼用撮像カメラ60Lの構成は、右眼用撮像カメラ60Rの構成と同様である。幾つかの態様では、左眼用撮像カメラ60L及び右眼用撮像カメラ60Rは、互いに独立に光学配置の変更が可能である。
 左眼用撮像カメラ60Lは、結像レンズ61Lと、撮像素子62Lとを含んでいる。結像レンズ61Lは、左眼用ズームエキスパンダ50Lを通過した戻り光に基づく像を撮像素子62Lの撮像面に形成する。撮像素子62Lは、エリアセンサであり、典型的には電荷結合素子(CCD)イメージセンサ又は相補型金属酸化膜半導体(CMOS)イメージセンサであってよい。撮像素子62Lは、後述の制御部(200)の制御の下に動作する。
 右眼用撮像カメラ60Rは、結像レンズ61Rと、撮像素子62Rとを含んでいる。結像レンズ61Rは、右眼用ズームエキスパンダ50Rを通過した戻り光に基づく像を撮像素子62Lの撮像面に形成する。撮像素子62Rは、エリアセンサであり、典型的にはCCDイメージセンサ又はCMOSイメージセンサであってよい。撮像素子62Rは、後述の制御部(200)の制御の下に動作する。
<処理系>
 眼科観察装置1の処理系について説明する。処理系の幾つかの構成例を図3~図10に示す。以下に説明される複数の構成例のうちの任意の2つ以上を少なくとも部分的に組み合わせることができる。なお、処理系の構成はこれらの例に限定されない。
 制御部200は、眼科観察装置1の各部の制御を行う。制御部200は、主制御部201と記憶部202とを含む。主制御部201は、プロセッサを含み、眼科観察装置1の各部を制御する。例えば、プロセッサは、本態様に係る機能を実現するために、記憶部202又は他の記憶装置に格納されているプログラムを読み出し実行することができ、また、記憶部202又は他の記憶装置に格納されているデータや情報を利用(参照、加工、演算など)することができる。
 主制御部201は、照明光学系30の光源31LA、31RA及び32A、観察光学系40の撮像素子62L及び62R、移動機構31d及び32d、変倍機構50Ld及び50Rd、操作装置2、表示装置3などの制御を行うことができる。
 光源31LAの制御には、光源の点灯、消灯、光量調整、絞りの調整などがある。光源31RAの制御には、光源の点灯、消灯、光量調整、絞りの調整などがある。主制御部201は、光源31LA及び31RAに対して互いに排他的に制御を行うことができる。光源32Aの制御には、光源の点灯、消灯、光量調整、絞りの調整などがある。
 照明光学系30が色温度を変更可能な光源を含む場合、主制御部201は、この光源を制御することによって、出力される照明光の色温度を変更することができる。
 撮像素子62Lの制御には、露光調整、ゲイン調整、撮影レート調整などがある。撮像素子62Rの制御には、露光調整、ゲイン調整、撮影レート調整などがある。また、主制御部201は、撮像素子62L、62Rの撮影タイミングが一致するように、又は両者の撮影タイミングの差が所定時間以内になるように、撮像素子62L及び62Rを制御することができる。更に、主制御部201は、撮像素子62L及び62Rにより得られたデジタルデータの読み出し制御を行うことができる。
 移動機構31dは、対物レンズ20の光軸に交差する方向に光源31LA及び31RAを独立に又は一体的に移動する。主制御部201は、移動機構31dを制御することにより、対物レンズ20の光軸に対して光軸OL及びORを独立に又は一体的に移動することができる。
 移動機構32dは、対物レンズ20の光軸に交差する方向に光源32Aを独立に又は一体的に移動する。主制御部201は、移動機構32dを制御することにより、対物レンズ20の光軸に対して光軸OSを移動することができる。
 幾つかの態様では、主制御部201は、移動機構31d及び32dを連係的に制御することができる。
 変倍機構50Ldは、左眼用ズームエキスパンダ50Lの複数のズームレンズ51L~53Lの少なくとも1つを光軸方向に移動する。主制御部201は、変倍機構50Ldを制御することによって左眼用観察光学系40Lの拡大倍率を変更することができる。
 同様に、変倍機構50Rdは、右眼用ズームエキスパンダ50Rの複数のズームレンズ51R~53Rの少なくとも1つを光軸方向に移動する。主制御部201は、変倍機構50Rdを制御することによって右眼用観察光学系40Rの拡大倍率を変更することができる。
 操作装置2に対する制御には、操作許可制御、操作禁止制御、操作装置2からの操作信号の送信制御及び/又は受信制御などがある。主制御部201は、操作装置2により生成された操作信号を受信し、この受信信号に対応する制御を実行する。
 表示装置3に対する制御には、情報表示制御などがある。主制御部201は、表示制御部として、撮像素子62L及び62Rにより生成されたデジタル画像データに基づく画像を表示装置3に表示させることができる。典型的には、撮像素子62L及び62Rにより生成されたデジタル画像データ(映像信号)に基づく動画像(映像)を表示装置3に表示させることができ、また、この動画像に含まれる静止画像(フレーム)を表示装置3に表示させることができる。更に、主制御部201は、撮像素子62L及び62Rにより生成されたデジタル画像データを加工して得られた画像(動画像、静止画像など)を表示装置3に表示させることができる。また、主制御部201は、眼科観察装置1により生成された任意の情報や、眼科観察装置1が外部から取得した任意の情報を表示装置3に表示させることができる。
 また、主制御部201は、表示制御部として、撮像素子62Lによって生成されたデジタル画像データから左眼用画像を作成するとともに撮像素子62Rによって生成されたデジタル画像データから右眼用画像を作成し、作成された左眼用画像及び右眼用画像を立体視可能な態様で表示装置3に表示させることができる。例えば、主制御部201は、左眼用画像及び右眼用画像から左右一対の視差画像を作成し、この一対の視差画像を表示装置3に表示させることができる。ユーザー(術者など)は、公知の立体視手法を利用して一対の視差画像を立体画像として認識することができる。本態様に適用可能な立体視手法は任意であってよく、例えば、裸眼での立体視手法、補助器具(偏光眼鏡など)を用いた立体視手法、左眼用画像及び右眼用画像に対する画像処理(画像合成、レンダリングなど)を利用した立体視手法、一対の視差画像を同時に表示させる立体視手法、一対の視差画像を切り換え表示させる立体視手法、及び、これらのうちの2つ以上を組み合わせた立体視手法のうちのいずれかであってよい。
 データ処理部210は、各種のデータ処理を実行する。データ処理部210が実行可能な処理については、幾つかの例を以下に説明する。
<処理系の詳細例>
 データ処理部210が実行可能な処理の幾つかの例について、関連する要素とともに説明する。図4~図10のそれぞれは、データ処理部210(及び関連要素)の構成例を示している。図4~図10に示す構成例のうちの任意の2つ以上を少なくとも部分的に組み合わせることが可能である。データ処理部210(その各要素)は、所定のソフトウェア(プログラム)にしたがって動作するプロセッサを含んでおり、ハードウェアとソフトウェアとの協働によって実現される。
 図4に示すデータ処理部210Aは、図3のデータ処理部210の例である。本例のデータ処理部210Aは、画像処理部211を含んでいる。画像処理部211は、手術用顕微鏡10により生成された被検眼の動画像(第1動画像、映像)に含まれる静止画像に対して所定の画像パラメータの異なる複数の値を用いた画像処理(第1画像処理)をそれぞれ適用する。これにより、この静止画像に基づく複数の加工画像を作成する。画像処理部211による加工画像作成処理は、手術用顕微鏡10による被検眼の動画撮影と並行して実行されてよい。
 第1画像処理において用いられる画像パラメータの種類は任意であってよい。例えば、画像パラメータは、以下に例示する種類のパラメータのうちの1つ以上を含んでいてよい:色調パラメータ(色調変換のためのパラメータ);明度パラメータ(明度変換のためのパラメータ);コントラストパラメータ(コントラスト変換のためのパラメータ);ゲインパラメータ(ゲイン変更のためのパラメータ);ガンマパラメータ(ガンマ補正(画像の階調の応答特性の補正)のためのパラメータ);色温度パラメータ(色温度変換のためのパラメータ);ホワイトバランスパラメータ(ホワイトバランス変換のためのパラメータ);RGBバランスパラメータ(R値とG値とB値との間のバランス変換のためのパラメータ);グレイバランスパラメータ(グレイバランス変換のためのパラメータ);エッジ強調パラメータ(エッジ強調のためのパラメータ);影強調パラメータ(影強調のためのパラメータ);鮮鋭化パラメータ(鮮鋭化(シャープニング)のためのパラメータ);ハイダイナミックレンジパラメータ(HDR合成のためのパラメータ)。本例に適用可能な画像パラメータは、ここに例示した種類に限定されるものではなく、より一般に、画像の見え方を変化させるために使用可能な任意のパラメータ(例えば、表示制御用パラメータ、画像表現用パラメータ、画像補正用パラメータ、画像調整用パラメータなど)であってよい。
 第1画像処理において、画像処理部211は、1つの画像パラメータの異なる複数の値を用いた複数の画像処理のそれぞれを第1動画像に含まれる静止画像に対して適用することができる。例えば、画像処理部211は、色調パラメータのN個の値を用いたN個の画像処理(色調変換)のそれぞれを静止画像に対して適用することができる(Nは、2以上の整数)。これにより、異なる色調で表現されたN個の加工画像が作成される。色調パラメータ以外の画像パラメータを用いる場合においても同様である。
 また、第1画像処理において、画像処理部211は、2つの画像パラメータのそれぞれの異なる複数の値の組み合わせを用いた複数の画像処理のそれぞれを第1動画像に含まれる静止画像に対して適用することができる。例えば、画像処理部211は、色調パラメータのN個の値と明度パラメータのM個の値との組み合わせからなるN×M個の画像処理(色調変換及び明度変換)のそれぞれを静止画像に対して適用することができる(N及びMのそれぞれは、2以上の整数)。これにより、色調と明度との異なる組み合わせで表現されたN×M個の加工画像が作成される。色調パラメータと明度パラメータとの組み合わせ以外の組み合わせを用いる場合においても同様である。また、組み合わせられる画像パラメータの個数は2個以上の任意の個数であってよい。また、各画像パラメータについて準備された複数の値の全てを利用する必要はない。例えば、色調パラメータのN個の値と明度パラメータのM個の値とが準備される場合において、色調パラメータのN1個の値と明度パラメータのM1個の値との組み合わせを考慮することができる。ここで、N1≦N且つM1≦Mであり、更に、N1<N及び/又はM1<Mである。
 このようにして作成された複数の加工画像は、主制御部201によって表示装置3に表示される。ここで、主制御部201は、画像処理部211により作成された複数の加工画像そのものを表示装置3に表示させてもよいし、これら加工画像のサムネイル(縮小画像)を表示装置3に表示させてもよい。
 複数の加工画像を表示させる態様は任意であってよい。幾つかの態様において、主制御部201は、複数の加工画像のうちの2つ以上の加工画像(又はそれらのサムネイル)を並べて表示させることができる。ここで、主制御部201は、複数の加工画像から選択された第1の群を並列表示させる処理と、所定のトリガーに対応して第1の群の並列表示から第2の群の並列表示に切り替える処理とを実行するようにしてもよい。並列表示される群を切り替えるためのトリガーは、手動又は自動で発行される。
 また、幾つかの態様において、主制御部201は、複数の加工画像のうちの2つ以上の加工画像(又はそれらのサムネイル)を順次に表示させることができる。表示される加工画像の切り替えは、手動又は自動で行われる。
 サムネイルが表示される場合、主制御部201(又は、画像処理部211若しくはデータ処理部210A)は、第1画像処理により作成された加工画像からそのサムネイルを作成する処理を実行する。
 ユーザー(例えば、術者、術者の指示を受けた助手など)は、表示装置3に表示された複数の加工画像(又はそのサムネイル)のうちから所望のものを選択することができる。
 選択される加工画像の枚数は任意であってよい。1枚の加工画像が選択された場合、その加工画像が以降の処理に供される。2枚以上の加工画像が選択された場合、それらの全て又は一部が以降の処理に供される。例えば、画像処理部211A(又はデータ処理部210A)が、所定のアルゴリズムにしたがって、選択された2枚以上の加工画像のうちから1枚を選択するように構成されていてよい。
 眼科観察装置1は、加工画像を選択するためのユーザーの指示を受け付ける要素(指示受付部)を有する。指示受付部として機能する要素は任意であってよい。例えば、ユーザーは、操作装置2を用いて指示を行うことができる。幾つかの態様では、指示受付部は、音声による指示を検知し認識する音声認識部、視線による指示を検知し認識する視線認識部、脳波による指示を検知し認識する脳波認識部、指差しによる指示を検知し認識する指差し認識部、任意の生体信号による指示を検知し認識する生体信号認識部などを含んでいてよい。
 ユーザーが加工画像の選択を行うと、眼科観察装置1は、選択された加工画像に基づく処理を実行する。この処理の幾つかの例を以下に説明する。
 図5に示す構成例について説明する。図5に示す画像処理部211Aは、図4の画像処理部211の例である。本例の画像処理部211Aは、加工画像作成部2111と動画像処理部2112とを含んでいる。
 加工画像作成部2111は、例えば、図4を参照して説明した上記処理の少なくとも一部を実行する。
 動画像処理部2112は、表示装置3に表示された複数の加工画像のうちからユーザーが選択した加工画像に基づいて動画像を処理する。例えば、動画像処理部2112は、まず、ユーザーが選択した加工画像に対応する画像パラメータを取得する。つまり、動画像処理部2112は、ユーザーが選択した加工画像を作成するための第1画像処理に用いられた画像パラメータの値を取得する。次に、動画像処理部2112は、この画像パラメータの値に基づく画像処理(第2画像処理)を動画像に対して適用する。第2画像処理が適用される動画像は、少なくとも、ユーザーによる加工画像の選択が行われた後に手術用顕微鏡10により生成される動画像(第2動画像と呼ぶ)である。これにより、ユーザーが選択した加工画像と同じ画像処理が施された動画像が得られる。なお、ユーザーによる加工画像の選択よりも前に取得された動画像(第1動画像)に含まれる1枚以上の静止画像が保存されている場合、この1枚以上の静止画像の少なくとも一部に対して同じ画像処理を適用することができる。
 主制御部201は、第2画像処理が適用された第2動画像を表示装置3に表示させる。典型的には、眼科観察装置1は、手術用顕微鏡10によって被検眼の動画撮影を行いつつ、この動画撮影により取得される動画像(第2動画像)に対する第2画像処理のリアルタイム適用と、この第2画像処理が施された動画像のリアルタイム表示とを実行することができる。これにより、ユーザーは、自身が選択した加工画像と同じ画像パラメータの値を用いた画像処理が適用された動画像をリアルタイムで観察することができる。
 前述したように、ユーザーにより選択される加工画像の枚数は任意であってよい。例えば、選択された加工画像の枚数が1枚である場合、動画像処理部2112は、選択された1枚の加工画像に対応する画像パラメータの値(1つの値)を用いた画像処理を第2画像処理として第2動画像に適用することができる。
 他方、選択された加工画像の枚数が2枚以上である場合、動画像処理部2112は、選択された2枚以上の加工画像のうちから1枚の加工画像を選択し、この1枚の加工画像に対応する画像パラメータの値(1つの値)を用いた画像処理を第2画像処理として第2動画像に適用することができる。或いは、動画像処理部2112は、選択された2枚以上の加工画像に対応する画像パラメータの2つ以上の値のうちから1つの値を選択し、この1つの値を用いた画像処理を第2画像処理として第2動画像に適用することができる。動画像処理部2112が実行するこれらの選択処理は、所定のアルゴリズムにしたがって実行される。例えば、動画像処理部2112は、ユーザーが選択した2枚以上の加工画像を解析して所定の画質評価値を算出し、最適な画質評価値を有する1枚の加工画像を選択するように構成されていてよい。或いは、2つ以上の画像パラメータが第1画像処理において用いられた場合において、動画像処理部2112は、予め設定された画像パラメータ間の優先順位を参照して加工画像の選択又は画像パラメータ値の選択を行うように構成されていてよい。この場合、例えば、動画像処理部2112は、最も優先順位の高い画像パラメータの複数の値のうちから最適な値(例えば、最も高いコントラスト値)を選択するように構成される。
 選択された加工画像の枚数が2枚以上である場合における他の態様において、動画像処理部2112は、選択された2枚以上の加工画像にそれぞれ対応する画像パラメータの2つ以上の値に基づき1つの値を決定し、この1つの値を用いた画像処理を第2画像処理として第2動画像に適用することができる。2つ以上の値から1つの値を決定する演算処理は任意であってよく、例えば統計演算であってよい。この統計演算により得られる統計値は、例えば、平均値、中央値、最大値、最小値など、任意の種類の統計値であってよい。また、適用される演算処理は、予め設定されていてもよいし、処理毎に設定されてもよい。後者の例として、動画像処理部2112は、第1画像処理に用いられた画像パラメータの種類、ユーザーにより選択された加工画像の枚数、手術用顕微鏡10により取得された画像の種類、医療行為(本例では手術)のフェーズなど、任意の1つ以上のファクターに基づいて、適用される演算処理(統計演算)の種類を決定することができる。
 次に図6を参照する。図6に示すデータ処理部210Bは、図3のデータ処理部210の例である。本例のデータ処理部210Bは、画像処理部211とパラメータ処理部212とを含んでいる。
 画像処理部211は、前述した画像処理部211又は画像処理部211Aと同様の処理を実行するように構成されていてよい。
 パラメータ処理部212は、画像パラメータに関する処理を実行する。画像処理部211は、パラメータ処理部212からの出力を利用して処理を行うことができる。例えば、パラメータ処理部212は、動画像処理部2112による第2画像処理で用いられた画像パラメータの値を記録するように構成され(記録部)、画像処理部211は、パラメータ処理部212により記録された画像パラメータの値を用いて新たな画像処理(例えば、新たな第1画像処理、新たな第2画像処理)を実行するように構成される。なお、記録部としてのパラメータ処理部212は、第2画像処理に用いられた画像パラメータの値のみを記録するように構成されてもよいし、これ以外の値も記録するように構成されてもよい。後者の例として、記録部としてのパラメータ処理部212は、ユーザーが選択した各加工画像に対応する画像パラメータの値を記録してもよいし、ユーザーが選択した複数の加工画像の一部に対応する画像パラメータの1つ以上の値を記録してもよいし、手動で調整された画像パラメータの値を記録してもよい。
 パラメータ処理部212の構成及びそれを用いて実行される処理については、幾つかの例を以下に説明する。
 図7に示すパラメータ処理部212Aは、図6のパラメータ処理部212の例である。パラメータ処理部212Aは、パラメータ記録部2121とパラメータ選択部2122とを含んでいる。本例のパラメータ処理部212Aが採用される場合、眼科観察装置1は、識別子受付部221及び属性情報取得部222を有していてよい。なお、幾つかの態様では、眼科観察装置1は、識別子受付部221及び属性情報取得部222のいずれか一方のみを備えていてよい。
 識別子受付部221は、ユーザーの識別子(ユーザーID)を受け付ける。このユーザーは、典型的には術者である。また、ユーザーIDは、例えば、当該医療機関において術者(医師)に割り当てられた文字列又は画像(例えば、バーコード、2次元バーコードなど)、術者の氏名、術者の生体情報(例えば、顔、指紋、掌紋、虹彩パターン、声など)などによって表現されてよい。
 識別子受付部221は、このようなユーザーIDを受け付けるための任意のデバイス(ハードウェア、ソフトウェア)を含んでいてよく、例えば、操作装置2、カメラ、バーコードスキャナ、生体情報スキャナ、マイクロフォン、プロセッサなどを含んでいてよい。
 パラメータ記録部2121は、前述した記録部として機能し、識別子受付部221により受け付けられたユーザーIDに関連付けて画像パラメータの値を記録する。これにより、どのユーザーがどの画像パラメータの値を選択したかを特定することが可能になる。例えば、ユーザーIDを検索クエリとして画像パラメータの値を検索することが可能になる。
 属性情報取得部222は、被検眼に対する医療行為の属性を示す属性情報を取得する。つまり、属性情報取得部222は、眼科観察装置1を用いて被検眼に対して行われている医療行為(本例では手術)に関する各種属性を示す属性情報を取得する。
 手術の属性としては、手術部位に応じた手術の種類(例えば、前眼部手術、後眼部手術、角膜手術、隅角手術、毛様体手術、網膜手術、硝子体手術など)や、疾患に応じた手術の種類(例えば、白内障手術、緑内障手術、角膜移植手術、網膜細胞移植手術、網膜剥離手術、レーザー光凝固など)などがある。手術以外の医療行為(例えば、検査、治療、スクリーニングなど)についても同様である。
 医療行為の属性は、医療行為の種類に限定されるものではない。例えば、属性情報は、手術の複数のフェーズを示す情報を含んでいてよい。例えば、白内障手術のフェーズには、アライメント、創口作成、眼粘弾剤注入、CCC、水晶体乳化吸引、水晶体皮質吸引、IOL挿入、IOLセンタリング、眼粘弾剤除去、創口閉鎖などがある。このような手術フェーズを示す情報を属性情報に含めることができる。なお、属性情報に含まれるフェーズは、予め設定されていてもよいし、術者が決定してもよい。また、同じ画像パラメータの値が適用される2つ以上のフェーズをひとまとめ(フェーズ群)にしてもよい。
 属性情報は、例えば、当該医療機関において医療行為に割り当てられた文字列又は画像(例えば、バーコード、2次元バーコードなど)、医療行為の名称などによって表現されてよい。
 属性情報取得部222は、このような属性情報を受け付けるための任意のデバイス(ハードウェア、ソフトウェア)を含んでいてよく、例えば、操作装置2、カメラ、バーコードスキャナ、生体情報スキャナ、マイクロフォン、プロセッサなどを含んでいてよい。
 また、属性情報取得部222は、手術用顕微鏡10により生成される画像(映像)、操作装置2を用いて行われている操作、表示装置3に表示されている画像などを解析することによって、現在のフェーズを自動で特定するように構成されてもよい。また、手術の手順が予め決まっている場合、属性情報取得部222は、現段階までに行われた工程を参照することによって、現在のフェーズを自動で特定するように構成されてもよい。
 主制御部201は、属性情報取得部222により自動で特定されたフェーズを示す情報を表示装置3に表示させることができる。ユーザーは、表示された情報が正しいか否か判断し、この判断の結果を操作装置2などを用いて入力することができる。このような構成によれば、属性情報取得部222が自動で特定したフェーズを確認することができるため、誤ったフェーズが記録されることを防止することが可能になる。
 記録部としてのパラメータ記録部2121は、属性情報取得部222により取得された属性情報に関連付けて画像パラメータの値を記録する。これにより、どの医療行為(種類、フェーズなど)においてどの画像パラメータの値をユーザーが選択したかを特定することが可能になる。例えば、手術の種類やフェーズを検索クエリとして画像パラメータの値を検索することが可能になる。また、属性情報は、疾患の進行度、医療行為を行った日付、術者の熟練度などの任意の情報を含んでいてもよい。
 識別子受付部221及び属性情報取得部222の双方が設けられている場合、記録部としてのパラメータ記録部2121は、識別子受付部221により受け付けられたユーザーIDと、属性情報取得部222により取得された属性情報との双方に関連付けて、画像パラメータの値を記録することができる。これにより、どのユーザーがどの医療行為(種類、フェーズなど)においてどの画像パラメータの値を選択したかを特定することが可能になる。例えば、ユーザーID及び/又は手術の種類やフェーズを検索クエリとして画像パラメータの値を検索することが可能になる。
 パラメータ選択部2122は、パラメータ記録部2121によって過去に記録された画像パラメータの値のうちから少なくとも1つの値を選択する。例えば、パラメータ選択部2122は、前述した検索クエリによって、画像パラメータの値の選択を実行することができる。
 画像処理部211(211A)は、パラメータ選択部2122によって選択された画像パラメータの値に基づく画像処理を、手術用顕微鏡10により生成された動画像(第3動画像)に対して適用することができる。第3動画像は、任意の動画像であってよく、例えば、前述した第2動画像、同じ被検者に対する別の医療行為で取得されている動画像、他の被検者に対する医療行為で取得されている動画像などであってよい。
 ユーザーIDを検索クエリとして画像パラメータの値が選択される場合、そのユーザー(術者など)が過去に使用した画像パラメータの値を用いた画像処理を第3動画像に適用できるため、そのユーザーの好みの表示態様(色合い、明るさ、コントラストなど)の第3動画像を容易に提供することが可能となる。
 医療行為の属性情報を検索クエリとして画像パラメータの値が選択される場合、医療行為の種類やフェーズなどに応じて過去に使用された画像パラメータの値を用いた画像処理を第3動画像に適用できるため、医療行為の種類やフェーズに合った表示態様(色合い、明るさ、コントラストなど)の第3動画像を容易に提供することが可能となる。
 図8に示すパラメータ処理部212Bは、図6のパラメータ処理部212の例である。パラメータ処理部212Bは、図7のパラメータ処理部212Aと同様にパラメータ記録部2121及びパラメータ選択部2122を含むとともに、撮影条件記録部2123、撮影条件選択部2124、及びパラメータ決定部2125を更に含んでいる。パラメータ記録部2121及びパラメータ選択部2122の構成及び動作は、図7の場合と同様であってよく、その説明は省略する。
 本例のパラメータ処理部212Bが採用される場合においても、眼科観察装置1は、識別子受付部221及び属性情報取得部222を含んでいてよい。なお、幾つかの態様では、眼科観察装置1は、識別子受付部221及び属性情報取得部222のいずれか一方のみを備えていてよい。識別子受付部221及び属性情報取得部222の構成及び動作は、図7の場合と同様であってよく、その説明は省略する。
 撮影条件記録部2123は、手術用顕微鏡10により第2動画像が生成されたときの撮影条件を、パラメータ記録部2121により記録される画像パラメータの値に関連付けて記録する。本例では、パラメータ記録部2121と撮影条件記録部2123との組み合わせが記録部として機能している。
 撮影条件は、例えば、照明条件、観察条件、環境条件、被検眼条件などを含んでいてよい。照明条件は、照明光学系30の要素に関する条件を含み、その例として、光量(光源31LA、31RA及び32Aからの出力光量、出力強度)、絞りの絞り値、照明モード(0度照明、角度付き照明など)などがある。観察条件は、観察光学系40の要素に関する条件であり、その例として、絞りの絞り値、拡大倍率、撮像素子62L及び62Rの制御値(ゲインなど)などがある。環境条件は、撮影時の環境に関する条件を含み、その例として、手術用顕微鏡10が設置されている部屋の明るさなどがある。被検眼条件は、被検眼に関する条件を含み、その例として、疾患の有無、罹患している疾患の種類や程度、瞳孔径、部位(角膜、水晶体、硝子体など)の混濁の程度などがある。
 本例では、パラメータ記録部2121及び撮影条件記録部2123の双方によって情報が記録されるので、図7の例で考慮した情報に加えて撮影条件も考慮することができる。
 撮影条件選択部2124は、パラメータ選択部2122によって選択された画像パラメータの値に関連付けられた撮影条件を、撮影条件記録部2123により過去に記録された撮影条件のうちから選択する。これにより、パラメータ選択部2122によって選択された画像パラメータの値に加えて、この画像パラメータの値に関連付けられた撮影条件も取得することができる。
 パラメータ決定部2125は、パラメータ選択部2122によって選択された画像パラメータの値と、撮影条件選択部2124によって選択された撮影条件とに基づいて、画像パラメータの値を決定する。
 照明条件や観察条件のように手術用顕微鏡10における制御可能な条件については、主制御部201は、選択された撮影条件に基づいて手術用顕微鏡10(照明光学系30、観察光学系40など)を制御することができる。例えば、主制御部201は、選択された撮影条件を再現するように手術用顕微鏡10の制御を行うことができる。これにより、パラメータ選択部2122によって選択された画像パラメータの値が適用されたときの画像の表示態様の再現を図ることが可能となる。
 手術用顕微鏡10における制御可能な条件以外の撮影条件(環境条件、被検眼条件など)については、例えば、パラメータ決定部2125は、それぞれ選択された画像パラメータの値及び撮影条件に基づく処理を実行する。この処理は、所定のアルゴリズムに基づく演算処理であってよい。
 幾つかの態様では、撮影条件(環境条件、被検眼条件など)の変化と画像パラメータの値との間の対応関係(グラフ、テーブルなど)を事前に準備しておく。パラメータ決定部2125は、現在の撮影条件と選択された撮影条件とを比較し、この比較結果(撮影条件の変化量など)と当該対応関係とに基づいて画像パラメータの値を決定することができる。
 幾つかの態様では、上記対応関係を準備する代わりに、撮影条件(環境条件、被検眼条件など)の変化と画像パラメータの値との間の関係を、機械学習を用いて学習したシステム(人工知能エンジン)が用いられる。この人工知能エンジンは、例えば、撮影条件と画像パラメータの値とを入力とし、画像パラメータの新たな値を出力とした機械学習によって構築されたニューラルネットワークを含む。この人工知能エンジンは、例えば、与えられた画像パラメータの値に基づいて、撮影条件の変化に応じた最適な画像パラメータの値を出力するように訓練されている。パラメータ決定部2125は、このような人工知能エンジンを含み、それぞれ選択された画像パラメータの値及び撮影条件をこの人工知能エンジンに入力する。この人工知能エンジンから出力された画像パラメータの値が、パラメータ決定部2125により得られる結果となる。
 画像処理部211(211A)は、パラメータ決定部2125により決定された画像パラメータの値を用いた画像処理を、手術用顕微鏡10により生成された動画像(第3動画像)に対して適用することができる。前述したように、第3動画像は、任意の動画像であってよく、例えば、前述した第2動画像、同じ被検者に対する別の医療行為で取得されている動画像、他の被検者に対する医療行為で取得されている動画像などであってよい。
 本例によれば、撮影条件の違いに応じて画像パラメータの値を調整(補正)することができるので、撮影条件の違いにかかわらず、以前に達成された良好な表示態様(色合い、明るさ、コントラストなど)に近い態様で表現された第3動画像を容易に提供することが可能となる。
 次に、図9に示す例を説明する。本例では、動画像に含まれる静止画像(フレーム)の一部にのみ画像処理を適用することによって、画像処理に掛かるリソースの低減や時間の短縮を図るとともに、被検眼の観察における注目部位の像の品質の最適化を図る。
 図9に示す画像処理部211Bは、手術用顕微鏡10により生成された第1動画像に含まれる静止画像の一部(部分画像)に対して第1画像処理を適用することによって、複数の加工部分画像を作成する。本例では、複数の加工部分画像が複数の加工画像として扱われる。主制御部201は、作成された複数の加工部分画像をそれぞれ含む複数の画像を表示装置3に表示させる。表示される各画像は、対応する加工部分画像であってもよいし、対応する加工部分画像を含むより広域の画像であってもよい。この広域画像は、例えば、対応する静止画像における部分画像を加工部分画像に置き換えた画像であってよい。このように、複数の加工部分画像を表示させることによって、ユーザーは、注目部位が最も良好に描出された加工部分画像を選択することができる。
 図9に示す画像処理部211Bは、図4の画像処理部211の例である。本例の画像処理部211Bは、図5の画像処理部211Aと同様に、加工画像作成部2111と動画像処理部2112とを含んでいる。本例の加工画像作成部2111及び動画像処理部2112は、特に言及しない限り、それぞれ、図5の例における加工画像作成部2111及び動画像処理部2112と同様であってよい。
 画像処理部211Bは、部分画像特定部2113Aを更に含んでいる。部分画像特定部2113Aは、被検眼の所定部位の像を特定するためのセグメンテーションを、第1動画像に含まれる静止画像に適用することによって、この静止画像における部分画像を特定する。一般に、セグメンテーションは、画像中の部分領域を特定する処理である。セグメンテーションは、任意の公知の画像処理技術を含んでいてよく、例えば、エッジ検出などの画像処理、及び/又は、機械学習(例えば、深層学習)を利用したセグメンテーションを含んでいてよい。
 本例の加工画像作成部2111は、部分画像特定部2113Aによって特定された部分画像に対して第1画像処理を適用する。つまり、本例の加工画像作成部2111による第1画像処理の適用範囲は、部分画像特定部2113Aによって特定された部分画像に限定されている。
 更に、部分画像特定部2113Aは、ユーザーが加工画像の選択を行った後に手術用顕微鏡10により生成される第2動画像に対しても、同様のセグメンテーションを適用することができる。より具体的には、部分画像特定部2113Aは、まず、第2動画像に含まれる各静止画像(又は、間引き処理などにより選択された静止画像のそれぞれ(以下同様))に対して、同じ注目部位の像を特定するためのセグメンテーションを適用する。
 幾つかの態様では、第2動画像に含まれる静止画像に対するセグメンテーションは、第1動画像に含まれる静止画像に対するセグメンテーションと同じ要領で実行されてよい。これにより、第2動画像に含まれる各静止画像から、同じ注目部位の像が特定される。
 幾つかの態様では、眼科観察装置1は、手術用顕微鏡10により生成される動画像を解析して被検眼の動きを監視する機能を備えている。部分画像特定部2113Aは、第1動画像に含まれる静止画像(セグメンテーションが適用されたもの。基準静止画像と呼ぶ。)が得られたときの被検眼の位置(基準位置と呼ぶ)を記憶している。また、部分画像特定部2113Aは、第1動画像に含まれる静止画像における部分画像の範囲(部分画像範囲)を示す情報を記憶している。第2動画像の生成が始まると、部分画像特定部2113Aには、第2動画像に含まれる各静止画像(対象静止画像と呼ぶ)と、この対象静止画像が得られたときの被検眼の位置(対象位置と呼ぶ)とが入力される。部分画像特定部2113Aは、基準位置に対する対象位置の偏位を求め、この偏位だけ部分画像範囲を移動することによって対象静止画像における部分画像の範囲を特定する。本例によれは、セグメンテーションが難しい部位(例えば、周囲との輝度や色の差が小さい部位、小さい部位など)であっても、(次々にフレームが得られる)第2動画像における部分画像のトラッキングをリアルタイムで行うことができる。
 このような処理を行う本例によれば、部分画像特定部2113Aは、第2動画像にセグメンテーションを適用することで、この第2動画像に含まれる静止画像の部分画像を逐次に特定することができる。更に、画像処理部210B(動画像処理部2112)は、第2動画像に含まれる静止画像から特定された部分画像に対して逐次に第2画像処理を適用することができる。それにより、ユーザーが選択した加工部分画像に適用された画像パラメータの値を第2動画像にも適用することができ、注目部位が好適に描出された第2動画像を観察することが可能となる。
 次に、図10に示す例を説明する。図9の例と同様に、本例では、動画像に含まれる静止画像(フレーム)の一部にのみ画像処理を適用することによって、画像処理に掛かるリソースの低減や時間の短縮を図るとともに、被検眼の観察における注目部位の像の品質の最適化を図る。
 図10に示す画像処理部211Cは、手術用顕微鏡10により生成された第1動画像に含まれる静止画像の一部(部分画像)に対して第1画像処理を適用することによって、複数の加工部分画像を作成する。本例では、複数の加工部分画像が複数の加工画像として扱われる。主制御部201は、作成された複数の加工部分画像をそれぞれ含む複数の画像を表示装置3に表示させる。表示される各画像は、対応する加工部分画像であってもよいし、対応する加工部分画像を含むより広域の画像であってもよい。この広域画像は、例えば、対応する静止画像における部分画像を加工部分画像に置き換えた画像であってよい。このように、複数の加工部分画像を表示させることによって、ユーザーは、注目部位が最も良好に描出された加工部分画像を選択することができる。このような点は、図9の例と同様であるが、本例は、部分画像を特定する手法において図9の例と相違している。
 図10に示す画像処理部211Cは、図4の画像処理部211の例である。本例の画像処理部211Cは、図5の画像処理部211Aと同様に、加工画像作成部2111と動画像処理部2112とを含んでいる。本例の加工画像作成部2111及び動画像処理部2112は、特に言及しない限り、それぞれ、図5の例における加工画像作成部2111及び動画像処理部2112と同様であってよい。画像処理部211Cは、部分画像特定部2113Bを更に含んでいる。
 また、図10に示す制御部200Aは、図3の制御部200の例である。本例の制御部200Aは、図3の制御部200と同様に、主制御部201及び記憶部202を含んでいる。本例の主制御部201及び記憶部202は、特に言及しない限り、それぞれ、図3の例における主制御部201及び記憶部202と同様であってよい。制御部200Aは、グラフィカルユーザーインターフェイス(GUI)制御部203を更に含んでいる。
 主制御部201は、手術用顕微鏡10により生成される第1動画像(又は、この第1動画像に含まれる静止画像(以下同様))を表示装置3に表示させる。GUI制御部203は、この第1動画像における部分領域を指定するためのGUIを表示装置3に表示させる。このGUIは、例えば、注目部位に類似の形状及び寸法を有する図形の画像である。その一例として、注目部位は瞳孔であり、GUIは円形又は楕円形の画像である。ユーザーは、例えば操作装置2を用いることで、GUIの位置や寸法や形状を変更することができる。これにより、例えば、ユーザーは、第1動画像における瞳孔像の外縁にGUIを一致させることができる。注目部位の像に対するGUIの調整がなされたら、GUI制御部203は、第1動画像における被検眼の動きに合わせてGUIのトラッキングを行うことができる。部分画像特定部2113Bは、GUIにより特定された範囲(例えば、GUIにより囲まれた範囲(及びその周辺の所定範囲))を部分領域として特定する。
 本例の加工画像作成部2111は、部分画像特定部2113Bによって特定された部分画像に対して第1画像処理を適用する。つまり、本例の加工画像作成部2111による第1画像処理の適用範囲は、部分画像特定部2113Bによって特定された部分画像に限定されている。
 更に、部分画像特定部2113Bは、ユーザーが加工画像の選択を行った後に手術用顕微鏡10により生成される第2動画像における部分画像を、例えば上記トラッキングと同じ要領で特定することができる。
 このような処理を行う本例によれば、部分画像特定部2113Bは、第2動画像にセグメンテーションを適用することで、この第2動画像に含まれる静止画像において注目部位に対応する部分画像を逐次に特定することができる。更に、画像処理部210C(動画像処理部2112)は、第2動画像に含まれる静止画像から特定された部分画像に対して逐次に第2画像処理を適用することができる。それにより、ユーザーが選択した加工部分画像に適用された画像パラメータの値を第2動画像にも適用することができ、注目部位が好適に描出された第2動画像を観察することが可能となる。また、本例では、ユーザー自身が指定した範囲が部分画像に設定されるので、ユーザーの好みに応じた範囲をユーザーの好みに応じた態様で表現することが可能である。
<動作・使用形態>
 眼科観察装置1の動作及び使用形態について、幾つかの例を説明する。
<第1の例>
 眼科観察装置1の動作及び使用形態の第1の例について図11~図12Eを参照しつつ説明する。なお、前述した処理、動作及び使用形態のうちの任意の事項を本例に組み合わせることが可能である。
(S1:ライブ画像の生成及び表示を開始)
 まず、ユーザーは、操作装置2を用いて所定の操作を行うことで、眼科観察装置1による被検眼のライブ画像の生成及び表示を開始させる。具体的には、手術用顕微鏡10は、照明光学系30によって被検眼を照明しつつ撮像素子62L及び62Rによって被検眼のデジタル画像データ(映像)を生成する。生成された映像(ライブ画像301)は、表示装置3にリアルタイムで表示される(図12Aを参照)。つまり、手術用顕微鏡10により取得される映像が表示装置3にライブ画像として表示される。ユーザーは、このライブ画像を観察しながら手術を行うことができる。このライブ画像は、前述した第1動画像に相当する。
(S2:画像加工モードに移行)
 次に、ユーザーは、操作装置2を用いて所定の操作を行うことで、眼科観察装置1の動作モードを画像加工モードに切り替える。画像加工モードは、眼科観察装置1により表示されるライブ画像を加工するための動作モードである。
(S3:フレームをキャプチャ)
 動作モードが画像加工モードに移行すると、眼科観察装置1は、ライブ画像のフレーム(静止画像)をキャプチャする。
 キャプチャされるフレームの枚数は任意である。1枚のフレームがキャプチャされた場合、このフレームが以下の処理に供される。2枚以上のフレームがキャプチャされた場合、眼科観察装置1(例えば、データ処理部210)は、これらのフレームから1枚のフレームを選択又は1枚の静止画像を生成することができる。例えば、眼科観察装置1は、キャプチャされた2枚以上のフレームの画質評価値を算出し、それらを比較することで1枚のフレームを選択することができる。他の例として、眼科観察装置1は、キャプチャされた2枚以上のフレームを表示装置3に表示させ、操作装置2を用いてユーザーが指定した1枚のフレームを選択することができる。更に他の例として、眼科観察装置1は、キャプチャされた2枚以上のフレームを所定の画像処理で合成することによって1枚のフレームを作成することができる。
(S4:第1画像処理)
 データ処理部210(画像処理部211、加工画像作成部2111)は、1以上の画像パラメータのそれぞれの異なる複数の値を用いた第1画像処理を、ステップS3でキャプチャされたフレームに対して適用する。これにより、キャプチャされたフレームに基づく複数の加工画像が作成される。
 図12Bに示す例では、ライブ画像301からキャプチャされたフレーム(静止画像)302に対して、第1画像処理に含まれるK個の画像処理のそれぞれが適用される。K個の画像処理には、I個(I種類)の画像パラメータが用いられる(Iは、1以上の整数)。また、各画像パラメータ(第iの画像パラメータ;i=1、・・・、I)について、J個の値が準備されている(Jは、2以上の整数)。なお、準備された値の個数Jは、全ての画像パラメータについて等しくてもよいし、異なってもよい。前者の場合、K=I×Jとなる。後者の場合、K=Σ[J(i)]となる。ここで、J(i)は第i番目の画像パラメータにおける値の個数を示し、Σはiに関する和である。第i番目の画像パラメータの第j番目の値をP(i、j)で示す。このような第1画像処理により、複数の加工画像303-kが得られる。ここで、k=1、・・・、Kであり、Kは2以上の整数である。
 ここで、主制御部201又はデータ処理部210は、複数の加工画像のそれぞれに対して、その加工画像の作成に用いられた画像パラメータの値(1つ以上の値)を関連付けて記録する。例えば、図12Bの例では、各加工画像303-kに対して、この加工画像303-kの作成に用いられた1つ以上の画像パラメータの1つ以上の値P(i、j)が関連付けられる。このような加工画像と画像パラメータの値とを互いに関連付けた情報を関連情報と呼ぶ。
(S5:加工画像のサムネイルを作成)
 次に、データ処理部210(画像処理部211)は、ステップS4で作成された複数の加工画像のそれぞれのサムネイルを作成する。
(S6:複数のサムネイルを表示)
 次に、主制御部201は、ステップS5で作成された複数のサムネイルを表示装置3に表示させる。本例では、図12Cに示すように、所定の配列に並べられた複数のサムネイル(サムネイル群)303がライブ画像301上に表示される。
 一度に表示されるサムネイルの個数は任意であり、例えば、ステップS5で作成された全てのサムネイルを一度に提示してもよいし、ステップS5で作成された全てのサムネイルの一部(例えば、所定の個数)を一度に提示してもよい。また、一度に提示されるサムネイルの個数を変更可能にしてもよい。ステップS5で作成された全てのサムネイルの一部のみが一度に提示される場合、提示されるサムネイルを切り替えるための操作を行うことができる。この操作は、例えば、ページ切り替え又はスクロールであってよい。
(S7:サムネイルを選択)
 ユーザーは、ステップS6で表示された複数のサムネイルを比較し、所望のサムネイルを選択する。この選択操作は、前述した指示受付部(例えば、操作装置2に含まれるフットスイッチ)を用いて行われる。図12Dに示す例では、複数のサムネイル303のうちから1つのサムネイル304が選択されている。
(S8:第2画像処理)
 主制御部201又はデータ処理部210は、前述した関連情報を参照することにより、ステップS7で選択されたサムネイルに対応する加工画像に関連付けられた画像パラメータの値を特定する。
 更に、データ処理部210(画像処理部211、動画像処理部2112)は、特定された画像パラメータの値を用いて、手術用顕微鏡10により生成されているライブ画像をリアルタイムで加工する(第2画像処理)。リアルタイムで加工されたライブ画像は、主制御部201によって表示装置3にリアルタイムで表示される(エンド)。なお、この段階で生成及び表示されるライブ画像は、前述した第2動画像に相当する(図12Eのライブ画像305)。
 ユーザーは、自身が選択した加工画像と同様の画像処理が適用されたライブ画像305を観察しながら手術を行うことができる。
 前述したパラメータ処理部212(記録部)が設けられている場合、過去に適用された画像パラメータの値を読み出して再度適用することができる。このとき、当該ユーザーが過去に採用した画像パラメータの値を選択的に読み出して再適用することや、現在実施している医療行為の属性(例えば、手術の種類)に合致した画像パラメータの値を選択的に読み出して再適用することができる。また、現在実施している医療行為のフェーズに合致した画像パラメータの値を選択的に読み出して再適用することや、当該医療行為の複数のフェーズにそれぞれ合致した複数の値を順次に再適用することができる。
 前眼部手術を行う場合には、画像パラメータとして、例えば、色調パラメータ、明度パラメータ、コントラストパラメータ、ゲインパラメータなどが使用される。これにより、ユーザーは、例えば白内障手術において、角膜、虹彩、瞳孔、水晶体などの部位を好みの表示態様で観察できるとともに、創口、サイドポート、CCCにおける前嚢切開箇所、水晶体の乳化状態・吸引状態、IOLの位置・向きなどを明確に把握することができる。また、このような好適な画像表示態様を簡便且つ迅速に実現することができる。
 硝子体手術や後眼部手術を行う場合には、画像パラメータとして、例えば、ガンマパラメータ、ゲインパラメータ、色温度パラメータ、ホワイトバランスパラメータ、RGBバランスパラメータなどが使用される。これにより、硝子体内の浮遊物、混濁、増殖膜などを強調表示することができ、手術の作業効率の改善や手術ミスの回避・低減を図ることが可能となる。
<第2の例>
 眼科観察装置1の動作及び使用形態の第2の例について図13~図14Gを参照しつつ説明する。なお、前述した処理、動作及び使用形態のうちの任意の事項を本例に組み合わせることが可能である。
(S11:ライブ画像の生成及び表示を開始)
 まず、ユーザーは、操作装置2を用いて所定の操作を行うことで、眼科観察装置1による被検眼のライブ画像の生成及び表示を開始させる。具体的には、手術用顕微鏡10は、照明光学系30によって被検眼を照明しつつ撮像素子62L及び62Rによって被検眼のデジタル画像データ(映像)を生成する。生成された映像(ライブ画像401)は、表示装置3にリアルタイムで表示される(図14Aを参照)。つまり、手術用顕微鏡10により取得される映像が表示装置3にライブ画像として表示される。ユーザーは、このライブ画像を観察しながら手術を行うことができる。このライブ画像は、前述した第1動画像に相当する。
(S12:画像加工モードに移行)
 次に、ユーザーは、操作装置2を用いて所定の操作を行うことで、眼科観察装置1の動作モードを画像加工モードに切り替える。画像加工モードは、眼科観察装置1により表示されるライブ画像を加工するための動作モードである。
(S13:フレームをキャプチャ)
 動作モードが画像加工モードに移行すると、眼科観察装置1は、ライブ画像のフレーム(静止画像)をキャプチャする。
 キャプチャされるフレームの枚数は任意である。1枚のフレームがキャプチャされた場合、このフレームが以下の処理に供される。2枚以上のフレームがキャプチャされた場合、眼科観察装置1(例えば、データ処理部210)は、これらのフレームから1枚のフレームを選択又は1枚の静止画像を生成することができる。例えば、眼科観察装置1は、キャプチャされた2枚以上のフレームの画質評価値を算出し、それらを比較することで1枚のフレームを選択することができる。他の例として、眼科観察装置1は、キャプチャされた2枚以上のフレームを表示装置3に表示させ、操作装置2を用いてユーザーが指定した1枚のフレームを選択することができる。更に他の例として、眼科観察装置1は、キャプチャされた2枚以上のフレームを所定の画像処理で合成することによって1枚のフレームを作成することができる。
(S14:部分画像を設定)
 次に、眼科観察装置1(画像処理部211、部分画像特定部2113A又は2113B)は、ステップS13でキャプチャされたフレームの部分画像を設定する。
 本ステップの処理は、自動又は手動で行われる。自動の場合、図9の部分画像特定部2113Aが、ステップS13でキャプチャされたフレームにセグメンテーションを適用することによって部分画像が特定される(図14Bに示す枠402で囲まれた画像領域)。手動の場合、例えば、主制御部201が、ステップS13でキャプチャされたフレームを表示装置3に表示させ、GUI制御部203が、所定のGUIをこのフレーム上に表示させる。ユーザーは、このGUIを用いてフレームの部分領域を指定する。部分画像特定部2113Bは、GUIにより特定された範囲(例えば、GUIにより囲まれた範囲(及びその周辺の所定範囲))を部分領域として特定する(図14Bに示す枠402で囲まれた画像領域)。これにより、例えば、図14Cに示す部分画像403が得られる。
(S15:第1画像処理)
 データ処理部210(画像処理部211、加工画像作成部2111)は、1以上の画像パラメータのそれぞれの異なる複数の値を用いた第1画像処理を、ステップS14で得られた部分画像に対して適用する。これにより、この部分画像に基づく複数の加工部分画像が作成される。
 図14Dに示す例では、部分画像403に対して、第1画像処理に含まれるK個の画像処理のそれぞれが適用される。K個の画像処理には、I個(I種類)の画像パラメータが用いられる(Iは、1以上の整数)。また、各画像パラメータ(第iの画像パラメータ;i=1、・・・、I)について、J個の値が準備されている(Jは、2以上の整数)。なお、準備された値の個数Jは、全ての画像パラメータについて等しくてもよいし、異なってもよい。前者の場合、K=I×Jとなる。後者の場合、K=Σ[J(i)]となる。ここで、J(i)は第i番目の画像パラメータにおける値の個数を示し、Σはiに関する和である。第i番目の画像パラメータの第j番目の値をQ(i、j)で示す。このような第1画像処理により、複数の加工部分画像404-kが得られる。ここで、k=1、・・・、Kであり、Kは2以上の整数である。
 ここで、主制御部201又はデータ処理部210は、複数の加工部分画像(又は、複数の加工画像)のそれぞれに対して、その加工部分画像の作成に用いられた画像パラメータの値(1つ以上の値)を関連付けて記録する。例えば、図14Dの例では、各加工部分画像404-k(又は、これに対応する加工画像)に対して、この加工部分画像404-kの作成に用いられた1つ以上の画像パラメータの1つ以上の値Q(i、j)が関連付けられる。このような加工部分画像(又は加工画像)と画像パラメータの値とを互いに関連付けた情報を関連情報と呼ぶ。
(S16:加工部分画像のサムネイルを作成)
 次に、データ処理部210(画像処理部211)は、ステップS15で作成された複数の加工部分画像のそれぞれのサムネイルを作成する。
(S17:複数のサムネイルを表示)
 次に、主制御部201は、ステップS16で作成された複数のサムネイルを表示装置3に表示させる。本例では、図14Eに示すように、所定の配列に並べられた複数のサムネイル(サムネイル群)405がライブ画像401上に表示される。
 一度に表示されるサムネイルの個数は任意であり、例えば、ステップS16で作成された全てのサムネイルを一度に提示してもよいし、ステップS16で作成された全てのサムネイルの一部(例えば、所定の個数)を一度に提示してもよい。また、一度に提示されるサムネイルの個数を変更可能にしてもよい。ステップS16で作成された全てのサムネイルの一部のみが一度に提示される場合、提示されるサムネイルを切り替えるための操作を行うことができる。この操作は、例えば、ページ切り替え又はスクロールであってよい。
(S18:サムネイルを選択)
 ユーザーは、ステップS17で表示された複数のサムネイルを比較し、所望のサムネイルを選択する。この選択操作は、前述した指示受付部(例えば、操作装置2に含まれるフットスイッチ)を用いて行われる。図14Fに示す例では、複数のサムネイル405のうちから1つのサムネイル406が選択されている。
(S19:第2画像処理)
 主制御部201又はデータ処理部210は、前述した関連情報を参照することにより、ステップS18で選択されたサムネイルに対応する加工部分画像に関連付けられた画像パラメータの値を特定する。
 更に、データ処理部210(画像処理部211、動画像処理部2112)は、特定された画像パラメータの値を用いて、手術用顕微鏡10により生成されているライブ画像をリアルタイムで加工する(第2画像処理)。第2画像処理の適用範囲は、図14Bの枠402に対応するライブ画像(そのフレーム)の領域のみでもよいし、ライブ画像(そのフレーム)の全体であってもよい。前者の場合、例えば、前述したトラッキングによって、枠402に対応するライブ画像の領域が逐次に特定される。リアルタイムで加工されたライブ画像は、主制御部201によって表示装置3にリアルタイムで表示される(エンド)。なお、この段階で生成及び表示されるライブ画像は、前述した第2動画像に相当する。図12Eのライブ画像407は、このようにして表示されるライブ画像の例である。ライブ画像407では、枠402に対応する領域(枠408で囲まれた領域)のみに対して第2画像処理が適用されている。
 ユーザーは、自身が選択した加工画像と同様の画像処理が適用されたライブ画像407を観察しながら手術を行うことができる。
 前述したパラメータ処理部212(記録部)が設けられている場合、過去に適用された画像パラメータの値を読み出して再度適用することができる。このとき、当該ユーザーが過去に採用した画像パラメータの値を選択的に読み出して再適用することや、現在実施している医療行為の属性(例えば、手術の種類)に合致した画像パラメータの値を選択的に読み出して再適用することができる。また、現在実施している医療行為のフェーズに合致した画像パラメータの値を選択的に読み出して再適用することや、当該医療行為の複数のフェーズにそれぞれ合致した複数の値を順次に再適用することができる。
 前眼部手術を行う場合には、画像パラメータとして、例えば、色調パラメータ、明度パラメータ、コントラストパラメータ、ゲインパラメータなどが使用される。これにより、ユーザーは、例えば白内障手術において、虹彩、瞳孔、水晶体などの部位を好みの表示態様で観察できるとともに、創口、サイドポート、CCCにおける前嚢切開箇所、水晶体の乳化状態・吸引状態、IOLの位置・向きなどを明確に把握することができる。また、このような好適な画像表示態様を簡便且つ迅速に実現することができる。
 硝子体手術や後眼部手術を行う場合には、画像パラメータとして、例えば、ガンマパラメータ、ゲインパラメータ、色温度パラメータ、ホワイトバランスパラメータ、RGBバランスパラメータなどが使用される。これにより、硝子体内の浮遊物、混濁、増殖膜などを強調表示することができ、手術の作業効率の改善や手術ミスの回避・低減を図ることが可能となる。
<変形例>
 以上に説明した例示的な実施形態について、幾つかの変形例を説明する。
 図12C、図12D、図14E、図14Fに示した例では、複数のサムネイル(加工画像、加工部分画像)によって被検眼の像の一部が隠れている。この状態を解消するために、被検眼の像が表示されていない領域に複数のサムネイルを表示させることができる。そのために採用可能な処理の例として、複数のサムネイルの表示サイズを小さくすること、各サムネイルの表示サイズを小さくすること、複数のサムネイルの配列を変更すること、一度に表示されるサムネイルの個数を少なくすることなどがある。また、被検眼の像の範囲を検出し、それ以外の領域に複数のサムネイルを表示させることができる。
 このような動作を実現するために採用可能な構成の例を図15に示す。図15のデータ処理部210Cは、図3のデータ処理部210の例である。本例のデータ処理部210Cは、画像処理部211に加えて監視処理部213を含んでいる。画像処理部211は、前述した実施形態のそれと同様の構成及び動作を実行する。
 監視処理部213は、被検眼の動きを監視するためのデータ処理を実行する(監視部)。監視処理部213は、例えば、手術用顕微鏡10により生成された動画像のフレームを解析することによって被検眼の特徴点を検出する。特徴点は、例えば、瞳孔(中心、外縁など)、角膜輪(虹彩の外縁)、隅角、視神経乳頭、黄斑、血管など、任意のランドマークであってよい。監視処理部213は、リアルタイム動画像(第1動画像)として逐次に生成されるフレームを逐次に解析することで、動画像における特徴点の移動(特徴点の位置の時間変化)をリアルタイムで検出する。
 主制御部201は、監視処理部213からの出力に基づき、リアルタイム動画像とともに表示されている複数の加工画像(複数の加工部分画像、複数のサムネイル)の表示状態を変更することができる。この表示状態変更制御は、例えば、被検眼の像が表示されていない領域に複数の加工画像を表示させるように行われる。例えば、主制御部201は、複数の加工画像の表示サイズを小さくする制御、各加工画像の表示サイズを小さくする制御、複数の加工画像の配列を変更する制御、一度に表示されるサムネイルの個数を少なくする制御、複数の加工画像の表示を停止する制御(複数の加工画像を表示させない制御)などを実行することができる。
 このような変形例によれば、被検眼の動きに応じて複数の加工画像の表示状態を(動的に)変更することができるため、複数の加工画像が被検眼の像の観察を邪魔することがなくなる。なお、被検眼の動きを検知するための構成(監視部)は、上記した構成や処理に限定されず、任意であってよい。
 図16は、他の変形例を示す。図15の変形例は被検眼の動きに着目したものであるが、本変形例は、被検眼の異常の発生に着目したものである。
 図16のデータ処理部210Dは、図3のデータ処理部210の例である。本例のデータ処理部210Dは、画像処理部211に加えて異常検知部214を含んでいる。画像処理部211は、前述した実施形態のそれと同様の構成及び動作を実行する。
 異常検知部214は、被検眼の異常を検知するためのデータ処理を実行する。検知の対象となる異常の種類は、任意であってよく、例えば、出血、傷などであってよい。異常検知部214は、例えば、手術用顕微鏡10により生成された動画像のフレームを解析することによって異常を検知する。例えば、出血の検知は、画像の色の変化(赤色領域の増加など)によって行われる。
 幾つかの態様では、異常検知部214は、手術画像などを含む訓練データセットを用いた機械学習によって構築されたシステム(人工知能エンジン)を含んでいてもよい。この人工知能エンジンは、例えば、手術画像を入力とし、所定の異常の発生の確率を出力とした機械学習によって構築されたニューラルネットワーク(典型的には、畳み込みニューラルネットワーク)を含む。本例の異常検知部214は、手術用顕微鏡10により生成されるリアルタイム動画像(第1動画像)のフレームを逐次に人工知能エンジンに入力する。人工知能エンジンは、入力されたフレームに基づく異常発生確率を逐次に出力する。異常検知部214は、逐次に出力される異常発生確率に基づき異常検知を行う。例えば、異常検知部214は、逐次に出力される異常発生確率が既定の閾値を超えたときに異常を検知したと判断する。他の例として、異常検知部214は、逐次に出力される異常発生確率の変化(例えば、変化率、変化量)に基づいて異常検知を行うことができる。
 主制御部201は、異常検知部214からの出力に基づき、リアルタイム動画像とともに表示されている複数の加工画像(複数の加工部分画像、複数のサムネイル)の表示状態を変更することができる。この表示状態変更制御は、例えば、被検眼の像が表示されていない領域に複数の加工画像を表示させるように、又は、異常が検知された領域以外の領域に複数の加工画像を表示させるように実行される。例えば、主制御部201は、複数の加工画像の表示サイズを小さくする制御、各加工画像の表示サイズを小さくする制御、複数の加工画像の配列を変更する制御、一度に表示されるサムネイルの個数を少なくする制御、複数の加工画像の表示を停止する制御(複数の加工画像を表示させない制御)などを実行することができる。
 このような変形例によれば、被検眼に異常が発生したことに対応して複数の加工画像の表示状態を(動的に)変更することができるため、複数の加工画像が被検眼の像(特に、異常発生箇所)の観察を邪魔することがなくなる。なお、被検眼の異常を検知するための構成(監視部)は、上記した構成や処理に限定されず、任意であってよい。
 上記実施形態の眼科観察装置1は、第1動画像に含まれる静止画像(フレーム)に第1画像処理を適用して複数の加工画像を生成して表示するように構成されている。これに対し、幾つかの例示的な態様は、第1動画像に含まれる各静止画像(各フレーム)に対して逐次に第1画像処理を適用して複数の加工画像(複数の加工動画像)を生成して表示するように構成されていてよい。このような態様では、複数の加工動画像を並べて又は順次に表示させることができる。また、複数の加工動画像の少なくとも一部について、その加工画像に含まれる静止画像(加工静止画像、加工フレーム)を表示させることも可能である。本態様によれば、動いている被検眼の表示態様を最適化したい場合や、動きを伴う対象物(浮遊物、混濁、増殖膜、液流、血流など)の表示態様を最適化したい場合などに有効である。一方、このような処理をリアルタイムで行うためには、上記実施形態の眼科観察装置1よりも大量のリソースが必要とされる。そこで、加工動画像を扱う場合の処理負荷を低減するために、生成される加工動画像の個数を少なくすること、処理される加工動画像(サムネイル)の個数を少なくすること、表示される加工動画像(サムネイル)の個数を少なくすること、フレームの間引き処理を行うことなど、任意の処理負荷低減法を適用してもよい。
<眼科画像処理装置>
 例示的な実施形態に係る眼科画像処理装置について説明する。眼科画像処理装置は、被検眼の画像を処理するように構成されている。以下の例示的な眼科画像処理装置に対し、上記実施形態の眼科観察装置1に関する任意の事項(機能、構成、処理、動作、使用形態など)を組み合わせることが可能である。
 本例の眼科画像処理装置の構成例を図17に示す。図17の眼科画像処理装置500の要素のうち動画像受付部501以外の要素は、上記実施形態に係る眼科観察装置1における対応要素と同様に構成されていてよく、特に言及しない限り、それらの詳細な説明は省略する。
 眼科画像処理装置500の制御部502は、上記実施形態の眼科観察装置1の制御部200に相当する。眼科画像処理装置500の画像処理部503は、上記実施形態の眼科観察装置1のデータ処理部210(画像処理部211)に相当する。眼科画像処理装置500のユーザーインターフェイス(UI)504は、上記実施形態の眼科観察装置1の操作装置2及び表示装置3に相当する。
 動画像受付部501は、被検眼の動画像を受け付ける。動画像受付部501は、手術用顕微鏡10から直接的に又は間接的に動画像を受け付ける。例えば、動画像受付部501は、手術用顕微鏡10と通信回線又はケーブルで接続されている。或いは、動画像受付部501は、手術用顕微鏡10により生成された動画像が(一時的に)蓄積される装置(バッファ)と通信回線又はケーブルで接続されている。
 動画像受付部501は、上記実施形態の第1動画像を受け付ける。制御部502は、動画像受付部501により受け付けられた第1動画像を画像処理部503に送る。
 画像処理部503は、上記実施形態において説明した処理を実行することで、第1動画像に含まれる静止画像に対して所定の画像パラメータの異なる複数の値を用いた第1画像処理をそれぞれ適用して複数の加工画像を作成する。
 制御部502(表示制御部)は、画像処理部503により作成された複数の加工画像をUI504(第1表示装置)に表示させる。
 このような一連の動作に加えて、眼科画像処理装置500は、上記実施形態の眼科観察装置1と同様に、以下の処理を実行することができる。ユーザーは、UI504に表示された複数の加工画像のうちから少なくとも1つの加工画像を選択するための指示を行うことができる。この指示は、上記実施形態の眼科観察装置1の場合と同じ要領で行うことができ、例えば、UI504(指示受付部)を用いて行われる。
 画像処理部503は、ユーザーにより指定された少なくとも1つの加工画像に対応する画像パラメータの少なくとも1つの値に基づく第2画像処理を、このユーザーの指示に基づく選択が行われた後に動画像受付部501により受け付けられた被検眼の動画像(第2動画像)に適用する。この処理(第2画像処理)は、上記実施形態の眼科観察装置1の場合と同じ要領で実行される。
 制御部502(表示制御部)は、第2画像処理が適用された第2動画像をUI504(第2表示装置)に表示させる。
 このような眼科画像処理装置500によれば、上記実施形態の眼科観察装置1と同様の作用及び効果を奏することができる。また、上記実施形態の眼科観察装置1に関する事項(機能、構成、処理、動作、使用形態など)を眼科画像処理装置500に組み合わせることで、その結果として得られる眼科画像処理装置500は、組み合わされた事項に対応する作用及び効果を奏することができる。
<眼科画像処理方法>
 例示的な実施形態(例えば、上記した眼科観察装置1又は眼科画像処理装置500)は、眼科画像(被検眼の画像)を処理する方法を提供する。以下の例示的な眼科画像処理方法に対し、上記実施形態の眼科観察装置1に関する任意の事項を組み合わせることが可能であり、また、上記実施形態の眼科画像処理装置500に関する任意の事項を組み合わせることが可能である。
 例示的な態様の眼科画像処理方法は、まず、被検眼の第1動画像を受け付ける。次に、この第1動画像に含まれる静止画像に対して所定の画像パラメータの異なる複数の値を用いた第1画像処理をそれぞれ適用して複数の加工画像を作成する。次に、作成された複数の加工画像を表示する。次に、表示された複数の加工画像のうちから少なくとも1つの加工画像を選択するための指示を受け付ける。この指示に基づく少なくとも1つの加工画像の選択が行われた後に、被検眼の第2動画像を受け付ける。次に、選択された少なくとも1つの加工画像に対応する画像パラメータの少なくとも1つの値に基づく第2画像処理を第2動画像に適用する。次に、第2画像処理が適用された第2動画像を表示する。このような一連の工程は、上記実施形態の眼科観察装置1の動作及び使用形態(図11、図12A~図12E、図13、図14A~図14Gなど)として説明されている。
 このような眼科画像処理方法によれば、上記実施形態の眼科観察装置1及び眼科画像処理装置500と同様の作用及び効果を奏することができる。また、上記実施形態の眼科観察装置1又は眼科画像処理装置500に関する事項を眼科画像処理方法に組み合わせることで、その結果として得られる眼科画像処理方法は、組み合わされた事項に対応する作用及び効果を奏することができる。
<プログラム>
 例示的な実施形態は、上記した眼科画像処理方法をコンピュータに実行させるプログラムを提供する。このようなプログラムに対して、上記実施形態の眼科観察装置1又は眼科画像処理装置500に関する事項を組み合わせることが可能である。
 このようなプログラムによれば、上記実施形態の眼科観察装置1及び眼科画像処理装置500と同様の作用及び効果を奏することができる。また、上記実施形態の眼科観察装置1又は眼科画像処理装置500に関する事項をプログラムに組み合わせることで、その結果として得られるプログラムは、組み合わされた事項に対応する作用及び効果を奏することができる。
<記録媒体>
 例示的な実施形態は、上記のようなプログラムを記録したコンピュータ可読な非一時的記録媒体を提供する。このような記録媒体に対して、上記実施形態の眼科観察装置1又は眼科画像処理装置500に関する事項を組み合わせることが可能である。非一時的記録媒体の形態は、任意であってよく、その例として、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどがある。
 このような記録媒体によれば、上記実施形態の眼科観察装置1及び眼科画像処理装置500と同様の作用及び効果を奏することができる。また、上記実施形態の眼科観察装置1又は眼科画像処理装置500に関する事項を記録媒体に組み合わせることで、その結果として得られる記録媒体は、組み合わされた事項に対応する作用及び効果を奏することができる。
 上記の実施形態は、本発明を実施するための例示に過ぎない。本発明を実施しようとする者は、本発明の要旨の範囲内において任意の変形、省略、追加、置換などを施すことが可能である。
1 眼科観察装置
2 操作装置
3 表示装置
10 手術用顕微鏡
30 照明光学系
40 観察光学系
60 撮像カメラ
200 制御部
201 主制御部
203 GUI制御部
210 データ処理部
211 画像処理部
2111 加工画像作成部
2112 動画像処理部
212 パラメータ処理部
2121 パラメータ記憶部
2122 パラメータ選択部
2123 撮影条件記録部
2124 撮影条件選択部
2125 パラメータ決定部
2113A、2113B 部分画像特定部
221 識別子受付部
222 属性情報取得部

Claims (25)

  1.  被検眼を観察するための眼科観察装置であって、
     前記被検眼を撮影して第1動画像を生成する動画像生成部と、
     前記第1動画像に含まれる静止画像に対して所定の画像パラメータの異なる複数の値を用いた第1画像処理をそれぞれ適用して複数の加工画像を作成する画像処理部と、
     前記複数の加工画像を第1表示装置に表示させる表示制御部と
     を含む、眼科観察装置。
  2.  前記第1表示装置に表示された前記複数の加工画像のうちから少なくとも1つの加工画像を選択するための指示を受け付ける指示受付部を更に含み、
     前記画像処理部は、前記少なくとも1つの加工画像に対応する前記画像パラメータの少なくとも1つの値に基づく第2画像処理を、前記指示受付部を用いて前記少なくとも1つの加工画像の選択が行われた後に前記動画像生成部により生成される第2動画像に適用し、
     前記表示制御部は、前記第2画像処理が適用された前記第2動画像を第2表示装置に表示させる、
     請求項1の眼科観察装置。
  3.  前記複数の加工画像のうちの1つの加工画像が前記指示受付部を用いて選択された場合、前記画像処理部は、前記1つの加工画像に対応する前記画像パラメータの1つの値を用いた画像処理を前記第2画像処理として前記第2動画像に適用する、
     請求項2の眼科観察装置。
  4.  前記複数の加工画像のうちの2つ以上の加工画像が前記指示受付部を用いて選択された場合、前記画像処理部は、前記2つ以上の加工画像のうちの1つの加工画像に対応する前記画像パラメータの1つの値を用いた画像処理を前記第2画像処理として前記第2動画像に適用する、
     請求項2の眼科観察装置。
  5.  前記複数の加工画像のうちの2つ以上の加工画像が前記指示受付部を用いて選択された場合、前記画像処理部は、前記2つ以上の加工画像にそれぞれ対応する前記画像パラメータの2つ以上の値に基づき1つの値を決定し、前記1つの値を用いた画像処理を前記第2画像処理として前記第2動画像に適用する、
     請求項2の眼科観察装置。
  6.  前記第2画像処理に用いられた前記画像パラメータの前記1つの値を記録する記録部を更に含む、
     請求項2~5のいずれかの眼科観察装置。
  7.  ユーザーの識別子を受け付ける識別子受付部を更に含み、
     前記記録部は、前記識別子受付部により受け付けられた前記識別子に関連付けて前記画像パラメータの前記1つの値を記録する、
     請求項6の眼科観察装置。
  8.  前記被検眼に対する医療行為の属性を示す属性情報を取得する属性情報取得部を更に含み、
     前記記録部は、前記属性情報取得部により取得された前記属性情報に関連付けて前記画像パラメータの前記1つの値を記録する、
     請求項6又は7の眼科観察装置。
  9.  過去に前記記録部により記録された前記画像パラメータの値のうちから少なくとも1つの値を選択する選択部を更に含み、
     前記画像処理部は、前記選択部により選択された前記少なくとも1つの値に基づく画像処理を、前記動画像生成部により生成された第3動画像に適用する、
     請求項6~8のいずれかの眼科観察装置。
  10.  前記記録部は、前記第2動画像が生成されたときの撮影条件を前記画像パラメータの前記1つの値に関連付けて記録し、
     前記選択部は、前記選択部により選択された前記少なくとも1つの値に関連付けられた撮影条件を更に選択し、
     前記選択部によりそれぞれ選択された前記少なくとも1つの値及び前記撮影条件に基づいて前記画像パラメータの値を決定する決定部を更に含み、
     前記画像処理部は、前記決定部により決定された前記画像パラメータの前記値を用いた画像処理を前記第3動画像に適用する、
     請求項9の眼科観察装置。
  11.  前記画像処理部は、前記第1動画像に含まれる前記静止画像の一部である部分画像に対して前記第1画像処理を適用して、前記複数の加工画像としての複数の加工部分画像を作成し、
     前記表示制御部は、前記複数の加工部分画像をそれぞれ含む複数の画像を前記第1表示装置に表示させる、
     請求項2~10のいずれかの眼科観察装置。
  12.  前記画像処理部は、前記被検眼の所定部位の像を特定するためのセグメンテーションを前記第1動画像に含まれる前記静止画像に適用して前記部分画像を特定する第1部分画像特定部を含む、
     請求項11の眼科観察装置。
  13.  前記第1部分画像特定部は、前記第2動画像に前記セグメンテーションを適用して前記第2動画像に含まれる静止画像の部分画像を逐次に特定し、
     前記画像処理部は、前記第2動画像に含まれる前記静止画像から特定された前記部分画像に対して逐次に前記第2画像処理を適用する、
     請求項12の眼科観察装置。
  14.  前記表示制御部は、前記第1動画像又は前記第1動画像に含まれる静止画像を前記第1表示装置又は前記第2表示装置に表示させ、
     表示された前記第1動画像又は前記第1動画像に含まれる前記静止画像における部分領域を指定するためのグラフィカルユーザーインターフェイスを更に含み、
     前記画像処理部は、前記ユーザーインターフェイスを用いて指定された前記部分領域に基づき前記部分画像を設定する、
     請求項11の眼科観察装置。
  15.  前記画像処理部は、前記第2動画像に含まれる静止画像において前記部分領域に対応する部分画像を逐次に特定する第2部分画像特定部を含み、
     前記画像処理部は、前記第2動画像に含まれる前記静止画像から特定された前記部分画像に対して逐次に前記第2画像処理を適用する、
     請求項14の眼科観察装置。
  16.  前記表示制御部は、前記複数の加工画像のうちの2つ以上の加工画像又は前記2つ以上の加工画像のサムネイルを前記第1表示装置に並べて表示させる、
     請求項1~15のいずれかの眼科観察装置。
  17.  前記表示制御部は、前記複数の加工画像のうちの2つ以上の加工画像又は前記2つ以上の加工画像のサムネイルを前記第1表示装置に順次に表示させる、
     請求項1~15のいずれかの眼科観察装置。
  18.  前記被検眼の動きを監視する監視部を更に含み、
     前記表示制御部は、前記監視部からの出力に基づき前記複数の加工画像の表示状態を変更する、
     請求項1~17のいずれかの眼科観察装置。
  19.  前記被検眼の異常を検知する異常検知部を更に含み、
     前記表示制御部は、前記異常検知部からの出力に基づき前記複数の加工画像の表示状態を変更する、
     請求項1~18のいずれかの眼科観察装置。
  20.  前記画像パラメータは、色調パラメータ、明度パラメータ、コントラストパラメータ、ゲインパラメータ、ガンマパラメータ、色温度パラメータ、ホワイトバランスパラメータ、RGBバランスパラメータ、グレイバランスパラメータ、エッジ強調パラメータ、影強調パラメータ、鮮鋭化パラメータ、及び、ハイダイナミックレンジパラメータのうちの1つ以上を含む、
     請求項1~19のいずれかの眼科観察装置。
  21.  被検眼の画像を処理する眼科画像処理装置であって、
     前記被検眼の第1動画像を受け付ける動画像受付部と、
     前記第1動画像に含まれる静止画像に対して所定の画像パラメータの異なる複数の値を用いた第1画像処理をそれぞれ適用して複数の加工画像を作成する画像処理部と、
     前記複数の加工画像を第1表示装置に表示させる表示制御部と
     を含む、眼科画像処理装置。
  22.  前記第1表示装置に表示された前記複数の加工画像のうちから少なくとも1つの加工画像を選択するための指示を受け付ける指示受付部を更に含み、
     前記画像処理部は、前記少なくとも1つの加工画像に対応する前記画像パラメータの少なくとも1つの値に基づく第2画像処理を、前記指示に基づく前記少なくとも1つの加工画像の選択が行われた後に前記動画像受付部により受け付けられた前記被検眼の第2動画像に適用し、
     前記表示制御部は、前記第2画像処理が適用された前記第2動画像を第2表示装置に表示させる、
     請求項21の眼科画像処理装置。
  23.  被検眼の画像を処理する眼科画像処理方法であって、
     前記被検眼の第1動画像を受け付け、
     前記第1動画像に含まれる静止画像に対して所定の画像パラメータの異なる複数の値を用いた第1画像処理をそれぞれ適用して複数の加工画像を作成し、
     前記複数の加工画像を表示し、
     表示された前記複数の加工画像のうちから少なくとも1つの加工画像を選択するための指示を受け付け、
     前記指示に基づく前記少なくとも1つの加工画像の選択が行われた後に、前記被検眼の第2動画像を受け付け、
     前記少なくとも1つの加工画像に対応する前記画像パラメータの少なくとも1つの値に基づく第2画像処理を前記第2動画像に適用し、
     前記第2画像処理が適用された前記第2動画像を表示する、
     眼科画像処理方法。
  24.  請求項23の方法をコンピュータに実行させるプログラム。
  25.  請求項24のプログラムが記録されたコンピュータ可読な非一時的記録媒体。
PCT/JP2021/037930 2020-10-23 2021-10-13 眼科観察装置、眼科画像処理装置、眼科画像処理方法、プログラム、及び記録媒体 WO2022085540A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180071853.2A CN116437848A (zh) 2020-10-23 2021-10-13 眼科观察装置、眼科图像处理装置、眼科图像处理方法、程序以及记录介质
EP21882681.6A EP4233689A1 (en) 2020-10-23 2021-10-13 Ophthalmological observation device, ophthalmological image processing device, ophthalmological image processing method, program, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-177703 2020-10-23
JP2020177703A JP2022068892A (ja) 2020-10-23 2020-10-23 眼科観察装置、眼科画像処理装置、眼科画像処理方法、プログラム、及び記録媒体

Publications (1)

Publication Number Publication Date
WO2022085540A1 true WO2022085540A1 (ja) 2022-04-28

Family

ID=81290797

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/037930 WO2022085540A1 (ja) 2020-10-23 2021-10-13 眼科観察装置、眼科画像処理装置、眼科画像処理方法、プログラム、及び記録媒体

Country Status (4)

Country Link
EP (1) EP4233689A1 (ja)
JP (1) JP2022068892A (ja)
CN (1) CN116437848A (ja)
WO (1) WO2022085540A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003310556A (ja) 2002-04-19 2003-11-05 Topcon Corp 眼科撮影装置
JP2005103030A (ja) * 2003-09-30 2005-04-21 Seventh Dimension Design:Kk 医療画像作成装置及び医療画像作成プログラム
JP2009118955A (ja) 2007-11-13 2009-06-04 Topcon Corp 手術用顕微鏡装置
JP2013169309A (ja) * 2012-02-20 2013-09-02 Canon Inc 画像形成装置及び画像形成方法
JP2013198719A (ja) * 2012-02-20 2013-10-03 Canon Inc 画像処理装置及び画像処理方法
JP2020000678A (ja) * 2018-06-29 2020-01-09 株式会社ニデック 眼科画像処理装置、oct装置、眼科画像処理プログラム、および、数学モデル構築方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003310556A (ja) 2002-04-19 2003-11-05 Topcon Corp 眼科撮影装置
JP2005103030A (ja) * 2003-09-30 2005-04-21 Seventh Dimension Design:Kk 医療画像作成装置及び医療画像作成プログラム
JP2009118955A (ja) 2007-11-13 2009-06-04 Topcon Corp 手術用顕微鏡装置
JP2013169309A (ja) * 2012-02-20 2013-09-02 Canon Inc 画像形成装置及び画像形成方法
JP2013198719A (ja) * 2012-02-20 2013-10-03 Canon Inc 画像処理装置及び画像処理方法
JP2020000678A (ja) * 2018-06-29 2020-01-09 株式会社ニデック 眼科画像処理装置、oct装置、眼科画像処理プログラム、および、数学モデル構築方法

Also Published As

Publication number Publication date
JP2022068892A (ja) 2022-05-11
CN116437848A (zh) 2023-07-14
EP4233689A1 (en) 2023-08-30

Similar Documents

Publication Publication Date Title
US9480394B2 (en) Apparatus and method for imaging an eye
JP6518054B2 (ja) 眼科装置
WO2017154348A1 (ja) 眼科装置
JP6899632B2 (ja) 眼科撮影装置
MX2011004021A (es) Aparato y metodo para procesamiento de imagen del ojo.
WO2019176974A1 (ja) スリットランプ顕微鏡及び眼科システム
JP2021023686A (ja) 眼科装置、その制御方法、プログラム、及び、記録媒体
WO2018135175A1 (ja) 眼科装置
WO2019176973A1 (ja) スリットランプ顕微鏡及び眼科システム
WO2022085540A1 (ja) 眼科観察装置、眼科画像処理装置、眼科画像処理方法、プログラム、及び記録媒体
WO2022145129A1 (ja) 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
US20220280036A1 (en) Slit lamp microscope, ophthalmic information processing apparatus, ophthalmic system, method of controlling slit lamp microscope, and recording medium
WO2022091430A1 (ja) 眼科観察装置、その制御方法、プログラム、及び記録媒体
US11219363B2 (en) Ophthalmic apparatus and ophthalmic optical coherence tomography method
JP2017093854A (ja) 眼科撮影装置及び眼科画像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21882681

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021882681

Country of ref document: EP

Effective date: 20230523