WO2022163189A1 - 画像処理装置、画像処理方法及び手術顕微鏡システム - Google Patents

画像処理装置、画像処理方法及び手術顕微鏡システム Download PDF

Info

Publication number
WO2022163189A1
WO2022163189A1 PCT/JP2021/046453 JP2021046453W WO2022163189A1 WO 2022163189 A1 WO2022163189 A1 WO 2022163189A1 JP 2021046453 W JP2021046453 W JP 2021046453W WO 2022163189 A1 WO2022163189 A1 WO 2022163189A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display image
boundary
eye
display
Prior art date
Application number
PCT/JP2021/046453
Other languages
English (en)
French (fr)
Inventor
潤一郎 榎
泉澄 細井
雄生 杉江
知之 大月
浩司 鹿島
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202180091599.2A priority Critical patent/CN116744838A/zh
Priority to EP21923193.3A priority patent/EP4275647A4/en
Priority to JP2022578131A priority patent/JPWO2022163189A1/ja
Publication of WO2022163189A1 publication Critical patent/WO2022163189A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3618—Image-producing devices, e.g. surgical cameras with a mirror
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A61B2090/3735—Optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery
    • A61F9/00736—Instruments for removal of intra-ocular material or intra-ocular injection, e.g. cataract instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery
    • A61F9/00736—Instruments for removal of intra-ocular material or intra-ocular injection, e.g. cataract instruments
    • A61F9/00754—Instruments for removal of intra-ocular material or intra-ocular injection, e.g. cataract instruments for cutting or perforating the anterior lens capsule, e.g. capsulotomes

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and a surgical microscope system.
  • intraocular lens As a method of refractive correction in ophthalmology, by inserting an artificial lens called an intraocular lens (IOL) into the eye, it is widely used to eliminate the refractive error of the crystalline lens and improve visual functions such as visual acuity. It is done.
  • the most widely used intraocular lens is an intraocular lens that is inserted into the lens capsule as a replacement for the lens removed by cataract surgery.
  • various intraocular lenses such as those that are fixed (dwelled) in the ciliary sulcus (Phakic IOL).
  • Patent Literature 1 proposes a technique of changing the position of a mark (pattern) indicating a preoperative plan according to the result of eyeball tracking.
  • the present disclosure proposes an image processing device, an image processing method, and a surgical microscope system capable of performing surgery in accordance with a preoperative plan with high precision.
  • An image processing apparatus includes an image input unit that receives an operative field image of a patient's eye, an eyeball tracking unit that tracks an eyeball in the operative field image, and a display mode for the operative field image.
  • a display image generation unit that sets a plurality of regions having different values, and generates a display image in which boundaries between the plurality of regions indicate at least one of a specific position, a specific direction, and a specific size with respect to the eye, the display image
  • the generation unit changes the display mode of any one or all of the plurality of regions based on the tracking result of the eyeball, and changes at least one of the position, direction, and size of the boundary.
  • an image processing apparatus receives an operating field image of a patient's eye, tracks an eyeball in the operating field image, and performs a plurality of operations with different display modes for the operating field image. and generating a display image in which boundaries of the plurality of regions indicate at least one of a specific position, a specific direction, and a specific size with respect to the eye, wherein the image processing device tracks the eyeball Based on the result, the display mode of any one or all of the plurality of areas is changed, and at least one of the position, direction and size of the boundary is changed.
  • a surgical microscope system includes a surgical microscope that obtains an surgical field image of a patient's eye, an image processing device that generates a display image, and a display device that displays the display image, wherein the image is
  • the processing device includes an image input unit that receives the operative field image, an eye tracking unit that tracks an eyeball in the operative field image, a plurality of regions having different display modes for the operative field image, and the plurality of a display image generation unit for generating the display image showing at least one of a specific position, a specific direction, and a specific size with respect to the eye, wherein the boundary of the region of the display image generation unit includes: Based on this, the display mode of any one or all of the plurality of areas is changed, and at least one of the position, direction and size of the boundary is changed.
  • FIG. 1 is a diagram showing an example of a schematic configuration of a surgical microscope system according to an embodiment of the present disclosure
  • FIG. 1 is a diagram showing an example of a schematic configuration of a surgical microscope according to an embodiment of the present disclosure
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an image processing device according to an embodiment of the present disclosure
  • FIG. 3 is a diagram showing Example 1 of a display image according to the embodiment of the present disclosure
  • FIG. FIG. 4 is a first diagram for explaining display image generation according to the embodiment of the present disclosure
  • FIG. 7 is a second diagram for explaining display image generation according to the embodiment of the present disclosure
  • FIG. 10 is a diagram showing Example 2 of a display image according to the embodiment of the present disclosure
  • FIG. 10 is a diagram showing Example 3 of a display image according to the embodiment of the present disclosure
  • FIG. 10 is a diagram showing Example 4 of a display image according to the embodiment of the present disclosure
  • FIG. 11 is a diagram showing Example 5 of a display image according to an embodiment of the present disclosure
  • FIG. 11 is a diagram showing Example 6 of a display image according to an embodiment of the present disclosure
  • FIG. 11 is a diagram showing Example 7 of a display image according to an embodiment of the present disclosure
  • FIG. 11 is a diagram showing an example 8 of a display image according to an embodiment of the present disclosure
  • FIG. 11 is a diagram showing Example 9 of a display image according to an embodiment of the present disclosure
  • FIG. 10 is a diagram showing Example 3 of a display image according to the embodiment of the present disclosure
  • FIG. 10 is a diagram showing Example 4 of a display image according to the embodiment of the present disclosure
  • FIG. 11 is a diagram showing Example 5 of a display image according to an embodiment of the present disclosure
  • FIG. 11
  • FIG. 10 is a diagram showing example 10 of a display image according to an embodiment of the present disclosure
  • 11A and 11B are diagrams showing an example 11 of a display image according to an embodiment of the present disclosure
  • FIG. FIG. 5 is a diagram for explaining changes in boundary presentation according to tracking conditions according to the embodiment of the present disclosure
  • FIG. 4 is a first diagram for explaining changes in boundary presentation according to time according to the embodiment of the present disclosure
  • FIG. 10 is a second diagram for explaining changes in boundary presentation according to time according to the embodiment of the present disclosure
  • FIG. 11 is a third diagram for explaining changes in boundary presentation according to time according to the embodiment of the present disclosure
  • FIG. 5 is a diagram for explaining changes in boundary presentation according to tracking results according to the embodiment of the present disclosure
  • FIG. 12 is a diagram showing example 12 of a display image according to an embodiment of the present disclosure
  • FIG. 13 is a diagram showing example 13 of a display image according to an embodiment of the present disclosure
  • FIG. 14 is a diagram showing an example 14 of a display image according to an embodiment of the present disclosure
  • FIG. 14 is a fourth diagram for explaining changes in boundary presentation according to time according to the embodiment of the present disclosure
  • FIG. 15 is a diagram showing an example 15 of a display image according to an embodiment of the present disclosure
  • FIG. 16 is a first diagram showing example 16 of a display image according to an embodiment of the present disclosure
  • FIG. 16 is a second diagram showing example 16 of a display image according to an embodiment of the present disclosure
  • FIG. 17 is a diagram showing example 17 of a display image according to an embodiment of the present disclosure
  • 1 is a diagram illustrating an example of a schematic configuration of a computer according to an embodiment of the present disclosure
  • Embodiment 1-1 Example of schematic configuration of surgical microscope system 1-2.
  • Example of schematic configuration of surgical microscope 1-3 Schematic Configuration of Image Processing Apparatus and Example of Image Processing 1-4. Action and effect 2.
  • FIG. 1 is a diagram showing an example of a schematic configuration of a surgical microscope system 1 according to an embodiment.
  • the surgical microscope system 1 has a surgical microscope 10 and a patient bed 20.
  • This surgical microscope system 1 is a system used for eye surgery. The patient undergoes eye surgery while lying on the patient bed 20 . An operator, who is a doctor, performs surgery while observing the patient's eye through the surgical microscope 10 .
  • the surgical microscope 10 has an objective lens 11, an eyepiece lens 12, an image processing device 13, and a monitor 14.
  • the objective lens 11 and the eyepiece lens 12 are lenses for magnifying and observing the eye of the patient to be operated.
  • the image processing device 13 outputs various images, various information, etc. by performing predetermined image processing on the image captured through the objective lens 11 .
  • the monitor 14 displays an image captured through the objective lens 11, various images generated by the image processing device 13, various information, and the like. This monitor 14 may be provided separately from the surgical microscope 10 .
  • the operator looks into the eyepiece 12 and performs surgery while observing the patient's eye through the objective lens 11.
  • the operator performs surgery while confirming the operative field image, various images (for example, an image before image processing, an image after image processing, etc.), various information, and the like displayed on the monitor 14 . It is also possible to perform surgery using only the image on the monitor 14 .
  • FIG. 2 is a diagram showing an example of a schematic configuration of the surgical microscope 10 according to the embodiment.
  • the surgical microscope 10 includes, in addition to the objective lens 11, the eyepiece lens 12, the image processing device 13, and the monitor 14, a light source 51, an observation optical system 52, a front image capturing unit 53, a tomographic It has an image capturing unit 54 , a presentation unit 55 , an interface unit 56 and a speaker 57 .
  • the monitor 14 and the presentation unit 55 correspond to display devices.
  • the light source 51 emits illumination light under the control of the control unit 13A included in the image processing device 13 to illuminate the eyes of the patient.
  • the observation optical system 52 is composed of optical elements such as the objective lens 11, a half mirror 52a, and lenses (not shown).
  • the observation optical system 52 guides the light (observation light) reflected from the patient's eye to the eyepiece 12 and the front image capturing section 53 .
  • the light reflected from the patient's eye enters the half mirror 52a as observation light via the objective lens 11, a lens (not shown), or the like.
  • Approximately half of the observation light incident on the half mirror 52 a passes through the half mirror 52 a as it is, and enters the eyepiece 12 via the transmission type presentation unit 55 .
  • the other half of the observation light incident on the half mirror 52 a is reflected by the half mirror 52 a and enters the front image capturing section 53 .
  • the front image capturing unit 53 is composed of, for example, a video camera.
  • the front image photographing unit 53 receives the observation light incident from the observation optical system 52 and photoelectrically converts it to obtain an image of the patient's eye observed from the front, that is, an image of the patient's eye photographed approximately in the eye axis direction. A front image is taken.
  • the front image capturing unit 53 captures (captures) a front image under the control of the image processing device 13 and supplies the obtained front image to the image processing device 13 .
  • the tomographic image capturing unit 54 is configured by, for example, an optical coherence tomography (OCT), a Scheimpflug camera, or the like.
  • OCT optical coherence tomography
  • the tomographic image capturing unit 54 captures (pictures) a tomographic image, which is a cross-sectional image of the patient's eye, under the control of the image processing device 13 and supplies the obtained tomographic image to the image processing device 13 .
  • a tomographic image is an image of a cross section of a patient's eye in a direction substantially parallel to the eye axis direction.
  • the tomographic image capturing unit 54 acquires a tomographic image, for example, using infrared light based on the principle of interference. may be a common optical path.
  • the eyepiece 12 condenses the observation light incident from the observation optical system 52 via the presentation unit 55 and forms an optical image of the patient's eye. An optical image of the patient's eye is thereby observed by the operator looking through the eyepiece 12 .
  • the presentation unit 55 is composed of a transmissive or non-transmissive display device or the like, and is arranged between the eyepiece 12 and the observation optical system 52 .
  • the presentation unit 55 transmits observation light incident from the observation optical system 52 and makes it enter the eyepiece 12, and also displays various images (for example, a front image, a tomographic image, etc.) and various information supplied from the image processing device 13. are also presented (displayed) as necessary.
  • Various images, various information, and the like may be presented, for example, superimposed on the optical image of the patient's eye, or may be presented in the periphery of the optical image so as not to interfere with the optical image.
  • the transmissive display device and the non-transmissive display device are configured to be switchable, and can be switched as necessary. For example, there are a transmissive mode and a non-transmissive mode, which are changed by an operator or the like to switch between a transmissive display device and a non-transmissive display device.
  • the image processing device 13 has a control section 13A that controls the operation of the surgical microscope 10 as a whole.
  • the control section 13A changes the illumination conditions of the light source 51 or changes the zoom magnification of the observation optical system 52 .
  • the control unit 13A controls image acquisition by the front image capturing unit 53 and the tomographic image capturing unit 54 based on the operation information of the operator or the like supplied from the interface unit 56 and the like.
  • the interface unit 56 is composed of, for example, a communication unit and the like.
  • the communication unit receives commands from operation units such as a touch panel superimposed on the monitor 14, foot switches, controllers, and remote controllers, and communicates with external devices.
  • the interface unit 56 supplies the image processing apparatus 13 with information and the like according to the operation of the operator.
  • the interface unit 56 also outputs device control information and the like for controlling the external device supplied from the image processing apparatus 13 to the external device.
  • the monitor 14 displays various images such as a front image and various information on the display screen in accordance with the control by the control unit 13A of the image processing device 13 .
  • the speaker 57 emits a buzzer sound, a melody sound, or the like in order to notify the operator or the like of the dangerous situation. Outputs sound, message (voice), and the like.
  • the surgical microscope 10 may be provided with a rotating light or indicator light (lamp) for informing the operator or the like of a dangerous situation.
  • a display presenting one or both of a specific position and a specific size (a specific position and a specific size with respect to the eye) based on a preoperative plan is presented by the boundaries of a plurality of regions with different display modes.
  • the difference in display mode is a difference in parameters related to display conditions, such as a difference in brightness, a difference in saturation, a difference in color temperature, a difference in color, a difference in contrast, and a difference in sharpness.
  • FIG. 3 is a diagram showing an example of a schematic configuration (configuration and processing flow) of the image processing apparatus 13 according to the embodiment.
  • the image processing apparatus 13 includes a preoperative plan receiving unit 13a, an image input unit 13b, a registration unit 13c, an information storage unit 13d, an eyeball tracking unit (eyeball tracking unit) 13e, and a display image generator 13f.
  • the preoperative plan receiving unit 13a receives preoperative plan information for the patient's eye (for example, preoperative images of the preoperative plan, posture information, etc.).
  • Posture information for preoperative planning includes the size of the index (indicator related to treatment) based on the limbus and other parts in the preoperative image, the position of the index, and the orientation of the index around the eye axis (rotation direction around the eye axis). position) (size information, position information, orientation information, etc.).
  • the size of the index, the position of the index, the orientation of the index around the eye axis, etc. include the position, shape, size, etc. of the incision, and the position and orientation of an implant such as an intraocular lens to be inserted.
  • the direction around the eye axis is defined by the angle in the direction of rotation around the eye axis with respect to a reference line orthogonal to the eye axis.
  • both the position of the index in the coordinate system and the position in the direction of rotation about the eye axis correspond to positional information of the index (positional information of the specific position).
  • the image input unit 13b receives an operating field image (front image) from the front image capturing unit 53 (see FIG. 2), and receives the operating field image (for example, an operating field image at the start of surgery or a real-time image during surgery). surgical field image, etc.) to the registration unit 13c, the eyeball tracking unit 13e, the display image generation unit 13f, and the like.
  • an operating field image front image
  • the operating field image for example, an operating field image at the start of surgery or a real-time image during surgery.
  • surgical field image etc.
  • the registration unit 13c compares the preoperative image of the preoperative plan and the operative field image at the start of the operation to determine the correspondence relationship between the preoperative image of the preoperative plan and the operative field image at the start of the operation, for example, the preoperative image , a conversion parameter (for example, a conversion parameter for coordinate conversion) to the surgical field image at the start of the operation is obtained. Then, the registration unit 13c supplies the relational information regarding the obtained conversion parameters to the information storage unit 13d together with the surgical field image at the time of starting the preoperative operation.
  • a conversion parameter for example, a conversion parameter for coordinate conversion
  • the information storage unit 13d converts (changes) the posture information of the preoperative plan in accordance with the surgical field image at the start of surgery based on the relationship information and the surgical field image at the start of the surgery supplied from the registration unit 13c. Then, the operative field image at the start of the operation and posture information of the preoperative plan converted according to the operative field image at the start of the operation are accumulated.
  • the eyeball tracking unit 13e tracks the eyeball in the real-time surgical field image by comparing the surgical field image at the start of the surgery and the real-time surgical field image. Further, the eyeball tracking unit 13e stores relational information (for example, conversion parameters, etc.) indicating the relationship between the eyeball posture information in the real-time surgical field image and the posture information of the preoperative plan accumulated by the information accumulation unit 13d. The tracking result (tracking result) is supplied to the display image generation unit 13f.
  • eyeball posture information includes information on eyeball size, eyeball position, orientation around the eyeball (rotational direction around the eyeball) (size information, position information, orientation information, etc.). However, both the position of the eyeball in the coordinate system and the position in the direction of rotation about the eyeball correspond to the positional information of the eyeball.
  • the display image generation unit 13f sets a plurality of regions having different display modes for the real-time surgical field image by processing the real-time surgical field image, and the boundary of each region is a specific position relative to the patient's eye. Or generate a display image showing a specific size.
  • the display image generating unit 13f processes the real-time surgical field image, that is, each region, so that the boundary of each region indicates a specific position or a specific size based on the converted posture information of the preoperative plan.
  • the display image generation unit 13f processes the real-time surgical field image so as to change the orientation (position, orientation, size, etc.) of the boundary of each region based on the eyeball tracking result of the real-time surgical field image. and generate a display image.
  • the display image generation unit 13f based on the relationship information supplied from the eyeball tracking unit 13e, displays the real-time surgical field so that the relationship between the position and size of the boundary with respect to the eyeball in the surgical field image at the start of the surgical operation does not change. Process the position and size of the borders in the image to generate the display image.
  • FIG. 4 is a diagram showing Example 1 of a display image according to the embodiment.
  • the display image presents a boundary K1 between two areas (left and right areas) with different display modes.
  • This boundary K1 indicates a specific position based on a preoperative plan, other plans, or the like, that is, a specific position regarding surgery.
  • the boundary K1 is transformed (changed) so as to move in the movement direction of the eyeball by the above-mentioned movement amount so as to eliminate the change in the posture of the boundary K1 with respect to the eyeball according to the movement direction and the movement amount of the eyeball.
  • a display image having such a boundary K1 is displayed on the display screen by both or one of the monitor 14 and the presentation unit 55 .
  • the presentation unit 55 displays the display image having the boundary K1
  • the transmissive display device is switched to the non-transmissive display device, and the non-transmissive display device is used.
  • the boundary K1 is a line-shaped boundary passing through the central position where the intraocular lens B1 such as a toric IOL for correcting astigmatism is desired to be placed.
  • This boundary K1 indicates a boundary line for alignment of the intraocular lens B1 (target position for installing the intraocular lens B1).
  • Two marks B1a (for example, three points aligned linearly) of the intraocular lens B1 are aligned with this boundary K1.
  • the intraocular lens B1 is a toric IOL
  • a sufficient astigmatism correction effect cannot be obtained when a deviation occurs. Therefore, two marks B1a indicating the toric axis are engraved at the end points of the toric IOL, so that the orientation of the toric IOL around the eye axis can be grasped.
  • the toric IOL mark B1a is aligned with the boundary K1 in the real-time surgical field image, and the toric IOL is placed in the eye.
  • preoperative images and images at the start of surgery are registered, and then images at the start of surgery and real-time images (real-time operative field images) are registered. Images) are compared (tracked) to map the marks based on the preoperative plan onto the real-time images.
  • the mark based on the preoperative plan is superimposed on the operative field image, so occlusion occurs in which a part of the operative field image is obscured by the mark.
  • Specific processing flow Specific processing is performed along the following flow. Registration, tracking, image generation and image presentation are performed sequentially. 5 and 6 are diagrams for explaining display image generation (conversion processing) according to the embodiment.
  • preoperative planning information including preoperative images (e.g., eyeball images) and images at the start of surgery (operative field images at the start of surgery) are received, and the direction and position of the eyeballs at the time of preoperative planning are determined. Match the orientation and position of the eyeball during surgery.
  • alignment method for example, alignment may be performed automatically by image processing using a preoperative image and an image at the start of the operation, or the user may manually align the position and orientation (for example, rotation angle, etc.). Alignment may be performed by Successful registration retains surgical planning information based on the coordinates of the start-up image.
  • the movement of the eyeball is tracked from the start of the operation, and the transformation parameters (coordinate transformation parameters) from the image at the start of the operation to the coordinates at the tracking time are obtained.
  • the transformation parameters coordinate transformation parameters
  • feature points may be extracted from both the preoperative image and the image at the start of the surgical operation, and conversion parameters may be obtained from the corresponding relationship.
  • feature points may be extracted from one of the images and Transformation parameters may be obtained after searching for movement of feature points, or an image may be input to machine learning and transformation parameters may be obtained on a learning basis.
  • the number of control point coordinates P1 indicating the area is four, but the number of control point coordinates P1 may be three or more. A region surrounded by these control point coordinates P1 is to be processed.
  • the number of control point coordinates P1 indicating the boundary line is two, but the number of control point coordinates P1 may be two or more. If the boundary shows a complicated shape, the control point coordinates, that is, the number of control points may be increased. Once the boundary line is defined, one of the left and right (or one of the top and bottom) regions of the boundary becomes the processing target.
  • control point coordinates P1 indicating the area or boundary line may be connected by a straight line, may be smoothly connected by spline interpolation or the like, or may be connected by a specific shape such as a semicircle passing through two points. Also, the number of areas to be processed is not limited to one, and may be plural.
  • the display image generated by the image generation process is presented as the surgical field image.
  • the display image (see FIG. 4) having this boundary K1 is displayed on the display screen by either or both of the monitor 14 and the presentation unit 55.
  • Image processing includes brightness (brightness), contrast (shading), saturation, color temperature, sharpness, grayscaling, and parameter adjustment such as changing a specific color to another specific color.
  • Image processing is realized by changing the pixel value of .
  • processing based on calculation formulas e.g., gain adjustment, offset processing, non-linear operations such as ⁇ processing, etc.
  • processing using lookup tables e.g., changing from a specific color to a specific color.
  • conversion from a specific brightness value to a specific brightness value to change the contrast, etc. processing using a spatial filter, etc. can be used alone or in combination.
  • the display image generator 13f may automatically select and execute a process that makes the boundary stand out on the original surgical field image (original image).
  • An example of conversion from a specific luminance value to a specific luminance value is a change in the contrast S-shaped curve.
  • a gain is added according to the value of a specific channel.
  • saturation for example, a flat gain is applied to a particular channel.
  • color temperature a uniform gain that is different for each channel is applied.
  • grayscaling for example, certain channel values are changed.
  • conversion is performed according to pixel values.
  • An image has color information in the form of channels, for example.
  • An RGB image has three channels, Red, Green, and Blue.
  • the HSL image has three channels of hue (Hue), saturation (Saturation), and brightness (Lightness/Luminance or Intensity).
  • a CMYK image has four channels: cyan, magenta, yellow, and black.
  • the information pattern to be presented and the method of processing may be changed based on instructions from a user such as an operator.
  • the information patterns to be presented include, for example, various information patterns (various display patterns) corresponding to wound preparation, anterior capsulorhexis, toric IOL (astigmatism correcting intraocular lens) axis alignment, IOL centering, and the like.
  • the user can operate the operation unit to select the information pattern to be presented or the method of processing.
  • the delay in image creation may be suppressed by ignoring the delay of tracking information and using the latest calculated past tracking information for image generation.
  • FIG. 7 to 11 are diagrams showing examples 2 to 6 of display images according to the embodiment. Examples 2 to 6 describe variations of the display image.
  • two boundaries K2 and K3 indicating the central position are presented in the display image.
  • the intersection of the boundaries K2 and K3 indicates, for example, the center position for IOL installation (eg, eye axis position, etc.).
  • the area on the right side of the boundary K2 in the operative field image is processed, and the area below the boundary K3 is processed.
  • a boundary K4 indicating the incision position is presented in the display image.
  • the boundary K4 is two sides of a triangle, and the vertices of the triangle indicate the incision position (for example, the incision start position).
  • the area below the boundary K4 (triangular area) in the operative field image is processed.
  • two boundaries K5 and K6 indicating the incision position are presented in the display image.
  • the intersection of the boundaries K5 and K6 indicates the incision position (for example, the incision start position).
  • the area on the right side of the boundary K5 in the operative field image is processed, and the area below the boundary K6 is processed.
  • a boundary K7 indicating the incision size and the incision position is presented in the display image.
  • the boundary K7 indicates the incision size and incision position (eg, consecutive incision positions, etc.) for CCC (anterior capsulotomy), for example.
  • This boundary K7 functions, for example, as a boundary of a shape having a semicircle, ie a semicircle boundary (a semicircle for forming a target circle for the anterior capsulotomy).
  • the area on the right side of the boundary K7 in the surgical field image is processed.
  • the center of the annular shape such as the target circle described above, other than the eye axis, it is possible to use the center of the corneal limbus, the center of the pupil, the center of the preoperative pupil, the visual axis, the center of the anterior capsulotomy margin, and the like. .
  • a specific area is presented in the display image, that is, a boundary K8 indicating the area size and area position of the specific area.
  • the boundary K8 is six sides (or four sides) of a hexagon and indicates the area size and area position of the specific area. This boundary K8 indicates to the operator that, for example, if the eyeball is lost during tracking, the eyeball (eye) should be brought to the center of the surgical field image. Also, in the example of FIG. 11, the area outside the boundary K8 in the surgical field image is processed.
  • FIG. 12 to 14 are diagrams showing examples 7 to 9 of display images according to the embodiment. Examples 8 and 9 describe additional points for reducing the difference between the pre-processed and post-processed images while maintaining the clarity of the boundary K1.
  • the area to which image processing is applied may be an area on one side of the boundary K1.
  • the area to which this image processing is applied is the area on one side of the boundary K1
  • the amount of change in the one side area to which the image processing is applied is large, and the one side area to which the image processing is not applied remains.
  • the modulation is performed at a level at which the boundary K1 can be seen, the difference from the original image increases in the area on the processed side, but there is also an advantage that there is also an unprocessed area. be.
  • the areas to which image processing is applied may be areas on both sides of the boundary K1.
  • the area on one side (the area above the boundary K1) is 10% brighter than the original image (operative field image before processing), and the area on the other side (the area below the boundary K1) is brighter than the original image. is also darkened by 10%.
  • the intensity of processing for the area decreases as the distance from the boundary K1 increases.
  • the intensity of the process for increasing the brightness of the area weakens as the distance from the boundary K1 increases, and the luminance of the area decreases as the distance from the boundary K1 increases.
  • FIG. 15 and 16 are diagrams showing display image examples 10 and 11 according to the embodiment.
  • Examples 10 and 11 describe additional points in presenting 3D images (three-dimensional surgical field images).
  • 3D images are often used in ophthalmic surgery.
  • a stereoscopic left-eye image and a stereoscopic right-eye image exist so that a sense of depth can be presented as a difference in parallax.
  • additional points regarding boundary presentation for stereoscopic left-eye images and stereoscopic right-eye images will be described.
  • “for stereoscopic left eye” is simply described as “for left eye”
  • “for stereoscopic right eye” is simply described as "for right eye”.
  • the boundaries K2 and K3 are presented only on one of the left-eye image and the right-eye image (see FIG. 7). Even if the boundaries K2 and K3 are presented only in the image for one eye, the change in the image from the original image is small, so there is almost no effect on 3D perception, and the operator can visually recognize the boundaries K2 and K3. Therefore, the boundaries K2 and K3 may be presented only for the one-eye image, or different boundaries (for example, the boundary K2 and the boundary K3) may be presented for the left-eye image and the right-eye image.
  • different boundaries K2 and K3 are presented to the image for the left eye and the image for the right eye (the boundary K2 is presented to the image for the right eye and the boundary K3 to the image for the left eye), and the boundaries K2 and K3 are presented to the brain. presents the intersection of each boundary K2, K3 by fusing within. In this way, for example, to present the centering position and the wound position, the two boundaries K2 and K3 can be shown at crossed positions or the like. In addition, information that can be presented can be increased by combining various boundaries (for example, boundary K2 and boundary K3).
  • different boundaries K2 and K3 are presented to the left-eye image and the right-eye image
  • different boundaries K2 and K3 are presented to the left-eye image and the right-eye image based on the information tracked in the one-eye image.
  • different boundaries K2, K3 may be presented to the left-eye image and the right-eye image based on the information tracked in the left-eye image and the right-eye image.
  • boundary K1 In addition to presenting different boundaries K2 and K3 on both the left-eye image and the right-eye image, the same boundary (for example, boundary K1) may be presented on both the left-eye image and the right-eye image.
  • boundary K1 When the same boundary is presented to the image for the left eye and the image for the right eye, depth perception occurs with respect to the boundary, so the position to localize the boundary may be controlled. For example, if the ophthalmic surgery is CCC (anterior capsulotomy), the boundary is localized at the location of the anterior capsule.
  • CCC anterior capsulotomy
  • the boundary K1 may be processed to create a depth gap in the 3D image.
  • the pixels of the image for the left eye are shifted to the right, and the pixels of the image for the right eye are shifted to the left.
  • the boundary K1 protrudes forward. This makes it easier for the operator to grasp the position of the boundary K1, so that ophthalmic surgery can be performed with high accuracy.
  • the intensity of image processing (for example, the degree of modulation, etc.) is small, even if processing is applied only to the image for one eye or different processing is applied to the images for both eyes, flickering will not occur, unlike superimposition of marks. Since there is no parallax, there is no conflict between the operative field and the depth. In addition, when the same processing is applied to the individual images of both eyes, it is possible to localize them to a desired specific depth position by creating a parallax, and the user localizes them to a treatment position according to the guide. can also
  • FIG. 17 is a diagram for explaining changes in boundary presentation according to tracking conditions according to the embodiment.
  • 18 to 20 are first to third diagrams for explaining changes in boundary presentation according to time according to the embodiment.
  • FIG. 21 is a diagram for explaining changes in boundary presentation according to tracking results according to the embodiment.
  • a tracking detection limit may be set. That is, there may be a situation in which the tracking accuracy is confident, or a situation in which the tracking detection limit is approaching.
  • the intensity of processing for example, the degree of modulation
  • the image of the predetermined region can be brought closer to the original image, or the processing of the predetermined region can be reduced.
  • an image in a predetermined area may be highlighted as a warning (warning information).
  • a message may be overlaid and presented at a fixed position on the display screen. In this way, by presenting the aforementioned tracking situation to the user such as the operator, the user can grasp the reliability of the tracking.
  • the boundary K7 rotates 360 degrees around the eye axis or the like.
  • the boundary K7 rotates at a predetermined speed (for example, a speed faster than the speed at which the operator moves the distal end of the surgical instrument) from the start of the surgery. This rotation is repeated during the procedure.
  • Boundary K7 thereby forms a target circle for the anterior capsulotomy. In this way, visibility can be improved by changing the position of the boundary K7 presenting the same information.
  • the above-mentioned predetermined speed is set in advance, and is, for example, a value faster than a general value such as an average value of speeds when the operator moves the distal end of the surgical instrument.
  • the rotation speed of the boundary K7 does not have to be a predetermined speed.
  • Boundary K7 may be rotated according to the motion of the end point.
  • the rotation angle of the boundary K7 may be another angle such as 180 degrees.
  • the boundary K1 moves parallel at a predetermined speed.
  • the boundary K1 moves left from the reference position by a predetermined distance, returns from the left predetermined position to the reference position, moves right from the reference position by a predetermined distance, and returns from the right predetermined position to the reference position.
  • This movement is repeated during the procedure (periodic movement). Thereby, visibility can be improved by changing the position of the boundary K1 that presents the same information.
  • the visibility may be improved by periodically weakening the intensity of processing (for example, the degree of modulation, etc.) of a predetermined region.
  • the strength of processing is gradually weakened from the initial state, then gradually increased, and then returned to the initial state.
  • the visibility can be improved by periodically weakening the strength of the processing of the predetermined area (the degree of image change from the original image) in this way.
  • the visibility of the operative field can be further improved by periodically weakening the strength of the processing of the predetermined region (degree of image change from the original image). Also, by periodically shifting the presentation position of the boundary K1 such as the toric axis, it is possible to prevent the boundary K1 from overlapping the mark B1a (see FIG. 4) of the toric IOL and making the mark B1a difficult to see.
  • the tracking accuracy tends to decrease when the cornea, which is the object of tracking, is at the edge, it is possible to increase the visibility of the operative field and improve the tracking accuracy by weakening the strength of processing in a predetermined area. The user can be conscious to bring the cornea to the high center.
  • the positions of the boundaries K1 and K7 may be changed at predetermined intervals as described above, or may be switched according to the user's instruction.
  • the user can switch the positions of the boundaries K1 and K7 by operating an operation unit such as a touch panel, foot switch, or controller.
  • image processing may be performed on a predetermined region, or an operating portion of a surgical tool or the like operated by the operator (for example, the tip of the surgical tool) may be detected and the operating portion included.
  • Image processing for example, luminance modulation processing, color modulation processing, etc.
  • the position and size of the boundary K7 may be changed according to changes in eye size. Since a portion of the boundary K7 is semicircular to indicate the size of the eye, the position of the boundary K7 changes according to changes in the size of the eye. For example, when the size of the eye in the operative field image becomes smaller, the size of the semicircle of the boundary K7 also becomes smaller, and the position of the boundary K7 approaches the center. Conversely, as the size of the eye in the operative field image increases, the size of the semicircle of the boundary K7 also increases, and the position of the boundary K7 moves away from the center.
  • the size includes, for example, the diameter of the CCC, the incision width of the wound, and the centering.
  • FIG. 22 to 24 are diagrams showing examples 12 to 14 of display images according to the embodiment.
  • the boundary K7 presents two specific positions in the displayed image.
  • the two specific positions each indicate wound information (for example, wound creation position, etc.).
  • part of the boundary K7 is formed in a triangular shape, and the vicinity of the vertex is the wound making position.
  • the area on the right side of the boundary K7 in the operative field image is processed.
  • the boundary K11 presents the width and position of the main wound in the displayed image.
  • the boundary K11 indicates the incision width, which is the width on the corneal limbus of the triangle made from the corneal center.
  • the position of the main wound, ie the position of the incision, is the virtual vertical bisector of the triangle.
  • the area to the left of the boundary K11 in the operative field image is processed.
  • the boundary K11 presents the width of the main wound
  • the boundary K12 presents the position of the main wound.
  • the boundary K11 indicates the incision width, which is the width of the triangle formed from the center of the cornea on the corneal limbus.
  • Boundary K12 indicates the position of the main wound, ie, the virtual perpendicular bisector of the triangle.
  • the area on the left side of the boundary K11 in the operative field image is processed, and the area below the boundary K12 is processed.
  • a left-eye image including the boundary K11 and a right-eye image including the boundary K12 may be presented, and the boundaries K11 and K12 may be fused in the brain to realize a 3D image (see FIG. 16). .
  • FIG. 25 is a fourth diagram for explaining changes in boundary presentation according to time according to the embodiment.
  • the width and position of the boundary K11 may be changed periodically in the display image.
  • the maximum width of the boundary K11 (the size of the area within the boundary K11) is set as the desired incision width, and the width of the boundary K11 is narrowed in order to know the position of the incision.
  • the width of the boundary K11 may be changed periodically to narrow the width of the boundary K11 to indicate the position of the incision.
  • FIG. 26 is a diagram showing example 15 of a display image according to the embodiment.
  • two brightness areas with different brightness are set, and a boundary M3 between these brightness areas is presented.
  • This boundary M3 functions as a line-shaped boundary, that is, a line boundary (a target line for installing the intraocular lens B1).
  • the luminance of the right luminance area (the shaded area in FIG. 26) of the two luminance areas is set lower than the luminance of the left luminance area.
  • a toric axis is aligned with this boundary M3, and a toric IOL is installed.
  • the number of luminance regions is not limited to two, and may be two or more.
  • Display image example 16 are diagrams showing example 16 of the display image according to the embodiment. As shown in FIGS. 27 and 28, two brightness areas with different brightness are set and presented as a boundary M4 between these brightness areas.
  • This boundary M4 functions as a boundary of a shape having a semicircle, ie a semicircle boundary (a semicircle for forming a target circle for the anterior capsulotomy). It should be noted that in the examples of FIGS. 27 and 28, the boundary M4 of the luminance region is rotated 90 degrees about the eye axis or the like.
  • the boundary M4 of the luminance region is 360 degrees around the eye axis or the like at a predetermined speed (for example, the speed when the operator moves the tip of the surgical tool) from the start of the surgery. Rotate. Boundary M4 thereby forms a target circle for the anterior capsulotomy.
  • the predetermined speed is set in advance, and is, for example, a general value such as an average value of speeds when the operator moves the distal end of the surgical tool.
  • the rotation speed of the boundary M4 may not be a predetermined speed.
  • Boundary M4 may be rotated according to the motion of the end point.
  • a processing start section 13g which will be described later, can be used to detect the distal end of the surgical instrument and the end point of the anterior capsulorhexis edge.
  • the rotation angle of the boundary M4 may be another angle such as 180 degrees.
  • FIG. 29 is a diagram showing example 17 of a display image according to the embodiment.
  • a plurality of (two in the example of FIG. 29) boundaries M5 are presented. These boundaries M4 and M5 are formed by boundaries between two luminance regions having different luminances, as in example 10 of the display image.
  • a boundary M5 is a boundary indicating an incision position.
  • the boundaries K1 to K12 and M3 to M5 are not marks that are displayed superimposed on the operative field image, but rather can indicate the visual orientation (position, orientation, size, etc.). It is the boundary that Unlike the superimposed marks, the boundaries K1 to K12 and M3 to M5 do not hide the operative field image at the positions of the marks, so that the visibility of the operative field is improved compared to the case where the superimposed marks are used. be done.
  • the surgical field image is fixed, and the boundaries K1 to K12 and M3 to M5 are set in appropriate postures (positions, orientations, etc.) with respect to the fixed and presented surgical field image (for example, The postures of the boundaries K1 to K12 and M3 to M5 may be changed so that the boundaries K1 to K12 and M3 to M5 are not displaced with respect to the eyeball in the operative field image in the fixed posture.
  • Changing the attitudes of these boundaries K1 to K12 and M3 to M5 means changing the range (for example, size, shape, etc.) of each area.
  • the display image generation unit 13f changes the postures of the boundaries K1 to K12 and M3 to M5 according to the displacement of the eyeballs based on the eyeball posture information. while generating a display image.
  • the display image generation unit 13f moves the boundaries K1 to K12 and M3 to M5 with respect to the real-time surgical field image in the eyeball movement direction and movement amount in accordance with the eyeball movement direction and movement amount,
  • the attitudes of the boundaries K1-K12 and M3-M5 (for example, the range of each area) are changed. That is, by fixing the operative field image and changing the postures of the boundaries K1 to K12 and M3 to M5, the positional relationships between the eyeballs and the boundaries K1 to K12 and M3 to M5 do not change.
  • the display image generator 13f may continue the display by maintaining the orientation of the image at the time when the orientation was last estimated (the last display image).
  • the posture of the operative field image at the time when the posture was finally estimated can be changed to uniform velocity, uniform angular velocity, uniform acceleration motion, or uniform acceleration motion. can be maintained with
  • the display mode for example, brightness, color, etc.
  • Various display images as described above are used, and these display images may be selectable by the operator, staff, or the like. Selection of a display image is realized by an input operation to the operation unit by an operator, staff, or the like. For example, the operator, staff, or the like operates the operation unit to select a display mode for displaying a desired display image. According to this selection, the display image generator 13f generates a display image based on the selected display mode. Similarly, regarding various images, the size, position, etc. of the images may be changed by the operator, staff, or the like. The display image generation unit 13f generates a display image by changing the size, position, etc. of the image according to the input operation to the operation unit by the operator, staff, or the like.
  • the image input unit 13b receives the surgical field image of the patient's eye
  • the eyeball tracking unit 13e tracks the eyeball in the surgical field image
  • the display image generator 13f A plurality of regions with different display modes are set for the operative field image, and the boundaries of each region (for example, boundaries K1 to K12, M3 to M5) define at least one of a specific position, a specific direction, and a specific size with respect to the eye. Then, based on the eyeball tracking result (tracking result), the display mode of any one or all of the regions is changed, and at least one of the position, direction and size of the boundary is changed.
  • the occurrence of occlusion can be prevented by presenting the specific position with respect to the eye not by the mark but by the boundaries of the regions with different display modes. Therefore, the operator can easily see the operative field image while grasping the specific position or the specific size, and can perform the surgery accurately, so that the surgery according to the preoperative plan can be performed with high accuracy.
  • the displacement includes any change to the subject such as the eyeball, such as parallel movement, rotation, enlargement/reduction, deformation, and combinations thereof.
  • the display image generation unit 13f changes the display mode of any one or all of the plurality of regions based on the eye tracking result, and changes at least one of the position, direction, and size of the boundary.
  • the processing speed can be improved compared to the case of changing the display mode of all of the plurality of areas.
  • the operator can easily visually recognize the boundary of each region, so preoperative planning Surgery can be performed with high precision.
  • the preoperative plan receiving unit 13a receives at least one information of the position, direction, and size of the preoperative image and index based on the preoperative plan for the patient's eye (for example, position, direction, size, etc. on coordinates). Then, the information storage unit 13d compares the preoperative image with the surgical field image at the start of surgery, and changes at least one information of the position, direction, and size of the index according to the surgical field image at the start of surgery. A starting operative field image and information on at least one of the position, orientation and size of the modified index are accumulated. As a result, the surgical field image at the start of the surgical operation and at least one information of the position, direction, and size of the changed index can be used in post-processing.
  • An eyeball tracking unit 13e tracks the eyeball in the real-time surgical field image by comparing the surgical field image at the start of surgery with the real-time surgical field image, and calculates the position, direction, and size of the eyeball in the real-time surgical field image. and at least one information of the position, direction, and size of the changed index (for example, coordinate position, orientation, size, etc.) and the display image generation unit 13f.
  • At least one of the position, direction, and size of the boundary in the real-time surgical field image is changed so as to eliminate the three changes, and a display image is generated. Accordingly, by changing at least one of the positions, directions, and sizes of the boundaries K1 to K7 with respect to the eyeballs in the surgical field image at the start of the operation, the positions, directions, and sizes of the eyeballs and the boundaries K1 to K7 can be changed. At least one relationship remains unchanged. Therefore, the operator can grasp at least one of the specific position, direction, and size in detail, so that the surgery can be performed more accurately according to the preoperative plan.
  • the display image generation unit 13f changes the plurality of regions by coordinate transformation so that at least one of the position, direction, and size of the boundary is changed based on the tracking result of the eyeball, and generates the display image. This makes it possible to reliably change at least one of the position, direction, and size of the boundary based on the eyeball tracking result, and generate the display image.
  • the display image generation unit 13f changes the boundary line indicating the boundary based on the tracking result of the eyeball, and changes at least one of the position, direction, and size of the boundary.
  • the processing speed can be improved as compared with the case of changing the area.
  • a boundary line may have two control points (transformation points), but a region requires three or more control points.
  • the display image generation unit 13f performs processing for adjusting parameters of the same type (for example, brightness, color, etc.) for two or more of the plurality of regions. This simple process makes it possible to easily make the boundaries of each region stand out. This makes it easier for the operator to visually recognize the boundary of each region, so that surgery can be performed with high precision according to the preoperative plan.
  • parameters of the same type for example, brightness, color, etc.
  • the display image generation unit 13f performs processing for adjusting different types of parameters (for example, brightness, color, etc.) for two or more of the plurality of regions. This simple process makes it possible to easily make the boundaries of each region stand out. This makes it easier for the operator to visually recognize the boundary of each region, so that surgery can be performed with high precision according to the preoperative plan.
  • different types of parameters for example, brightness, color, etc.
  • the display image generation unit 13f weakens the strength of the processing for any one or all of the plurality of regions as the distance from the boundary increases. As a result, while maintaining the clarity of the boundary, it is possible to make the area away from the boundary closer to the original image, so that the surgery can be performed with high precision according to the preoperative plan.
  • the display image generation unit 13f generates a display image including a boundary as either a display image for the left eye (for the stereoscopic left eye) or a display image for the right eye (for the stereoscopic right eye), or generates a display image including the boundary.
  • the display images including the display image are generated as the display image for the left eye and the display image for the right eye, respectively. Accordingly, when the display image including the boundary is generated as either the display image for the left eye or the display image for the right eye, the display image including the boundary is used as the display image for the left eye and the display image for the right eye, respectively.
  • the processing speed can be improved compared to the case of generating. Further, when the display image including the boundary is generated as the display image for the left eye and the display image for the right eye respectively, the display image including the boundary is generated as either the display image for the left eye or the display image for the right eye. As compared with the case of using
  • the eyeball tracking unit 13e tracks the eyeballs in one or both of the left-eye and right-eye operative field images
  • the display image generation unit 13f tracks one or both of the left-eye and right-eye eyeball tracking results. to change at least one of the position, direction and size of the boundary to generate a display image for the left eye and a display image for the right eye.
  • the display image generation unit 13f sets the boundary to the same position in the display image for the left eye and the display image for the right eye. This makes it easier for the operator to grasp the position of the boundary, so that surgery can be performed in accordance with the preoperative plan with high accuracy.
  • the display image generation unit 13f causes at least one of the position, direction, and size of the boundary in the display image for the left eye and the display image for the right eye to indicate at least one of a specific position, a specific direction, and a specific size. Generate different display images. As a result, at least one of a specific position, a specific direction, and a specific size can be indicated by a plurality of boundaries, so that surgery can be performed in accordance with the preoperative plan with high accuracy.
  • the display image generation unit 13f shifts the display image for the left eye and the display image for the right eye based on the depth information of the desired localization of the three-dimensional image including the display image for the left eye and the display image for the right eye, Generate the original image. This makes it easier for the operator to grasp the position of the boundary, so that surgery can be performed with high precision according to the preoperative plan.
  • the display image generation unit 13f maintains the last display image before the eyeball is out. As a result, it is possible to avoid the interruption of the surgery due to the disappearance of the display image, so that the surgery can be performed in accordance with the preoperative plan with high accuracy.
  • the display image generation unit 13f changes the display mode of any one or all of the plurality of regions according to the time period. As a result, it is possible to periodically bring the displayed image closer to the original image or make the boundaries of the displayed image stand out. Therefore, since the operator can visually recognize the original image and the boundary with certainty, it is possible to perform the operation according to the preoperative plan with high accuracy.
  • the display image generation unit 13f generates a display image in which boundaries indicate a plurality of specific positions. As a result, more specific positions can be presented, so that surgery can be performed accurately according to the preoperative plan.
  • the display image generation unit 13f changes the size of any one or all of the plurality of regions in accordance with the change in eyeball size. As a result, it is possible to change the size of one or more regions according to the size of the eyeball, and to change the position and size of the boundary, so that surgery can be performed with high precision according to the preoperative plan. .
  • the display image generation unit 13f changes the size of any one or all of the plurality of regions according to the time period.
  • the display image can be made closer to the original image by reducing the area, and the operator can visually recognize the original image with certainty, so that the surgery can be performed with high accuracy according to the preoperative plan.
  • the display mode of each of the plurality of regions differs depending on the difference in brightness of each of the plurality of regions. This makes it possible to easily make the boundaries of the regions stand out. Therefore, the operator can easily visually recognize the boundaries of the respective regions, so that the surgery according to the preoperative plan can be performed with high accuracy.
  • the specific position is the toric axis arrangement position of the intraocular lens, and the display image generation unit 13f changes the brightness of each of the plurality of regions so that the boundary indicates the toric axis arrangement position.
  • This makes it possible to easily make the toric axis arrangement position conspicuous. Therefore, it becomes easier for the operator to visually recognize the toric axis arrangement position, so that surgery can be performed with high precision according to the preoperative plan.
  • the specific positions are the position of the toric axis of the intraocular lens, the position of the incision for forceps insertion, the position of the anterior lens capsulotomy, the position of the eye axis, the center of the limbus, the center of the pupil, the center of the preoperative pupil, and the visual axis. Either the location and the center of the anterior capsulorhexis.
  • the toric axis placement position of the intraocular lens the incision position for forceps insertion, the incision position for the anterior capsulotomy, the axial position, the center of the corneal limbus, the center of the pupil, the center of the preoperative pupil, It is possible to highlight either the visual axis position or the center of the anterior capsulorhexis. Therefore, it becomes easier for the operator to visually recognize those specific positions, so that the surgery can be performed with high precision according to the preoperative plan.
  • the display image generation unit 13f changes the display mode of any one or all of the plurality of regions according to the eyeball tracking state (tracking state) by the eyeball tracking unit 13e. This makes it possible to bring the displayed image closer to the original image or to make the boundaries of the displayed image stand out according to the eyeball tracking conditions. degree, etc.) can be grasped.
  • Example of schematic configuration of computer> The series of processes described above can be executed by hardware or by software.
  • a program that constitutes the software is installed in the computer.
  • the computer includes, for example, a computer built into dedicated hardware and a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 30 is a diagram showing an example of a schematic configuration of a computer 500 that executes the series of processes described above by a program.
  • the computer 500 has a CPU (Central Processing Unit) 510, a ROM (Read Only Memory) 520, and a RAM (Random Access Memory) 530.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 510 , ROM 520 and RAM 530 are interconnected by a bus 540 .
  • An input/output interface 550 is also connected to the bus 540 .
  • An input section 560 , an output section 570 , a recording section 580 , a communication section 590 and a drive 600 are connected to the input/output interface 550 .
  • the input unit 560 is composed of a keyboard, mouse, microphone, imaging device, and the like.
  • the output unit 570 is configured with a display, a speaker, and the like.
  • the recording unit 580 is composed of a hard disk, a nonvolatile memory, or the like.
  • the communication unit 590 is configured by a network interface or the like.
  • a drive 600 drives a removable recording medium 610 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the CPU 510 loads, for example, the program recorded in the recording unit 580 into the RAM 530 via the input/output interface 550 and the bus 540, and executes it. A series of processes are performed.
  • a program executed by the computer 500 that is, the CPU 510 can be provided by being recorded on a removable recording medium 610 such as a package medium, for example. Also, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 580 via the input/output interface 550 by loading the removable recording medium 610 into the drive 600 . Also, the program can be received by the communication unit 590 and installed in the recording unit 580 via a wired or wireless transmission medium. In addition, the program can be installed in the ROM 520 or the recording unit 580 in advance.
  • the program executed by the computer 500 may be a program in which processing is performed in chronological order according to the order described in this specification, or a program in which processing is performed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed in
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing are both systems. .
  • this technology can take the configuration of cloud computing in which one function is shared by multiple devices via a network and processed jointly.
  • each step described in the flow of processing described above can be executed by a single device, or can be shared and executed by a plurality of devices.
  • the multiple processes included in the one step can be executed by one device or shared by multiple devices.
  • the present technology can also take the following configuration.
  • Department and with The display image generation unit is changing the display mode of any one or all of the plurality of regions based on the tracking result of the eyeball, and changing at least one of the position, direction and size of the boundary; Image processing device.
  • a preoperative plan receiver that receives at least one of position, orientation and size information of preoperative images and indicators based on the preoperative plan for the eye; By comparing the preoperative image with the surgical field image at the start of surgery, at least one information of the position, direction, and size of the index is changed in accordance with the surgical field image at the start of the surgery, and at the start of the surgery.
  • an information storage unit that stores the operative field image of and at least one information of the position, direction, and size of the changed index; further comprising The image processing apparatus according to (1) above.
  • the eyeball tracking unit tracking the eyeball in the real-time operative field image by comparing the operative field image at the start of the operation and the real-time operative field image, and tracking the eyeball position in the real-time operative field image; outputting relationship information indicating a relationship between at least one information of direction and size and at least one information of position, direction and size of the changed indicator;
  • the display image generation unit is arranging the boundary based on at least one information of the changed position, direction, and size of the index; altering at least one of the position, orientation, and size of the boundary in the real-time surgical field image to eliminate at least one change in size to generate the display image;
  • the image processing apparatus according to (2) above.
  • the display image generation unit is generating the display image by changing the plurality of regions by coordinate transformation so that at least one of the position, direction, and size of the boundary is changed based on the tracking result of the eyeball; The image processing apparatus according to any one of (1) to (3) above.
  • the display image generation unit is changing a boundary line indicating the boundary based on the tracking result of the eyeball, and changing at least one of position, direction and size of the boundary; The image processing apparatus according to any one of (1) to (3) above.
  • the display image generation unit is Performing a process of adjusting the same type of parameter for two or more of the plurality of regions; The image processing apparatus according to any one of (1) to (5) above.
  • the display image generation unit is performing a process of adjusting different types of parameters for two or more of the plurality of regions; The image processing apparatus according to any one of (1) to (6) above.
  • the display image generation unit is weakening the strength of processing for any or all of the plurality of regions as they move away from the boundary; The image processing apparatus according to any one of (1) to (7) above.
  • the display image generation unit is The display image is generated as either one of the display image for the stereoscopic left eye and the display image for the stereoscopic right eye, or the display image is generated as the display image for the stereoscopic left eye and the display image for the stereoscopic right eye, respectively. generate, The image processing apparatus according to any one of (1) to (8) above.
  • the eyeball tracking unit tracking the eyeball in one or both of the surgical field images for stereoscopic left eye and stereoscopic right eye;
  • the display image generation unit is changing at least one of the position, direction, and size of the boundary based on the tracking result of the eyeball for one or both of the stereoscopic left eye and the stereoscopic right eye, and displaying the display image for the stereoscopic left eye and the stereoscopic vision; generating a display image for the right eye;
  • the image processing apparatus according to (9) above.
  • the display image generation unit is In the display image for the stereoscopic left eye and the display image for the stereoscopic right eye, the boundary is positioned at the same position;
  • the image processing apparatus according to (9) or (10) above.
  • the display image generation unit is At least one of the position, direction, and size of the boundary in the left-eye stereoscopic display image and the right-eye stereoscopic display image so as to indicate at least one of the specific position, the specific direction, and the specific size generating said display images that are different from each other;
  • the image processing apparatus according to (9) or (10) above.
  • the display image generation unit is Shifting the stereoscopic left-eye display image and the stereoscopic right-eye display image based on depth information of a desired localization of a three-dimensional image including the stereoscopic left-eye display image and the stereoscopic right-eye display image to generate the three-dimensional image,
  • the image processing apparatus according to any one of (9) to (12) above.
  • the display image generation unit is When the eyeball is out of tracking of the eyeball by the eyeball tracking unit, maintaining the last display image before the eyeball is out of the eyeball.
  • the image processing apparatus according to any one of (1) to (13) above.
  • the display image generation unit is changing the display mode or size of any or all of the plurality of regions according to the time cycle; The image processing apparatus according to any one of (1) to (14) above.
  • the display image generation unit is generating the display image in which the boundary indicates a plurality of the specific positions; The image processing apparatus according to any one of (1) to (15) above.
  • the display image generation unit is changing the size of any or all of the plurality of regions according to the change in size of the eyeball; The image processing apparatus according to any one of (1) to (16) above.
  • the display image generation unit is Varying the size of any or all of the plurality of regions according to a time period; The image processing apparatus according to any one of (1) to (17) above. (19) The display mode of each of the plurality of regions differs depending on the difference in luminance of each of the plurality of regions, The image processing apparatus according to any one of (1) to (18) above. (20) The specific position is a toric axis arrangement position of the intraocular lens, The display image generation unit is changing the brightness of each of the plurality of regions such that the boundary indicates the toric axis placement position; The image processing device according to (19) above.
  • the specific positions include the toric axis placement position of the intraocular lens, the incision position for forceps insertion, the incision position of the anterior lens capsulotomy, the eye axis position, the center of the limbus, the center of the pupil, the center of the preoperative pupil, and the visual axis position. and the center of the anterior capsulorhexis,
  • the image processing apparatus according to any one of (1) to (20) above.
  • the image processing device receiving surgical field images for the patient's eye; tracking an eyeball in the operative field image; setting a plurality of regions with different display modes for the operative field image, and generating a display image in which boundaries between the plurality of regions indicate at least one of a specific position, a specific direction, and a specific size with respect to the eye; including The image processing device is changing the display mode of any or all of the plurality of regions based on the tracking result of the eyeball, and changing at least one of the position, direction and size of the boundary; Image processing method.
  • a surgical microscope for obtaining an operative field image of the patient's eye; an image processing device that generates a display image; a display device for displaying the display image; with The image processing device is an image input unit that receives the operative field image; an eyeball tracking unit that tracks the eyeball in the operative field image; A display image for generating the display image by setting a plurality of regions having different display modes for the operative field image and showing at least one of a specific position, a specific direction, and a specific size with respect to the eye as a boundary between the plurality of regions.
  • the display image generation unit changing the display mode of any or all of the plurality of regions based on the tracking result of the eyeball, and changing at least one of the position, direction and size of the boundary;
  • Operating microscope system (24) An image processing method using the image processing apparatus according to any one of (1) to (21) above.
  • (25) A surgical microscope system comprising the image processing device according to any one of (1) to (21) above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本開示に係る一形態の画像処理装置（１３）は、患者の眼に対する術野画像を受領する画像入力部（１３ｂ）と、前記術野画像における眼球を追跡する眼球追跡部（１３ｅ）と、前記術野画像に対して表示態様が異なる複数の領域を設定し、前記複数の領域の境界が前記眼に対する特定位置、特定方向及び特定サイズの少なくとも一つを示す表示画像を生成する表示画像生成部（１３ｆ）と、を備え、前記表示画像生成部（１３ｆ）は、前記眼球の追跡結果に基づいて前記複数の領域のいずれか又は全ての表示態様を変更し、前記境界の位置、方向及びサイズの少なくとも一つを変更する。

Description

画像処理装置、画像処理方法及び手術顕微鏡システム
　本開示は、画像処理装置、画像処理方法及び手術顕微鏡システムに関する。
　眼科における屈折矯正の方法として、眼内レンズ（ＩＯＬ：Intraocular　lens）と呼ばれる人工レンズを眼内に挿入することで、水晶体等の屈折異常を解消し、視力等の視機能を改善することが広く行われている。眼内レンズとしては、白内障手術によって除去された水晶体の代替として、水晶体嚢内に挿入される眼内レンズが最も広く用いられている。水晶体嚢内以外にも、例えば毛様溝等に固定（留置）されるもの（Phakic　IOL）等、様々な眼内レンズが存在する。
　白内障手術等の眼科手術を行う際には、術後の視機能を良くするため、切開位置や切開形状、また、挿入する眼内レンズ等のインプラントの眼に対する姿勢が術前計画に照らして適切になるよう、術者は施術を行う。このとき、適切な切開位置や切開形状、インプラントの姿勢等に関する情報を、術者にとって施術が容易になる形で提示することが望まれている。そこで、特許文献１では、眼球トラッキングの結果に応じて術前計画を示すマーク（パターン）の位置を変更する技術が提案されている。
特開２０１６－１１２３５８号公報
　しかしながら、術前計画に基づくマークが術野画像に重ねられるため、術野画像の一部がマークによって見えなくなるオクルージョン（遮蔽）が生じてしまう。このため、術者は術野画像を見難くなるので、術前計画に沿った手術を精度高く実現することは困難である。
　そこで、本開示では、術前計画に沿った手術を精度高く実現することが可能な画像処理装置、画像処理方法及び手術顕微鏡システムを提案する。
　本開示の実施形態に係る画像処理装置は、患者の眼に対する術野画像を受領する画像入力部と、前記術野画像における眼球を追跡する眼球追跡部と、前記術野画像に対して表示態様が異なる複数の領域を設定し、前記複数の領域の境界が前記眼に対する特定位置、特定方向及び特定サイズの少なくとも一つを示す表示画像を生成する表示画像生成部と、を備え、前記表示画像生成部は、前記眼球の追跡結果に基づいて前記複数の領域のいずれか又は全ての表示態様を変更し、前記境界の位置、方向及びサイズの少なくとも一つを変更する。
　本開示の実施形態に係る画像処理方法は、画像処理装置が、患者の眼に対する術野画像を受領し、前記術野画像における眼球を追跡し、前記術野画像に対して表示態様が異なる複数の領域を設定し、前記複数の領域の境界が前記眼に対する特定位置、特定方向及び特定サイズの少なくとも一つを示す表示画像を生成する、ことを含み、前記画像処理装置は、前記眼球の追跡結果に基づいて前記複数の領域のいずれか又は全ての表示態様を変更し、前記境界の位置、方向及びサイズの少なくとも一つを変更する。
　本開示の実施形態に係る手術顕微鏡システムは、患者の眼に対する術野画像を得る手術顕微鏡と、表示画像を生成する画像処理装置と、前記表示画像を表示する表示装置と、を備え、前記画像処理装置は、前記術野画像を受領する画像入力部と、前記術野画像における眼球を追跡する眼球追跡部と、前記術野画像に対して表示態様が異なる複数の領域を設定し、前記複数の領域の境界が前記眼に対する特定位置、特定方向及び特定サイズの少なくとも一つを示す前記表示画像を生成する表示画像生成部と、を備え、前記表示画像生成部は、前記眼球の追跡結果に基づいて前記複数の領域のいずれか又は全ての表示態様を変更し、前記境界の位置、方向及びサイズの少なくとも一つを変更する。
本開示の実施形態に係る手術顕微鏡システムの概略構成の一例を示す図である。 本開示の実施形態に係る手術顕微鏡の概略構成の一例を示す図である。 本開示の実施形態に係る画像処理装置の概略構成の一例を示す図である。 本開示の実施形態に係る表示画像の例１を示す図である。 本開示の実施形態に係る表示画像生成を説明するための第１の図である。 本開示の実施形態に係る表示画像生成を説明するための第２の図である。 本開示の実施形態に係る表示画像の例２を示す図である。 本開示の実施形態に係る表示画像の例３を示す図である。 本開示の実施形態に係る表示画像の例４を示す図である。 本開示の実施形態に係る表示画像の例５を示す図である。 本開示の実施形態に係る表示画像の例６を示す図である。 本開示の実施形態に係る表示画像の例７を示す図である。 本開示の実施形態に係る表示画像の例８を示す図である。 本開示の実施形態に係る表示画像の例９を示す図である。 本開示の実施形態に係る表示画像の例１０を示す図である。 本開示の実施形態に係る表示画像の例１１を示す図である。 本開示の実施形態に係るトラッキング状況に応じた境界提示の変化を説明するための図である。 本開示の実施形態に係る時間に応じた境界提示の変化を説明するための第１の図である。 本開示の実施形態に係る時間に応じた境界提示の変化を説明するための第２の図である。 本開示の実施形態に係る時間に応じた境界提示の変化を説明するための第３の図である。 本開示の実施形態に係るトラッキング結果に応じた境界提示の変化を説明するための図である。 本開示の実施形態に係る表示画像の例１２を示す図である。 本開示の実施形態に係る表示画像の例１３を示す図である。 本開示の実施形態に係る表示画像の例１４を示す図である。 本開示の実施形態に係る時間に応じた境界提示の変化を説明するための第４の図である。 本開示の実施形態に係る表示画像の例１５を示す図である。 本開示の実施形態に係る表示画像の例１６を示す第１の図である。 本開示の実施形態に係る表示画像の例１６を示す第２の図である。 本開示の実施形態に係る表示画像の例１７を示す図である。 本開示の実施形態に係るコンピュータの概略構成の一例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本開示に係る装置や方法、システム等が限定されるものではない。また、以下の各実施形態において、基本的に同一の部位には同一の符号を付することにより重複する説明を省略する。
　以下に説明される１又は複数の実施形態（実施例、変形例を含む）は、各々が独立に実施されることが可能である。一方で、以下に説明される複数の実施形態は少なくとも一部が他の実施形態の少なくとも一部と適宜組み合わせて実施されてもよい。これら複数の実施形態は、互いに異なる新規な特徴を含み得る。したがって、これら複数の実施形態は、互いに異なる目的又は課題を解決することに寄与し得、互いに異なる効果を奏し得る。
　以下に示す項目順序に従って本開示を説明する。
　１．実施形態
　１－１．手術顕微鏡システムの概略構成の一例
　１－２．手術顕微鏡の概略構成の一例
　１－３．画像処理装置の概略構成及び画像処理の一例
　１－４．作用・効果
　２．コンピュータの概略構成の一例
　３．付記
　＜１．実施形態＞
　＜１－１．手術顕微鏡システムの概略構成の一例＞
　実施形態に係る手術顕微鏡システム１の概略構成の一例について図１を参照して説明する。図１は、実施形態に係る手術顕微鏡システム１の概略構成の一例を示す図である。
　図１に示すように、手術顕微鏡システム１は、手術顕微鏡１０と、患者用ベッド２０とを有する。この手術顕微鏡システム１は、眼の手術に用いられるシステムである。患者は、患者用ベッド２０に横たわった状態で眼の手術を受ける。また、医師である術者は、手術顕微鏡１０により患者の眼を観察しながら手術を行う。
　手術顕微鏡１０は、対物レンズ１１と、接眼レンズ１２と、画像処理装置１３と、モニタ１４とを有している。
　対物レンズ１１及び接眼レンズ１２は、手術対象となる患者の眼を拡大観察するためのレンズである。
　画像処理装置１３は、対物レンズ１１を介して撮影された画像に対して所定の画像処理を行うことにより、各種画像や各種情報等を出力する。
　モニタ１４は、対物レンズ１１を介して撮影された画像、また、画像処理装置１３により生成された各種画像や各種情報等を表示する。このモニタ１４は、手術顕微鏡１０と別体に設けられてもよい。
　この手術顕微鏡システム１において、例えば、術者は、接眼レンズ１２を覗き、対物レンズ１１を介して患者の眼を観察しながら手術を行う。また、術者は、モニタ１４に表示される術野画像や各種画像（例えば、画像処理前の画像や画像処理済の画像等）、各種情報等を確認しながら手術を行う。なお、モニタ１４だけの画像を用いて手術を行うことも可能である。
　＜１－２．手術顕微鏡の概略構成の一例＞
　実施形態に係る手術顕微鏡１０の概略構成の一例について図２を参照して説明する。図２は、実施形態に係る手術顕微鏡１０の概略構成の一例を示す図である。
　図２に示すように、手術顕微鏡１０は、上記の対物レンズ１１、接眼レンズ１２、画像処理装置１３及びモニタ１４に加え、光源５１と、観察光学系５２と、正面画像撮影部５３と、断層画像撮影部５４と、提示部５５と、インターフェース部５６と、スピーカ５７とを有している。なお、モニタ１４や提示部５５は、表示装置に相当する。
　光源５１は、画像処理装置１３が備える制御部１３Ａによる制御に従って照明光を射出し、患者の眼を照明する。
　観察光学系５２は、例えば、対物レンズ１１やハーフミラー５２ａ、図示しないレンズ等の光学素子から構成されている。この観察光学系５２は、患者の眼から反射された光（観察光）を接眼レンズ１２及び正面画像撮影部５３へと導く。
　詳しくは、患者の眼から反射された光が、観察光として、対物レンズ１１や図示しないレンズ等を介してハーフミラー５２ａに入射する。ハーフミラー５２ａに入射した観察光のうちの略半分は、ハーフミラー５２ａをそのまま透過し、透過型の提示部５５を介して接眼レンズ１２へと入射される。一方、ハーフミラー５２ａに入射した観察光の残りの半分は、ハーフミラー５２ａで反射されて正面画像撮影部５３へと入射する。
　正面画像撮影部５３は、例えば、ビデオカメラ等により構成されている。この正面画像撮影部５３は、観察光学系５２から入射した観察光を受光して光電変換することで、患者の眼を正面から観察した画像、つまり患者の眼を略眼軸方向から撮影した画像である正面画像を撮影する。正面画像撮影部５３は、画像処理装置１３の制御に従って正面画像を撮影（撮像）し、得られた正面画像を画像処理装置１３に供給する。
　断層画像撮影部５４は、例えば、光干渉断層計（ＯＣＴ：Optical　Coherence　Tomography）やシャインプルークカメラ等により構成されている。この断層画像撮影部５４は、画像処理装置１３の制御に従って患者の眼の断面の画像である断層画像を撮影（撮像）し、得られた断層画像を画像処理装置１３に供給する。ここで、断層画像とは、患者の眼における眼軸方向と略平行な方向の断面の画像である。
　なお、断層画像撮影部５４は、例えば、赤外光を用いて干渉原理により断層画像を取得するが、その際の赤外光の光路と、観察光学系５２内の観察光の光路の一部とが共通の光路となるようにしてもよい。
　接眼レンズ１２は、提示部５５を介して観察光学系５２から入射された観察光を集光して、患者の眼の光学像を結像させる。これにより、患者の眼の光学像が接眼レンズ１２を覗いている術者によって観察される。
　提示部５５は、透過型や非透過型の表示デバイス等により構成されており、接眼レンズ１２と観察光学系５２との間に配置されている。この提示部５５は、観察光学系５２から入射した観察光を透過させて接眼レンズ１２に入射させるとともに、画像処理装置１３から供給された各種画像（例えば、正面画像や断層画像等）や各種情報も必要に応じて提示（表示）する。各種画像や各種情報等は、例えば、患者の眼の光学像に重畳されて提示されてもよいし、光学像を邪魔しないように、光学像の周辺部に提示されてもよい。また、透過型の表示デバイスと非透過型の表示デバイスは切替可能に構成されており、必要に応じて切り替えられる。例えば、透過モードと非透過モードがあり、それらが術者等によって変更され、透過型の表示デバイスと非透過型の表示デバイスが切り替えられる。
　画像処理装置１３は、手術顕微鏡１０全体の動作を制御する制御部１３Ａを有する。例えば、制御部１３Ａは、光源５１の照明条件を変更したり、観察光学系５２のズーム倍率を変更したりする。また、制御部１３Ａは、インターフェース部５６から供給される術者等の操作情報等に基づいて、正面画像撮影部５３及び断層画像撮影部５４の画像取得を制御する。
　インターフェース部５６は、例えば、通信部等により構成されている。通信部は、モニタ１４に重畳して設けられたタッチパネルや、フットスイッチ、コントローラ、リモートコントローラ等の操作部からの指令を受信したり、外部装置との通信を行ったりする。このインターフェース部５６は、術者等の操作に応じた情報等を画像処理装置１３に供給する。また、インターフェース部５６は、画像処理装置１３から供給される、外部機器を制御するための機器制御情報等を外部機器に出力する。
　モニタ１４は、画像処理装置１３の制御部１３Ａによる制御に応じて、正面画像等の各種画像や各種情報を表示画面に表示する。
　スピーカ５７は、画像処理装置１３の制御部１３Ａによる制御に応じて、例えば、手術中に危険な状況を検出した場合、その危険状況を術者等に報知するため、ブザー音やメロディ音等の音、また、メッセージ（音声）等を出力する。なお、手術顕微鏡１０は、危険状況を術者等に報知するための回転灯や表示灯（ランプ）を備えていてもよい。
　以上のような構成の手術顕微鏡システム１では、表示態様が異なる複数の領域の境界により、術前計画に基づく特定位置及び特定サイズ（眼に対する特定位置及び特定サイズ）の一方又は両方を提示する表示画面を用いることで、オクルージョンが生じず、術者は術野画像を見やすくなり、また、前述の特定位置又は特定サイズも把握できるので、術前計画に沿った眼科手術を精度高く行うことができる。表示態様の違いは、表示条件に関するパラメータ等の違いであり、例えば、輝度の違い、彩度の違い、色温度の違い、色の違い、コントラストの違い、シャープネスの違い等である。
　＜１－３．画像処理装置の概略構成及び画像処理の一例＞
　実施形態に係る画像処理装置１３の概略構成及び画像処理の一例について図３を参照して説明する。図３は、実施形態に係る画像処理装置１３の概略構成（構成及び処理の流れ）の一例を示す図である。
　図３に示すように、画像処理装置１３は、術前計画受領部１３ａと、画像入力部１３ｂと、レジストレーション部１３ｃと、情報蓄積部１３ｄと、眼球トラッキング部（眼球追跡部）１３ｅと、表示画像生成部１３ｆとを備える。
　術前計画受領部１３ａは、患者の眼に対する術前計画情報（例えば、術前計画の術前画像や姿勢情報等）を受領する。術前計画の姿勢情報は、術前画像における角膜輪部等の部位を基準とした指標（施術に関する指標）のサイズ、指標の位置、指標の眼軸周りの向き（眼軸周りの回転方向の位置）に関する情報（サイズ情報や位置情報、向き情報等）を含む。例えば、指標のサイズ、指標の位置や指標の眼軸周りの向き等としては、切開の位置や形状、サイズ等があり、また、挿入する眼内レンズ等のインプラントの位置や向き等がある。なお、眼軸周りの向きは、眼軸に直交する基準線に対して眼軸周りの回転方向への角度で規定される。ただし、指標の座標系の位置及び眼軸周りの回転方向の位置は、いずれも指標の位置情報（特定位置の位置情報）に相当する。
　画像入力部１３ｂは、正面画像撮影部５３（図２参照）から術野画像（正面画像）を受領し、受領した術野画像（例えば、手術開始時の術野画像や手術中の実時間の術野画像等）をレジストレーション部１３ｃや眼球トラッキング部１３ｅ、表示画像生成部１３ｆ等に供給する。
　レジストレーション部１３ｃは、術前計画の術前画像と術開始時の術野画像との比較により術前計画の術前画像と術開始時の術野画像との対応関係、例えば、術前画像から術開始時の術野画像への変換パラメータ（一例として、座標変換の変換パラメータ）を求める。そして、レジストレーション部１３ｃは、求めた変換パラメータに関する関係情報を術前開始時の術野画像と共に情報蓄積部１３ｄに供給する。
　情報蓄積部１３ｄは、レジストレーション部１３ｃから供給された関係情報及び術前開始時の術野画像に基づいて、術開始時の術野画像に合わせて術前計画の姿勢情報を変換（変更）し、術開始時の術野画像と、その術開始時の術野画像に合わせて変換した術前計画の姿勢情報を蓄積する。
　眼球トラッキング部１３ｅは、術開始時の術野画像と実時間の術野画像との比較により実時間の術野画像中の眼球を追跡する。また、眼球トラッキング部１３ｅは、実時間の術野画像における眼球の姿勢情報と、情報蓄積部１３ｄにより蓄積された術前計画の姿勢情報との関係を示す関係情報（例えば、変換パラメータ等）をトラッキング結果（追跡結果）として表示画像生成部１３ｆに供給する。眼球の姿勢情報は、術前計画の姿勢情報と同様、眼球のサイズ、眼球の位置、眼球の眼軸周りの向き（眼軸周りの回転方向の位置）に関する情報（サイズ情報や位置情報、向き情報等）を含む。ただし、眼球の座標系の位置及び眼軸周りの回転方向の位置は、いずれも眼球の位置情報に相当する。
　表示画像生成部１３ｆは、実時間の術野画像を処理することで、その実時間の術野画像に対して表示態様が異なる複数の領域を設定し、各領域の境界が患者の眼に対する特定位置又は特定サイズを示す表示画像を生成する。このとき、表示画像生成部１３ｆは、変換した術前計画の姿勢情報に基づいて、各領域の境界が特定位置又は特定サイズを示すように実時間の術野画像、すなわち各領域を処理する。また、表示画像生成部１３ｆは、実時間の術野画像の眼球のトラッキング結果に基づいて各領域の境界の姿勢（位置や向き、サイズ等）を変更するように実時間の術野画像を処理し、表示画像を生成する。このとき、表示画像生成部１３ｆは、眼球トラッキング部１３ｅから供給された関係情報に基づいて術開始時の術野画像における眼球に対する境界の位置とサイズの関係が変わらないように実時間の術野画像における境界の位置とサイズを処理し、表示画像を生成する。
　（表示画像の例１）
　実施形態に係る表示画像の例１について説明する。図４は、実施形態に係る表示画像の例１を示す図である。
　図４に示すように、表示画像において、表示態様が異なる２つの領域（左側及び右側の領域）の境界Ｋ１が提示される。この境界Ｋ１は、術前計画や他の計画等に基づく特定位置、すなわち、施術に関する特定位置を示す。境界Ｋ１は、眼球の動き方向及び動き量に応じて、眼球に対する境界Ｋ１の姿勢変化が無くなるよう、眼球の動き方向に前述の動き量だけ移動するよう変換（変更）される。このような境界Ｋ１を有する表示画像は、モニタ１４及び提示部５５の両方又は一方により表示画面に表示される。なお、提示部５５が、境界Ｋ１を有する表示画像を表示する場合、透過型の表示デバイスを非透過型の表示デバイスに切り替えて、非透過型の表示デバイスを用いる。
　図４の例では、境界Ｋ１は、ライン形状の境界であり、乱視矯正を行うトーリックＩＯＬ等の眼内レンズＢ１を留置したい中心位置を通る境界である。この境界Ｋ１は、眼内レンズＢ１の位置合わせ用の境界線（眼内レンズＢ１設置用の目標位置）を示す。この境界Ｋ１に対して、眼内レンズＢ１の２つのマークＢ１ａ（一例として、直線状に並ぶ３点）が合わせられる。例えば、眼内レンズＢ１がトーリックＩＯＬである場合、患者の乱視軸に対して眼内レンズＢ１のトーリック軸を一致させる必要があり、眼軸周りの向き（眼軸周りの回転方向の位置）にずれが生じた場合には十分な乱視矯正効果を得ることができない。そこで、トーリックＩＯＬには、端点にトーリック軸を示す２つのマークＢ１ａが刻印されており、トーリックＩＯＬの眼軸周りの向きを把握可能にされている。手術時には、トーリックＩＯＬのマークＢ１ａが実時間の術野画像内の境界Ｋ１に合わせられ、トーリックＩＯＬが眼内に設置される。
　ここで、多くの眼科手術ガイダンスシステムでは、術前画像と術開始時画像（術開始時の術野画像）のレジストレーションを行い、その後に術開始時画像と実時間画像（実時間の術野画像）の比較（トラッキング）によって術前計画に基づくマークを実時間画像にマッピング表示する。ただし、この手法では、術前計画に基づくマークが術野画像に重ねられるため、術野画像の一部がマークによって見えなくなるオクルージョン（遮蔽）が生じてしまう。
　このため、術者は術野画像を見難くなり、トーリックＩＯＬ（乱視矯正用眼内レンズ）の軸合わせやＩＯＬのセンタリング、創口作成、前嚢切開等を行うことが困難になるため、術前計画に沿った手術を精度良く行うことは難しい。そこで、施術に関する特定位置又は特定サイズをマークではなく、表示態様が異なる各領域の境界（例えば、境界Ｋ１）により提示することで、オクルージョンの発生を防止し、術前計画に沿った手術を精度良く行うことを実現することができる。
　（具体的な処理の流れ）
　具体的な処理は、以下の流れに沿って実施される。レジストレーション、トラッキング、画像生成及び画像提示が順次実行される。図５及び図６は、実施形態に係る表示画像生成（変換処理）を説明するための図である。
　レジストレーションでは、術前画像（例えば、眼球画像等）を含む術前計画情報と術開始時画像（術開始時の術野画像）を受領し、術前計画策定時の眼球の向きや位置と術中の眼球の向きや位置の基準を合わせる。位置合わせ方法としては、例えば、術前画像及び術開始時画像を用いて画像処理により自動で位置合わせを行ってもよく、また、ユーザがマニュアルで位置や向き（例えば、回転角等）を合わせることにより位置合わせを行ってもよい。レジストレーションが成功すると、術開始時画像の座標に基づく手術計画情報が保持される。
　トラッキングでは、術開始時からの眼球の動きをトラッキングし、術開始時画像からトラッキング時刻の座標への変換パラメータ（座標変換パラメータ）を求める。トラッキング方法としては、例えば、術前画像及び術開始時画像の双方の画像から特徴点を抽出しその対応関係から変換パラメータを求めてもよく、あるいは、片方の画像から特徴点を抽出し、その特徴点の動きをサーチしたのちに変換パラメータを求めてもよく、また、機械学習に画像を入力し、学習ベースで変換パラメータを求めてもよい。
　画像生成では、トラッキングで抽出された変換パラメータに基づき、レジストレーションで求めた手術計画情報から、図５に示すように、特定位置を示す境界Ｋ１を生成する領域（例えば、変調領域等）のコントロールポイント座標Ｐ１を変換し、あるいは、図６に示すように、境界Ｋ１を示す境界線のコントロールポイント座標Ｐ１を変換する。その後、変換対象が領域のコントロールポイント座標Ｐ１であれば、領域に対して画像処理を行い、また、変換対象が境界線のコントロールポイント座標Ｐ１であれば、境界線を基準とした領域に対して画像処理を行い、表示画像を生成する。この表示画像には、表示態様が異なる複数の領域が存在することになる。
　ここで、図５の例では、領域を示すコントロールポイント座標Ｐ１は４点であるが、このコントロールポイント座標Ｐ１は３点以上であればよい。これらのコントロールポイント座標Ｐ１により囲まれた領域が処理対象となる。また、図６の例では、境界線を示すコントロールポイント座標Ｐ１は２点であるが、このコントロールポイント座標Ｐ１は２点以上であればよい。境界が複雑な形状を示す場合には、コントロールポイント座標、すなわちコントロールポイントを複数増やしてもよい。境界線が定められると、その境界線の左右の一方（又は上下の一方）の領域が処理対象となる。なお、領域又は境界線を示す各コントロールポイント座標Ｐ１を直線でつないでもよく、また、スプライン補間等により滑らかにつないでもよく、２点を通る半円等の特定形状でつないでもよい。また、処理対象となる領域は一つに限られるものではなく、複数であってもよい。
　画像提示では、画像生成処理により生成された表示画像を術野映像として提示する。この境界Ｋ１を有する表示画像（図４参照）は、モニタ１４及び提示部５５の両方又は一方により表示画面に表示される。
　ここで、座標変換としては、例えば、アフィン変換やホモグラフィ変換等を用いることが可能である。また、画像処理としては、輝度（明るさ）、コントラスト（濃淡さ）、彩度、色温度、シャープネス、グレースケール化、特定の色を他の特定の色に変えること等のパラメータ調整、すなわち画像の画素値を変化させることで画像処理を実現する。具体的には、例えば、計算式に基づく処理（例えば、ゲイン調整、オフセット処理、γ処理等の非線形演算等）、また、ルックアップテーブルによる処理（例えば、特定の色から特定の色への変更や、コントラストを変えるために特定の輝度値から特定の輝度値への変換等）、空間フィルタによる処理等を単独あるいは組み合わせて用いることが可能である。この際、表示画像生成部１３ｆは、元の術野画像（原画）に対して、境界が目立つような処理を自動で選んで実行してもよい。なお、特定の輝度値から特定の輝度値への変換の一例としては、コントラストのＳ字カーブの変更がある。
　画像処理において、輝度に関しては、例えば、特定のチャネルの変更が実施される。また、コントラストに関しては、例えば、特定のチャネルの値に応じたゲインが加えられる。彩度に関しては、例えば、特定のチャネルに一律のゲインが加えられる。色温度に関しては、チャネルごとに異なる一律のゲインが加えられる。グレースケール化に関しては、例えば、特定のチャネル値が変更される。色の変更に関しては、例えば、画素値に応じて変換が行われる。
　なお、画像は、例えば、チャネルという形態で色情報を有する。ＲＧＢ画像には、赤（Ｒｅｄ）、緑（Ｇｒｅｅｎ）、青（Ｂｌｕｅ）の３つのチャネルがある。また、ＨＳＬ画像には、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、輝度（Ｌｉｇｈｔｎｅｓｓ／Ｌｕｍｉｎａｎｃｅ又はＩｎｔｅｎｓｉｔｙ）の３つのチャネルがある。また、ＣＭＹＫ画像には、シアン（Ｃｙａｎ）、マゼンタ（Ｍａｇｅｎｔａ）、イエロー（Ｙｅｌｌｏｗ）、黒（ｂｌａｃＫ）の４つのチャネルがある。
　また、画像生成においては、術者等のユーザの指示に基づいて、提示する情報パターンや処理の仕方を変えてもよい。提示する情報パターンとしては、例えば、創口作成、前嚢切開、トーリックＩＯＬ（乱視矯正用眼内レンズ）の軸合わせ、ＩＯＬのセンタリング等に応じた各種の情報パターン（各種の表示パターン）がある。例えば、ユーザは操作部を操作し、提示する情報パターンあるいは処理の仕方を選択することが可能である。
　また、トラッキングに処理時間がかかるため、トラッキング情報の生成を待って、術野画像の作成を行うと、画像と現実の間の遅延が大きくなる。そこで、トラッキング情報が遅延することには目をつぶり、画像生成は最新の算出済みの過去のトラッキング情報を用いることで、画像作成の遅延を抑えてもよい。
　（表示画像の例２～６）
　実施形態に係る表示画像の例２～６について図７から図１１を参照して説明する。図７から図１１は、実施形態に係る表示画像の例２～６を示す図である。例２～６では、表示画像のバリエーションについて説明する。
　図７に示すように、表示画像において中心位置を示す２つの境界Ｋ２、Ｋ３が提示される。図７の例では、各境界Ｋ２、Ｋ３の交点が、例えば、ＩＯＬ設置用の中心位置（例えば、眼軸位置等）を示す。また、図７の例では、術野画像のうち境界Ｋ２の右側領域が処理され、境界Ｋ３の下側領域が処理される。
　図８に示すように、表示画像において切開位置を示す境界Ｋ４が提示される。図８の例では、境界Ｋ４が三角形の二辺であり、三角形の頂点が切開位置（例えば、切開開始位置等）を示す。また、図８の例では、術野画像のうち境界Ｋ４の下側領域（三角形状の領域）が処理される。
　図９に示すように、表示画像において切開位置を示す２つの境界Ｋ５、Ｋ６が提示される。図９の例では、各境界Ｋ５、Ｋ６の交点が切開位置（例えば、切開開始位置等）を示す。また、図９の例では、術野画像のうち境界Ｋ５の右側領域が処理され、境界Ｋ６の下側領域が処理される。
　図１０に示すように、表示画像において切開サイズ及び切開位置を示す境界Ｋ７が提示される。図１０の例では、境界Ｋ７が例えばＣＣＣ（水晶体前嚢切開）用の切開サイズ及び切開位置（例えば、連続する切開位置等）を示す。この境界Ｋ７は、例えば、半円を有する形状の境界、すなわちセミサークル境界（前嚢切開用の目標円を形成するための半円）として機能する。また、図１０の例では、術野画像のうち境界Ｋ７の右側領域が処理される。なお、前述の目標円等の環形状の中心としては、眼軸以外にも、角膜輪部中心や瞳孔中心、術前瞳孔中心、視軸、前嚢切開縁中心等を用いることが可能である。
　図１１に示すように、表示画像において特定領域、すなわち特定領域の領域サイズ及び領域位置を示す境界Ｋ８が提示される。図１１の例では、境界Ｋ８が六角形の六辺（又は四辺）であり、特定領域の領域サイズ及び領域位置を示す。この境界Ｋ８は、例えば、トラッキングで眼球を見失った場合、術野画像の中心に眼球（眼）を持ってくることを術者に示すものである。また、図１１の例では、術野画像のうち境界Ｋ８の外側領域が処理される。
　（表示画像の例７～９）
　実施形態に係る表示画像の例７～９について図１２から図１４を参照して説明する。図１２から図１４は、実施形態に係る表示画像の例７～９を示す図である。例８、９では、境界Ｋ１の明瞭さを維持しつつ、処理前画像と処理後画像との差分を小さくするための追加ポイントを説明する。
　図１２に示すように、画像処理を加える領域は、境界Ｋ１の片側の領域であってもよい。この画像処理を加える領域が境界Ｋ１の片側の領域である場合には、画像処理を加えた片側の領域の変化量は大きく、画像処理を加えていない片側の領域が残る形になる。つまり、片側の領域を処理する場合には、境界Ｋ１が見えるレベルの変調をするため、処理した側の領域は原画からの差分が大きくなる一方で、処理していない領域も存在するというメリットがある。
　図１３に示すように、画像処理を加える領域は、境界Ｋ１の両側の領域であってもよい。図１３の例では、片側の領域（境界Ｋ１の上側領域）が原画（処理前の術野画像）よりも１０％明るくされ、もう一方の片側の領域（境界Ｋ１の下側領域）が原画よりも１０％暗くされる。このように両側の領域に異なる処理を与えることで、境界ギャップの明瞭さを維持しつつ、原画からの変化量を小さくすることができる。つまり、両側の領域を処理する場合には、処理していない領域が存在しない一方で、同じ境界ギャップを両側の領域に対する処理で実現するため、原画と処理後の術野画像との差分を小さい範囲に収めることができるというメリットがある。
　図１４に示すように、境界Ｋ１の両側の領域の差異（表示態様の差異）があれば、情報伝達は可能であるため、境界Ｋ１から離れるほど領域に対する処理の強さ（例えば、変調の強さ）を弱めてもよい。図１４の例では、境界Ｋ１の左側領域において、境界Ｋ１から離れるほど領域に対する処理の強さが弱まる。例えば、領域に対する処理が輝度を上げる処理である場合には、境界Ｋ１から離れるほど領域に対する輝度を上げる処理の強さが弱まると、境界Ｋ１から離れるほど領域の輝度が弱くなる。このように境界Ｋ１から離れるほど領域に対する処理の強さを弱めることで、境界Ｋ１から離れた部分において原画と処理後の術野画像との差分を弱めることができる。つまり、境界Ｋ１のギャップの明瞭さを維持し、その境界Ｋ１から離れた領域を原画に近づけることができる。
　（表示画像の例１０、１１）
　実施形態に係る表示画像の例１０、１１について図１５及び図１６を参照して説明する。図１５及び図１６は、実施形態に係る表示画像の例１０、１１を示す図である。例１０、１１では、３Ｄ画像（三次元の術野画像）提示における追加ポイントについて説明する。通常、眼科手術においては３Ｄ画像を用いることが多い。この場合、奥行き感を視差の違いとして提示できるように立体視左目用画像と立体視右目用画像が存在する。このため、立体視左目用画像及び立体視右目用画像に対する境界提示についての追加ポイントを説明する。なお、以下では、「立体視左目用」を単に「左目用」と記載し、「立体視右目用」を単に「右目用」と記載する。
　図１５に示すように、３Ｄ画像に対する境界提示に関して、左目用画像及び右目用画像の両方に境界を提示する、すなわち、右目用画像に境界Ｋ２を、左目用画像に境界Ｋ３を提示する場合と、あるいは、左目用画像及び右目用画像の一方だけに境界Ｋ２、Ｋ３を提示する場合とがある（図７参照）。なお、片目用画像のみに境界Ｋ２、Ｋ３を提示しても、原画からの画像変化が小さいため、３Ｄ知覚にほぼ影響を与えず、術者は境界Ｋ２、Ｋ３を視認できる利点がある。このため、片目用画像のみに境界Ｋ２、Ｋ３を提示してもよく、また、左目用画像及び右目用画像に異なる境界（例えば、境界Ｋ２、境界Ｋ３）を提示してもよい。
　図１５の例では、左目用画像及び右目用画像に異なる境界Ｋ２、Ｋ３を提示し（右目用画像に境界Ｋ２を、左目用画像に境界Ｋ３を提示し）、それらの境界Ｋ２、Ｋ３を脳内で融合させることで、各境界Ｋ２、Ｋ３の交差点を提示する。このようにして、例えば、センタリング位置や創口位置を提示するため、二つの境界Ｋ２、Ｋ３をクロスした位置等で示すことができる。また、各種の境界（例えば、境界Ｋ２、境界Ｋ３）の組み合わせにより提示できる情報を増やすことができる。
　なお、左目用画像及び右目用画像に異なる境界Ｋ２、Ｋ３を提示する場合には、片目用画像でトラッキングした情報に基づいて、左目用画像及び右目用画像に異なる境界Ｋ２、Ｋ３を提示してもよく、また、左目用画像及び右目用画像である両目用画像でトラッキングした情報に基づいて、左目用画像及び右目用画像に異なる境界Ｋ２、Ｋ３を提示してもよい。
　また、左目用画像及び右目用画像の両方に異なる境界Ｋ２、Ｋ３を提示する以外にも、左目用画像及び右目用画像の両方に同じ境界（例えば、境界Ｋ１）を提示してもよい。左目用画像及び右目用画像に同じ境界を提示する場合には、境界に対し奥行き知覚が生じるため、どの位置に境界を定位させるかを制御するようにしてもよい。例えば、眼科手術がＣＣＣ（水晶体前嚢切開）であれば、前嚢の位置に境界を定位させる。
　図１６に示すように、境界Ｋ１については、３Ｄ画像において奥行きギャップを作るような処理を行ってもよい。図１６の例では、画像処理として、左目用画像の画素を右側にシフトし、右目用画像の画素を左側にシフトする。処理後（視差変調後）には、視差が変わるため、奥行きでの定位置が変わる。術者は境界Ｋ１が手前に飛び出るように感じる。これにより、術者が境界Ｋ１の位置を把握しやすくなるので、眼科手術を精度良く行うことができる。
　なお、画像の処理の強さ（例えば、変調の程度等）が小さい場合には、片目の画像のみに処理や両目の個々の画像に異なる処理を与えても、マークの重畳等と違い、ちらつきが生じず、さらに、視差が生じないため、術野と奥行きの競合が生じない。また、両目の個々の画像に同じ処理を与えた場合には、視差を生じさせることで、所望する特定の奥行き位置に定位することが可能となり、ユーザがガイドに応じて処置する位置に定位させることもできる。
　（境界提示の変化）
　実施形態に係るトラッキング状況や時間に応じた境界提示の変化における追加ポイントについて説明する。まず、トラッキング状況（トラッキングステータス）に応じた境界提示の変化について図１７を参照して説明し、次に、時間に応じた境界提示の変化について図１８から図２０を参照して説明し、トラッキング結果（眼のサイズ変化）に応じた境界提示の変化について図２１を参照して説明する。図１７は、実施形態に係るトラッキング状況に応じた境界提示の変化を説明するための図である。図１８から図２０は、実施形態に係る時間に応じた境界提示の変化を説明するための第１から第３の図である。図２１は、実施形態に係るトラッキング結果に応じた境界提示の変化を説明するための図である。
　眼球トラッキングの原理上、眼球が術野に映っている量が減ると、トラッキング精度が劣化する。また、トラッキング精度を維持するため、トラッキングの検出限界を設定することもあり得る。すなわち、トラッキング精度に自信がある状況や、トラッキング検出限界に近付いている状況があり得る。このような場合には、図１７に示すように、所定領域の処理の強さ（例えば、変調の程度等）を弱めることで所定領域の画像を原画に近づけたり、あるいは、所定領域の処理の強さを強めることでワーニング（警告情報）として所定領域の画像を目立たせたりしてもよい。もちろん、それらと合わせて、表示画面上の固定の位置にメッセージをオーバーレイして提示してもよい。このようにして、前述のトラッキングの状況を術者等のユーザに提示することで、ユーザがトラッキングの信頼度を把握することができる。
　また、各領域の境界Ｋ１～Ｋ７による情報提示では、原理的に術野のオクルージョン（遮蔽）は発生しないが、術者によっては境界Ｋ１～Ｋ７上における視認性の低下を多少感じる恐れがある。そこで、図１８及び図１９に示すように、同じ情報（特定位置）を提示する境界Ｋ１～Ｋ７の位置を変えてもよい。
　図１８の例では、境界Ｋ７は、眼軸等を中心として３６０度回転する。例えば、境界Ｋ７は、前嚢切開等の手術において、手術開始から所定速度（例えば、術者が術具の先端部を移動させるときの速度よりも速い速度）で回転する。この回転は、施術中繰り返される。これにより、境界Ｋ７は、前嚢切開用の目標円を形成することになる。このようにして、同じ情報を提示する境界Ｋ７の位置を変えて、視認性を向上させることができる。
　ここで、前述の所定速度は、予め設定されており、例えば、術者が術具の先端部を移動させるときの速度の平均値等の一般的な値よりも速い値である。ただし、境界Ｋ７の回転速度は、所定速度でなくてもよく、例えば、術者が移動させる術具の先端部や前嚢切開縁の端点を検出し、術具の動きや前嚢切開縁の端点の動きに応じて境界Ｋ７を回転させてもよい。また、境界Ｋ７の回転角度は、例えば、１８０度等の他の角度でもよい。
　図１９の例では、境界Ｋ１は、所定速度で平行移動する。境界Ｋ１は基準位置から左側に所定距離だけ移動し、その左側の所定位置から基準位置まで戻り、さらに、基準位置から右側に所定距離だけ移動し、その右側の所定位置から基準位置まで戻る。この移動は施術中繰り返される（周期的な移動）。これにより、同じ情報を提示する境界Ｋ１の位置を変えて、視認性を向上させることができる。
　また、図２０に示すように、所定領域の処理の強さ（例えば、変調の程度等）を周期的に弱めることで、視認性を向上させてもよい。図２０の例では、処理の強さが初期状態から徐々に弱められ、その後、徐々に強められ、再び初期状態に戻される。このように所定領域の処理の強さ（原画からの画像変化の程度）を定期的に弱めることで、視認性を向上させることができる。
　このように、所定領域の処理の強さ（原画からの画像変化の程度）を周期的に弱めることで、術野の視認性をより改善できる。また、トーリック軸等の境界Ｋ１の提示位置を周期的にずらすことで、境界Ｋ１がトーリックＩＯＬのマークＢ１ａ（図４参照）に重なり、そのマークＢ１ａが見難くなることを避けることができる。また、トラッキング対象である角膜の位置が端にきているとき等、トラッキング精度が低下しやすいため、所定領域の処理の強さを弱めることで、術野の視認性を高めたり、トラッキング精度の高い中央部に角膜を持ってくるようにユーザに意識付けたりすることができる。
　なお、前述のように境界Ｋ１、Ｋ７の位置を所定周期で変更してもよく、あるいは、ユーザの指示に応じて切り替えてもよい。例えば、ユーザは、タッチパネルやフットスイッチ、コントローラ等の操作部を操作し、境界Ｋ１、Ｋ７の位置を切り替えることが可能である。
　また、前述のように所定領域に画像処理を行ってもよく、あるいは、術者により操作される術具等の操作部（例えば、術具の先端部等）を検出し、その操作部が含まれていない領域に対して、画像処理（例えば、輝度変調処理や色変調処理等）を行ってもよい。
　また、図２１に示すように、眼のサイズ変化に応じて、境界Ｋ７の位置やサイズを変えてもよい。境界Ｋ７の一部は半円状となって眼のサイズを示すため、眼のサイズ変化に応じて境界Ｋ７の位置は変わることになる。例えば、術野画像中の眼のサイズが小さくなると、境界Ｋ７の半円サイズも小さくなり、境界Ｋ７の位置は中央に近づく。逆に、術野画像中の眼のサイズが大きくなると、境界Ｋ７の半円サイズも大きくなり、境界Ｋ７の位置は中央から離れる。なお、サイズとしては、例えば、ＣＣＣの直径や創口の切開幅、芯取り（Centration）等がある。
　（表示画像の例１２～１４）
　実施形態に係る表示画像の例１２～１４について図２２から図２４を参照して説明する。図２２から図２４は、実施形態に係る表示画像の例１２～１４を示す図である。
　図２２に示すように、表示画像において境界Ｋ７は２つの特定位置を提示する。図２２の例では、２つの特定位置は、それぞれ創口情報（例えば、創口作成位置等）を示す。例えば、境界Ｋ７の一部が三角形状に形成され、その頂点付近が創口作成位置である。図２２の例では、術野画像のうち境界Ｋ７の右側領域が処理される。
　図２３に示すように、表示画像において境界Ｋ１１は主創口の幅及び位置を提示する。図２３の例では、境界Ｋ１１は、角膜中心から作られた三角形の角膜輪部上での幅である切開幅を示す。主創口の位置、すなわち切開の位置は、三角形の仮想垂直二等分線となる。図２３の例では、術野画像のうち境界Ｋ１１の左側領域が処理される。
　図２４に示すように、表示画像において境界Ｋ１１は主創口の幅を提示し、境界Ｋ１２は主創口の位置を提示する。図２４の例では、境界Ｋ１１は、角膜中心から作られた三角形の角膜輪部上での幅である切開幅を示す。境界Ｋ１２は、主創口の位置、すなわち三角形の仮想垂直二等分線を示す。図２４の例では、術野画像のうち境界Ｋ１１の左側領域が処理され、境界Ｋ１２の下側領域が処理される。なお、境界Ｋ１１を含む左目用画像と、境界Ｋ１２を含む右側用画像とを提示し、それらの境界Ｋ１１、Ｋ１２を脳内で融合させて、３Ｄ画像を実現してもよい（図１６参照）。
　（境界提示の変化）
　実施形態に係る時間に応じた境界提示の変化について図２５を参照して説明する。図２５は、実施形態に係る時間に応じた境界提示の変化を説明するための第４の図である。
　図２５に示すように、表示画像において境界Ｋ１１の幅や位置を周期的に変化させてもよい。例えば、境界Ｋ１１の幅（境界Ｋ１１内の領域のサイズ）が最大になったときを所望の切開幅とし、切開の位置を知るために境界Ｋ１１の幅を狭くする。つまり、角膜輪部における幅で切開の幅を示すだけだと、切開の位置がわかりにくい場合がある。このため、境界Ｋ１１の幅を周期的に変化させて境界Ｋ１１の幅を狭くし、切開の位置を示してもよい。
　＜輝度領域＞
　ここで、輝度が異なる複数の輝度領域により境界Ｍ３～Ｍ５を示す場合の表示画像の例１５～１７について説明する。
　（表示画像の例１５）
　図２６は、実施形態に係る表示画像の例１５を示す図である。図２６に示すように、輝度が異なる２つの輝度領域が設定されており、それらの輝度領域の境界Ｍ３が提示される。この境界Ｍ３は、ライン形状の境界、すなわちライン境界（眼内レンズＢ１設置用の目標線）として機能する。図２６の例では、２つの輝度領域のうち右側の輝度領域（図２６中の斜線による塗り潰し領域）の輝度が左側の輝度領域の輝度よりも低く設定されている。この境界Ｍ３にトーリック軸が合わせられ、トーリックＩＯＬが設置される。なお、輝度領域の数は、２つに限られるものではなく、２つ以上の複数であればよい。
　（表示画像の例１６）
　図２７及び図２８は、実施形態に係る表示画像の例１６を示す図である。図２７及び図２８に示すように、輝度が異なる２つの輝度領域が設定されており、それらの輝度領域の境界Ｍ４として提示される。この境界Ｍ４は、半円を有する形状の境界、すなわちセミサークル境界（前嚢切開用の目標円を形成するための半円）として機能する。なお、図２７及び図２８の例では、輝度領域の境界Ｍ４は、眼軸等を中心として９０度回転している。
　例えば、輝度領域の境界Ｍ４は、前嚢切開等の手術において、手術開始から所定速度（例えば、術者が術具の先端部を移動させるときの速度）で、眼軸等を中心として３６０度回転する。これにより、境界Ｍ４は、前嚢切開用の目標円を形成することになる。所定速度は、予め設定されており、例えば、術者が術具の先端部を移動させるときの速度の平均値等の一般的な値である。ただし、境界Ｍ４の回転速度は、所定速度でなくてもよく、例えば、術者が移動させる術具の先端部や前嚢切開縁の端点を検出し、術具の動きや前嚢切開縁の端点の動きに応じて境界Ｍ４を回転させてもよい。この術具の先端部や前嚢切開縁の端点の検出には、後述する処理開始部１３ｇを用いることが可能である。また、境界Ｍ４の回転角度は、例えば、１８０度等の他の角度でもよい。
　（表示画像の例１７）
　図２９は、実施形態に係る表示画像の例１７を示す図である。図２９に示すように、図２７及び図２８に示す境界Ｍ４に加え、さらに、複数（図２９の例では２つ）の境界Ｍ５が提示される。これらの境界Ｍ４及び境界Ｍ５は、表示画像の例１０と同様、輝度が異なる２つの輝度領域の境界により形成される。境界Ｍ５は、切開位置を示す境界である。
　以上、上記の説明から明らかなように、境界Ｋ１～Ｋ１２、Ｍ３～Ｍ５は、術野画像に重畳表示するマークではなく、飽くまでも視認上の姿勢（位置や向き、サイズ等）を示すことを可能とする境界である。境界Ｋ１～Ｋ１２、Ｍ３～Ｍ５は、重畳するマークと異なり、マークの位置の術野画像を隠すことがないため、重畳するマークを用いる場合と比べて術野の視認性を向上する効果が得られる。
　また、前述のように、術野画像を固定しておき、この固定提示した術野画像に対して境界Ｋ１～Ｋ１２、Ｍ３～Ｍ５が適切な姿勢（位置や向き等）になるよう（例えば、固定姿勢の術野画像中の眼球に対して境界Ｋ１～Ｋ１２、Ｍ３～Ｍ５の変位が無くなるよう）、境界Ｋ１～Ｋ１２、Ｍ３～Ｍ５の姿勢を変更してもよい。この境界Ｋ１～Ｋ１２、Ｍ３～Ｍ５の姿勢を変更することは、各領域の範囲（例えば、サイズや形状等）を変更することになる。
　例えば、境界Ｋ１～Ｋ１２、Ｍ３～Ｍ５の姿勢を変更する場合、表示画像生成部１３ｆは、眼球の姿勢情報に基づいて、眼球の変位に応じて境界Ｋ１～Ｋ１２、Ｍ３～Ｍ５の姿勢を変更しつつ、表示画像を生成する。例えば、表示画像生成部１３ｆは、眼球の動き方向及び動き量に応じ、実時間の術野画像に対して境界Ｋ１～Ｋ１２、Ｍ３～Ｍ５を眼球の動き方向に前述の動き量だけ移動させ、境界Ｋ１～Ｋ１２、Ｍ３～Ｍ５の姿勢（例えば、各領域の範囲）を変更する。つまり、術野画像を固定しておき、境界Ｋ１～Ｋ１２、Ｍ３～Ｍ５の姿勢を変更することで、眼球と境界Ｋ１～Ｋ１２、Ｍ３～Ｍ５との位置関係は変わらない。
　また、トラッキング処理が失敗し、実時間画像における眼の姿勢（位置や向き等）が推定できない時刻が生じることがある。このような場合には、表示画像生成部１３ｆは、最後に姿勢が推定できた時刻の画像（最後の表示画像）の姿勢を維持することで、表示を続けるようにしてもよい。なお、最後に姿勢が推定できた時刻の術野画像の姿勢を維持する以外にも、姿勢が推定できた時刻の術野画像の姿勢を等速度や等角速度、等加速度運動や等角加速度運動で維持してもよい。また、トラッキングが失敗した場合に、失敗したことが分かるように所定領域の表示態様（例えば、輝度や色等）を変更してもよい。
　以上のような各種の表示画像が用いられるが、それらの表示画像を術者やスタッフ等により選択可能にしてもよい。表示画像の選択は、術者やスタッフ等による操作部に対する入力操作により実現される。例えば、術者やスタッフ等は、操作部を操作して希望する表示画像を表示する表示モードを選択する。この選択に応じて、表示画像生成部１３ｆは、選択された表示モードに基づく表示画像を生成する。同様に、各種画像に関して、画像のサイズや位置等を術者やスタッフ等により変更可能にしてもよい。表示画像生成部１３ｆは、術者やスタッフ等による操作部に対する入力操作に応じて、画像のサイズや位置等を変更して表示画像を生成する。
　＜１－４．作用・効果＞
　以上説明したように、実施形態によれば、画像入力部１３ｂが患者の眼に対する術野画像を受領し、眼球トラッキング部１３ｅが、術野画像における眼球を追跡し、表示画像生成部１３ｆが、術野画像に対して表示態様が異なる複数の領域を設定して、各領域の境界（例えば、境界Ｋ１～Ｋ１２、Ｍ３～Ｍ５）が眼に対する特定位置、特定方向及び特定サイズの少なくとも一つを示す表示画像を生成し、さらに、眼球の追跡結果（トラッキング結果）に基づいて各領域のいずれか又は全ての表示態様を変更し、境界の位置、方向及びサイズの少なくとも一つを変更する。これにより、眼に対する特定位置をマークではなく、表示態様が異なる各領域の境界により提示することで、オクルージョンの発生を防止することができる。したがって、術者は特定位置又は特定サイズを把握しつつ、術野画像を見やすくなり、手術を正確に行うことが可能になるので、術前計画に沿った手術を精度高く実現することができる。なお、変位とは、平行移動、回転、拡大／縮小、変形やその組み合わせ等、眼球等の被写体に対する任意の変化を含むものである。
　また、表示画像生成部１３ｆは、眼球の追跡結果に基づいて複数の領域のいずれか又は全ての表示態様を変更し、境界の位置、方向及びサイズの少なくとも一つを変更することから、例えば、複数の領域のいずれかの表示態様を変更する場合には、複数の領域の全ての表示態様を変更する場合に比べ、処理速度を向上させることができる。また、複数の領域の全ての表示態様を変更する場合には、複数の領域のいずれかの表示態様を変更する場合に比べ、術者は各領域の境界を視認しやすくなるので、術前計画に沿った手術を精度高く実現することができる。
　また、術前計画受領部１３ａが、患者の眼に対する術前計画に基づく術前画像及び指標の位置、方向及びサイズの少なくとも一つの情報（例えば、座標上の位置や向き、サイズ等）を受領し、情報蓄積部１３ｄが、術前画像と術開始時の術野画像との比較により術開始時の術野画像に合わせて指標の位置、方向及びサイズの少なくとも一つの情報を変更し、術開始時の術野画像と、変更した指標の位置、方向及びサイズの少なくとも一つの情報とを蓄積する。これにより、術開始時の術野画像と、変更した指標の位置、方向及びサイズの少なくとも一つの情報とを後処理で用いることができる。
　眼球トラッキング部１３ｅが、術開始時の術野画像と実時間の術野画像との比較により実時間の術野画像における眼球を追跡し、実時間の術野画像における眼球の位置、方向及びサイズの少なくとも一つの情報（例えば、座標上の位置や向き、サイズ等）と、変更した指標の位置、方向及びサイズの少なくとも一つの情報との関係を示す関係情報を出力し、表示画像生成部１３ｆが、変更した指標の位置、方向及びサイズの少なくとも一つの情報に基づいて境界を配置し、関係情報に基づいて術開始時の術野画像中の眼球に対する境界の位置、方向及びサイズの少なくとも一つの変化を無くすように実時間の術野画像における境界の位置、方向及びサイズの少なくとも一つを変更し、表示画像を生成する。これにより、術開始時の術野画像中の眼球に対して境界Ｋ１～Ｋ７の位置、方向及びサイズの少なくとも一つを変更することで、眼球と境界Ｋ１～Ｋ７との位置、方向及びサイズの少なくとも一つの関係は変わらない。したがって、術者は、詳細に特定位置、方向及びサイズの少なくとも一つを把握することが可能になるので、術前計画に沿った手術をより精度高く実現することができる。
　また、表示画像生成部１３ｆは、眼球の追跡結果に基づいて境界の位置、方向及びサイズの少なくとも一つが変更されるよう複数の領域を座標変換により変更し、表示画像を生成する。これにより、眼球の追跡結果に基づいて境界の位置、方向及びサイズの少なくとも一つを確実に変更し、表示画像を生成することができる。
　また、表示画像生成部１３ｆは、眼球の追跡結果に基づいて境界を示す境界線を変更し、境界の位置、方向及びサイズの少なくとも一つを変更する。これにより、領域を変更する場合に比べ、処理速度を向上させることができる。例えば、境界線は２点のコントロールポイント（変換ポイント）でよいが、領域は３点以上のコントロールポイントを必要とする。
　また、表示画像生成部１３ｆは、複数の領域の二つ以上に対し、同じ種類のパラメータ（例えば、輝度や色等）を調整する処理を行う。この簡略な処理によって、各領域の境界を容易に目立たせることが可能になる。これにより、術者は各領域の境界を視認しやすくなるので、術前計画に沿った手術を精度高く実現することができる。
　また、表示画像生成部１３ｆは、複数の領域の二つ以上に対し、異なる種類のパラメータ（例えば、輝度や色等）を調整する処理を行う。この簡略な処理によって、各領域の境界を容易に目立たせることが可能になる。これにより、術者は各領域の境界を視認しやすくなるので、術前計画に沿った手術を精度高く実現することができる。
　また、表示画像生成部１３ｆは、複数の領域のいずれか又は全てに対する処理の強さを境界から離れるほどに弱める。これにより、境界の明瞭さを維持しつつ、その境界から離れた領域を原画に近づけることが可能になるので、術前計画に沿った手術を精度高く実現することができる。
　また、表示画像生成部１３ｆは、境界を含む表示画像を左目用（立体視左目用）の表示画像及び右目用（立体視右目用）のいずれか一方の表示画像として生成する、もしくは、境界を含む表示画像を左目用の表示画像及び右目用の表示画像としてそれぞれ生成する。これにより、境界を含む表示画像を左目用の表示画像及び右目用のいずれか一方の表示画像として生成する場合には、境界を含む表示画像を左目用の表示画像及び右目用の表示画像としてそれぞれ生成する場合に比べ、処理速度を向上させることができる。また、境界を含む表示画像を左目用の表示画像及び右目用の表示画像としてそれぞれ生成する場合には、境界を含む表示画像を左目用の表示画像及び右目用のいずれか一方の表示画像として生成する場合に比べ、境界の位置精度を向上させることができる。
　また、眼球トラッキング部１３ｅは、左目用及び右目用の一方又は両方の術野画像における眼球を追跡し、表示画像生成部１３ｆは、左目用及び右目用の一方又は両方の眼球の追跡結果に基づいて境界の位置、方向及びサイズの少なくとも一つを変更し、左目用の表示画像及び右目用の表示画像を生成する。これにより、左目用及び右目用の一方の術野画像を用いた場合には、それら両方の術野画像を用いる場合に比べ、処理速度を向上させることができる。両方の術野画像を用いた場合には、それら一方の術野画像を用いる場合に比べ、境界の位置精度を向上させることができる。
　また、表示画像生成部１３ｆは、左目用の表示画像及び右目用の表示画像において、境界を同じ位置にする。これにより、術者が境界の位置を把握しやすくなるので、術前計画に沿った手術を精度高く実現することができる。
　また、表示画像生成部１３ｆは、特定位置、特定方向及び特定サイズの少なくとも一つを示すように、左目用の表示画像及び右目用の表示画像において、境界の位置、方向及びサイズの少なくとも一つが異なる表示画像を生成する。これにより、複数の境界で特定位置、特定方向及び特定サイズの少なくとも一つを示すことが可能となるので、術前計画に沿った手術を精度高く実現することができる。
　また、表示画像生成部１３ｆは、左目用の表示画像及び右目用の表示画像を含む三次元画像の所望定位の奥行き情報に基づいて左目用の表示画像及び右目用の表示画像をシフトさせ、三次元画像を生成する。これにより、術者が境界の位置をより把握しやすくなるので、術前計画に沿った手術を精度高く実現することができる。
　また、表示画像生成部１３ｆは、眼球トラッキング部１３ｅによる眼球のトラッキング（追跡）から眼球が外れた場合、眼球が外れる前の最後の表示画像を維持する。これにより、表示画像の消失による手術の中断を回避することが可能になるので、術前計画に沿った手術を精度高く実現することができる。
　また、表示画像生成部１３ｆは、時間周期に応じて、複数の領域のいずれか又は全ての表示態様を変える。これにより、周期的に、表示画像を原画に近づけたり、あるいは、表示画像の境界を目立たせたりできる。したがって、術者は原画や境界を確実に視認することが可能になるので、術前計画に沿った手術を精度高く実現することができる。
　また、表示画像生成部１３ｆは、境界が複数の特定位置を示す表示画像を生成する。これにより、より多くの特定位置を提示することが可能になるので、術前計画に沿った手術を精度高く実現することができる。
　また、表示画像生成部１３ｆは、眼球のサイズ変化に応じて、複数の領域のいずれか又は全てのサイズを変える。これにより、眼球のサイズに合わせて１つ又は複数の領域サイズを変更し、境界の位置やサイズ等を変えることが可能になるので、術前計画に沿った手術を精度高く実現することができる。
　また、表示画像生成部１３ｆは、時間周期に応じて、複数の領域のいずれか又は全てのサイズを変える。これにより、周期的に、１つ又は複数の領域サイズを変更し、境界の位置やサイズ等を変えることが可能になるので、術前計画に沿った手術を精度高く実現することができる。また、例えば、領域を小さくして表示画像を原画に近づけることができ、術者は原画を確実に視認することが可能になるので、術前計画に沿った手術を精度高く実現することができる。
　また、複数の領域の各々の表示態様は、複数の領域の各々の輝度の違いにより異なる。これにより、各領域の境界を容易に目立たせることが可能になる。したがって、術者は各領域の境界を視認しやすくなるので、術前計画に沿った手術を精度高く実現することができる。
　また、特定位置は、眼内レンズのトーリック軸配置位置であり、表示画像生成部１３ｆは、境界がトーリック軸配置位置を示すよう複数の領域の各々の輝度を変更する。これにより、トーリック軸配置位置を容易に目立たせることが可能になる。したがって、術者はトーリック軸配置位置を視認しやすくなるので、術前計画に沿った手術を精度高く実現することができる。
　また、特定位置は、眼内レンズのトーリック軸配置位置、鉗子挿入のための切開位置、水晶体前嚢切開の切開位置、眼軸位置、角膜輪部中心、瞳孔中心、術前瞳孔中心、視軸位置及び前嚢切開縁中心のいずれかである。これにより、各領域の境界で眼内レンズのトーリック軸配置位置、鉗子挿入のための切開位置、水晶体前嚢切開の切開位置、眼軸位置、角膜輪部中心、瞳孔中心、術前瞳孔中心、視軸位置及び前嚢切開縁中心のいずれかを目立たせることが可能になる。したがって、術者はそれらの特定位置を視認しやすくなるので、術前計画に沿った手術を精度高く実現することができる。
　また、表示画像生成部１３ｆは、眼球トラッキング部１３ｅによる眼球のトラッキング状況（追跡状況）に応じて、複数の領域のいずれか又は全ての表示態様を変える。これにより、眼球のトラッキング状況に応じて、表示画像を原画に近づけたり、あるいは、表示画像の境界を目立たせたりすることが可能になるので、術者は眼球のトラッキング状況（例えば、トラッキングの信頼度等）を把握することができる。
　＜２．コンピュータの概略構成の一例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図３０は、上述した一連の処理をプログラムにより実行するコンピュータ５００の概略構成の一例を示す図である。
　図３０に示すように、コンピュータ５００は、ＣＰＵ（Central　Processing　Unit）５１０と、ＲＯＭ（Read　Only　Memory）５２０と、ＲＡＭ（Random　Access　Memory）５３０とを有している。
　ＣＰＵ５１０、ＲＯＭ５２０及びＲＡＭ５３０は、バス５４０により相互に接続されている。このバス５４０には、さらに、入出力インターフェース５５０が接続されている。この入出力インターフェース５５０には、入力部５６０、出力部５７０、記録部５８０、通信部５９０及びドライブ６００が接続されている。
　入力部５６０は、キーボードやマウス、マイクロフォン、撮像素子等により構成されている。出力部５７０は、ディスプレイやスピーカ等により構成されている。記録部５８０は、ハードディスクや不揮発性のメモリ等により構成されている。通信部５９０は、ネットワークインターフェース等により構成されている。ドライブ６００は、磁気ディスクや光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体６１０を駆動する。
　以上のように構成されるコンピュータ５００では、ＣＰＵ５１０が、例えば、記録部５８０に記録されているプログラムを、入出力インターフェース５５０及びバス５４０を介して、ＲＡＭ５３０にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ５００、すなわちＣＰＵ５１０が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体６１０に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ５００では、プログラムは、リムーバブル記録媒体６１０をドライブ６００に装着することにより、入出力インターフェース５５０を介して、記録部５８０にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５９０で受信し、記録部５８０にインストールすることができる。その他、プログラムは、ＲＯＭ５２０や記録部５８０に、あらかじめインストールしておくことができる。
　なお、コンピュータ５００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述の処理の流れ（例えば、フローチャート）で説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　＜３．付記＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　患者の眼に対する術野画像を受領する画像入力部と、
　前記術野画像における眼球を追跡する眼球追跡部と、
　前記術野画像に対して表示態様が異なる複数の領域を設定し、前記複数の領域の境界が前記眼に対する特定位置、特定方向及び特定サイズの少なくとも一つを示す表示画像を生成する表示画像生成部と、
を備え、
　前記表示画像生成部は、
　前記眼球の追跡結果に基づいて前記複数の領域のいずれか又は全ての表示態様を変更し、前記境界の位置、方向及びサイズの少なくとも一つを変更する、
　画像処理装置。
（２）
　前記眼に対する術前計画に基づく術前画像及び指標の位置、方向及びサイズの少なくとも一つの情報を受領する術前計画受領部と、
　前記術前画像と術開始時の前記術野画像との比較により前記術開始時の前記術野画像に合わせて前記指標の位置、方向及びサイズの少なくとも一つの情報を変更し、前記術開始時の前記術野画像と、変更した前記指標の位置、方向及びサイズの少なくとも一つの情報とを蓄積する情報蓄積部と、
をさらに備える、
　上記（１）に記載の画像処理装置。
（３）
　前記眼球追跡部は、
　前記術開始時の前記術野画像と実時間の前記術野画像との比較により前記実時間の前記術野画像における前記眼球を追跡し、前記実時間の前記術野画像における前記眼球の位置、方向及びサイズの少なくとも一つの情報と、変更した前記指標の位置、方向及びサイズの少なくとも一つの情報との関係を示す関係情報を出力し、
　前記表示画像生成部は、
　変更した前記指標の位置、方向及びサイズの少なくとも一つの情報に基づいて前記境界を配置し、前記関係情報に基づいて前記術開始時の前記術野画像における前記眼球に対する前記境界の位置、方向及びサイズの少なくとも一つの変化を無くすように前記実時間の前記術野画像における前記境界の位置、方向及びサイズの少なくとも一つを変更し、前記表示画像を生成する、
　上記（２）に記載の画像処理装置。
（４）
　前記表示画像生成部は、
　前記眼球の追跡結果に基づいて前記境界の位置、方向及びサイズの少なくとも一つが変更されるよう前記複数の領域を座標変換により変更し、前記表示画像を生成する、
　上記（１）から（３）のいずれか一つに記載の画像処理装置。
（５）
　前記表示画像生成部は、
　前記眼球の追跡結果に基づいて前記境界を示す境界線を変更し、前記境界の位置、方向及びサイズの少なくとも一つを変更する、
　上記（１）から（３）のいずれか一つに記載の画像処理装置。
（６）
　前記表示画像生成部は、
　前記複数の領域の二つ以上に対し、同じ種類のパラメータを調整する処理を行う、
　上記（１）から（５）のいずれか一つに記載の画像処理装置。
（７）
　前記表示画像生成部は、
　前記複数の領域の二つ以上に対し、異なる種類のパラメータを調整する処理を行う、
　上記（１）から（６）のいずれか一つに記載の画像処理装置。
（８）
　前記表示画像生成部は、
　前記複数の領域のいずれか又は全てに対する処理の強さを前記境界から離れるほどに弱める、
　上記（１）から（７）のいずれか一つに記載の画像処理装置。
（９）
　前記表示画像生成部は、
　前記表示画像を立体視左目用の表示画像及び立体視右目用のいずれか一方の表示画像として生成する、もしくは、前記表示画像を立体視左目用の表示画像及び立体視右目用の表示画像としてそれぞれ生成する、
　上記（１）から（８）のいずれか一つに記載の画像処理装置。
（１０）
　前記眼球追跡部は、
　立体視左目用及び立体視右目用の一方又は両方の前記術野画像における前記眼球を追跡し、
　前記表示画像生成部は、
　立体視左目用及び立体視右目用の一方又は両方の前記眼球の追跡結果に基づいて前記境界の位置、方向及びサイズの少なくとも一つを変更し、前記立体視左目用の表示画像及び前記立体視右目用の表示画像を生成する、
　上記（９）に記載の画像処理装置。
（１１）
　前記表示画像生成部は、
　前記立体視左目用の表示画像及び前記立体視右目用の表示画像において、前記境界を同じ位置にする、
　上記（９）又は（１０）に記載の画像処理装置。
（１２）
　前記表示画像生成部は、
　前記特定位置、前記特定方向及び前記特定サイズの少なくとも一つを示すように、前記立体視左目用の表示画像及び前記立体視右目用の表示画像において、前記境界の位置、方向及びサイズの少なくとも一つが異なる前記表示画像を生成する、
　上記（９）又は（１０）に記載の画像処理装置。
（１３）
　前記表示画像生成部は、
　前記立体視左目用の表示画像及び前記立体視右目用の表示画像を含む三次元画像の所望定位の奥行き情報に基づいて前記立体視左目用の表示画像及び前記立体視右目用の表示画像をシフトさせ、前記三次元画像を生成する、
　上記（９）から（１２）のいずれか一つに記載の画像処理装置。
（１４）
　前記表示画像生成部は、
　前記眼球追跡部による前記眼球の追跡から前記眼球が外れた場合、前記眼球が外れる前の最後の前記表示画像を維持する、
　上記（１）から（１３）のいずれか一つに記載の画像処理装置。
（１５）
　前記表示画像生成部は、
　時間周期に応じて、前記複数の領域のいずれか又は全ての表示態様又はサイズを変える、
　上記（１）から（１４）のいずれか一つに記載の画像処理装置。
（１６）
　前記表示画像生成部は、
　前記境界が複数の前記特定位置を示す前記表示画像を生成する、
　上記（１）から（１５）のいずれか一つに記載の画像処理装置。
（１７）
　前記表示画像生成部は、
　前記眼球のサイズ変化に応じて、前記複数の領域のいずれか又は全てのサイズを変える、
　上記（１）から（１６）のいずれか一つに記載の画像処理装置。
（１８）
　前記表示画像生成部は、
　時間周期に応じて、前記複数の領域のいずれか又は全てのサイズを変える、
　上記（１）から（１７）のいずれか一つに記載の画像処理装置。
（１９）
　前記複数の領域の各々の前記表示態様は、前記複数の領域の各々の輝度の違いにより異なる、
　上記（１）から（１８）のいずれか一つに記載の画像処理装置。
（２０）
　前記特定位置は、眼内レンズのトーリック軸配置位置であり、
　前記表示画像生成部は、
　前記境界が前記トーリック軸配置位置を示すよう前記複数の領域の各々の輝度を変更する、
　上記（１９）に記載の画像処理装置。
（２１）
　前記特定位置は、眼内レンズのトーリック軸配置位置、鉗子挿入のための切開位置、水晶体前嚢切開の切開位置、眼軸位置、角膜輪部中心、瞳孔中心、術前瞳孔中心、視軸位置及び前嚢切開縁中心のいずれかである、
　上記（１）から（２０）のいずれか一つに記載の画像処理装置。
（２２）
　画像処理装置が、
　患者の眼に対する術野画像を受領し、
　前記術野画像における眼球を追跡し、
　前記術野画像に対して表示態様が異なる複数の領域を設定し、前記複数の領域の境界が前記眼に対する特定位置、特定方向及び特定サイズの少なくとも一つを示す表示画像を生成する、
ことを含み、
　前記画像処理装置は、
　前記眼球の追跡結果に基づいて前記複数の領域のいずれか又は全ての表示態様を変更し、前記境界の位置、方向及びサイズの少なくとも一つを変更する、
　画像処理方法。
（２３）
　患者の眼に対する術野画像を得る手術顕微鏡と、
　表示画像を生成する画像処理装置と、
　前記表示画像を表示する表示装置と、
を備え、
　前記画像処理装置は、
　前記術野画像を受領する画像入力部と、
　前記術野画像における眼球を追跡する眼球追跡部と、
　前記術野画像に対して表示態様が異なる複数の領域を設定し、前記複数の領域の境界が前記眼に対する特定位置、特定方向及び特定サイズの少なくとも一つを示す前記表示画像を生成する表示画像生成部と、
を備え、
　前記表示画像生成部は、
　前記眼球の追跡結果に基づいて前記複数の領域のいずれか又は全ての表示態様を変更し、前記境界の位置、方向及びサイズの少なくとも一つを変更する、
　手術顕微鏡システム。
（２４）
　上記（１）から（２１）のいずれか一つに記載の画像処理装置を用いる画像処理方法。
（２５）
　上記（１）から（２１）のいずれか一つに記載の画像処理装置を備える手術顕微鏡システム。
　１　　　手術顕微鏡システム
　１０　　手術顕微鏡
　１１　　対物レンズ
　１２　　接眼レンズ
　１３　　画像処理装置
　１３Ａ　制御部
　１３ａ　術前計画受領部
　１３ｂ　画像入力部
　１３ｃ　レジストレーション部
　１３ｄ　情報蓄積部
　１３ｅ　眼球トラッキング部（眼球追跡部）
　１３ｆ　表示画像生成部
　１４　　モニタ
　２０　　患者用ベッド
　５１　　光源
　５２　　観察光学系
　５２ａ　ハーフミラー
　５３　　正面画像撮影部
　５４　　断層画像撮影部
　５５　　提示部
　５６　　インターフェース部
　５７　　スピーカ
　５００　コンピュータ
　５１０　ＣＰＵ
　５２０　ＲＯＭ
　５３０　ＲＡＭ
　５４０　バス
　５５０　入出力インターフェース
　５６０　入力部
　５７０　出力部
　５８０　記録部
　５９０　通信部
　６００　ドライブ
　６１０　リムーバブル記録媒体

Claims (23)

  1. 　患者の眼に対する術野画像を受領する画像入力部と、
    　前記術野画像における眼球を追跡する眼球追跡部と、
    　前記術野画像に対して表示態様が異なる複数の領域を設定し、前記複数の領域の境界が前記眼に対する特定位置、特定方向及び特定サイズの少なくとも一つを示す表示画像を生成する表示画像生成部と、
    を備え、
    　前記表示画像生成部は、
    　前記眼球の追跡結果に基づいて前記複数の領域のいずれか又は全ての表示態様を変更し、前記境界の位置、方向及びサイズの少なくとも一つを変更する、
    　画像処理装置。
  2. 　前記眼に対する術前計画に基づく術前画像及び指標の位置、方向及びサイズの少なくとも一つの情報を受領する術前計画受領部と、
    　前記術前画像と術開始時の前記術野画像との比較により前記術開始時の前記術野画像に合わせて前記指標の位置、方向及びサイズの少なくとも一つの情報を変更し、前記術開始時の前記術野画像と、変更した前記指標の位置、方向及びサイズの少なくとも一つの情報とを蓄積する情報蓄積部と、
    をさらに備える、
    　請求項１に記載の画像処理装置。
  3. 　前記眼球追跡部は、
    　前記術開始時の前記術野画像と実時間の前記術野画像との比較により前記実時間の前記術野画像における前記眼球を追跡し、前記実時間の前記術野画像における前記眼球の位置、方向及びサイズの少なくとも一つの情報と、変更した前記指標の位置、方向及びサイズの少なくとも一つの情報との関係を示す関係情報を出力し、
    　前記表示画像生成部は、
    　変更した前記指標の位置、方向及びサイズの少なくとも一つの情報に基づいて前記境界を配置し、前記関係情報に基づいて前記術開始時の前記術野画像における前記眼球に対する前記境界の位置、方向及びサイズの少なくとも一つの変化を無くすように前記実時間の前記術野画像における前記境界の位置、方向及びサイズの少なくとも一つを変更し、前記表示画像を生成する、
    　請求項２に記載の画像処理装置。
  4. 　前記表示画像生成部は、
    　前記眼球の追跡結果に基づいて前記境界の位置、方向及びサイズの少なくとも一つが変更されるよう前記複数の領域を座標変換により変更し、前記表示画像を生成する、
    　請求項１に記載の画像処理装置。
  5. 　前記表示画像生成部は、
    　前記眼球の追跡結果に基づいて前記境界を示す境界線を変更し、前記境界の位置、方向及びサイズの少なくとも一つを変更する、
    　請求項１に記載の画像処理装置。
  6. 　前記表示画像生成部は、
    　前記複数の領域の二つ以上に対し、同じ種類のパラメータを調整する処理を行う、
    　請求項１に記載の画像処理装置。
  7. 　前記表示画像生成部は、
    　前記複数の領域の二つ以上に対し、異なる種類のパラメータを調整する処理を行う、
    　請求項１に記載の画像処理装置。
  8. 　前記表示画像生成部は、
    　前記複数の領域のいずれか又は全てに対する処理の強さを前記境界から離れるほどに弱める、
    　請求項１に記載の画像処理装置。
  9. 　前記表示画像生成部は、
    　前記表示画像を立体視左目用の表示画像及び立体視右目用のいずれか一方の表示画像として生成する、もしくは、前記表示画像を立体視左目用の表示画像及び立体視右目用の表示画像としてそれぞれ生成する、
    　請求項１に記載の画像処理装置。
  10. 　前記眼球追跡部は、
    　立体視左目用及び立体視右目用の一方又は両方の前記術野画像における前記眼球を追跡し、
    　前記表示画像生成部は、
    　立体視左目用及び立体視右目用の一方又は両方の前記眼球の追跡結果に基づいて前記境界の位置、方向及びサイズの少なくとも一つを変更し、前記立体視左目用の表示画像及び前記立体視右目用の表示画像を生成する、
    　請求項９に記載の画像処理装置。
  11. 　前記表示画像生成部は、
    　前記立体視左目用の表示画像及び前記立体視右目用の表示画像において、前記境界を同じ位置にする、
    　請求項９に記載の画像処理装置。
  12. 　前記表示画像生成部は、
    　前記特定位置、前記特定方向及び前記特定サイズの少なくとも一つを示すように、前記立体視左目用の表示画像及び前記立体視右目用の表示画像において、前記境界の位置、方向及びサイズの少なくとも一つが異なる前記表示画像を生成する、
    　請求項９に記載の画像処理装置。
  13. 　前記表示画像生成部は、
    　前記立体視左目用の表示画像及び前記立体視右目用の表示画像を含む三次元画像の所望定位の奥行き情報に基づいて前記立体視左目用の表示画像及び前記立体視右目用の表示画像をシフトさせ、前記三次元画像を生成する、
    　請求項９に記載の画像処理装置。
  14. 　前記表示画像生成部は、
    　前記眼球追跡部による前記眼球の追跡から前記眼球が外れた場合、前記眼球が外れる前の最後の前記表示画像を維持する、
    　請求項１に記載の画像処理装置。
  15. 　前記表示画像生成部は、
    　時間周期に応じて、前記複数の領域のいずれか又は全ての表示態様を変える、
    　請求項１に記載の画像処理装置。
  16. 　前記表示画像生成部は、
    　前記境界が複数の前記特定位置を示す前記表示画像を生成する、
    　請求項１に記載の画像処理装置。
  17. 　前記表示画像生成部は、
    　前記眼球のサイズ変化に応じて、前記複数の領域のいずれか又は全てのサイズを変える、
    　請求項１に記載の画像処理装置。
  18. 　前記表示画像生成部は、
    　時間周期に応じて、前記複数の領域のいずれか又は全てのサイズを変える、
    　請求項１に記載の画像処理装置。
  19. 　前記複数の領域の各々の前記表示態様は、前記複数の領域の各々の輝度の違いにより異なる、
    　請求項１に記載の画像処理装置。
  20. 　前記特定位置は、眼内レンズのトーリック軸配置位置であり、
    　前記表示画像生成部は、
    　前記境界が前記トーリック軸配置位置を示すよう前記複数の領域の各々の輝度を変更する、
    　請求項１９に記載の画像処理装置。
  21. 　前記特定位置は、眼内レンズのトーリック軸配置位置、鉗子挿入のための切開位置、水晶体前嚢切開の切開位置、眼軸位置、角膜輪部中心、瞳孔中心、術前瞳孔中心、視軸位置及び前嚢切開縁中心のいずれかである、
    　請求項１に記載の画像処理装置。
  22. 　画像処理装置が、
    　患者の眼に対する術野画像を受領し、
    　前記術野画像における眼球を追跡し、
    　前記術野画像に対して表示態様が異なる複数の領域を設定し、前記複数の領域の境界が前記眼に対する特定位置、特定方向及び特定サイズの少なくとも一つを示す表示画像を生成する、
    ことを含み、
    　前記画像処理装置は、
    　前記眼球の追跡結果に基づいて前記複数の領域のいずれか又は全ての表示態様を変更し、前記境界の位置、方向及びサイズの少なくとも一つを変更する、
    　画像処理方法。
  23. 　患者の眼に対する術野画像を得る手術顕微鏡と、
    　表示画像を生成する画像処理装置と、
    　前記表示画像を表示する表示装置と、
    を備え、
    　前記画像処理装置は、
    　前記術野画像を受領する画像入力部と、
    　前記術野画像における眼球を追跡する眼球追跡部と、
    　前記術野画像に対して表示態様が異なる複数の領域を設定し、前記複数の領域の境界が前記眼に対する特定位置、特定方向及び特定サイズの少なくとも一つを示す前記表示画像を生成する表示画像生成部と、
    を備え、
    　前記表示画像生成部は、
    　前記眼球の追跡結果に基づいて前記複数の領域のいずれか又は全ての表示態様を変更し、前記境界の位置、方向及びサイズの少なくとも一つを変更する、
    　手術顕微鏡システム。
PCT/JP2021/046453 2021-01-29 2021-12-16 画像処理装置、画像処理方法及び手術顕微鏡システム WO2022163189A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180091599.2A CN116744838A (zh) 2021-01-29 2021-12-16 图像处理装置、图像处理方法和手术显微镜系统
EP21923193.3A EP4275647A4 (en) 2021-01-29 2021-12-16 IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND SURGICAL MICROSCOPE SYSTEM
JP2022578131A JPWO2022163189A1 (ja) 2021-01-29 2021-12-16

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021-013641 2021-01-29
JP2021013641 2021-01-29
JP2021-031260 2021-02-26
JP2021031260 2021-02-26

Publications (1)

Publication Number Publication Date
WO2022163189A1 true WO2022163189A1 (ja) 2022-08-04

Family

ID=82654334

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/046453 WO2022163189A1 (ja) 2021-01-29 2021-12-16 画像処理装置、画像処理方法及び手術顕微鏡システム

Country Status (3)

Country Link
EP (1) EP4275647A4 (ja)
JP (1) JPWO2022163189A1 (ja)
WO (1) WO2022163189A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024057162A1 (en) * 2022-09-13 2024-03-21 Alcon Inc. Toric intraocular lens alignment guide

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002328294A (ja) * 2001-04-27 2002-11-15 Canon Inc 視線検出装置、視線検出機能付き機器及びカメラ
JP2008022928A (ja) * 2006-07-19 2008-02-07 Gifu Univ 画像解析装置及び画像解析プログラム
JP2012506272A (ja) * 2008-10-22 2012-03-15 ゼンゾモトリック インストルメンツ ゲゼルシャフト フュア イノベイティブ ゼンゾリク ミット ベシュレンクテル ハフツング コンピューター支援眼部手術用の画像処理方法および装置
JP2016112358A (ja) 2014-12-18 2016-06-23 ソニー株式会社 情報処理装置、手術顕微鏡システム及び情報処理方法
JP2016214781A (ja) * 2015-05-26 2016-12-22 ソニー株式会社 手術システム、並びに画像処理装置および方法
JP2018051208A (ja) * 2016-09-30 2018-04-05 株式会社ニデック 眼科情報処理装置、眼科情報処理プログラム、および眼科情報処理システム
JP2019502415A (ja) * 2015-10-16 2019-01-31 ノバルティス アーゲー ライトフィールド顕微鏡法を用いる眼科手術

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018105411A1 (ja) * 2016-12-06 2018-06-14 ソニー株式会社 画像処理装置および方法、並びに手術顕微鏡システム
US11147636B2 (en) * 2017-10-04 2021-10-19 Alcon Inc. Surgical suite integration and optimization

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002328294A (ja) * 2001-04-27 2002-11-15 Canon Inc 視線検出装置、視線検出機能付き機器及びカメラ
JP2008022928A (ja) * 2006-07-19 2008-02-07 Gifu Univ 画像解析装置及び画像解析プログラム
JP2012506272A (ja) * 2008-10-22 2012-03-15 ゼンゾモトリック インストルメンツ ゲゼルシャフト フュア イノベイティブ ゼンゾリク ミット ベシュレンクテル ハフツング コンピューター支援眼部手術用の画像処理方法および装置
JP2016112358A (ja) 2014-12-18 2016-06-23 ソニー株式会社 情報処理装置、手術顕微鏡システム及び情報処理方法
JP2016214781A (ja) * 2015-05-26 2016-12-22 ソニー株式会社 手術システム、並びに画像処理装置および方法
JP2019502415A (ja) * 2015-10-16 2019-01-31 ノバルティス アーゲー ライトフィールド顕微鏡法を用いる眼科手術
JP2018051208A (ja) * 2016-09-30 2018-04-05 株式会社ニデック 眼科情報処理装置、眼科情報処理プログラム、および眼科情報処理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4275647A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024057162A1 (en) * 2022-09-13 2024-03-21 Alcon Inc. Toric intraocular lens alignment guide

Also Published As

Publication number Publication date
JPWO2022163189A1 (ja) 2022-08-04
EP4275647A1 (en) 2023-11-15
EP4275647A4 (en) 2024-06-12

Similar Documents

Publication Publication Date Title
US10073515B2 (en) Surgical navigation system and method
CN107111122B (zh) 眼科手术中的放大及相关联设备、系统和方法
JP5511516B2 (ja) 眼科装置
US11931292B2 (en) System and method for improved electronic assisted medical procedures
WO2017094343A1 (ja) 視線検出装置及び視線検出方法
EP2755548B1 (en) Determination of the azimuthal orientation of a patient's eye
WO2017094344A1 (ja) 視線検出装置及び視線検出方法
JP2022184979A (ja) 眼科装置
WO2022163189A1 (ja) 画像処理装置、画像処理方法及び手術顕微鏡システム
WO2022181194A1 (ja) 画像処理装置、画像処理方法及び手術顕微鏡システム
EP3984016A1 (en) Systems and methods for superimposing virtual image on real-time image
JP6880606B2 (ja) 眼科用手術顕微鏡
JP5570673B2 (ja) 眼科装置
US20130050645A1 (en) Microscope for ophthalmologic surgery
US20230071841A1 (en) System and method for improved electronic assisted medical procedures
CN116744838A (zh) 图像处理装置、图像处理方法和手术显微镜系统
WO2022091428A1 (ja) 眼科観察装置、その制御方法、プログラム、及び記録媒体
WO2022163188A1 (ja) 画像処理装置、画像処理方法及び手術顕微鏡システム
WO2022163383A1 (ja) 画像処理装置、画像処理方法及び手術顕微鏡システム
WO2022163190A1 (ja) 画像処理装置、画像処理方法及び手術顕微鏡システム
JP2022543271A (ja) 硝子体網膜手術用の適応光学システム及び方法
WO2023047626A1 (ja) 画像処理装置、画像処理方法及び手術顕微鏡システム
JP7535785B2 (ja) 眼科装置
US20220148165A1 (en) Surgical microscope system, image processing method, program, and image processing device
WO2022163362A1 (ja) 画像処理装置、画像処理方法及び手術顕微鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21923193

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022578131

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18261270

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202180091599.2

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2021923193

Country of ref document: EP

Effective date: 20230810

NENP Non-entry into the national phase

Ref country code: DE