WO2019012881A1 - 画像処理装置、眼科用観察装置及び眼科用観察システム - Google Patents

画像処理装置、眼科用観察装置及び眼科用観察システム Download PDF

Info

Publication number
WO2019012881A1
WO2019012881A1 PCT/JP2018/022052 JP2018022052W WO2019012881A1 WO 2019012881 A1 WO2019012881 A1 WO 2019012881A1 JP 2018022052 W JP2018022052 W JP 2018022052W WO 2019012881 A1 WO2019012881 A1 WO 2019012881A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
area
image processing
processing apparatus
front lens
Prior art date
Application number
PCT/JP2018/022052
Other languages
English (en)
French (fr)
Inventor
潤一郎 榎
竜己 坂口
大月　知之
芳男 相馬
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2019528996A priority Critical patent/JP7092131B2/ja
Priority to US16/628,264 priority patent/US20200175656A1/en
Priority to EP18832464.4A priority patent/EP3653107A4/en
Publication of WO2019012881A1 publication Critical patent/WO2019012881A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/117—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for examining the anterior chamber or the anterior chamber angle, e.g. gonioscopes
    • G06T5/80—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13—Ophthalmic microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Definitions

  • the present technology relates to an image processing apparatus used for ophthalmic surgery, an ophthalmic observation apparatus, and an ophthalmic observation system.
  • Observation from the front of the eye is widely performed in ophthalmologic diagnosis and surgical treatment. Especially in glaucoma diseases, observation of the anterior chamber angle at the root of the iris and at the root of the cornea has also been emphasized in diagnosis.
  • MIGS minimally invasive glaucoma surgery
  • Patent Document 1 proposes a corner mirror which can check the entire corner angle using a concave lens.
  • an object of the present technology is to provide an image processing device, an ophthalmic observation device, and an ophthalmic observation system suitable for eye observation.
  • an image processing apparatus includes an image generation unit.
  • the image generation unit generates a display image by inverting a reversed region, which is an image region in which an image is reversed by the front lens, in a captured image captured through the front lens attached to the eye .
  • the image processing apparatus may further include an area detection unit that detects the inverted area in the captured image.
  • the image generation unit may invert the inversion area centering on a center of the inversion area.
  • the image generation unit may generate the display image by inverting the inversion area and combining the inversion area with a non-inversion area which is an image area in which an image is not inverted by the front lens in the captured image.
  • the front lens is a direct-viewing front lens including a concave lens in contact with the cornea and a convex lens that refracts light emitted from the concave lens toward the front of the eye, and the reversal area is circular.
  • the non-inversion region may surround the periphery of the inversion region.
  • the image generation unit may combine the inversion region and the non-inversion region by inverting the inversion region and matching the outer periphery of the inversion region and the inner periphery of the non-inversion region.
  • the front lens is a reflection type front lens including a convex lens in contact with the cornea, and a mirror disposed circumferentially around the convex lens and reflecting light emitted from the convex lens toward the front of the eye.
  • the inversion area may be a circumferential area, and the non-inversion area may include a central area surrounded by the inversion area and an outer peripheral area surrounding the inversion area.
  • the image generation unit detects an area including an image of the central area in the inversion area as an unnecessary area, deletes the unnecessary area, inverts to the inversion area, and reverses the inner circumference of the inversion area and the inversion.
  • the inversion area, the central area, and the outer circumference area may be combined by matching the outer circumference of the central area and matching the outer circumference of the inverted inversion area with the inner circumference of the outer circumference area.
  • a mode determination unit that detects that the front lens is included in the captured image, selects a correction mode that corrects image inversion by the front lens, and notifies the region detection unit and the image generation unit
  • the area detection unit may detect the inversion area when the correction mode is selected by the mode determination unit.
  • the mode determination unit may detect the front lens by object recognition processing on the captured image.
  • the mode determination unit may detect the front lens by detecting a marker attached to the front lens in the captured image.
  • the area detection unit may detect the reverse area by object recognition processing on the captured image.
  • the area detection unit may detect the inverted area using a difference in texture due to the structure of the eye in the captured image.
  • the area detection unit may detect the inverted area by edge detection processing on the captured image.
  • the area detection unit may detect the reversal area based on a difference between the captured image and an image of an eye captured without the front lens attached.
  • the area detection unit may detect the reverse area using depth information extracted from parallax information obtained from the captured image.
  • the captured image is composed of a plurality of images captured for each predetermined imaging range
  • the image generation unit may invert the positions and orientations of the plurality of images to generate the display image.
  • an ophthalmic observation apparatus includes a front lens and an image processing apparatus.
  • the pre-lens is worn on the eye and reverses the image.
  • the image processing apparatus is configured to generate an image generation unit that inverts a reverse region which is an image region in which an image is reversed by the front lens in a captured image captured through the front lens. Prepare.
  • the front lens may be a corner mirror.
  • an ophthalmologic observation system includes a front lens, a microscope, a microscope control input unit, an imaging device, an image processing device, and a microscope control unit.
  • the pre-lens is worn on the eye and reverses the image.
  • the microscope magnifies the light emitted from the front lens.
  • the microscope control input unit receives an operation input from a user and generates an input signal.
  • the imaging device is connected to the microscope and captures a captured image through the front lens and the microscope.
  • the image processing apparatus includes an image generation unit that inverts a reversed region which is an image region in which an image is reversed by the front lens in the captured image, and generates a display image.
  • the microscope control unit inverts the input signal to control the microscope when the image generation unit inverts the inversion region.
  • an image processing device As described above, according to the present technology, it is possible to provide an image processing device, an ophthalmologic observation device, and an ophthalmologic observation system suitable for eye observation.
  • the effect described here is not necessarily limited, and may be any effect described in the present disclosure.
  • Fig. 1 is a block diagram showing a configuration of a vision ophthalmologic observation system according to a first embodiment of the present technology. It is a schematic diagram which shows the structure of the eye which is observation object of the observation system. It is a schematic diagram which shows the structure of the eye which is observation object of the observation system. It is a schematic diagram of the direct view type
  • FIG. 1 is a block diagram showing the configuration of an ophthalmologic observation system 100 according to the present embodiment.
  • the ophthalmologic observation system 100 includes a front lens 101, a microscope 102, an imaging device 103, an image processing device 104, a display device 105, a microscope control input unit 106, a microscope control unit 107, and a user input unit 108.
  • a front lens 101 a microscope 102
  • an imaging device 103 an image processing device 104
  • a display device 105 a microscope control input unit 106
  • microscope control unit 107 a microscope control unit 107
  • a user input unit 108 a user input unit
  • FIG. 2 and 3 are schematic views showing the structure of the eye 300 which is the observation object of the ophthalmologic observation system 100
  • FIG. 2 is a sectional view
  • FIG. 3 is a plan view seen from the front of the eye.
  • the eye 300 is composed of tissues such as the cornea 301, the iris 302 and the lens 303.
  • a pupil 304 is located between the irises 302 on the surface of the crystalline lens 303, and a corner 305 is located at the periphery of the cornea 301.
  • 2 and 3 show a surgical instrument T used for eye surgery.
  • the front lens 101 is a lens attached to the eye. 4 and 5 are schematic views showing the front lens 101.
  • FIG. The front lens 101 may be a direct-vision front lens shown in FIG. 4 (hereinafter referred to as a direct-view front lens 101A), and a reflection-type front lens shown in FIG. 5 (hereinafter referred to as a reflection front lens 101B). ) May be.
  • the direct-viewing type front lens 101 ⁇ / b> A is placed on the cornea 301 and is composed of a support member 111, a concave lens 112 and a convex lens 113.
  • the concave lens 112 is in contact with the cornea 301, and the convex lens 113 is provided apart from the concave lens 112.
  • FIG. 6 is a schematic view showing a light path in the direct-viewing type front lens 101A.
  • light (L1 in the figure) emitted from the peripheral portion of the iris 302 such as the corner angle 305 is inverted by the concave lens 112 and the convex lens 113, and is emitted toward the front of the eye.
  • light (L2 in the figure) emitted from the central portion of the iris 302 such as the pupil 304 is also inverted by the concave lens 112 and the convex lens 113, and is emitted toward the front of the eye.
  • FIG. 7 is a schematic view showing an image of an eye viewed through the direct-vision type front lens 101A.
  • an image of a corner 305 represented by the direct-vision type front lens 101A appears around the iris 302, and the image is inverted in a region inside the peripheral edge S of the direct-vision type front lens 101A. Do. Further, the image is magnified to a certain extent by the direct-vision type front lens 101A.
  • an area where the image is inverted is referred to as an inversion area R1, and an area where the image is not inverted is illustrated as a non-inversion area R2.
  • FIG. 8 is a schematic view showing only the reverse region R1.
  • the reflective pre-lens 101B is placed on the cornea 301, and is composed of a support member 121, a convex lens 122, and a mirror 123.
  • the convex lens 122 is disposed to abut on the cornea 301.
  • FIG. 9 is a schematic view showing the arrangement of the mirror 123, as viewed from the front of the eye. As shown in the figure, the mirror 123 is circumferentially arranged around the convex lens 122.
  • FIG. 10 is a schematic view showing the path of light in the reflective front lens 101B.
  • light (L1 in the figure) emitted from the peripheral portion of the iris 302 such as the corner angle 305 is refracted by the convex lens 122, reflected by the mirror 123 toward the front of the eye, and inverted.
  • light (L2 in the figure) emitted from the central portion of the iris 302 such as the pupil 304 is not reflected by the mirror 123, and is emitted without being inverted.
  • FIG. 11 is a schematic view showing an image of the eye viewed through the reflective front lens 101B. As shown in the figure, around the iris 302, an image of a corner 305 shown by the reflective pre-lens 101B is shown. Further, in a region in a certain range inside the peripheral edge S of the reflective front lens 101B, the image is inverted as indicated by the light L1.
  • inversion area R1 the area where the image is inverted
  • non-inversion area R2 the area where the image is not inverted
  • FIG. 12 is a schematic view showing only the reverse region R1. Since the mirrors 123 are circumferentially arranged, as shown in the figure, the reversal region R1 is also a circumferential region. Further, as shown in the image of the surgical instrument T, the image is gradually enlarged from the inner peripheral side to the outer peripheral side of the reverse region R1.
  • the non-inversion region R2 includes a central region R2A inside the inversion region R1 and an outer peripheral region R2B outside the inversion region R1.
  • the central region R2A is a region not reflected by the mirror 123 as indicated by the light L2, and the peripheral region 2B is a region outside the reflective front lens 101B.
  • FIG. 13 is a schematic view showing the relationship between the structure of the eye and the image produced by the reflective front lens 101B.
  • the reversal region R1 includes the image of the corner angle 305 reflected by the mirror 123, the iris 302 and the pupil 304. For this reason, the iris 302 and the pupil 304 appear in both the central region R2A and the reverse region R1.
  • the front lens 101 has the configuration as described above.
  • the front lens 101 may be fixed in direct or indirect positional relationship with the eye, as long as it partially inverts an image, and is typically a corner mirror for observing the corner 305.
  • the front lens 101 may be a wide view lens used in a wide view system for retina observation.
  • the microscope 102 magnifies the light emitted from the front lens 101 and makes the light enter the imaging device 103.
  • the microscope 102 can be an optical microscope having a general configuration. Further, the microscope 102 may be provided with two barrels for the left and right eyes. Preferably, the microscope 102 is capable of moving the field of view in the XY directions.
  • the microscope 102 is controlled by the microscope control unit 107 such as magnification and field of view.
  • the imaging device 103 is mounted on the microscope 102 and captures an image of the eye through the front lens 101 and the microscope 102.
  • An image captured by the imaging device 103 (hereinafter referred to as a captured image) is an image as shown in FIG. 3 when the front lens 101 is not mounted on the eye, and the front lens 101 is mounted on the eye The image is as shown in FIG. 7 or FIG.
  • the imaging device 103 outputs a captured image to the image processing device 104.
  • the image processing apparatus 104 performs image processing on the captured image output from the imaging apparatus 103 to generate a display image.
  • FIG. 14 is a schematic view showing a display image.
  • the image processing apparatus 104 inverts the reversal region R1 included in the captured image, and corrects it to the correct direction as shown in FIG. Details of this will be described later.
  • the image processing device 104 outputs the generated display image to the display device 105 for display.
  • the image processing apparatus 104 outputs, to the microscope control unit 107, information on the inversion, such as the presence or absence of the inversion, the range of the inversion region, and the like.
  • the display device 105 displays the display image output from the image processing device 104.
  • the display device 105 is a general display or a head mounted display. Further, the display device 105 may be a plurality of displays, for example, a display for surgical treatment and a display for an assistant.
  • the microscope control input unit 106 receives an operation input to the microscope 102 by the user.
  • the user can use the microscope control input unit 106 to perform operation input such as moving the field of view of the microscope 102 in the XY direction (hereinafter referred to as XY operation).
  • the microscope control input unit 106 is, for example, a foot switch.
  • the microscope control input unit 106 generates an input signal based on the user's operation, and supplies the input signal to the microscope control unit 107.
  • the microscope control unit 107 controls the microscope 102 based on the input signal supplied from the microscope control input unit 106.
  • the microscope control unit 107 can adjust the lens barrel position and the like of the microscope 102 according to the input signal, and move the field of view of the microscope 102.
  • the microscope control unit 107 acquires information on inversion from the image processing apparatus 104, and inverts the input signal supplied from the microscope control input unit 106 in the inversion region R1 when the inversion is performed.
  • the displayed image includes the image of the reversed eye, so the user looks as it is When trying to move the field of view in a desired direction, the field of view moves in the opposite direction. This causes confusion for the user.
  • the microscope control unit 107 inverts the input signal of the XY operation, the field of view of the microscope 102 is moved according to the user's intended XY operation, and the confusion of the user is resolved.
  • the user input unit 108 sets whether or not the above-described inversion processing of the input signal by the microscope control unit 107 is to be performed in accordance with a user's instruction.
  • FIG. 15 is a block diagram showing a functional configuration of the image processing apparatus 104.
  • the image processing apparatus 104 includes an image acquisition unit 141, a mode determination unit 142, an area detection unit 143, an image generation unit 144, and an image output unit 145.
  • the image acquisition unit 141 acquires a captured image from the imaging device 103.
  • the captured image when the direct-vision type front lens 101A is used is an image as shown in FIG. As described above, the captured image includes the reverse region R1 and the non-reverse region R2.
  • the image acquisition unit 141 supplies the acquired captured image to the mode determination unit 142.
  • the mode determination unit 142 determines the operation mode of the image processing apparatus 104. Specifically, the mode determination unit 142 selects one of a mode for correcting the influence of the front lens 101 (hereinafter, correction mode) and a normal mode (hereinafter, normal mode).
  • the mode determination unit 142 can determine the mode using the detection result of the front lens 101 included in the captured image.
  • the mode determination unit 142 can detect the front lens 101 by an object recognition technique that detects features of an image of the front lens 101 stored in a database in advance in a captured image. Alternatively, the mode determination unit 142 may detect the front lens 101 by detecting a marker attached to the front lens 101.
  • the mode determination unit 142 can select the correction mode when the front lens 101 is included in the captured image, and can select the normal mode when the front lens 101 is not included.
  • the mode determination unit 142 may determine the mode in accordance with the user's instruction input using the user input unit 108.
  • the mode determination unit 142 notifies the region detection unit 143 and the image generation unit 144 of the determined mode.
  • the area detection unit 143 detects the reverse area R1 in the captured image.
  • FIG. 16 is a schematic view showing the range of the reverse region R1 in the captured image G captured when the direct-vision type front lens 101A is mounted on the eye.
  • the area detection unit 143 can detect the reverse area R1 using the above-described object recognition.
  • the area detection unit 143 indicates that the outside of the front lens 101 is a white eye area, while the inside of the front lens 101 is different in color and texture from the white eyes as in the corner, the iris and the pupil.
  • the reversal region R1 can also be detected using this.
  • the area detection unit 143 can perform edge detection processing and detect an area inside the detected edge as the inversion area R1. is there.
  • the above detection method detects the reverse region R1 from one captured image, but the region detection unit 143 can also detect the reverse region R1 using a plurality of captured images. Specifically, the region detection unit 143 holds the captured image at the start of the operation without the front lens 101 attached, compares the captured image with the captured image including the front lens 101, and the difference is A large area may be detected as the inversion area R1.
  • the area detection unit 143 can extract depth information from the parallax information of the two captured images, and the head lens 101 can detect the reverse area R1 using the fact that it is in front of the eye.
  • the reversal area R1 may be detected by tracking the detected front lens 101.
  • the area detection unit 143 detects the inversion area R1 as described above.
  • the region detection unit 143 supplies the range of the detected reverse region R1 to the image generation unit 144.
  • the image generation unit 144 performs correction processing on the captured image to generate a display image.
  • FIG. 17 is a schematic view showing an aspect of the correction process by the image generation unit 144. As shown in FIG. First, as illustrated in FIG. 17A, the image generation unit 144 extracts the reverse region R1 in the captured image G. In the figure, R, L, U and D are symbols indicating the position in the reverse region R1.
  • the image generation unit 144 inverts the inversion region R1 so as to be point-symmetrical about the center of the inversion region R1. Furthermore, as shown in FIG. 17C, the image generation unit 144 combines the inversion region R1 and the non-inversion region R2 by matching the outer periphery of the inversion region R1 and the inner periphery of the non-inversion region R2. Do.
  • the image generation unit 144 can generate a display image in which the reversal is eliminated.
  • the image generation unit 144 supplies the generated display image to the image output unit 145.
  • the image output unit 145 outputs the display image to the display device 105 and causes the display device 105 to display the display image.
  • the image output unit 145 can display a display image viewed from the position of the surgeon on one display and a display image rotated on another display in accordance with the position of the assistant. This can provide a display image that is less likely to cause confusion for both the surgeon and the assistant.
  • the image acquisition unit 141 acquires a captured image from the imaging device 103.
  • a captured image when the reflective front lens 101B is used is an image as shown in FIG. As described above, the captured image includes the reverse region R1 and the non-reverse region R2.
  • the image acquisition unit 141 supplies the acquired captured image to the mode determination unit 142.
  • the mode determination unit 142 determines the operation mode of the image processing apparatus 104.
  • the mode determination unit 142 can determine the operation mode according to the detection result of the front lens 101 included in the captured image or the instruction by the user, as in the case of the direct-vision front lens 101A.
  • the mode determination unit 142 notifies the region detection unit 143 and the image generation unit 144 of the determined mode.
  • FIG. 18 is a schematic view showing a reverse region R1, a central region R2A and an outer peripheral region R2B in a captured image G captured when the reflective front lens 101B is mounted on the eye.
  • the region detection unit 143 detects the reverse region R1 and the central region R2A.
  • the area detection unit 143 can detect the reversal area R1 using object recognition, edge detection, differences of captured images, and the like, as in the case of the direct-vision type front lens 101A.
  • the region detection unit 143 can detect the region inside the detected reverse region R1 as the central region R2A.
  • FIG. 19 is a schematic view showing the unnecessary area R3 (hatched portion in the figure).
  • the unnecessary area R3 is an area which is also reflected in the central area R2A in the inversion area R1, and is an area corresponding to the iris 302 and the pupil 304 in the inversion area R1.
  • the area detection unit 143 can detect the unnecessary area R3 using the difference between the corner 305 and the color or texture of the iris 302. In addition, the area detection unit 143 can also detect the unnecessary area R3 by estimating a range to be the unnecessary area R3 from the tilt angle of the mirror 123 acquired in advance.
  • the region detection unit 143 can also include the region of the corner 305 in the unnecessary region R3 when the corner 305 is shifted to the periphery of the central region R2A.
  • the region detection unit 143 supplies the range of the detected reverse region R1, the central region R2A, and the unnecessary region R3 to the image generation unit 144.
  • the image generation unit 144 performs correction processing on the captured image to generate a display image.
  • 20 and 21 are schematic views showing an aspect of the correction process by the image generation unit 144.
  • the image generation unit 144 deletes the unnecessary region R3 in the reverse region R1.
  • the reverse region R1 from which the unnecessary region R3 is deleted is referred to as a reverse region R4.
  • the inner periphery of the reverse region R4 is shown as the inner periphery E1
  • the outer periphery of the reverse region R4 is shown as the outer periphery E2.
  • the image generation unit 144 inverts the reversal region R4 so as to be point symmetric with the center of the reversal region R4 as the center point.
  • the inner circumference E3 of the reversal area R4 corresponds to the outer circumference E2 before reversal
  • the outer circumference E4 of the reversal area R4 corresponds to the inner circumference E1 before reversal. That is, the image generation unit 144 performs keystone correction to invert the reverse region R4 so that the length of the inner periphery E1 matches the outer periphery E4 and the length of the outer periphery E2 matches the inner periphery E3. Further, when a part of the unnecessary area R3 exists in the central area R2A, the image generation unit 144 deletes this part.
  • the image generation unit 144 combines the inverted inversion region R4 with the non-inversion region R2 (the central region R2A and the outer peripheral region R2B). At this time, the image generation unit 144 enlarges the inversion region R4 or enlarges the central region R2A such that the inner periphery E3 of the inversion region R4 coincides with the outer periphery of the central region R2A. Further, the image generation unit 144 causes the outer circumference E4 of the reverse area R4 to coincide with the inner circumference of the outer circumference area.
  • the image generation unit 144 can generate a display image in which the reversal is eliminated.
  • the image generation unit 144 supplies the generated display image to the image output unit 145.
  • the image output unit 145 outputs the display image to the display device 105 and causes the display device 105 to display the display image. As described above, the image output unit 145 can rotate the display image according to the positional relationship between the surgeon and the assistant and display the image on the display.
  • FIG. 22 is a flowchart showing the operation of the image processing apparatus 104. As shown in the figure, first, the image acquisition unit 141 acquires a captured image (St101).
  • the mode determination unit 142 determines either the correction mode or the normal mode (St102). As described above, the mode determination unit 142 detects the front lens 101 in the captured image, or receives an instruction from the user to select the correction mode, and can otherwise select the normal mode.
  • the region detection unit 143 detects the reverse region R1 (St104). In addition, when the reflective front lens 101B is attached to the eye, the region detection unit 143 detects the central region R2A and the unnecessary region R3 in addition to the reversal region R1.
  • the image generation unit 144 performs correction and combination processing to generate a display image (St105).
  • the image generation unit 144 inverts the inversion region R1 and combines it with the non-inversion region R2. Further, in the case of the reflection-type front lens 101B, the image generation unit 144 eliminates the unnecessary area R3 and then inverts the inversion area R4 to combine it with the non-inversion area R2.
  • the image generation unit 144 uses the captured image as it is as a display image.
  • the image output unit 145 outputs the display image generated by the image generation unit 144 to the display device 105 (St106), and causes the display device 105 to display the display image.
  • the image output unit 145 can rotate the display image according to the positional relationship between the surgeon and the assistant.
  • the image processing apparatus 104 operates as described above. Since the image processing device 104 eliminates the image reversal by the front lens 101, the user can perform surgery without confusion.
  • the image processing device 104 causes the display device 105 to display a display image in which the image inversion by the front lens 101 has been eliminated.
  • the operator performs a procedure while looking at the displayed image, but when performing a detailed operation, he or she may want to magnify and observe. In the case where digital zoom is sufficient, it is necessary to cope with this, but if more magnification is desired, it is also necessary to translate the microscope 102 to an appropriate position in the XY direction and then optically magnify.
  • the microscope control unit 107 Since the display image is a corrected image, for example, when it is desired to view the upper left on the display device 105 in an enlarged manner, the microscope 102 itself needs to be moved to the lower right, which causes wrinkles. Therefore, when the microscope control unit 107 operates in the correction mode, confusion of the operator is achieved by inverting the XY operation signal obtained from the microscope control input unit 106 and the like and reflecting it on the movement of the microscope 102. It is possible to prevent
  • the optical system (the front lens 101 and the microscope 102) of the ophthalmologic observation system 100 is a simple optical system, it is possible to reduce the attenuation of light and cope with a low light amount. Furthermore, the operator can move the field of view of the microscope 102 without discomfort by inverting the operation signal of the microscope 102 in accordance with the cancellation of the image inversion.
  • FIG. 23 is a schematic view showing a hardware configuration of the image processing apparatus 104.
  • the image processing apparatus 104 has a CPU 1001, a GPU 1002, a memory 1003, a storage 1004, and an input / output unit (I / O) 1005 as a hardware configuration. These are connected to one another by a bus 1006.
  • a CPU (Central Processing Unit) 1001 controls other components in accordance with a program stored in the memory 003, performs data processing in accordance with the program, and stores processing results in the memory 1003.
  • the CPU 1001 can be a microprocessor.
  • a GPU (Graphic Processing Unit) 1002 executes image processing under control of the CPU 1001.
  • the GPU 1002 can be a microprocessor.
  • the memory 1003 stores programs and data executed by the CPU 1001.
  • the memory 1003 can be RAM (Random Access Memory).
  • the storage 1004 stores programs and data.
  • the storage 1004 can be a hard disk drive (HDD) or a solid state drive (SSD).
  • An input / output unit 1005 receives an input to the image processing apparatus 104, and supplies an output of the image processing apparatus 104 to the outside.
  • the input / output unit 1005 includes input devices such as a keyboard and a mouse, output devices such as a display, and connection interfaces such as a network.
  • the hardware configuration of the image processing apparatus 104 is not limited to that shown here as long as the functional configuration of the image processing apparatus 104 can be realized. Further, part or all of the hardware configuration may be present on the network.
  • FIG. 24 is a block diagram showing the configuration of an ophthalmologic observation system 200 according to the present embodiment.
  • the ophthalmologic observation system 200 includes a front lens 201, an imaging device 202, an image processing device 203, a display device 204, and a control input unit 205.
  • symbol same as 1st Embodiment (FIG.2 and FIG.3) is used.
  • the front lens 201 is a lens attached to the eye.
  • the imaging device 202 is incorporated in the front lens 201.
  • 25 to 28 are schematic views showing the configuration of the front lens 201 and the imaging device 202.
  • FIG. 1
  • the pre-lens 201 can be a reflective pre-lens or a direct-vision pre-lens as in the first embodiment.
  • a partial structure of the front lens is shown as the front lens 201.
  • the pre-lens 201 is mounted on the eye 300 and comprises a support member 211 and a convex lens 212.
  • the imaging device 202 can be a camera array in which a plurality of small cameras 213 are arranged.
  • FIG. 28 is a schematic view showing the arrangement of the small cameras 213, as viewed from the front of the eye.
  • the small cameras 213 can be arranged in a concentric array. Further, the arrangement of the small cameras 213 is not limited to such an arrangement, as long as the array of the small cameras 213 can capture the entire circumference of the convex lens 212.
  • the light L emitted from the eye passes through the convex lens 212 and is incident upon each of the small cameras 213 to be imaged.
  • the imaging device 202 is configured by a plurality of light collecting portions 214, optical fibers 215 respectively connected to the light collecting portions 214, and one camera 216 to which each optical fiber 215 is connected. It may be
  • the condensing unit 214 includes an arbitrary optical system such as a lens, and condenses incident light on the optical fiber 215.
  • the arrangement of the light collecting parts 214 can be the same as the arrangement of the small cameras 213 shown in FIG. 28, but any arrangement capable of imaging the entire circumference of the convex lens 212 may be used.
  • the light L emitted from the eye passes through the convex lens 212 and is incident on the respective light collecting portions 214.
  • the light incident on the respective light collecting portions 214 is guided to the camera 216 by the optical fiber 215 and imaged by the camera 216.
  • the imaging device 202 is configured by a plurality of light collecting portions 217, optical fibers 218 respectively connected to the light collecting portions 217, and a plurality of small cameras 219 to which the optical fibers 218 are respectively connected. It may be done.
  • the condensing unit 217 includes an arbitrary optical system such as a lens, and condenses incident light on the optical fiber 218.
  • the arrangement of the light collectors 217 can be the same as the arrangement of the small cameras 213 shown in FIG. 28, but any arrangement capable of imaging the entire circumference of the convex lens 212 may be used.
  • the light L emitted from the eye passes through the convex lens 212 and is incident on each of the focusing portions 217.
  • the light incident on the respective light collecting portions 217 is guided to the respective small cameras 219 by the optical fibers 218 and imaged by the small cameras 219.
  • FIG. 29 is a schematic view showing an image of an eye captured by the small camera 213.
  • each imaging range of the small camera 213 is shown as an imaging range H.
  • an entire image of the eye can be obtained.
  • the image of the corner 305 developed by the front lens 201 is reflected around the iris 302, and the image is inverted in the region inside the peripheral edge S of the front lens 201. Further, the image is enlarged to a certain extent by the front lens 201.
  • inversion area R1 an area where the image is inverted
  • non-inversion area R2 an area where the image is not inverted
  • the image of the eye captured by the small camera 219 is also the same image as the small camera 213. Further, in the case of the camera 216 (see FIG. 26), one image as shown in FIG. 29 is captured, and the light incident on each of the light collecting portions 214 becomes light in a range corresponding to each imaging range H.
  • the front lens 201 and the imaging device 202 have the configurations as described above.
  • the front lens 201 may be mounted on the eye so long as it partially inverts an image, and is typically a corner mirror for observing the corner 305.
  • the front lens 201 may be a wide view lens used in a wide view system for retina observation.
  • the image processing device 203 performs image processing on the captured image output from the imaging device 202 to generate a display image.
  • the image processing device 203 inverts the reversal region R1 included in the captured image and corrects it in the correct direction. Details of this will be described later.
  • the image processing device 203 outputs the generated display image to the display device 204 for display.
  • the display device 204 displays the display image output from the image processing device 203.
  • the display device 204 is a general display or a head mounted display.
  • the display device 204 may be a plurality of displays, for example, a display for an operator and a display for an assistant.
  • the control input unit 205 receives an operation input to the image processing apparatus 203 by the user.
  • the user can use the control input unit 205 to perform operation input such as designation of a display mode.
  • the control input unit 205 is, for example, a foot switch.
  • FIG. 30 is a block diagram showing a functional configuration of the image processing apparatus 203.
  • the image processing apparatus 203 includes a mode reception unit 231, an image acquisition unit 232, an image generation unit 233, and an image output unit 234.
  • the mode accepting unit 231 accepts an input of a display mode by the user.
  • the display mode includes information on magnification, three-dimensional effect and position in the XY direction (hereinafter referred to as XY position information).
  • XY position information information on magnification, three-dimensional effect and position in the XY direction.
  • the image acquisition unit 232 acquires a captured image as shown in FIG. 29 from the imaging device 202.
  • the image acquisition unit 232 supplies the acquired captured image to the image generation unit 233.
  • the image generation unit 233 corrects the captured image to generate a display image.
  • the image generation unit 233 calculates a surgical field range that is determined according to the enlargement factor and the XY position information defined in the display mode, and extracts a captured image of the imaging range H in which the surgical field range appears.
  • the image generation unit 233 changes the position and the orientation of the extracted captured image to perform panoramic combination.
  • FIG. 31 is a schematic view showing the change of the position and the orientation of the captured image by the image generation unit 233, in which the captured image of the imaging range H1 is reversed to the range H2. As shown in the figure, the image generation unit 233 changes the position and the orientation of the captured image so that the inversion of the inversion region R1 is cancelled.
  • FIG. 32 is a schematic view of a display image generated by the image generation unit 233.
  • the image generation unit 233 When an image of the entire eye is instructed in the display mode, the image generation unit 233 generates a display image using captured images of all the imaging ranges H as shown in FIG. 32 (a).
  • the image generation unit 233 displays the captured image of a part of the imaging range H as shown in FIG. Generate an image.
  • the image generation unit 233 can generate a display image in which the inversion of the inversion region R1 is eliminated.
  • the image generation unit 233 can also change the parallax by selecting the imaging range H so as to change the convergence, that is, generating a display image from the imaging ranges H separated from each other.
  • the image generation unit 233 supplies the generated display image to the image output unit 234.
  • the image output unit 234 outputs the display image to the display device 204 and causes the display device 204 to display the display image. As in the first embodiment, the image output unit 234 displays a display image viewed from the position of the surgeon on one display and a display image rotated on the other display according to the position of the assistant. Can.
  • FIG. 33 is a flowchart showing the operation of the image processing apparatus 203.
  • the mode receiving unit 231 receives an input of a display mode (St201). If the display mode has been changed (St201: No), the display mode is changed (St202). After the display mode is changed or when the display mode is not changed (St201: Yes), the image acquisition unit 232 acquires a captured image according to the display mode (St203).
  • the image generation unit 233 changes the direction and the position of the captured image for each imaging range H according to the display mode and combines them to generate a display image (St205).
  • the image output unit 234 outputs the display image to the display device 204 for display (St206).
  • the image processing apparatus 203 does not use an optical zoom to pick up a captured image, it can simultaneously present the enlarged display image and the entire display image of the eye, and the position of the region where the surgeon is expanding It is prevented from losing sight.
  • the image of the operative field is provided by image processing without using the optical zoom, it is possible to use the surgeon as a magnified image and the assistant as a whole image. .
  • the optical system (front lens 201) of the ophthalmologic observation system 200 is a simple optical system, it is possible to reduce the attenuation of light and to cope with a low light amount.
  • the ophthalmologic observation system 200 it is possible to simultaneously present the entire image and the enlarged view of the eye and to change the operative field instantly. Furthermore, in the ophthalmologic observation system 200, the parallax can be easily changed, the three-dimensional effect can be controlled, and it is also possible to present display images respectively suitable for the surgeon and the assistant.
  • the image processing apparatus 203 can be realized by the same hardware configuration as the image processing apparatus 104 according to the first embodiment.
  • the present technology can also be configured as follows.
  • the system includes an image generation unit that generates a display image by inverting a reverse area, which is an image area in which the image is inverted by the front lens.
  • Image processing device In a captured image captured through a front lens attached to an eye, the system includes an image generation unit that generates a display image by inverting a reverse area, which is an image area in which the image is inverted by the front lens.
  • An image processing apparatus further comprising: a region detection unit that detects the reversal region in the captured image
  • the image processing unit generates the display image by inverting the inversion area and combining the inversion area with a non-inversion area that is an image area in which an image is not inverted by the front lens in the captured image.
  • the front lens is a direct-view type front lens including a concave lens in contact with the cornea and a convex lens that refracts light emitted from the concave lens toward the front of the eye,
  • the image processing device wherein the inversion area is circular, and the non-inversion area surrounds the periphery of the inversion area.
  • the image processing unit combines the inversion area and the non-inversion area by inverting the inversion area and matching the outer circumference of the inversion area and the inner circumference of the non-inversion area.
  • the front lens is a reflection type front lens including a convex lens in contact with the cornea, and a mirror disposed circumferentially around the convex lens and reflecting light emitted from the convex lens toward the front of the eye.
  • the image processing apparatus wherein the inversion area is a circumferential area, and the non-inversion area includes a central area surrounded by the inversion area and an outer peripheral area surrounding the inversion area.
  • a mode determination unit that detects that the front lens is included in the captured image, selects a correction mode that corrects image inversion by the front lens, and notifies the region detection unit and the image generation unit Further equipped, The image processing apparatus according to claim 1, wherein the region detection unit detects the reverse region when the correction mode is selected by the mode determination unit.
  • the image processing apparatus according to any one of the above (2) to (12), The image processing apparatus according to claim 1, wherein the region detection unit detects the reverse region based on a difference between the captured image and an image of an eye captured in a state in which the front lens is not attached.
  • the image processing apparatus according to any one of (1) to (16) above,
  • the captured image is composed of a plurality of images captured for each predetermined imaging range,
  • the image processing unit generates the display image by inverting the positions and orientations of the plurality of images.
  • An image processing apparatus including an image generation unit that inverts a reverse region, which is an image region where the image is reversed by the front lens, in a captured image captured through the front lens; Ophthalmic observation device equipped.
  • the front lens is a corner mirror.

Abstract

【課題】眼の観察に適した画像処理装置、眼科用観察装置及び眼科用観察システムを提供すること。 【解決手段】本技術に係る画像処理装置は、画像生成部を具備する。上記画像生成部は、眼に装着された前置レンズを介して撮像された撮像画像において、上記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する。

Description

画像処理装置、眼科用観察装置及び眼科用観察システム
　本技術は、眼科手術に利用される画像処理装置、眼科用観察装置及び眼科用観察システムに関する。
　眼科の診断や手術治療において眼球の正面側からの観察というのは広く行われている。特に緑内障疾患においては、虹彩の根本と角膜の根本にある前房隅角の観察は診断においても重要視されてきた。
　近年では、ＭＩＧＳ（minimally invasive glaucoma surgery）といわれる超低侵襲な緑内障手術でも治療時にこの隅角を直接観察しながら手術するということが行われている。しかしながら、前房隅角からの光は角膜により全反射されるため、そのままでは観察が困難である。
　このため、隅角鏡と呼ばれるコンタクトレンズと手術顕微鏡やスリットランプを組み合わせて観察することが一般的である。だが、大半の隅角鏡は視野が狭いため、観察したい位置を見るためには隅角鏡と顕微鏡の双方を観察対象に合わせて適切に位置合わせする必要がある。この問題に対応するため、特許文献１では凹レンズを用いた隅角全周を確認できる隅角鏡が提案されている。
特表２０００－５０４２５１号公報
　しかしながら、特許文献１に記載の隅角鏡では、凹レンズを用いることによって術野の反転が発生し、術者にとって混乱が引き起こされる。これを防ぐためにはさらにレンズやミラーを複数組み合わせることが必要となり、減衰などのロスが生じやすくなってしまう。
　また、レンズを用いて作られた像を観察するため、任意の位置を拡大する場合には光学顕微鏡を適切に操作する手間が生じる。特に術野が反転している場合には、操作の方向と術野が食い違うため混乱も生じやすくなる。
　以上のような事情に鑑み、本技術の目的は、眼の観察に適した画像処理装置、眼科用観察装置及び眼科用観察システムを提供することにある。
　上記目的を達成するため、本技術の一形態に係る画像処理装置は、画像生成部を具備する。
　上記画像生成部は、眼に装着された前置レンズを介して撮像された撮像画像において、上記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する。
　この構成によれば、前置レンズによる像の反転が画像処理によって解消するため、前置レンズを利用することによる施術者の混乱を防止することが可能となる。
　上記画像処理装置は、上記撮像画像において上記反転領域を検出する領域検出部をさらに具備してもよい。
　上記画像生成部は、上記反転領域の中心を中心点として上記反転領域を反転させてもよい。
　上記画像生成部は、上記反転領域を反転させ、上記撮像画像において上記前置レンズによって像が反転していない画像領域である非反転領域と合成することによって上記表示画像を生成してもよい。
　上記前置レンズは、角膜に当接する凹レンズと、上記凹レンズから出射された光を眼の正面方向に向けて屈折させる凸レンズとを備える直視型前置レンズであり、上記反転領域は円形であり、上記非反転領域は上記反転領域の周囲を囲んでもよい。
　上記画像生成部は、上記反転領域を反転させ、反転させた上記反転領域の外周と上記非反転領域の内周を一致させることによって上記反転領域と上記非反転領域とを合成してもよい。
　上記前置レンズは、角膜に当接する凸レンズと、上記凸レンズの周囲に円周状に配置され、上記凸レンズから出射された光を眼の正面方向に向けて反射させるミラーとを備える反射型前置レンズであり、上記反転領域は円周状領域であり、上記非反転領域は上記反転領域に囲まれた中央領域と上記反転領域を囲む外周領域とを含んでもよい。
　上記画像生成部は、上記反転領域において上記中央領域の像を含む領域を不要領域として検出し、上記不要領域を削除して上記反転領域に反転させ、反転させた上記反転領域の内周と上記中央領域の外周を一致させ、反転させた上記反転領域の外周と上記外周領域の内周を一致させることによって上記反転領域、上記中央領域及び上記外周領域を合成してもよい。
　上記撮像画像に上記前置レンズが含まれていることを検出して上記前置レンズによる像の反転を補正する補正モードを選択し、上記領域検出部及び上記画像生成部に通知するモード決定部をさらに具備し、上記領域検出部は、上記モード決定部によって上記補正モードが選択された場合に上記反転領域を検出してもよい。
　上記モード決定部は、上記撮像画像に対する物体認識処理によって上記前置レンズを検出してもよい。
　上記モード決定部は、上記撮像画像において上記前置レンズに付されたマーカーを検出することによって上記前置レンズを検出してもよい。
　上記領域検出部は、上記撮像画像に対する物体認識処理によって上記反転領域を検出してもよい。
　上記領域検出部は、上記撮像画像における眼の構造によるテクスチャの違いを利用して上記反転領域を検出してもよい。
　上記領域検出部は、上記撮像画像に対するエッジ検出処理によって上記反転領域を検出してもよい。
　上記領域検出部は、上記撮像画像と上記前置レンズが装着されていない状態で撮像された眼の画像の差分に基づいて上記反転領域を検出してもよい。
　上記領域検出部は、上記撮像画像から得られる視差情報から抽出されるデプス情報を利用して上記反転領域を検出してもよい。
　上記撮像画像は、所定の撮像範囲毎に撮像された複数の画像から構成され、
　上記画像生成部は、上記複数の画像の位置及び向きを反転させて上記表示画像を生成してもよい。
　上記目的を達成するため、本技術の一形態に係る眼科用観察装置は、前置レンズと、画像処理装置とを具備する。
　上記前置レンズは、眼に装着され、像を反転させる。
　上記画像処理装置は、上記前置レンズを介して撮像された撮像画像において、上記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する画像生成部を備える。
　上記前置レンズは隅角鏡であってもよい。
上記目的を達成するため、本技術の一形態に係る眼科用観察システムは、前置レンズと、顕微鏡と、顕微鏡制御入力部と、撮像装置と、画像処理装置と、顕微鏡制御部とを具備する。
　上記前置レンズは、眼に装着され、像を反転させる。
　上記顕微鏡は、上記前置レンズの出射光を拡大する。
　上記顕微鏡制御入力部は、ユーザによる操作入力を受け付けて入力信号を生成する。
　上記撮像装置は、上記顕微鏡に接続され、上記前置レンズ及び上記顕微鏡を介して撮像画像を撮像する。
　上記画像処理装置は、上記撮像画像において、上記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する画像生成部を備える。
　上記顕微鏡制御部は、上記画像生成部が上記反転領域を反転させると、上記入力信号を反転させて上記顕微鏡を制御する。
　以上のように、本技術によれば、眼の観察に適した画像処理装置、眼科用観察装置及び眼科用観察システムを提供することが可能である。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施形態に係る画眼科用観察システムの構成を示すブロック図である。 同観察システムの観察対象である眼の構造を示す模式図である。 同観察システムの観察対象である眼の構造を示す模式図である。 同観察システムが備える直視型前置レンズの模式図である。 同観察システムが備える反射型前置レンズの模式図である。 同観察システムが備える直視型前置レンズにおける光の経路を示す模式図である。 同観察システムが備える直視型前置レンズによって形成される眼の像を示す模式図である。 同観察システムが備える直視型前置レンズによって形成される眼の像の反転領域を示す模式図である。 同観察システムが備える反射型前置レンズのミラーの配置を示す模式図である。 同観察システムが備える反射型前置レンズにおける光の経路を示す模式図である。 同観察システムが備える反射型前置レンズによって形成される眼の像を示す模式図である。 同観察システムが備える反射型前置レンズによって形成される眼の像の反転領域を示す模式図である。 同観察システムが備える反射型前置レンズによって形成される眼の像と眼の部位の位置関係を示す模式図である。 同観察システムが備える画像処理装置によって生成される表示画像を示す模式図である。 同観察システムが備える画像処理装置の機能的構成を示すブロック図である。 同観察システムが備える画像処理装置の領域検出部によって検出される反転領域を示す模式図である。 同観察システムが備える画像処理装置の画像生成部による表示画像の生成を示す模式図である。 同観察システムが備える画像処理装置の領域検出部によって検出される反転領域を示す模式図である。 同観察システムが備える画像処理装置の領域検出部によって検出される不要領域を示す模式図である。 同観察システムが備える画像処理装置の画像生成部による表示画像の生成を示す模式図である。 同観察システムが備える画像処理装置の画像生成部による表示画像の生成を示す模式図である。 同観察システムが備える画像処理装置の動作を示すフローチャートである。 同観察システムが備える画像処理装置のハードウェア構成を示すブロック図である。 本技術の第２の実施形態に係る画眼科用観察システムの構成を示すブロック図である。 同観察システムが備える前置レンズ及び撮像装置の構成を示す模式図である。 同観察システムが備える前置レンズ及び撮像装置の構成を示す模式図である。 同用観察システムが備える前置レンズ及び撮像装置の構成を示す模式図である。 同観察システムが備える撮像装置の小型カメラの配置を示す模式図である。 観察システムが備える撮像装置によって撮像される撮像画像の撮像範囲を示す模式図である。 同観察システムが備える画像処理装置の機能的構成を示すブロック図である。 同観察システムが備える画像処理装置による表示画像の生成を示す模式図である。 同観察システムが備える画像処理装置によって生成される表示画像の模式図である。 同観察システムが備える画像処理装置の動作を示すフローチャートである。
　（第１の実施形態）
　本技術の第１の実施形態に係る眼科用観察システムについて説明する。
　［眼科用観察システムの構成］
　図１は本実施形態に係る眼科用観察システム１００の構成を示すブロック図である。同図に示すように眼科用観察システム１００は、前置レンズ１０１、顕微鏡１０２、撮像装置１０３、画像処理装置１０４、表示装置１０５、顕微鏡制御入力部１０６、顕微鏡制御部１０７及びユーザ入力部１０８を備える。
　図２及び図３は眼科用観察システム１００の観察対象である眼３００の構造を示す模式図であり、図２は断面図、図３は眼の正面方向からみた平面図である。これらの図に示すように、眼３００は角膜３０１、虹彩３０２及び水晶体３０３等の組織で構成されている。水晶体３０３の表面において虹彩３０２の間が瞳孔３０４であり、角膜３０１の周縁には隅角３０５が位置する。また、図２及び図３には眼の手術に用いられる術具Ｔを示す。
　前置レンズ１０１は、眼に装着されるレンズである。図４及び図５は、前置レンズ１０１を示す模式図である。前置レンズ１０１は図４に示す直視型の前置レンズ（以下、直視型前置レンズ１０１Ａ）であってもよく、図５に示す反射型の前置レンズ（以下、反射型前置レンズ１０１Ｂ）であってもよい。
　図４に示すように、直視型前置レンズ１０１Ａは角膜３０１上に載置され、支持部材１１１、凹レンズ１１２及び凸レンズ１１３から構成されている。凹レンズ１１２は角膜３０１に当接し、凸レンズ１１３は凹レンズ１１２から離間して設けられている。
　図６は、直視型前置レンズ１０１Ａにおける光の経路を示す模式図である。同図に示すように、隅角３０５等の虹彩３０２の周縁部から出射された光（図中、Ｌ１）は凹レンズ１１２及び凸レンズ１１３によって反転し、眼の正面方向に向かって出射する。また、瞳孔３０４等の虹彩３０２の中央部から出射された光（図中、Ｌ２）もまた、凹レンズ１１２及び凸レンズ１１３によって反転し、眼の正面方向に向かって出射する。
　図７は、直視型前置レンズ１０１Ａを介してみた眼の像を示す模式図である。同図に示すように、虹彩３０２の周囲には、直視型前置レンズ１０１Ａによって現された隅角３０５の像が映ると共に、直視型前置レンズ１０１Ａの周縁Ｓより内側の領域では像が反転する。また、直視型前置レンズ１０１Ａによって像は一定程度拡大される。図７において像が反転する領域を反転領域Ｒ１とし、像が反転しない領域を非反転領域Ｒ２として示す。図８は反転領域Ｒ１のみを示す模式図である。
　図５に示すように反射型前置レンズ１０１Ｂは、角膜３０１上に載置され、支持部材１２１、凸レンズ１２２及びミラー１２３から構成されている。凸レンズ１２２は角膜３０１に当接するように配置される。図９は、ミラー１２３の配置を示す模式図であり、眼の正面方向からみた図である。同図に示すようにミラー１２３は、凸レンズ１２２の周囲において円周状に配置されている。
　図１０は、反射型前置レンズ１０１Ｂにおける光の経路を示す模式図である。同図に示すように、隅角３０５等の虹彩３０２の周縁部から出射された光（図中、Ｌ１）は凸レンズ１２２によって屈折し、ミラー１２３によって眼の正面方向に向かって反射され、反転して出射する。また、瞳孔３０４等の虹彩３０２の中央部から出射された光（図中、Ｌ２）はミラー１２３によって反射されず、反転せずに出射する。
　図１１は、反射型前置レンズ１０１Ｂを介してみた眼の像を示す模式図である。同図に示すように、虹彩３０２の周囲には、反射型前置レンズ１０１Ｂによって現された隅角３０５の像が映る。また、反射型前置レンズ１０１Ｂの周縁Ｓより内側の一定範囲の領域では上記光Ｌ１で示すように像が反転する。以下、この像が反転する領域を反転領域Ｒ１とし、像が反転しない領域を非反転領域Ｒ２とする。
　図１２は反転領域Ｒ１のみを示す模式図である。ミラー１２３が円周状に配置されているため、同図に示すように反転領域Ｒ１も円周状の領域となる。また、術具Ｔの像に示すように、反転領域Ｒ１の内周側から外周側にかけて像が次第に拡大される。
　また図１１に示すように非反転領域Ｒ２は、反転領域Ｒ１の内側の中央領域Ｒ２Ａと反転領域Ｒ１の外側の外周領域Ｒ２Ｂを含む。中央領域Ｒ２Ａは上記光Ｌ２で示すようにミラー１２３によって反射されていない領域であり、周縁領域２Ｂは反射型前置レンズ１０１Ｂの外側の領域である。
　図１３は、眼の構造と反射型前置レンズ１０１Ｂによって生じる像の関係を示す模式図である。同図に示すように、反転領域Ｒ１には、ミラー１２３によって反射された隅角３０５、虹彩３０２及び瞳孔３０４の像が含まれる。このため、虹彩３０２及び瞳孔３０４は中央領域Ｒ２Ａと反転領域Ｒ１の両方に映ることになる。
　前置レンズ１０１は以上のような構成を有する。前置レンズ１０１は直接的または間接的に眼との位置関係を固定され、像の一部を反転させるものであればよく、典型的には隅角３０５を観察するための隅角鏡である。また、前置レンズ１０１は網膜観察のためのワイドビューシステムに利用されるワイドビューレンズであってもよい。
　顕微鏡１０２は、前置レンズ１０１から出射された光を拡大し、撮像装置１０３に入射させる。顕微鏡１０２は一般的構成を有する光学顕微鏡とすることができる。また、顕微鏡１０２は、左右両眼用に二つの鏡筒が設けられたものであってもよい。顕微鏡１０２は視野をＸ－Ｙ方向に移動可能なものが好適である。顕微鏡１０２は、顕微鏡制御部１０７によって拡大倍率や視野範囲等の制御を受ける。
　撮像装置１０３は、顕微鏡１０２にマウントされ、前置レンズ１０１及び顕微鏡１０２を介して眼の画像を撮像する。撮像装置１０３が撮像する画像（以下、撮像画像）は、前置レンズ１０１が眼に装着されていない場合には図３に示すような画像となり、前置レンズ１０１が眼に装着されている場合には図７又は図１１に示すような画像となる。撮像装置１０３は撮像画像を画像処理装置１０４に出力する。
　画像処理装置１０４は、撮像装置１０３から出力された撮像画像に画像処理を施し、表示画像を生成する。図１４は表示画像を示す模式図である。画像処理装置１０４は撮像画像に前置レンズ１０１が含まれる場合、撮像画像に含まれる反転領域Ｒ１を反転させ、図１４に示すように正しい向きに補正する。この詳細については後述する。画像処理装置１０４は生成した表示画像を表示装置１０５に出力し、表示させる。また、画像処理装置１０４は、反転の有無や反転領域の範囲等といった反転に関する情報を顕微鏡制御部１０７に出力する。
　表示装置１０５は、画像処理装置１０４から出力された表示画像を表示する。表示装置１０５は一般的なディスプレイやヘッドマウントディスプレイである。また、表示装置１０５は複数のディスプレイであってもよく、例えば執刀医用のディスプレイと補助者用のディスプレイとすることができる。
　顕微鏡制御入力部１０６は、ユーザによる顕微鏡１０２への操作入力を受け付ける。ユーザは顕微鏡制御入力部１０６を用いて顕微鏡１０２の視野をＸ－Ｙ方向において移動させる（以下、Ｘ－Ｙ操作）等の操作入力を行うことができる。顕微鏡制御入力部１０６は例えばフットスイッチである。顕微鏡制御入力部１０６は、ユーザの操作に基づいて入力信号を生成し、入力信号を顕微鏡制御部１０７に供給する。
　顕微鏡制御部１０７は、顕微鏡制御入力部１０６から供給された入力信号に基づいて顕微鏡１０２を制御する。顕微鏡制御部１０７は、入力信号に応じて顕微鏡１０２の鏡筒位置等を調整し、顕微鏡１０２の視野を移動させることができる。
　ここで、顕微鏡制御部１０７は、画像処理装置１０４から反転に関する情報を取得し、反転が実施されている場合、反転領域Ｒ１において顕微鏡制御入力部１０６から供給された入力信号を反転させる。
　上記のように画像処理装置１０４において反転領域Ｒ１の反転が実施されている場合においてユーザが視野を移動させる際、表示画像には反転した眼の像が含まれているため、そのままではユーザが見たい方向に視野を移動させようとすると、視野が反対方向に移動する。これにより、ユーザに混乱を引き起こす。
　これに対して顕微鏡制御部１０７がＸ－Ｙ操作の入力信号を反転させることにより、ユーザの意図するＸ－Ｙ操作にしたがって顕微鏡１０２の視野が移動し、ユーザの混乱が解消される。
　ユーザ入力部１０８は、上述した顕微鏡制御部１０７による入力信号の反転処理を実施するかどうかをユーザの指示に従って設定する。
　［画像処理装置の機能的構成］
　図１５は画像処理装置１０４の機能的構成を示すブロック図である。同図に示すように画像処理装置１０４は、画像取得部１４１、モード決定部１４２、領域検出部１４３、画像生成部１４４及び画像出力部１４５を備える。
　＜１．直視型前置レンズの場合＞
　前置レンズ１０１として直視型前置レンズ１０１Ａ（図４参照）が用いられる場合の画像処理装置１０４の機能的構成について説明する。
　画像取得部１４１は、撮像装置１０３から撮像画像を取得する。直視型前置レンズ１０１Ａが用いられている場合の撮像画像は、図７に示すような画像となる。上述のように撮像画像には反転領域Ｒ１及び非反転領域Ｒ２が含まれている。画像取得部１４１は、取得した撮像画像をモード決定部１４２に供給する。
　モード決定部１４２は、画像処理装置１０４の動作モードを決定する。具体的には、モード決定部１４２は前置レンズ１０１による影響を補正するためのモード（以下、補正モード）と通常のモード（以下、通常モード）のいずれかのモードを選択する。
　モード決定部１４２は、撮像画像に含まれている前置レンズ１０１の検出結果を利用してモードを決定することができる。
　モード決定部１４２は、予めデータベースに保存されている前置レンズ１０１の像の特徴を撮像画像において検出する物体認識技術によって前置レンズ１０１を検出することができる。また、モード決定部１４２は、前置レンズ１０１に付されたマーカーを検出することによって前置レンズ１０１を検出してもよい。
　モード決定部１４２は、撮像画像に前置レンズ１０１が含まれている場合には補正モードを選択し、前置レンズ１０１が含まれていない場合には通常モードを選択することができる。
　また、モード決定部１４２は、ユーザ入力部１０８を用いて入力されたユーザの指示に応じて、モードを決定してもよい。モード決定部１４２は、決定したモードを領域検出部１４３及び画像生成部１４４に通知する。
　領域検出部１４３は、撮像画像において反転領域Ｒ１を検出する。図１６は直視型前置レンズ１０１Ａが眼に装着されている場合に撮像される撮像画像Ｇにおける反転領域Ｒ１の範囲を示す模式図である。
　領域検出部１４３は、上述した物体認識を利用して反転領域Ｒ１を検出することができる。また、領域検出部１４３は、前置レンズ１０１の外側は白目の領域である一方、前置レンズ１０１の内側は隅角、虹彩及び瞳孔のように白目とは色やテクスチャの様子が異なることを利用して反転領域Ｒ１を検出することもできる。
　また、撮像画像において前置レンズ１０１の周縁Ｓには明確エッジが存在するため、領域検出部１４３はエッジ検出処理を行い、検出されたエッジの内側の領域を反転領域Ｒ１として検出ことも可能である。
　以上の検出方法は１つの撮像画像から反転領域Ｒ１を検出するものであるが、領域検出部１４３は複数の撮像画像を利用して反転領域Ｒ１を検出することもできる。具体的には領域検出部１４３は、前置レンズ１０１が装着されていない手術開始時の撮像画像を保持しておき、その撮像画像と前置レンズ１０１が含まれる撮像画像を比較し、差分が大きい領域を反転領域Ｒ１として検出してもよい。
　また、顕微鏡１０２に撮像装置１０３を搭載する場合、左目用と右目用の両方の撮像画像を得ることができる。領域検出部１４３は、この二つの撮像画像の視差情報からデプス（Depth）情報を抽出し、前置レンズ１０１は眼の手前にあることを利用して反転領域Ｒ１を検出することもできる。
　なお、領域検出部１４３は、一度反転領域Ｒ１の検出に成功した場合には、検出した前置レンズ１０１をトラッキングすることで反転領域Ｒ１を検出してもよい。領域検出部１４３は以上のようにして反転領域Ｒ１を検出する。領域検出部１４３は、検出した反転領域Ｒ１の範囲を画像生成部１４４に供給する。
　画像生成部１４４は、撮像画像に補正処理を行い、表示画像を生成する。図１７は画像生成部１４４による補正処理の態様を示す模式図である。まず、画像生成部１４４は、図１７（ａ）に示すように撮像画像Ｇにおける反転領域Ｒ１を抽出する。図中、Ｒ、Ｌ、Ｕ及びＤは反転領域Ｒ１における位置を示す記号である。
　続いて、画像生成部１４４は図１７（ｂ）に示すように、反転領域Ｒ１の中心を中心点として点対称となるように反転領域Ｒ１を反転させる。さらに、画像生成部１４４は、図１７（ｃ）に示すように、反転させた反転領域Ｒ１の外周と非反転領域Ｒ２の内周を一致させることによって反転領域Ｒ１と非反転領域Ｒ２とを合成する。
　これにより、画像生成部１４４は、図１４に示すように、反転が解消された表示画像を生成することができる。画像生成部１４４は、生成した表示画像を画像出力部１４５に供給する。
　画像出力部１４５は、表示画像を表示装置１０５に出力し、表示装置１０５に表示させる。ここで、眼科の手術では、執刀医と助手がいる場合、執刀医と助手が直交した位置関係となることが多い。この場合、画像出力部１４５は、あるディスプレイには執刀医の位置から見た表示画像を、別のディスプレイには助手の位置に合わせて回転させた表示画像を表示させることができる。これにより、執刀医と助手の両方に混乱が生じにくい表示画像を提供することができる。
　＜２．反射型前置レンズの場合＞
　前置レンズ１０１として反射型前置レンズ１０１Ｂ（図５参照）が用いられる場合の画像処理装置１０４の機能的構成について説明する。
　画像取得部１４１は、撮像装置１０３から撮像画像を取得する。反射型前置レンズ１０１Ｂが用いられている場合の撮像画像は、図１１に示すような画像となる。上述のように撮像画像には反転領域Ｒ１及び非反転領域Ｒ２が含まれている。画像取得部１４１は、取得した撮像画像をモード決定部１４２に供給する。
　モード決定部１４２は、画像処理装置１０４の動作モードを決定する。モード決定部１４２は、直視型前置レンズ１０１Ａの場合と同様に撮像画像に含まれている前置レンズ１０１の検出結果やユーザによる指示に応じて動作モードを決定することができる。モード決定部１４２は、決定したモードを領域検出部１４３及び画像生成部１４４に通知する。
　領域検出部１４３は、撮像画像において各領域を検出する。図１８は、反射型前置レンズ１０１Ｂが眼に装着されている場合に撮像される撮像画像Ｇにおける反転領域Ｒ１、中央領域Ｒ２Ａ及び外周領域Ｒ２Ｂを示す模式図である。
　まず、領域検出部１４３は、反転領域Ｒ１及び中央領域Ｒ２Ａを検出する。領域検出部１４３は、直視型前置レンズ１０１Ａの場合と同様に、物体認識やエッジ検出、撮像画像の差分等を利用して反転領域Ｒ１を検出することができる。また、領域検出部１４３は、検出した反転領域Ｒ１の内側の領域を中央領域Ｒ２Ａとして検出することができる。
　さらに、領域検出部１４３は、不要領域を検出する。図１９は不要領域Ｒ３（図中、斜線部）を示す模式図である。同図に示すように、不要領域Ｒ３は、反転領域Ｒ１のうち、中央領域Ｒ２Ａにも映っている領域であり、反転領域Ｒ１における虹彩３０２及び瞳孔３０４に相当する領域である。
　領域検出部１４３は、隅角３０５と虹彩３０２の色やテクスチャの違いを利用して不要領域Ｒ３を検出することができる。また、領域検出部１４３は、予め取得したミラー１２３の傾斜角度から不要領域Ｒ３となる範囲を推定し、不要領域Ｒ３を検出することもできる。
　さらに、領域検出部１４３は、中央領域Ｒ２Ａの周縁に隅角３０５が移っている場合には、隅角３０５の領域も不要領域Ｒ３に含めることが可能である。領域検出部１４３は、検出した反転領域Ｒ１、中央領域Ｒ２Ａ及び不要領域Ｒ３の範囲を画像生成部１４４に供給する。
　画像生成部１４４は、撮像画像に補正処理を行い、表示画像を生成する。図２０及び図２１は画像生成部１４４による補正処理の態様を示す模式図である。まず、画像生成部１４４は、図２０（ａ）に示すように撮像画像Ｇにおける反転領域Ｒ１を抽出する。図中、Ｒ０、Ｒ１、Ｌ０、Ｌ１、Ｕ０、Ｕ１、Ｄ０及びＤ１は反転領域Ｒ１における位置を示す記号である。
　続いて、画像生成部１４４は、図２０（ｂ）に示すように、反転領域Ｒ１において不要領域Ｒ３を削除する。以下、不要領域Ｒ３を削除した反転領域Ｒ１を反転領域Ｒ４とする。同図において反転領域Ｒ４の内周を内周Ｅ１として示し、反転領域Ｒ４の外周を外周Ｅ２として示す。
　さらに画像生成部１４４は図２１（ａ）に示すように反転領域Ｒ４を、反転領域Ｒ４の中心を中心点として点対称となるように反転させる。同図において反転領域Ｒ４の内周Ｅ３は反転前の外周Ｅ２に相当し、反転領域Ｒ４の外周Ｅ４は反転前の内周Ｅ１に相当する。即ち、画像生成部１４４は、内周Ｅ１の長さが外周Ｅ４に一致し、外周Ｅ２の長さが内周Ｅ３に一致するように、台形補正を施して反転領域Ｒ４を反転させる。また、画像生成部１４４は、中央領域Ｒ２Ａに不要領域Ｒ３の一部が存在する場合、この部分を削除する。
　さらに、画像生成部１４４は、図２１（ｂ）に示すように、反転させた反転領域Ｒ４を非反転領域Ｒ２（中央領域Ｒ２Ａ及び外周領域Ｒ２Ｂ）と合成する。この際、画像生成部１４４は、反転領域Ｒ４の内周Ｅ３が中央領域Ｒ２Ａの外周に一致するように反転領域Ｒ４を拡大させ、又は中央領域Ｒ２Ａを拡大させる。また、画像生成部１４４は、反転領域Ｒ４の外周Ｅ４を外周領域の内周に一致させる。
　このようにして、画像生成部１４４は、図１４に示すように、反転が解消された表示画像を生成することができる。画像生成部１４４は、生成した表示画像を画像出力部１４５に供給する。
　画像出力部１４５は、表示画像を表示装置１０５に出力し、表示装置１０５に表示させる。画像出力部１４５は上記のように、執刀医と助手の位置関係に応じて表示画像を回転させ、ディスプレイに表示させることが可能である。
　［画像処理装置の動作］
　図２２は、画像処理装置１０４の動作を示すフローチャートである。同図に示すように、まず、画像取得部１４１が撮像画像を取得する（Ｓｔ１０１）。
　続いて、モード決定部１４２が、補正モードと通常モードのいずれかを決定する（Ｓｔ１０２）。モード決定部１４２は、上記のように撮像画像において前置レンズ１０１を検出し、又はユーザの指示を受けて補正モードを選択し、それ以外の場合は通常モードを選択することができる。
　モード決定部１４２が補正モードを選択した場合（Ｓｔ１０３：Ｙｅｓ）、領域検出部１４３は反転領域Ｒ１を検出する（Ｓｔ１０４）。また、反射型前置レンズ１０１Ｂが眼に装着されている場合、領域検出部１４３は、反転領域Ｒ１に加え、中央領域Ｒ２Ａ及び不要領域Ｒ３を検出する。
　続いて、画像生成部１４４は、補正及び合成処理を行い、表示画像を生成する（Ｓｔ１０５）。画像生成部１４４は、直視型前置レンズ１０１Ａの場合には反転領域Ｒ１を反転させ、非反転領域Ｒ２と合成させる。また、画像生成部１４４は、反射型前置レンズ１０１Ｂの場合には不要領域Ｒ３を削除した上で反転領域Ｒ４を反転させ、非反転領域Ｒ２と合成させる。
　また、モード決定部１４２が通常モードを選択した場合（Ｓｔ１０３：Ｎｏ）、画像生成部１４４は、撮像画像をそのまま表示画像とする。
　続いて画像出力部１４５は、画像生成部１４４によって生成された表示画像を表示装置１０５に出力し（Ｓｔ１０６）、表示装置１０５に表示させる。画像出力部１４５は、執刀医と助手の位置関係に応じて表示画像を回転させることができる。
　画像処理装置１０４は以上のような動作を行う。画像処理装置１０４によって前置レンズ１０１による像の反転が解消されるため、ユーザは混乱を生じることなく手術を行うことが可能となる。
　［眼科用観察システムの動作］
　画像処理装置１０４によって、前置レンズ１０１による像の反転が解消された表示画像が表示装置１０５に表示させる。その表示画像を見ながら術者は処置を行うが、細かな作業を行う場合、拡大して観察したいということがある。デジタルズームで十分な場合は、それで対応するが、より拡大したい場合には顕微鏡１０２を適切な位置に、Ｘ－Ｙ方向において平行移動させたうえで光学的に拡大することも必要になる。
　表示画像は補正された画像であるため、たとえば表示装置１０５上の左上を拡大して見たい場合には、顕微鏡１０２自体は右下に動かす必要があり、齟齬が生じる。そこで、顕微鏡制御部１０７は補正モードで動作している場合には、顕微鏡制御入力部１０６等から得られるＸ－Ｙ操作信号を反転させて顕微鏡１０２の動きに反映させることで、術者の混乱を防止することが可能である。
　［眼科用観察システムによる効果］
　従来、隅角等の眼の正面からの視認が困難な部位を、前置レンズ及び顕微鏡によって観察することが一般的であった。眼科用観察システム１００では、前置レンズ１０１及び顕微鏡１０２に加えて画像処理装置１０４による画像処理を行うことにより術者の混乱のもとになる像の反転を解消することが可能である。
　また、眼科用観察システム１００の光学系（前置レンズ１０１及び顕微鏡１０２）は簡易な光学系であるため、光の減衰を減らすことができ、低光量にも対応することができる。さらに、像の反転の解消に合わせて顕微鏡１０２の操作信号を反転させることにより、術者は違和感なく顕微鏡１０２の視野を移動させることが可能である。
　［ハードウェア構成］
　図２３は、画像処理装置１０４のハードウェア構成を示す模式図である。同図に示すように画像処理装置１０４はハードウェア構成として、ＣＰＵ１００１、ＧＰＵ１００２、メモリ１００３、ストレージ１００４及び入出力部（Ｉ／Ｏ）１００５を有する。これらはバス１００６によって互いに接続されている。
　ＣＰＵ（Central Processing Unit）１００１は、メモリ００３に格納されたプログラムに従って他の構成を制御すると共に、プログラムに従ってデータ処理を行い、処理結果をメモリ１００３に格納する。ＣＰＵ１００１はマイクロプロセッサとすることができる。
　ＧＰＵ（Graphic Processing Unit）１００２は、ＣＰＵ１００１による制御を受けて、画像処理を実行する。ＧＰＵ１００２はマイクロプロセッサとすることができる。
　メモリ１００３はＣＰＵ１００１によって実行されるプログラム及びデータを格納する。メモリ１００３はＲＡＭ（Random Access Memory）とすることができる。
　ストレージ１００４は、プログラムやデータを格納する。ストレージ１００４はＨＤＤ（hard disk drive）又はＳＳＤ（solid state drive）とすることができる。
　入出力部１００５は画像処理装置１０４に対する入力を受け付け、また画像処理装置１０４の出力を外部に供給する。入出力部１００５は、キーボードやマウス等の入力機器やディスプレイ等の出力機器、ネットワーク等の接続インターフェースを含む。
　画像処理装置１０４のハードウェア構成はここに示すものに限られず、画像処理装置１０４の機能的構成を実現できるものであればよい。また、上記ハードウェア構成の一部又は全部はネットワーク上に存在していてもよい。
　（第２の実施形態）
　本技術の第２の実施形態に係る眼科用観察システムについて説明する。
　［眼科用観察システムの構成］
　図２４は本実施形態に係る眼科用観察システム２００の構成を示すブロック図である。同図に示すように眼科用観察システム２００は、前置レンズ２０１、撮像装置２０２、画像処理装置２０３、表示装置２０４及び制御入力部２０５を備える。なお、眼の構造については、第１の実施形態（図２及び図３）と同一の符号を用いる。
　前置レンズ２０１は、眼に装着されるレンズである。本実施形態においては、前置レンズ２０１に撮像装置２０２が組み込まれている。図２５乃至図２８は、前置レンズ２０１及び撮像装置２０２の構成を示す模式図である。
　前置レンズ２０１は、第１の実施形態と同様に反射型前置レンズ又は直視型前置レンズとすることができる。本実施形態では、前置レンズ２０１として前置レンズの一部の構成について示す。図２５乃至図２８に示すように、前置レンズ２０１は眼３００に装着され、支持部材２１１及び凸レンズ２１２を備える。
　図２５に示すように、撮像装置２０２は、複数の小型カメラ２１３が配列されたカメラアレイとすることができる。図２８は小型カメラ２１３の配列を示す模式図であり、眼の正面方向からみた図である。同図に示すように小型カメラ２１３は同心円状の配列とすることができる。また、小型カメラ２１３の配列はこのような配列に限られず、小型カメラ２１３のアレイによって凸レンズ２１２の全周を撮像可能なものであればよい。
　図２５に示すように、眼から出射された光Ｌは凸レンズ２１２を通過し、それぞれの小型カメラ２１３に入射して撮像される。
　また、図２６に示すように撮像装置２０２は、複数の集光部２１４と、集光部２１４にそれぞれ接続された光ファイバ２１５と、各光ファイバ２１５が接続された一つのカメラ２１６によって構成されたものであってもよい。集光部２１４はレンズ等の任意の光学系を備え、入射光を光ファイバ２１５に集光する。集光部２１４の配列は、図２８に示す小型カメラ２１３の配列と同様とすることができるが、凸レンズ２１２の全周を撮像可能なものであればよい。
　図２６に示すように、眼から出射された光Ｌは凸レンズ２１２を通過し、それぞれの集光部２１４に入射する。それぞれの集光部２１４に入射した光は光ファイバ２１５によってカメラ２１６に導かれ、カメラ２１６によって撮像される。
　また、図２７に示すように撮像装置２０２は、複数の集光部２１７と、集光部２１７にそれぞれ接続された光ファイバ２１８と、光ファイバ２１８がそれぞれ接続された複数の小型カメラ２１９によって構成されたものであってもよい。集光部２１７はレンズ等の任意の光学系を備え、入射光を光ファイバ２１８に集光する。集光部２１７の配列は、図２８に示す小型カメラ２１３の配列と同様とすることができるが、凸レンズ２１２の全周を撮像可能なものであればよい。
　図２７に示すように、眼から出射された光Ｌは凸レンズ２１２を通過し、それぞれの集光部２１７に入射する。それぞれの集光部２１７に入射した光は光ファイバ２１８によってそれぞれの小型カメラ２１９に導かれ、小型カメラ２１９によって撮像される。
　図２９は、小型カメラ２１３によって撮像される眼の像を示す模式図である。同図において、小型カメラ２１３のそれぞれの撮像範囲を撮像範囲Ｈとして示す。同図に示すように、小型カメラ２１３の撮像範囲Ｈを結合することによって眼の全体の像が得られる。
　図２９に示すように、虹彩３０２の周囲には、前置レンズ２０１によって現された隅角３０５の像が映ると共に、前置レンズ２０１の周縁Ｓより内側の領域では像が反転する。また、前置レンズ２０１によって像は一定程度拡大される。図２９において像が反転する領域を反転領域Ｒ１とし、像が反転しない領域を非反転領域Ｒ２として示す。
　なお、小型カメラ２１９（図２７参照）によって撮像される眼の像も小型カメラ２１３と同様の像となる。また、カメラ２１６（図２６参照）の場合、図２９に示すような一つの画像が撮像され、個々の集光部２１４に入射する光は個々の撮像範囲Ｈに相当する範囲の光となる。
　前置レンズ２０１及び撮像装置２０２は以上のような構成を有する。前置レンズ２０１は眼に装着され、像の一部を反転させるものであればよく、典型的には隅角３０５を観察するための隅角鏡である。また、前置レンズ２０１は網膜観察のためのワイドビューシステムに利用されるワイドビューレンズであってもよい。
　画像処理装置２０３は、撮像装置２０２から出力された撮像画像に画像処理を施し、表示画像を生成する。画像処理装置２０３は、撮像画像に含まれる反転領域Ｒ１を反転させて正しい向きに補正する。この詳細については後述する。画像処理装置２０３は生成した表示画像を表示装置２０４に出力し、表示させる。
　表示装置２０４は、画像処理装置２０３から出力された表示画像を表示する。表示装置２０４は一般的なディスプレイやヘッドマウントディスプレイである。また、表示装置２０４は複数のディスプレイであってもよく、例えば手術者用のディスプレイと補助者用のディスプレイとすることができる。
　制御入力部２０５は、ユーザによる画像処理装置２０３への操作入力を受け付ける。ユーザは、制御入力部２０５を用いて表示モードの指定等の操作入力を行うことができる。制御入力部２０５は例えばフットスイッチである。
　［画像処理装置の機能的構成］
　図３０は画像処理装置２０３の機能的構成を示すブロック図である。同図に示すように画像処理装置２０３は、モード受付部２３１、画像取得部２３２、画像生成部２３３、画像出力部２３４を備える。
　モード受付部２３１は、ユーザによる表示モードの入力を受け付ける。表示モードには、拡大率、立体感及びＸ－Ｙ方向の位置の情報（以下、Ｘ－Ｙ位置情報）が含まれている。モード受付部２３１は、表示モードを受け付けると、表示モードを画像取得部２３２に指示する。
　画像取得部２３２は、撮像装置２０２から図２９に示すような撮像画像を取得する。画像取得部２３２は、取得した撮像画像を画像生成部２３３に供給する。
　画像生成部２３３は、撮像画像に補正処理を行い、表示画像を生成する。画像生成部２３３は、表示モードにおいて規定されている拡大率及びＸ－Ｙ位置情報にしたがって定まる術野範囲を計算し、その術野範囲が映る撮像範囲Ｈの撮像画像を抽出する。
　画像生成部２３３は、抽出した撮像画像の位置及び向きを変更しパノラマ合成を行う。図３１は、画像生成部２３３による撮像画像の位置及び向きの変更を示す模式図であり、撮像範囲Ｈ１の撮像画像を範囲Ｈ２に反転させている。同図に示すように画像生成部２３３は、反転領域Ｒ１の反転が解消されるように撮像画像の位置及び向きを変更する。
　図３２は、画像生成部２３３が生成する表示画像の模式図である。画像生成部２３３は、表示モードによって眼の全体の画像を指示された場合には、図３２（ａ）に示すように全ての撮像範囲Ｈの撮像画像を利用して表示画像を生成する。
　また、画像生成部２３３は、表示モードによって眼の一部を拡大した画像を指示された場合には、図３２（ｂ）に示すように一部の撮像範囲Ｈの撮像画像を利用して表示画像を生成する。
　このようにして画像生成部２３３は、反転領域Ｒ１の反転が解消された表示画像を生成することができる。また、画像生成部２３３は、輻輳を変更するように撮像範囲Ｈを選択する、即ち、互いに離間する撮像範囲Ｈから表示画像を生成することによって視差を変更することも可能である。画像生成部２３３は、生成した表示画像を画像出力部２３４に供給する。
　画像出力部２３４は、表示画像を表示装置２０４に出力し、表示装置２０４に表示させる。画像出力部２３４は、第１の実施形態と同様に、あるディスプレイには執刀医の位置から見た表示画像を、別のディスプレイには助手の位置に合わせて回転させた表示画像を表示させることができる。
　［画像処理装置の動作］
　図３３は、画像処理装置２０３の動作を示すフローチャートである。同図に示すように、まず、モード受付部２３１が表示モードの入力を受け付ける（Ｓｔ２０１）。表示モードの変更がある場合（Ｓｔ２０１：Ｎｏ）、表示モードが変更される（Ｓｔ２０２）。表示モードが変更された後、又は表示モードに変更がない場合（Ｓｔ２０１：Ｙｅｓ）、画像取得部２３２は表示モードにしたがって撮像画像を取得する（Ｓｔ２０３）。
　続いて、画像生成部２３３は、表示モードにしたがって撮像範囲Ｈ毎に撮像画像の向き及び位置を変更して合成し、表示画像を生成する（Ｓｔ２０５）。画像出力部２３４は表示画像を表示装置２０４に出力し、表示させる（Ｓｔ２０６）。
　画像処理装置２０３は、撮像画像の撮像に光学的なズームを用いないため、拡大した表示画像と眼の全体の表示画像を同時に提示することができ、執刀医が拡大している部位の位置を見失うことが防止されている。
　また、微細な手技が実施される差異には術野の拡大が必要となるが、こういった場合、単純に拡大画像だけではなく、視差による立体感が重要になることも多い。本技術では、
二つの撮像範囲を輻輳を変更するように選ぶことで視差を変えることが容易に行えるため、ユーザによって指定された立体感の設定パラメタに瞬時に応じることができる。
　また、本実施形態では光学的なズームを用いずに画像処理によって術野の画像を提供しているため、執刀医には拡大像を、助手は全体像を見るといったような使い方も可能である。
　［眼科用観察システムによる効果］
　眼科用観察システム２００では、前置レンズ２０１に加えて画像処理装置２０３による画像処理を行うことにより術者の混乱のもとになる像の反転を解消することが可能である。
　また、眼科用観察システム２００の光学系（前置レンズ２０１）は簡易な光学系であるため、光の減衰を減らすことができ、低光量にも対応することができる。
　また、眼科用観察システム２００では眼の全体像と拡大図を同時に提示すること、術野の変更を瞬時に行うことが可能である。さらに眼科用観察システム２００では、視差の変更が容易に行え、立体感を制御することが可能であり、執刀医と助手にそれぞれ適した表示画像を提示することも可能である。
　［ハードウェア構成］
　画像処理装置２０３は、第１の実施形態に係る画像処理装置１０４と同様のハードウェア構成によって実現することが可能である。
　なお、本技術は以下のような構成もとることができる。
　（１）
　眼に装着された前置レンズを介して撮像された撮像画像において、上記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する画像生成部
　を具備する画像処理装置。
　（２）
　上記（１）に記載の画像処理装置であって、
　上記撮像画像において上記反転領域を検出する領域検出部
　をさらに具備する画像処理装置
　（３）
　上記（１）又は（２）に記載の画像処理装置であって、
　上記画像生成部は、上記反転領域の中心を中心点として上記反転領域を反転させる
　画像処理装置。
　（４）
　上記（１）から（３）のいずれか一つに記載の画像処理装置であって、
　上記画像生成部は、上記反転領域を反転させ、上記撮像画像において上記前置レンズによって像が反転していない画像領域である非反転領域と合成することによって上記表示画像を生成する
　画像処理装置。
　（５）
　上記（４）に記載の画像処理装置であって、
　上記前置レンズは、角膜に当接する凹レンズと、上記凹レンズから出射された光を眼の正面方向に向けて屈折させる凸レンズとを備える直視型前置レンズであり、
　上記反転領域は円形であり、上記非反転領域は上記反転領域の周囲を囲む
　画像処理装置。
　（６）
　上記（５）に記載の画像処理装置であって、
　上記画像生成部は、上記反転領域を反転させ、反転させた上記反転領域の外周と上記非反転領域の内周を一致させることによって上記反転領域と上記非反転領域とを合成する
　画像処理装置。
　（７）
　上記（４）に記載の画像処理装置であって、
　上記前置レンズは、角膜に当接する凸レンズと、上記凸レンズの周囲に円周状に配置され、上記凸レンズから出射された光を眼の正面方向に向けて反射させるミラーとを備える反射型前置レンズであり、
　上記反転領域は円周状領域であり、上記非反転領域は上記反転領域に囲まれた中央領域と上記反転領域を囲む外周領域とを含む
　画像処理装置。
　（８）
　上記（７）に記載の画像処理装置であって
　上記画像生成部は、上記反転領域において上記中央領域の像を含む領域を不要領域として検出し、上記不要領域を削除して上記反転領域に反転させ、反転させた上記反転領域の内周と上記中央領域の外周を一致させ、反転させた上記反転領域の外周と上記外周領域の内周を一致させることによって上記反転領域、上記中央領域及び上記外周領域を合成する
　画像処理装置。
　（９）
　上記（２）から（８）のいずれか一つに記載の画像処理装置であって、
　上記撮像画像に上記前置レンズが含まれていることを検出して上記前置レンズによる像の反転を補正する補正モードを選択し、上記領域検出部及び上記画像生成部に通知するモード決定部をさらに具備し、
　上記領域検出部は、上記モード決定部によって上記補正モードが選択された場合に上記反転領域を検出する
画像処理装置。
　（１０）
　上記（９）に記載の画像処理装置であって
　上記モード決定部は、上記撮像画像に対する物体認識処理によって上記前置レンズを検出する
　画像処理装置。
　（１１）
　上記（９）に記載の画像処理装置であって
　上記モード決定部は、上記撮像画像において上記前置レンズに付されたマーカーを検出することによって上記前置レンズを検出する
　画像処理装置。
　（１２）
　上記（２）から（１１）のいずれか一つに記載の画像処理装置であって、
　上記領域検出部は、上記撮像画像に対する物体認識処理によって上記反転領域を検出する
　画像処理装置。
　（１３）
　上記（２）から（１２）のいずれか一つに記載の画像処理装置であって、
　上記領域検出部は、上記撮像画像における眼の構造によるテクスチャの違いを利用して上記反転領域を検出する
　画像処理装置。
　（１４）
　上記（２）から（１２）のいずれか一つに記載の画像処理装置であって、
　上記領域検出部は、上記撮像画像に対するエッジ検出処理によって上記反転領域を検出する
　画像処理装置。
　（１５）
　上記（２）から（１２）のいずれか一つに記載の画像処理装置であって、
　上記領域検出部は、上記撮像画像と上記前置レンズが装着されていない状態で撮像された眼の画像の差分に基づいて上記反転領域を検出する
　画像処理装置。
　（１６）
　上記（２）から（１２）のいずれか一つに記載の画像処理装置であって、
　上記領域検出部は、上記撮像画像から得られる視差情報から抽出されるデプス情報を利用して上記反転領域を検出する
　画像処理装置。
　（１７）
　上記（１）から（１６）のいずれか一つに記載の画像処理装置であって、
　上記撮像画像は、所定の撮像範囲毎に撮像された複数の画像から構成され、
　上記画像生成部は、上記複数の画像の位置及び向きを反転させて上記表示画像を生成する
　画像処理装置。
　（１８）
　眼に装着され、像を反転させる前置レンズと、
　上記前置レンズを介して撮像された撮像画像において、上記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する画像生成部を備える画像処理装置と
　を具備する眼科用観察装置。
　（１９）
　上記（１８）に記載の眼科用観察装置であって、
　上記前置レンズは隅角鏡である
　眼科用観察装置。
　（２０）
　眼に装着され、像を反転させる前置レンズと、
　上記前置レンズの出射光を拡大する顕微鏡と、
　ユーザによる操作入力を受け付けて入力信号を生成する顕微鏡制御入力部と、
　上記顕微鏡に接続され、上記前置レンズ及び上記顕微鏡を介して撮像画像を撮像する撮像装置と、
　上記撮像画像において、上記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する画像生成部を備える画像処理装置と
　上記画像生成部が上記反転領域を反転させると、上記入力信号を反転させて上記顕微鏡を制御する顕微鏡制御部と
　を具備する眼科用観察システム。
　１００、２００…眼科用観察システム
　１０１、２０１…前置レンズ
　１０２…顕微鏡
　１０３、２０２…撮像装置
　１０４、２０３…画像処理装置
　１０５、２０４…表示装置
　１０６…顕微鏡制御入力部
　１０７…顕微鏡制御部
　１０８…ユーザ入力部
　１４１、２３２…画像取得部
　１４２…モード決定部
　１４３…領域検出部
　１４４、２３３…画像生成部
　１４５、２３４…画像出力部
　２０５…制御入力部
　２３１…モード受付部

Claims (20)

  1. 　眼に装着された前置レンズを介して撮像された撮像画像において、前記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する画像生成部
    　を具備する画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記撮像画像において前記反転領域を検出する領域検出部
    　をさらに具備する画像処理装置
  3. 　請求項１に記載の画像処理装置であって、
    　前記画像生成部は、前記反転領域の中心を中心点として前記反転領域を反転させる
    　画像処理装置。
  4. 　請求項３に記載の画像処理装置であって、
    　前記画像生成部は、前記反転領域を反転させ、前記撮像画像において前記前置レンズによって像が反転していない画像領域である非反転領域と合成することによって前記表示画像を生成する
    　画像処理装置。
  5. 　請求項４に記載の画像処理装置であって、
    　前記前置レンズは、角膜に当接する凹レンズと、前記凹レンズから出射された光を眼の正面方向に向けて屈折させる凸レンズとを備える直視型前置レンズであり、
    　前記反転領域は円形であり、前記非反転領域は前記反転領域の周囲を囲む
    　画像処理装置。
  6. 　請求項５に記載の画像処理装置であって、
    　前記画像生成部は、前記反転領域を反転させ、反転させた前記反転領域の外周と前記非反転領域の内周を一致させることによって前記反転領域と前記非反転領域とを合成する
    　画像処理装置。
  7. 　請求項４に記載の画像処理装置であって、
    　前記前置レンズは、角膜に当接する凸レンズと、前記凸レンズの周囲に円周状に配置され、前記凸レンズから出射された光を眼の正面方向に向けて反射させるミラーとを備える反射型前置レンズであり、
    　前記反転領域は円周状領域であり、前記非反転領域は前記反転領域に囲まれた中央領域と前記反転領域を囲む外周領域とを含む
    　画像処理装置。
  8. 　請求項７に記載の画像処理装置であって、
    　前記画像生成部は、前記反転領域において前記中央領域の像を含む領域を不要領域として検出し、前記不要領域を削除して前記反転領域に反転させ、反転させた前記反転領域の内周と前記中央領域の外周を一致させ、反転させた前記反転領域の外周と前記外周領域の内周を一致させることによって前記反転領域、前記中央領域及び前記外周領域を合成する
    　画像処理装置。
  9. 　請求項２に記載の画像処理装置であって、
    　前記撮像画像に前記前置レンズが含まれていることを検出して前記前置レンズによる像の反転を補正する補正モードを選択し、前記領域検出部及び前記画像生成部に通知するモード決定部をさらに具備し、
    　前記領域検出部は、前記モード決定部によって前記補正モードが選択された場合に前記反転領域を検出する
    画像処理装置。
  10. 　請求項９に記載の画像処理装置であって、
    　前記モード決定部は、前記撮像画像に対する物体認識処理によって前記前置レンズを検出する
    　画像処理装置。
  11. 　請求項９に記載の画像処理装置であって、
    　前記モード決定部は、前記撮像画像において前記前置レンズに付されたマーカーを検出することによって前記前置レンズを検出する
    　画像処理装置。
  12. 　請求項２に記載の画像処理装置であって、
    　前記領域検出部は、前記撮像画像に対する物体認識処理によって前記反転領域を検出する
    　画像処理装置。
  13. 　請求項２に記載の画像処理装置であって、
    　前記領域検出部は、前記撮像画像における眼の構造によるテクスチャの違いを利用して前記反転領域を検出する
    　画像処理装置。
  14. 　請求項２に記載の画像処理装置であって、
    　前記領域検出部は、前記撮像画像に対するエッジ検出処理によって前記反転領域を検出する
    　画像処理装置。
  15. 　請求項２に記載の画像処理装置であって、
    　前記領域検出部は、前記撮像画像と前記前置レンズが装着されていない状態で撮像された眼の画像の差分に基づいて前記反転領域を検出する
    　画像処理装置。
  16. 　請求項２に記載の画像処理装置であって、
    　前記領域検出部は、前記撮像画像から得られる視差情報から抽出されるデプス情報を利用して前記反転領域を検出する
    　画像処理装置。
  17. 　請求項１に記載の画像処理装置であって、
    　前記撮像画像は、所定の撮像範囲毎に撮像された複数の画像から構成され、
    　前記画像生成部は、前記複数の画像の位置及び向きを反転させて前記表示画像を生成する
    　画像処理装置。
  18. 　眼に装着され、像を反転させる前置レンズと、
    　前記前置レンズを介して撮像された撮像画像において、前記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する画像生成部を備える画像処理装置と
    　を具備する眼科用観察装置。
  19. 　請求項１８に記載の眼科用観察装置であって、
    　前記前置レンズは隅角鏡である
    　眼科用観察装置。
  20. 　眼に装着され、像を反転させる前置レンズと、
    　前記前置レンズの出射光を拡大する顕微鏡と、
    　ユーザによる操作入力を受け付けて入力信号を生成する顕微鏡制御入力部と、
    　前記顕微鏡に接続され、前記前置レンズ及び前記顕微鏡を介して撮像画像を撮像する撮像装置と、
    　前記撮像画像において、前記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する画像生成部を備える画像処理装置と
    　前記画像生成部が前記反転領域を反転させると、前記入力信号を反転させて前記顕微鏡を制御する顕微鏡制御部と
    　を具備する眼科用観察システム。
PCT/JP2018/022052 2017-07-12 2018-06-08 画像処理装置、眼科用観察装置及び眼科用観察システム WO2019012881A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019528996A JP7092131B2 (ja) 2017-07-12 2018-06-08 画像処理装置、眼科用観察装置及び眼科用観察システム
US16/628,264 US20200175656A1 (en) 2017-07-12 2018-06-08 Image processing apparatus, ophthalmic observation apparatus, and ophthalmic observation system
EP18832464.4A EP3653107A4 (en) 2017-07-12 2018-06-08 IMAGE PROCESSING DEVICE, OPHTHALMIC OBSERVATION DEVICE AND OPHTHALMIC OBSERVATION SYSTEM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-136607 2017-07-12
JP2017136607 2017-07-12

Publications (1)

Publication Number Publication Date
WO2019012881A1 true WO2019012881A1 (ja) 2019-01-17

Family

ID=65002160

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/022052 WO2019012881A1 (ja) 2017-07-12 2018-06-08 画像処理装置、眼科用観察装置及び眼科用観察システム

Country Status (4)

Country Link
US (1) US20200175656A1 (ja)
EP (1) EP3653107A4 (ja)
JP (1) JP7092131B2 (ja)
WO (1) WO2019012881A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020170866A1 (ja) * 2019-02-20 2020-08-27 ソニー株式会社 制御装置、眼科用顕微鏡システム、眼科用顕微鏡及び画像処理装置
EP3925582A4 (en) * 2019-03-07 2022-04-13 Sony Group Corporation SURGICAL MICROSCOPE SYSTEM, IMAGE PROCESSING METHOD, PROGRAM, AND IMAGE PROCESSING DEVICE

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09505221A (ja) * 1993-11-15 1997-05-27 ヴォルク，ダナルド、エイ 間接検眼鏡検査レンズ・システム及びアダプタ・レンズ
JP2000504251A (ja) 1996-10-24 2000-04-11 フォルク オプティカル インコーポレイテッド 検眼鏡観察装置
US20150313465A1 (en) * 2014-05-02 2015-11-05 Ocular Instruments, Inc. Unreversed prism gonioscopy lens assembly
JP2017029333A (ja) * 2015-07-31 2017-02-09 株式会社トプコン 眼科用顕微鏡

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953097A (en) * 1997-06-24 1999-09-14 Neuroptics, Inc. Contact lens for use with ophthalmic monitoring systems
WO2003102498A1 (en) * 2002-05-30 2003-12-11 Visx, Inc. “tracking torsional eye orientation and position”
US8709078B1 (en) * 2011-08-03 2014-04-29 Lockheed Martin Corporation Ocular implant with substantially constant retinal spacing for transmission of nerve-stimulation light
WO2010011577A1 (en) * 2008-07-19 2010-01-28 Volk Donald A Real image forming eye examination lens utilizing two reflecting surfaces with non-mirrored central viewing area
US8414564B2 (en) * 2010-02-18 2013-04-09 Alcon Lensx, Inc. Optical coherence tomographic system for ophthalmic surgery
CN105009581B (zh) * 2013-03-29 2017-03-08 奥林巴斯株式会社 立体内窥镜系统
FR3012629B1 (fr) * 2013-10-25 2016-12-09 Luneau Tech Operations Procede et dispositif d'acquisition et de calcul de donnees d'un objet ophtalmique
US9693686B2 (en) * 2015-04-30 2017-07-04 Novartis Ag Ophthalmic visualization devices, systems, and methods
AU2015411713A1 (en) * 2015-10-16 2018-03-15 Alcon Inc. Ophthalmic surgical image processing
KR101643724B1 (ko) * 2016-04-29 2016-07-29 세종대학교산학협력단 안구 위치 식별 방법 및 그 장치, 안구 위치 추적 방법 및 그 장치
EP3639728A4 (en) * 2017-05-01 2021-02-17 Nidek Co., Ltd. OPHTHALMOLOGICAL DEVICE
JP2020130607A (ja) * 2019-02-20 2020-08-31 ソニー株式会社 制御装置、眼科用顕微鏡システム、眼科用顕微鏡及び画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09505221A (ja) * 1993-11-15 1997-05-27 ヴォルク，ダナルド、エイ 間接検眼鏡検査レンズ・システム及びアダプタ・レンズ
JP2000504251A (ja) 1996-10-24 2000-04-11 フォルク オプティカル インコーポレイテッド 検眼鏡観察装置
US20150313465A1 (en) * 2014-05-02 2015-11-05 Ocular Instruments, Inc. Unreversed prism gonioscopy lens assembly
JP2017029333A (ja) * 2015-07-31 2017-02-09 株式会社トプコン 眼科用顕微鏡

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3653107A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020170866A1 (ja) * 2019-02-20 2020-08-27 ソニー株式会社 制御装置、眼科用顕微鏡システム、眼科用顕微鏡及び画像処理装置
EP3925582A4 (en) * 2019-03-07 2022-04-13 Sony Group Corporation SURGICAL MICROSCOPE SYSTEM, IMAGE PROCESSING METHOD, PROGRAM, AND IMAGE PROCESSING DEVICE

Also Published As

Publication number Publication date
EP3653107A4 (en) 2020-07-08
US20200175656A1 (en) 2020-06-04
EP3653107A1 (en) 2020-05-20
JP7092131B2 (ja) 2022-06-28
JPWO2019012881A1 (ja) 2020-05-07

Similar Documents

Publication Publication Date Title
EP2680740B1 (en) Image-processor-controlled misalignment-reduction for ophthalmic systems
JP5038703B2 (ja) 眼科装置
JP5845608B2 (ja) 眼科撮影装置
US20220115122A1 (en) Control device, ophthalmic microscope system, ophthalmic microscope, and image processing apparatus
US6726326B2 (en) Observation apparatus
JP2004361891A (ja) 観察装置
JP2018061621A (ja) 眼底画像撮影装置、眼底画像撮影方法、及び眼底画像撮影プログラム
JP7092131B2 (ja) 画像処理装置、眼科用観察装置及び眼科用観察システム
JP5953740B2 (ja) 眼底検査装置
JP2018171228A (ja) 自覚式検眼装置
JPWO2019163911A1 (ja) 眼科光学系、眼科装置、及び眼科システム
US20220175245A1 (en) Eye examination attachment, control device, and ophthalmic microscope system
JP2018171229A (ja) 自覚式検眼装置
JP2008000343A (ja) 眼科装置
WO2022091431A1 (ja) 眼科観察装置
JP6856429B2 (ja) 眼科用顕微鏡
JP2009207572A (ja) 眼底カメラ
JP2831546B2 (ja) 角膜撮影位置表示方法およびその装置
JP7468162B2 (ja) 眼底画像処理プログラムおよび眼底撮影装置
JP7171162B2 (ja) 眼科撮影装置
JP2008154725A (ja) 眼科装置
JPH10174676A (ja) 眼底観察撮影用コンタクトレンズ
JP2016067766A (ja) 眼科撮影装置および眼科用撮影プログラム
JP2022077565A (ja) 眼科撮影装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18832464

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019528996

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018832464

Country of ref document: EP

Effective date: 20200212