WO2018105512A1 - 観察システムおよび観察制御プログラム - Google Patents

観察システムおよび観察制御プログラム Download PDF

Info

Publication number
WO2018105512A1
WO2018105512A1 PCT/JP2017/043260 JP2017043260W WO2018105512A1 WO 2018105512 A1 WO2018105512 A1 WO 2018105512A1 JP 2017043260 W JP2017043260 W JP 2017043260W WO 2018105512 A1 WO2018105512 A1 WO 2018105512A1
Authority
WO
WIPO (PCT)
Prior art keywords
observation
focus
user
unit
light beam
Prior art date
Application number
PCT/JP2017/043260
Other languages
English (en)
French (fr)
Inventor
松延　剛
Original Assignee
株式会社ニデック
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニデック filed Critical 株式会社ニデック
Priority to JP2018554970A priority Critical patent/JP6939815B2/ja
Publication of WO2018105512A1 publication Critical patent/WO2018105512A1/ja
Priority to US16/432,189 priority patent/US11134842B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13—Ophthalmic microscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0033—Operational features thereof characterised by user input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20—Binocular arrangements
    • G02B21/22—Stereoscopic arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing

Definitions

  • the present disclosure relates to an observation system and an observation control program used for observing a living body.
  • the observation optical system includes an observation optical path for the user's right eye and an observation optical path for the left eye.
  • the user stereoscopically observes the patient's eye by observing the patient's eye to be observed with binocular eyes through the left and right eyepieces.
  • the observation system it is desirable to focus at high speed and finely when the position where the user pays attention is changed frequently.
  • focusing is performed by operating an operation switch or the like, and fine focusing is performed with the user's own eyes. Therefore, even if the user does not finely operate the operation switch or the like, fine focusing is performed.
  • fine focusing is also performed in the observation system. In this case, in the conventional observation system, it is necessary for the user to finely focus by operating the operation switch or the like, and the progress of surgery or the like may be hindered.
  • a typical object of the present disclosure is to provide an observation system and an observation control program capable of appropriately adjusting the focus of an observation image of a living body displayed on a display unit.
  • An observation system provided by a typical embodiment of the present disclosure is an observation system that allows a user to observe a living body to be observed, an observation optical system that guides an observation light beam from the living body, and the observation optical system By receiving the observation light beam guided by, an imaging element that captures the observation image of the living body and an optical path of the observation light beam in the observation optical system are provided to adjust the focus of the observation optical system
  • the control unit displays the observation image captured by the imaging element on a display unit, and displays the detection result by the detection unit.
  • An observation control program provided by an exemplary embodiment of the present disclosure is an observation control program executed in a control device that controls an observation system, and the observation system guides an observation light beam from the living body.
  • An optical system an imaging element that captures an observation image of the living body by receiving the observation light beam guided by the observation optical system, and an optical path of the observation light beam in the observation optical system,
  • An observation focus adjustment unit that adjusts the focus of the observation optical system; and a detection unit that detects at least one of the user's line-of-sight direction, the voice generated by the user, and the user's gesture, and the observation control.
  • the observation image of the living body displayed on the display unit is appropriately focused.
  • the observation system exemplified in the present disclosure includes an observation optical system, an imaging element, an observation focus adjustment unit, a detection unit, and a control unit.
  • the observation optical system guides an observation light beam from a living body to be observed.
  • the imaging element captures an observation image of the living body by receiving the observation light beam guided by the observation optical system.
  • the observation focus adjustment unit is provided on the optical path of the observation light beam in the observation optical system.
  • the observation focus adjustment unit adjusts the focus of the observation optical system (hereinafter sometimes referred to as “observation focus”).
  • the detection means detects at least one of the user's line of sight, the sound generated by the user, and the user's gesture.
  • the control unit causes the display means to display the observation image photographed by the photographing element. Further, the control unit drives the observation focus adjustment unit based on the detection result by the detection unit, thereby adjusting the focus of the attention area that the user pays attention to in the observation image.
  • the observation optical system may guide the observation light beam for the right eye and the observation light beam for the left eye from the living body to the imaging element.
  • the control unit may cause the stereoscopic image display unit to display a stereoscopic image based on the imaging signal for the right eye and the imaging signal for the left eye by the imaging element. That is, the observation system may be a 3D digital microscope that displays a stereoscopic image to be observed on the stereoscopic image display unit. In this case, even when the user is holding a surgical instrument or the like, the user can easily and appropriately observe the position of interest.
  • the detecting means may include a gaze direction detection unit that detects the gaze direction of the user.
  • the control unit may set a region of interest in a region located in the line-of-sight direction detected by the line-of-sight direction detection unit in the observation image displayed on the display unit. In this case, the focus at the position actually noticed by the user is automatically adjusted. Therefore, even if the user does not input various instructions, the living body is appropriately observed by the user.
  • the detection means does not have to include a line-of-sight direction detection unit.
  • the detection means may include a voice detection unit that detects voice generated by the user.
  • the control unit may set a region of interest according to the voice detected by the voice detection unit. In this case, even if the user does not operate the operation switch or the like, the position at which the user pays attention is focused.
  • the detection means may include a gesture detection unit that detects a user's gesture.
  • the control unit may set the attention area according to the gesture detected by the gesture detection unit. In this case, since the user does not need to touch the operation switch or the like, the user's hand or the like is kept clean.
  • a plurality of modes including a mode for executing automatic focus adjustment of a region of interest based on an observation focus state acquisition result and a mode for stopping automatic focus adjustment may be provided.
  • the control unit may receive an input of a selection instruction for any of a plurality of modes, and may control an automatic focus adjustment operation according to the selected mode. In this case, the user can observe the living body appropriately according to various situations by selecting a desirable mode.
  • the execution mode may include a constant execution mode in which automatic focus adjustment is always executed.
  • the control unit may execute the setting of the attention area and the focus adjustment of the attention area constantly or intermittently. In this case, the focus of the attention area is always adjusted appropriately.
  • the observation focus state may be acquired by an astigmatism method, a knife edge method, a Foucault method, a critical angle method, or the like.
  • the astigmatism method is a method for detecting a focus state using astigmatism generated by the positions of the focal points of the cylindrical lens and the objective lens.
  • a wall (knife edge) that blocks light on the half surface of the optical path is provided on the focal point of the objective lens between the objective lens and the two-divided photodiode, and the focus state is changed according to the amount of light incident on the two-segment photodiode. This is a detection method.
  • a hybrid method combining a plurality of detection methods may be used.
  • a hybrid detection method that combines a contrast detection method and an image plane phase difference detection method may be used.
  • the position where the OCT signal is acquired is set based on the position where the user pays attention. Therefore, a tomographic image or the like at a position noted by the user is appropriately acquired. Furthermore, in addition to appropriately adjusting the focus of the attention area, the optical path length difference of the OCT unit is also appropriately adjusted. Therefore, the OCT signal is also acquired more appropriately. Specifically, when only automatic optical path length (OPL) adjustment for searching for a position where a tomographic image is acquired while changing the optical path length difference is performed, the control unit performs a wide range while greatly varying the optical path length difference. Need to explore.
  • OPL automatic optical path length
  • the observation system can adjust the optical path length difference of the OCT unit in conjunction with the adjustment of the observation focus that can be adjusted in a shorter time than the automatic optical path length adjustment. Therefore, the OCT light adjustment is performed at high speed and appropriately.
  • control unit may detect a shift in the current observation focus with respect to an appropriate observation focus, and determine a driving amount of the optical path length difference adjustment unit based on the detected shift in the observation focus. Even in this case, the adjustment of the optical path length difference according to the change in the observation focus state is appropriately executed. Note that the control unit may drive the optical path length adjustment unit after driving the observation focus adjustment unit, or may drive the observation focus adjustment unit and the optical path length difference adjustment unit in conjunction with each other at the same time. .
  • a specific control method of the optical path length difference adjusting unit can be selected as appropriate.
  • the control unit drives the optical path length difference adjustment unit to the first position based on the driving amount of the observation focus adjustment unit, and then based on the analysis result of the OCT signal (for example, the level of the OCT signal is equal to or higher than the threshold value).
  • the optical path length difference adjusting unit may be driven at a position where Further, the control unit determines the position to stop driving by referring to the analysis result of the OCT signal while driving the optical path length difference adjusting unit toward the first position based on the driving amount of the observation focus adjusting unit. May be. It is also possible to drive the optical path length difference adjustment unit without using the analysis result of the OCT signal.
  • the control unit may drive the OCT focus adjustment unit based on the change in the observation focus state in the region of interest and the analysis result of the OCT signal.
  • the OCT focus adjustment unit is driven in consideration of the analysis result of the actually acquired OCT signal. Therefore, the OCT focus adjustment is performed more appropriately.
  • the specific control method of the OCT focus adjustment unit can be appropriately selected in the same manner as the specific control method of the optical path length difference adjustment unit.
  • each of the scanning position and the attention area may be independent without setting the scanning position of the OCT light as the attention area. Further, the adjustment of the OCT light may not be interlocked with the change of the observation focus in the attention area.
  • the observation system may perform only the process of adjusting the focus of the attention area in the observation image without including the OCT unit.
  • FIG. 1 is a diagram illustrating a schematic configuration of an observation system 100.
  • FIG. 2 is a diagram showing a schematic configuration of an OCT unit 40.
  • FIG. It is a flowchart which shows an example of an observation focus automatic adjustment process. It is explanatory drawing for demonstrating the attention area
  • FIG. It is explanatory drawing for demonstrating a mode that the position of the depth direction of an observation focus changes according to the change of the position to observe. It is explanatory drawing for demonstrating an example of the method of setting the attention area 82 according to a user's utterance.
  • the beam splitter 25 is an example of an optical axis coupling element in which the optical axis of the illumination light emitted from the illumination optical system 20 and the optical axes of the observation light beams RS and LS in the observation optical system 30 are coaxial.
  • the beam splitter 25 illustrated in FIG. 1 reflects illumination light by reflecting at least part of the illumination light emitted from the illumination optical system 20 and transmitting at least part of the observation light beams RS and LS from the observation target. And the optical axes of the observation light beams RS and LS are coaxial.
  • the illumination light reflected by the beam splitter 25 travels in the same optical path as a part of the optical path of the observation light beams RS and LS in the direction opposite to the traveling direction of the observation light beams RS and LS, and is irradiated to the observation target.
  • the observation optical system 30 guides an observation light beam from the observation target in order to allow the user to observe the observation target (stereoscopic view in the present embodiment).
  • the surgical microscope 1 of the present embodiment displays an observation image observed with the right eye of the user U and an observation image observed with the left eye of the user U on a display (stereoscopic image display device in the present embodiment) 67 ( That is, the left and right microscope images are displayed on the display 67).
  • the surgical microscope 1 causes the user U to stereoscopically view the observation target.
  • the observation optical system 30 guides the observation light beam RS for the right eye from the observation target to the right-eye imaging element 36R and guides the observation light beam LS for the left eye to the left-eye imaging element 36L. .
  • the control unit 60 controls the image display on the display 67 based on the imaging signals from the two imaging elements 36R and 36L.
  • various devices such as a 3D display, a stereo viewer, or a head-mounted display can be employed as the display for stereoscopically viewing the observation target.
  • an area where the observation light beam RS for the right eye is guided and an area where the observation light beam LS for the left eye is guided may be provided in the imaging area of one imaging element.
  • the wide-angle observation unit 37 is used to widen the observation field angle of the fundus of the patient's eye E.
  • the wide-angle observation unit 37 is used to widen the observation field angle of the fundus of the patient's eye E.
  • the user U uses the wide-angle observation unit 37 when observing the fundus of the patient's eye E.
  • the user U removes the wide-angle observation unit 37 when observing the anterior segment of the patient's eye E.
  • the wide-angle observation unit 37 in this embodiment includes a reduction lens 38 disposed on the observation optical system 30 side and a front lens 39 disposed on the patient's eye E side.
  • the observation optical system 30 includes an objective lens 31, an observation focus adjustment unit 32, a zoom lens group 35, and the imaging elements 36R and 36L described above.
  • the observation focus adjustment unit 32 is provided on the optical path of the observation light beams RS and LS.
  • the observation focus adjustment unit 32 can adjust the focus of the observation optical system 30.
  • the zoom lens group 35 can change the imaging magnification of the living body by the imaging elements 36R and 36L. In the present embodiment, the photographing magnification is changed by moving at least a part of the lenses in the zoom lens group 35 in the direction along the observation light beams RS and LS.
  • the observation focus adjustment unit 32 of the present embodiment includes an objective lens 31 that is a bonded positive lens and an observation focus adjustment motor 34. Further, when the wide-angle observation unit 37 is used, the reduction lens (positive lens) 38 of the wide-angle observation unit 37 also becomes a part of the observation focus adjustment unit 32.
  • the observation focus adjustment motor 34 moves the objective lens 31 (the objective lens 31 and the reduction lens 38 when the wide-angle observation unit 37 is used) in a direction along the observation light beams RS and LS. As a result, the focus of the observation optical system 30 (hereinafter referred to as “observation focus”) is changed.
  • the observation focus adjustment motor 34 a motor for moving the objective lens 31 and a motor for moving the reduction lens 38 are provided separately. Therefore, both the objective lens 31 and the reduction lens 38 installed outside the lens barrel of the objective lens 31 are appropriately moved. However, the objective lens 31 and the reduction lens 38 may be moved by one motor.
  • the observation focus adjustment unit may adjust the observation focus by moving at least a part of the lenses in the zoom lens group 35 in the direction along the observation light beams RS and LS.
  • at least a part of the lenses in the zoom lens group 35 is, for example, the most upstream of the lenses arranged in the order of the positive lens, the negative lens, the negative lens, and the positive lens from the upstream side of the optical path in the example of FIG. Side positive lens.
  • the observation focus adjustment unit may include a negative lens closer to the imaging elements 36R and 36L in the optical path than the objective lens 31. In this case, the observation focus adjustment unit may adjust the observation focus by moving the negative lens 33 in the direction along the observation light beams RS and LS by the observation focus adjustment motor 34.
  • the observation optical system 30 may further include a configuration for allowing the user U to look into the eyepiece and stereoscopically view the observation target.
  • the observation optical system 30 guides the observation beam RS for the right eye to the eyepiece for the right eye of the user U and the observation beam LS for the left eye to the eyepiece for the left eye of the user U. What is necessary is just to guide light.
  • the OCT unit 40 acquires an OCT signal (an OCT tomographic image in the present embodiment) using the principle of optical coherence tomography (OCT).
  • OCT optical coherence tomography
  • the OCT unit 40 is incorporated in the observation device 10 in the surgical microscope 1. That is, in this embodiment, the surgical microscope 1 and the OCT unit 40 are integrated. However, in the observation system 100, the surgical microscope 1 and the OCT unit 40 may be separate devices.
  • the configuration of the optical system of the OCT unit 40 will be described with reference to FIG.
  • the OCT unit 40 includes an OCT light source 41, a coupler (light splitter) 42, a measurement optical system 43, a reference optical system 54, and a light receiving element (detector) 59.
  • the OCT light source 41 emits light (OCT light) for acquiring an OCT signal.
  • the coupler 42 splits the light beam emitted from the OCT light source 41 into a measurement light beam and a reference light beam. Further, the coupler 42 of the present embodiment combines the measurement light beam reflected by the living body and the reference light beam generated by the reference optical system 54 and causes the light receiving element 59 to receive light.
  • the measurement optical system 43 guides the measurement light beam divided by the coupler 42 to the living body (patient eye E) and returns the measurement light beam reflected by the living body to the coupler 42.
  • the measurement optical system 43 includes a collimator lens 44, an NA adjustment unit 45, an optical scanner 46, a lens 50, and a lens 52 in order from the upstream side (OCT light source 41 side) of the optical path.
  • the collimator lens 44 converts the measurement light beam that has been split by the coupler 42 and passed through the fiber into a parallel light beam.
  • the NA adjustment unit 45 changes the beam diameter of the measurement light beam incident as a parallel light beam from the collimator lens 44. Thereby, the NA adjustment unit 45 adjusts the numerical aperture NA of the measurement light beam collected toward the living body.
  • a known infinite focus zoom system is employed for the NA adjustment unit 45 of the present embodiment.
  • the control unit 60 controls the driving of a motor (not shown) provided in the NA adjustment unit 45, and changes the beam diameter by moving a lens included in the NA adjustment unit 45 in the optical axis direction. As a result, the numerical aperture NA of the measurement light beam condensed toward the living body is adjusted, and the lateral resolution and the depth of focus when acquiring the OCT signal are adjusted.
  • the optical scanner 46 is driven by a drive unit (not shown) to scan the measurement light beam in a two-dimensional direction. As a result, the acquisition position of the OCT signal in the living body is determined.
  • the optical scanner 46 of this embodiment is provided at a position substantially conjugate with the pupil of the patient's eye E.
  • two galvanometer mirrors that can deflect the measurement light beam in different directions are used as the optical scanner 46.
  • another device that deflects light for example, at least one of a polygon mirror, a resonant scanner, and an acoustooptic device
  • the lens 50 and the lens 52 are provided on the optical path of the measurement light beam downstream from the optical scanner 46 (that is, the living body side).
  • the lens 50 and the lens 52 function as a projection optical system that projects the measurement light beam toward the patient's eye E.
  • the lenses 50 and 52 of this embodiment are Kepler telescopes.
  • the OCT unit 40 includes an OCT focus adjustment unit 49 that adjusts the focus of the measurement optical system 43 that guides the measurement light beam (hereinafter referred to as “OCT focus”).
  • the OCT focus adjustment unit 49 illustrated in FIG. 2 includes a front group lens 50 and an OCT focus adjustment motor 51 in a Kepler telescope.
  • the OCT focus adjustment motor 51 can adjust the OCT focus by moving the lens 50 in the direction along the measurement light beam.
  • the reference optical system 54 guides the reference light flux and returns it to the coupler 42.
  • the reference optical system 54 of this embodiment includes a collimator lens 55 and a reference mirror 57.
  • the collimator lens 55 converts the reference light beam that has been split by the coupler 42 and passed through the fiber into a parallel light beam.
  • the reference mirror 57 reflects the reference light beam and returns it to the coupler 42.
  • the configuration of the reference optical system 54 can be changed.
  • the reference optical system 54 may return the reference light beam guided from the coupler 42 to the coupler 42 by a transmission optical system such as an optical fiber without reflecting the reference light beam.
  • the OCT unit 40 includes an optical path length difference adjusting unit 56 that adjusts the optical path length difference between the measurement light beam and the reference light beam.
  • the range in the depth direction (Z direction) in which the OCT signal is acquired is changed.
  • the range in the depth direction from which the OCT signal is acquired is, for example, a visual field in the depth direction of the tomographic image when acquiring a tomographic image.
  • the optical path length difference adjusting unit 56 is provided on at least one of the optical path of the measurement light beam and the optical path of the reference light beam.
  • the optical path length difference adjustment unit 56 illustrated in FIG. 2 includes a reference mirror 57 and an optical path length difference adjustment motor 58.
  • the optical path length difference adjusting motor 58 adjusts the optical path length difference by moving the reference mirror 57 in the direction along the reference light flux.
  • the configuration of the optical path length difference adjusting unit can be changed as appropriate.
  • the optical path length difference adjusting unit adjusts the optical path length difference by moving the collimator lens 44 provided on the optical path of the measurement light beam and the end of the fiber that guides the measurement light beam from the coupler 42 in the optical axis direction. May be.
  • the optical path length difference adjustment unit adjusts the optical path length difference by moving the collimator lens 55 provided on the optical path of the reference beam and the end of the fiber that guides the reference beam from the coupler 42 in the optical axis direction. May be.
  • the light receiving element 59 detects an interference state between the measurement light beam and the reference light beam.
  • the spectral intensity of the interference light is detected by the light receiving element 59, and a depth profile (A scan signal) in a predetermined range is obtained by Fourier transform on the spectral intensity data.
  • the observation system 100 can employ various OCTs.
  • the observation system 100 may employ any of Spectral-domain OCT (SD-OCT), Swept-source OCT (SS-OCT), Time-domain OCT (TD-OCT), and the like.
  • the observation system 100 includes a gaze direction detection unit 68 that detects the gaze direction of the user.
  • a visible light camera is employed for the line-of-sight direction detection unit 68 of the present embodiment.
  • the control unit 60 processes the eye image of the user U taken by the gaze direction detection unit 68 that is a visible light camera, and detects the positional relationship between the eye head and the iris.
  • the control unit 60 detects the visual line direction of the user U based on the positional relationship between the eye head and the iris.
  • an infrared camera may be used as the line-of-sight direction detection unit 68.
  • the control unit 60 may detect the direction of the line of sight of the user U by processing the captured image of the eye of the user U and detecting the positional relationship between the pupil and the corneal reflection bright spot.
  • the control unit 60 detects a position in the display area that matches the line-of-sight direction of the user U based on the information on the line-of-sight direction of the user U and the position of the display area on the display 67.
  • the line-of-sight direction detection unit 68 is installed at a predetermined position on the display 68.
  • the installation position of the line-of-sight direction detection unit 68 can also be changed.
  • the line-of-sight direction detection unit 68 may be provided on a member worn by the user U (for example, glasses for causing the user U to stereoscopically view an image displayed on the display 67).
  • the operation unit 69 is operated by the user in order for the user U to input various operation instructions to the observation system 100.
  • the operation unit 69 at least a foot switch operated by the user U's foot is provided. Therefore, the user U can input various operation instructions from the operation unit 69 while handling the surgical instrument and the like by hand.
  • other devices for example, various buttons and a touch panel may be used as the operation unit 69 together with the foot switch or instead of the foot switch.
  • the control unit 60 controls various types of control of the observation system 100 (for example, observation focus adjustment control by the observation focus adjustment unit 32).
  • the control unit 60 includes a CPU 61, a RAM 62, a ROM 63, and a nonvolatile memory (NVM) 64.
  • the CPU 61 is a controller that performs various controls.
  • the RAM 62 temporarily stores various information.
  • the ROM 63 stores programs executed by the CPU 61 and various initial values.
  • the NVM 64 is a non-transitory storage medium that can retain stored contents even when power supply is interrupted. An observation control program for executing observation focus automatic adjustment processing described later may be stored in the NVM 64.
  • the control unit 60 provided in the surgical microscope 1 functions as a control unit that performs observation focus adjustment control and the like. That is, in this embodiment, the surgical microscope 1 functions as a control device that controls the observation system 100.
  • the configuration of the control unit that controls the observation system 100 (that is, the control unit that executes the observation control program) can be changed as appropriate.
  • a control unit of a personal computer (not shown) connected to the surgical microscope 1 may control the observation system 100.
  • Control units for example, the control unit 60 of the surgical microscope 1 and the control unit of the personal computer
  • provided in each of the plurality of apparatuses may control the observation system 100 in cooperation.
  • the control unit 60 of the present embodiment can acquire the focus state of the observation optical system 30 in the surgical microscope 1 (hereinafter sometimes simply referred to as “observation focus state”). Although details will be described later, the control unit 60 according to the present embodiment sets the attention area in the observation image according to the detection result of the user's gaze direction, and the attention area pin according to the observation focus state acquisition result. The degree can be automatically adjusted (hereinafter, this adjustment is referred to as “automatic focus adjustment”).
  • automatic focus adjustment an example of an observation focus state acquisition method will be described.
  • the control unit 60 according to the present embodiment acquires the observation focus state based on signals from the imaging elements 36R and 36L. Accordingly, in the observation system 100 of the present embodiment, a dedicated configuration for acquiring (detecting) the observation focus state can be omitted.
  • the control unit 60 of the present embodiment acquires the observation focus state by a contrast detection method. Specifically, the control unit 60 changes the observation focus by the observation focus adjustment unit 32, and among the observation images (microscope images in the present embodiment) photographed by the photographing elements 36R and 36L, images in the attention area are displayed. To analyze. The control unit 60 acquires the observation focus state by setting the position where the contrast of the image in the attention area is the highest as the position where the observation focus is achieved.
  • a method other than the contrast detection method may be used as a method for acquiring the observation focus state.
  • the user can select one of a plurality of modes related to focus adjustment of an observation image.
  • three modes are provided: a full auto mode (always executing mode), a semi auto mode (signal input execution mode), and a stop mode.
  • the full auto mode is selected, the control unit 60 performs automatic focus adjustment constantly or intermittently.
  • the semi-auto mode is selected, the control unit 60 performs automatic focus adjustment when a trigger signal is input by the user.
  • the stop mode the control unit 60 does not execute automatic focus adjustment.
  • Various methods can be adopted as a method for allowing the user to select a mode. For example, any of a plurality of modes may be selected by operating any one of a foot switch, an operation button, a touch panel, and the like by the user.
  • the user can input a trigger signal in the semi-auto mode by operating the operation unit 69.
  • the trigger signal input method can be changed.
  • the observation system 100 may accept an input of a trigger signal by detecting a voice generated by the user or a user's gesture.
  • the user can input the trigger signal without touching the switch or the like with the hand.
  • the gesture to be detected may be a gesture of the user's hand or a gesture other than the hand (for example, tilt of the user's face).
  • the CPU 61 starts pre-processing (S1). As described above, the CPU 61 images the patient's eye E with the imaging elements 36R and 36L of the observation optical system 30. In the pre-processing, the CPU 61 starts displaying the observation image on the display 67 based on the imaging signals from the imaging elements 36R and 36L. In this case, the CPU 61 may acquire an observation focus state in a preset region (for example, a region at the center of the screen) and adjust the observation focus so that the observation focus state is good. Further, the CPU 61 may start capturing and displaying an observation image by setting the observation focus at the midpoint of the adjustable range without acquiring the observation focus state.
  • a preset region for example, a region at the center of the screen
  • the CPU 61 adjusts the optical path length difference in the OCT unit 40 based on the optical parameters of the observation optical system 30.
  • the objective lens 31 which can change a focal distance is used and the case where a focal distance is changed from 170 mm to 200 mm is illustrated. In this case, the distance (working distance) from the objective lens 31 to the patient's eye E is also increased by about 30 mm. Therefore, the CPU 61 controls the driving of the optical path length difference adjustment unit 56 based on the optical parameter (focal length) of the observation optical system 30 and changes the optical path length difference by about 30 mm.
  • the CPU 61 performs processing according to the selected mode (S2, S3). If the full auto mode is selected (S2: NO), the process proceeds to S4 as it is, and automatic focus adjustment (S4 to S11) is always executed.
  • the CPU 61 determines whether or not a trigger signal that triggers execution of automatic focus adjustment has been input (S3). When the trigger signal is not input (S3: NO), the process returns to S2. When the trigger signal is input (S3: YES), the process proceeds to S4, and automatic focus adjustment is executed.
  • the CPU 61 acquires observation image data photographed by the photographing elements 36R and 36L (S4).
  • CPU61 detects the gaze direction of the user U by the gaze direction detection part 68 (S5). If the line of sight of the user U is not in the observation image displayed in the display area of the display 67 (S6: NO), the process returns to S2 as it is.
  • the CPU 61 sets an attention area on the observation image according to the line-of-sight direction of the user U (S9).
  • FIG. 4 illustrates an observation image 15 when the fundus of the patient's eye E is photographed.
  • the observation image 15 includes the optic disc 71, the macula 72, and the fundus blood vessel 73.
  • the CPU 61 of the present embodiment identifies a position (hereinafter referred to as a line-of-sight position 81) that matches the user's line-of-sight direction in the observation image 15.
  • the CPU 61 sets the attention area 82 in the area including the identified line-of-sight position 81.
  • the CPU 61 of the present embodiment sets the attention area 82 on the observation image 15 so that the identified line-of-sight position 81 is the center of the attention area 82. Further, the CPU 61 of the present embodiment sets the size of the attention area 82 according to the operation instruction input by the user. Therefore, the user can adjust the size of the attention area 82 to a desired size. However, the size of the attention area may be determined in advance.
  • the CPU 61 acquires the observation focus state (S10). As described above, the CPU 61 of the present embodiment acquires the observation focus state in the attention area 82 based on the signals from the imaging elements 36R and 36L in the set attention area 82.
  • the CPU 61 adjusts the focus of the attention area 82 in the observation image 15 by controlling the driving of the observation focus adjustment unit 32 based on the result of obtaining the observation focus state (S11). That is, the CPU 61 executes autofocus based on the user U's line-of-sight direction. For example, in the example illustrated in FIG. 5, when the user's U gaze position moves from the position 81A on the fundus to the position 81B, the appropriate position of the observation focus in the Z direction is + Z even if there is no movement of the patient's eye E Move in the direction by ⁇ Z.
  • the CPU 61 adjusts the focus of the attention area 82 in the observation image 15 by controlling the driving of the observation focus adjustment unit 32 so that the observation focus state in the attention area 82 matches. Therefore, the focus at the position where the user pays attention is appropriately adjusted.
  • the CPU 61 can also adjust the focus based on the offset amount input by the user in the process of S11.
  • the user operates the operation unit 69 to set an offset amount (deviation amount) in the direction along the optical axis of a desired focus position with respect to a normal focus position adjusted based on an observation focus state acquisition result.
  • the normal focus position that is adjusted based on the observation focus state acquisition result is a focus position that is adjusted by autofocus when the offset amount is “0”.
  • the method for inputting the offset amount can be selected as appropriate. For example, the user may select one of “no offset”, “front pin”, and “rear pin”.
  • a method may be used in which the user inputs the numerical values of the positive and negative deviation amounts with “0” when there is no offset.
  • the CPU 61 focuses on a position shifted by the input offset amount from the normal focus position based on the observation focus state acquisition result.
  • the normal focus position based on the observation focus state acquisition result is the focus position where the contrast of the attention area 82 is the best.
  • the CPU 61 executes OCT light adjustment processing (S12 to S24).
  • the CPU 61 sets the scanning position 83 of the measurement light beam for acquiring the OCT signal based on the detection result of the user U's line-of-sight direction (S12).
  • the CPU 61 sets the scanning position 83 so as to pass through the detected line-of-sight position 81 and be within the attention area 82.
  • the setting method of the scanning position 83 can be changed as appropriate.
  • the scanning position 83 may protrude outside the attention area 82.
  • a plurality of scanning positions 83 may be set based on the detection result of the line-of-sight direction.
  • a process for adjusting the OCT light according to the change in the observation focus state in the attention area 82 is performed (S13 to S17).
  • the CPU 61 of the present embodiment performs an observation position (a position for adjusting the observation focus) based on the optical parameters of the observation optical system 30 (including the observation focus adjustment unit 32) and the driving amount of the observation focus adjustment unit 32.
  • the amount of movement ⁇ Z in the depth direction (Z direction) is calculated.
  • the CPU 61 adjusts the OCT light based on the movement amount ⁇ Z. Details will be described below.
  • the CPU 61 acquires the optical parameters of the observation optical system 30 (S13).
  • the focal length of the observation optical system 30 that is changed by the observation focus adjustment unit 32 is acquired.
  • the optical parameter changes depending on whether or not the wide-angle observation unit 37 (see FIG. 1) is used. Therefore, the CPU 61 of the present embodiment acquires optical parameters according to the presence / absence of the wide-angle observation unit 37.
  • the CPU 61 performs the imaging magnification ⁇ 1 of the observation object on the intermediate image of the observation optical system 30 (the front focal position of the front lens 39) and the vertical magnification ⁇ 1 (wide angle observation unit). 37 is used as an optical parameter of the observation optical system 30.
  • CPU 61 the focal position of the lens 50 of the front group at the Kepler telescope observations objects OCT unit 40, i.e., the imaging magnification beta 2 and longitudinal magnification alpha 2 to the intermediate image of the fiber end faces get To do.
  • the CPU 61 acquires the amount of deviation in the depth direction (Z direction) along the light beam between the observation target position that is used as a reference for adjusting the observation focus Sf and the OCT target position that is used as a reference for acquiring the OCT signal (S15).
  • the OCT target position is at least one of a target position as a reference for matching the zero delay position (position where the optical path length difference of the OCT light becomes zero) and a target position as a reference for matching the OCT focus Of.
  • the user can specify the observation target position and the OCT target position in the depth direction separately by operating the operation unit 68. Note that when the observation target position and the OCT target position match in the depth direction, the deviation amount acquired in S15 is zero.
  • the CPU 61 adjusts the optical path length difference by driving the optical path length difference adjusting unit 56 of the OCT unit 41 based on the movement amount ⁇ Z of the observation position in the Z direction (S16).
  • the CPU 61 controls the driving of the optical path length difference adjusting motor 58 of the optical path length difference adjusting unit 56 and moves the reference mirror 57 by ⁇ Z ⁇ ng to adjust the optical path length difference.
  • ng is the group refractive index of the patient's eye E.
  • the optical path length difference is adjusted in accordance with the change in the observation focus.
  • the OCT signal acquisition range centered on the point A in the Z direction is the OCT signal centered on the point B.
  • the CPU 61 drives the optical path length difference adjusting unit 56 in consideration of the deviation amount acquired in S15. Therefore, even when the observation target position and the target position for matching the zero delay position are deviated, the optical path length difference is appropriately adjusted.
  • the CPU 61 adjusts the OCT focus by driving the OCT focus adjustment unit 49 based on the movement amount ⁇ Z of the observation position (S17).
  • the OCT measurement light beam also passes through the observation focus adjustment unit 32. Accordingly, when the observation focus adjustment unit 32 is driven, the OCT focus is also moved.
  • the movement amount of the observation focus with respect to the driving amount of the observation focus adjustment unit 32 may not match the movement amount of the OCT focus due to the difference in the wavelengths of the observation light of the surgical microscope 1 and the OCT light. Therefore, the CPU 61 of this embodiment adjusts the OCT focus more accurately by driving the OCT focus adjustment unit 49 according to the change in the observation focus state.
  • the drive amount of the OCT focus adjustment unit 49 can be calculated based on the optical parameters of the measurement optical system 43 and the like.
  • the movement amount of the OCT focus at the intermediate image position is ⁇ Z 2
  • the imaging magnification in the measurement optical system 43 is ⁇ 2
  • the vertical magnification is ⁇ 2
  • the driving amount of the OCT focus adjustment unit 49 in this embodiment, the lens 52
  • the movement amount is ⁇ Z 3
  • the adjustment of the OCT light according to the change of the observation focus state in the attention area 82 is executed.
  • the optical path length difference and the OCT focus of the OCT unit 40 are adjusted quickly and easily.
  • the CPU 61 of the present embodiment also executes the adjustment of the OCT light based on the analysis result of the OCT signal (S19 to S22). .
  • the OCT light is adjusted more appropriately. This will be described in detail below.
  • the CPU 61 temporarily acquires and analyzes the OCT signal through the light receiving element 59 (S19). Next, the CPU 61 determines whether or not the level of the analyzed OCT signal is greater than a threshold value (S20). When the level of the OCT signal is equal to or lower than the threshold value (S20: NO), the CPU 61 drives the optical path length difference adjusting unit 56 to finely adjust the optical path length difference (S21). Further, the CPU 61 drives the OCT focus adjustment unit 49 to perform fine adjustment of the OCT focus (S22). The process returns to S19, and the processes of S19 to S22 are repeated until the level of the OCT signal becomes greater than the threshold value.
  • the optical path length difference and the OCT focus are generally appropriately adjusted according to the change in the observation focus state.
  • the range of adjustment (S19 to S22) based on the analysis result of the OCT signal can be narrowed. Therefore, the OCT light is adjusted at high speed and appropriately.
  • the CPU 61 formally acquires the OCT signal (S24). The process returns to the determination in S2.
  • a method for analyzing the OCT signal can also be selected as appropriate.
  • the CPU 61 may analyze the entire signal of the acquired OCT image. Further, the CPU 61 may analyze a signal within a predetermined range centered on the line-of-sight position 81 in the acquired OCT image. In this case, the quality of the OCT image near the line-of-sight position 81 is further improved. Further, the CPU 61 may weight the analysis result in the vicinity of the line-of-sight position 81 more important than the analysis result at a position away from the line-of-sight position 81 in the acquired OCT image.
  • the technology disclosed in the above embodiment is merely an example. Therefore, it is possible to change the technique exemplified in the above embodiment.
  • the attention area 82 is set according to the detection result of the user's line-of-sight direction, and the focus within the set attention area 82 is adjusted.
  • the CPU 61 may set the attention area 82 based on information other than the user's line-of-sight direction.
  • the observation system 100 may include an audio detection unit (for example, a microphone) that detects audio generated by the user.
  • the CPU 61 may set the attention area 82 in accordance with the sound detected by the sound detection unit.
  • FIG. 6 an example of a method for setting the attention area 82 by voice will be described.
  • the observation image 15 displayed on the display 67 is divided into a plurality of regions.
  • the observation image 15 is divided into 8 pieces of A to H in the vertical direction and 10 pieces of 1 to 10 in the horizontal direction.
  • the user designates a position of interest by uttering the address in the vertical direction and the horizontal direction.
  • FIG. 6 shows a case where the user utters “D 5”.
  • the CPU 61 sets the attention area 82 and the scanning position 83 at the address designated by the user's utterance.
  • the method of setting the attention area 82 can be changed according to the sound.
  • the user may designate a position to be noted by uttering a direction (such as “up” or “right”) in which the attention area 82 is desired to be moved.
  • the CPU 61 moves the attention area 82 in the direction uttered by the user.
  • the observation system 100 may include a gesture detection unit that detects a user's gesture.
  • the CPU 61 may set the attention area 82 according to the gesture detected by the gesture detection unit.
  • the gesture detection unit may be, for example, a camera or a sensor that detects a user's gesture.
  • the detected gesture may be, for example, a gesture by the user's hand or foot, or a gesture by the user's face (for example, a tilt of the face).
  • both the adjustment of the optical path length difference (S16) and the adjustment of the OCT focus (S17) are executed in accordance with the change in the observation focus state in the attention area 82.
  • the OCT focus is also adjusted quickly and appropriately.
  • the observation focus adjustment unit 32 when the observation focus adjustment unit 32 is driven, the OCT focus is changed together with the observation focus.
  • whether or not to execute the driving process (S17) of the OCT focus adjustment unit 49 according to the change in the observation focus state in the attention area 82 may be determined based on other conditions. For example, when a tomographic image of the anterior segment of the patient's eye E is captured by the OCT unit 40, the numerical aperture NA is set by the NA adjustment unit 45 in order to prioritize increasing the depth of focus over increasing the resolution. May be smaller. Conversely, when taking a tomographic image of the fundus of the patient's eye E, the NA adjustment unit 45 may increase the numerical aperture NA in order to prioritize increasing the resolution. When the numerical aperture NA is increased, the depth of focus becomes shallow. Therefore, it is desirable to adjust the OCT focus more accurately by the OCT focus adjustment unit 49.
  • the CPU 61 may determine whether to execute the driving process (S17) of the OCT focus adjustment unit 49 according to the change in the observation focus state, according to the numerical aperture NA adjusted by the NA adjustment unit. .
  • the CPU 61 may determine whether or not to execute the process of S17 depending on whether or not the numerical aperture NA is greater than or equal to a threshold value.
  • the CPU 61 may execute the driving process (S17) of the OCT focus adjustment unit 49 according to the change of the observation focus state while omitting the adjustment of the optical path length difference according to the change of the observation focus state (S16). Good.
  • both the fine adjustment of the OCT optical path length difference (S21) and the fine adjustment of the OCT focus (S22) are performed according to the analysis result of the OCT signal.
  • at least one of the processes of S21 and S22 can be omitted.
  • the OCT light is automatically adjusted according to the change in the observation focus state in the attention area 82.
  • the adjustment of the OCT light (for example, the setting of the scanning position 83 or the adjustment of the optical path length difference) may not be interlocked with the change in the observation focus state in the attention area 82.
  • the processing of S12 to S24 shown in FIG. 3 is omitted.
  • the observation system 100 does not include the OCT unit 40.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

観察光学系は、生体からの観察光束を導光する。撮影素子は、観察光学系によって導光された観察光束を受光することで、生体の観察画像を撮影する。観察フォーカス調整部は、観察光学系における観察光束の光路上に設けられており、観察光学系のフォーカスを調整する。検出手段は、ユーザの視線方向、ユーザが発声させた音声、およびユーザのジェスチャーの少なくともいずれかを検出する。制御部は、検出手段による検出結果に基づいて観察フォーカス調整部を駆動させることで、観察画像における注目領域のピントを調整する（Ｓ４～Ｓ１１）。

Description

観察システムおよび観察制御プログラム
　本開示は、生体を観察するために用いられる観察システムおよび観察制御プログラムに関する。
　手術、検査、または診断等が行われる際に、ユーザ（例えば術者等）に生体を観察させるための種々のシステムが知られている。例えば、特許文献１に記載の眼科用手術顕微鏡では、観察光学系は、ユーザの右眼用の観察光路と左眼用の観察光路を備える。ユーザは、観察対象である患者眼を、左右の接眼レンズを通じて双眼で観察することで、患者眼を立体視する。
特開２０１５－１６３０９２号公報
　観察システムでは、ユーザが注目する位置が頻繁に変更される場合等に、高速且つ細かくピントを合わせられることが望ましい。接眼レンズを通じて生体をユーザに観察させる観察システムでは、操作スイッチ等が操作されることでピント合わせが行われ、且つ、ユーザ自身の眼で細かいピント合わせが行われる。従って、ユーザが操作スイッチ等を細かく操作しなくても、細かいピント合わせが行われる。しかし、生体を撮影して表示手段に表示させることで生体をユーザに観察させる場合には、観察システムにおいて細かいピント合わせも行われることが望ましい。この場合、従来の観察システムでは、ユーザが操作スイッチ等を操作して細かくピント合わせを行う必要があり、手術等の進行が妨げられる場合があった。
　本開示の典型的な目的は、表示手段に表示される生体の観察画像のピントを適切に合わせることが可能な観察システムおよび観察制御プログラムを提供することである。
　本開示における典型的な実施形態が提供する観察システムは、観察対象である生体をユーザに観察させる観察システムであって、前記生体からの観察光束を導光する観察光学系と、前記観察光学系によって導光された前記観察光束を受光することで、前記生体の観察画像を撮影する撮影素子と、前記観察光学系における前記観察光束の光路上に設けられ、前記観察光学系のフォーカスを調整する観察フォーカス調整部と、前記ユーザの視線方向、前記ユーザが発生させた音声、および前記ユーザのジェスチャーの少なくともいずれかを検出する検出手段と、前記観察システムの動作を制御する制御部と、を備え、前記制御部は、前記撮影素子によって撮影された前記観察画像を表示手段に表示させると共に、前記検出手段による検出結果に基づいて前記観察フォーカス調整部を駆動させることで、前記観察画像において前記ユーザが注目する注目領域のピントを調整する。
　本開示における典型的な実施形態が提供する観察制御プログラムは、観察システムを制御する制御装置において実行される観察制御プログラムであって、前記観察システムは、前記生体からの観察光束を導光する観察光学系と、前記観察光学系によって導光された前記観察光束を受光することで、前記生体の観察画像を撮影する撮影素子と、前記観察光学系における前記観察光束の光路上に設けられ、前記観察光学系のフォーカスを調整する観察フォーカス調整部と、前記ユーザの視線方向、前記ユーザが発生させた音声、および前記ユーザのジェスチャーの少なくともいずれかを検出する検出手段と、を備え、前記観察制御プログラムが前記制御装置の制御部によって実行されることで、前記撮影素子によって撮影された前記観察画像を表示手段に表示させるステップ、前記検出手段による検出結果に基づいて前記観察フォーカス調整部を駆動させることで、前記観察画像において前記ユーザが注目する注目領域のピントを調整するステップ、を前記制御装置に実行させる。
　本開示に係る観察システムおよび観察制御プログラムによると、表示手段に表示される生体の観察画像のピントが適切に合わせられる。
　本開示で例示する観察システムは、観察光学系、撮影素子、観察フォーカス調整部、検出手段、および制御部を備える。観察光学系は、観察対象である生体からの観察光束を導光する。撮影素子は、観察光学系によって導光された観察光束を受光することで、生体の観察画像を撮影する。観察フォーカス調整部は、観察光学系における観察光束の光路上に設けられている。観察フォーカス調整部は、観察光学系のフォーカス（以下、「観察フォーカス」という場合もある）を調整する。検出手段は、ユーザの視線、ユーザが発生させた音声、およびユーザのジェスチャーの少なくともいずれかを検出する。制御部は、撮影素子によって撮影された観察画像を表示手段に表示させる。また、制御部は、検出手段による検出結果に基づいて観察フォーカス調整部を駆動させることで、観察画像においてユーザが注目する注目領域のピントを調整する。
　この場合、ユーザが手または足によって操作部を操作しなくても、注目領域のピントが適切に調整される。従って、ユーザは適切に生体を観察することができる。
　観察光学系は、生体からの右眼用の観察光束と左眼用の観察光束を撮影素子に導光してもよい。制御部は、撮影素子による右眼用の撮影信号および左眼用の撮影信号に基づいて、立体画像表示手段に立体画像を表示させてもよい。つまり、観察システムは、立体画像表示手段に観察対象の立体画像を表示させる３Ｄデジタル顕微鏡であってもよい。この場合、ユーザは、手術器具等を把持している場合でも、注目する位置を容易且つ適切に観察することができる。
　ただし、本開示において例示する技術の少なくとも一部は、３Ｄデジタル顕微鏡以外のシステムまたは装置にも適用できる。例えば、生体を撮影して表示手段に表示させながら各種測定または撮影等を行う装置（例えば、眼科装置では、眼底カメラ、眼屈折力測定装置、角膜形状測定装置、断層画像撮影装置等）に、本開示において例示する技術を適用してもよい。
　検出手段はカメラを備えていてもよい。検出手段は、ユーザの顔によるジェスチャーを検出してもよい。この場合、ユーザは、顔を動かすことで適切に生体を観察することができる。
　制御部は、検出手段による検出結果に基づいて、撮影素子によって撮影された観察画像上に注目領域を設定してもよい。制御部は、観察光学系のフォーカス状態を取得し、取得結果に基づいて観察フォーカス調整部を駆動させることで、観察画像における注目領域のピントを調整してもよい。この場合、ユーザが注目する位置が変更される場合でも、ユーザは適切に生体を観察することができる。
　検出手段は、ユーザの視線方向を検出する視線方向検出部を含んでいてもよい。制御部は、表示手段に表示される観察画像のうち、視線方向検出部によって検出された視線方向に位置する領域に、注目領域を設定してもよい。この場合、ユーザが実際に注目した位置のピントが自動的に合う。従って、ユーザが各種指示を入力しなくても、生体が適切にユーザによって観察される。
　視線方向を検出する方式には種々の方式を適用できる。例えば、可視光カメラによってユーザの眼頭と虹彩を撮影し、撮影した画像を処理して眼頭と虹彩の位置関係を検出することで、視線方向を検出してもよい。この場合、例えば、虹彩が眼頭から離れていれば、ユーザが目じり側を見ていることが検出される。また、赤外線カメラによってユーザの瞳孔と角膜反射輝点を撮影し、撮影した画像を処理して瞳孔と角膜反射輝点の位置関係を検出することで、視線方向を検出してもよい。この場合、例えば、角膜反射輝点よりも瞳孔が目じり側にあれば、ユーザが目じり側を見ていることが検出される。
　ただし、検出手段は、視線方向検出部を備えていなくてもよい。例えば、検出手段は、ユーザが発生させた音声を検出する音声検出部を備えていてもよい。制御部は、音声検出部によって検出された音声に応じて注目領域を設定してもよい。この場合、ユーザが操作スイッチ等を操作しなくても、ユーザが注目する位置のピントが合う。また、検出手段は、ユーザのジェスチャーを検出するジェスチャー検出部を備えていてもよい。制御部は、ジェスチャー検出部によって検出されたジェスチャーに応じて注目領域を設定してもよい。この場合、ユーザは操作スイッチ等に触れる必要が無いので、ユーザの手等が清潔に保たれる。
　観察フォーカス状態の取得結果に基づく注目領域の自動ピント調整を実行するモード、および、自動ピント調整を停止させるモードを含む複数のモードが設けられていてもよい。制御部は、複数のモードのいずれかの選択指示の入力を受け付けると共に、選択されたモードに応じて自動ピント調整の動作を制御してもよい。この場合、ユーザは、望ましいモードを選択することで、種々の状況に応じて適切に生体を観察することができる。
　実行モードには、トリガ信号が入力された場合に自動ピント調整を実行する信号入力時実行モードが含まれていてもよい。制御部は、信号入力時実行モードが選択されている場合、トリガ信号が入力されたことを契機として、注目領域の設定および注目領域のピント調整を実行してもよい。この場合、ユーザは、トリガ信号を入力することで、所望するタイミングで注目領域にピントを合わせることができる。
　実行モードには、自動ピント調整を常に実行する常時実行モードが含まれていてもよい。制御部は、常時実行モードが選択されている場合、注目領域の設定および注目領域のピント調整を、常に、または断続的に実行してもよい。この場合、注目領域のピントが常に適切に調整される。
　制御部は、撮影素子からの信号のうち、設定した注目領域内における信号に基づいて観察フォーカス状態を取得してもよい。この場合、観察画像を撮影するための撮影素子を利用して、注目領域のピントを合わせるための観察フォーカス状態を適切に取得することができる。従って、観察システムは、観察フォーカス状態を取得するための専用の構成が増加することを抑制しつつ、観察フォーカス状態を適切に取得することができる。
　なお、撮影素子からの信号に基づいて観察フォーカス状態を取得する方式には、種々の方式を適用できる。例えば、制御部は、コントラスト検出方式によって観察フォーカス状態を取得してもよい。この場合、制御部は、観察フォーカスを変更しながら、撮影素子によって撮影された観察画像における注目領域内の画像を解析し、注目領域内の画像のコントラストが高くなる位置を観察フォーカスが合う位置とすることで、観察フォーカス状態を取得してもよい。
　ただし、コントラスト検出方式以外の方式が用いられてもよい。例えば、制御部は、像面位相差検出方式によって観察フォーカス状態を取得してもよい。この場合、像の位相差（視差）を検出するために左右方向に非対称な形状に形成された位相差画素が、撮影素子の画素の一部に組み込まれている。制御部は、左右いずれかの方向から入射する光が位相差画素によって選択的に受光されることで得られる信号に基づいて、位相差を算出する。制御部は、位相差が小さくなる位置を観察フォーカスが合う位置とすることで、フォーカス状態を取得してもよい。
　また、撮影素子とは別の位相差検出センサを用いる位相差検出方式を適用してもよい。この場合、手術顕微鏡は、例えば、観察光束から２つの像を作るセパレータレンズと、２つの像から位相差（視差）を検出するための位相差検出センサを備えていてもよい。制御部は、位相差検出センサによって得られる信号に基づいて位相差を算出し、位相差が小さくなる位置を観察フォーカスが合う位置とすることで、観察フォーカス状態を取得してもよい。
　また、例えば、非点収差方式、ナイフエッジ方式、フーコー方式、臨界角方式等によって観察フォーカス状態が取得されてもよい。非点収差方式は、円筒レンズと対物レンズの焦点の位置のサによって生じる非点収差を利用して、フォーカス状態を検出する方式である。ナイフエッジ方式は、対物レンズと二分割フォトダイオードの間の対物レンズ焦点上に、光路の半面の光を遮る壁（ナイフエッジ）を設け、二分割フォトダイオードに入射する光の量によってフォーカス状態を検出する方式である。フーコー方式は、対物レンズによる集光点の位置と、プリズム表面位置の関係によって生じる光路の変化を、２つの二分割フォトダイオードによって検出することで、フォーカス状態を検出する方式である。臨界角方式は、臨界角プリズムを用いて、光の反射と透過の比率の変化を二分割フォトダイオードによって検出することで、フォーカス状態を検出する方式である。
　また、複数の検出方式を組み合わせたハイブリッド方式が用いられてもよい。例えば、コントラスト検出方式と像面位相差検出方式を組み合わせたハイブリッド検出方式等を採用することも可能である。ハイブリッド検出方式を用いる場合、１つの検出方式でエラーが生じた場合でも、他の検出方式で適切にフォーカス状態が検出される。
　制御部は、観察フォーカス状態の取得結果に基づいて調整される観察フォーカスのピント位置に対する、ユーザが所望するピント位置のオフセット量（ずれ量）の入力を受け付けてもよい。制御部は、観察フォーカス状態の取得結果に基づくピント位置から、入力されたオフセット量だけずれた位置に、観察フォーカスのピントを合わせてもよい。この場合、オートフォーカスによって合わせられる通常のピント位置に対して所望の量だけずれた位置に、ピントが合わせられる。よって、ユーザはより適切に生体を観察することができる。
　観察システムは、ＯＣＴ信号を取得するＯＣＴ部を備えていてもよい。ＯＣＴ部は、ＯＣＴ光源、光分割器、受光素子、および光路長差調整部を備えていてもよい。ＯＣＴ光源はＯＣＴ光を出射する。光分割器は、ＯＣＴ光源から出射された光束を、測定光束と参照光束に分割する。受光素子は、参照光束と、生体で反射した測定光束の合成によって得られる干渉光を受光する。光路長差調整部は、測定光束の光路上、および参照光束の光路上の少なくともいずれかに設けられ、測定光束と参照光束の光路長差を調整する。制御部は、ＯＣＴ部が測定光束を走査させる位置を、検出手段による検出結果に基づいて設定し、注目領域における観察フォーカス状態の変化に応じて光路長差調整部を駆動させてもよい。
　この場合、ＯＣＴ信号が取得される位置が、ユーザが注目する位置に基づいて設定される。従って、ユーザが注目する位置の断層画像等が適切に取得される。さらに、注目領域のピントが適切に調整されることに加え、ＯＣＴ部の光路長差も適切に調整される。従って、ＯＣＴ信号もより適切に取得される。詳細には、光路長差を変更させながら断層画像が取得される位置を探索する自動光路長（ＯＰＬ）調整のみを行う場合には、制御部は、光路長差を大幅に変動させながら広い範囲を探索する必要がある。これに対し、本開示に係る観察システムは、例えば、自動光路長調整よりも短時間で調整が可能な観察フォーカスの調整に連動させて、ＯＣＴ部の光路長差を調整することもできる。従って、ＯＣＴ光の調整が高速且つ適切に実行される。
　なお、注目領域における観察フォーカス状態の変化に応じた光路長差調整部の具体的な駆動方法は、適宜選択できる。例えば、制御部は、観察フォーカス調整部の駆動量に基づいて、観察する位置の変化量ΔＺを算出し、算出したΔＺから光路長差調整部の駆動量を決定してもよい。また、観察フォーカス調整部の駆動量に対応する観察フォーカスの移動量と、光路長差調整部の駆動量に対応する光路長差の変動量との比率を用いても良い。この場合、制御部は、観察フォーカス調整部の駆動量と、前述した比率に応じて、光路長差調整部の駆動量を決定してもよい。また、制御部は、適切な観察フォーカスに対する現在の観察フォーカスのずれを検出し、検出した観察フォーカスのずれに基づいて光路長差調整部の駆動量を決定してもよい。この場合でも、観察フォーカス状態の変化に応じた光路長差の調整が適切に実行される。なお、制御部は、観察フォーカス調整部を駆動させた後に光路長差調整部を駆動させてもよいし、観察フォーカス調整部と光路長差調整部を同時に連動させて駆動することも可能である。
　なお、観察システムは、手術顕微鏡とＯＣＴ部が一体となった１つのデバイスであってもよい。観察システムは、手術顕微鏡と、手術顕微鏡とは別のデバイスであるＯＣＴ装置とを備えたシステムであってもよい。また、ＯＣＴ光の調整を制御する制御部は、ＯＣＴ部に設けられた制御部であってもよいし、手術顕微鏡に設けられた制御部であってもよい。手術顕微鏡とＯＣＴ部の各々に接続されたパーソナルコンピュータ等の制御部が、ＯＣＴ光の調整を制御してもよい。複数のデバイス（例えば、手術顕微鏡とＯＣＴ装置）の各々に設けられた制御部が、協同してＯＣＴ光の調整を制御してもよい。
　制御部は、受光素子を介して取得されるＯＣＴ信号を解析し、注目領域における観察フォーカス状態の変化とＯＣＴ信号の解析結果に基づいて、光路長差調整部を駆動させてもよい。この場合、実際に取得されているＯＣＴ信号の解析結果も考慮されたうえで光路長差調整部が駆動される。従って、光路長差の調整がより適切に実行される。
　なお、この場合の光路長差調整部の具体的な制御方法は適宜選択できる。例えば、制御部は、観察フォーカス調整部の駆動量に基づいて、光路長差調整部を第１位置に駆動させた後、ＯＣＴ信号の解析結果に基づいて（例えば、ＯＣＴ信号のレベルが閾値以上となる位置に）光路長差調整部を駆動させてもよい。また、制御部は、観察フォーカス調整部の駆動量に基づいて光路長差調整部を第１位置に向けて駆動させながら、ＯＣＴ信号の解析結果を参照することで、駆動を停止させる位置を判断してもよい。また、ＯＣＴ信号の解析結果を用いずに光路長差調整部を駆動させることも可能である。
　注目領域の変更等が生じた場合、ＯＣＴの測定光束のフォーカス（以下、「ＯＣＴフォーカス」という）も調整した方が望ましい場合がある。制御部は、注目領域における観察フォーカス状態の変化に応じて、ＯＣＴフォーカス調整部を駆動させてもよい。この場合、光路長差と共にＯＣＴフォーカスも高速且つ適切に調整される。
　制御部は、注目領域における観察フォーカス状態の変化とＯＣＴ信号の解析結果に基づいて、ＯＣＴフォーカス調整部を駆動させてもよい。この場合、実際に取得されているＯＣＴ信号の解析結果も考慮されたうえでＯＣＴフォーカス調整部が駆動される。従って、ＯＣＴフォーカスの調整がより適切に実行される。なお、ＯＣＴフォーカス調整部の具体的な制御方法は、光路長差調整部の具体的な制御方法と同様に適宜選択できる。
　なお、ＯＣＴ光の走査位置を注目領域に設定せずに、走査位置と注目領域の各々が独立していてもよい。また、ＯＣＴ光の調整を、注目領域における観察フォーカスの変化に連動させなくてもよい。観察システムは、ＯＣＴ部を備えずに、観察画像における注目領域のピントを調整する処理のみを行ってもよい。
　また、本開示で例示する複数の技術を適宜組み合わせて実行することも可能である。例えば、観察システムは、観察フォーカス状態の取得結果に基づく注目領域の自動ピント調整を実行せずに、ユーザの音声の検出結果に基づくＯＣＴ光の走査位置の設定を行ってもよい。この場合、観察システムは以下のように表現できる。ＯＣＴ光源と、前記ＯＣＴ光源から出射された光束を測定光束と参照光束に分割する光分割器と、前記参照光束と、前記生体で反射した測定光束の合成によって得られる干渉光を受光する受光素子と、前記測定光束を走査する走査手段と、ユーザが発声させた音声を検出する音声検出部と、前記音声検出部による音声の検出結果に応じて前記測定光束の走査位置を設定する設定手段と、を備えた観察システム。
観察システム１００の概略構成を示す図である。 ＯＣＴ部４０の概略構成を示す図である。 観察フォーカス自動調整処理の一例を示すフローチャートである。 観察画像１５上に設定される注目領域８２、および走査位置８３を説明するための説明図である。 観察する位置の変化に応じて観察フォーカスの深さ方向の位置が変化する様子を説明するための説明図である。 ユーザの発声に応じて注目領域８２を設定する方法の一例を説明するための説明図である。
　以下、本開示における典型的な実施形態の１つについて、図面を参照して説明する。本実施形態では、眼科手術において患者眼の立体視等を行うための観察システム１００を例示する。しかし、本実施形態で例示する技術の少なくとも一部は、眼科以外の用途に用いられる観察システムにも適用できる。また、本実施形態では、手術顕微鏡１によって撮影した観察画像をディスプレイ６７に立体表示させる観察システム１００を例示する。しかし、他の方法で生体をユーザに観察させる観察システムにも、本実施形態で例示する技術の少なくとも一部を適用できる。
　図１に示すように、本実施形態の観察システム１００は、手術顕微鏡１、ＯＣＴ部４０、および制御部６０を備える。なお、以下の説明では、手術顕微鏡１の観察光束ＲＳ，ＬＳに沿う方向をＺ方向、Ｚ方向に交差する方向をＸＹ方向とする。
　手術顕微鏡１について説明する。図１に示すように、本実施形態の手術顕微鏡１は、ベース部２、アーム部４、および観察装置１０を備える。ベース部２は、手術顕微鏡１の土台となる部分である。本実施形態では、後述する制御部６０がベース部２内に内蔵されている。アーム部４は、少なくとも１つの関節部を有し、観察装置１０を可動可能に支持する。
　観察装置１０は、照明光学系２０、ビームスプリッタ２５、反射ミラー２６、および観察光学系３０を備える。照明光学系２０は、観察対象である生体（本実施形態では患者眼Ｅ）を照明する照明光を出射する。照明光学系２０は、観察光学系３０における右眼用の観察光束ＲＳの光軸と同軸とされる照明光と、観察光学系３０における左眼用の観察光束ＬＳの光軸と同軸とされる照明光を出射することが可能である。ただし、照明光は、観察光束ＲＳ，ＬＳの光軸とは異なる角度から観察対象に向けて照射される照明光であってもよい。なお、本実施形態における観察光束ＲＳ，ＬＳとは、観察対象からの光束（例えば、観察対象によって反射された照明光の光束）のうち、ユーザＵによって観察される光を生成するために観察光学系３０によって導光される光束を言う。
　ビームスプリッタ２５は、照明光学系２０が出射する照明光の光軸と、観察光学系３０における観察光束ＲＳ，ＬＳの光軸を同軸とする光軸結合素子の一例である。図１に例示するビームスプリッタ２５は、照明光学系２０から出射された照明光の少なくとも一部を反射させると共に、観察対象からの観察光束ＲＳ，ＬＳの少なくとも一部を透過させることで、照明光の光軸と観察光束ＲＳ，ＬＳの光軸を同軸とする。ビームスプリッタ２５によって反射された照明光は、観察光束ＲＳ，ＬＳの光路の一部と同じ光路を、観察光束ＲＳ，ＬＳの進行方向とは逆の方向に進み、観察対象に照射される。
　反射ミラー２６は、ＯＣＴ部４０（詳細は後述する）が出射するＯＣＴ信号測定用の測定光束を、生体に向けて反射させる。図１に例示する反射ミラー２６は、観察光束ＲＳ，ＬＳおよび照明光と干渉しない位置（本実施形態では、２つの観察光束ＲＳ，ＬＳの間）に設けられている。なお、図１では、反射ミラー２６は、ビームスプリッタ２５と観察フォーカス調整部３２（後述する）の間に設けられている。しかしながら、反射ミラー２６の位置はＯＣＴ部４０の位置等に応じて適宜変更できる。
　観察光学系３０は、観察対象をユーザに観察（本実施形態では立体視）させるために、観察対象からの観察光束を導光する。本実施形態の手術顕微鏡１は、ユーザＵの右眼で観察される観察画像と、ユーザＵの左眼で観察される観察画像をディスプレイ（本実施形態では立体画像表示装置）６７に表示させる（つまり、左右の顕微鏡画像をディスプレイ６７に表示させる）。これにより、手術顕微鏡１は、観察対象をユーザＵに立体視させる。従って、観察光学系３０は、観察対象からの右眼用の観察光束ＲＳを右眼用撮影素子３６Ｒに導光すると共に、左眼用の観察光束ＬＳを左眼用撮影素子３６Ｌに導光する。制御部６０は、２つの撮影素子３６Ｒ，３６Ｌによる撮影信号に基づいて、ディスプレイ６７の画像表示を制御する。なお、観察対象を立体視させるためのディスプレイには、例えば、３Ｄディスプレイ、ステレオビューア、またはヘッドマウントディスプレイ等の各種デバイスを採用できる。また、右眼用の観察光束ＲＳが導光される右眼用撮影素子３６Ｒと、左眼用の観察光束ＬＳが導光される左眼用撮影素子３６Ｌが別々に設けられている必要は無い。例えば、１つの撮影素子の撮影エリア内に、右眼用の観察光束ＲＳが導光されるエリアと、左眼用の観察光束ＬＳが導光されるエリアがそれぞれ設けられていてもよい。
　ユーザＵは、広角観察ユニット３７を使用した状態で生体を観察することもできる。広角観察ユニット３７は、患者眼Ｅの眼底の観察画角を広げるために使用される。例えば、ユーザＵは、患者眼Ｅの眼底を観察する際に、広角観察ユニット３７を使用する。そして、ユーザＵは、患者眼Ｅの前眼部を観察する際に広角観察ユニット３７を取り外す。このようにして、ユーザＵは、患者眼Ｅの部位に応じた適切な観察を行うことができる。本実施形態における広角観察ユニット３７は、観察光学系３０側に配置される縮小レンズ３８と、患者眼Ｅ側に配置される前置レンズ３９を備える。
　観察光学系３０は、対物レンズ３１、観察フォーカス調整部３２、ズームレンズ群３５、および前述した撮影素子３６Ｒ，３６Ｌを備える。観察フォーカス調整部３２は、観察光束ＲＳ，ＬＳの光路上に設けられている。観察フォーカス調整部３２は、観察光学系３０のフォーカスを調整することができる。ズームレンズ群３５は、撮影素子３６Ｒ，３６Ｌによる生体の撮影倍率を変更することができる。本実施形態では、ズームレンズ群３５におけるレンズの少なくとも一部が観察光束ＲＳ，ＬＳに沿う方向に移動されることで、撮影倍率が変更される。
　一例として、本実施形態の観察フォーカス調整部３２は、貼り合わせ正レンズである対物レンズ３１と、観察フォーカス調整モータ３４を備える。さらに、広角観察ユニット３７が使用される場合には、広角観察ユニット３７の縮小レンズ（正レンズ）３８も、観察フォーカス調整部３２の一部となる。観察フォーカス調整モータ３４は、対物レンズ３１（広角観察ユニット３７が使用される場合には、対物レンズ３１と縮小レンズ３８）を、観察光束ＲＳ，ＬＳに沿う方向に移動させる。その結果、観察光学系３０のフォーカス（以下、「観察フォーカス」という）が変更される。なお、本実施形態では、観察フォーカス調整モータ３４として、対物レンズ３１を移動させるモータと、縮小レンズ３８を移動させるモータが別々に設けられている。従って、対物レンズ３１と、対物レンズ３１の鏡筒外に設置される縮小レンズ３８が、共に適切に移動される。しかし、対物レンズ３１と縮小レンズ３８が１つのモータで移動されてもよい。
　なお、観察フォーカス調整部の構成を変更することも可能である。例えば、観察フォーカス調整部は、ズームレンズ群３５におけるレンズの少なくとも一部を観察光束ＲＳ，ＬＳに沿う方向に移動させることで、観察フォーカスを調整してもよい。この場合、ズームレンズ群３５におけるレンズの少なくとも一部は、例えば、図１の例では、光路の上流側から正レンズ、負レンズ、負レンズ、正レンズの順に並んでいるレンズのうち、最も上流側の正レンズである。また、観察フォーカス調整部は、対物レンズ３１よりも光路の撮影素子３６Ｒ，３６Ｌ側に負レンズを備えていてもよい。この場合に、観察フォーカス調整部は、観察フォーカス調整モータ３４によって負レンズ３３を観察光束ＲＳ，ＬＳに沿う方向に移動させることで、観察フォーカスを調整してもよい。
　また、観察光学系３０は、ユーザＵに接眼レンズを覗かせて観察対象を立体視させるための構成をさらに備えていてもよい。この場合、観察光学系３０は、右眼用の観察光束ＲＳをユーザＵの右眼用の接眼レンズに導光すると共に、左眼用の観察光束ＬＳをユーザＵの左眼用の接眼レンズに導光すればよい。
　ＯＣＴ部４０について説明する。ＯＣＴ部４０は、光コヒーレンストモグラフィー（ＯＣＴ）の原理を用いてＯＣＴ信号（本実施形態では、ＯＣＴ断層画像）を取得する。本実施形態では、ＯＣＴ部４０は、手術顕微鏡１における観察装置１０に組み込まれている。つまり、本実施形態では、手術顕微鏡１とＯＣＴ部４０が一体となっている。しかし、観察システム１００では、手術顕微鏡１とＯＣＴ部４０が別のデバイスとなっていてもよい。
　図２を参照して、ＯＣＴ部４０の光学系の構成について説明する。ＯＣＴ部４０は、ＯＣＴ光源４１、カップラー（光分割器）４２、測定光学系４３、参照光学系５４、および受光素子（検出器）５９を備える。ＯＣＴ光源４１は、ＯＣＴ信号を取得するための光（ＯＣＴ光）を出射する。カップラー４２は、ＯＣＴ光源４１から出射された光束を、測定光束と参照光束に分割する。また、本実施形態のカップラー４２は、生体によって反射された測定光束と、参照光学系５４によって生成された参照光束とを合成し、受光素子５９に受光させる。
　測定光学系４３は、カップラー４２によって分割された測定光束を生体（患者眼Ｅ）に導くと共に、生体によって反射された測定光束をカップラー４２に戻す。本実施形態では、測定光学系４３は、光路の上流側（ＯＣＴ光源４１側）から順に、コリメータレンズ４４、ＮＡ調整部４５、光スキャナ４６、レンズ５０、およびレンズ５２を備える。コリメータレンズ４４は、カップラー４２によって分割されてファイバを通過した測定光束を平行光束とする。
　ＮＡ調整部４５は、コリメータレンズ４４から平行光束として入射する測定光束のビーム径を変更する。これにより、ＮＡ調整部４５は、生体に向けて集光される測定光束の開口数ＮＡを調整する。一例として、本実施形態のＮＡ調整部４５には、公知の無限焦点ズームシステムが採用されている。制御部６０は、ＮＡ調整部４５に設けられたモータ（図示せず）の駆動を制御し、ＮＡ調整部４５が備えるレンズを光軸方向に移動させることで、ビーム径を変更する。その結果、生体に向けて集光される測定光束の開口数ＮＡが調整されて、ＯＣＴ信号を取得する際の横分解能と焦点深度が調整される。
　光スキャナ４６は、駆動部（図示せず）によって駆動されることで、測定光束を二次元方向に走査させる。その結果、生体におけるＯＣＴ信号の取得位置が決定される。本実施形態の光スキャナ４６は、患者眼Ｅの瞳孔と略共役な位置に設けられている。また、本実施形態では、互いに異なる方向に測定光束を偏向させることが可能な２つのガルバノミラーが光スキャナ４６として用いられている。しかし、光を偏向させる別のデバイス（例えば、ポリゴンミラー、レゾナントスキャナ、音響光学素子等の少なくともいずれか）が光スキャナ４６として用いられてもよい。
　レンズ５０およびレンズ５２は、光スキャナ４６よりも下流側（つまり、生体側）の測定光束の光路上に設けられている。レンズ５０およびレンズ５２は、測定光束を患者眼Ｅに向けて投影する投影光学系として機能する。本実施形態のレンズ５０，５２はケプラー式望遠鏡である。なお、ＯＣＴ部４０は、測定光束を導光する測定光学系４３のフォーカス（以下、「ＯＣＴフォーカス」という）を調整するＯＣＴフォーカス調整部４９を備える。図２に例示するＯＣＴフォーカス調整部４９は、ケプラー式望遠鏡における前群のレンズ５０と、ＯＣＴフォーカス調整モータ５１を備える。ＯＣＴフォーカス調整モータ５１は、レンズ５０を測定光束に沿う方向に移動させることで、ＯＣＴフォーカスを調整することができる。
　参照光学系５４は、参照光束を導光してカップラー４２に戻す。本実施形態の参照光学系５４は、コリメータレンズ５５および参照ミラー５７を備える。コリメータレンズ５５は、カップラー４２によって分割されてファイバを通過した参照光束を平行光束とする。参照ミラー５７は、参照光束を反射させてカップラー４２に戻す。なお、参照光学系５４の構成は変更できる。例えば、参照光学系５４は、カップラー４２から導かれた参照光束を反射させずに、光ファイバ等の透過光学系によってカップラー４２に戻してもよい。
　ＯＣＴ部４０は、測定光束と参照光束の光路長差を調整する光路長差調整部５６を備える。光路長差が調整されることで、ＯＣＴ信号が取得される深さ方向（Ｚ方向）の範囲が変更される。ＯＣＴ信号が取得される深さ方向の範囲は、例えば、断層画像を取得する場合には、断層画像の深さ方向の視野である。光路長差調整部５６は、測定光束の光路上、および参照光束の光路上の少なくともいずれかに設けられる。図２に例示する光路長差調整部５６は、参照ミラー５７と、光路長差調整モータ５８を備える。光路長差調整モータ５８は、参照ミラー５７を参照光束に沿う方向に移動させることで、光路長差を調整する。ただし、光路長差調整部の構成も適宜変更できる。例えば、光路長差調整部は、測定光束の光路上に設けられたコリメータレンズ４４と、カップラー４２から測定光束を導くファイバの端部を光軸方向に移動させることで、光路長差を調整してもよい。また、光路長差調整部は、参照光束の光路上に設けられたコリメータレンズ５５と、カップラー４２から参照光束を導くファイバの端部を光軸方向に移動させることで、光路長差を調整してもよい。
　受光素子５９は、測定光束と参照光束の干渉状態を検出する。フーリエドメインＯＣＴの場合には、干渉光のスペクトル強度が受光素子５９によって検出され、スペクトル強度データに対するフーリエ変換によって、所定範囲における深さプロファイル（Ａスキャン信号）が取得される。観察システム１００には、種々のＯＣＴを採用できる。例えば、Ｓｐｅｃｔｒａｌ－ｄｏｍａｉｎ　ＯＣＴ（ＳＤ－ＯＣＴ）、Ｓｗｅｐｔ－ｓｏｕｒｃｅ　ＯＣＴ（ＳＳ－ＯＣＴ）、Ｔｉｍｅ－ｄｏｍａｉｎ　ＯＣＴ（ＴＤ－ＯＣＴ）等のいずれを観察システム１００に採用してもよい。
　図１の説明に戻る。観察システム１００は、ユーザの視線方向を検出する視線方向検出部６８を備える。一例として、本実施形態の視線方向検出部６８には可視光カメラが採用されている。詳細には、本実施形態の制御部６０は、可視光カメラである視線方向検出部６８によって撮影されたユーザＵの眼の画像を処理し、眼頭と虹彩の位置関係を検出する。制御部６０は、眼頭と虹彩の位置関係に基づいて、ユーザＵの視線方向を検出する。ただし、視線方向検出部６８の構成および検出原理を変更することも可能である。例えば、視線方向検出部６８として赤外線カメラが用いられてもよい。この場合、制御部６０は、撮影されたユーザＵの眼の画像を処理し、瞳孔と角膜反射輝点の位置関係を検出することで、ユーザＵの視線方向を検出してもよい。
　また、制御部６０は、ユーザＵの視線方向と、ディスプレイ６７における表示領域の位置の情報に基づいて、表示領域のうちユーザＵの視線方向と一致する位置を検出する。一例として、本実施形態では、ディスプレイ６８における所定の位置に視線方向検出部６８が設置されている。しかし、視線方向検出部６８の設置位置を変更することも可能である。例えば、ユーザＵが装着する部材（一例として、ディスプレイ６７に表示された画像をユーザＵに立体視させるための眼鏡等）に視線方向検出部６８が設けられていてもよい。
　操作部６９は、ユーザＵが各種操作指示を観察システム１００に入力するために、ユーザによって操作される。本実施形態では、操作部６９として、ユーザＵの足で操作されるフットスイッチが少なくとも設けられている。従って、ユーザＵは、手術器具等を手で扱いながら、各種操作指示を操作部６９から入力することができる。ただし、フットスイッチと共に、またはフットスイッチの代わりに、他のデバイス（例えば、各種ボタンおよびタッチパネル等）が操作部６９として用いられてもよい。
　制御部６０は、観察システム１００の各種制御（例えば、観察フォーカス調整部３２による観察フォーカスの調整制御等）を司る。制御部６０は、ＣＰＵ６１、ＲＡＭ６２、ＲＯＭ６３、および不揮発性メモリ（ＮＶＭ）６４を備える。ＣＰＵ６１は各種制御を行うコントローラである。ＲＡＭ６２は各種情報を一時的に記憶する。ＲＯＭ６３には、ＣＰＵ６１が実行するプログラム、および各種初期値等が記憶されている。ＮＶＭ６４は、電源の供給が遮断されても記憶内容を保持できる非一過性の記憶媒体である。後述する観察フォーカス自動調整処理を実行するための観察制御プログラムは、ＮＶＭ６４に記憶されていてもよい。
　なお、本実施形態では、一例として、手術顕微鏡１に設けられた制御部６０が、観察フォーカスの調整制御等を行う制御部として機能する。つまり、本実施形態では、手術顕微鏡１が、観察システム１００を制御する制御装置として機能する。しかし、観察システム１００の制御を司る制御部（つまり、観察制御プログラムを実行する制御部）の構成は、適宜変更できる。例えば、手術顕微鏡１に接続されたパーソナルコンピュータ（図示せず）の制御部が、観察システム１００を制御してもよい。複数の装置の各々に設けられた制御部（例えば、手術顕微鏡１の制御部６０と、パーソナルコンピュータの制御部）が協同して、観察システム１００を制御してもよい。
＜観察光学系のフォーカス状態の取得＞
　本実施形態の制御部６０は、手術顕微鏡１における観察光学系３０のフォーカス状態（以下、単に「観察フォーカス状態」という場合もある）を取得することができる。詳細は後述するが、本実施形態の制御部６０は、ユーザＵの視線方向の検出結果に応じて観察画像内に注目領域を設定すると共に、観察フォーカス状態の取得結果に応じて注目領域のピン度を自動的に調整することができる（以下、この調整を「自動ピント調整」という）。ここで、観察フォーカス状態の取得方法の一例について説明する。本実施形態の制御部６０は、撮影素子３６Ｒ，３６Ｌからの信号に基づいて観察フォーカス状態を取得する。従って、本実施形態の観察システム１００では、観察フォーカス状態を取得（検出）するための専用の構成を省略することができる。
　一例として、本実施形態の制御部６０は、コントラスト検出方式によって観察フォーカス状態を取得する。詳細には、制御部６０は、観察フォーカス調整部３２によって観察フォーカスを変更しながら、撮影素子３６Ｒ，３６Ｌによって撮影された観察画像（本実施形態では顕微鏡画像）のうち、注目領域内の画像を解析する。制御部６０は、注目領域内の画像のコントラストが最も高くなる位置を、観察フォーカスが合う位置とすることで、観察フォーカス状態を取得する。ただし、前述したように、観察フォーカス状態を取得する方式として、コントラスト検出方式以外の方式が用いられてもよい。
　＜モード＞
　本実施形態の観察システム１００では、観察画像のピント調整に関する複数のモードのうちのいずれかを、ユーザが選択することができる。一例として、本実施形態では、フルオートモード（常時実行モード）、セミオートモード（信号入力時実行モード）、および停止モードの３つのモードが設けられている。フルオートモードが選択された場合には、制御部６０は、自動ピント調整を常に、または断続的に実行する。セミオートモードが選択された場合には、制御部６０は、ユーザによってトリガ信号が入力されたことを契機として自動ピント調整を実行する。停止モードが選択された場合には、制御部６０は、自動ピント調整を実行しない。ユーザにモードを選択させる方法には種々の方法を採用できる。例えば、フットスイッチ、操作ボタン、タッチパネル等のいずれかがユーザによって操作されることで、複数のモードのいずれかが選択されてもよい。
　本実施形態では、ユーザは、操作部６９を操作することで、セミオートモードにおけるトリガ信号を入力することができる。しかし、トリガ信号の入力方法を変更することも可能である。例えば、観察システム１００は、ユーザが発生させた音声、またはユーザのジェスチャーを検出することで、トリガ信号の入力を受け付けてもよい。この場合、ユーザは、スイッチ等を手で触ることなくトリガ信号を入力することができる。なお、ユーザのジェスチャーを検出する場合、検出するジェスチャーは、ユーザの手のジェスチャーでもいいし、手以外のジェスチャー（例えば、ユーザの顔の傾き等）であってもよい。
＜観察フォーカス自動調整処理＞
　以下、観察システム１００の制御部（本実施形態では手術顕微鏡１の制御部６０）が実行する観察フォーカス自動調整処理について説明する。制御部６０のＣＰＵ６１は、フルオートモードまたはセミオートモードが選択されている場合に、ＮＶＭ６４に記憶された観察システム制御プログラムに従って、図３に示す観察フォーカス自動調整処理を実行する。
　まず、ＣＰＵ６１は事前処理を開始する（Ｓ１）。前述したように、ＣＰＵ６１は、観察光学系３０の撮影素子３６Ｒ，３６Ｌによって患者眼Ｅを撮影する。事前処理では、ＣＰＵ６１は、撮影素子３６Ｒ，３６Ｌからの撮影信号に基づいて、ディスプレイ６７への観察画像の表示を開始させる。この場合、ＣＰＵ６１は、予め設定された領域（例えば、画面中央の領域）における観察フォーカス状態を取得し、観察フォーカス状態が良好となるように観察フォーカスを調整してもよい。また、ＣＰＵ６１は、観察フォーカス状態を取得せずに、観察フォーカスを調整可能範囲の中点に置いて観察画像の撮影および表示を開始させてもよい。また、ＣＰＵ６１は、観察光学系３０の光学パラメータに基づいて、ＯＣＴ部４０における光路長差を調整する。例えば、焦点距離を変更できる対物レンズ３１が用いられており、焦点距離が１７０ｍｍから２００ｍｍに変更された場合を例示する。この場合、対物レンズ３１から患者眼Ｅまでの距離（ワーキングディスタンス）も３０ｍｍ程度長くなる。従って、ＣＰＵ６１は、観察光学系３０の光学パラメータ（焦点距離）に基づいて光路長差調整部５６の駆動を制御し、光路長差を３０ｍｍ程度変化させる。
　次いで、ＣＰＵ６１は、選択されているモードに応じた処理を行う（Ｓ２，Ｓ３）。フルオートモードが選択されている場合には（Ｓ２：ＮＯ）、処理はそのままＳ４へ移行し、自動ピント調整（Ｓ４～Ｓ１１）が常時実行される。セミオートモードが選択されている場合（Ｓ２：ＹＥＳ）、ＣＰＵ６１は、自動ピント調整の実行契機となるトリガ信号が入力されたか否かを判断する（Ｓ３）。トリガ信号が入力されていない場合（Ｓ３：ＮＯ）、処理はＳ２へ戻る。トリガ信号が入力されると（Ｓ３：ＹＥＳ）、処理はＳ４へ移行し、自動ピント調整が実行される。
　自動ピント調整では、ＣＰＵ６１は、撮影素子３６Ｒ，３６Ｌによって撮影された観察画像のデータを取得する（Ｓ４）。ＣＰＵ６１は、視線方向検出部６８によって、ユーザＵの視線方向を検出する（Ｓ５）。ユーザＵの視線方向が、ディスプレイ６７の表示領域に表示されている観察画像内に無い場合には（Ｓ６：ＮＯ）、処理はそのままＳ２へ戻る。ユーザＵの視線方向が観察画像内にある場合には（Ｓ６：ＹＥＳ）、ＣＰＵ６１は、ユーザＵの視線方向に応じて、観察画像上に注目領域を設定する（Ｓ９）。
　図４を参照して、視線方向に応じて注目領域８２を設定する方法の一例について説明する。図４では、患者眼Ｅの眼底を撮影した場合の観察画像１５が例示されている。観察画像１５には、視神経乳頭７１、黄斑７２、および眼底血管７３が写り込んでいる。本実施形態のＣＰＵ６１は、観察画像１５のうち、ユーザの視線方向と一致する位置（以下、視線位置８１）を特定する。ＣＰＵ６１は、特定した視線位置８１を含む領域に注目領域８２を設定する。一例として、本実施形態のＣＰＵ６１は、特定した視線位置８１が注目領域８２の中心となるように、観察画像１５上に注目領域８２を設定する。また、本実施形態のＣＰＵ６１は、ユーザによって入力された操作指示に応じて注目領域８２の大きさを設定する。従って、ユーザは、注目領域８２の大きさを所望する大きさに調整することができる。ただし、注目領域の大きさは予め定められていてもよい。
　次いで、ＣＰＵ６１は、観察フォーカス状態を取得する（Ｓ１０）。前述したように、本実施形態のＣＰＵ６１は、設定した注目領域８２内における撮影素子３６Ｒ，３６Ｌからの信号に基づいて、注目領域８２における観察フォーカス状態を取得する。
　次いで、ＣＰＵ６１は、観察フォーカス状態の取得結果に基づいて観察フォーカス調整部３２の駆動を制御することで、観察画像１５における注目領域８２のピントを調整する（Ｓ１１）。つまり、ＣＰＵ６１は、ユーザＵの視線方向に基づくオートフォーカスを実行する。例えば、図５に示す例では、ユーザＵの視線位置が眼底上の位置８１Ａから位置８１Ｂに移動した場合、患者眼Ｅの動きが無くても、Ｚ方向における観察フォーカスの適切な位置は、＋Ｚ方向にΔＺだけ移動する。この場合、ＣＰＵ６１は、注目領域８２における観察フォーカス状態が合うように観察フォーカス調整部３２の駆動を制御することで、観察画像１５における注目領域８２のピントを調整する。従って、ユーザが注目する位置のピントが適切に調整される。
　また、ＣＰＵ６１は、Ｓ１１の処理において、ユーザによって入力されたオフセット量に基づいてピントを調整することも可能である。本実施形態では、ユーザは、観察フォーカス状態の取得結果に基づいて合わせられる通常のピント位置に対する、所望のピント位置の、光軸に沿う方向のオフセット量（ずれ量）を、操作部６９を操作することで入力することができる。観察フォーカス状態の取得結果に基づいて合わせられる通常のピント位置は、オフセット量が「０」の場合にオートフォーカスによって合わせられるピント位置である。オフセット量の入力方法は適宜選択できる。例えば、「オフセット無し」「前ピン」「後ピン」の中の１つをユーザに選択させる方法でもよい。また、オフセットが無い場合を「０」として、プラスおよびマイナスのずれ量の数値をユーザに入力させる方法でもよい。ＣＰＵ６１は、オフセット量が入力されている場合、観察フォーカス状態の取得結果に基づく通常のピント位置から、入力されたオフセット量だけずれた位置にピントを合わせる。本実施形態では、観察フォーカス状態の取得結果に基づく通常のピント位置は、注目領域８２のコントラストが最も良くなるピント位置である。
　次いで、ＣＰＵ６１は、ＯＣＴ光の調整処理（Ｓ１２～Ｓ２４）を実行する。まず、
ＣＰＵ６１は、ユーザＵの視線方向の検出結果に基づいて、ＯＣＴ信号を取得するための測定光束の走査位置８３を設定する（Ｓ１２）。図４に示す例では、ＣＰＵ６１は、検出された視線位置８１を通過し、且つ注目領域８２内に収まるように、走査位置８３を設定している。その結果、ユーザＵが注目する位置の断層画像が撮影される。ただし、走査位置８３の設定方法も適宜変更できる。例えば、走査位置８３が注目領域８２の外側にはみ出してもよい。また、複数本の走査位置８３が視線方向の検出結果に基づいて設定されてもよいことは言うまでもない。
　次いで、注目領域８２における観察フォーカス状態の変化に応じてＯＣＴ光を調整するための処理が行われる（Ｓ１３～Ｓ１７）。一例として、本実施形態のＣＰＵ６１は、観察光学系３０（観察フォーカス調整部３２を含む）の光学パラメータと、観察フォーカス調整部３２の駆動量に基づいて、観察する位置（観察フォーカスを合わせる位置）の深さ方向（Ｚ方向）の移動量ΔＺを算出する。ＣＰＵ６１は、移動量ΔＺに基づいてＯＣＴ光を調整する。以下、詳細に説明する。
　まず、ＣＰＵ６１は、観察光学系３０の光学パラメータを取得する（Ｓ１３）。本実施形態では、観察フォーカス調整部３２によって変化する観察光学系３０の焦点距離が取得される。さらに、本実施形態では、広角観察ユニット３７（図１参照）が使用されているか否かに応じて光学パラメータが変化する。従って、本実施形態のＣＰＵ６１は、広角観察ユニット３７の有無に応じた光学パラメータを取得する。具体的には、本実施形態では、ＣＰＵ６１は、観察光学系３０の中間像（前置レンズ３９の前側焦点位置）への観察物体の結像倍率β１、および縦倍率α１（広角観察ユニット３７が使用されるか否か、および焦点距離に応じて変化する）を、観察光学系３０の光学パラメータとして取得する。また、本実施形態では、ＣＰＵ６１は、ＯＣＴ部４０の観察物体のケプラー式望遠鏡における前群のレンズ５０の焦点位置、すなわちファイバ端面の中間像への結像倍率β２および縦倍率α２も取得する。
　次いで、ＣＰＵ６１は、観察する位置がＺ方向において移動した量ΔＺを、観察フォーカス状態の変化に基づいて算出する（Ｓ１４）。例えば、図５に示す例では、観察する位置が８１Ａから８１Ｂに移動したことに伴い、観察フォーカス調整部３２によって観察フォーカスが調整される。従って、ＣＰＵ６１は、観察フォーカス調整部３２の駆動量から、観察する位置の移動量ΔＺを算出することができる。図１に示す例では、中間像位置における観察フォーカスの移動量をΔＺ１とすると、ΔＺ＝α１×ΔＺ１＝β１ ２×ΔＺ１となる。この場合、中間像位置における観察フォーカスの移動量は、観察フォーカス調整部３２における対物レンズ３１および縮小レンズ３８の繰出し量に一致する。
　次いで、ＣＰＵ６１は、観察フォーカスＳｆを合わせる基準とする観察目標位置と、ＯＣＴ信号を取得する基準とするＯＣＴ目標位置の、光束に沿う深さ方向（Ｚ方向）のずれ量を取得する（Ｓ１５）。なお、ＯＣＴ目標位置は、ゼロディレイ位置（ＯＣＴ光の光路長差がゼロとなる位置）を合わせる基準とする目標位置、および、ＯＣＴフォーカスＯｆを合わせる基準とする目標位置の少なくともいずれかとされる。本実施形態の観察システム１００では、ユーザは、操作部６８を操作することで、深さ方向における観察目標位置とＯＣＴ目標位置を別々に指定することも可能である。なお、観察目標位置とＯＣＴ目標位置が深さ方向において一致している場合には、Ｓ１５で取得されるずれ量はゼロとなる。
　次いで、ＣＰＵ６１は、観察する位置のＺ方向の移動量ΔＺに基づいてＯＣＴ部４１の光路長差調整部５６を駆動させることで、光路長差を調整する（Ｓ１６）。本実施形態では、ＣＰＵ６１は、光路長差調整部５６の光路長差調整モータ５８の駆動を制御し、ΔＺ×ｎｇだけ参照ミラー５７を移動させることで、光路長差を調整する。ｎｇは、患者眼Ｅの群屈折率である。例えば、図５に示す例では、観察フォーカスの変化に伴って光路長差が調整される結果、Ｚ方向の地点Ａが中心となっていたＯＣＴ信号取得範囲が、地点Ｂを中心とするＯＣＴ信号取得範囲に変更される。なお、観察目標位置と、ゼロディレイ位置を合わせる目標位置がずれている場合には、ＣＰＵ６１は、Ｓ１５で取得したずれ量も考慮して光路長差調整部５６を駆動させる。従って、観察目標位置と、ゼロディレイ位置を合わせる目標位置がずれている場合でも、光路長差が適切に調整される。
　次いで、ＣＰＵ６１は、観察する位置の移動量ΔＺに基づいてＯＣＴフォーカス調整部４９を駆動させることで、ＯＣＴフォーカスを調整する（Ｓ１７）。本実施形態では、図１に示すように、ＯＣＴの測定光束も、観察フォーカス調整部３２を通過する。従って、観察フォーカス調整部３２が駆動されると、ＯＣＴフォーカスも移動する。しかし、手術顕微鏡１の観察光とＯＣＴ光の波長の違い等によって、観察フォーカス調整部３２の駆動量に対する観察フォーカスの移動量とＯＣＴフォーカスの移動量は一致しない場合がある。従って、本実施形態のＣＰＵ６１は、観察フォーカス状態の変化に応じてＯＣＴフォーカス調整部４９も駆動させることで、ＯＣＴフォーカスをより正確に調整する。
　なお、ＯＣＴフォーカス調整部４９の駆動量は、測定光学系４３等の光学パラメータに基づいて算出することができる。一例として、中間像位置におけるＯＣＴフォーカスの移動量をΔＺ２、測定光学系４３における結像倍率をβ２、縦倍率をα２、ＯＣＴフォーカス調整部４９の駆動量（本実施形態ではレンズ５２の移動量）をΔＺ３すると、ΔＺ２＝α２×ΔＺ３＝β２ ２×ΔＺ３となる。ΔＺ２は、Ｓ１４で算出される観察位置の移動量ΔＺに応じて定まるので、前述した式からＯＣＴフォーカス調整部４９の駆動量を算出することができる。また、観察目標位置と、ＯＣＴフォーカスＯｆを合わせる目標位置がずれている場合には、ＣＰＵ６１は、Ｓ１５で取得したずれ量も考慮してＯＣＴフォーカス調整部４９を駆動させる。
　以上説明したＳ１３～Ｓ１７の処理が行われることで、注目領域８２における観察フォーカス状態の変化に応じたＯＣＴ光の調整が実行される。その結果、ＯＣＴ部４０の光路長差およびＯＣＴフォーカスは高速且つ容易に調整される。ここで、観察フォーカス状態の変化に応じたＯＣＴ光の調整のみを実行してもよいが、本実施形態のＣＰＵ６１は、ＯＣＴ信号の解析結果に基づくＯＣＴ光の調整も実行する（Ｓ１９～Ｓ２２）。その結果、ＯＣＴ光の調整がより適切に行われる。以下詳細に説明する。
　まず、ＣＰＵ６１は、受光素子５９を介してＯＣＴ信号を仮取得し、解析する（Ｓ１９）。次いで、ＣＰＵ６１は、解析したＯＣＴ信号のレベルが閾値よりも大きいか否かを判断する（Ｓ２０）。ＯＣＴ信号のレベルが閾値以下である場合には（Ｓ２０：ＮＯ）、ＣＰＵ６１は、光路長差調整部５６を駆動させて、光路長差の微調整を行う（Ｓ２１）。更に、ＣＰＵ６１は、ＯＣＴフォーカス調整部４９を駆動させて、ＯＣＴフォーカスの微調整を行う（Ｓ２２）。処理はＳ１９へ戻り、ＯＣＴ信号のレベルが閾値より大きくなるまでＳ１９～Ｓ２２の処理が繰り返される。光路長差およびＯＣＴフォーカスは、観察フォーカス状態の変化に応じて概ね適切に調整される。従って、ＯＣＴ信号の解析結果に基づく調整（Ｓ１９～Ｓ２２）の範囲は狭くすることが可能である。よって、ＯＣＴ光は、高速且つ適切に調整される。ＯＣＴ信号のレベルが閾値よりも大きくなると（Ｓ２０：ＹＥＳ）、ＣＰＵ６１は、ＯＣＴ信号を正式に取得する（Ｓ２４）。処理はＳ２の判断へ戻る。
　なお、ＯＣＴ信号を解析する方法も適宜選択できる。例えば、ＣＰＵ６１は、取得されたＯＣＴ画像の全体の信号を解析してもよい。また、ＣＰＵ６１は、取得されたＯＣＴ画像のうち、視線位置８１を中心とする所定範囲の信号を解析してもよい。この場合、視線位置８１の近傍におけるＯＣＴ画像の品質がさらに向上する。また、ＣＰＵ６１は、取得されたＯＣＴ画像のうち、視線位置８１の近傍の解析結果を、視線位置８１から離間した位置の解析結果よりも重視する重み付けを行ってもよい。
　上記実施形態で開示された技術は一例に過ぎない。従って、上記実施形態で例示された技術を変更することも可能である。例えば、図１～図５で例示した実施形態では、ユーザの視線方向の検出結果に応じて注目領域８２が設定され、設定された注目領域８２内のピントが調整される。しかし、ＣＰＵ６１は、ユーザの視線方向以外の情報に基づいて注目領域８２を設定してもよい。
　詳細には、観察システム１００は、ユーザが発生させた音声を検出する音声検出部（例えばマイク）を備えていてもよい。この場合、ＣＰＵ６１は、音声検出部によって検出された音声に応じて注目領域８２を設定してもよい。図６を参照して、音声による注目領域８２の設定方法の一例について説明する。図６に示す例では、ディスプレイ６７に表示される観察画像１５が、複数の領域に区分けされている。詳細には、図６に示す例では、観察画像１５が縦方向にＡ～Ｈの８個に区分けされており、且つ、横方向に１～１０の１０個に区分けされている。ユーザは、縦方向および横方向の番地を発声することで、注目する位置を指定する。図６は、ユーザが「Ｄの５」と発声した場合を示す。ＣＰＵ６１は、ユーザの発声によって指定された番地に注目領域８２および走査位置８３を設定する。ただし、音声に応じて注目領域８２を設定する方法を変更できる。例えば、ユーザは、注目領域８２を移動させたい方向（「上」「右」等）を発声することで、注目する位置を指定してもよい。この場合、ＣＰＵ６１は、ユーザが発声した方向に注目領域８２を移動させる。
　また、観察システム１００は、ユーザのジェスチャーを検出するジェスチャー検出部を備えていてもよい。この場合、ＣＰＵ６１は、ジェスチャー検出部によって検出されたジェスチャーに応じて注目領域８２を設定してもよい。ジェスチャー検出部は、例えば、ユーザのジェスチャーを検出するカメラ、またはセンサ等であってもよい。また、検出されるジェスチャーは、例えば、ユーザの手または足によるジェスチャーであってもよいし、ユーザの顔によるジェスチャー（例えば、顔の傾き等）であってもよい。
　また、図１～図５で例示した実施形態では、注目領域８２における観察フォーカス状態の変化に応じて、光路長差の調整（Ｓ１６）とＯＣＴフォーカスの調整（Ｓ１７）が共に実行される。その結果、ＯＣＴフォーカスも高速且つ適切に調整される。しかし、図１に示す例では、観察フォーカス調整部３２が駆動されることで、観察フォーカスと共にＯＣＴフォーカスも変化する。従って、観察フォーカス調整部３２が駆動される際の、観察フォーカスの移動量とＯＣＴフォーカスの移動量の差が小さい場合等には、観察フォーカス状態の変化に応じたＯＣＴフォーカス調整部４９の駆動処理（Ｓ１７）を省略しつつ、観察フォーカス状態の変化に応じた光路長差の調整（Ｓ１６）を実行することも可能である。
　また、注目領域８２における観察フォーカス状態の変化に応じたＯＣＴフォーカス調整部４９の駆動処理（Ｓ１７）を実行するか否かを、他の条件に基づいて決定してもよい。例えば、ＯＣＴ部４０によって患者眼Ｅの前眼部の断層画像を撮影する場合等には、分解能を上げるよりも焦点深度を深くすることを優先させるために、ＮＡ調整部４５によって開口数ＮＡを小さくする場合がある。逆に、患者眼Ｅの眼底の断層画像を撮影する場合等には、分解能を上げることを優先させるために、ＮＡ調整部４５によって開口数ＮＡを大きくする場合がある。開口数ＮＡを大きくすると、焦点深度が浅くなるので、ＯＣＴフォーカス調整部４９によってＯＣＴフォーカスをより正確に調整することが望ましい。従って、ＣＰＵ６１は、ＮＡ調整部によって調整される開口数ＮＡに応じて、観察フォーカス状態の変化に応じたＯＣＴフォーカス調整部４９の駆動処理（Ｓ１７）を実行するか否かを決定してもよい。例えば、ＣＰＵ６１は、開口数ＮＡが閾値以上であるか否かに応じて、Ｓ１７の処理を実行するか否かを決定してもよい。
　また、ＣＰＵ６１は、観察フォーカス状態の変化に応じた光路長差の調整（Ｓ１６）を省略しつつ、観察フォーカス状態の変化に応じたＯＣＴフォーカス調整部４９の駆動処理（Ｓ１７）を実行してもよい。また、上記実施形態では、ＯＣＴ信号の解析結果に応じて、ＯＣＴ光路長差の微調整（Ｓ２１）、およびＯＣＴフォーカスの微調整（Ｓ２２）が共に実行される。しかし、Ｓ２１およびＳ２２の処理の少なくともいずれかを省略することも可能である。
　また、図１～図５で例示した実施形態では、注目領域８２における観察フォーカス状態の変化に応じて、ＯＣＴ光の調整が自動的に行われる。しかし、ＯＣＴ光の調整（例えば、走査位置８３の設定、または光路長差の調整等）は、注目領域８２における観察フォーカス状態の変化に連動させなくてもよい。この場合、図３に示すＳ１２～Ｓ２４の処理は省略される。また、観察システム１００がＯＣＴ部４０を備えていない場合も同様である。

 

Claims (12)

  1. 　観察対象である生体をユーザに観察させる観察システムであって、
    　前記生体からの観察光束を導光する観察光学系と、
    　前記観察光学系によって導光された前記観察光束を受光することで、前記生体の観察画像を撮影する撮影素子と、
    　前記観察光学系における前記観察光束の光路上に設けられ、前記観察光学系のフォーカスを調整する観察フォーカス調整部と、
    　前記ユーザの視線方向、前記ユーザが発生させた音声、および前記ユーザのジェスチャーの少なくともいずれかを検出する検出手段と、
    　前記観察システムの動作を制御する制御部と、
    　を備え、
    　前記制御部は、
    　前記撮影素子によって撮影された前記観察画像を表示手段に表示させると共に、
    　前記検出手段による検出結果に基づいて前記観察フォーカス調整部を駆動させることで、前記観察画像において前記ユーザが注目する注目領域のピントを調整することを特徴とする観察システム。
  2. 　請求項１に記載の観察システムであって、
    　前記観察光学系は、前記生体からの右眼用の観察光束および左眼用の観察光束を前記撮影素子に導光し、
    　前記制御部は、前記撮影素子による右眼用の撮影信号および左眼用の撮影信号に基づいて、前記表示手段に立体画像を表示させることを特徴とする観察システム。
  3. 　請求項１または２に記載の観察システムであって、
    　前記検出手段はカメラを備え、ユーザの顔によるジェスチャーを検出することを特徴とする観察システム。
  4. 　請求項１から３のいずれかに記載の観察システムであって、
    　前記制御部は、
    　前記検出手段による検出結果に基づいて、前記撮影素子によって撮影された前記観察画像上に前記注目領域を設定すると共に、
    　前記観察光学系のフォーカス状態を取得し、
    　前記観察光学系のフォーカス状態の取得結果に基づいて前記観察フォーカス調整部を駆動させることで、前記観察画像における前記注目領域のピントを調整することを特徴とする観察システム。
  5. 　請求項４に記載の観察システムであって、
    　前記検出手段は、前記ユーザの視線方向を検出する視線方向検出部を含み、
    　前記制御部は、前記前記撮影素子によって撮影されて前記表示手段に表示される前記観察画像のうち、前記視線方向検出部によって検出された視線方向に位置する領域に、前記注目領域を設定することを特徴とする観察システム。
  6. 　請求項４または５に記載の観察システムであって、
    　前記制御部は、
    　前記観察光学系のフォーカス状態の取得結果に基づく前記注目領域の自動ピント調整を実行する実行モード、および、前記自動ピント調整を停止させる停止モードを含む複数のモードのいずれかの選択指示を受け付けると共に、
    　選択されたモードに応じて前記自動ピント調整の動作を制御することを特徴とする観察システム。
  7. 　請求項６に記載の観察システムであって、
    　前記実行モードには、トリガ信号が入力された場合に前記自動ピント調整を実行する信号入力時実行モードが含まれており、
    　前記制御部は、前記信号入力時実行モードが選択されている場合、
    　前記トリガ信号が入力されたことを契機として、前記検出手段による検出結果に基づいて前記注目領域を設定し、且つ、前記観察光学系のフォーカス状態の取得結果に基づいて前記注目領域のピントを調整することを特徴とする観察システム。
  8. 　請求項６または７に記載の観察システムであって、
    　前記実行モードには、前記自動ピント調整を常に実行する常時実行モードが含まれており、
    　前記制御部は、前記常時実行モードが選択されている場合、前記注目領域の設定および前記注目領域のピント調整を、常に、または断続的に実行することを特徴とする観察システム。
  9. 　請求項４から８のいずれかに記載の観察システムであって、
    　前記制御部は、
    　前記撮影素子からの信号のうち、設定した前記注目領域内における信号に基づいて、前記観察光学系のフォーカス状態を取得することを特徴とする観察システム。
  10. 　請求項４から９のいずれかに記載の観察システムであって、
    　前記制御部は、
    　前記観察光学系のフォーカス状態の取得結果に基づくピント位置に対する、ユーザが所望するピント位置のオフセット量の入力を受け付けると共に、
    　前記観察光学系のフォーカス状態の取得結果に基づくピント位置から、入力された前記オフセット量だけずれた位置にピントを合わせることを特徴とする観察システム。
  11. 　請求項４から１０のいずれかに記載の観察システムであって、
    　ＯＣＴ信号を取得するＯＣＴ部をさらに備え、
    　前記ＯＣＴ部は、
    　ＯＣＴ光源と、
    　前記ＯＣＴ光源から出射された光束を測定光束と参照光束に分割する光分割器と、
    　前記参照光束と、前記生体で反射した測定光束の合成によって得られる干渉光を受光する受光素子と、
    　前記測定光束の光路上、および前記参照光束の光路上の少なくともいずれかに設けられ、前記測定光束と前記参照光束の光路長差を調整する光路長差調整部と、
    　を備え、
    　前記制御部は、
    　前記ＯＣＴ部が前記測定光束を走査させる位置を、前記検出手段による検出結果に基づいて設定し、
    　前記注目領域におけるフォーカス状態の変化に応じて、前記ＯＣＴ部における前記光路長差調整部を駆動させることを特徴とする観察システム。
  12. 　観察システムを制御する制御装置において実行される観察制御プログラムであって、
    　前記観察システムは、
    　前記生体からの観察光束を導光する観察光学系と、
    　前記観察光学系によって導光された前記観察光束を受光することで、前記生体の観察画像を撮影する撮影素子と、
    　前記観察光学系における前記観察光束の光路上に設けられ、前記観察光学系のフォーカスを調整する観察フォーカス調整部と、
    　前記ユーザの視線方向、前記ユーザが発生させた音声、および前記ユーザのジェスチャーの少なくともいずれかを検出する検出手段と、
    　を備え、
    　前記観察制御プログラムが前記制御装置の制御部によって実行されることで、
    　前記撮影素子によって撮影された前記観察画像を表示手段に表示させるステップ、
    　前記検出手段による検出結果に基づいて前記観察フォーカス調整部を駆動させることで、前記観察画像において前記ユーザが注目する注目領域のピントを調整するステップ、
    　を前記制御装置に実行させることを特徴とする観察制御プログラム。

     
PCT/JP2017/043260 2016-12-06 2017-12-01 観察システムおよび観察制御プログラム WO2018105512A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018554970A JP6939815B2 (ja) 2016-12-06 2017-12-01 観察システムおよび観察制御プログラム
US16/432,189 US11134842B2 (en) 2016-12-06 2019-06-05 Observation system and non-transitory computer-readable medium storing computer-readable instructions

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016236608 2016-12-06
JP2016-236608 2016-12-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/432,189 Continuation US11134842B2 (en) 2016-12-06 2019-06-05 Observation system and non-transitory computer-readable medium storing computer-readable instructions

Publications (1)

Publication Number Publication Date
WO2018105512A1 true WO2018105512A1 (ja) 2018-06-14

Family

ID=62491125

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/043260 WO2018105512A1 (ja) 2016-12-06 2017-12-01 観察システムおよび観察制御プログラム

Country Status (3)

Country Link
US (1) US11134842B2 (ja)
JP (1) JP6939815B2 (ja)
WO (1) WO2018105512A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149606A (zh) * 2020-10-02 2020-12-29 深圳市中安视达科技有限公司 医用手术显微镜智能控制方法、系统及可读存储介质
WO2024029359A1 (ja) * 2022-08-05 2024-02-08 株式会社トプコン 眼科装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021121821A (ja) * 2018-05-07 2021-08-26 ソニーグループ株式会社 眼科手術顕微鏡システム、制御装置及び制御方法
WO2020194845A1 (ja) * 2019-03-26 2020-10-01 富士フイルム株式会社 画像転送装置、方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007534428A (ja) * 2004-04-30 2007-11-29 キム，ボンヒョン 映像取得／出力装置及びこれを用いた眼科手術用の画像システム
JP2011200533A (ja) * 2010-03-26 2011-10-13 Fujifilm Corp 超音波診断装置
JP2014207976A (ja) * 2013-03-28 2014-11-06 株式会社ニデック 医療用観察装置および医療用画像処理プログラム
JP2015163092A (ja) * 2014-02-28 2015-09-10 株式会社ニデック 眼科用レーザ手術装置、およびそれに用いられる眼球固定部移動ユニット、眼球固定ユニット
JP2016030029A (ja) * 2014-07-28 2016-03-07 キヤノン株式会社 眼科装置、眼科装置の制御方法およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004020730A (ja) * 2002-06-13 2004-01-22 Nikon Vision Co Ltd 像安定化装置
JP6279682B2 (ja) * 2012-10-01 2018-02-14 株式会社トプコン 眼科観察装置
EP2913036A1 (en) 2014-02-28 2015-09-02 Nidek co., Ltd. Ophthalmic laser surgery apparatus, and eyeball fixing portion movement unit and eyeball fixing unit used in the same
JP2016202453A (ja) * 2015-04-20 2016-12-08 株式会社トプコン 眼科手術用顕微鏡

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007534428A (ja) * 2004-04-30 2007-11-29 キム，ボンヒョン 映像取得／出力装置及びこれを用いた眼科手術用の画像システム
JP2011200533A (ja) * 2010-03-26 2011-10-13 Fujifilm Corp 超音波診断装置
JP2014207976A (ja) * 2013-03-28 2014-11-06 株式会社ニデック 医療用観察装置および医療用画像処理プログラム
JP2015163092A (ja) * 2014-02-28 2015-09-10 株式会社ニデック 眼科用レーザ手術装置、およびそれに用いられる眼球固定部移動ユニット、眼球固定ユニット
JP2016030029A (ja) * 2014-07-28 2016-03-07 キヤノン株式会社 眼科装置、眼科装置の制御方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149606A (zh) * 2020-10-02 2020-12-29 深圳市中安视达科技有限公司 医用手术显微镜智能控制方法、系统及可读存储介质
WO2024029359A1 (ja) * 2022-08-05 2024-02-08 株式会社トプコン 眼科装置

Also Published As

Publication number Publication date
US11134842B2 (en) 2021-10-05
JPWO2018105512A1 (ja) 2020-01-16
JP6939815B2 (ja) 2021-09-22
US20190282091A1 (en) 2019-09-19

Similar Documents

Publication Publication Date Title
JP6922358B2 (ja) 生体観察システムおよび生体観察制御プログラム
US11134842B2 (en) Observation system and non-transitory computer-readable medium storing computer-readable instructions
US10456034B2 (en) Ophthalmic microscope system
US9662013B2 (en) Ophthalmic microscope
JP5850349B2 (ja) 眼科撮影装置
US10383517B2 (en) Ophthalmic operation microscope
JP6734642B2 (ja) 眼科装置
JP2018051210A (ja) 眼科手術システム、眼科手術システム制御プログラム、および眼科用手術顕微鏡
JP6604020B2 (ja) 眼底撮像装置及び眼底撮像プログラム
JP6421919B2 (ja) 眼科撮影装置
US10448827B2 (en) Ophthalmologic imaging apparatus
WO2016170815A1 (ja) 眼科手術用顕微鏡
JP2017169672A (ja) 眼科撮影装置
JP2020500593A (ja) 最適化された光干渉断層撮影のための可視化システム及び方法
JP6754096B2 (ja) 眼科用観察システムおよび眼科用観察制御プログラム
JP6736304B2 (ja) 眼科撮影装置
JP6711638B2 (ja) 眼科装置
US20220117486A1 (en) Ophthalmic apparatus, method for controlling ophthalmic apparatus, and storage medium
JP6916011B2 (ja) 眼科装置
JP2022114614A (ja) 眼科装置及びその制御方法、並びに、プログラム
JP2019063268A (ja) 眼科撮影装置
JP2017046883A (ja) 角膜内皮細胞撮影装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17877419

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018554970

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17877419

Country of ref document: EP

Kind code of ref document: A1