WO2018179681A1 - 医療用観察装置及び観察視野補正方法 - Google Patents

医療用観察装置及び観察視野補正方法 Download PDF

Info

Publication number
WO2018179681A1
WO2018179681A1 PCT/JP2018/000812 JP2018000812W WO2018179681A1 WO 2018179681 A1 WO2018179681 A1 WO 2018179681A1 JP 2018000812 W JP2018000812 W JP 2018000812W WO 2018179681 A1 WO2018179681 A1 WO 2018179681A1
Authority
WO
WIPO (PCT)
Prior art keywords
observation
unit
visual field
observation visual
treatment tool
Prior art date
Application number
PCT/JP2018/000812
Other languages
English (en)
French (fr)
Inventor
嗣典 田口
Original Assignee
ソニー・オリンパスメディカルソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー・オリンパスメディカルソリューションズ株式会社 filed Critical ソニー・オリンパスメディカルソリューションズ株式会社
Priority to US16/492,945 priority Critical patent/US20200015655A1/en
Priority to EP18776589.6A priority patent/EP3603562B1/en
Priority to JP2019508595A priority patent/JP6965338B2/ja
Publication of WO2018179681A1 publication Critical patent/WO2018179681A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • A61B90/25Supports therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00016Operational features of endoscopes characterised by signal transmission using wireless means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00018Operational features of endoscopes characterised by signal transmission using electrical cables
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00025Operational features of endoscopes characterised by power management
    • A61B1/00036Means for power saving, e.g. sleeping mode
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051Details of CCD assembly
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/02Surgical instruments, devices or methods, e.g. tourniquets for holding wounds open; Tractors
    • A61B17/0218Surgical instruments, devices or methods, e.g. tourniquets for holding wounds open; Tractors for minimally invasive surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/28Surgical forceps
    • A61B17/29Forceps for use in minimally invasive surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00367Details of actuation of instruments, e.g. relations between pushing buttons, or the like, and activation of the tool, working tip, or the like
    • A61B2017/00398Details of actuation of instruments, e.g. relations between pushing buttons, or the like, and activation of the tool, working tip, or the like using powered actuators, e.g. stepper motors, solenoids
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/371Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/372Details of monitor hardware
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B2090/508Supports for surgical instruments, e.g. articulated arms with releasable brake mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Definitions

  • the present disclosure relates to a medical observation apparatus and an observation visual field correction method.
  • an observation device for magnifying an affected part is used.
  • the observation apparatus is configured by a microscope unit supported by an arm unit (support unit).
  • an observation apparatus including an optical microscope unit (hereinafter also referred to as an optical observation apparatus) is the mainstream.
  • an optical observation apparatus In an operation using an optical observation device, an operator performs various treatments on the affected area with a treatment tool while looking directly into the affected area from an eyepiece provided on the microscope area and magnifying the affected area. I do.
  • observation visual field the visual field obtained by the operator through the microscope unit of the observation apparatus.
  • observation visual field corresponds to a range in which the operator can observe by looking into the optical microscope section.
  • observation visual field corresponds to the range of the display image (the range of the image displayed on the display device).
  • Patent Document 2 discloses position detection means for acquiring position information of a treatment tool based on an image photographed by an endoscope, and information on the position information.
  • an endoscope apparatus includes a control unit that drives the imaging optical system of the endoscope to change the imaging range so that the distal end portion of the treatment instrument is positioned at substantially the center of the display image.
  • the imaging range can be automatically changed so that the distal end portion of the treatment tool is always included in the imaging range of the endoscope. Therefore, since it is not necessary to manually operate the endoscope so that a desired image can be obtained, it becomes possible to proceed with the surgery smoothly.
  • Patent Document 2 relates to an endoscope apparatus. Therefore, even if the technology is applied to the observation apparatus as it is, the same effect is not always obtained.
  • the present disclosure proposes a new and improved medical observation apparatus and observation field correction method capable of proceeding with surgery more smoothly.
  • an image capturing unit that acquires captured image data that is data about a captured image obtained by capturing an observation target, a support unit that supports the image capturing unit, and a trigger that is a predetermined operation regarding the operation of the image capturing unit.
  • the trigger operation is detected by a trigger operation detection unit that detects an operation, a treatment tool recognition unit that recognizes a form of a treatment tool included in the captured video based on the captured video data, and the trigger operation detection unit.
  • An observation visual field correction unit that corrects an observation visual field that is a range of a display image displayed on a display device based on the captured video data, based on the form of the treatment tool recognized by the treatment tool recognition unit.
  • a medical observation device is provided.
  • a trigger operation that is a predetermined operation related to the operation of the imaging unit supported by the support unit, and to acquire data about a captured image obtained by capturing the observation target acquired by the imaging unit. Recognizing the form of the treatment tool included in the photographed video based on certain photographed video data, and when the trigger operation is detected, based on the recognized form of the treatment tool, the captured video data And correcting an observation visual field that is a range of a display image displayed on the display device based on the observation visual field correction method.
  • the form of the recognized treatment tool Based on this, the observation visual field is corrected. Therefore, when the predetermined operation is performed and the imaging unit is operated, it is possible to obtain an appropriate observation visual field for continuing the operation without the user performing additional work. Therefore, a smoother progression of surgery can be realized.
  • FIG. 1 is a diagram schematically illustrating a configuration example of an observation system and an observation apparatus according to the first embodiment.
  • an observation system 1 includes an electronic imaging observation device 10 for magnifying and observing an affected area of a patient, and a display device 20 that displays an image captured by the observation device 10. And.
  • the observation system 1 is a medical observation system for observing an observation target site (operation target site or test target site) that is a part of a patient's body when performing a medical action such as surgery or examination.
  • the surgeon observes the observation target part through an image captured by the observation device 10 and displayed on the display device 20, and performs various treatments on the observation target part as necessary.
  • the observation target site (surgery target site) is also referred to as an affected part.
  • the display device 20 displays an image captured by the observation device 10 under the control of the control device 150 of the observation device 10 described later.
  • the display device 20 is installed in a place that can be visually recognized by an operator in the operating room, such as a wall surface of the operating room.
  • the type of the display device 20 is not particularly limited. Examples of the display device 20 include various known devices such as a CRT (Cathode Ray Tube) display device, a liquid crystal display device, a plasma display device, and an EL (Electro-Luminescence) display device.
  • a display device may be used.
  • the display device 20 does not necessarily have to be installed in the operating room, and is mounted on a device worn by an operator such as a head mounted display (HMD) or a glasses-type wearable device. May be.
  • HMD head mounted display
  • a glasses-type wearable device May be.
  • the imaging unit of the microscope unit 110 of the observation apparatus 10 is configured as a stereo camera or configured to be capable of high-resolution imaging
  • 3D display is possible correspondingly.
  • a display device 20 capable of displaying at high resolution can be used.
  • the observation apparatus 10 includes a microscope unit 110 for magnifying and observing an affected part of a patient, an arm unit 120 (support unit 120) that supports the microscope unit 110, and a base end of the support unit 120, and the microscope unit 110 and the support unit. And a control unit 150 that controls operations of the observation system 1 and the observation apparatus 10.
  • a direction perpendicular to the floor on which the observation apparatus 10 is installed is defined as a Z-axis direction.
  • the Z-axis direction is also referred to as the vertical direction.
  • the direction orthogonal to the Z-axis direction and extending from the base portion 5315 to the support portion 120 is defined as the X-axis direction.
  • the X-axis direction is also referred to as the front-rear direction.
  • a direction orthogonal to the X-axis direction and the Z-axis direction is defined as a Y-axis direction.
  • the Y-axis direction is also referred to as the left-right direction.
  • a plane parallel to the XY plane is also called a horizontal plane, and a direction parallel to the horizontal plane is also called a horizontal direction.
  • the base unit 5315 supports the microscope unit 110 and the support unit 120.
  • the base portion 5315 includes a gantry having a plate-like shape and a plurality of casters provided on the lower surface of the gantry.
  • One end of the support unit 120 is connected to the upper surface of the gantry, and the microscope unit 110 is connected to the other end (tip) of the support unit 120 extending from the gantry.
  • the observation apparatus 10 is configured to be in contact with the floor surface via a caster and to be movable on the floor surface by the caster.
  • the microscope unit 110 is an electronic imaging microscope unit.
  • the optical axis direction of the microscope unit 110 substantially matches the Z-axis direction.
  • the microscope unit 110 includes a cylindrical part 5305 that is a casing having a substantially cylindrical shape, and an imaging unit (not shown) provided in the cylindrical part 5305.
  • the light (observation light) from the observation target enters the imaging unit from the opening surface at the lower end of the cylindrical portion 5305.
  • the imaging unit includes an imaging element and an optical system that collects observation light on the imaging element, and the observation light incident on the imaging unit is collected on the light receiving surface of the imaging element via the optical system. To be lighted.
  • the observation light is photoelectrically converted by the imaging device, whereby data (video data) related to the video to be observed is acquired.
  • the video data acquired by the imaging unit is transmitted to the control device 150.
  • the imaging unit may have a drive mechanism that moves the zoom lens and focus lens of the optical system along the optical axis. By appropriately moving the zoom lens and the focus lens by the driving mechanism, the magnification of the captured image and the focus at the time of imaging can be adjusted respectively.
  • the imaging unit may be equipped with various functions that can be generally provided in an electronic imaging microscope unit, such as an AE (Auto Exposure) function and an AF (Auto Focus) function.
  • the imaging unit may be configured as a so-called single-plate imaging unit having one imaging element, or may be configured as a so-called multi-plate imaging unit having a plurality of imaging elements.
  • the imaging unit includes, for example, a pair of imaging elements for acquiring right-eye and left-eye image signals corresponding to stereoscopic vision (3D display). It may be configured as follows. By performing the 3D display, the surgeon can more accurately grasp the depth of the living tissue in the affected area.
  • 3D display stereoscopic vision
  • the image pickup device mounted on the image pickup unit may be various known image pickup devices such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • an operation unit 5307 for controlling the operation of the microscope unit 110 is provided on the outer wall of the cylindrical unit 5305.
  • the operation unit 5307 is configured by, for example, a cross lever or a switch.
  • the operation unit 5307 can be provided with a zoom switch (zoom SW) and a focus switch (focus SW).
  • the surgeon can input an instruction to adjust the magnification and focus of the microscope unit 110 via the zoom SW and the focus SW, respectively.
  • the magnification ratio and the focus can be adjusted by appropriately moving the zoom lens and the focus lens by the drive mechanism of the imaging unit in accordance with the instruction input via the zoom SW and the focus SW.
  • an operation in which the surgeon attempts to change the enlargement magnification in the microscope unit 110 that is, the enlargement magnification in the imaging unit
  • the zoom operation can be an operation for designating an enlargement magnification via the zoom SW.
  • the operation unit 5307 may be provided with an operation mode switching switch (operation mode switching SW).
  • the surgeon can input an instruction to switch the operation mode of the support unit 120 to either the free mode or the fixed mode via the operation mode switching SW.
  • the fixed mode is an operation mode in which the position and orientation of the microscope unit 110 are fixed by restricting the rotation of each rotation shaft of the support unit 120 by a brake.
  • the free mode is an operation mode in which each rotation shaft of the support portion 120 can freely rotate by releasing the brake.
  • the position and posture of the microscope unit 110 can be adjusted by a direct operation by an operator.
  • the direct operation means an operation in which an operator holds the microscope unit 110 by hand and moves the microscope unit 110 directly.
  • the operation mode of the support unit 120 is in the free mode while the operator presses the operation mode switching SW in the operation unit 5307, and the support unit 120 is operated while the operator releases the operation mode switching SW.
  • the operation mode becomes the fixed mode.
  • the microscope unit 110 is moved in a direct operation, that is, in a state where the operator holds the cylindrical unit 5305.
  • a mode of movement is assumed. Therefore, the operation unit 5307 (especially the operation mode switching SW) can be easily operated with a finger while the operator holds the tubular part 5305 so that the operation part 5307 can be operated even while the operator moves the tubular part 5305. It is preferable to be provided at a position where it is easy to operate.
  • the support unit 120 moves the microscope unit 110 three-dimensionally and fixedly supports the position and posture of the microscope unit 110 after the movement.
  • the support part 120 is configured as an arm having six degrees of freedom.
  • the second embodiment is not limited to such an example, and the support unit 120 may be configured so as to be able to move the microscope unit 110 as appropriate according to the application, and has other different numbers of degrees of freedom. May be configured.
  • the support unit 120 includes six rotation axes (first axis O 1 , second axis O 2 , third axis O 2 , fourth axis O 4 , fifth axis O 5, and sixth axis corresponding to six degrees of freedom. O 6 ) is provided.
  • rotation shaft portion members constituting each rotation shaft are collectively referred to as a rotation shaft portion.
  • the rotating shaft portion can be configured by a bearing, a shaft that is rotatably inserted into the bearing, a brake that restricts rotation of the rotating shaft, and the like.
  • the support unit 120 includes a plurality of rotation shaft portions (first rotation shaft portion 5311a to sixth rotation shaft portion 5311f) in which a plurality of links (first arm portion 5313a to sixth arm portion 5313f) correspond to six rotation shafts. Are configured to be connected to each other so as to be rotatable.
  • the first rotating shaft portion 5311a has a substantially columnar shape, and at the tip (lower end), the upper end of the cylindrical portion 5305 of the microscope unit 110 is parallel to the central axis of the cylindrical portion 5305 (first shaft). It is supported so as to be rotatable about an axis O 1 ).
  • the first rotation shaft portion 5311 a may be configured such that the first axis O 1 coincides with the optical axis of the imaging unit of the microscope unit 110. With this configuration, the field of view can be changed to rotate the captured image by rotating the microscope unit 110 around the first axis O 1 .
  • the first arm portion 5313a fixedly supports the first rotating shaft portion 5311a at the tip. More specifically, the first arm portion 5313a is a rod-shaped member having a substantially L-shaped, while stretching in the direction in which one side of the front end side is perpendicular to the first axis O 1, the end portion of the one side is first It connects to the 1st rotating shaft part 5311a so that it may contact
  • a second rotating shaft portion 5311b is connected to an end portion on the other side of the substantially L-shaped base end side of the first arm portion 5313a.
  • the second rotating shaft portion 5311b has a substantially columnar shape, and the proximal end of the first arm portion 5313a is rotated around the rotating shaft (second axis O 2 ) orthogonal to the first axis O 1 at the tip. Support as possible.
  • the distal end of the second arm portion 5313b is fixedly connected to the proximal end of the second rotating shaft portion 5311b.
  • the second arm portion 5313b is a rod-shaped member having a substantially L-shaped, while stretching in the direction in which one side of the front end side is perpendicular to the second axis O 2, the ends of the one side and the second rotation shaft Fixedly connected to the base end of 5311b.
  • a third rotating shaft portion 5311c is connected to the other side of the substantially L-shaped base end side of the second arm portion 5313b.
  • the third rotation shaft portion 5311c has a substantially columnar shape, and at its tip, the base end of the second arm portion 5313b is a rotation shaft (third axis) orthogonal to the first axis O 1 and the second axis O 2. O 3 ) is supported so as to be rotatable around.
  • the distal end of the third arm portion 5313c is fixedly connected to the proximal end of the third rotating shaft portion 5311c.
  • the microscope unit 110 is moved so as to change the position of the microscope unit 110 in the horizontal plane by rotating the configuration on the distal end side including the microscope unit 110 around the second axis O 2 and the third axis O 3. Can be made. That is, by controlling the rotation around the second axis O 2 and the third axis O 3 , the field of view of the captured image can be moved in a plane.
  • the third arm portion 5313c is configured such that the distal end side thereof has a substantially cylindrical shape, and the proximal end of the third rotating shaft portion 5311c has substantially the same central axis at the distal end of the cylindrical shape. Are fixedly connected.
  • the base end side of the third arm portion 5313c has a prismatic shape, and the fourth rotating shaft portion 5311d is connected to the end portion.
  • the fourth rotation shaft portion 5311d has a substantially columnar shape, and the base end of the third arm portion 5313c rotates around the rotation shaft (fourth axis O 4 ) orthogonal to the third axis O 3 at the tip. Support as possible.
  • the distal end of the fourth arm portion 5313d is fixedly connected to the proximal end of the fourth rotating shaft portion 5311d.
  • the fourth arm portion 5313d is a rod-shaped member extending substantially in a straight line, while stretched so as to be orthogonal to the fourth axis O 4, the end portion of the leading end of the substantially cylindrical shape of the fourth rotation shaft 5311d It is fixedly connected to the fourth rotating shaft portion 5311d so as to contact the side surface.
  • a fifth rotating shaft portion 5311e is connected to the base end of the fourth arm portion 5313d.
  • the fifth rotation shaft portion 5311e has a substantially cylindrical shape, and on the tip side thereof, the base end of the fourth arm portion 5313d is rotated around a rotation shaft (fifth axis O 5 ) parallel to the fourth axis O 4. Support movably.
  • the distal end of the fifth arm portion 5313e is fixedly connected to the proximal end of the fifth rotating shaft portion 5311e.
  • the fourth axis O 4 and the fifth axis O 5 are rotation axes that can move the microscope unit 110 in the vertical direction. By rotating the distal end of the side structure including a microscope unit 110 around the fourth shaft O 4 and the fifth axis O 5, the height of the microscope section 110, i.e., adjusting the distance between the observation target and the microscope section 110 Can do.
  • the fifth arm portion 5313e includes a first member having a substantially L shape in which one side extends in the vertical direction and the other side extends in the horizontal direction, and a downward downward direction from a portion extending in the horizontal direction of the first member. And a rod-shaped second member extending in the direction.
  • the base end of the fifth rotating shaft portion 5311e is fixedly connected in the vicinity of the upper end of the portion of the fifth arm portion 5313e extending in the vertical direction of the first member.
  • a sixth rotating shaft portion 5311f is connected to the base end (lower end) of the second member of the fifth arm portion 5313e.
  • the sixth rotation shaft portion 5311f has a substantially cylindrical shape, and on the tip side thereof, the base end of the fifth arm portion 5313e can be rotated around a rotation shaft (sixth axis O 6 ) parallel to the vertical direction. To support. The distal end of the sixth arm portion 5313f is fixedly connected to the proximal end of the sixth rotating shaft portion 5311f.
  • the sixth arm portion 5313f is a rod-like member extending in the vertical direction, and the base end thereof is fixedly connected to the upper surface of the base portion 5315.
  • the rotatable range of the first rotating shaft portion 5311a to the sixth rotating shaft portion 5311f is appropriately set so that the microscope unit 110 can perform a desired movement.
  • a motion of a total of 6 degrees of freedom of a translational 3 degree of freedom and a rotational 3 degree of freedom can be implement
  • the support unit 120 by configuring the support unit 120 so that six degrees of freedom regarding the movement of the microscope unit 110 is realized, the position and orientation of the microscope unit 110 can be freely controlled within the movable range of the support unit 120. It becomes possible. Therefore, the affected part can be observed from all angles, and the operation can be performed more smoothly.
  • the first rotation shaft portion 5311a to the sixth rotation shaft portion 5311f of the support portion 120 may be provided with actuators on which a drive mechanism such as a motor and an encoder for detecting a rotation angle at each joint portion are mounted. Then, the drive of each actuator provided in the first rotation shaft portion 5311a to the sixth rotation shaft portion 5311f is appropriately controlled by the control device 150, whereby the posture of the support portion 120, that is, the position and posture of the microscope portion 110 are controlled. Can be done. Specifically, the control device 150 grasps the current posture of the support unit 120 and the current position and posture of the microscope unit 110 based on information about the rotation angle of each rotation shaft portion detected by the encoder. be able to.
  • a drive mechanism such as a motor and an encoder for detecting a rotation angle at each joint portion are mounted.
  • the control device 150 uses the grasped information to control values (for example, a rotation angle or generated torque) for each rotation shaft unit that realizes movement of the microscope unit 110 according to an operation input from the operator. And the driving mechanism of each rotating shaft is driven according to the control value.
  • control values for example, a rotation angle or generated torque
  • the control method of the support unit 120 by the control device 150 is not limited, and various known control methods such as force control or position control may be applied.
  • the control method described in Patent Document 1 which is a prior application by the applicant of the present application can be used.
  • the first rotation shaft portion 5311a to the sixth rotation are performed so that the support portion 120 moves smoothly according to the external force received from the operator in a direct operation by the operator.
  • So-called power assist control in which the actuator of the shaft portion 5311f is driven may be performed.
  • the operator when position control is applied, the operator appropriately performs an operation input via an input device (not shown), and the control device 150 causes the first rotating shaft portion 5311a to 6th to correspond to the operation input.
  • the drive of the actuator of the rotating shaft part 5311f may be appropriately controlled, and the position and posture of the microscope part 110 may be controlled.
  • an input device that can be operated even if the operator has a surgical tool in his / her hand.
  • non-contact operation input may be performed based on gesture detection or gaze detection using a wearable device or a camera provided in the operating room, or based on sound detection using a microphone provided in the operating room. .
  • the support part 120 may be operated by what is called a master slave system.
  • the support unit 120 can be remotely operated by an operator via an input device installed at a location away from the operating room.
  • an operation in which the surgeon attempts to move the microscope unit 110 is also referred to as a movement operation.
  • the movement operation may include a direct operation, or may include an operation via an input device such as a foot switch, or a non-contact operation via a gesture or the like.
  • the first rotation shaft portion 5311a to the sixth rotation shaft portion 5311f are provided with brakes that restrict the rotation of the first rotation shaft portion 5311a to the sixth rotation shaft portion 5311f, respectively.
  • the driving of these brakes is controlled by the control device 150.
  • the control device 150 activates the brake of each rotating shaft unit.
  • position of the support part 120 ie, the position and attitude
  • the control device 150 may release the brake of each rotating shaft unit and drive the actuator according to a predetermined control method.
  • such a brake operation can be switched in response to an instruction input by the operator via the operation mode switching SW of the operation unit 5307 as described above.
  • these brakes are released simultaneously by control from the control device 150, so that the operation mode of the support unit 120 shifts to the free mode.
  • these brakes are simultaneously driven by the control from the control device 150, so that the operation mode of the support unit 120 shifts to the fixed mode.
  • brakes used in general observation devices may be applied as the brakes provided in the first rotating shaft portion 5311a to the sixth rotating shaft portion 5311f, and the specific mechanism is not limited.
  • these brakes may be mechanically driven or may be electromagnetic brakes that are electrically driven.
  • the configuration of the support unit 120 illustrated is merely an example, and the number and shape (length) of the links configuring the support unit 120, the number of rotation shaft units, the arrangement position, the direction of the rotation shaft, and the like are as desired. It may be appropriately designed so that the degree of freedom can be realized. However, as described above, in order to freely move the microscope unit 110, the support unit 120 is preferably configured to have at least six degrees of freedom. Moreover, as the support part 120, the structure similar to the support part of various well-known observation apparatuses may be applied.
  • an XY device capable of moving the microscope unit 110 in the X axis direction and the Y axis direction in the horizontal plane is provided. Also good.
  • the control device 150 controls the operation of the observation device 10.
  • the control device 150 also controls the operation of the display device 20. That is, the control device 150 can comprehensively control the operation of the observation system 1.
  • the control device 150 includes, for example, a processor such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor), or a control board on which these processors and a storage element such as a memory are mounted. Each function in the control device 150 is realized by a processor constituting the control device 150 executing arithmetic processing according to a predetermined program.
  • a processor such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor)
  • a control board on which these processors and a storage element such as a memory are mounted.
  • Each function in the control device 150 is realized by a processor constituting the control device 150 executing arithmetic processing according to a predetermined program.
  • the control device 150 controls the operation of the support unit 120 by operating the actuators of the first rotation shaft portion 5311a to the sixth rotation shaft portion 5311f according to a predetermined control method.
  • the control device 150 controls the driving of the brakes provided on the respective rotary shafts of the support unit 120 in accordance with the operation input of the operator via the operation unit 5307 described above, whereby the support unit 120 described above. Switch the operation mode.
  • the control device 150 appropriately drives the optical system of the imaging unit of the microscope unit 110 in accordance with an operation input from the operator via the operation unit 5307 described above, and adjusts the magnification and focus of the microscope unit 110.
  • control device 150 performs various processes such as gamma correction processing, white balance adjustment processing, enlargement processing related to the electronic zoom function, and inter-pixel correction processing on the video data transmitted from the imaging unit of the microscope unit 110.
  • Perform image processing That is, the control device 150 has a function as a CCU (Camera 1 Control Unit).
  • CCU Camera 1 Control Unit
  • various types of image processing that are generally performed to display video on the display device 20 may be performed.
  • the control device 150 transmits video data subjected to various image processing to the display device 20 and causes the display device 20 to display video captured by the microscope unit 110. Note that the communication between the control device 150 and the display device 20 may be realized by various known wired or wireless methods.
  • the video data acquired by the imaging unit of the microscope unit 110 is also referred to as captured video data
  • the video data displayed by the display device 20 that is, various types of captured video data
  • the video data after the image processing is also referred to as display video data.
  • the configuration of the observation system 1 and the observation apparatus 10 according to the first embodiment has been described above with reference to FIG. Note that the configuration of the observation apparatus 10 according to the first embodiment is not limited to that described above.
  • the observation apparatus 10 according to the first embodiment only needs to be configured so that an observation visual field correction process described later can be performed, and other configurations may be arbitrarily changed. That is, the observation apparatus 10 according to the first embodiment may have the same configuration as various known observation apparatuses except that an observation visual field correction process described later is executed.
  • FIG. 2 is a diagram showing a state of surgery using the observation system 1 shown in FIG.
  • a state in which an operator 5321 is performing an operation on a patient 5325 on a patient bed 5323 using the observation system 1 is schematically shown.
  • the illustration of the control device 150 is omitted, and the observation device 10 is shown in a simplified manner.
  • an image of the affected area photographed by the observation apparatus 10 is enlarged and displayed on the display device 20 installed on the wall of the operating room using the observation system 1.
  • the display device 20 is installed at a position facing the surgeon 5321, and the surgeon 5321 performs various treatments on the affected part while observing the state of the affected part with images projected on the display device 20. .
  • the observation system 1 is used for magnifying and observing the affected part in a microsurgery such as a brain surgery.
  • a microsurgery such as a brain surgery.
  • an affected part 212 for example, a tumor, an aneurysm, etc.
  • the zoom operation of the microscope unit 110 is frequently performed.
  • FIG. 3 is a diagram schematically illustrating an example of a positional relationship between the brain 211 and the microscope unit 110 in brain surgery.
  • the microscope unit 110 is schematically illustrated, and the photographing direction is indicated by a dotted arrow.
  • a very narrow range is displayed on the display device 20 as an observation field. Accordingly, when the microscope unit 110 is moved or the enlargement magnification is further increased in accordance with the moving operation or the zooming operation, a situation in which the affected part 212 is frequently deviated from the vicinity of the center of the observation field can occur. . In this case, it is necessary to further adjust the position and posture of the microscope unit 110 so that the affected part 212 is positioned near the center of the observation field by performing a moving operation. It can be difficult to make adjustments.
  • the microscope unit 110 is moved by an actuator by a moving operation via an input device such as a foot switch, the position and posture of the microscope unit 110 can be finely adjusted more easily than by a direct operation. However, it takes time for the surgeon himself or other medical staff to perform the moving operation.
  • the affected part 212 deviates from the vicinity of the center of the observation field, the affected part 212 is changed to the observation field.
  • an operation for performing a further moving operation may occur so as to be included in. Such work may hinder smooth progress of the operation.
  • the observation visual field when the observation visual field is changed by a movement operation or a zoom operation, the observation visual field is automatically corrected so that the affected part 212 is included in the observation visual field. Is done.
  • the work for performing the further moving operation is not generated, so that the burden on the medical staff such as an operator can be reduced and the operation can proceed more smoothly.
  • control device 150 for executing the observation visual field correction process
  • FIG. 4 is a block diagram illustrating an example of a functional configuration of the control device 150 according to the first embodiment.
  • FIG. 4 for the sake of explanation, as the configuration other than the control device 150, the support unit 120 of the observation device 10 described above, the imaging unit 130 included in the microscope unit 110 of the observation device 10 (not shown in FIG. 1), and The display device 20 is also shown.
  • the fact that the support unit 120 physically supports the imaging unit 130 is represented by connecting the two by a broken line.
  • the imaging unit 130 is mounted on the microscope unit 110 shown in FIG.
  • the imaging unit 130 acquires captured video data obtained by imaging the imaging range during surgery as needed, and transmits the acquired video data to the image processing unit 151 and the treatment instrument recognition unit 154 of the control device 150 described later.
  • the display device 20 displays the video imaged by the imaging unit 130 based on the display video data generated by the image processing unit 151 of the control device 150 described later.
  • the control device 150 includes, as its functions, an image processing unit 151, a trigger operation detection unit 152, a drive control unit 153, a treatment instrument recognition unit 154, an observation visual field center target determination unit 155, and an observation visual field correction unit 156. Have.
  • the image processing unit 151 performs various types of image processing such as gamma correction processing, white balance adjustment processing, enlargement processing related to the electronic zoom function, and inter-pixel correction processing on the captured video data transmitted from the imaging unit 130. I do.
  • image processing various types of image processing that are generally performed to display video on the display device 20 may be performed.
  • the image processing unit 151 transmits captured video data (that is, display video data) subjected to various types of image processing to the display device 20, and video based on the display video data (that is, video captured by the imaging unit 130). Is displayed on the display device 20.
  • the trigger operation detection unit 152 detects an input of a trigger operation for executing the observation visual field correction process.
  • the trigger operation is an operation for changing the observation visual field by the operator.
  • the trigger operation includes a movement operation or a zoom operation.
  • the movement operation is performed by the operator in FIG. This may be an operation to change the operation mode of the support unit 120 to the free mode with respect to the operation mode switching SW of the operation unit 5307 shown.
  • the zoom operation may be an operation on the zoom SW of the operation unit 5307 shown in FIG.
  • the trigger operation may include various operations for changing the observation visual field by the operator.
  • the operation of the support unit 120 can be operated by a foot switch, a gesture, or sound
  • these operations may be included in the trigger operation.
  • what operation is included in the trigger operation may be appropriately set by the operator or the designer of the observation system 1.
  • the trigger operation detection unit 152 When the trigger operation is detected, the trigger operation detection unit 152 provides the drive control unit 153 and the treatment instrument recognition unit 154 with information indicating that the trigger operation has been detected and information about the contents of the trigger operation.
  • the drive control unit 153 controls the operation of the observation apparatus 10 so that the observation visual field can be changed according to the detected trigger operation. For example, when a movement operation is detected as a trigger operation, the drive control unit 153 controls the operation of the actuator of each rotating shaft unit of the support unit 120 and changes the position and posture of the imaging unit 130 according to the movement operation. Let Alternatively, for example, when a zoom operation is detected as a trigger operation, the drive control unit 153 controls the operation of an actuator mounted on the imaging unit 130 and configures an optical system of the imaging unit 130 according to the zoom operation. Etc. are moved to change the magnification.
  • the treatment instrument recognition unit 154 recognizes the form of the treatment instrument based on the captured video data acquired by the imaging unit 130 when a trigger operation is detected by the trigger operation detection unit 152.
  • the form of the treatment section includes the position and shape of the treatment instrument.
  • a pair of retractors for spreading the wound provided on the dura mater can be used to expose the affected area.
  • the treatment instrument recognizing unit 154 recognizes the shape of the pair of retractors and recognizes the position in the captured image based on the captured image data. Or if it is the operation
  • the treatment instrument recognizing unit 154 recognizes the shape of the energy device and the position in the captured video based on the captured video data.
  • the treatment instrument recognition unit 154 captures the image acquired by the imaging unit 130 in a state where the observation field of view is changed. The form of the treatment tool is recognized based on the video data.
  • the treatment instrument recognizing unit 154 provides information about the form of the recognized treatment instrument to the observation visual field center target determining unit 155.
  • the observation visual field center target determination unit 155 determines a target (observation visual field center target) to be positioned at the center of the observation visual field based on the recognized form of the treatment tool. Specifically, the observation visual field center target determination unit 155 estimates the relative position of the affected part with respect to the treatment tool based on the form of the treatment tool, and determines the estimated position of the affected part as the observation visual field center target. .
  • the specific method for estimating the position of the affected area may be appropriately set by the operator or the designer of the observation system 1 according to the type and use of the treatment tool. For example, in general, when a retractor can be used, it is assumed that the affected area exists at a substantially intermediate position between the pair of retractors. Therefore, when the form of the pair of retractors is recognized by the treatment instrument recognizing unit 154, for example, the observation visual field center target determining unit 155 indicates that the affected part exists at a substantially intermediate position between the pair of retractors. The estimated affected part is determined as the observation visual field center target. Or when an affected part is excised with an energy device, it is usually assumed that an affected part exists near the tip of the energy device.
  • the observation visual field center target determination unit 155 estimates that the affected part exists near the tip of the energy device, and the estimated affected part Is determined as the observation visual field center target.
  • the first embodiment is not limited to such an example, and the algorithm that the treatment instrument recognition unit 154 estimates the position of the affected part is generally assumed in the form of the treatment instrument and when the treatment instrument is used. It may be set as appropriate according to the positional relationship between the treatment tool and the affected part.
  • the observation visual field center target determination unit 155 provides the observation visual field correction unit 156 with relative position information of the determined observation visual field center target with respect to the treatment tool.
  • the observation visual field correction unit 156 Based on the relative position information of the observation visual field center target with respect to the treatment tool determined by the observation visual field center target determination unit 155, the observation visual field correction unit 156 is positioned at the approximate center of the observation visual field. Thus, the observation visual field is corrected.
  • the observation visual field correction unit 156 functions as a drive control unit 157 (hereinafter, referred to as a correction drive control unit 157 to distinguish it from the drive control unit 153), and the operation of the support unit 120 is performed. By controlling, the observation visual field is corrected.
  • the correction drive control unit 157 controls the operation of the support unit 120 so that the observation visual field center target determined by the observation visual field center target determination unit 155 is positioned substantially at the center of the observation visual field, and performs imaging.
  • the position and posture of the unit 130 are changed.
  • the correction drive control unit 157 determines the current observation visual field center target. And the relative positional relationship between the imaging unit 130 and the amount of movement of the imaging unit 130 for positioning the observation visual field center target at the approximate center of the observation visual field. Therefore, the correction drive control unit 157 can correct the observation visual field by operating the support unit 120 so as to move the imaging unit 130 (that is, the microscope unit 110) by the calculated movement amount. .
  • the correction drive control unit 157 rotates around the three axes (first axis O 1 , second axis O 2 , and third axis O 3 ) on the tip side among the rotation axes of the support unit 120. Rotation can be controlled. This is because the rotation angle around the rotation axis (that is, the image direction) of the imaging unit 130 and the position of the imaging unit 130 in the horizontal plane can be adjusted by the rotation around the rotation axis.
  • the correction drive control unit 157 operates the XY device to adjust the position of the imaging unit 130 in the horizontal plane.
  • the observation visual field may be corrected.
  • the observation visual field correction unit 156 (that is, the correction drive control unit 157) performs the imaging unit.
  • the position and orientation of 130 are controlled, and the observation visual field can be automatically changed so that the observation visual field center target, that is, the affected part is positioned at the approximate center of the observation visual field.
  • FIGS. 5 and 6 are diagrams for explaining an operation at the time of changing the observation field in a general existing observation apparatus in which the observation field correction function according to the first embodiment is not mounted.
  • FIG. 5 and 6 schematically show a display image (that is, an observation field of view) displayed on the display screen 201 of the display device 20.
  • a display image that is, an observation field of view
  • the wound provided on the dura mater is spread by the pair of retractors 202, and the affected part
  • the aneurysm 203 is exposed in the observation visual field.
  • the aneurysm 203 is located at a position away from the approximate center of the observation field.
  • the aneurysm 203 exists at the approximate center of the observation field in order to perform the treatment. Therefore, in a general existing observation apparatus, for example, after performing an enlargement operation as shown in FIG. 6, the position and posture of the imaging unit 130 are manually set so that the aneurysm 203 is located at the approximate center of the observation field. Fine tuning work can occur. At this time, since the magnification of the imaging unit 130 is large, the observation field of view changes greatly due to a slight movement of the position and orientation of the imaging unit 130. Therefore, a delicate operation is required for the work of finely adjusting the position and orientation of the imaging unit 130. As described above, in a general existing observation apparatus, a delicate work of finely adjusting the position and posture of the imaging unit 130 may occur during a zoom operation, which hinders the smooth progress of surgery. There is a fear.
  • FIG. 7 and FIG. 8 are diagrams for explaining the operation when changing the observation field of view in the observation apparatus 10 according to the first embodiment.
  • FIGS. 7 and 8 schematically show the display image (that is, the observation field of view) displayed on the display screen 201 of the display device 20 as in FIGS. 5 and 6.
  • the pair of retractors 202 are provided on the dura mater as shown in FIG.
  • the appearance of the aneurysm 203 which is the affected part is exposed in the observation visual field by spreading the created wound.
  • the aneurysm 203 is located at a position away from the approximate center of the observation field.
  • the optical system of the imaging unit 130 is operated by the drive control unit 153 of the control device 150 described above, and the observation field of view is enlarged.
  • the trigger operation detection unit 152 detects the zoom operation as a trigger operation.
  • the treatment instrument recognition unit 154 recognizes the form of the pair of retractors 202 (for convenience, this is referred to as the pair of retractors 202 in FIG. 5). It is expressed by hatching).
  • an aneurysm 203 as an affected part exists at a substantially intermediate position between the pair of retractors 202. Is guessed.
  • the observation visual field center target determination unit 155 determines the estimated position of the aneurysm 203 as the observation visual field center target.
  • the observation field center target determined by the observation field correction unit 156 (that is, the correction drive control unit 157) is positioned at the approximate center of the observation field (that is, the aneurysm 203 is positioned at the approximate center of the observation field).
  • the operation of the support unit 120 is controlled, and the position and orientation of the imaging unit 130 are adjusted.
  • the observation visual field is automatically adjusted so that the aneurysm 203 is positioned substantially at the center of the observation visual field in the enlarged observation visual field. Will be.
  • the aneurysm 203 is positioned at the approximate center of the observation field without performing the additional work of finely adjusting the position and posture of the imaging unit 130 during the zoom operation.
  • the viewing field can be automatically adjusted to be positioned. Therefore, smooth progress of the operation can be realized.
  • the trigger operation may be another operation.
  • the trigger operation may be a movement operation.
  • the position and posture of the imaging unit 130 are roughly adjusted so that the treatment tool and the affected part are included in the observation visual field by a direct operation by the operator.
  • a usage mode in which the position and orientation of the imaging unit 130 are finely adjusted so that the affected area is positioned at approximately the center of the observation visual field by the observation visual field correction processing can be assumed.
  • the retractor and the energy device are described as examples of the treatment tool recognized by the treatment tool recognition unit 154, but the first embodiment is not limited to such an example.
  • the target recognized by the treatment tool recognition unit 154 may be any treatment tool.
  • the treatment tool may be a vascular anastomosis clip.
  • the blood vessel anastomosis clip has a pair of sandwiching portions, and is used so as to sandwich each of the blood vessels between the pair of sandwiching portions while sandwiching a site where the blood vessel to be anastomosed is cut during the blood vessel anastomosis. It is done.
  • the imaging unit 130 can enlarge and observe the part to be anastomosed (that is, the part where the blood vessel is cut) as an affected part. Therefore, when the vascular anastomosis clip is recognized as a treatment tool by the treatment instrument recognition unit 154, the observation visual field center target determination unit 155 determines the approximate intermediate position between the pair of clamping parts of the vascular anastomosis clip as the position of the affected part. And determine as the observation visual field center target. As a result, the observation visual field correction unit 156 can automatically correct the observation visual field so that the site to be anastomosed becomes approximately the center of the observation visual field.
  • a series of processing from the treatment instrument recognition unit 154 to the observation visual field correction unit 156 is performed after the display image enlargement process associated with the zoom operation is performed.
  • the form is not limited to such an example.
  • the order of the order in which these processes are executed may be arbitrarily set. For example, contrary to the example described above, when a trigger operation is detected, the observation field is automatically changed after the observation field is automatically changed to position the affected part at the approximate center of the observation field.
  • the display image may be enlarged around the center.
  • these processes may be executed in parallel. For example, when a trigger operation is detected, the display image is enlarged and the observation visual field is automatically positioned so that the affected part is positioned at the approximate center of the observation visual field. Changes may be made.
  • the treatment tool recognition processing by the treatment tool recognition unit 154 and the observation visual field center target determination processing by the observation visual field center target determination unit 155 are performed as needed. It may be broken.
  • the observation visual field can be corrected based on the observation visual field center target determined most recently. In such a case, it is not necessary to perform the treatment tool recognition process and the observation visual field center target determination process again after the trigger operation is detected, so that the time for performing these processes can be saved and the observation can be performed more quickly.
  • the field of view can be corrected.
  • control device 150 can have various functions that the control device of the observation apparatus generally has.
  • the image processing unit 151 and the drive control unit 153 are not only based on the observation visual field correction process (that is, not only when the trigger operation is detected) but also from the normal time based on the captured video data.
  • a process of generating display video data and a process of controlling the operations of the support unit 120 and the imaging unit 130 in accordance with the operation of the operator can be executed.
  • the position detection unit that acquires the position information of the treatment tool based on the video imaged by the endoscope, and the distal end of the treatment tool based on the position information.
  • An endoscope apparatus includes control means for driving the imaging optical system of the endoscope so as to change the imaging range so that the portion is positioned at substantially the center of the display image. According to the endoscope apparatus, the imaging range can be automatically changed so that the distal end portion of the treatment tool is always included in the imaging range of the endoscope. Even when the technique described in Patent Document 2 is applied to the observation apparatus 10 as it is, an appropriate observation field of view may be obtained.
  • the imaging range of the endoscope is automatically changed so that the distal end portion of the treatment tool is always included. Therefore, if the treatment tool moves during the treatment, the observation visual field changes accordingly, so that the observation visual field frequently moves. Further, since the distal end portion of the treatment instrument is a target to be included in the imaging range, depending on the type and movement of the treatment instrument, a situation may occur in which the affected area itself is not included in the imaging range. Therefore, with the technique described in Patent Document 2, an appropriate observation field of view is not always obtained, and there is a risk that the surgeon may not be able to perform treatment smoothly.
  • the observation visual field is corrected (that is, the observation visual field is changed). Therefore, unnecessary movement of the observation field does not occur.
  • the treatment tool itself is not included in the observation visual field, but the observation visual field center target (that is, the affected area) estimated from the form of the treatment tool is included in the observation visual field. Therefore, the affected part can be surely included in the observation visual field.
  • the observation visual field center target that is, the affected area
  • FIG. 9 is a flowchart illustrating an example of a processing procedure of the observation visual field correction method according to the first embodiment. Note that each process illustrated in FIG. 9 corresponds to a process executed by the control device 150 illustrated in FIGS. 1 and 3. Since the details of each of these processes have already been described when the functional configuration of the control device 150 is described, the detailed description of each process is omitted in the following description of the processing procedure of the observation visual field correction method. To do. In addition, while each process shown in FIG. 9 is performed, acquisition of the captured video by the imaging unit 130 is performed as needed.
  • step S101 it is determined whether or not a trigger operation is detected.
  • the processing in step S101 corresponds to the processing executed by the trigger operation detection unit 152 shown in FIG.
  • step S101 If it is determined in step S101 that the trigger operation has not been detected, the process does not proceed to step S103 and waits until the trigger operation is detected (that is, the processing in step S101 is performed until the trigger operation is detected). Repeated).
  • step S101 If it is determined in step S101 that a trigger operation has been detected, the process proceeds to step S103.
  • step S103 the operation of the imaging unit 130 is controlled according to the trigger operation.
  • the position and orientation of the imaging unit 130 can be controlled by operating the support unit 120.
  • the magnification factor can be controlled by operating a lens or the like constituting the optical system of the imaging unit 130.
  • step S105 the form of the treatment tool is recognized based on the captured video data.
  • the processing in step S105 corresponds to the processing executed by the treatment instrument recognition unit 154 shown in FIG.
  • step S107 the observation visual field center target is determined based on the recognized form of the treatment tool (step S107).
  • step S107 specifically, the position of the affected area is estimated based on the recognized form of the treatment tool, and the estimated position of the affected area is determined as the observation visual field center target.
  • the processing in step S107 corresponds to the processing executed by the observation visual field center target determination unit 155 shown in FIG.
  • step S109 corresponds to the processing executed by the observation visual field correction unit 156 (that is, the correction drive control unit 157) shown in FIG.
  • the processing procedure of the observation visual field correction method according to the first embodiment has been described above.
  • the processing in steps S105 to S109 control processing of the operation of the imaging unit 130 in response to the trigger operation
  • the processing in steps S105 to S109 treatment tool recognition processing, observation field of view
  • the central target determination process and the observation visual field correction process are performed, but the first embodiment is not limited to such an example.
  • the processing in step S103 and the processing in steps S105 to S109 may be executed in the reverse order of the order shown, or may be executed in parallel. Further, the processing in step S105 (processing tool recognition processing) and the processing in step S107 (observation visual field center target determination processing) may be performed prior to the processing in step S101 (trigger operation detection processing).
  • FIG. 10 is a block diagram illustrating an example of a functional configuration of the control device 150a according to the second embodiment.
  • the imaging unit 130 (not shown in FIG. 1) and the display device 20 included in the microscope unit 110 of the observation apparatus 10 illustrated in FIG. 1 are combined as a configuration other than the control device 150 a. Show.
  • the imaging unit 130 acquires captured video data obtained by capturing the imaging range during surgery at any time, and the acquired captured video data is used for a treatment instrument recognition unit 154 and an observation visual field of the control device 150a described later. It transmits to the correction
  • the display device 20 displays the video imaged by the imaging unit 130 based on display video data generated by an observation visual field correction unit 156a (corrected image processing unit 157a) of the control device 150 described later.
  • the control device 150a includes, for example, a processor such as a CPU or a DSP, or a control board on which these processors and a storage element such as a memory are mounted.
  • the control device 150a includes a trigger operation detection unit 152a, a treatment instrument recognition unit 154, an observation visual field center target determination unit 155, and an observation visual field correction unit 156a as functions thereof.
  • Each of these functions is realized by the processor constituting the control device 150a executing arithmetic processing according to a predetermined program.
  • the functions of the treatment instrument recognition unit 154 and the observation visual field center target determination unit 155 are substantially the same as those in the first embodiment, and thus detailed description thereof is omitted here. .
  • the trigger operation detection unit 152a detects the input of the trigger operation as in the first embodiment. However, in the illustrated configuration example, it is assumed that the trigger operation is a zoom operation. That is, in the illustrated configuration example, the trigger operation detection unit 152a can be configured to detect only a zoom operation as the trigger operation.
  • the trigger operation detection unit 152a provides the treatment instrument recognition unit 154 with information indicating that the trigger operation has been detected and information about the contents of the trigger operation.
  • the treatment instrument recognition unit 154 recognizes the form of the treatment instrument based on the captured video data, as in the first embodiment.
  • the observation visual field center target determination unit 155 determines the observation visual field center target based on the form of the treatment tool, as in the first embodiment.
  • the observation visual field correction unit 156a has the observation visual field center target positioned substantially at the center of the observation visual field based on the relative position information of the observation visual field central target determined with respect to the treatment tool determined by the observation visual field center target determination unit 155. Thus, the observation visual field is corrected.
  • the observation visual field correction unit 156a functions as an image processing unit 157a (hereinafter, referred to as a corrected image processing unit 157a in order to be distinguished from the image processing unit 151 illustrated in FIG. 4). Similar to the image processing unit 151 in the first embodiment, the corrected image processing unit 157a generates display video data by executing various types of image processing on the captured video data.
  • the corrected image processing unit 157a uses the electronic zoom function to cut out a part of the captured image from the captured image centered on the observation visual field center target determined by the observation visual field center target determination unit 155.
  • Display video data is generated by enlarging the clipped area at a magnification specified in the trigger operation.
  • the corrected image processing unit 157a transmits display video data generated by performing various types of image processing including enlargement processing related to the electronic zoom on the captured video data to the display device 20, and based on the display video data.
  • An image that is, an image obtained by enlarging the image captured by the imaging unit 130 by the electronic zoom function
  • the observation visual field is not enlarged by driving the optical system of the imaging unit 130 (that is, by the optical zoom function), but the electronic zoom is performed by the correction image processing unit 157a.
  • the observation field is expanded by the function.
  • the electronic zoom is executed around the observation visual field center target.
  • the display video data generated by the corrected image processing unit 157a is video data enlarged at the magnification specified in the trigger operation with the observation visual field center target (ie, the affected part) as the center.
  • the electronic zoom function can be mounted even in a general existing configuration.
  • a predetermined area centered around the approximate center of the captured video is usually cut out and enlarged from the captured video. Therefore, as in the case described with reference to FIGS. 5 and 6 above, when the affected area does not exist at the approximate center of the observation field before magnification, in the observation field after magnification by the electronic zoom function, The affected part may be present at a position greatly deviated from the center of the observation visual field. Therefore, in order to position the affected part at the approximate center of the observation visual field, an operation for finely adjusting the position and posture of the imaging unit 130 occurs.
  • the enlargement process using the electronic zoom function is performed with the affected area as the center. Therefore, the operation for fine adjustment is not generated, and the smooth execution of the operation can be realized.
  • the imaging unit 130 capable of shooting at a high resolution from the viewpoint of securing the resolution of the display video.
  • the observation field center exists at a position different from the approximate center of the captured image.
  • the area can be cut out around the target. Therefore, while the observation visual field correction process is being performed, there is a possibility that a display video showing a range different from the display video that is normally obtained depending on the position and orientation of the imaging unit 130 may be obtained. Therefore, for example, if this state continues after that, for example, when the moving operation is performed in order to observe the affected part from a different direction, the operation for moving the imaging unit 130 by the operator and the operator This is not preferable because a sensory shift exists between the displayed display image and the displayed image.
  • the observation visual field correction process while the observation visual field correction process is being performed (that is, while a predetermined region is cut out and enlarged around a position different from the approximate center of the captured image),
  • an observation field enlarged by a normal electronic zoom function mode is displayed (that is, a predetermined region centered on the approximate center of the captured image is cut out).
  • the observation field of view may be switched so that the display is enlarged.
  • a display for notifying the operator of this fact may be displayed superimposed on the display video.
  • the surgeon can grasp that the observation visual field correction processing is performed, that is, that a predetermined area is cut out and enlarged with a position different from the approximate center of the captured image as a center. . Therefore, it becomes difficult to feel the above-mentioned confusion, and it becomes possible to further improve the convenience of the surgeon.
  • the correction image processing unit 157a collectively performs the enlargement process by the electronic zoom function centering on the observation visual field center target.
  • the corrected image processing unit 157a simultaneously performs an observation visual field change process centering on the observation visual field center target and a display video enlargement process using the electronic zoom function.
  • the second embodiment is not limited to such an example.
  • the above processing by the corrected image processing unit 157a may be performed in stages. Specifically, the corrected image processing unit 157a first performs display image enlargement processing using the electronic zoom function, and then changes the observation field of view centered on the observation field center target (ie, cut out from the captured image).
  • Processing for changing the area to an area centered on the observation visual field center target may be performed.
  • the display image is first presented to the operator so that the display image is enlarged and then the observation field of view is moved, the operator performs the observation field correction process. It becomes possible to grasp more intuitively.
  • the above two processes may be performed in the reverse order.
  • the treatment tool recognition processing by the treatment tool recognition unit 154 and the observation field of view by the observation field center target determination unit 155 are performed.
  • the central target determination process may be performed at any time. In this case, when a trigger operation is detected, these processes do not need to be executed again, so the time for performing these processes can be saved and the observation field of view can be corrected more quickly. become.
  • the trigger operation is limited to the zoom operation, but the second embodiment is not limited to such an example.
  • the control device 150a is configured to generate display video data by cutting out a partial region of the captured video, for example, before the observation visual field correction process is performed (that is, before the trigger operation is detected). Is done. At this time, before the observation visual field correction process is performed, a predetermined area centered on the approximate center of the captured video is cut out and display video data can be generated.
  • the cutout position and cutout range of the captured video are changed so that a predetermined area centered on the observation visual field center target is cut, Display video data is generated for the clipped area.
  • the control device 150a is configured so as to generate a display video data by cutting out a partial region of the captured video before the observation visual field correction process is performed, an operation other than the zoom operation is set as the trigger operation. Even in this case, the observation visual field correction process can be executed by appropriately changing the cutout position and cutout range of the captured video.
  • FIG. 10 shows only functions related to the observation visual field correction processing according to the second embodiment among the functions of the control device 150a.
  • the control device 150a can have various functions that are generally included in the control device of the observation apparatus.
  • the control device 150a includes the image processing unit 151 and the drive control unit 153 as in the first embodiment, and the image processing unit 151 and the drive control unit 153 are only used when the observation visual field correction process is executed. (I.e., not only when a trigger operation is detected), but from a normal time, a process of generating display video data based on the captured video data, and a support unit 120 and an imaging unit 130 according to the operation of the surgeon.
  • Each of the processes for controlling the operation can be executed.
  • the image processing unit 151 can also execute an electronic zoom.
  • a predetermined region centered on the approximate center of the captured video is cut out in the electronic zoom.
  • the display image data can be generated by being enlarged.
  • FIG. 11 is a flowchart illustrating an example of a processing procedure of the observation visual field correction method according to the second embodiment.
  • Each process illustrated in FIG. 11 corresponds to a process executed by the control device 150a illustrated in FIG. Since details of each of these processes have already been described when the functional configuration of the control device 150a is described, in the following description of the processing procedure of the observation visual field correction method, a detailed description of each process is omitted. To do.
  • step S201 it is determined whether or not a trigger operation has been detected.
  • a zoom operation can be detected as the trigger operation.
  • the processing in step S201 corresponds to the processing executed by the trigger operation detection unit 152a shown in FIG.
  • step S201 If it is determined in step S201 that the trigger operation has not been detected, the process does not proceed to step S203, but waits until the trigger operation is detected (that is, the process in step S201 is performed until the trigger operation is detected). Repeated).
  • step S203 the form of the treatment tool is recognized based on the captured video data (step S203).
  • the processing in step S203 corresponds to the processing executed by the treatment instrument recognition unit 154 shown in FIG.
  • step S205 the observation visual field center target is determined based on the recognized form of the treatment tool (step S205).
  • step S205 specifically, the position of the affected area is estimated based on the recognized form of the treatment tool, and the estimated position of the affected area is determined as the observation visual field center target.
  • the processing in step S205 corresponds to the processing executed by the observation visual field center target determination unit 155 shown in FIG.
  • step S207 corresponds to the processing executed by the observation visual field correction unit 156a (that is, the corrected image processing unit 157a) shown in FIG.
  • step S207 The processing procedure of the observation visual field correction method according to the second embodiment has been described above.
  • enlargement processing by the electronic zoom function centered on the observation visual field center target is performed at the same time in step S207, but the second embodiment is not limited to such an example.
  • the observation visual field enlargement process by the electronic zoom function may be performed in stages.
  • the processing in step S203 (processing for recognizing the processing tool) and the processing in step S205 (processing for determining the observation visual field center target) may be performed prior to the processing in step S201.
  • the form of the treatment tool is recognized, and the position of the affected part is estimated according to the recognized form of the treatment tool. Then, the estimated position of the affected part is determined as the observation visual field center target.
  • the position of the affected part is not necessarily accurately estimated.
  • the affected part exists at a substantially intermediate position between the pair of retractors.
  • the pair of retractors and the affected part may be There is a possibility that such a positional relationship is not necessarily obtained.
  • a treatment tool for indicating the position of the affected part may be set in advance, and the position indicated by the treatment tool may be determined as the observation visual field center target.
  • the treatment tool can be a forceps.
  • the treatment instrument recognition unit 154 of the control devices 150 and 150a recognizes that the treatment instrument is a forceps and recognizes the tip position of the forceps when recognizing the form of the treatment instrument. To do. Then, the observation visual field center target determination unit 155 estimates the position indicated by the tip of the forceps as the position of the affected part, and determines the position of the affected part as the observation visual field center target.
  • the operator can specify the position of the affected area, that is, the observation visual field center target specifically, The convenience for the surgeon can be improved.
  • an operator's work of pointing to the observation visual field center target is additionally generated. This is simpler than a moving operation or the like in which the central target is positioned at the approximate center of the observation field. Therefore, even if the work is additionally generated, it does not greatly hinder the smooth progress of the operation.
  • the observation apparatus 10 is configured by mounting the actuator on all of the six rotation shaft portions, but the first and second embodiments are not limited to such an example.
  • the observation visual field correction processing according to the first and second embodiments can be applied to an observation apparatus configured as a balance arm.
  • the observation visual field correction processing according to the first embodiment is applied to an observation apparatus configured as a balance arm, at least the position of the microscope unit in the horizontal plane is adjusted in the support unit. An actuator needs to be mounted on the obtained rotating shaft.
  • the observation device 10 is an electronic imaging observation device.
  • the first embodiment is not limited to such an example.
  • the observation visual field correction processing according to the first embodiment can also be applied to an optical observation device.
  • an imaging element is mounted on the microscope unit, and the operator can visually recognize the eye with the naked eye.
  • An image that is substantially the same as the existing image and that can be displayed on the display device may exist.
  • the observation visual field correction processing according to the first embodiment described above may be executed based on acquired captured video data for sharing the visual field.
  • the control device 150 is provided as a configuration different from the microscope unit 110, the support unit 120, and the base unit 5315, but the present disclosure is not limited to such an example.
  • a processor, a control board, or the like that realizes the same function as that of the control device 150 may be disposed in the base portion 5315.
  • the control device 150 and the microscope unit 110 may be integrally configured by incorporating a processor, a control board, and the like that realize the same function as the control device 150 into the microscope unit 110.
  • the installation position of the control device 150a is not limited as well.
  • control devices 150 and 150a are not necessarily one device, and may be realized by cooperation of a plurality of devices.
  • the functions of the control devices 150 and 150a are distributed and mounted on a plurality of devices having a configuration capable of realizing these functions, and the plurality of devices cooperate with each other while exchanging various types of information.
  • the functions of the control devices 150 and 150a can be realized as a whole.
  • a processor, a control board, and the like are arranged on each rotation shaft part that constitutes the support unit 120, and the plurality of processors, the control board, and the like cooperate with each other, thereby controlling the control device 150. , 150a may be realized.
  • a computer program for realizing the functions of the control devices 150 and 150a described above can be created and mounted on a PC or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • An imaging unit that obtains captured video data that is data about the captured video of the observation target;
  • a support unit for supporting the imaging unit;
  • a trigger operation detection unit that detects a trigger operation that is a predetermined operation related to the operation of the imaging unit;
  • a treatment instrument recognition unit for recognizing a form of a treatment instrument included in the photographed video based on the photographed video data;
  • the trigger operation is detected by the trigger operation detection unit, based on the form of the treatment tool recognized by the treatment tool recognition unit, a display video displayed on the display device based on the captured video data
  • An observation field correction unit for correcting the observation field which is a range; Comprising Medical observation device.
  • the observation visual field correction unit controls the operation of the support unit and corrects the observation visual field by adjusting the position and orientation of the imaging unit.
  • the trigger operation is a zoom operation for enlarging a display image related to the observation visual field
  • the observation visual field correction unit corrects the observation visual field by adjusting a cutout position and a cutout range of the predetermined area when the predetermined area of the captured image is cut out and enlarged by the electronic zoom function.
  • An observation visual field center target determination unit that determines an observation visual field center target that is a target to be positioned at the center of the observation visual field based on the form of the treatment tool recognized by the treatment tool recognition unit;
  • the observation field correction unit corrects the observation field so that the observation field center target determined by the observation field center target determination unit is located at a substantially center of the observation field.
  • the medical observation apparatus according to any one of (1) to (3).
  • the observation visual field center target determination unit estimates a relative position of the affected part with respect to the position of the treatment tool based on the form of the treatment tool, and determines the position of the affected part as the observation visual field center target.
  • the medical observation apparatus according to (4) above.
  • the treatment instrument is a pair of retractors; The observation visual field center target determination unit estimates a substantially intermediate position between the pair of retractors as the position of the affected part, The medical observation apparatus according to (5) above.
  • the treatment device is an energy device; The observation visual field center target determination unit estimates the tip position of the energy device as the position of the affected part, The medical observation apparatus according to (5) above.
  • the treatment instrument is forceps; The observation visual field center target determination unit estimates the tip position of the forceps as the position of the affected part, The medical observation apparatus according to (5) above.
  • the trigger operation is a zoom operation for enlarging a display image related to the observation visual field,
  • the observation field correction unit corrects an observation field related to a display image enlarged by the zoom operation.
  • the medical observation apparatus according to any one of (1) to (8).
  • the trigger operation is a movement operation for moving the position and orientation of the imaging unit
  • the observation visual field correction unit corrects an observation visual field related to a display video based on the captured video data acquired by the imaging unit after being moved by the moving operation.
  • the medical observation apparatus according to any one of (1) to (8).
  • Detecting a trigger operation that is a predetermined operation related to the operation of the imaging unit supported by the support unit; Recognizing the form of the treatment tool included in the photographed video based on the photographed video data that is data about the photographed video obtained by photographing the observation target acquired by the imaging unit;
  • the trigger operation is detected, based on the recognized form of the treatment tool, correcting an observation visual field that is a display video range displayed on a display device based on the captured video data; including, Observation field correction method.

Abstract

観察対象を撮影した撮影映像についてのデータである撮影映像データを取得する撮像部と、前記撮像部を支持する支持部と、前記撮像部の動作に関する所定の操作であるトリガ操作を検出するトリガ操作検出部と、前記撮影映像データに基づいて、前記撮影映像に含まれる処置具の形態を認識する処置具認識部と、前記トリガ操作検出部によって前記トリガ操作が検出された場合に、前記処置具認識部によって認識された前記処置具の形態に基づいて、前記撮影映像データに基づいて表示装置に表示される表示映像の範囲である観察視野を補正する観察視野補正部と、を備える、医療用観察装置を提供する。

Description

医療用観察装置及び観察視野補正方法
 本開示は、医療用観察装置及び観察視野補正方法に関する。
 例えば脳神経外科等の微細な領域が対象となる外科手術(いわゆるマイクロサージェリー)において、患部を拡大観察するための観察装置が用いられている。観察装置は、アーム部(支持部)によって顕微鏡部が支持されて構成される。
 観察装置としては、光学式の顕微鏡部を備える観察装置(以下、光学式の観察装置ともいう)が主流である。光学式の観察装置を用いた手術では、術者は、顕微鏡部に設けられる接眼部から当該顕微鏡部を直接覗き込んで患部を拡大観察しながら、処置具によって当該患部に対して各種の処置を行う。
 一方、近年、画像処理技術が進歩したことや、映像の高解像度化が実現したことにより、撮像素子を有し、患部を電子的に撮影することが可能な電子撮像式の顕微鏡部を備える観察装置(以下、電子撮像式の観察装置ともいう)が開発されている(例えば、特許文献1)。電子撮像式の観察装置を用いた手術では、顕微鏡部によって撮影された映像が適宜拡大されて表示装置に表示される。術者は、その表示された映像(表示映像)によって患部及び処置具の状態を確認しながら、当該処置具によって当該患部に対して各種の処置を行う。
 なお、本明細書では、観察装置の顕微鏡部を介して術者によって得られる視野のことを、観察視野と呼称する。光学式の観察装置であれば、観察視野は、光学式の顕微鏡部を覗き込むことによって術者が観察できている範囲に対応する。電子撮像式の観察装置であれば、観察視野は、表示映像の範囲(表示装置に映し出されている映像の範囲)に対応する。
国際公開第2015/046081号 特開平9-28663号公報
 観察装置を用いた手術では、様々な方向から患部を観察するため、又は拡大倍率を変更して患部を観察するために、手術中に顕微鏡部に対する操作が頻繁に行われ得る。この際、観察装置では、患部が拡大して観察されているから、顕微鏡部に対する僅かな操作によっても観察視野が大きく移動してしまい、患部が観察視野の中心近傍から外れてしまう恐れがある。患部が観察視野の中心近傍から大きく外れてしまうと、当該患部が当該観察視野の中心近傍に位置するように顕微鏡部の位置及び姿勢を微調整する作業が生じることとなる。当該作業によって手術が中断されることは、円滑な手術の進行の妨げになるとともに、術者にとって精神的な負担となっていた。
 ここで、内視鏡下手術を支援するための技術として、特許文献2には、内視鏡によって撮影された映像に基づいて処置具の位置情報を取得する位置検出手段と、当該位置情報に基づいて、処置具の先端部分が表示映像の略中心に位置するように、当該内視鏡の撮像光学系を駆動させてその撮影範囲を変更する制御手段と、を備える内視鏡装置が開示されている。当該内視鏡装置によれば、内視鏡の撮影範囲に処置具の先端部分が常に含まれるように、自動的に当該撮影範囲が変更され得る。従って、所望の映像が得られるように人手で内視鏡を操作する必要がないため、円滑に手術を進行することが可能になる。当該特許文献2に記載の技術を観察装置に適用することにより、上述した顕微鏡部の観察視野の移動に伴う不具合を解消することができる可能性がある。
 しかしながら、特許文献2に記載の技術は、内視鏡装置に関するものである。従って、当該技術をそのまま観察装置に適用したとしても、同様の効果が得られるとは限らない。
 そこで、本開示では、手術をより円滑に進行することが可能な、新規かつ改良された医療用観察装置及び観察視野補正方法を提案する。
 本開示によれば、観察対象を撮影した撮影映像についてのデータである撮影映像データを取得する撮像部と、前記撮像部を支持する支持部と、前記撮像部の動作に関する所定の操作であるトリガ操作を検出するトリガ操作検出部と、前記撮影映像データに基づいて、前記撮影映像に含まれる処置具の形態を認識する処置具認識部と、前記トリガ操作検出部によって前記トリガ操作が検出された場合に、前記処置具認識部によって認識された前記処置具の形態に基づいて、前記撮影映像データに基づいて表示装置に表示される表示映像の範囲である観察視野を補正する観察視野補正部と、を備える、医療用観察装置が提供される。
 また、本開示によれば、支持部によって支持された撮像部の動作に関する所定の操作であるトリガ操作を検出することと、前記撮像部によって取得された観察対象を撮影した撮影映像についてのデータである撮影映像データに基づいて、前記撮影映像に含まれる処置具の形態を認識することと、前記トリガ操作が検出された場合に、認識された前記処置具の形態に基づいて、前記撮影映像データに基づいて表示装置に表示される表示映像の範囲である観察視野を補正することと、を含む、観察視野補正方法が提供される。
 本開示によれば、撮像部の動作に関する所定の操作であるトリガ操作が検出された場合に(すなわち、撮像部の動作に関する所定の操作が行われた場合に)、認識された処置具の形態に基づいて、観察視野が補正される。従って、当該所定の操作が行われ、撮像部が動作した場合に、ユーザが追加的な作業を行わなくても、手術を続行するために適切な観察視野を得ることができる。よって、手術のより円滑な進行が実現され得る。
 以上説明したように本開示によれば、手術をより円滑に進行することが可能になる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
第1の実施形態に係る観察システム及び観察装置の一構成例を概略的に示す図である。 図1に示す観察システムを用いた手術の様子を示す図である。 脳外科手術における脳と顕微鏡部との位置関係の一例を概略的に示す図である。 第1の実施形態に係る制御装置の機能構成の一例を示すブロック図である。 第1の実施形態に係る観察視野補正機能が搭載されない、一般的な既存の観察装置における観察視野の変更時の動作について説明するための図である。 第1の実施形態に係る観察視野補正機能が搭載されない、一般的な既存の観察装置における観察視野の変更時の動作について説明するための図である。 第1の実施形態に係る観察装置における観察視野の変更時の動作について説明するための図である。 第1の実施形態に係る観察装置における観察視野の変更時の動作について説明するための図である。 第1の実施形態に係る観察視野補正方法の処理手順の一例を示すフロー図である。 第2の実施形態に係る制御装置の機能構成の一例を示すブロック図である。 第2の実施形態に係る観察視野補正方法の処理手順の一例を示すフロー図である。
 以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
 1.第1の実施形態
  1-1.観察システム及び観察装置の構成
  1-2.制御装置の機能構成
  1-3.観察視野補正方法
 2.第2の実施形態
  2-1.制御装置の機能構成
  2-2.観察視野補正方法
 3.変形例
  3-1.処置具の認識処理、及び観察視野中心目標の決定処理の他の方法
  3-2.観察装置の他の構成例
 4.補足
 なお、以下の説明では、後述する観察システム及び観察装置を用いるユーザのことを、便宜的に術者と記載することとする。ただし、この記載は、観察システム及び観察装置を用いるユーザを限定するものではなく、当該観察システム及び当該観察装置を用いる主体は、助手や看護師等、他の医療スタッフであってもよい。
 (1.第1の実施形態)
 (1-1.観察システム及び観察装置の構成)
 図1を参照して、本開示の第1の実施形態に係る観察システム及び観察装置の構成について説明する。図1は、第1の実施形態に係る観察システム及び観察装置の一構成例を概略的に示す図である。
 図1を参照すると、第1の実施形態に係る観察システム1は、患者の患部を拡大観察するための電子撮像式の観察装置10と、観察装置10によって撮影された映像を表示する表示装置20と、から構成される。観察システム1は、手術又は検査等の医療行為を行う際に、患者の身体の一部である観察対象部位(手術対象部位又は検査対象部位)を観察するための医療用観察システムである。手術時又は検査時には、術者は、観察装置10によって撮影され表示装置20に表示された映像を介して、観察対象部位を観察し、必要に応じて当該観察対象部位に対して各種の処置を行う。以下では、一例として、観察システム1を用いて手術を行う場合について説明することとし、その観察対象部位(手術対象部位)のことを患部とも呼称することとする。
 (表示装置)
 表示装置20は、後述する観察装置10の制御装置150からの制御により、観察装置10によって撮影された映像を表示する。表示装置20は、例えば手術室の壁面等、手術室内において術者によって視認され得る場所に設置される。表示装置20の種類は特に限定されず、表示装置20としては、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、EL(Electro-Luminescence)ディスプレイ装置等、各種の公知の表示装置が用いられてよい。また、表示装置20は、必ずしも手術室内に設置されなくてもよく、ヘッドマウントディスプレイ(HMD:Head Mounted Display)や眼鏡型のウェアラブルデバイスのように、術者が身に付けて使用するデバイスに搭載されてもよい。
 なお、後述するように、例えば観察装置10の顕微鏡部110の撮像部がステレオカメラとして構成される場合、又は高解像度の撮影が可能に構成される場合には、それに対応して、3D表示可能な、又は高解像度での表示が可能な表示装置20が用いられ得る。
 (観察装置)
 観察装置10は、患者の患部を拡大観察するための顕微鏡部110と、顕微鏡部110を支持するアーム部120(支持部120)と、支持部120の基端が接続され顕微鏡部110及び支持部120を支持するベース部5315と、観察システム1及び観察装置10の動作を制御する制御装置150と、を備える。
 なお、以下の説明では、観察装置10が設置される床面に対して鉛直な方向をZ軸方向と定義する。Z軸方向のことを上下方向とも呼称する。また、Z軸方向と直交する方向であって、ベース部5315から支持部120が延伸する方向を、X軸方向と定義する。X軸方向のことを前後方向とも呼称する。また、X軸方向及びZ軸方向とともに直交する方向を、Y軸方向と定義する。Y軸方向のことを左右方向とも呼称する。また、X-Y平面と平行な面のことを水平面とも呼称し、当該水平面と平行な方向のこと水平方向とも呼称する。
 (ベース部)
 ベース部5315は、顕微鏡部110及び支持部120を支持する。ベース部5315は板状の形状を有する架台と、当該架台の下面に設けられる複数のキャスターと、を有する。当該架台の上面に支持部120の一端が接続され、当該架台から延伸される支持部120の他端(先端)に顕微鏡部110が接続される。また、観察装置10は、キャスターを介して床面と接地し、当該キャスターによって床面上を移動可能に構成されている。
 (顕微鏡部)
 顕微鏡部110は、電子撮像式の顕微鏡部である。図示する例では、顕微鏡部110の光軸方向は、Z軸方向と略一致している。顕微鏡部110は、略円筒形状を有する筐体である筒状部5305と、筒状部5305内に設けられる撮像部(図示せず)と、から構成される。
 筒状部5305の下端の開口面から、観察対象からの光(観察光)が撮像部に入射する。撮像部は、撮像素子と、当該撮像素子に観察光を集光する光学系と、から構成されており、撮像部に入射した観察光は、当該光学系を介して撮像素子の受光面に集光される。観察光が当該撮像素子によって光電変換されることにより、観察対象の映像に係るデータ(映像データ)が取得される。撮像部によって取得された映像データは、制御装置150に送信される。
 なお、撮像部は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有してもよい。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の拡大倍率及び撮像時のピントがそれぞれ調整され得る。また、撮像部には、AE(Auto Exposure)機能やAF(Auto Focus)機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載されてもよい。
 また、撮像部は、1つの撮像素子を有するいわゆる単板式の撮像部として構成されてもよいし、複数の撮像素子を有するいわゆる多板式の撮像部として構成されてもよい。撮像部が多板式で構成される場合には、当該撮像部は、例えば、立体視(3D表示)に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者は患部における生体組織の奥行きをより正確に把握することが可能になる。なお、当該撮像部が多板式で構成される場合には、各撮像素子に対応して、光学系も複数系統が設けられ得る。なお、撮像部に搭載される撮像素子は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ又はCCD(Charge Coupled Device)イメージセンサ等、各種の公知の撮像素子であってよい。
 顕微鏡部110において、筒状部5305の外壁には、顕微鏡部110の動作を制御するための操作部5307が設けられる。操作部5307は、例えば十字レバー又はスイッチ等によって構成される。
 例えば、操作部5307には、ズームスイッチ(ズームSW)及びフォーカススイッチ(フォーカスSW)が設けられ得る。術者は、当該ズームSW及び当該フォーカスSWを介して、顕微鏡部110の拡大倍率及びピントをそれぞれ調整する旨の指示を入力することができる。上記撮像部には、当該ズームSW及び当該フォーカスSWを介した指示入力に従って撮像部の駆動機構がズームレンズ及びフォーカスレンズを適宜移動させることにより、拡大倍率及びピントが調整され得る。なお、以下では、術者が顕微鏡部110における拡大倍率(すなわち、撮像部における拡大倍率)を変更しようとする操作のことをズーム操作とも呼称する。ズーム操作は、上記ズームSWを介した、拡大倍率を指定する旨の操作であり得る。
 また、例えば、操作部5307には、動作モード切り替えスイッチ(動作モード切り替えSW)が設けられ得る。術者は、当該動作モード切り替えSWを介して、支持部120の動作モードを、フリーモード及び固定モードのいずれかに切り替える旨の指示を入力することができる。ここで、固定モードは、支持部120の各回転軸における回転がブレーキにより規制されることにより、顕微鏡部110の位置及び姿勢が固定される動作モードである。フリーモードは、当該ブレーキが解除されることにより、支持部120の各回転軸が自由に回転可能な動作モードである。例えば、フリーモードでは、術者による直接的な操作によって顕微鏡部110の位置及び姿勢を調整可能である。ここで、直接的な操作とは、術者が手で顕微鏡部110を把持し、当該顕微鏡部110を直接移動させる操作のことを意味する。例えば、術者が操作部5307における動作モード切り替えSWを押下している間は支持部120の動作モードがフリーモードとなり、術者が当該動作モード切り替えSWから手を離している間は支持部120の動作モードが固定モードとなる。
 なお、上記のように、術者が顕微鏡部110を移動させようとする場合には、直接的な操作、すなわち当該術者が筒状部5305を握るように把持した状態で当該顕微鏡部110を移動させる様態が想定される。従って、操作部5307(特に動作モード切り替えSW)は、術者が筒状部5305を移動させている間でも操作可能なように、術者が筒状部5305を握った状態で指によって容易に操作しやすい位置に設けられることが好ましい。
 (支持部)
 支持部120は、顕微鏡部110を3次元的に移動させるとともに、移動後の顕微鏡部110について、その位置及び姿勢を固定的に支持する。第1の実施形態では、支持部120は、6自由度を有するアームとして構成されている。ただし、第2の実施形態はかかる例に限定されず、支持部120は、用途に応じて顕微鏡部110を適宜移動し得るように構成されればよく、他の異なる数の自由度を有するように構成されてもよい。
 支持部120には、6自由度に対応する6つの回転軸(第1軸O、第2軸O、第3軸O、第4軸O、第5軸O及び第6軸O)が設けられる。以下では、説明のため便宜的に、各回転軸を構成する部材をまとめて、回転軸部と呼称することとする。例えば、回転軸部は、軸受、当該軸受に回動可能に挿通されるシャフト、及び回転軸における回転を規制するブレーキ等によって構成され得る。
 支持部120は、複数のリンク(第1アーム部5313a~第6アーム部5313f)が、6つの回転軸に対応する複数の回転軸部(第1回転軸部5311a~第6回転軸部5311f)によって互いに回動可能に連結されることによって構成される。
 第1回転軸部5311aは、略円柱形状を有し、その先端(下端)で、顕微鏡部110の筒状部5305の上端を、当該筒状部5305の中心軸と平行な回転軸(第1軸O)まわりに回動可能に支持する。ここで、第1回転軸部5311aは、第1軸Oが顕微鏡部110の撮像部の光軸と一致するように構成され得る。かかる構成により、第1軸Oまわりに顕微鏡部110を回動させることにより、撮像画像を回転させるように視野を変更することが可能になる。
 第1アーム部5313aは、先端で第1回転軸部5311aを固定的に支持する。具体的には、第1アーム部5313aは略L字形状を有する棒状の部材であり、その先端側の一辺が第1軸Oと直交する方向に延伸しつつ、当該一辺の端部が第1回転軸部5311aの外周の上端部に当接するように、第1回転軸部5311aに接続される。第1アーム部5313aの略L字形状の基端側の他辺の端部に第2回転軸部5311bが接続される。
 第2回転軸部5311bは、略円柱形状を有し、その先端で、第1アーム部5313aの基端を、第1軸Oと直交する回転軸(第2軸O)まわりに回動可能に支持する。第2回転軸部5311bの基端には、第2アーム部5313bの先端が固定的に接続される。
 第2アーム部5313bは、略L字形状を有する棒状の部材であり、その先端側の一辺が第2軸Oと直交する方向に延伸しつつ、当該一辺の端部が第2回転軸部5311bの基端に固定的に接続される。第2アーム部5313bの略L字形状の基端側の他辺には、第3回転軸部5311cが接続される。
 第3回転軸部5311cは、略円柱形状を有し、その先端で、第2アーム部5313bの基端を、第1軸O及び第2軸Oと互いに直交する回転軸(第3軸O)まわりに回動可能に支持する。第3回転軸部5311cの基端には、第3アーム部5313cの先端が固定的に接続される。第2軸O及び第3軸Oまわりに顕微鏡部110を含む先端側の構成を回動させることにより、水平面内での顕微鏡部110の位置を変更するように、当該顕微鏡部110を移動させることができる。つまり、第2軸O及び第3軸Oまわりの回転を制御することにより、撮像画像の視野を平面内で移動させることが可能になる。
 第3アーム部5313cは、その先端側が略円柱形状を有するように構成されており、当該円柱形状の先端に、第3回転軸部5311cの基端が、両者が略同一の中心軸を有するように、固定的に接続される。第3アーム部5313cの基端側は角柱形状を有し、その端部に第4回転軸部5311dが接続される。
 第4回転軸部5311dは、略円柱形状を有し、その先端で、第3アーム部5313cの基端を、第3軸Oと直交する回転軸(第4軸O)まわりに回動可能に支持する。第4回転軸部5311dの基端には、第4アーム部5313dの先端が固定的に接続される。
 第4アーム部5313dは、略直線状に延伸する棒状の部材であり、第4軸Oと直交するように延伸しつつ、その先端の端部が第4回転軸部5311dの略円柱形状の側面に当接するように、第4回転軸部5311dに固定的に接続される。第4アーム部5313dの基端には、第5回転軸部5311eが接続される。
 第5回転軸部5311eは、略円柱形状を有し、その先端側で、第4アーム部5313dの基端を、第4軸Oと平行な回転軸(第5軸O)まわりに回動可能に支持する。第5回転軸部5311eの基端には、第5アーム部5313eの先端が固定的に接続される。第4軸O及び第5軸Oは、顕微鏡部110を上下方向に移動させ得る回転軸である。第4軸O及び第5軸Oまわりに顕微鏡部110を含む先端側の構成を回動させることにより、顕微鏡部110の高さ、すなわち顕微鏡部110と観察対象との距離を調整することができる。
 第5アーム部5313eは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略L字形状を有する第1の部材と、当該第1の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第2の部材と、が組み合わされて構成される。第5アーム部5313eの第1の部材の鉛直方向に延伸する部位の上端近傍に、第5回転軸部5311eの基端が固定的に接続される。第5アーム部5313eの第2の部材の基端(下端)には、第6回転軸部5311fが接続される。
 第6回転軸部5311fは、略円柱形状を有し、その先端側で、第5アーム部5313eの基端を、鉛直方向と平行な回転軸(第6軸O)まわりに回動可能に支持する。第6回転軸部5311fの基端には、第6アーム部5313fの先端が固定的に接続される。
 第6アーム部5313fは鉛直方向に延伸する棒状の部材であり、その基端はベース部5315の上面に固定的に接続される。
 第1回転軸部5311a~第6回転軸部5311fの回転可能範囲は、顕微鏡部110が所望の動きを可能であるように適宜設定されている。これにより、以上説明した構成を有する支持部120においては、顕微鏡部110の動きに関して、並進3自由度及び回転3自由度の計6自由度の動きが実現され得る。このように、顕微鏡部110の動きに関して6自由度が実現されるように支持部120を構成することにより、支持部120の可動範囲内において顕微鏡部110の位置及び姿勢を自由に制御することが可能になる。従って、あらゆる角度から患部を観察することが可能となり、手術をより円滑に実行することができる。
 支持部120の第1回転軸部5311a~第6回転軸部5311fには、モータ等の駆動機構、及び各関節部における回転角度を検出するエンコーダ等が搭載されたアクチュエータがそれぞれ設けられ得る。そして、第1回転軸部5311a~第6回転軸部5311fに設けられる各アクチュエータの駆動が制御装置150によって適宜制御されることにより、支持部120の姿勢、すなわち顕微鏡部110の位置及び姿勢が制御され得る。具体的には、制御装置150は、エンコーダによって検出された各回転軸部の回転角度についての情報に基づいて、支持部120の現在の姿勢、並びに顕微鏡部110の現在の位置及び姿勢を把握することができる。制御装置150は、把握したこれらの情報を用いて、術者からの操作入力に応じた顕微鏡部110の移動を実現するような各回転軸部に対する制御値(例えば、回転角度又は発生トルク等)を算出し、当該制御値に応じて各回転軸部の駆動機構を駆動させる。なお、この際、制御装置150による支持部120の制御方式は限定されず、力制御又は位置制御等、各種の公知の制御方式が適用されてよい。例えば、当該制御方式としては、本願出願人による先行出願である、上記特許文献1に記載の制御方式を用いることができる。
 例えば、力制御が適用される場合には、術者による直接的な操作において、当該術者から受ける外力にならってスムーズに支持部120が移動するように第1回転軸部5311a~第6回転軸部5311fのアクチュエータが駆動される、いわゆるパワーアシスト制御が行われてもよい。これにより、術者が直接的な操作において顕微鏡部110を把持して直接その位置を移動させようとする際に、比較的軽い力で顕微鏡部110を移動させることができる。従って、より直感的に、より簡易な操作で顕微鏡部110を移動させることが可能となり、術者の利便性を向上させることができる。
 あるいは、位置制御が適用される場合には、術者が、図示しない入力装置を介して適宜操作入力を行うことにより、当該操作入力に応じて制御装置150によって第1回転軸部5311a~第6回転軸部5311fのアクチュエータの駆動が適宜制御され、顕微鏡部110の位置及び姿勢が制御されてよい。なお、当該入力装置としては、術者の利便性を考慮して、例えばフットスイッチ等、術者が手に術具を有していても操作可能なものが適用されることが好ましい。また、ウェアラブルデバイスや手術室内に設けられるカメラを用いたジェスチャ検出や視線検出に基づいて、あるいは手術室内に設けられるマイクロフォンを用いた音声検出に基づいて、非接触で操作入力が行われてもよい。これにより、清潔域に属する術者であっても、不潔域に属する観察装置をより自由度高く操作することが可能になる。あるいは、支持部120は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、支持部120は、手術室から離れた場所に設置される入力装置を介して術者によって遠隔操作され得る。
 なお、以下では、術者が顕微鏡部110(すなわち、撮像部)を移動させようとする操作のことを移動操作とも呼称する。移動操作は、直接的な操作も含み得るし、フットスイッチ等の入力装置を介した操作、又はジェスチャ等を介した非接触の操作も含み得る。
 また、第1回転軸部5311a~第6回転軸部5311fには、それぞれ、第1回転軸部5311a~第6回転軸部5311fにおける回転を規制するブレーキが設けられる。これらのブレーキの駆動は、制御装置150によって制御される。例えば、顕微鏡部110の位置及び姿勢を固定したい場合には、制御装置150は各回転軸部のブレーキを作動させる。これにより、アクチュエータを駆動させなくても支持部120の姿勢、すなわち顕微鏡部110の位置及び姿勢が固定され得るため、消費電力を低減させることができる。顕微鏡部110の位置及び姿勢を変更した場合には、制御装置150は、各回転軸部のブレーキを解除し、所定の制御方式に従ってアクチュエータを駆動させればよい。
 直接的な操作においては、このようなブレーキの動作は、上述したように、操作部5307の動作モード切り替えSWを介した術者による指示入力に応じて切り替えられ得る。動作モード切り替えSWを介した術者による指示入力に応じて、制御装置150からの制御によりこれらのブレーキが一斉に解除されることにより、支持部120の動作モードがフリーモードに移行する。また、同じく、動作モード切り替えSWを介した術者による指示入力に応じて、制御装置150からの制御によりこれらのブレーキが一斉に駆動させられることにより、支持部120の動作モードが固定モードに移行する。
 なお、第1回転軸部5311a~第6回転軸部5311fに設けられるブレーキとしては、一般的な観察装置に用いられる各種のブレーキが適用されてよく、その具体的な機構は限定されない。例えば、これらのブレーキは、機械的に駆動するものであってもよいし、電気的に駆動する電磁ブレーキであってもよい。
 なお、図示する支持部120の構成はあくまで一例であり、支持部120を構成するリンクの数及び形状(長さ)、並びに回転軸部の数、配置位置及び回転軸の方向等は、所望の自由度が実現され得るように適宜設計されてよい。ただし、上述したように、顕微鏡部110を自由に動かすためには、支持部120は少なくとも6自由度を有するように構成されることが好ましい。また、支持部120としては、各種の公知の観察装置の支持部と同様の構成が適用されてよい。例えば、支持部120において、第2回転軸部5311b及び第3回転軸部5311cの代わりに、顕微鏡部110を水平面内においてX軸方向及びY軸方向に移動可能なX-Y装置が設けられてもよい。
 (制御装置)
 制御装置150は、観察装置10の動作を制御する。また、制御装置150は、表示装置20の動作も併せて制御する。つまり、制御装置150は、観察システム1の動作を統括的に制御し得る。
 制御装置150は、例えばCPU(Central Processing Unit)やDSP(Digital Signal Processor)等のプロセッサ、又はこれらのプロセッサとメモリ等の記憶素子がともに搭載された制御基板等によって構成される。制御装置150を構成するプロセッサが所定のプログラムに従って演算処理を実行することにより、制御装置150における各機能が実現される。
 制御装置150は、所定の制御方式に従って第1回転軸部5311a~第6回転軸部5311fのアクチュエータを動作させることにより、支持部120の動作を制御する。また、制御装置150は、上述した操作部5307を介した術者の操作入力に応じて、支持部120の各回転軸部に設けられるブレーキの駆動を制御することにより、上述した支持部120の動作モードを切り替える。また、制御装置150は、上述した操作部5307を介した術者の操作入力に応じて、顕微鏡部110の撮像部の光学系を適宜駆動させ、顕微鏡部110の拡大倍率及びピントを調整する。
 また、制御装置150は、顕微鏡部110の撮像部から送信される映像データに対して、例えばガンマ補正処理、ホワイトバランスの調整処理、電子ズーム機能に係る拡大処理、及び画素間補正処理等、各種の画像処理を行う。つまり、制御装置150は、CCU(Camera1 Control Unit)としての機能を有する。当該画像処理では、表示装置20に映像を表示するために一般的に行われる各種の画像処理が行われてよい。制御装置150は、各種の画像処理を施した映像データを表示装置20に送信し、顕微鏡部110によって撮影された映像を表示装置20に表示させる。なお、制御装置150と表示装置20との間の通信は、有線又は無線の各種の公知の方式によって実現されてよい。
 なお、以下では、区別のため、顕微鏡部110の撮像部によって取得された映像データのことを撮影映像データとも呼称し、表示装置20によって表示される映像データ(すなわち、撮影映像データに対して各種の画像処理が施された後の映像データ)のことを表示映像データとも呼称することとする。
 以上、図1を参照して、第1の実施形態に係る観察システム1及び観察装置10の構成について説明した。なお、第1の実施形態に係る観察装置10の構成は、以上説明したものに限定されない。第1の実施形態に係る観察装置10は、後述する観察視野補正処理が実行可能に構成されればよく、その他の構成は任意に変更されてよい。つまり、第1の実施形態に係る観察装置10は、後述する観察視野補正処理が実行されること以外は、各種の公知の観察装置と同様の構成を有してよい。
 ここで、図2は、図1に示す観察システム1を用いた手術の様子を示す図である。図2では、術者5321が、観察システム1を用いて、患者ベッド5323上の患者5325に対して手術を行っている様子を概略的に示している。なお、図2では、簡単のため、制御装置150の図示を省略し、観察装置10を簡略化して示している。
 図2に示すように、手術時には、観察システム1を用いて、観察装置10によって撮影された患部の画像が、手術室の壁面に設置される表示装置20に拡大表示される。表示装置20は、術者5321と対向する位置に設置されており、術者5321は、表示装置20に映し出された映像によって患部の様子を観察しながら、当該患部に対して各種の処置を行う。
 ここで、観察システム1は、例えば脳外科手術のようなマイクロサージェリーにおいて、患部を拡大観察するために用いられる。脳外科手術では、例えば図3に示すように、脳211の深部に位置する患部212(例えば、腫瘍や動脈瘤等)を、脳211の外部に配置される顕微鏡部110によって観察する必要があるため、当該顕微鏡部110のズーム操作が頻繁に行われる。図3は、脳外科手術における脳211と顕微鏡部110との位置関係の一例を概略的に示す図である。図3では、顕微鏡部110を模擬的に図示するとともにその撮影方向を点線の矢印で示している。
 患部212を拡大観察している状態においては、極狭い範囲が、観察視野として表示装置20に表示されていることとなる。従って、移動操作又はズーム操作に応じて、顕微鏡部110が移動したり、あるいは拡大倍率が更に大きくされたりした場合には、患部212が観察視野の中心近傍から外れてしまう事態が頻繁に生じ得る。この場合、更に移動操作を行って、患部212が観察視野の中心近傍に位置するように、顕微鏡部110の位置及び姿勢を微調整する必要が生じるが、直接的な操作によってこのような繊細な調整を行うことは難しい場合がある。一方、例えばフットスイッチ等の入力装置を介した移動操作により、アクチュエータによって顕微鏡部110を移動させれば、直接的な操作に比べれば、より容易に、顕微鏡部110の位置及び姿勢を微調整することができると考えられるが、術者自身、又は他の医療スタッフが、その移動操作を行う手間は発生する。
 このように、観察システム1を用いた手術においては、移動操作又はズーム操作によって観察視野を変更した場合に、患部212が当該観察視野の中心近傍から外れてしまうと、当該患部212が当該観察視野に含まれるように更なる移動操作を行う作業が生じる可能性がある。かかる作業は、手術の円滑な進行の妨げとなる恐れがある。
 そこで、第1の実施形態では、観察システム1において、移動操作又はズーム操作によって観察視野を変更した場合に、患部212が当該観察視野に含まれるように、自動的に当該観察視野を補正する処理が行われる。かかる観察視野補正処理が行われることにより、上記の更なる移動操作を行う作業が生じなくなるため、術者等の医療スタッフの負担が軽減し、手術をより円滑に進行することが可能になる。
 以下、かかる観察視野補正処理を実行するための、制御装置150の機能構成について説明する。
 (1-2.制御装置の機能構成)
 図4を参照して、以上説明した第1の実施形態に係る観察視野補正処理を実行するための、制御装置150の機能構成について詳細に説明する。図4は、第1の実施形態に係る制御装置150の機能構成の一例を示すブロック図である。
 なお、図4では、説明のため、制御装置150以外の構成として、上述した観察装置10の支持部120、観察装置10の顕微鏡部110が有する撮像部130(図1では図示を省略)、及び表示装置20を併せて示している。また、支持部120が撮像部130を物理的に支持していることを、模擬的に、両者を破線で接続することによって表している。
 撮像部130は、図1に示す顕微鏡部110に搭載される。撮像部130は、手術中にその撮影範囲を撮影した撮影映像データを随時取得し、取得した当該映像データを後述する制御装置150の画像処理部151及び処置具認識部154に送信する。
 表示装置20は、後述する制御装置150の画像処理部151によって生成される表示映像データに基づいて、撮像部130によって撮影された映像を表示する。
 制御装置150は、その機能として、画像処理部151と、トリガ操作検出部152と、駆動制御部153と、処置具認識部154と、観察視野中心目標決定部155と、観察視野補正部156と、を有する。
 画像処理部151は、撮像部130から送信される撮影映像データに対して、例えばガンマ補正処理、ホワイトバランスの調整処理、電子ズーム機能に係る拡大処理、及び画素間補正処理等、各種の画像処理を行う。当該画像処理では、表示装置20に映像を表示するために一般的に行われる各種の画像処理が行われてよい。画像処理部151は、各種の画像処理を施した撮影映像データ(すなわち、表示映像データ)を表示装置20に送信し、当該表示映像データに基づく映像(すなわち、撮像部130によって撮影された映像)を、表示装置20に表示させる。
 トリガ操作検出部152は、観察視野補正処理を実行するためのトリガ操作の入力を検出する。第1の実施形態では、トリガ操作は、術者による観察視野を変更する旨の操作である。例えば、トリガ操作は、移動操作又はズーム操作を含む。具体的には、上述したように、観察装置10では、術者がフリーモードにおいて直接的な操作によって顕微鏡部110を移動させる様態が想定され得るため、移動操作は、術者による、図1に示す操作部5307の動作モード切り替えSWに対する、支持部120の動作モードをフリーモードにする旨の操作であり得る。また、ズーム操作は、術者による、図1に示す操作部5307のズームSWに対する操作であり得る。
 ただし、第1の実施形態はかかる例に限定されず、トリガ操作としては、術者による観察視野を変更させる旨の各種の操作が含まれてよい。例えば、支持部120の動作が、フットスイッチや、ジェスチャ、又は音声によって操作され得る場合には、これらの操作がトリガ操作に含まれてよい。具体的にどのような操作をトリガ操作に含めるかは、術者又は観察システム1の設計者等によって適宜設定されてよい。
 トリガ操作検出部152は、トリガ操作を検出すると、当該トリガ操作を検出した旨の情報、及びそのトリガ操作の内容についての情報を、駆動制御部153及び処置具認識部154に提供する。
 駆動制御部153は、検出されたトリガ操作の内容に応じて、観察視野を変更し得るように観察装置10の動作を制御する。例えば、移動操作がトリガ操作として検出された場合には、駆動制御部153は、支持部120の各回転軸部のアクチュエータの動作を制御し、当該移動操作に従って撮像部130の位置及び姿勢を変化させる。あるいは、例えばズーム操作がトリガ操作として検出された場合には、駆動制御部153は、撮像部130に搭載されるアクチュエータの動作を制御し、当該ズーム操作に従って撮像部130の光学系を構成するレンズ等の位置を移動させ、拡大倍率を変化させる。
 処置具認識部154は、トリガ操作検出部152によってトリガ操作が検出された場合に、撮像部130によって取得された撮影映像データに基づいて、処置具の形態を認識する。ここで、処置部の形態とは、処置具の位置及び形状を含む。例えば、脳外科手術では、患部を露出させるために、硬膜に設けた創を広げるための一対の開創器(脳べら)が用いられ得る。例えば、処置具認識部154は、撮影映像データに基づいて、当該一対の開創器の形状を認識するとともに、その撮影映像内における位置を認識する。あるいは、患部を切除することを目的とする手術であれば、当該患部を焼灼して切除するためのエナジーデバイスが用いられ得る。例えば、処置具認識部154は、撮影映像データに基づいて、当該エナジーデバイスの形状を認識するとともに、その撮影映像内における位置を認識する。
 なお、駆動制御部153によってトリガ操作に従って観察装置10が動作され、観察視野が変更されているから、処置具認識部154は、その観察視野が変更された状態で撮像部130によって取得された撮影映像データに基づいて、処置具の形態を認識する。
 処置具認識部154は、認識した処置具の形態についての情報を、観察視野中心目標決定部155に提供する。
 観察視野中心目標決定部155は、認識された処置具の形態に基づいて、観察視野の中心に位置させるべき目標(観察視野中心目標)を決定する。具体的には、観察視野中心目標決定部155は、処置具の形態に基づいて、当該処置具に対する患部の相対的な位置を推測し、推測した当該患部の位置を観察視野中心目標として決定する。
 患部の位置を推測する具体的な方法は、その処置具の種類及び用途等に応じて、術者又は観察システム1の設計者等によって適宜設定されてよい。例えば、一般的に、開創器が用いられ得ている場合には、その一対の開創器の間の略中間位置に、患部が存在することが想定される。従って、処置具認識部154によって一対の開創器の形態が認識されている場合には、例えば、観察視野中心目標決定部155は、当該一対の開創器の間の略中間位置に患部が存在すると推測し、推測した当該患部を観察視野中心目標として決定する。あるいは、エナジーデバイスによって患部が切除される場合には、通常は、当該エナジーデバイスの先端付近に患部が存在することが想定される。従って、処置具認識部154によってエナジーデバイスの形態が認識されている場合には、例えば、観察視野中心目標決定部155は、当該エナジーデバイスの先端近傍に患部が存在すると推測し、推測した当該患部を観察視野中心目標として決定する。ただし、第1の実施形態はかかる例に限定されず、処置具認識部154が患部の位置を推測するアルゴリズムは、処置具の形態と、その処置具が用いられている場合において一般的に想定され得る当該処置具と患部との位置関係に応じて、適宜設定されてよい。
 観察視野中心目標決定部155は、決定した観察視野中心目標の処置具に対する相対的な位置情報を、観察視野補正部156に提供する。
 観察視野補正部156は、観察視野中心目標決定部155によって決定された観察視野中心目標の処置具に対する相対的な位置情報に基づいて、当該観察視野中心目標が、観察視野の略中心に位置するように、観察視野を補正する。第1の実施形態では、観察視野補正部156は、駆動制御部157(駆動制御部153と区別するために、以下、補正駆動制御部157と呼称する)として機能し、支持部120の動作を制御することにより、観察視野を補正する。具体的には、補正駆動制御部157は、観察視野中心目標決定部155によって決定された観察視野中心目標が、観察視野の略中心に位置するように、支持部120の動作を制御し、撮像部130の位置及び姿勢を変化させる。このとき、撮影映像内における処置具の位置が認識されており、当該処置具に対する観察視野中心目標の相対的な位置が分かっているから、補正駆動制御部157は、現時点での観察視野中心目標と撮像部130との相対的な位置関係、及び観察視野中心目標を観察視野の略中心に位置させるための撮像部130の移動量を算出することができる。従って、補正駆動制御部157は、算出した当該移動量の分だけ撮像部130(すなわち、顕微鏡部110)を移動させるように、支持部120を動作させることにより、観察視野を補正することができる。
 このとき、具体的には、補正駆動制御部157によって、支持部120の回転軸のうち、先端側の3軸(第1軸O、第2軸O、及び第3軸O)まわりの回転が制御され得る。これらの回転軸まわりの回転により、撮像部130のZ軸まわりの回転角度(すなわち、映像の方向)、及び撮像部130の水平面内での位置が調整され得るからである。あるいは、支持部120がX-Y装置を有するように構成されている場合には、補正駆動制御部157は、当該X-Y装置を動作させて撮像部130の水平面内での位置を調整することにより、観察視野を補正してもよい。
 このように、第1の実施形態によれば、術者がトリガ操作に対応する操作を行い、観察視野を変更した場合に、観察視野補正部156(すなわち、補正駆動制御部157)によって撮像部130の位置及び姿勢が制御され、観察視野中心目標、すなわち患部が観察視野の略中心に位置するように、当該観察視野が自動的に変更され得る。
 ここで、図5~図8を参照して、第1の実施形態に係る観察視野補正処理の効果について説明する。まず、比較のため、図5及び図6を参照して、第1の実施形態に係る観察視野補正機能が搭載されない、一般的な既存の観察装置における観察視野の変更時の動作について説明する。図5及び図6は、第1の実施形態に係る観察視野補正機能が搭載されない、一般的な既存の観察装置における観察視野の変更時の動作について説明するための図である。
 図5及び図6では、表示装置20の表示画面201に映し出される表示映像(すなわち、観察視野)を概略的に示している。例えば、初めに、術者が手動で撮像部130の位置及び姿勢を調整した結果、図5に示すように、一対の開創器202によって脳の硬膜に設けられた創が広げられて、患部である動脈瘤203が露出されている様子が、観察視野に捉えられているとする。ただし、動脈瘤203は、観察視野の略中心からは外れた位置に位置しているとする。
 この状態で、動脈瘤203に対して処置を行うために、術者が、ズーム操作を行ったとする。この場合、通常は、ズーム操作により、図6に示すように、観察視野の中心を基点として当該表示映像が拡大されることとなる。このとき、図示する例では、図5に示す拡大前の状態において、動脈瘤203が観察視野の略中心に位置していないから、図6に示す拡大後の状態においては、動脈瘤203は、観察視野の略中心から大きく外れた位置に存在することとなる。
 術者にとっては、処置を行うために、動脈瘤203は観察視野の略中心に存在することが好ましい。従って、一般的な既存の観察装置では、例えば図6に示すように拡大操作を行った後に、動脈瘤203が観察視野の略中心に位置するように、撮像部130の位置及び姿勢を手動で微調整する作業が生じ得る。このとき、撮像部130の拡大倍率が大きい状態であるから、撮像部130の位置及び姿勢の僅かな移動によって、観察視野は大きく変化してしまう。従って、この撮像部130の位置及び姿勢を微調整する作業には、繊細な操作が求められることとなる。このように、一般的な既存の観察装置では、ズーム操作時に撮像部130の位置及び姿勢を微調整するという繊細な作業が生じる可能性があり、当該作業が手術の円滑な進行の妨げとなる恐れがある。
 次に、図7及び図8を参照して、第1の実施形態に係る観察装置10(すなわち、観察視野補正機能が搭載された観察装置10)における観察視野の変更時の動作について説明する。図7及び図8は、第1の実施形態に係る観察装置10における観察視野の変更時の動作について説明するための図である。
 図7及び図8では、図5及び図6と同様に、表示装置20の表示画面201に映し出される表示映像(すなわち、観察視野)を概略的に示している。例えば、初めに、術者が手動で撮像部130の位置及び姿勢を調整した結果、図5に示す場合と同様に、図7に示すように、一対の開創器202によって脳の硬膜に設けられた創が広げられて、患部である動脈瘤203が露出されている様子が、観察視野に捉えられているとする。ただし、動脈瘤203は、観察視野の略中心からは外れた位置に位置しているとする。
 この状態で、図5及び図6を参照して説明した場合と同様に、動脈瘤203に対して処置を行うために、術者がズーム操作を行ったとする。この場合、第1の実施形態では、まず、上述した制御装置150の駆動制御部153によって、撮像部130の光学系が動作され、観察視野が拡大される。
 次に、トリガ操作検出部152によって、当該ズーム操作がトリガ操作として検出される。次に、トリガ操作が検出されたことをトリガとして、処置具認識部154によって、一対の開創器202の形態が認識される(便宜的に、このことを、図5において一対の開創器202にハッチングを付すことによって表現している)。次に、観察視野中心目標決定部155によって、認識された当該一対の開創器202の形態に基づいて、当該一対の開創器202の間の略中間位置に患部である動脈瘤203が存在することが推測される。更に、観察視野中心目標決定部155によって、推測された当該動脈瘤203が存在する位置が、観察視野中心目標として決定される。
 そして、観察視野補正部156(すなわち、補正駆動制御部157)によって、決定された観察視野中心目標が観察視野の略中心に位置するように(すなわち、動脈瘤203が観察視野の略中心に位置するように)、支持部120の動作が制御され、撮像部130の位置及び姿勢が調整される。以上の一連の処理により、結果的に、図8に示すように、拡大された後の観察視野において、動脈瘤203が観察視野の略中心に位置するように、自動的に当該観察視野が調整されることとなる。
 このように、第1の実施形態に係る観察装置10では、ズーム操作時に撮像部130の位置及び姿勢を微調整するという追加的な作業を行うことなく、動脈瘤203が観察視野の略中心に位置するように、自動的に当該観察視野が調整され得る。従って、手術の円滑な進行を実現することができる。
 なお、ここでは、一例として、ズーム操作がトリガ操作である場合について説明したが、上述したように、第1の実施形態では、トリガ操作は他の操作であってもよい。例えば、トリガ操作は移動操作であってもよい。この場合には、例えば、手術開始時のセッティングの段階で、術者による直接的な操作によって、処置具及び患部が観察視野に含まれるように撮像部130の位置及び姿勢が大まかに調整された後、観察視野補正処理によって当該患部が当該観察視野の略中央に位置するように撮像部130の位置及び姿勢が微調整される、といった使用態様が想定され得る。
 また、以上では、処置具認識部154によって認識される処置具の例として、開創器及びエナジーデバイスを挙げたが、第1の実施形態はかかる例に限定されない。処置具認識部154によって認識される対象は、あらゆる処置具であってよい。例えば、当該処置具は、血管吻合クリップであってよい。当該血管吻合クリップは、一対の挟持部を有し、血管吻合時において、吻合する対象である血管が切断されている部位を挟んで、その血管のそれぞれを当該一対の挟持部によって挟むように用いられる。血管吻合時には、撮像部130によって、その吻合する対象となる部位(すなわち、血管が切断されている部位)が患部として拡大観察され得る。従って、処置具認識部154によって血管吻合クリップが処置具として認識された場合には、観察視野中心目標決定部155は、その血管吻合クリップの一対の挟持部の間の略中間位置を患部の位置と推測し、観察視野中心目標として決定すればよい。これにより、観察視野補正部156によって、吻合する対象となる部位が観察視野の略中心となるように、当該観察視野が自動的に補正され得ることとなる。
 また、以上説明した例では、ズーム操作に伴う表示映像の拡大処理が行われた後に、処置具認識部154から観察視野補正部156までの一連の処理が行われていたが、第1の実施形態はかかる例に限定されない。これらの処理が実行される順番の前後関係は任意に設定可能であってよい。例えば、以上説明した例とは逆に、トリガ操作が検出された場合に、患部を観察視野の略中心に位置させるような観察視野の自動的な変更が行われた後に、その観察視野の略中心を中心として表示映像が拡大されてもよい。あるいは、これらの処理は並列的に実行されてもよく、例えば、トリガ操作が検出された場合に、表示映像が拡大されつつ、患部を観察視野の略中心に位置させるような当該観察視野の自動的な変更が行われてもよい。
 更に、第1の実施形態では、トリガ操作が検出される前から、処置具認識部154による処置具の認識処理、及び観察視野中心目標決定部155による観察視野中心目標の決定処理が、随時行われていてもよい。この場合には、トリガ操作が検出された場合に、直近に決定された観察視野中心目標に基づいて、観察視野の補正が行われ得る。かかる場合には、トリガ操作が検出された後に、処置具の認識処理及び観察視野中心目標の決定処理を改めて行う必要がないため、これらの処理を行う時間を省くことができ、より迅速に観察視野を補正することが可能になる。
 なお、図4では、説明のため、制御装置150の機能のうち、第1の実施形態に係る観察視野補正処理に関係する機能のみを示している。制御装置150は、図示する機能以外にも、一般的に観察装置の制御装置が有する各種の機能を有し得る。例えば、画像処理部151及び駆動制御部153は、観察視野補正処理が実行されるときだけでなく(すなわち、トリガ操作が検出された場合だけでなく)、通常時から、撮影映像データに基づいて表示映像データを生成する処理、及び術者の操作に応じて支持部120及び撮像部130の動作を制御する処理をそれぞれ実行し得る。
 ここで、上述したように、上記特許文献2には、内視鏡によって撮影された映像に基づいて処置具の位置情報を取得する位置検出手段と、当該位置情報に基づいて、処置具の先端部分が表示映像の略中心に位置するように、当該内視鏡の撮像光学系を駆動させてその撮影範囲を変更する制御手段と、を備える内視鏡装置が開示されている。当該内視鏡装置によれば、内視鏡の撮影範囲に処置具の先端部分が常に含まれるように、自動的に当該撮影範囲が変更され得る。特許文献2に記載の技術を、そのまま観察装置10に適用した場合にも、適切な観察視野が得られる可能性がある。
 しかしながら、特許文献2に記載の技術では、処置具の先端部分が常に含まれるように、自動的に内視鏡の撮影範囲が変更される。従って、処置を行っている間、処置具が移動すると、それに伴い観察視野も変化することとなるため、観察視野の移動が頻繁に生じてしまう。また、処置具の先端部分を撮影範囲に含める対象としているため、処置具の種類や動きによっては、患部自体は撮影範囲に含まれない事態も生じ得る。従って、特許文献2に記載の技術では、必ずしも適切な観察視野が得られるとは限らず、かえって術者が処置を円滑に行い難くなってしまう恐れがある。
 これに対して、第1の実施形態では、上述したように、トリガ操作が検出された場合に、観察視野が補正される(すなわち、観察視野が変更される)。従って、不要な観察視野の移動は生じない。また、処置具自体を観察視野に含める対象とするのではなく、処置具の形態から推測される観察視野中心目標(すなわち、患部)を、観察視野に含める対象とする。従って、患部が観察視野により確実に含まれ得ることとなる。このように、第1の実施形態によれば、例えば特許文献2に記載されているような既存の技術に比べて、より適切な観察視野を得ることが可能となる。よって、より円滑な手術の進行が実現され得る。
 (1-3.観察視野補正方法)
 図9を参照して、第1の実施形態に係る観察視野補正方法の処理手順について説明する。図9は、第1の実施形態に係る観察視野補正方法の処理手順の一例を示すフロー図である。なお、図9に示す各処理は、図1及び図3に示す制御装置150によって実行される処理に対応している。これらの各処理の詳細については、制御装置150の機能構成について説明する際に既に説明しているため、以下の観察視野補正方法の処理手順についての説明では、各処理についての詳細な説明は割愛する。なお、図9に示す各処理が行われている間、撮像部130による撮影映像の取得は随時行われている。
 図9を参照すると、第1の実施形態に係る観察視野補正方法では、まず、トリガ操作が検出されたかどうかが判断される(ステップS101)。ステップS101における処理は、図4に示すトリガ操作検出部152によって実行される処理に対応している。
 ステップS101でトリガ操作が検出されていないと判断された場合には、ステップS103には進まず、トリガ操作が検出されるまで待機する(すなわち、トリガ操作が検出されるまで、ステップS101における処理が繰り返される)。
 ステップS101でトリガ操作が検出されたと判断された場合には、ステップS103に進む。ステップS103では、トリガ操作に応じて、撮像部130の動作が制御される。ステップS103では、具体的には、支持部120が動作されることにより、撮像部130の位置及び姿勢が制御され得る。あるいは、撮像部130の光学系を構成するレンズ等が動作されることにより、拡大倍率が制御され得る。
 次に、撮影映像データに基づいて、処置具の形態が認識される(ステップS105)。ステップS105における処理は、図4に示す処置具認識部154によって実行される処理に対応している。
 次に、認識された処置具の形態に基づいて、観察視野中心目標が決定される(ステップS107)。ステップS107では、具体的には、認識された処置具の形態に基づいて患部の位置が推測され、その推測された患部の位置が観察視野中心目標として決定される。ステップS107における処理は、図4に示す観察視野中心目標決定部155によって実行される処理に対応している。
 次に、決定された観察視野中心目標が観察視野の略中心に位置するように、支持部120が動作され、撮像部130の位置及び姿勢が調整される(すなわち、決定された観察視野中心目標が観察視野の略中心に位置するように観察視野が補正される)(ステップS109)。ステップS109における処理は、図3に示す観察視野補正部156(すなわち、補正駆動制御部157)によって実行される処理に対応している。
 以上、第1の実施形態に係る観察視野補正方法の処理手順について説明した。なお、図9に示す例では、ステップS103における処理(トリガ操作に応じた撮像部130の動作の制御処理)が行われた後に、ステップS105~ステップS109における処理(処置具の認識処理、観察視野中心目標の決定処理、及び観察視野の補正処理)が行われることとなっているが、第1の実施形態はかかる例に限定されない。上述したように、ステップS103における処理と、ステップS105~ステップS109における処理とは、図示する順番とは逆の順番で実行されてもよいし、並列的に実行されてもよい。また、ステップS105における処理(処理具の認識処理)及びステップS107における処理(観察視野中心目標の決定処理)は、ステップS101における処理(トリガ操作の検出処理)に先立って行われてもよい。
 (2.第2の実施形態)
 本開示の第2の実施形態について説明する。なお、第2の実施形態は、上述した第1の実施形態において、観察視野を補正する具体的な方法が異なるものに対応する。第2の実施形態におけるこのこと以外の事項は第1の実施形態と同様であるため、以下の第2の実施形態についての説明では、第1の実施形態と相違する事項について主に説明することとし、重複する事項についてはその詳細な説明を省略する。
 (2-1.制御装置の機能構成)
 第2の実施形態に係る観察システムの構成は、図1を参照して説明した第1の実施形態に係る観察システム1と略同様である。ただし、第2の実施形態では、観察視野補正処理を実行するための制御装置150の機能が、第1の実施形態とは異なる。ここでは、図10を参照して、第2の実施形態に係る制御装置の機能構成について説明する。
 図10は、第2の実施形態に係る制御装置150aの機能構成の一例を示すブロック図である。なお、図10では、説明のため、制御装置150a以外の構成として、図1に示す観察装置10の顕微鏡部110が有する撮像部130(図1では図示を省略)、及び表示装置20を併せて示している。
 第2の実施形態では、撮像部130は、手術中にその撮影範囲を撮影した撮影映像データを随時取得し、取得した当該撮影映像データを後述する制御装置150aの処置具認識部154及び観察視野補正部156a(補正画像処理部157a)に送信する。表示装置20は、後述する制御装置150の観察視野補正部156a(補正画像処理部157a)によって生成される表示映像データに基づいて、撮像部130によって撮影された映像を表示する。
 制御装置150aは、制御装置150と同様に、例えばCPUやDSP等のプロセッサ、又はこれらのプロセッサとメモリ等の記憶素子がともに搭載された制御基板等によって構成される。制御装置150aは、その機能として、トリガ操作検出部152aと、処置具認識部154と、観察視野中心目標決定部155と、観察視野補正部156aと、を有する。制御装置150aを構成するプロセッサが所定のプログラムに従って演算処理を実行することにより、これらの各機能が実現される。なお、これらの機能のうち、処置具認識部154及び観察視野中心目標決定部155の機能は、第1の実施形態におけるこれらの機能と略同様であるため、ここではその詳細な説明を省略する。
 トリガ操作検出部152aは、第1の実施形態と同様に、トリガ操作の入力を検出する。ただし、図示する構成例では、トリガ操作がズーム操作である場合が想定されている。つまり、図示する構成例では、トリガ操作検出部152aは、トリガ操作として、ズーム操作のみを検出するように構成され得る。
 トリガ操作検出部152aは、トリガ操作を検出した旨の情報、及びそのトリガ操作の内容についての情報を、処置具認識部154に提供する。
 処置具認識部154は、第1の実施形態と同様に、撮影映像データに基づいて処置具の形態を認識する。また、観察視野中心目標決定部155は、第1の実施形態と同様に、処置具の形態に基づいて観察視野中心目標を決定する。
 観察視野補正部156aは、観察視野中心目標決定部155によって決定された観察視野中心目標の処置具に対する相対的な位置情報に基づいて、当該観察視野中心目標が、観察視野の略中心に位置するように、観察視野を補正する。第2の実施形態では、観察視野補正部156aは、画像処理部157a(図4に示す画像処理部151と区別するために、以下、補正画像処理部157aと呼称する)として機能する。補正画像処理部157aは、第1の実施形態における画像処理部151と同様に、撮影映像データに対して各種の画像処理を実行することにより表示映像データを生成する。ただし、このとき、補正画像処理部157aは、電子ズーム機能により、撮影映像のうち、観察視野中心目標決定部155によって決定された観察視野中心目標を中心として撮影映像の一部領域を切り出し、その切り出した領域をトリガ操作において指定された倍率で拡大して、表示映像データを生成する。
 補正画像処理部157aは、撮影映像データに対して当該電子ズームに係る拡大処理を含む各種の画像処理を施すことにより生成した表示映像データを、表示装置20に送信し、当該表示映像データに基づく映像(すなわち、撮像部130による撮影映像が電子ズーム機能によって拡大された映像)を、表示装置20に表示させる。
 このように、第2の実施形態では、撮像部130の光学系が駆動されることにより(すなわち、光学ズーム機能によって)観察視野の拡大が行われるのではなく、補正画像処理部157aによって電子ズーム機能により観察視野の拡大が行われる。また、そのとき、観察視野中心目標を中心として電子ズームが実行される。これにより、補正画像処理部157aによって生成される表示映像データは、観察視野中心目標(すなわち、患部)を中心として、トリガ操作において指定された倍率で拡大された映像データとなる。
 ここで、電子撮像式の観察装置では、一般的な既存の構成においても、電子ズーム機能は搭載され得る。ただし、かかる一般的な構成における電子ズーム機能では、通常、撮影映像のうち、当該撮影映像の略中心を中心とする所定の領域が切り出されて拡大される。従って、上記図5及び図6を参照して説明した場合と同様に、拡大前において観察視野の略中心に患部が存在していない場合には、電子ズーム機能による拡大後の観察視野においては、当該患部は、当該観察視野の中心から大きく外れた位置に存在し得ることとなる。従って、当該患部を観察視野の略中心に位置させるために、撮像部130の位置及び姿勢を微調整する作業が生じてしまう。これに対して、第2の実施形態によれば、上記のように、患部を中心として電子ズーム機能による拡大処理が行われるため、第1の実施形態と同様に、撮像部130の位置及び姿勢を微調整する作業が生じることがなく、手術の円滑な実行が実現され得る。
 なお、第2の実施形態においては、以上説明したように、電子ズーム機能において撮影映像から表示映像に対応する領域が切り出される際に、当該領域の切り出し位置及び切り出し範囲が調整されることにより、観察視野が補正される。このように電子ズーム機能を用いた場合において、その拡大倍率が大きい場合には、表示映像の解像度が低下し、患部を詳細に観察することが困難になることが懸念される。しかしながら、撮影映像が高解像度で撮影されていれば、電子ズーム機能によって当該撮影映像を拡大した場合であっても、鮮明な表示映像を得ることができる。例えば、4Kであれば2倍、8Kであれば4倍に電子ズーム機能によって撮影映像を拡大した場合であっても、表示映像としてはFull HD画質が確保され得る。従って、第2の実施形態においては、表示映像の解像度を確保する観点から、高解像度での撮影が可能な撮像部130が用いられることが好ましい。
 なお、第2の実施形態においては、以上説明したように、電子ズーム機能において撮影映像から表示映像に対応する領域を切り出す際に、当該撮影映像の略中心とは異なる位置に存在する観察視野中心目標を中心として当該領域が切り出され得る。従って、観察視野補正処理が行われている間は、その撮像部130の位置及び姿勢によって通常得られる表示映像とは異なる範囲を映した表示映像が得られる可能性がある。よって、例えば、その後、患部を異なる方向から観察するために移動操作を行う際にもこの状態が続いていると、術者による当該撮像部130の移動のための操作と、当該術者が観察している表示映像との間に感覚的なずれが存在することとなり、好ましくない。
 そこで、第2の実施形態では、観察視野補正処理が行われている間に(すなわち、撮影映像の略中心とは異なる位置を中心として所定の領域が切り出され拡大表示されている間に)、明示的な移動操作が入力された場合には、通常の電子ズーム機能の態様により拡大された観察視野が表示されるように(すなわち、撮影映像の略中心を中心とした所定の領域が切り出され拡大表示されるように)、当該観察視野が切り替えられてもよい。これにより、上記のような感覚的なずれは解消され得る。ただし、観察視野が切り替えられることにより、術者が戸惑いを感じることが懸念される。そこで、第2の実施形態では、観察視野補正処理が行われている間には、そのことを術者に対して通知する旨の表示が、表示映像に重畳して表示されてもよい。これにより、術者は、観察視野補正処理が行われていること、すなわち、撮影映像の略中心とは異なる位置を中心として所定の領域が切り出され拡大表示されていることを把握することができる。よって、上記のような戸惑いを感じにくくなり、術者の使い勝手をより向上させることが可能となる。
 また、以上説明した例では、補正画像処理部157aが、観察視野中心目標を中心とした電子ズーム機能による拡大処理を一括して行っていた。いわば、補正画像処理部157aが、観察視野中心目標を中心とするような観察視野の変更処理と、電子ズーム機能による表示映像の拡大処理と、を同時に行っていた。しかし、第2の実施形態はかかる例に限定されない。例えば、補正画像処理部157aによる上記の処理は、段階的に行われてもよい。具体的には、補正画像処理部157aは、まず、電子ズーム機能による表示映像の拡大処理を行い、次いで、観察視野中心目標を中心とするような観察視野の変更処理(すなわち、撮影映像から切り出す領域を、観察視野中心目標を中心とする領域に変更する処理)を行ってもよい。この場合には、まず表示映像が拡大され、次いで観察視野が移動するように、当該表示映像が術者に対して提示されることとなるため、術者は、観察視野補正処理が行われていることをより直感的に把握することが可能となる。あるいは、上記の2つの処理が逆の順番で行われてもよい。
 更に、第2の実施形態では、第1の実施形態と同様に、トリガ操作が検出される前から、処置具認識部154による処置具の認識処理、及び観察視野中心目標決定部155による観察視野中心目標の決定処理が、随時行われていてもよい。この場合には、トリガ操作が検出された場合に、これらの処理が改めて実行される必要がないため、これらの処理を行う時間を省くことができ、より迅速に観察視野を補正することが可能になる。
 また、以上説明した例では、トリガ操作がズーム操作に限定されていたが、第2の実施形態はかかる例に限定されない。例えば、第1の実施形態と同様に移動操作をトリガ操作として検出する場合であっても、第2の実施形態のように電子ズーム機能における撮影映像の切り出し位置を変更することによって観察視野を補正することが可能である。この場合、制御装置150aは、例えば、観察視野補正処理が行われる前から(すなわち、トリガ操作が検出される前から)、撮影映像の一部領域を切り出して表示映像データを生成するように構成される。このとき、観察視野補正処理が行われる前においては、撮影映像の略中心を中心とした所定の領域が切り出されて表示映像データが生成され得る。そして、トリガ操作が検出され、観察視野補正処理が行われる際には、観察視野中心目標を中心とした所定の領域が切り出されるように、撮影映像の切り出し位置及び切り出し範囲が変更されて、その切り出された領域について表示映像データが生成される。このように、観察視野補正処理が行われる前から、撮影映像の一部領域を切り出して表示映像データを生成するように制御装置150aを構成すれば、ズーム操作以外の操作をトリガ操作として設定した場合であっても、その撮影映像の切り出し位置及び切り出し範囲を適宜変更すれば、観察視野補正処理を実行することが可能となる。
 また、図10では、説明のため、制御装置150aの機能のうち、第2の実施形態に係る観察視野補正処理に関係する機能のみを示している。制御装置150aは、図示する機能以外にも、一般的に観察装置の制御装置が有する各種の機能を有し得る。例えば、制御装置150aは、第1の実施形態と同様に画像処理部151及び駆動制御部153を有し、これら画像処理部151及び駆動制御部153は、観察視野補正処理が実行されるときだけでなく(すなわち、トリガ操作が検出された場合だけでなく)、通常時から、撮影映像データに基づいて表示映像データを生成する処理、及び術者の操作に応じて支持部120及び撮像部130の動作を制御する処理をそれぞれ実行し得る。この際、画像処理部151は、電子ズームも実行し得るが、観察視野補正処理が実行されていない場合には、当該電子ズームでは、撮影映像の略中心を中心とする所定の領域が切り出されて拡大されて表示映像データが生成され得る。
 (2-2.観察視野補正方法)
 図11を参照して、第2の実施形態に係る観察視野補正方法の処理手順について説明する。図11は、第2の実施形態に係る観察視野補正方法の処理手順の一例を示すフロー図である。なお、図11に示す各処理は、図10に示す制御装置150aによって実行される処理に対応している。これらの各処理の詳細については、制御装置150aの機能構成について説明する際に既に説明しているため、以下の観察視野補正方法の処理手順についての説明では、各処理についての詳細な説明は割愛する。
 図11を参照すると、第2の実施形態に係る観察視野補正方法では、まず、トリガ操作が検出されたかどうかが判断される(ステップS201)。第2の実施形態では、トリガ操作として、例えばズーム操作が検出され得る。ステップS201における処理は、図10に示すトリガ操作検出部152aによって実行される処理に対応している。
 ステップS201でトリガ操作が検出されていないと判断された場合には、ステップS203には進まず、トリガ操作が検出されるまで待機する(すなわち、トリガ操作が検出されるまで、ステップS201における処理が繰り返される)。
 ステップS201でトリガ操作が検出されたと判断された場合には、ステップS203に進む。ステップS203では、撮影映像データに基づいて、処置具の形態が認識される(ステップS203)。ステップS203における処理は、図10に示す処置具認識部154によって実行される処理に対応している。
 次に、認識された処置具の形態に基づいて、観察視野中心目標が決定される(ステップS205)。ステップS205では、具体的には、認識された処置具の形態に基づいて患部の位置が推測され、その推測された患部の位置が観察視野中心目標として決定される。ステップS205における処理は、図10に示す観察視野中心目標決定部155によって実行される処理に対応している。
 次に、決定された観察視野中心目標が観察視野の略中心に位置するように、撮影映像の切り出し位置及び切り出し範囲が調整され、電子ズームが実行される(すなわち、決定された観察視野中心目標が観察視野の略中心に位置するように観察視野が補正される)(ステップS207)。ステップS207における処理は、図10に示す観察視野補正部156a(すなわち、補正画像処理部157a)によって実行される処理に対応している。
 以上、第2の実施形態に係る観察視野補正方法の処理手順について説明した。なお、図11に示す例では、ステップS207において、観察視野中心目標を中心とした電子ズーム機能による拡大処理が一括して行われているが、第2の実施形態はかかる例に限定されない。上述したように、電子ズーム機能による観察視野の拡大処理は、段階的に行われてもよい。また、ステップS203における処理(処理具を認識する処理)及びステップS205における処理(観察視野中心目標を決定する処理)は、ステップS201における処理に先立って行われてもよい。
 (3.変形例)
 以上説明した実施形態におけるいくつかの変形例について説明する。
 (3-1.処置具の認識処理、及び観察視野中心目標の決定処理の他の方法)
 以上説明したように、第1及び第2の実施形態では、処置具の形態が認識され、その認識された処置具の形態に応じて、患部の位置が推測される。そして、その推測された患部の位置が、観察視野中心目標として決定される。
 しかしながら、このとき、必ずしも患部の位置が正確に推測されない場合も想定され得る。例えば、上述した例では、一対の開創器の間の略中間位置に患部が存在すると推測していたが、創の開口部と患部の位置関係等によっては、一対の開創器と当該患部とは、必ずしもこのような位置関係にはならない可能性がある。
 そこで、第1及び第2の実施形態においては、患部の位置を指し示すための処置具が予め設定されていてもよく、当該処置具によって指し示された位置が観察視野中心目標として決定されてもよい。例えば、当該処置具は鉗子であり得る。
 かかる機能が搭載される場合には、制御装置150、150aの処置具認識部154は、処置具の形態を認識する際に、当該処置具が鉗子であること、及び当該鉗子の先端位置を認識する。そして、観察視野中心目標決定部155は、当該鉗子の先端によって指し示されている位置を患部の位置と推測し、当該患部の位置を観察視野中心目標として決定する。
 当該機能が搭載されることにより、もしも患部の位置が正確に推測されない場合であっても、術者がその患部の位置、すなわち観察視野中心目標を具体的に指定することが可能となるため、術者の利便性を向上させることができる。なお、この場合には、完全に自動的に観察視野補正処理が行われる場合に比べて、観察視野中心目標を指し示すという術者の作業は追加的に生じるものの、当該作業の負荷は、観察視野中心目標を観察視野の略中心に位置させるような移動操作等に比べれば簡便なものである。従って、当該作業が追加的に発生したとしても、手術の円滑な進行にとって大きな妨げにはならない。
 (3-2.観察装置の他の構成例)
 以上説明した構成例では、観察装置10は6つの回転軸部の全てにアクチュエータが搭載されて構成されていたが、第1及び第2の実施形態はかかる例に限定されない。例えば、バランスアームとして構成される観察装置に対しても、第1及び第2の実施形態に係る観察視野補正処理を適用可能である。ただし、バランスアームとして構成される観察装置に対して、第1の実施形態に係る観察視野補正処理を適用する場合には、その支持部においては、少なくとも顕微鏡部の水平面内での位置を調整し得る回転軸部にはアクチュエータが搭載される必要がある。
 また、以上説明した構成例では、観察装置10は電子撮像式の観察装置であった。ただし、第1の実施形態はかかる例に限定されない。第1の実施形態に係る観察視野補正処理は、光学式の観察装置にも適用可能である。例えば、光学式の観察装置には、術者以外の医療スタッフが当該術者の視野を共有するために、その顕微鏡部に撮像素子が搭載され、当該撮像素子によって術者が肉眼で視認している像と略同様の映像を取得し、表示装置に表示可能なものが存在し得る。かかる構成を有する光学式の観察装置において、視野を共有するための取得される撮影映像データに基づいて、以上説明した第1の実施形態に係る観察視野補正処理が実行されてもよい。
 (4.補足)
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、図1に示す例では、制御装置150は、顕微鏡部110、支持部120及びベース部5315とは異なる構成として設けられているが、本開示はかかる例に限定されない。例えば、制御装置150と同様の機能を実現するプロセッサや制御基板等が、ベース部5315内に配置されてもよい。また、制御装置150と同様の機能を実現するプロセッサや制御基板等が顕微鏡部110の内部に組み込まれることにより、制御装置150と顕微鏡部110とが一体的に構成されてもよい。図1には示されないが、制御装置150aについても同様に、その設置位置は限定されない。
 また、制御装置150、150aは、必ずしも1つの装置でなくてもよく、複数の装置の協働によって実現されてもよい。この場合には、制御装置150、150aの各機能が、これらの機能を実現し得る構成を有する複数の装置に分散して搭載され、これら複数の装置が互いに各種の情報をやり取りしながら協働して動作することにより、全体として、制御装置150、150aとしての機能が実現され得る。例えば、図1に示す構成において、プロセッサや制御基板等が、支持部120を構成する各回転軸部にそれぞれ配置され、これら複数のプロセッサや制御基板等が互いに協働することにより、制御装置150、150aと同様の機能が実現されてもよい。
 なお、以上説明した制御装置150、150aの各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
 また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的なものではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 観察対象を撮影した撮影映像についてのデータである撮影映像データを取得する撮像部と、
 前記撮像部を支持する支持部と、
 前記撮像部の動作に関する所定の操作であるトリガ操作を検出するトリガ操作検出部と、
 前記撮影映像データに基づいて、撮影映像に含まれる処置具の形態を認識する処置具認識部と、
 前記トリガ操作検出部によって前記トリガ操作が検出された場合に、前記処置具認識部によって認識された前記処置具の形態に基づいて、前記撮影映像データに基づいて表示装置に表示される表示映像の範囲である観察視野を補正する観察視野補正部と、
 を備える、
 医療用観察装置。
(2)
 前記観察視野補正部は、前記支持部の動作を制御し、前記撮像部の位置及び姿勢を調整することにより、前記観察視野を補正する、
 前記(1)に記載の医療用観察装置。
(3)
 前記トリガ操作は、前記観察視野に係る表示映像を拡大する旨のズーム操作であり、
 前記観察視野補正部は、電子ズーム機能により前記撮影映像の所定の領域を切り出して拡大する際に、前記所定の領域の切り出し位置及び切り出し範囲を調整することにより、前記観察視野を補正する、
 前記(1)に記載の医療用観察装置。
(4)
 前記処置具認識部によって認識された前記処置具の形態に基づいて、前記観察視野の中心に位置すべき目標である観察視野中心目標を決定する観察視野中心目標決定部、を更に備え、
 前記観察視野補正部は、前記観察視野中心目標決定部によって決定された前記観察視野中心目標が、前記観察視野の略中心に位置するように、前記観察視野を補正する、
 前記(1)~(3)のいずれか1項に記載の医療用観察装置。
(5)
 前記観察視野中心目標決定部は、前記処置具の形態に基づいて前記処置具の位置に対する患部の相対的な位置を推測し、前記患部の位置を前記観察視野中心目標として決定する、
 前記(4)に記載の医療用観察装置。
(6)
 前記処置具は一対の開創器であり、
 前記観察視野中心目標決定部は、前記一対の開創器の間の略中間位置を患部の位置として推測する、
 前記(5)に記載の医療用観察装置。
(7)
 前記処置具はエナジーデバイスであり、
 前記観察視野中心目標決定部は、前記エナジーデバイスの先端位置を患部の位置として推測する、
 前記(5)に記載の医療用観察装置。
(8)
 前記処置具は鉗子であり、
 前記観察視野中心目標決定部は、前記鉗子の先端位置を患部の位置として推測する、
 前記(5)に記載の医療用観察装置。
(9)
 前記トリガ操作は、前記観察視野に係る表示映像を拡大する旨のズーム操作であり、
 前記観察視野補正部は、前記ズーム操作によって拡大された表示映像に係る観察視野を補正する、
 前記(1)~(8)のいずれか1項に記載の医療用観察装置。
(10)
 前記トリガ操作は、前記撮像部の位置及び姿勢を移動させる旨の移動操作であり、
 前記観察視野補正部は、前記移動操作によって移動された後に前記撮像部によって取得された前記撮影映像データに基づく表示映像に係る観察視野を補正する、
 前記(1)~(8)のいずれか1項に記載の医療用観察装置。
(11)
 支持部によって支持された撮像部の動作に関する所定の操作であるトリガ操作を検出することと、
 前記撮像部によって取得された観察対象を撮影した撮影映像についてのデータである撮影映像データに基づいて、前記撮影映像に含まれる処置具の形態を認識することと、
 前記トリガ操作が検出された場合に、認識された前記処置具の形態に基づいて、前記撮影映像データに基づいて表示装置に表示される表示映像の範囲である観察視野を補正することと、
 を含む、
 観察視野補正方法。
 1  観察システム
 10  観察装置
 20  表示装置
 110  顕微鏡部
 120  支持部(アーム部)
 130  撮像部
 150、150a  制御装置
 151  画像処理部
 152、152a  トリガ操作検出部
 153  駆動制御部
 154  処置具認識部
 155  観察視野中心目標決定部
 156、156a  観察視野補正部
 157  補正駆動制御部(駆動制御部)
 157a  補正画像処理部(画像処理部)

Claims (11)

  1.  観察対象を撮影した撮影映像についてのデータである撮影映像データを取得する撮像部と、
     前記撮像部を支持する支持部と、
     前記撮像部の動作に関する所定の操作であるトリガ操作を検出するトリガ操作検出部と、
     前記撮影映像データに基づいて、前記撮影映像に含まれる処置具の形態を認識する処置具認識部と、
     前記トリガ操作検出部によって前記トリガ操作が検出された場合に、前記処置具認識部によって認識された前記処置具の形態に基づいて、前記撮影映像データに基づいて表示装置に表示される表示映像の範囲である観察視野を補正する観察視野補正部と、
     を備える、
     医療用観察装置。
  2.  前記観察視野補正部は、前記支持部の動作を制御し、前記撮像部の位置及び姿勢を調整することにより、前記観察視野を補正する、
     請求項1に記載の医療用観察装置。
  3.  前記トリガ操作は、前記観察視野に係る表示映像を拡大する旨のズーム操作であり、
     前記観察視野補正部は、電子ズーム機能により前記撮影映像の所定の領域を切り出して拡大する際に、前記所定の領域の切り出し位置及び切り出し範囲を調整することにより、前記観察視野を補正する、
     請求項1に記載の医療用観察装置。
  4.  前記処置具認識部によって認識された前記処置具の形態に基づいて、前記観察視野の中心に位置すべき目標である観察視野中心目標を決定する観察視野中心目標決定部、を更に備え、
     前記観察視野補正部は、前記観察視野中心目標決定部によって決定された前記観察視野中心目標が、前記観察視野の略中心に位置するように、前記観察視野を補正する、
     請求項1に記載の医療用観察装置。
  5.  前記観察視野中心目標決定部は、前記処置具の形態に基づいて前記処置具の位置に対する患部の相対的な位置を推測し、前記患部の位置を前記観察視野中心目標として決定する、
     請求項4に記載の医療用観察装置。
  6.  前記処置具は一対の開創器であり、
     前記観察視野中心目標決定部は、前記一対の開創器の間の略中間位置を患部の位置として推測する、
     請求項5に記載の医療用観察装置。
  7.  前記処置具はエナジーデバイスであり、
     前記観察視野中心目標決定部は、前記エナジーデバイスの先端位置を患部の位置として推測する、
     請求項5に記載の医療用観察装置。
  8.  前記処置具は鉗子であり、
     前記観察視野中心目標決定部は、前記鉗子の先端位置を患部の位置として推測する、
     請求項5に記載の医療用観察装置。
  9.  前記トリガ操作は、前記観察視野に係る表示映像を拡大する旨のズーム操作であり、
     前記観察視野補正部は、前記ズーム操作によって拡大された表示映像に係る観察視野を補正する、
     請求項1に記載の医療用観察装置。
  10.  前記トリガ操作は、前記撮像部の位置及び姿勢を移動させる旨の移動操作であり、
     前記観察視野補正部は、前記移動操作によって移動された後に前記撮像部によって取得された前記撮影映像データに基づく表示映像に係る観察視野を補正する、
     請求項1に記載の医療用観察装置。
  11.  支持部によって支持された撮像部の動作に関する所定の操作であるトリガ操作を検出することと、
     前記撮像部によって取得された観察対象を撮影した撮影映像についてのデータである撮影映像データに基づいて、前記撮影映像に含まれる処置具の形態を認識することと、
     前記トリガ操作が検出された場合に、認識された前記処置具の形態に基づいて、前記撮影映像データに基づいて表示装置に表示される表示映像の範囲である観察視野を補正することと、
     を含む、
     観察視野補正方法。
PCT/JP2018/000812 2017-03-28 2018-01-15 医療用観察装置及び観察視野補正方法 WO2018179681A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/492,945 US20200015655A1 (en) 2017-03-28 2018-01-15 Medical observation apparatus and observation visual field correction method
EP18776589.6A EP3603562B1 (en) 2017-03-28 2018-01-15 Medical observation apparatus and observation field correction method
JP2019508595A JP6965338B2 (ja) 2017-03-28 2018-01-15 医療用観察装置、制御装置、及び観察視野補正方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017062941 2017-03-28
JP2017-062941 2017-03-28

Publications (1)

Publication Number Publication Date
WO2018179681A1 true WO2018179681A1 (ja) 2018-10-04

Family

ID=63674624

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/000812 WO2018179681A1 (ja) 2017-03-28 2018-01-15 医療用観察装置及び観察視野補正方法

Country Status (4)

Country Link
US (1) US20200015655A1 (ja)
EP (1) EP3603562B1 (ja)
JP (1) JP6965338B2 (ja)
WO (1) WO2018179681A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021020131A1 (ja) * 2019-07-29 2021-02-04 ソニー株式会社 医療用観察システム、制御装置、および制御方法
WO2022054882A1 (ja) * 2020-09-10 2022-03-17 オリンパス株式会社 制御装置、内視鏡システムおよび制御方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7143092B2 (ja) 2018-03-12 2022-09-28 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、および画像処理方法
CN112384123A (zh) * 2018-07-06 2021-02-19 索尼公司 医学观察系统、医学观察设备和医学观察设备的驱动方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0928663A (ja) 1995-05-15 1997-02-04 Olympus Optical Co Ltd 内視鏡装置
JPH10118015A (ja) * 1996-10-25 1998-05-12 Olympus Optical Co Ltd 内視鏡下外科手術装置
JP2009527267A (ja) * 2006-02-20 2009-07-30 ユニヴェルシテ ジョセフ フーリエ 医療用画像システムによって提供される画像での手術器具の自動検出
US20140005475A1 (en) * 2012-06-27 2014-01-02 National Chiao Tung University Image Tracking System and Image Tracking Method Thereof
WO2015046081A1 (ja) 2013-09-24 2015-04-02 ソニー・オリンパスメディカルソリューションズ株式会社 医療用ロボットアーム装置、医療用ロボットアーム制御システム、医療用ロボットアーム制御方法及びプログラム
JP2017038285A (ja) * 2015-08-11 2017-02-16 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、制御装置、制御装置の作動方法および制御装置の作動プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08164148A (ja) * 1994-12-13 1996-06-25 Olympus Optical Co Ltd 内視鏡下手術装置
US9827054B2 (en) * 2014-03-14 2017-11-28 Synaptive Medical (Barbados) Inc. Intelligent positioning system and methods therefore
CN106456273B (zh) * 2014-06-20 2019-08-02 索尼奥林巴斯医疗解决方案公司 医疗用观察装置及医疗用观察系统
DE102014224044A1 (de) * 2014-11-25 2016-05-25 Carl Zeiss Meditec Ag Toolgesteuerte Multimodallupe im Sichtfeld eines Operationsmikroskop

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0928663A (ja) 1995-05-15 1997-02-04 Olympus Optical Co Ltd 内視鏡装置
JPH10118015A (ja) * 1996-10-25 1998-05-12 Olympus Optical Co Ltd 内視鏡下外科手術装置
JP2009527267A (ja) * 2006-02-20 2009-07-30 ユニヴェルシテ ジョセフ フーリエ 医療用画像システムによって提供される画像での手術器具の自動検出
US20140005475A1 (en) * 2012-06-27 2014-01-02 National Chiao Tung University Image Tracking System and Image Tracking Method Thereof
WO2015046081A1 (ja) 2013-09-24 2015-04-02 ソニー・オリンパスメディカルソリューションズ株式会社 医療用ロボットアーム装置、医療用ロボットアーム制御システム、医療用ロボットアーム制御方法及びプログラム
JP2017038285A (ja) * 2015-08-11 2017-02-16 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、制御装置、制御装置の作動方法および制御装置の作動プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3603562A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021020131A1 (ja) * 2019-07-29 2021-02-04 ソニー株式会社 医療用観察システム、制御装置、および制御方法
WO2022054882A1 (ja) * 2020-09-10 2022-03-17 オリンパス株式会社 制御装置、内視鏡システムおよび制御方法

Also Published As

Publication number Publication date
US20200015655A1 (en) 2020-01-16
JP6965338B2 (ja) 2021-11-10
JPWO2018179681A1 (ja) 2020-02-06
EP3603562A1 (en) 2020-02-05
EP3603562A4 (en) 2020-02-26
EP3603562B1 (en) 2022-06-29

Similar Documents

Publication Publication Date Title
JP7067467B2 (ja) 医療用情報処理装置、情報処理方法、医療用情報処理システム
CN109715106B (zh) 控制装置、控制方法及医疗系统
WO2018179681A1 (ja) 医療用観察装置及び観察視野補正方法
WO2018168261A1 (ja) 制御装置、制御方法、及びプログラム
JP7444065B2 (ja) 医療用観察システム、医療用観察装置及び医療用観察方法
JP7200939B2 (ja) 手術システム、制御方法、手術機器、並びにプログラム
JP7208972B2 (ja) 医療用観察装置
WO2018088105A1 (ja) 医療用支持アーム及び医療用システム
JP7034636B2 (ja) 医療用観察装置、および医療用観察システム
JP6976720B2 (ja) 医療用観察装置、およびズーム制御方法
CN110461205A (zh) 手术成像系统、手术用图像处理设备以及用于控制成像过程的方法
WO2017169650A1 (ja) 医療用観察装置、映像移動補正方法及び医療用観察システム
WO2018088113A1 (ja) 関節駆動用アクチュエータ及び医療用システム
JP2023099552A (ja) 医療用観察システム及び医療用制御装置
WO2018221068A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US20220322919A1 (en) Medical support arm and medical system
WO2019123874A1 (ja) 医療用観察システム、医療用信号処理装置、及び医療用信号処理装置の駆動方法
WO2017145606A1 (ja) 画像処理装置、画像処理方法及び内視鏡システム
US20190154953A1 (en) Control apparatus, control system, and control method
WO2020203164A1 (ja) 医療システム、情報処理装置及び情報処理方法
JP7134656B2 (ja) 医療用表示制御装置、および表示制御方法
JP7160042B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2023017651A1 (ja) 医療用観察システム、情報処理装置及び情報処理方法
WO2022019057A1 (ja) 医療用アーム制御システム、医療用アーム制御方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18776589

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019508595

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018776589

Country of ref document: EP

Effective date: 20191028