WO2020195042A1 - 医療用観察システム - Google Patents

医療用観察システム Download PDF

Info

Publication number
WO2020195042A1
WO2020195042A1 PCT/JP2020/001572 JP2020001572W WO2020195042A1 WO 2020195042 A1 WO2020195042 A1 WO 2020195042A1 JP 2020001572 W JP2020001572 W JP 2020001572W WO 2020195042 A1 WO2020195042 A1 WO 2020195042A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
captured image
image
subject distance
region
Prior art date
Application number
PCT/JP2020/001572
Other languages
English (en)
French (fr)
Inventor
正隆 加戸
Original Assignee
ソニー・オリンパスメディカルソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー・オリンパスメディカルソリューションズ株式会社 filed Critical ソニー・オリンパスメディカルソリューションズ株式会社
Priority to EP20779512.1A priority Critical patent/EP3933480A4/en
Priority to CN202080021912.0A priority patent/CN113574437A/zh
Priority to JP2021508119A priority patent/JPWO2020195042A1/ja
Priority to US17/438,949 priority patent/US20220155557A1/en
Publication of WO2020195042A1 publication Critical patent/WO2020195042A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/245—Devices for focusing using auxiliary sources, detectors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/001—Counterbalanced structures, e.g. surgical microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/40—Systems for automatic generation of focusing signals using time delay of the reflected waves, e.g. of ultrasonic waves
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/14—Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/095—Digital circuits for control of aperture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data

Definitions

  • This disclosure relates to a medical observation system.
  • Patent Document 1 a medical observation system using a surgical microscope that magnifies and images a predetermined visual field area of an observation target is known (see, for example, Patent Document 1).
  • the surgical microscope described in Patent Document 1 includes an imaging unit that captures an image of an observation object, and a support portion that moves the imaging unit by utilizing movement of 6 degrees of freedom. That is, the surgeon grasps the imaging unit and uses the movement of 6 degrees of freedom in the support unit to position the imaging unit at a position facing the observation target of the patient lying on the operating table.
  • the captured image captured by the imaging unit is magnified at a predetermined magnification and displayed on the display device. Then, the surgeon performs the operation while checking the captured image displayed on the display device.
  • the operator's hand, surgical instrument, or the like may enter the angle of view of the imaging unit.
  • the brightness within the angle of view has become brighter, so that the image of the observation target is imaged so as to be darker.
  • the brightness of the image is adjusted. That is, the captured image becomes an image in which it is difficult for the operator to recognize the observation target. Therefore, there is a demand for a technique capable of generating an image suitable for observation.
  • the present disclosure has been made in view of the above, and an object of the present disclosure is to provide a medical observation system capable of generating an image suitable for observation.
  • the medical observation system includes an imaging unit that captures a subject and generates an captured image, and at least two pixels in the captured image from a specific position.
  • a distance information acquisition unit that acquires subject distance information including each subject distance to a corresponding position on the subject corresponding to the position, a focal position of the imaging unit based on the subject distance information, and brightness of the captured image.
  • an operation control unit that controls at least one of the depth of field of the image pickup unit.
  • the subject distance information is such that the subject distance from the specific position to the corresponding position on the subject corresponding to the pixel position in the captured image is for each pixel position. This is the depth map information detected in.
  • the motion control unit determines the pixel position of the specific subject distance in the captured image based on the subject distance information, and the determined pixel.
  • the focal position of the imaging unit is controlled so that the region including the position is in the focused state.
  • the pixel position of the specific subject distance is the pixel position having the largest subject distance in the captured image.
  • the motion control unit specifies in the captured image from the pixel position in the central region including the center of the captured image based on the subject distance information.
  • the pixel position of the subject distance is determined, and the focal position of the imaging unit is controlled so that the region including the determined pixel position is in the focused state.
  • the detection area setting unit that sets the detection region in the captured image and the operation control unit based on the image in the detection region in the captured image.
  • an evaluation value calculation unit for calculating an evaluation value used for at least one of control of the focal position of the image pickup unit and control of the brightness of the captured image is provided, and the detection area setting unit is the subject. Based on the distance information, the range of the subject distance of interest is determined, and the region composed of the pixel positions of the subject distance included in the determined subject distance range in the captured image is set as the detection region. ..
  • the focal position detection unit for detecting the current focal position in the imaging unit is further provided, and the motion control unit includes the subject distance information and the current focus. The brightness of the captured image is adjusted based on the position.
  • the detection area setting unit that sets the detection region in the captured image and the operation control unit based on the image in the detection region in the captured image. Further, an evaluation value calculation unit for calculating an evaluation value used for controlling the brightness of the captured image is provided, and the detection area setting unit is based on the subject distance information and the current focal position. The observed region in the image is discriminated, and the discriminated region is set as the detection region.
  • the focal position detection unit for detecting the current focal position in the imaging unit is further provided, and the motion control unit includes the subject distance information and the current focus.
  • the depth of field of the imaging unit is controlled based on the position.
  • the image pickup unit receives light from the subject and generates the image pickup image, and is located between the subject and the image pickup device. It is provided with a diaphragm for adjusting the amount of light incident on the image sensor from the subject, and the motion control unit controls the operation of the diaphragm to control the depth of field of the image sensor. ..
  • an image processing unit that executes image processing on the captured image to adjust the depth of field is further provided, and the motion control unit is the operation control unit. By controlling the operation of the image processing unit, the depth of field of the imaging unit is controlled.
  • the motion control unit determines the observed pixel position in the captured image based on the subject distance information and the current focal position.
  • the subject distance at the determined pixel position is equal to or greater than a specific threshold value, the depth of field of the imaging unit is controlled to be large.
  • the distance information acquisition unit is composed of any one of a phase difference sensor, a TOF (Time Of Flight) sensor, and a stereo camera.
  • the distance information acquisition unit is provided in the imaging unit to acquire the subject distance information and generate the captured image.
  • FIG. 1 is a diagram showing a medical observation system according to the first embodiment.
  • FIG. 2 is a block diagram showing a medical observation system.
  • FIG. 3 is a flowchart showing the operation of the control device.
  • FIG. 4 is a diagram illustrating the operation of the control device.
  • FIG. 5 is a diagram illustrating the operation of the control device.
  • FIG. 6 is a diagram illustrating the operation of the control device.
  • FIG. 7 is a flowchart showing the pre-operation of the control device according to the second embodiment.
  • FIG. 8 is a diagram illustrating the pre-operation of the control device.
  • FIG. 9 is a flowchart showing the main operation of the control device.
  • FIG. 10 is a diagram illustrating a main operation of the control device.
  • FIG. 10 is a diagram illustrating a main operation of the control device.
  • FIG. 11 is a diagram illustrating a main operation of the control device.
  • FIG. 12 is a diagram illustrating a main operation of the control device.
  • FIG. 13 is a flowchart showing the operation of the control device according to the third embodiment.
  • FIG. 14 is a diagram illustrating the operation of the control device.
  • FIG. 15 is a diagram illustrating the operation of the control device.
  • FIG. 16 is a diagram showing a modified example of the third embodiment.
  • FIG. 17 is a flowchart showing the operation of the control device according to the fourth embodiment.
  • FIG. 18 is a diagram illustrating the operation of the control device.
  • FIG. 19 is a diagram showing a medical observation system according to the fifth embodiment.
  • FIG. 20 is a diagram showing a medical observation system according to the sixth embodiment.
  • FIG. 21 is a diagram showing a modified example of the first to fourth embodiments.
  • FIG. 1 is a diagram showing a medical observation system 1 according to the first embodiment.
  • FIG. 2 is a block diagram showing a medical observation system 1.
  • the medical observation system 1 images an observation target (subject) to support microsurgery such as neurosurgery or to perform endoscopic surgery, and is obtained by the imaging. It is a system that displays captured images.
  • the medical observation system 1 is composed of a medical observation device 2 for imaging an observation target and a display display using a liquid crystal or an organic EL (Electro Luminescence) for medical use. It is provided with a display device 3 for displaying an captured image obtained by imaging the observation device 2.
  • a display device 3 for displaying an captured image obtained by imaging the observation device 2.
  • the medical observation device 2 is a surgical microscope that magnifies and images a predetermined visual field area of an observation target.
  • the medical observation device 2 includes an imaging unit 21, a base unit 22 (FIG. 1), a support unit 23 (FIG. 1), a light source unit 24, and a light guide 25 ( FIG. 1) and a control device 26 (FIG. 2) are provided.
  • the image pickup unit 21 includes a lens unit 211, an aperture 212, a drive unit 213, a detection unit 214, an image sensor 215, a signal processing unit 216, and a communication unit 217.
  • the lens unit 211 includes the focus lens 211a (FIG. 2), captures a subject image from an observation target, and forms an image on the image pickup surface of the image pickup device 215.
  • the focus lens 211a is configured by using one or more lenses, and adjusts the focal position by moving along the optical axis. Further, the lens unit 211 is provided with a focus mechanism (not shown) for moving the focus lens 211a along the optical axis.
  • the aperture 212 is provided between the lens unit 211 and the image sensor 215, and under the control of the control device 26, adjusts the amount of light of the subject image from the lens unit 211 toward the image sensor 215.
  • the drive unit 213 includes a lens drive unit 213a and an aperture drive unit 213b.
  • the lens driving unit 213a operates the above-mentioned focus mechanism under the control of the control device 26 to adjust the focal position of the lens unit 211.
  • the lens driving unit 213a operates the above-mentioned focus mechanism in response to a user operation by an operator such as an operator on the focus switch 218 (FIG. 1) provided in the imaging unit 21, and focuses the lens unit 211. Adjust the position.
  • the aperture drive unit 213b operates the aperture 212 under the control of the control device 26 to adjust the aperture value of the aperture 212.
  • the detection unit 214 includes a focal position detection unit 214a and an aperture value detection unit 214b.
  • the focal position detection unit 214a is composed of a position sensor such as a photo interrupter, and detects the current position (focus position) of the focus lens 211a. Then, the focal position detection unit 214a outputs a signal corresponding to the detected focal position to the control device 26.
  • the aperture value detection unit 214b is composed of a linear encoder or the like, and detects the current aperture value of the aperture 212. Then, the aperture value detection unit 214b outputs a signal corresponding to the detected aperture value to the control device 26.
  • the image sensor 215 is composed of an image sensor that receives a subject image formed by the lens unit 211 and generates an image (analog signal).
  • the image sensor 215 integrates the image sensor and a TOF sensor (corresponding to the distance information acquisition unit according to the present disclosure) that acquires subject distance information (hereinafter referred to as depth map information) by the TOF method. It is constructed as a target.
  • the depth map information With the depth map information, the subject distance from the position of the image sensor 215 (corresponding to the specific position according to the present disclosure) to the corresponding position on the observation target corresponding to the pixel position in the captured image is detected for each pixel position.
  • Information is not limited to the TOF sensor, and a phase difference sensor, a stereo camera, or the like may be adopted.
  • the depth map information and the captured image are collectively referred to as an image signal.
  • the signal processing unit 216 performs signal processing on the image signal (analog signal) from the image sensor 215. For example, the signal processing unit 216 processes the image signal (analog signal) from the image sensor 215 to remove reset noise, multiplies the analog gain to amplify the analog signal, performs A / D conversion, and the like. Perform signal processing.
  • the communication unit 217 is an interface for communicating with the control device 26, transmits an image signal (digital signal) signal processed by the signal processing unit 216 to the control device 26, and is a control device. The control signal from 26 is received.
  • the base portion 22 is a base of the medical observation device 2, and is configured to be movable on the floor surface via casters 221 (FIG. 1).
  • the support portion 23 extends from the base portion 22 and holds the image pickup portion 21 at the tip end (end portion separated from the base portion 22). Then, the support unit 23 makes the image pickup unit 21 three-dimensionally movable in response to an external force applied by the operator.
  • the support unit 23 is configured to have 6 degrees of freedom with respect to the movement of the imaging unit 21, but is not limited to this, and has other different degrees of freedom. It may be configured.
  • the support portion 23 includes first to seventh arm portions 231a to 231g and first to sixth joint portions 232a to 232f.
  • the first joint portion 232a is located at the tip of the support portion 23.
  • the first joint portion 232a is fixedly supported by the first arm portion 231a, and holds the image pickup unit 21 so as to be rotatable around the first axis O1 (FIG. 1).
  • the first axis O1 coincides with the observation optical axis of the imaging unit 21. That is, when the imaging unit 21 is rotated around the first axis O1, the direction of the imaging field of view by the imaging unit 21 is changed.
  • the first arm portion 231a is a substantially rod-shaped member extending in a direction orthogonal to the first axis O1, and fixedly supports the first joint portion 232a at its tip.
  • the second joint portion 232b is fixedly supported by the second arm portion 231b, and holds the first arm portion 231a so as to be rotatable around the second axis O2 (FIG. 1). Therefore, the second joint portion 232b makes the imaging unit 21 rotatable around the second axis O2.
  • the second axis O2 is orthogonal to the first axis O1 and is parallel to the extending direction of the first arm portion 231a.
  • the second joint portion 232b is a joint portion for moving the imaging field of view by the imaging unit 21 along the X axis.
  • the second arm portion 231b has a crank shape extending in a direction orthogonal to the first and second axes O1 and O2, and fixedly supports the second joint portion 232b at the tip.
  • the third joint portion 232c is fixedly supported by the third arm portion 231c, and holds the second arm portion 231b so as to be rotatable around the third axis O3 (FIG. 1). Therefore, the third joint portion 232c makes the imaging unit 21 rotatable around the third axis O3.
  • the third axis O3 is orthogonal to the first and second axes O1 and O2.
  • the third joint portion 232c is a joint portion for moving the imaging field of view by the imaging unit 21 along the Y axis.
  • the third arm portion 231c is a substantially rod-shaped member extending in a direction substantially parallel to the third axis O3, and fixedly supports the third joint portion 232c at the tip end.
  • the fourth joint portion 232d is fixedly supported by the fourth arm portion 231d, and holds the third arm portion 231c so as to be rotatable about the fourth axis O4 (FIG. 1). Therefore, the fourth joint portion 232d makes the imaging unit 21 rotatable around the fourth axis O4.
  • the fourth axis O4 is orthogonal to the third axis O3. That is, when the imaging unit 21 is rotated around the fourth axis O4, the height of the imaging unit 21 is adjusted. Therefore, the fourth joint portion 232d is a joint portion for moving the imaging unit 21 in parallel.
  • the fourth arm portion 231d is a substantially rod-shaped member orthogonal to the fourth axis O4 and extending linearly toward the base portion 22, and the fourth joint portion 232d is fixedly formed on one end side.
  • the fifth arm portion 231e has the same shape as the fourth arm portion 231d.
  • the fifth arm portion 231e is rotatably connected to the third arm portion 231c with one end side rotatably about an axis parallel to the fourth axis O4.
  • the sixth arm portion 231f has substantially the same shape as the third arm portion 231c.
  • the sixth arm portion 231f is in a posture of forming a parallelogram between the third to fifth arm portions 231c to 231e, and is rotatable about an axis parallel to the fourth axis O4. It is connected to each other end side of the fourth and fifth arm portions 231d and 231e. Further, a counterweight 233 (FIG. 1) is provided at the end of the sixth arm portion 231f.
  • the counterweight 233 has a rotational moment generated around the fourth axis O4 and a fifth by the mass of each component provided on the tip side (the side where the imaging unit 21 is provided) of the support portion 23 with respect to the counterweight 233.
  • the mass and the arrangement position are adjusted so that the rotational moments generated around the axis O5 (FIG. 1) can be offset.
  • the support portion 23 is a balance arm (a configuration in which a counter weight 233 is provided).
  • the support portion 23 may be configured so that the counter weight 233 is not provided.
  • the fifth joint portion 232e is fixedly supported by the seventh arm portion 231g, and holds the fourth arm portion 231d so as to be rotatable around the fifth axis O5. Therefore, the fifth joint portion 232e makes the imaging unit 21 rotatable around the fifth axis O5.
  • the fifth axis O5 is parallel to the fourth axis O4. That is, when the imaging unit 21 is rotated around the fifth axis O5, the height of the imaging unit 21 is adjusted. Therefore, the fifth joint portion 232e is a joint portion for moving the imaging unit 21 in parallel.
  • the seventh arm portion 231g has a substantially L-shape composed of a first portion extending in the vertical direction and a second portion bending and extending substantially at a right angle to the first portion.
  • the fifth joint portion 232e is fixedly supported at the first portion.
  • the sixth joint portion 232f rotatably holds the second portion of the seventh arm portion 231g about the sixth axis O6 (FIG. 1) while being fixedly supported by the base portion 22. Therefore, the sixth joint portion 232f makes the imaging unit 21 rotatable around the sixth axis O6.
  • the sixth axis O6 is an axis along the vertical direction. That is, the sixth joint portion 232f is a joint portion for moving the imaging unit 21 in parallel.
  • the first axis O1 described above is provided by a passive axis that allows the imaging unit 21 to passively rotate around the first axis O1 in response to an external force applied by the operator, regardless of the power of an actuator or the like. It is configured.
  • the second to sixth axes O2 to O6 are also configured by passive axes.
  • One end of the light guide 25 is connected to the light source unit 24, and the illumination light of the amount of light specified by the control device 26 is supplied to one end of the light guide 25.
  • One end of the light guide 25 is connected to the light source unit 24, and the other end is connected to the image pickup unit 21. Then, the light guide 25 transmits the light supplied from the light source unit 24 from one end to the other end and supplies the light to the imaging unit 21.
  • the light supplied to the imaging unit 21 irradiates the observation target from the imaging unit 21.
  • the light (subject image) that is applied to the observation target and reflected by the observation target is focused by the lens unit 211 in the image pickup unit 21 and then imaged by the image pickup device 215.
  • the control device 26 is provided inside the base portion 22 and comprehensively controls the operation of the medical observation system 1. As shown in FIG. 2, the control device 26 includes a communication unit 261, an image processing unit 262, a display control unit 263, a control unit 264, and a storage unit 265.
  • the communication unit 261 is an interface for communicating with the imaging unit 21 (communication unit 217), receives an image signal (digital signal) from the imaging unit 21, and transmits a control signal from the control unit 264. To do.
  • the image processing unit 262 processes the captured image output from the imaging unit 21 and included in the image signal (digital signal) received by the communication unit 261. For example, the image processing unit 262 multiplies the captured image (digital signal) by the digital gain that amplifies the digital signal. In addition, the image processing unit 262 performs optical black subtraction processing, white balance (WB) adjustment processing, demosaic processing, color matrix calculation processing, gamma correction processing, luminance signal, and color difference with respect to the captured image after multiplying the digital gain. signal (Y, C B / C R signal) to perform various image processing YC conversion processing for generating a.
  • WB white balance
  • the image processing unit 262 executes the detection process based on the captured image after executing the various image processes described above.
  • the image processing unit 262 is based on pixel information (for example, a luminance signal (Y signal)) for each pixel in the detection region, which is at least a part of the entire image region of the captured image of one frame.
  • the contrast and frequency components of the image inside are detected, the brightness average value and the maximum and minimum pixels in the detection area are detected by a filter or the like, the comparison judgment with the threshold value, and the detection of the histogram or the like (detection processing) are executed.
  • the detection region is a region set by the control unit 264.
  • the image processing unit 262 outputs the detection information (contrast, frequency component, brightness average value, maximum / minimum pixel, histogram, etc.) obtained by the detection processing to the control unit 264.
  • the control unit 264 is composed of, for example, a CPU (Central Processing Unit), an FPGA (Field-Programmable Gate Array), etc., controls the operations of the image pickup unit 21, the light source unit 24, and the display device 3, and controls the operation of the entire control device 26. Control the operation of. As shown in FIG. 2, the control unit 264 includes a detection area setting unit 264a, an evaluation value calculation unit 264b, and an operation control unit 264c. The functions of the detection area setting unit 264a, the evaluation value calculation unit 264b, and the operation control unit 264c will be described in "Operation of the control device" described later.
  • a CPU Central Processing Unit
  • FPGA Field-Programmable Gate Array
  • the storage unit 265 stores a program executed by the control unit 264, information necessary for processing of the control unit 264, and the like.
  • FIG. 3 is a flowchart showing the operation of the control device 26.
  • 4 to 6 are views for explaining the operation of the control device 26.
  • FIG. 4 is a perspective view showing an observation target OB.
  • FIG. 5 is a plan view of the observation target OB as viewed from above.
  • FIG. 6 is a side view of the observation target OB.
  • the observation target OB in which the recessed OB2 is provided in a part of the surface OB1 is illustrated.
  • the deepest region Ar of the recess OB2 is shaded.
  • the detection area setting unit 264a receives an image signal (image captured image and depth map information) output from the image pickup unit 21 after the observation target OB is imaged by the image pickup unit 21 from above via the communication unit 261. Acquire (step S1). After step S1, the detection area setting unit 264a determines the area composed of the pixel position having the largest subject distance in the entire image area of the captured image acquired in step S1 based on the depth map information acquired in step S1. Determine (step S2). The region composed of the pixel positions having the largest subject distance is a region corresponding to the deepest region Ar in the observation target OB.
  • the detection area setting unit 264a sets the area determined in step S2 as the detection area (step S3).
  • the image processing unit 262 executes the detection process based on the pixel information for each pixel of the detection area set in step S2 out of the total image area of the captured image acquired in step S1 (step S4). ). Then, the image processing unit 262 outputs the detection information obtained by the detection processing to the control unit 264.
  • the evaluation value calculation unit 264b calculates the evaluation value based on the detection information obtained by the detection process in step S4 (step S5). Specifically, in step S5, the evaluation value calculation unit 264b determines the detection region (contrast and frequency component) set in step S2 among all the image regions of the captured image acquired in step S1 based on the detection information (contrast and frequency component). The focusing evaluation value for evaluating the focusing state of the image in the deepest region (region corresponding to Ar) is calculated. For example, the evaluation value calculation unit 264b uses the contrast obtained by the detection process in step S4 and the sum of the high frequency components among the frequency components obtained by the detection process in step S4 as the focusing evaluation value. As for the focusing evaluation value, the larger the value, the more in focus.
  • the evaluation value calculation unit 264b is a region corresponding to the detection region (the deepest region Ar) set in step S2 of all the image regions of the captured image based on the detection information (brightness average value). ) Is used to change the brightness of the image to the reference brightness (change the detection information (brightness average value) to the reference brightness average value) to calculate the brightness evaluation value.
  • the evaluation value calculation unit 264b calculates the first to fourth brightness evaluation values shown below as the brightness evaluation values.
  • the first brightness evaluation value is the exposure time of each pixel in the image sensor 215.
  • the second brightness evaluation value is an analog gain multiplied by the signal processing unit 216.
  • the third brightness evaluation value is a digital gain multiplied by the image processing unit 262.
  • the fourth brightness evaluation value is the amount of illumination light supplied by the light source unit 24.
  • step S6 the motion control unit 264c executes an AF process for adjusting the focal position of the lens unit 211 (step S6).
  • the motion control unit 264c uses a mountain climbing method or the like based on the focusing evaluation value calculated in step S5 and the current focus position detected by the focal position detection unit 214a.
  • the images in the detection region (the region corresponding to the deepest region Ar) set in step S2 out of the total image regions of the captured images acquired in step S1 are combined.
  • the AF process for positioning the focus lens 211a at the focal position in the focused state is executed.
  • the motion control unit 264c controls the operations of the image pickup element 215, the signal processing section 216, the image processing section 262, and the light source section 24 to control the operation of the entire image region of the captured image acquired in step S1.
  • the brightness adjustment process for adjusting the brightness of the image in the detection region (the region corresponding to the deepest region Ar) set in step S2 to the reference brightness is executed (step S7).
  • the motion control unit 264c outputs a control signal to the image pickup unit 21 in step S7, and sets the exposure time of each pixel of the image pickup element 215 as the first brightness evaluation value calculated in step S5.
  • the motion control unit 264c outputs a control signal to the image pickup unit 21, and sets the analog gain multiplied by the signal processing unit 216 as the second brightness evaluation value calculated in step S5. Further, the motion control unit 264c outputs a control signal to the image processing unit 262, and sets the digital gain multiplied by the image processing unit 262 as the third brightness evaluation value calculated in step S5. Further, the operation control unit 264c outputs a control signal to the light source unit 24, and sets the amount of illumination light supplied by the light source unit 24 as the fourth brightness evaluation value calculated in step S5.
  • the deepest region Ar is the region where the surgery is performed, and is the region that the surgeon wants to observe most.
  • the control device 26 according to the first embodiment sets a region corresponding to the deepest region Ar in the entire image region of the captured image as the detection region. Then, the control device 26 executes the AF process and the brightness adjustment process based on the detection information obtained by the detection process in the detection region. Therefore, in the captured image, the deepest region Ar (the region that the operator wants to observe most) is automatically focused, and the image corresponding to the deepest region Ar (the region that the operator wants to observe most) is the image. The brightness is automatically adjusted to the desired brightness. Therefore, according to the control device 26 according to the first embodiment, it is possible to generate an image suitable for observation.
  • the distance information acquisition unit according to the present disclosure is integrally provided with the image sensor 215 (imaging unit 21). Therefore, the visual field region imaged by the imaging unit 21 (see, for example, the visual field region Ar1 shown in FIG. 21) and the depth map acquisition region (for example, FIG. 21) in which the distance information acquisition unit according to the present disclosure acquires depth map information. (Refer to the depth map acquisition area Ar2) shown in (1) can be the same area. That is, the process of adjusting the depth map acquisition area to the visual field area becomes unnecessary, and the processing load of the control device 26 can be reduced.
  • the control device 26 determines the pixel position of a specific subject distance (the pixel position having the largest subject distance) from the pixel positions of the entire image region of the captured image based on the depth map information. It was, but it is not limited to this. For example, the control device 26 determines the pixel position of a specific subject distance (the pixel position having the largest subject distance) from the pixel position in the central region including the center of the captured image based on the depth map information. Then, the control device 26 sets the region including the determined pixel position in the detection region, and executes the AF process so that the image in the detection region is in the focused state.
  • This modification takes into consideration that the position of the imaging unit 21 can be easily adjusted so that the position where the operation is performed is located in the central region of the captured image. That is, in the captured image, since the pixel position of a specific subject distance is determined only in the central region, it is possible to extract an appropriate pixel position while reducing the processing load of the control device 26.
  • FIG. 7 is a flowchart showing the pre-operation of the control device 26 according to the second embodiment.
  • FIG. 8 is a diagram illustrating the pre-operation of the control device 26. Specifically, FIG. 8 is a side view of the observation target OB. The observation target OB shown in FIG. 8 is the same observation target as the observation target OB shown in FIGS. 4 to 6.
  • the detection area setting unit 264a receives an image signal (image captured image and depth map information) output from the image pickup unit 21 after the observation target OB is imaged by the image pickup unit 21 from above via the communication unit 261. Acquire (step S8).
  • the detection area setting unit 264a determines the range of the subject distance of interest (hereinafter referred to as the attention range) based on the depth map information acquired in step S8 (step S9).
  • the attention range the subject distance of interest
  • the detection region setting unit 264a determines the range RG from the surface OB1 to the deepest region Ar in the observation target OB as the attention range. To do. Then, the detection area setting unit 264a stores the attention range determined in step S9 in the storage unit 265.
  • FIG. 9 is a flowchart showing the main operation of the control device 26.
  • 10 to 12 are diagrams for explaining the main operation of the control device 26. Specifically, FIG. 10 is a perspective view showing an observation target OB. FIG. 11 is a plan view of the observation target OB as viewed from above. FIG. 12 is a side view of the observation target OB. The observation target OB shown in FIGS. 10 to 12 is the same observation target as the observation target OB shown in FIGS. 4 to 6.
  • step S10 is adopted instead of step S2 with respect to the operation of the control device 26 (FIG. 3) described in the first embodiment described above, and further, as shown in FIG.
  • step S3A is adopted instead of step S3. Therefore, in the following, only steps S10 and S3A will be described.
  • Step S10 is executed after step S1. Specifically, the detection area setting unit 264a has the entire captured image acquired in step S1 based on the depth map information acquired in step S1 and the attention range stored in the storage unit 265 in step S9 in step S10. In the image region, an region composed of pixel positions of the subject distance included in the attention range is determined.
  • the detection area setting unit 264a sets the area determined in step S10 as the detection area (step S3A). After that, the process proceeds to step S4, and the detection process is executed in the detection region.
  • an obstacle EX such as an operator's hand or a surgical instrument enters between the imaging unit 21 and the observation target OB, and the imaging unit 21 obtains an image. It is assumed that the obstacle EX is reflected in the captured image. In this case, since the obstacle EX is located outside the range RG corresponding to the range of interest (represented by diagonal lines in FIGS. 11 and 12), the entire image area of the captured image is other than the area where the obstacle EX is reflected. Area is set as the detection area.
  • the control device 26 determines the range of interest by pre-operation. Further, when the control device 26 executes the main operation, in the entire image region of the captured image, a region composed of pixel positions of the subject distance included in the attention range is set as the detection region. Then, the control device 26 executes the AF process and the brightness adjustment process based on the detection information obtained by the detection process in the detection region. Therefore, even when the obstacle EX is reflected in the captured image, the obstacle EX is not focused and the brightness is not adjusted according to the obstacle EX. Therefore, according to the second embodiment, it is possible to generate an image suitable for observation.
  • FIG. 13 is a flowchart showing the operation of the control device 26 according to the third embodiment.
  • 14 and 15 are diagrams illustrating the operation of the control device 26.
  • the observation target OB shown in FIGS. 14 and 15 is the same observation target as the observation target OB shown in FIGS. 4 to 6.
  • step S11, instead of step S2, S12 is adopted, and step S3B is adopted instead of step S3, and step S6 is omitted. Therefore, only steps S11, S12, and S3B will be described below.
  • Step S11 is executed after step S1. Specifically, in step S11, the detection area setting unit 264a acquires the current focal position detected by the focal position detection unit 214a via the communication unit 261.
  • the detection area setting unit 264a operates on the entire image area of the captured image acquired in step S1 based on the depth map information acquired in step S1 and the current focal position acquired in step S11.
  • a region observed by a person or the like (hereinafter referred to as an observation region) is determined (step S12). Specifically, in step S12, the detection area setting unit 264a converts the current focal position acquired in step S11 into the subject distance. Then, the detection area setting unit 264a is based on the depth map information acquired in step S1 and the converted subject distance, and in the entire image area of the captured image acquired in step S1, the pixel position of the converted subject distance. The area composed of is determined as an observation area.
  • the region (observation region) composed of the pixel positions of the subject distance converted from the focal position is defined as the region corresponding to the deepest region Ar, as shown by diagonal lines in FIG. 14 (b). It is determined.
  • the region (observation region) composed of the positions is determined as a region corresponding to the surface OB1 as shown by diagonal lines in FIG. 15 (b).
  • step S12 the detection area setting unit 264a sets the observation area determined in step S12 as the detection area (step S3B). After that, the process proceeds to step S4, and the detection process is executed in the detection region. Further, in the second embodiment, the step S7 is executed after the step S5 because the step S6 is omitted.
  • the control device 26 determines the observation area in the captured image based on the depth map information and the current focal position, and sets the observation area as the detection area. Then, the control device 26 executes the brightness adjustment process based on the detection information obtained by the detection process in the detection region. Therefore, in the captured image, the brightness of the image corresponding to the region observed by the operator is automatically adjusted to the desired brightness. Therefore, according to the third embodiment, it is possible to generate an image suitable for observation.
  • FIG. 16 is a diagram showing a modified example of the third embodiment.
  • the observation target OB'shown in FIG. 16 is further provided with a recess OB3 in which the depth position of the deepest region Ar'is the same as that of the region Ar with respect to the observation target OB shown in FIGS. 14 and 15. The point is different.
  • the current focal position is deep, and the subject distance converted from the focal position is the same as the subject distance at the pixel positions of the regions Ar and Ar'.
  • the subject distance converted from the focal position is the same as the subject distance at the pixel positions of the regions Ar and Ar'.
  • the detection area setting unit 264a does not know which region, the region corresponding to the region Ar or the region corresponding to the region Ar', should be set as the detection region in the entire image region of the captured image.
  • the detection region in the entire image region of the captured image can be selected according to the user's operation on the operation device (not shown) such as a mouse, keyboard, or touch panel provided on the control device 26 by the operator. Therefore, it is assumed that the selected detection region includes a region corresponding to the region Ar (a region corresponding to the region Ar'is not included in the detection region).
  • the detection area setting unit 264a considers the detection area selected by the operator, and in all the image areas of the captured image, of the area corresponding to the area Ar and the area corresponding to the area Ar'. , As shown by the diagonal line in FIG. 16B, the region corresponding to the region Ar is set as the detection region.
  • FIG. 17 is a flowchart showing the operation of the control device 26 according to the fourth embodiment.
  • FIG. 18 is a diagram illustrating the operation of the control device 26.
  • the observation target OB shown in FIG. 18 is the same observation target as the observation target OB shown in FIGS. 4 to 6.
  • the operation of the control device 26 described in the above-described third embodiment is replaced with steps S3B and S4 to S7. Steps S13 and S14 are adopted. Therefore, only steps S13 and S14 will be described below.
  • Step S13 is executed after step S12. Specifically, in step S13, the motion control unit 264c determines whether or not the subject distance of the observation region determined in step S12 is equal to or greater than a specific threshold value. For example, as shown in FIG. 18A, it is assumed that the current focal position is deep and the region observed by the operator or the like is deeper than the surface OB1 (indicated by diagonal lines in FIG. 18B). In this case, in step S13, it is determined as "Yes".
  • step S14 the motion control unit 264c adjusts the depth of field (step S14). Specifically, the motion control unit 264c increases the aperture value and the depth of field by controlling the operation of the aperture drive unit 213b in step S14. Alternatively, the motion control unit 264c controls the operation of the image processing unit 262 in step S14 to cause the image processing unit 262 to perform image processing on the captured image acquired in step S1 to have a depth of field. To expand. A known method can be adopted for image processing for increasing the depth of the subject. On the other hand, if it is determined as "No" in step S13, the operation control unit 264c ends the control flow without executing step S14.
  • the control device 26 determines an observation area in the captured image based on the depth map information and the current focal position, and when the subject distance of the observation area is equal to or more than a specific threshold value, the object is covered. Control to increase the depth of field. That is, when the operation of the deepest region Ar is performed, the captured image is an image in which the surface OB1 is in focus in addition to the deepest region Ar. Therefore, according to the fourth embodiment, it is possible to generate an image suitable for observation.
  • FIG. 19 is a diagram showing a medical observation system 1D according to the fifth embodiment.
  • the medical observation system 1D according to the fifth embodiment is connected to the rigid endoscope 2D and the rigid endoscope 2D via a light guide 25, and is connected to the rigid endoscope 2D via a light guide 25.
  • the control device 26 Based on the light source unit 24 that generates the illumination light emitted from the tip of the 2D, the control device 26 that processes the image signal output from the rigid endoscope 2D, and the video signal for display processed by the control device 26.
  • a display device 3 for displaying an captured image is provided.
  • the rigid endoscope 2D includes an insertion portion 4 and a camera head 21D.
  • the insertion portion 4 has an elongated shape in which the whole is hard, or a part is soft and the other part is hard, and the insertion portion 4 is inserted into the living body. Then, the insertion unit 4 takes in light (subject image) from the living body.
  • the camera head 21D is detachably connected to the base end (eyepiece portion) of the insertion portion 4.
  • the camera head 21D has substantially the same configuration as the imaging unit 21 described in the first embodiment described above. Then, the camera head 21D captures the subject image captured by the insertion unit 4 and outputs an image signal.
  • FIG. 20 is a diagram showing a medical observation system 1E according to the sixth embodiment.
  • the medical observation system 1E according to the sixth embodiment is a flexible endoscope 2E that captures an in-vivo image of the observation site and outputs an image signal by inserting the insertion portion 4E into the living body.
  • the light source unit 24 that generates the illumination light emitted from the tip of the flexible endoscope 2E, the control device 26 that processes the image signal output from the flexible endoscope 2E, and the control device 26 process the light. It is provided with a display device 3 for displaying an captured image based on a video signal for display.
  • the flexible endoscope 2E includes a flexible and elongated insertion portion 4E, an operation portion 5 connected to the base end side of the insertion portion 4E and accepting various operations, and an operation.
  • the insertion portion 4E extends from the portion 5 in a direction different from the extending direction, and includes a universal cord 6 containing various cables connected to the light source portion 24 and the control device 26.
  • the insertion portion 4E includes a tip portion 41, a bendable bending portion 42 connected to the base end side of the tip portion 41 and composed of a plurality of bending pieces, and the bending portion 42. It is provided with a flexible long flexible tube portion 43 connected to the base end side and having flexibility.
  • FIG. 21 is a diagram showing a modified example of the first to fourth embodiments.
  • the distance information acquisition unit according to the present disclosure is integrally configured with the image sensor 215 (image sensor 21), but the present invention is not limited to this, and the distance information acquisition unit is separate from the image sensor 21. It may be composed of.
  • the field of view region Ar1 imaged by the imaging unit 21 and the depth map acquisition area Ar2 from which the distance information acquisition unit according to the present disclosure acquires depth map information are It will be different.
  • the distance information acquisition unit also includes the image pickup unit provided on the camera head 21D and the tip portion 41 in the fifth and sixth embodiments. It may be configured separately.
  • the brightness adjustment processing includes the exposure time of each pixel in the image sensor 215, the analog gain multiplied by the signal processing unit 216, and the digital gain multiplied by the image processing unit 262.
  • the process may be performed to adjust only a part of the amount of illumination light supplied by the light source unit 24.
  • the first to sixth axes O1 to O6 are respectively configured by passive axes, but the present invention is not limited to this. At least one of the first to sixth axes O1 to O6 may be configured by an active axis that actively rotates the imaging unit 21 around the axis according to the power of the actuator.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Surgery (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)

Abstract

医療用観察システム１は、被写体を撮像して撮像画像を生成する撮像部２１と、特定の位置から撮像画像における少なくとも２つの画素位置に対応する被写体上の対応位置までの各被写体距離を含む被写体距離情報を取得する距離情報取得部と、被写体距離情報に基づいて、撮像部２１の焦点位置と、撮像画像の明るさと、撮像部２１の被写界深度との少なくともいずれかを制御する動作制御部２６４ｃとを備える。

Description

医療用観察システム
　本開示は、医療用観察システムに関する。
　従来、観察対象の所定の視野領域を拡大して撮像する手術用顕微鏡を用いた医療用観察システムが知られている（例えば、特許文献１参照）。
　特許文献１に記載の手術用顕微鏡は、観察対象を撮像する撮像部と、６自由度の動きを利用して当該撮像部を移動させる支持部とを備える。
　すなわち、術者は、撮像部を把持し、支持部における６自由度の動きを利用して、手術台の上に横臥している患者の観察対象に対向する位置に当該撮像部を位置付ける。当該撮像部にて撮像された撮像画像は、所定の倍率で拡大され、表示装置に表示される。そして、術者は、表示装置に表示された撮像画像を確認しながら、手術を実行する。
特開２０１６－４２９８１号公報
　ところで、医療用観察システムが使用される状況下では、撮像部の画角内に、術者の手や手術器具等が入り込む場合が想定される。このように観察対象よりも明るい物体が撮像部の画角内に入り込んだ場合には、画角内の明るさが明るくなったものとみなされるため、観察対象の画像がより暗くなるように撮像画像の明るさが調整される。すなわち、当該撮像画像は、術者にとって観察対象を認識し難い画像となってしまう。
　そこで、観察に適した画像を生成することができる技術が要望されている。
　本開示は、上記に鑑みてなされたものであって、観察に適した画像を生成することができる医療用観察システムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本開示に係る医療用観察システムは、被写体を撮像して撮像画像を生成する撮像部と、特定の位置から前記撮像画像における少なくとも２つの画素位置に対応する前記被写体上の対応位置までの各被写体距離を含む被写体距離情報を取得する距離情報取得部と、前記被写体距離情報に基づいて、前記撮像部の焦点位置と、前記撮像画像の明るさと、前記撮像部の被写界深度との少なくともいずれかを制御する動作制御部とを備える。
　また、本開示に係る医療用観察システムでは、上記開示において、前記被写体距離情報は、前記特定の位置から前記撮像画像における画素位置に対応する前記被写体上の対応位置までの被写体距離が画素位置毎に検出されたデプスマップ情報である。
　また、本開示に係る医療用観察システムでは、上記開示において、前記動作制御部は、前記被写体距離情報に基づいて、前記撮像画像における特定の前記被写体距離の画素位置を判別し、当該判別した画素位置を含む領域が合焦状態となるように前記撮像部の焦点位置を制御する。
　また、本開示に係る医療用観察システムでは、上記開示において、前記特定の被写体距離の画素位置は、前記撮像画像における最も前記被写体距離が大きい画素位置である。
　また、本開示に係る医療用観察システムでは、上記開示において、前記動作制御部は、前記撮像画像の中心を含む中央領域内の画素位置から、前記被写体距離情報に基づいて、前記撮像画像における特定の前記被写体距離の画素位置を判別し、当該判別した画素位置を含む領域が合焦状態となるように前記撮像部の焦点位置を制御する。
　また、本開示に係る医療用観察システムでは、上記開示において、前記撮像画像内に検波領域を設定する検波領域設定部と、前記撮像画像における前記検波領域内の画像に基づいて、前記動作制御部による前記撮像部の焦点位置の制御と前記撮像画像の明るさの制御との少なくとも一方の制御に用いられる評価値を算出する評価値算出部とをさらに備え、前記検波領域設定部は、前記被写体距離情報に基づいて、注目する前記被写体距離の範囲を判別し、前記撮像画像における当該判別した前記被写体距離の範囲に含まれる前記被写体距離の画素位置で構成された領域を前記検波領域として設定する。
　また、本開示に係る医療用観察システムでは、上記開示において、前記撮像部における現時点の焦点位置を検出する焦点位置検出部をさらに備え、前記動作制御部は、前記被写体距離情報と前記現時点の焦点位置とに基づいて、前記撮像画像の明るさを調整する。
　また、本開示に係る医療用観察システムでは、上記開示において、前記撮像画像内に検波領域を設定する検波領域設定部と、前記撮像画像における前記検波領域内の画像に基づいて、前記動作制御部による前記撮像画像の明るさの制御に用いられる評価値を算出する評価値算出部とをさらに備え、前記検波領域設定部は、前記被写体距離情報と前記現時点の焦点位置とに基づいて、前記撮像画像における観察されている領域を判別し、当該判別した領域を前記検波領域として設定する。
　また、本開示に係る医療用観察システムでは、上記開示において、前記撮像部における現時点の焦点位置を検出する焦点位置検出部をさらに備え、前記動作制御部は、前記被写体距離情報と前記現時点の焦点位置とに基づいて、前記撮像部の被写界深度を制御する。
　また、本開示に係る医療用観察システムでは、上記開示において、前記撮像部は、前記被写体からの光を受光して前記撮像画像を生成する撮像素子と、前記被写体と前記撮像素子との間に設けられ、前記被写体から前記撮像素子に入射する光の光量を調整する絞りとを備え、前記動作制御部は、前記絞りの動作を制御することで、前記撮像部の被写界深度を制御する。
　また、本開示に係る医療用観察システムでは、上記開示において、前記撮像画像に対して画像処理を実行して前記被写界深度を調整する画像処理部をさらに備え、前記動作制御部は、前記画像処理部の動作を制御することで、前記撮像部の被写界深度を制御する。
　また、本開示に係る医療用観察システムでは、上記開示において、前記動作制御部は、前記被写体距離情報と前記現時点の焦点位置とに基づいて、前記撮像画像における観察されている画素位置を判別し、当該判別した画素位置の前記被写体距離が特定の閾値以上である場合に、前記撮像部の被写界深度が大きくなるように制御する。
　また、本開示に係る医療用観察システムでは、上記開示において、前記距離情報取得部は、位相差センサ、ＴＯＦ（Time　Of　Flight）センサ、及びステレオカメラのいずれかによって構成されている。
　また、本開示に係る医療用観察システムでは、上記開示において、前記距離情報取得部は、前記撮像部に設けられ、前記被写体距離情報を取得するとともに前記撮像画像を生成する。
　本開示に係る医療用観察システムによれば、観察に適した画像を生成することができる、という効果を奏する。
図１は、実施の形態１に係る医療用観察システムを示す図である。 図２は、医療用観察システムを示すブロック図である。 図３は、制御装置の動作を示すフローチャートである。 図４は、制御装置の動作を説明する図である。 図５は、制御装置の動作を説明する図である。 図６は、制御装置の動作を説明する図である。 図７は、実施の形態２に係る制御装置の事前動作を示すフローチャートである。 図８は、制御装置の事前動作を説明する図である。 図９は、制御装置の主動作を示すフローチャートである。 図１０は、制御装置の主動作を説明する図である。 図１１は、制御装置の主動作を説明する図である。 図１２は、制御装置の主動作を説明する図である。 図１３は、実施の形態３に係る制御装置の動作を示すフローチャートである。 図１４は、制御装置の動作を説明する図である。 図１５は、制御装置の動作を説明する図である。 図１６は、実施の形態３の変形例を示す図である。 図１７は、実施の形態４に係る制御装置の動作を示すフローチャートである。 図１８は、制御装置の動作を説明する図である。 図１９は、実施の形態５に係る医療用観察システムを示す図である。 図２０は、実施の形態６に係る医療用観察システムを示す図である。 図２１は、実施の形態１～４の変形例を示す図である。
　以下に、図面を参照して、本開示を実施するための形態（以下、実施の形態）について説明する。なお、以下に説明する実施の形態によって本開示が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
（実施の形態１）
　〔医療用観察システムの概略構成〕
　図１は、実施の形態１に係る医療用観察システム１を示す図である。図２は、医療用観察システム１を示すブロック図である。
　医療用観察システム１は、例えば、脳神経外科手術等の微細手術（マイクロサージャリ）をサポートするためや内視鏡手術を行うために、観察対象（被写体）を撮像し、当該撮像により得られた撮像画像を表示するシステムである。この医療用観察システム１は、図１または図２に示すように、観察対象を撮像する医療用観察装置２と、液晶または有機ＥＬ（Electro　Luminescence）等を用いた表示ディスプレイで構成され、医療用観察装置２の撮像により得られた撮像画像を表示する表示装置３とを備える。
　医療用観察装置２は、観察対象の所定の視野領域を拡大して撮像する手術用顕微鏡である。この医療用観察装置２は、図１または図２に示すように、撮像部２１と、ベース部２２（図１）と、支持部２３（図１）と、光源部２４と、ライトガイド２５（図１）と、制御装置２６（図２）とを備える。
　撮像部２１は、図２に示すように、レンズユニット２１１と、絞り２１２と、駆動部２１３と、検出部２１４と、撮像素子２１５と、信号処理部２１６と、通信部２１７とを備える。
　レンズユニット２１１は、フォーカスレンズ２１１ａ（図２）を含み、観察対象からの被写体像を取り込んで、撮像素子２１５の撮像面に結像する。
　フォーカスレンズ２１１ａは、１または複数のレンズを用いて構成され、光軸に沿って移動することにより、焦点位置を調整する。
　また、レンズユニット２１１には、フォーカスレンズ２１１ａを光軸に沿って移動させるフォーカス機構（図示略）が設けられている。
　絞り２１２は、レンズユニット２１１と撮像素子２１５との間に設けられ、制御装置２６による制御の下、当該レンズユニット２１１から撮像素子２１５に向かう被写体像の光量を調整する。
　駆動部２１３は、図２に示すように、レンズ駆動部２１３ａと、絞り駆動部２１３ｂとを備える。
　レンズ駆動部２１３ａは、制御装置２６が実行する後述するＡＦ処理において、当該制御装置２６による制御の下、上述したフォーカス機構を動作させ、レンズユニット２１１の焦点位置を調整する。また、レンズ駆動部２１３ａは、撮像部２１に設けられたフォーカススイッチ２１８（図１）への術者等の操作者によるユーザ操作に応じて、上述したフォーカス機構を動作させ、レンズユニット２１１の焦点位置を調整する。
　絞り駆動部２１３ｂは、制御装置２６による制御の下、絞り２１２を動作させ、当該絞り２１２の絞り値を調整する。
　検出部２１４は、図２に示すように、焦点位置検出部２１４ａと、絞り値検出部２１４ｂとを備える。
　焦点位置検出部２１４ａは、フォトインタラプタ等の位置センサで構成され、現時点でのフォーカスレンズ２１１ａの位置（焦点位置）を検出する。そして、焦点位置検出部２１４ａは、検出した焦点位置に応じた信号を制御装置２６に出力する。
　絞り値検出部２１４ｂは、リニアエンコーダ等で構成され、現時点での絞り２１２の絞り値を検出する。そして、絞り値検出部２１４ｂは、検出した絞り値に応じた信号を制御装置２６に出力する。
　撮像素子２１５は、レンズユニット２１１が結像した被写体像を受光して撮像画像（アナログ信号）を生成するイメージセンサで構成されている。実施の形態１では、撮像素子２１５は、当該イメージセンサとＴＯＦ方式で被写体距離情報（以下、デプスマップ情報と記載）を取得するＴＯＦセンサ（本開示に係る距離情報取得部に相当）とが一体的に構成されたものである。当該デプスマップ情報とは、撮像素子２１５の位置（本開示に係る特定の位置に相当）から撮像画像における画素位置に対応する観察対象上の対応位置までの被写体距離が画素位置毎に検出された情報である。
　なお、本開示に係る距離情報検出部としては、ＴＯＦセンサに限らず、位相差センサやステレオカメラ等を採用しても構わない。
　以下では、デプスマップ情報及び撮像画像を纏めて画像信号と記載する。
　信号処理部２１６は、撮像素子２１５からの画像信号（アナログ信号）に対して信号処理を行う。
　例えば、信号処理部２１６は、撮像素子２１５からの画像信号（アナログ信号）に対して、リセットノイズを除去する処理、当該アナログ信号を増幅するアナログゲインを乗算する処理、及びＡ／Ｄ変換等の信号処理を行う。
　通信部２１７は、制御装置２６との間で通信を行うインターフェースであり、信号処理部２１６にて信号処理が行われた画像信号（デジタル信号）を制御装置２６に対して送信するとともに、制御装置２６からの制御信号を受信する。
　ベース部２２は、医療用観察装置２の基台であり、キャスター２２１（図１）を介して床面上を移動可能に構成されている。
　支持部２３は、ベース部２２から延在し、先端（ベース部２２から離間した端部）にて撮像部２１を保持する。そして、支持部２３は、操作者から加えられた外力に応じて、撮像部２１を３次元的に移動可能とする。
　なお、実施の形態１では、支持部２３は、撮像部２１の移動に対して６自由度を有するように構成されているが、これに限らず、その他の異なる数の自由度を有するように構成しても構わない。
　この支持部２３は、図１に示すように、第１～第７のアーム部２３１ａ～２３１ｇと、第１～第６の関節部２３２ａ～２３２ｆとを備える。
　第１の関節部２３２ａは、支持部２３の先端に位置する。この第１の関節部２３２ａは、第１のアーム部２３１ａにて固定的に支持されつつ、第１の軸Ｏ１（図１）を中心として回転可能に撮像部２１を保持する。
　ここで、第１の軸Ｏ１は、撮像部２１の観察光軸に一致する。すなわち、第１の軸Ｏ１回りに撮像部２１を回転させると、撮像部２１による撮像視野の向きが変更される。
　第１のアーム部２３１ａは、第１の軸Ｏ１と直交する方向に延在する略棒状の部材であり、先端にて第１の関節部２３２ａを固定的に支持する。
　第２の関節部２３２ｂは、第２のアーム部２３１ｂにて固定的に支持されつつ、第２の軸Ｏ２（図１）を中心として回転可能に第１のアーム部２３１ａを保持する。このため、第２の関節部２３２ｂは、第２の軸Ｏ２回りに撮像部２１を回転可能とする。
　ここで、第２の軸Ｏ２は、第１の軸Ｏ１に直交し、第１のアーム部２３１ａの延在方向に平行となる。すなわち、第２の軸Ｏ２回りに撮像部２１を回転させると、観察対象に対する撮像部２１の光軸の向きが変更される。言い換えれば、撮像部２１による撮像視野が水平面内で第１，第２の軸Ｏ１，Ｏ２に直交するＸ軸（図１）に沿って移動する。このため、第２の関節部２３２ｂは、撮像部２１による撮像視野をＸ軸に沿って移動させるための関節部である。
　第２のアーム部２３１ｂは、第１，第２の軸Ｏ１，Ｏ２に直交する方向に延在したクランク形状を有し、先端にて第２の関節部２３２ｂを固定的に支持する。
　第３の関節部２３２ｃは、第３のアーム部２３１ｃにて固定的に支持されつつ、第３の軸Ｏ３（図１）を中心として回転可能に第２のアーム部２３１ｂを保持する。このため、第３の関節部２３２ｃは、第３の軸Ｏ３回りに撮像部２１を回転可能とする。
　ここで、第３の軸Ｏ３は、第１，第２の軸Ｏ１，Ｏ２に直交する。すなわち、第３の軸Ｏ３回りに撮像部２１を回転させると、観察対象に対する撮像部２１の光軸の向きが変更される。言い換えれば、撮像部２１による撮像視野が水平面内でＸ軸に直交するＹ軸（図１）に沿って移動する。このため、第３の関節部２３２ｃは、撮像部２１による撮像視野をＹ軸に沿って移動させるための関節部である。
　第３のアーム部２３１ｃは、第３の軸Ｏ３と略平行な方向に延在する略棒状の部材であり、先端にて第３の関節部２３２ｃを固定的に支持する。
　第４の関節部２３２ｄは、第４のアーム部２３１ｄにて固定的に支持されつつ、第４の軸Ｏ４（図１）を中心として回転可能に第３のアーム部２３１ｃを保持する。このため、第４の関節部２３２ｄは、第４の軸Ｏ４回りに撮像部２１を回転可能とする。
　ここで、第４の軸Ｏ４は、第３の軸Ｏ３に直交する。すなわち、第４の軸Ｏ４回りに撮像部２１を回転させると、当該撮像部２１の高さが調整される。このため、第４の関節部２３２ｄは、撮像部２１を平行移動させるための関節部である。
　第４のアーム部２３１ｄは、第４の軸Ｏ４に直交し、ベース部２２に向けて直線的に延在した略棒状の部材であり、一端側にて第４の関節部２３２ｄを固定的に支持する。
　第５のアーム部２３１ｅは、第４のアーム部２３１ｄと同一形状を有する。そして、第５のアーム部２３１ｅは、一端側が第４の軸Ｏ４と平行な軸を中心として回転可能に第３のアーム部２３１ｃに対して接続される。
　第６のアーム部２３１ｆは、第３のアーム部２３１ｃと略同一形状を有する。そして、第６のアーム部２３１ｆは、第３～第５のアーム部２３１ｃ～２３１ｅとの間で平行四辺形を形成する姿勢で、第４の軸Ｏ４と平行な軸を中心として回転可能に第４，第５のアーム部２３１ｄ，２３１ｅの各他端側に対して接続される。また、第６のアーム部２３１ｆの端部には、カウンターウェイト２３３（図１）が設けられている。
　カウンターウェイト２３３は、当該カウンターウェイト２３３よりも支持部２３の先端側（撮像部２１が設けられる側）に設けられる各構成要素の質量によって、第４の軸Ｏ４回りに発生する回転モーメント及び第５の軸Ｏ５（図１）回りに発生する回転モーメントを相殺可能に、質量及び配置位置が調整される。すなわち、支持部２３は、バランスアーム（カウンターウェイト２３３が設けられた構成）である。なお、支持部２３としては、カウンターウェイト２３３が設けられていない構成としても構わない。
　第５の関節部２３２ｅは、第７のアーム部２３１ｇにて固定的に支持されつつ、第５の軸Ｏ５を中心として回転可能に第４のアーム部２３１ｄを保持する。このため、第５の関節部２３２ｅは、第５の軸Ｏ５回りに撮像部２１を回転可能とする。
　ここで、第５の軸Ｏ５は、第４の軸Ｏ４に平行となる。すなわち、第５の軸Ｏ５回りに撮像部２１を回転させると、当該撮像部２１の高さが調整される。このため、第５の関節部２３２ｅは、撮像部２１を平行移動させるための関節部である。
　第７のアーム部２３１ｇは、鉛直方向に延在する第１の部位と、当該第１の部位に対して略直角に屈曲して延在する第２の部位とで構成された略Ｌ字形状を有し、当該第１の部位にて第５の関節部２３２ｅを固定的に支持する。
　第６の関節部２３２ｆは、ベース部２２にて固定的に支持されつつ、第６の軸Ｏ６（図１）を中心として回転可能に第７のアーム部２３１ｇの第２の部位を保持する。このため、第６の関節部２３２ｆは、第６の軸Ｏ６回りに撮像部２１を回転可能とする。
　ここで、第６の軸Ｏ６は、鉛直方向に沿う軸である。すなわち、第６の関節部２３２ｆは、撮像部２１を平行移動させるための関節部である。
　以上説明した第１の軸Ｏ１は、アクチュエータ等の動力によらず、操作者から加えられた外力に応じて受動的に撮像部２１を当該第１の軸Ｏ１回りに回転可能とする受動軸によって構成されている。なお、第２～第６の軸Ｏ２～Ｏ６も同様に、受動軸によってそれぞれ構成されている。
　光源部２４は、ライトガイド２５の一端が接続され、制御装置２６にて指定された光量の照明光を当該ライトガイド２５の一端に供給する。
　ライトガイド２５は、一端が光源部２４に接続され、他端が撮像部２１に接続される。そして、ライトガイド２５は、光源部２４から供給された光を一端から他端に伝達し、撮像部２１に供給する。撮像部２１に供給された光は、当該撮像部２１から観察対象に照射される。観察対象に照射され、当該観察対象にて反射された光（被写体像）は、撮像部２１内のレンズユニット２１１により集光された後、撮像素子２１５にて撮像される。
　制御装置２６は、ベース部２２の内部に設けられ、医療用観察システム１の動作を統括的に制御する。この制御装置２６は、図２に示すように、通信部２６１と、画像処理部２６２と、表示制御部２６３と、制御部２６４と、記憶部２６５とを備える。
　通信部２６１は、撮像部２１（通信部２１７）との間で通信を行うインターフェースであり、当該撮像部２１からの画像信号（デジタル信号）を受信するとともに、制御部２６４からの制御信号を送信する。
　画像処理部２６２は、制御部２６４による制御の下、撮像部２１から出力され、通信部２６１にて受信した画像信号（デジタル信号）に含まれる撮像画像を処理する。
　例えば、画像処理部２６２は、撮像画像（デジタル信号）に対して、当該デジタル信号を増幅するデジタルゲインを乗算する。また、画像処理部２６２は、デジタルゲインを乗算した後の撮像画像に対して、オプティカルブラック減算処理、ホワイトバランス（ＷＢ）調整処理、デモザイク処理、カラーマトリクス演算処理、ガンマ補正処理、輝度信号及び色差信号（Ｙ，ＣＢ／ＣＲ信号）を生成するＹＣ変換処理等の各種画像処理を実行する。
　また、画像処理部２６２は、上述した各種画像処理を実行した後の撮像画像に基づいて、検波処理を実行する。
　例えば、画像処理部２６２は、１フレームの撮像画像の全画像領域の少なくとも一部の領域である検波領域の画素毎の画素情報（例えば、輝度信号（Ｙ信号））に基づいて、当該検波領域内の画像のコントラストや周波数成分の検出、フィルタ等による当該検波領域内の輝度平均値や最大最小画素の検出、閾値との比較判定、ヒストグラム等の検出（検波処理）を実行する。なお、当該検波領域は、制御部２６４にて設定される領域である。そして、画像処理部２６２は、当該検波処理により得られた検波情報（コントラスト、周波数成分、輝度平均値、最大最小画素、及びヒストグラム等）を制御部２６４に出力する。
　表示制御部２６３は、制御部２６４による制御の下、画像処理部２６２にて処理された輝度信号及び色差信号（Ｙ，ＣＢ／ＣＲ信号）に基づいて、表示用の映像信号を生成する。そして、表示制御部２６３は、当該映像信号を表示装置３に出力する。これにより、表示装置３は、当該映像信号に基づく撮像画像を表示する。
　制御部２６４は、例えば、ＣＰＵ（Central　Processing　Unit）やＦＰＧＡ（Field-Programmable　Gate　Array）等で構成され、撮像部２１、光源部２４、及び表示装置３の動作を制御するとともに、制御装置２６全体の動作を制御する。この制御部２６４は、図２に示すように、検波領域設定部２６４ａと、評価値算出部２６４ｂと、動作制御部２６４ｃとを備える。
　なお、検波領域設定部２６４ａ、評価値算出部２６４ｂ、及び動作制御部２６４ｃの機能については、後述する「制御装置の動作」において説明する。
　記憶部２６５は、制御部２６４が実行するプログラムや、制御部２６４の処理に必要な情報等を記憶する。
　〔制御装置の動作〕
　次に、制御装置２６の動作について説明する。
　図３は、制御装置２６の動作を示すフローチャートである。図４ないし図６は、制御装置２６の動作を説明する図である。具体的に、図４は、観察対象ＯＢを示す斜視図である。図５は、観察対象ＯＢを上方から見た平面図である。図６は、観察対象ＯＢを側方から見た図である。
　なお、図４ないし図６では、表面ＯＢ１の一部に凹みＯＢ２が設けられた観察対象ＯＢを例示している。また、図４及び図５では、当該凹みＯＢ２の最深部の領域Ａｒには、斜線を付している。
　先ず、検波領域設定部２６４ａは、通信部２６１を介して、観察対象ＯＢが上方側から撮像部２１にて撮像され、当該撮像部２１から出力される画像信号（撮像画像及びデプスマップ情報）を取得する（ステップＳ１）。
　ステップＳ１の後、検波領域設定部２６４ａは、ステップＳ１で取得したデプスマップ情報に基づいて、ステップＳ１で取得した撮像画像の全画像領域において、最も被写体距離が大きい画素位置で構成される領域を判別する（ステップＳ２）。当該最も被写体距離が大きい画素位置で構成される領域は、観察対象ＯＢにおける最深部の領域Ａｒに相当する領域である。
　ステップＳ２の後、検波領域設定部２６４ａは、ステップＳ２で判別した領域を検波領域に設定する（ステップＳ３）。
　ステップＳ３の後、画像処理部２６２は、ステップＳ１で取得した撮像画像の全画像領域のうちステップＳ２で設定された検波領域の画素毎の画素情報に基づいて、検波処理を実行する（ステップＳ４）。そして、画像処理部２６２は、当該検波処理により得られた検波情報を制御部２６４に出力する。
　ステップＳ４の後、評価値算出部２６４ｂは、ステップＳ４での検波処理により得られた検波情報に基づいて、評価値を算出する（ステップＳ５）。
　具体的に、評価値算出部２６４ｂは、ステップＳ５において、検波情報（コントラストや周波数成分）に基づいて、ステップＳ１で取得された撮像画像の全画像領域のうちステップＳ２で設定された検波領域（最深部の領域Ａｒに相当する領域）内の画像の合焦状態を評価するための合焦評価値を算出する。例えば、評価値算出部２６４ｂは、ステップＳ４での検波処理により得られたコントラストや、ステップＳ４での検波処理により得られた周波数成分のうち高周波成分の和を合焦評価値とする。なお、合焦評価値は、値が大きいほどフォーカスが合っていることを示す。
　また、評価値算出部２６４ｂは、ステップＳ５において、検波情報（輝度平均値）に基づいて、撮像画像の全画像領域のうちステップＳ２で設定された検波領域（最深部の領域Ａｒに相当する領域）内の画像の明るさを基準となる明るさに変更する（検波情報（輝度平均値）を基準となる輝度平均値に変更する）ための明るさ評価値を算出する。
　実施の形態１では、評価値算出部２６４ｂは、明るさ評価値として、以下に示す第１～第４の明るさ評価値を算出する。
　第１の明るさ評価値は、撮像素子２１５における各画素の露光時間である。
　第２の明るさ評価値は、信号処理部２１６にて乗算されるアナログゲインである。
　第３の明るさ評価値は、画像処理部２６２にて乗算されるデジタルゲインである。
　第４の明るさ評価値は、光源部２４が供給する照明光の光量である。
　ステップＳ５の後、動作制御部２６４ｃは、レンズユニット２１１の焦点位置を調整するＡＦ処理を実行する（ステップＳ６）。
　具体的に、動作制御部２６４ｃは、ステップＳ６において、ステップＳ５で算出された合焦評価値と、焦点位置検出部２１４ａにて検出された現時点の焦点位置とに基づいて、山登り法等により、レンズ駆動部２１３ａの動作を制御することで、ステップＳ１で取得された撮像画像の全画像領域のうちステップＳ２で設定された検波領域（最深部の領域Ａｒに相当する領域）内の画像が合焦状態となる焦点位置にフォーカスレンズ２１１ａを位置付けるＡＦ処理を実行する。
　ステップＳ６の後、動作制御部２６４ｃは、撮像素子２１５、信号処理部２１６、画像処理部２６２、及び光源部２４の動作を制御することで、ステップＳ１で取得された撮像画像の全画像領域のうちステップＳ２で設定された検波領域（最深部の領域Ａｒに相当する領域）内の画像の明るさを基準となる明るさに調整する明るさ調整処理を実行する（ステップＳ７）。
　具体的に、動作制御部２６４ｃは、ステップＳ７において、撮像部２１に制御信号を出力し、撮像素子２１５の各画素の露光時間をステップＳ５で算出された第１の明るさ評価値とする。また、動作制御部２６４ｃは、撮像部２１に制御信号を出力し、信号処理部２１６にて乗算されるアナログゲインをステップＳ５で算出された第２の明るさ評価値とする。さらに、動作制御部２６４ｃは、画像処理部２６２に制御信号を出力し、当該画像処理部２６２にて乗算されるデジタルゲインをステップＳ５で算出された第３の明るさ評価値とする。また、動作制御部２６４ｃは、光源部２４に制御信号を出力し、当該光源部２４が供給する照明光の光量をステップＳ５で算出された第４の明るさ評価値とする。
　以上説明した実施の形態１によれば、以下の効果を奏する。
　ところで、観察対象ＯＢにおいて、最深部の領域Ａｒは、手術が実行される箇所であり、術者が最も観察したい領域である。
　実施の形態１に係る制御装置２６は、撮像画像の全画像領域における最深部の領域Ａｒに相当する領域を検波領域に設定する。そして、制御装置２６は、当該検波領域での検波処理で得られた検波情報に基づいて、ＡＦ処理及び明るさ調整処理を実行する。
　このため、撮像画像では、最深部の領域Ａｒ（術者が最も観察したい領域）に焦点が自動的に合うとともに、当該最深部の領域Ａｒ（術者が最も観察したい領域）に相当する画像の明るさが所望の明るさに自動的に調整される。したがって、実施の形態１に係る制御装置２６によれば、観察に適した画像を生成することができる。
　また、実施の形態１では、本開示に係る距離情報取得部は、撮像素子２１５（撮像部２１）に一体的に設けられている。
　このため、撮像部２１にて撮像する視野領域（例えば、図２１に示す視野領域Ａｒ１参照）と、本開示に係る距離情報取得部がデプスマップ情報を取得するデプスマップ取得領域（例えば、図２１に示すデプスマップ取得領域Ａｒ２参照）とを同一の領域とすることができる。すなわち、デプスマップ取得領域を視野領域に合わせる処理が不要となり、制御装置２６の処理負荷を軽減することができる。
（実施の形態１の変形例）
　上述した実施の形態１では、制御装置２６は、撮像画像の全画像領域の画素位置から、デプスマップ情報に基づいて、特定の被写体距離の画素位置（最も被写体距離が大きい画素位置）を判別していたが、これに限らない。例えば、制御装置２６は、撮像画像の中心を含む中央領域内の画素位置から、デプスマップ情報に基づいて、特定の被写体距離の画素位置（最も被写体距離が大きい画素位置）を判別する。そして、制御装置２６は、当該判別した画素位置を含む領域を検波領域に設定し、当該検波領域内の画像が合焦状態となるようにＡＦ処理を実行する。
　本変形例は、撮像画像の中央領域に手術が実行される箇所が位置するように撮像部２１の位置が調整され易いことを考慮したものである。すなわち、撮像画像において、中央領域に限って、特定の被写体距離の画素位置を判別するため、制御装置２６の処理負荷を軽減しつつ、適切な画素位置を抽出することができる。
（実施の形態２）
　次に、実施の形態２について説明する。
　以下の説明では、上述した実施の形態１と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
　実施の形態２では、上述した実施の形態１に対して、制御装置２６の動作が異なる。実施の形態２に係る制御装置２６は、事前動作及び主動作をそれぞれ実行する。
　以下、当該制御装置２６の事前動作及び主動作について説明する。
　先ず、制御装置２６の事前動作について説明する。当該事前動作は、例えば、観察対象ＯＢの手術を行う前に、操作者による制御装置２６に設けられたマウス、キーボード、あるいは、タッチパネル等の操作デバイス（図示略）へのユーザ操作に応じて、実行される動作である。
　図７は、実施の形態２に係る制御装置２６の事前動作を示すフローチャートである。図８は、制御装置２６の事前動作を説明する図である。具体的に、図８は、観察対象ＯＢを側方から見た図である。
　なお、図８に示した観察対象ＯＢは、図４ないし図６に示した観察対象ＯＢと同一の観察対象である。
　先ず、検波領域設定部２６４ａは、通信部２６１を介して、観察対象ＯＢが上方側から撮像部２１にて撮像され、当該撮像部２１から出力される画像信号（撮像画像及びデプスマップ情報）を取得する（ステップＳ８）。ここでは、撮像画像は、観察対象ＯＢのみが被写体となり、術者の手や手術器具等が写り込むことがない。
　ステップＳ８の後、検波領域設定部２６４ａは、ステップＳ８で取得したデプスマップ情報に基づいて、注目する被写体距離の範囲（以下、注目範囲と記載）を判別する（ステップＳ９）。図８の例では、検波領域設定部２６４ａは、撮像画像に観察対象ＯＢのみが写り込んでいることから、当該観察対象ＯＢにおける表面ＯＢ１から最深部の領域Ａｒまでの範囲ＲＧを注目範囲として判別する。そして、検波領域設定部２６４ａは、ステップＳ９で判別した注目範囲を記憶部２６５に記憶する。
　次に、制御装置２６の主動作について説明する。当該主動作は、例えば、観察対象ＯＢの手術を行っている際に、実行される動作である。
　図９は、制御装置２６の主動作を示すフローチャートである。図１０ないし図１２は、制御装置２６の主動作を説明する図である。具体的に、図１０は、観察対象ＯＢを示す斜視図である。図１１は、観察対象ＯＢを上方から見た平面図である。図１２は、観察対象ＯＢを側方から見た図である。
　なお、図１０ないし図１２に示した観察対象ＯＢは、図４ないし図６に示した観察対象ＯＢと同一の観察対象である。
　制御装置２６の主動作では、図９に示すように、上述した実施の形態１で説明した制御装置２６の動作（図３）に対して、ステップＳ２の代わりにステップＳ１０が採用され、さらに、ステップＳ３の代わりにステップＳ３Ａが採用されている点が異なる。このため、以下では、ステップＳ１０，Ｓ３Ａのみを説明する。
　ステップＳ１０は、ステップＳ１の後に実行される。
　具体的に、検波領域設定部２６４ａは、ステップＳ１０において、ステップＳ１で取得したデプスマップ情報と、ステップＳ９で記憶部２６５に記憶した注目範囲とに基づいて、ステップＳ１で取得した撮像画像の全画像領域において、当該注目範囲に含まれる被写体距離の画素位置で構成される領域を判別する。
　ステップＳ１０の後、検波領域設定部２６４ａは、ステップＳ１０で判別した領域を検波領域に設定する（ステップＳ３Ａ）。この後、ステップＳ４に移行し、当該検波領域で検波処理が実行される。
　例えば、図１０ないし図１２に示すように、手術時において、撮像部２１と観察対象ＯＢとの間に術者の手や手術器具等の障害物ＥＸが入り込み、当該撮像部２１による撮像で得られた撮像画像に当該障害物ＥＸが写り込んだ場合を想定する。この場合には、障害物ＥＸは注目範囲に相当する範囲ＲＧ外（図１１，図１２では斜線で表現）に位置するため、撮像画像の全画像領域において、障害物ＥＸが写り込んだ領域以外の領域が検波領域として設定される。
　以上説明した実施の形態２によれば、上述した実施の形態１と同様の効果の他、以下の効果を奏する。
　実施の形態２に係る制御装置２６は、事前動作によって注目範囲を判別しておく。また、制御装置２６は、主動作を実行する際、撮像画像の全画像領域において、当該注目範囲に含まれる被写体距離の画素位置で構成される領域を検波領域に設定する。そして、制御装置２６は、当該検波領域での検波処理で得られた検波情報に基づいて、ＡＦ処理及び明るさ調整処理を実行する。
　このため、撮像画像において、障害物ＥＸが写り込んだ場合であっても、当該障害物ＥＸに焦点が合うことがなく、当該障害物ＥＸに合わせて明るさが調整されることもない。したがって、実施の形態２によれば、観察に適した画像を生成することができる。
（実施の形態３）
　次に、実施の形態３について説明する。
　以下の説明では、上述した実施の形態１と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
　実施の形態３では、上述した実施の形態１に対して、制御装置２６の動作が異なる。
　以下、当該制御装置２６の動作について説明する。
　図１３は、実施の形態３に係る制御装置２６の動作を示すフローチャートである。図１４及び図１５は、制御装置２６の動作を説明する図である。
　なお、図１４及び図１５に示した観察対象ＯＢは、図４ないし図６に示した観察対象ＯＢと同一の観察対象である。
　実施の形態３に係る制御装置２６の動作では、図１３に示すように、上述した実施の形態１で説明した制御装置２６の動作（図３）に対して、ステップＳ２の代わりにステップＳ１１，Ｓ１２が採用され、さらに、ステップＳ３の代わりにステップＳ３Ｂが採用されているとともに、ステップＳ６が省略されている。このため、以下では、ステップＳ１１，Ｓ１２，Ｓ３Ｂのみを説明する。
　ステップＳ１１は、ステップＳ１の後に実行される。
　具体的に、検波領域設定部２６４ａは、ステップＳ１１において、通信部２６１を介して、焦点位置検出部２１４ａにて検出された現時点の焦点位置を取得する。
　ステップＳ１１の後、検波領域設定部２６４ａは、ステップＳ１で取得したデプスマップ情報と、ステップＳ１１で取得した現時点の焦点位置とに基づいて、ステップＳ１で取得した撮像画像の全画像領域において、術者等によって観察されている領域（以下、観察領域と記載）を判別する（ステップＳ１２）。
　具体的に、検波領域設定部２６４ａは、ステップＳ１２において、ステップＳ１１で取得した現時点の焦点位置を被写体距離に換算する。そして、検波領域設定部２６４ａは、ステップＳ１で取得したデプスマップ情報と、当該換算した被写体距離とに基づいて、ステップＳ１で取得した撮像画像の全画像領域において、当該換算した被写体距離の画素位置で構成される領域を観察領域として判別する。
　例えば、図１４（ａ）に示すように、現時点の焦点位置が深く、術者等によって観察されている領域が最深部の領域Ａｒである場合を想定する。この場合には、当該焦点位置から換算された被写体距離の画素位置で構成される領域（観察領域）は、図１４（ｂ）に斜線で示すように、最深部の領域Ａｒに相当する領域として判別される。
　また、例えば、図１５（ａ）に示すように、現時点の焦点位置が浅く、術者等によって観察されている領域が表面ＯＢ１である場合には、当該焦点位置から換算された被写体距離の画素位置で構成される領域（観察領域）は、図１５（ｂ）に斜線で示すように、表面ＯＢ１に相当する領域として判別される。
　ステップＳ１２の後、検波領域設定部２６４ａは、ステップＳ１２で判別した観察領域を検波領域に設定する（ステップＳ３Ｂ）。この後、ステップＳ４に移行し、当該検波領域で検波処理が実行される。
　また、実施の形態２では、ステップＳ６が省略されたことに伴い、ステップＳ５の後、ステップＳ７が実行される。
　以上説明した実施の形態３によれば、上述した実施の形態１と同様の効果の他、以下の効果を奏する。
　実施の形態３に係る制御装置２６は、デプスマップ情報と現時点の焦点位置とに基づいて、撮像画像における観察領域を判別し、当該観察領域を検波領域として設定する。そして、制御装置２６は、当該検波領域での検波処理で得られた検波情報に基づいて、明るさ調整処理を実行する。
　このため、撮像画像では、術者が観察している領域に相当する画像の明るさが所望の明るさに自動的に調整される。したがって、実施の形態３によれば、観察に適した画像を生成することができる。
（実施の形態３の変形例）
　図１６は、実施の形態３の変形例を示す図である。
　なお、図１６に示す観察対象ＯＢ´は、図１４及び図１５に示した観察対象ＯＢに対して、最深部の領域Ａｒ´の深さ位置が領域Ａｒと同一となる凹みＯＢ３がさらに設けられた点が異なる。
　上述した実施の形態３において、図１６（ａ）に示すように、現時点の焦点位置が深く、当該焦点位置から換算された被写体距離が領域Ａｒ，Ａｒ´の画素位置の被写体距離と同一である場合を想定する。この場合には、検波領域設定部２６４ａは、撮像画像の全画像領域において、領域Ａｒに相当する領域と、領域Ａｒ´に相当する領域とのどちらの領域を検波領域として設定すべきか分からない。
　また、操作者による制御装置２６に設けられたマウス、キーボード、あるいは、タッチパネル等の操作デバイス（図示略）へのユーザ操作に応じて、撮像画像の全画像領域における検波領域を選択可能な構成であって、当該選択された検波領域内に領域Ａｒに相当する領域が含まれている場合（検波領域内に領域Ａｒ´に相当する領域が含まれていない場合）を想定する。この場合には、検波領域設定部２６４ａは、操作者により選択された検波領域を考慮して、撮像画像の全画像領域において、領域Ａｒに相当する領域と領域Ａｒ´に相当する領域とのうち、図１６（ｂ）に斜線で示すように、領域Ａｒに相当する領域を検波領域として設定する。
（実施の形態４）
　次に、実施の形態４について説明する。
　以下の説明では、上述した実施の形態３と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
　実施の形態４では、上述した実施の形態３に対して、制御装置２６の動作が異なる。
　以下、当該制御装置２６の動作について説明する。
　図１７は、実施の形態４に係る制御装置２６の動作を示すフローチャートである。図１８は、制御装置２６の動作を説明する図である。
　なお、図１８に示した観察対象ＯＢは、図４ないし図６に示した観察対象ＯＢと同一の観察対象である。
　実施の形態４に係る制御装置２６の動作では、図１７に示すように、上述した実施の形態３で説明した制御装置２６の動作（図１３）に対して、ステップＳ３Ｂ，Ｓ４～Ｓ７の代わりにステップＳ１３，Ｓ１４が採用されている。このため、以下では、ステップＳ１３，Ｓ１４のみを説明する。
　ステップＳ１３は、ステップＳ１２の後に実行される。
　具体的に、動作制御部２６４ｃは、ステップＳ１３において、ステップＳ１２で判別された観察領域の被写体距離が特定の閾値以上であるか否かを判別する。
　例えば、図１８（ａ）に示すように、現時点の焦点位置が深く、術者等によって観察されている領域が表面ＯＢ１よりも深い場合（図１８（ｂ）では斜線で表現）を想定する。この場合には、ステップＳ１３において、「Ｙｅｓ」と判定される。
　ステップＳ１３において「Ｙｅｓ」と判定した場合には、動作制御部２６４ｃは、被写界深度を調整する（ステップＳ１４）。
　具体的に、動作制御部２６４ｃは、ステップＳ１４において、絞り駆動部２１３ｂの動作を制御することで、絞り値を大きくし、被写界深度を拡大する。あるいは、動作制御部２６４ｃは、ステップＳ１４において、画像処理部２６２の動作を制御することで、当該画像処理部２６２にステップＳ１で取得した撮像画像に対して画像処理を実行させて被写界深度を拡大する。なお、被写体深度を拡大する画像処理については、公知の手法を採用することができる。
　一方、ステップＳ１３において「Ｎｏ」と判定した場合には、動作制御部２６４ｃは、ステップＳ１４を実行することなく、本制御フローを終了する。
　以上説明した実施の形態４によれば、上述した実施の形態１と同様の効果の他、以下の効果を奏する。
　ところで、術者は、観察対象ＯＢにおいて、最深部の領域Ａｒの手術を実行している場合には、その他の深さの領域（例えば、表面ＯＢ１）も観察したいものである。
　実施の形態４に係る制御装置２６は、デプスマップ情報と現時点の焦点位置とに基づいて、撮像画像における観察領域を判別し、当該観察領域の被写体距離が特定の閾値以上である場合に、被写界深度を大きくするように制御する。すなわち、撮像画像は、最深部の領域Ａｒの手術を実行している場合には、当該最深部の領域Ａｒの他、表面ＯＢ１も合焦状態となった画像となる。したがって、実施の形態４によれば、観察に適した画像を生成することができる。
（実施の形態５）
　次に、実施の形態５について説明する。
　以下の説明では、上述した実施の形態１と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
　上述した実施の形態１では、手術用顕微鏡（医療用観察装置２）を用いた医療用観察システム１に本開示を適用していた。
　これに対して、実施の形態５では、硬性内視鏡を用いた医療用観察システムに本開示を適用している。
　図１９は、実施の形態５に係る医療用観察システム１Ｄを示す図である。
　実施の形態５に係る医療用観察システム１Ｄは、図１９に示すように、硬性内視鏡２Ｄと、当該硬性内視鏡２Ｄに対してライトガイド２５を介して接続され、当該硬性内視鏡２Ｄの先端から出射する照明光を発生する光源部２４と、硬性内視鏡２Ｄから出力された画像信号を処理する制御装置２６と、制御装置２６にて処理された表示用の映像信号に基づく撮像画像を表示する表示装置３とを備える。
　硬性内視鏡２Ｄは、図１９に示すように、挿入部４及びカメラヘッド２１Ｄを備える。
　挿入部４は、全体が硬質、または一部が軟質で他の部分が硬質である細長形状を有し、生体内に挿入される。そして、挿入部４は、生体内からの光（被写体像）を取り込む。
　カメラヘッド２１Ｄは、挿入部４の基端（接眼部）に着脱自在に接続される。このカメラヘッド２１Ｄは、上述した実施の形態１で説明した撮像部２１と略同様の構成を有する。そして、カメラヘッド２１Ｄは、挿入部４にて取り込まれた被写体像を撮像し、画像信号を出力する。
　以上説明した実施の形態５のように硬性内視鏡２Ｄを用いた場合であっても、上述した実施の形態１と同様の効果を奏する。
（実施の形態６）
　次に、実施の形態６について説明する。
　以下の説明では、上述した実施の形態１と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
　上述した実施の形態１では、手術用顕微鏡（医療用観察装置２）を用いた医療用観察システム１に本開示を適用していた。
　これに対して、実施の形態６では、軟性内視鏡を用いた医療用観察システムに本開示を適用している。
　図２０は、実施の形態６に係る医療用観察システム１Ｅを示す図である。
　実施の形態６に係る医療用観察システム１Ｅは、図２０に示すように、生体内に挿入部４Ｅを挿入することによって観察部位の体内画像を撮像して画像信号を出力する軟性内視鏡２Ｅと、当該軟性内視鏡２Ｅの先端から出射する照明光を生成する光源部２４と、当該軟性内視鏡２Ｅから出力された画像信号を処理する制御装置２６と、制御装置２６にて処理された表示用の映像信号に基づく撮像画像を表示する表示装置３とを備える。
　軟性内視鏡２Ｅは、図２０に示すように、可撓性を有する細長形状をなす挿入部４Ｅと、挿入部４Ｅの基端側に接続され、各種の操作を受け付ける操作部５と、操作部５から挿入部４Ｅが延びる方向と異なる方向に延び、光源部２４及び制御装置２６に接続する各種ケーブルを内蔵するユニバーサルコード６とを備える。
　挿入部４Ｅは、図２０に示すように、先端部４１と、当該先端部４１の基端側に接続され、複数の湾曲駒によって構成された湾曲自在な湾曲部４２と、当該湾曲部４２の基端側に接続され、可撓性を有する長尺状の可撓管部４３とを備える。
　そして、先端部４１内部には、具体的な図示は省略したが、上述した実施の形態１で説明した撮像部２１と略同様の構成が内蔵されている。そして、先端部４１からの画像信号は、操作部５及びユニバーサルコード６を介して、制御装置２６に出力される。
　以上説明した実施の形態６のように軟性内視鏡２Ｅを用いた場合であっても、上述した実施の形態１と同様の効果を奏する。
（その他の実施の形態）
　ここまで、本開示を実施するための形態を説明してきたが、本開示は上述した実施の形態によってのみ限定されるべきものではない。
　図２１は、実施の形態１～４の変形例を示す図である。
　上述した実施の形態１～４では、本開示に係る距離情報取得部は、撮像素子２１５（撮像部２１）に一体的に構成されていたが、これに限らず、撮像部２１とは別体で構成しても構わない。このように構成した場合には、図２１に示すように、撮像部２１にて撮像する視野領域Ａｒ１と、本開示に係る距離情報取得部がデプスマップ情報を取得するデプスマップ取得領域Ａｒ２とは異なるものとなる。このため、デプスマップ情報については、撮像部２１における焦点位置や画角等に基づいて、デプスマップ取得領域Ａｒ２を視野領域Ａｒ１に限定した情報を用いる。
　なお、図２１では、実施の形態１～４について説明したが、実施の形態５，６についても、本開示に係る距離情報取得部は、カメラヘッド２１Ｄや先端部４１に設けられた撮像部と別体で構成しても構わない。
　上述した実施の形態１～６において、明るさ調整処理は、撮像素子２１５における各画素の露光時間、信号処理部２１６にて乗算されるアナログゲイン、画像処理部２６２にて乗算されるデジタルゲイン、及び光源部２４が供給する照明光の光量の一部のみを調整する処理としても構わない。
　上述した実施の形態１～４における医療用観察装置２では、第１～第６の軸Ｏ１～Ｏ６は、受動軸によってそれぞれ構成されていたが、これに限らない。第１～第６の軸Ｏ１～Ｏ６の少なくともいずれかの軸は、アクチュエータの動力に応じて能動的に撮像部２１を当該軸回りに回転可能とする能動軸によって構成されていても構わない。
　上述した実施の形態１～３において、ステップＳ３，Ｓ３Ａ，Ｓ３Ｂで設定した検波領域がどの範囲であるかを術者等に示すため、当該検波領域を表示装置３等に表示する構成を採用しても構わない。
　上述した実施の形態１～６において、図３、図７、図９、図１３、及び図１７に示したフローは、矛盾のない範囲で処理の順序を変更しても構わない。また、上述した実施の形態１～６に記載の技術を適宜、組み合わせても構わない。
　１，１Ｄ，１Ｅ　医療用観察システム
　２　医療用観察装置
　２Ｄ　硬性内視鏡
　２Ｅ　軟性内視鏡
　３　表示装置
　４，４Ｅ　挿入部
　５　操作部
　６　ユニバーサルコード
　２１　撮像部
　２１Ｄ　カメラヘッド
　２２　ベース部
　２３　支持部
　２４　光源部
　２５　ライトガイド
　２６　制御装置
　４１　先端部
　４２　湾曲部
　４３　可撓管部
　２１１　レンズユニット
　２１１ａ　フォーカスレンズ
　２１２　絞り
　２１３　駆動部
　２１３ａ　レンズ駆動部
　２１３ｂ　絞り駆動部
　２１４　検出部
　２１４ａ　焦点位置検出部
　２１４ｂ　絞り値検出部
　２１５　撮像素子
　２１６　信号処理部
　２１７　通信部
　２１８　フォーカススイッチ
　２２１　キャスター
　２３１ａ　第１のアーム部
　２３１ｂ　第２のアーム部
　２３１ｃ　第３のアーム部
　２３１ｄ　第４のアーム部
　２３１ｅ　第５のアーム部
　２３１ｆ　第６のアーム部
　２３１ｇ　第７のアーム部
　２３２ａ　第１の関節部
　２３２ｂ　第２の関節部
　２３２ｃ　第３の関節部
　２３２ｄ　第４の関節部
　２３２ｅ　第５の関節部
　２３２ｆ　第６の関節部
　２３３　カウンターウェイト
　２６１　通信部
　２６２　画像処理部
　２６３　表示制御部
　２６４　制御部
　２６４ａ　検波領域設定部
　２６４ｂ　評価値算出部
　２６４ｃ　動作制御部
　２６５　記憶部
　Ａｒ，Ａｒ´　最深部の領域
　Ａｒ１　視野領域
　Ａｒ２　デプスマップ取得領域
　ＥＸ　障害物
　Ｏ１　第１の軸
　Ｏ２　第２の軸
　Ｏ３　第３の軸
　Ｏ４　第４の軸
　Ｏ５　第５の軸
　Ｏ６　第６の軸
　ＯＢ，ＯＢ´　観察対象
　ＯＢ１　表面
　ＯＢ２，ＯＢ３　凹み
　ＲＧ　範囲

Claims (14)

  1. 　被写体を撮像して撮像画像を生成する撮像部と、
    　特定の位置から前記撮像画像における少なくとも２つの画素位置に対応する前記被写体上の対応位置までの各被写体距離を含む被写体距離情報を取得する距離情報取得部と、
    　前記被写体距離情報に基づいて、前記撮像部の焦点位置と、前記撮像画像の明るさと、前記撮像部の被写界深度との少なくともいずれかを制御する動作制御部とを備える医療用観察システム。
  2. 　前記被写体距離情報は、
    　前記特定の位置から前記撮像画像における画素位置に対応する前記被写体上の対応位置までの被写体距離が画素位置毎に検出されたデプスマップ情報である請求項１に記載の医療用観察システム。
  3. 　前記動作制御部は、
    　前記被写体距離情報に基づいて、前記撮像画像における特定の前記被写体距離の画素位置を判別し、当該判別した画素位置を含む領域が合焦状態となるように前記撮像部の焦点位置を制御する請求項１または２に記載の医療用観察システム。
  4. 　前記特定の被写体距離の画素位置は、
    　前記撮像画像における最も前記被写体距離が大きい画素位置である請求項３に記載の医療用観察システム。
  5. 　前記動作制御部は、
    　前記撮像画像の中心を含む中央領域内の画素位置から、前記被写体距離情報に基づいて、前記撮像画像における特定の前記被写体距離の画素位置を判別し、当該判別した画素位置を含む領域が合焦状態となるように前記撮像部の焦点位置を制御する請求項３または４に記載の医療用観察システム。
  6. 　前記撮像画像内に検波領域を設定する検波領域設定部と、
    　前記撮像画像における前記検波領域内の画像に基づいて、前記動作制御部による前記撮像部の焦点位置の制御と前記撮像画像の明るさの制御との少なくとも一方の制御に用いられる評価値を算出する評価値算出部とをさらに備え、
    　前記検波領域設定部は、
    　前記被写体距離情報に基づいて、注目する前記被写体距離の範囲を判別し、前記撮像画像における当該判別した前記被写体距離の範囲に含まれる前記被写体距離の画素位置で構成された領域を前記検波領域として設定する請求項１～５のいずれか一つに記載の医療用観察システム。
  7. 　前記撮像部における現時点の焦点位置を検出する焦点位置検出部をさらに備え、
    　前記動作制御部は、
    　前記被写体距離情報と前記現時点の焦点位置とに基づいて、前記撮像画像の明るさを調整する請求項１～６のいずれか一つに記載の医療用観察システム。
  8. 　前記撮像画像内に検波領域を設定する検波領域設定部と、
    　前記撮像画像における前記検波領域内の画像に基づいて、前記動作制御部による前記撮像画像の明るさの制御に用いられる評価値を算出する評価値算出部とをさらに備え、
    　前記検波領域設定部は、
    　前記被写体距離情報と前記現時点の焦点位置とに基づいて、前記撮像画像における観察されている領域を判別し、当該判別した領域を前記検波領域として設定する請求項７に記載の医療用観察システム。
  9. 　前記撮像部における現時点の焦点位置を検出する焦点位置検出部をさらに備え、
    　前記動作制御部は、
    　前記被写体距離情報と前記現時点の焦点位置とに基づいて、前記撮像部の被写界深度を制御する請求項１～８のいずれか一つに記載の医療用観察システム。
  10. 　前記撮像部は、
    　前記被写体からの光を受光して前記撮像画像を生成する撮像素子と、
    　前記被写体と前記撮像素子との間に設けられ、前記被写体から前記撮像素子に入射する光の光量を調整する絞りとを備え、
    　前記動作制御部は、
    　前記絞りの動作を制御することで、前記撮像部の被写界深度を制御する請求項９に記載の医療用観察システム。
  11. 　前記撮像画像に対して画像処理を実行して前記被写界深度を調整する画像処理部をさらに備え、
    　前記動作制御部は、
    　前記画像処理部の動作を制御することで、前記撮像部の被写界深度を制御する請求項９に記載の医療用観察システム。
  12. 　前記動作制御部は、
    　前記被写体距離情報と前記現時点の焦点位置とに基づいて、前記撮像画像における観察されている画素位置を判別し、当該判別した画素位置の前記被写体距離が特定の閾値以上である場合に、前記撮像部の被写界深度が大きくなるように制御する請求項９～１１のいずれか一つに記載の医療用観察システム。
  13. 　前記距離情報取得部は、
    　位相差センサ、ＴＯＦセンサ、及びステレオカメラのいずれかによって構成されている請求項１～１２のいずれか一つに記載の医療用観察システム。
  14. 　前記距離情報取得部は、
    　前記撮像部に設けられ、前記被写体距離情報を取得するとともに前記撮像画像を生成する請求項１３に記載の医療用観察システム。
PCT/JP2020/001572 2019-03-25 2020-01-17 医療用観察システム WO2020195042A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20779512.1A EP3933480A4 (en) 2019-03-25 2020-01-17 MEDICAL OBSERVATION SYSTEM
CN202080021912.0A CN113574437A (zh) 2019-03-25 2020-01-17 医学观察系统
JP2021508119A JPWO2020195042A1 (ja) 2019-03-25 2020-01-17
US17/438,949 US20220155557A1 (en) 2019-03-25 2020-01-17 Medical observation system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019057334 2019-03-25
JP2019-057334 2019-03-25

Publications (1)

Publication Number Publication Date
WO2020195042A1 true WO2020195042A1 (ja) 2020-10-01

Family

ID=72611729

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/001572 WO2020195042A1 (ja) 2019-03-25 2020-01-17 医療用観察システム

Country Status (5)

Country Link
US (1) US20220155557A1 (ja)
EP (1) EP3933480A4 (ja)
JP (1) JPWO2020195042A1 (ja)
CN (1) CN113574437A (ja)
WO (1) WO2020195042A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022109399A1 (de) * 2022-04-19 2023-10-19 Schölly Fiberoptic GmbH Assistiertes Autofokus-Verfahren und zugehöriges optisches Abbildungssystem

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012157416A (ja) * 2011-01-31 2012-08-23 Olympus Corp 制御装置、内視鏡装置、絞り制御方法及びプログラム
JP2015108837A (ja) * 2015-01-07 2015-06-11 キヤノン株式会社 画像処理装置及び画像処理方法
JP2016042981A (ja) 2014-08-21 2016-04-04 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置および医療用観察システム
WO2017217115A1 (ja) * 2016-06-17 2017-12-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び画像処理システム
WO2018097060A1 (ja) * 2016-11-24 2018-05-31 オリンパス株式会社 内視鏡装置及び内視鏡装置の制御方法
JP2018084820A (ja) * 2016-11-23 2018-05-31 株式会社ミツトヨ マルチレベル拡大被写界深度画像処理機能を備えた可変焦点距離レンズ

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150237325A1 (en) * 2012-08-15 2015-08-20 Industrial Technology Research Institute Method and apparatus for converting 2d images to 3d images
JP6453904B2 (ja) * 2014-12-02 2019-01-16 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012157416A (ja) * 2011-01-31 2012-08-23 Olympus Corp 制御装置、内視鏡装置、絞り制御方法及びプログラム
JP2016042981A (ja) 2014-08-21 2016-04-04 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置および医療用観察システム
JP2015108837A (ja) * 2015-01-07 2015-06-11 キヤノン株式会社 画像処理装置及び画像処理方法
WO2017217115A1 (ja) * 2016-06-17 2017-12-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び画像処理システム
JP2018084820A (ja) * 2016-11-23 2018-05-31 株式会社ミツトヨ マルチレベル拡大被写界深度画像処理機能を備えた可変焦点距離レンズ
WO2018097060A1 (ja) * 2016-11-24 2018-05-31 オリンパス株式会社 内視鏡装置及び内視鏡装置の制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3933480A4

Also Published As

Publication number Publication date
CN113574437A (zh) 2021-10-29
JPWO2020195042A1 (ja) 2020-10-01
EP3933480A1 (en) 2022-01-05
EP3933480A4 (en) 2022-05-11
US20220155557A1 (en) 2022-05-19

Similar Documents

Publication Publication Date Title
EP2770359A1 (en) Imaging device, endoscope device, and method for controlling imaging device
WO2018123613A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2018088105A1 (ja) 医療用支持アーム及び医療用システム
US20210019921A1 (en) Image processing device, image processing method, and program
JP2021145859A (ja) 医療用画像処理装置及び医療用観察システム
WO2020195042A1 (ja) 医療用観察システム
US11483473B2 (en) Surgical image processing apparatus, image processing method, and surgery system
US20220217260A1 (en) Signal processing device, imaging device, and signal processing method
US10778889B2 (en) Image pickup apparatus, video signal processing apparatus, and video signal processing method
JP2018138140A (ja) 内視鏡装置
US11039067B2 (en) Image pickup apparatus, video signal processing apparatus, and video signal processing method
WO2018173605A1 (ja) 手術用制御装置、制御方法、手術システム、およびプログラム
US20230047294A1 (en) Medical image generation apparatus, medical image generation method, and medical image generation program
WO2020203164A1 (ja) 医療システム、情報処理装置及び情報処理方法
JP7163913B2 (ja) 医療用システム及び制御ユニット
EP4205691A1 (en) Medical image processing device and medical observation system
US20210235968A1 (en) Medical system, information processing apparatus, and information processing method
WO2019235049A1 (ja) 撮像装置、ゲイン設定方法及びプログラム
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2018179875A1 (ja) 撮像装置とフォーカス制御方法およびフォーカス判定方法
US20230248231A1 (en) Medical system, information processing apparatus, and information processing method
WO2019069548A1 (ja) 撮像装置、撮像装置制御用ユニット及び撮像方法
US20240090759A1 (en) Medical observation device, observation device, observation method, and adapter
WO2022019057A1 (ja) 医療用アーム制御システム、医療用アーム制御方法及びプログラム
US20210304419A1 (en) Medical system, information processing apparatus, and information processing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20779512

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021508119

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020779512

Country of ref document: EP

Effective date: 20210928