WO2018173605A1 - 手術用制御装置、制御方法、手術システム、およびプログラム - Google Patents

手術用制御装置、制御方法、手術システム、およびプログラム Download PDF

Info

Publication number
WO2018173605A1
WO2018173605A1 PCT/JP2018/006225 JP2018006225W WO2018173605A1 WO 2018173605 A1 WO2018173605 A1 WO 2018173605A1 JP 2018006225 W JP2018006225 W JP 2018006225W WO 2018173605 A1 WO2018173605 A1 WO 2018173605A1
Authority
WO
WIPO (PCT)
Prior art keywords
surgical
luminance
exposure control
optical system
detection value
Prior art date
Application number
PCT/JP2018/006225
Other languages
English (en)
French (fr)
Inventor
昌嗣 村北
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to DE112018001482.7T priority Critical patent/DE112018001482T5/de
Priority to US16/494,006 priority patent/US11523729B2/en
Publication of WO2018173605A1 publication Critical patent/WO2018173605A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device

Definitions

  • the present disclosure relates to a surgical control device, a control method, a surgical system, and a program.
  • Patent Document 1 discloses a technique for performing exposure control related to imaging of in-vivo images.
  • the present disclosure proposes a new and improved surgical control device, control method, surgical system, and program capable of realizing highly accurate exposure control that does not depend on the characteristics of the optical system.
  • the exposure control unit that performs exposure control based on the luminance detection value detected from the in-vivo image, the exposure control unit based on the information related to the identified surgical optical device
  • a surgical control device that corrects the luminance detection value so as to correct luminance unevenness caused by an optical device for medical use.
  • the processor includes performing exposure control based on the luminance detection value detected from the in-vivo image, and the performing the exposure control includes information on the identified surgical optical system device. Based on this, there is provided a control method further comprising correcting the luminance detection value so as to correct luminance unevenness caused by the surgical optical system device.
  • the surgical optical system device used for imaging an in-vivo image and a surgical control device that performs exposure control based on a luminance detection value detected from the in-vivo image
  • the surgical A control system is provided that corrects the luminance detection value so as to correct luminance unevenness caused by the surgical optical system device based on the identified information regarding the surgical optical system device.
  • the computer includes an exposure control unit that performs exposure control based on the luminance detection value detected from the in-vivo image, and the exposure control unit includes information on the identified surgical optical system device. Based on this, there is provided a program for functioning as a surgical control device that corrects the luminance detection value so as to correct the luminance unevenness caused by the surgical optical system device.
  • a technique is known in which a luminance value histogram is generated from the luminance detection value of the captured in-vivo image, and exposure control is performed based on the degree of separation of the peak median value in the luminance value histogram.
  • the luminance unevenness includes, for example, shading caused by an optical device. Shading is a mismatch between the original brightness of the image and the video signal due to the peripheral light attenuation of the optical device and the non-uniformity of the sensitivity of the image sensor. A phenomenon that darkens.
  • the luminance unevenness includes a black region (also referred to as vignetting) generated by blocking light collected by a part of the structure of the optical system device.
  • vignetting also referred to as vignetting
  • the surgical control apparatus, the control method, the surgical system, and the program according to an embodiment of the present disclosure include information regarding the identified surgical optical system device (hereinafter, also simply referred to as an optical system device). Based on this, one of the features is that exposure control related to imaging of an in-vivo image is performed after correcting the luminance detection value so as to correct luminance unevenness caused by the surgical optical system device.
  • FIG. 1 is a diagram illustrating an example of a surgical operation to which an operating room system 5100 using the technical idea according to the present disclosure is applied.
  • the ceiling camera 5187 and the operating field camera 5189 are provided on the ceiling of the operating room, and can photograph the state of the operator (doctor) 5181 who performs treatment on the affected part of the patient 5185 on the patient bed 5183 and the entire operating room. It is.
  • the ceiling camera 5187 and the surgical field camera 5189 may be provided with a magnification adjustment function, a focal length adjustment function, a photographing direction adjustment function, and the like.
  • the illumination 5191 is provided on the ceiling of the operating room and irradiates at least the hand of the operator 5181.
  • the illumination 5191 may be capable of appropriately adjusting the irradiation light amount, the wavelength (color) of the irradiation light, the light irradiation direction, and the like.
  • an endoscopic surgery system 5113, a patient bed 5183, a ceiling camera 5187, an operating field camera 5189, and an illumination 5191 are connected via an audiovisual controller 5107 and an operating room controller 5109 (not shown in FIG. 1).
  • a centralized operation panel 5111 is provided in the operating room. As described above, the user can appropriately operate these devices existing in the operating room via the centralized operating panel 5111.
  • an endoscopic surgery system 5113 includes an endoscope 5115, other surgical tools 5131, a support arm device 5141 that supports the endoscope 5115, and various devices for endoscopic surgery. And a cart 5151 on which is mounted.
  • trocars 5139a to 5139d are punctured into the abdominal wall. Then, the lens barrel 5117 of the endoscope 5115 and other surgical tools 5131 are inserted into the body cavity of the patient 5185 from the trocars 5139a to 5139d.
  • an insufflation tube 5133, an energy treatment tool 5135, and forceps 5137 are inserted into the body cavity of the patient 5185.
  • the energy treatment instrument 5135 is a treatment instrument that performs incision and detachment of a tissue, blood vessel sealing, and the like by a high-frequency current and ultrasonic vibration.
  • the illustrated surgical tool 5131 is merely an example, and as the surgical tool 5131, for example, various surgical tools generally used in endoscopic surgery such as a lever and a retractor may be used.
  • An image of the surgical site in the body cavity of the patient 5185 taken by the endoscope 5115 is displayed on the display device 5155.
  • the surgeon 5181 performs a treatment such as excision of the affected part using the energy treatment tool 5135 and the forceps 5137 while viewing the image of the surgical part displayed on the display device 5155 in real time.
  • the pneumoperitoneum tube 5133, the energy treatment tool 5135, and the forceps 5137 are supported by an operator 5181 or an assistant during surgery.
  • the support arm device 5141 includes an arm portion 5145 extending from the base portion 5143.
  • the arm portion 5145 includes joint portions 5147a, 5147b, and 5147c, and links 5149a and 5149b, and is driven by control from the arm control device 5159.
  • the endoscope 5115 is supported by the arm unit 5145, and its position and posture are controlled. Thereby, the stable position fixing of the endoscope 5115 can be realized.
  • the endoscope 5115 includes a lens barrel 5117 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 5185, and a camera head 5119 connected to the proximal end of the lens barrel 5117.
  • the endoscope 5115 may be an example of an optical system device according to an embodiment of the present disclosure. That is, the endoscope 5115 can be applied as the imaging device 10 described later.
  • an endoscope 5115 configured as a so-called rigid mirror having a rigid lens barrel 5117 is illustrated, but the endoscope 5115 is configured as a so-called flexible mirror having a flexible lens barrel 5117. May be.
  • An opening into which an objective lens is fitted is provided at the tip of the lens barrel 5117.
  • a light source device 5157 is connected to the endoscope 5115, and the light generated by the light source device 5157 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 5117, and the objective Irradiation is performed toward the observation target in the body cavity of the patient 5185 through the lens.
  • the endoscope 5115 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image sensor are provided inside the camera head 5119, and reflected light (observation light) from the observation target is condensed on the image sensor by the optical system. Observation light is photoelectrically converted by the imaging element, and an electrical signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted to a camera control unit (CCU) 5153 as RAW data.
  • CCU camera control unit
  • the camera head 5119 has a function of adjusting the magnification and the focal length by appropriately driving the optical system.
  • a plurality of image sensors may be provided in the camera head 5119 in order to cope with, for example, stereoscopic viewing (3D display).
  • a plurality of relay optical systems are provided inside the lens barrel 5117 in order to guide observation light to each of the plurality of imaging elements.
  • the CCU 5153 includes a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and comprehensively controls the operations of the endoscope 5115 and the display device 5155. Specifically, the CCU 5153 performs various image processing for displaying an image based on the image signal, such as development processing (demosaic processing), for example, on the image signal received from the camera head 5119. In addition, the CCU 5153 may have a function of performing exposure control related to imaging of in-vivo images by the endoscope 5115.
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the CCU 5153 can identify the connected endoscope 5115 and the light source device 5157, and can correct the luminance detection value related to the in-vivo image according to the characteristics of the endoscope 5115 and the light source device 5157.
  • the CCU 5153 can be applied as an example of the control device 30 described later.
  • the CCU 5153 provides the display device 5155 with the image signal subjected to the image processing.
  • the audiovisual controller 5107 shown in FIG. 1 is connected to the CCU 5153.
  • the CCU 5153 also provides an image signal subjected to image processing to the audiovisual controller 5107.
  • the CCU 5153 transmits a control signal to the camera head 5119 to control the driving thereof.
  • the control signal can include information regarding imaging conditions such as magnification and focal length. Information regarding the imaging conditions may be input via the input device 5161 or may be input via the above-described centralized operation panel 5111.
  • the display device 5155 displays an image based on an image signal subjected to image processing by the CCU 5153 under the control of the CCU 5153.
  • the endoscope 5115 is compatible with high-resolution imaging such as 4K (horizontal pixel number 3840 ⁇ vertical pixel number 2160) or 8K (horizontal pixel number 7680 ⁇ vertical pixel number 4320), and / or 3D display.
  • high-resolution imaging such as 4K (horizontal pixel number 3840 ⁇ vertical pixel number 2160) or 8K (horizontal pixel number 7680 ⁇ vertical pixel number 4320), and / or 3D display.
  • a display device 5155 capable of high-resolution display and / or 3D display can be used.
  • 4K or 8K high resolution imaging a more immersive feeling can be obtained by using a display device 5155 having a size of 55 inches or more.
  • a plurality of display devices 5155 having different resolutions and sizes may be provided depending on applications.
  • the light source device 5157 is composed of a light source such as an LED (light emitting diode), for example, and supplies the endoscope 5115 with irradiation light when photographing a surgical site.
  • the light source device 5157 is an example of an optical system device according to an embodiment of the present disclosure.
  • the light source device 5157 can be applied as an example of the irradiation device 20 described later.
  • the arm control device 5159 is configured by a processor such as a CPU, for example, and operates according to a predetermined program to control driving of the arm portion 5145 of the support arm device 5141 according to a predetermined control method.
  • the input device 5161 is an input interface to the endoscopic surgery system 5113.
  • a user can input various information and instructions to the endoscopic surgery system 5113 via the input device 5161.
  • the user inputs various types of information related to the operation, such as the patient's physical information and information about the surgical technique, via the input device 5161.
  • the user instructs to drive the arm unit 5145 via the input device 5161 or an instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 5115.
  • An instruction to drive the energy treatment instrument 5135 is input.
  • the type of the input device 5161 is not limited, and the input device 5161 may be various known input devices.
  • the input device 5161 for example, a mouse, a keyboard, a touch panel, a switch, a foot switch 5171 and / or a lever can be applied.
  • the touch panel may be provided on the display surface of the display device 5155.
  • the input device 5161 is a device worn by the user, such as a glasses-type wearable device or an HMD (Head Mounted Display), for example, and various inputs according to the user's gesture and line of sight detected by these devices. Is done.
  • the input device 5161 includes a camera capable of detecting a user's movement, and various inputs are performed according to a user's gesture and line of sight detected from an image captured by the camera.
  • the input device 5161 includes a microphone that can pick up the voice of the user, and various inputs are performed by voice through the microphone.
  • the input device 5161 is configured to be able to input various types of information without contact, so that a user belonging to the clean area (for example, an operator 5181) operates a device belonging to the unclean area without contact. Is possible.
  • a user belonging to the clean area for example, an operator 5181
  • the user can operate the device without releasing his / her hand from the surgical tool he / she has, the convenience for the user is improved.
  • the treatment instrument control device 5163 controls driving of the energy treatment instrument 5135 for tissue cauterization, incision, blood vessel sealing, or the like.
  • the pneumoperitoneum device 5165 passes gas into the body cavity via the pneumothorax tube 5133.
  • the recorder 5167 is an apparatus capable of recording various types of information related to surgery.
  • the printer 5169 is a device that can print various types of information related to surgery in various formats such as text, images, or graphs.
  • the support arm device 5141 includes a base portion 5143 which is a base, and an arm portion 5145 extending from the base portion 5143.
  • the arm portion 5145 includes a plurality of joint portions 5147a, 5147b, and 5147c and a plurality of links 5149a and 5149b connected by the joint portion 5147b.
  • FIG. The structure of the arm part 5145 is shown in a simplified manner. Actually, the shape, number and arrangement of the joint portions 5147a to 5147c and the links 5149a and 5149b, the direction of the rotation axis of the joint portions 5147a to 5147c, and the like are appropriately set so that the arm portion 5145 has a desired degree of freedom. obtain.
  • the arm portion 5145 can be preferably configured to have six or more degrees of freedom. Accordingly, the endoscope 5115 can be freely moved within the movable range of the arm unit 5145, and therefore the lens barrel 5117 of the endoscope 5115 can be inserted into the body cavity of the patient 5185 from a desired direction. It becomes possible.
  • the joint portions 5147a to 5147c are provided with actuators, and the joint portions 5147a to 5147c are configured to be rotatable around a predetermined rotation axis by driving the actuators.
  • the drive of the actuator is controlled by the arm control device 5159
  • the rotation angles of the joint portions 5147a to 5147c are controlled, and the drive of the arm portion 5145 is controlled.
  • control of the position and posture of the endoscope 5115 can be realized.
  • the arm control device 5159 can control the driving of the arm unit 5145 by various known control methods such as force control or position control.
  • the arm controller 5159 appropriately controls the driving of the arm unit 5145 according to the operation input.
  • the position and posture of the endoscope 5115 may be controlled. With this control, the endoscope 5115 at the distal end of the arm portion 5145 can be moved from an arbitrary position to an arbitrary position and then fixedly supported at the position after the movement.
  • the arm unit 5145 may be operated by a so-called master slave method. In this case, the arm unit 5145 can be remotely operated by the user via the input device 5161 installed at a location away from the operating room.
  • the arm control device 5159 When force control is applied, the arm control device 5159 receives the external force from the user and moves the actuators of the joint portions 5147a to 5147c so that the arm portion 5145 moves smoothly according to the external force. You may perform what is called power assist control to drive. Accordingly, when the user moves the arm unit 5145 while directly touching the arm unit 5145, the arm unit 5145 can be moved with a relatively light force. Therefore, the endoscope 5115 can be moved more intuitively and with a simpler operation, and the convenience for the user can be improved.
  • an endoscope 5115 is supported by a doctor called a scopist.
  • the position of the endoscope 5115 can be more reliably fixed without relying on human hands, so that an image of the surgical site can be stably obtained. It becomes possible to perform the operation smoothly.
  • the arm control device 5159 is not necessarily provided in the cart 5151. Further, the arm control device 5159 does not necessarily have to be one device. For example, the arm control device 5159 may be provided in each of the joint portions 5147a to 5147c of the arm portion 5145 of the support arm device 5141, and the plurality of arm control devices 5159 cooperate to drive the arm portion 5145. Control may be realized.
  • the light source device 5157 supplies irradiation light for imaging the surgical site to the endoscope 5115.
  • the light source device 5157 is constituted by a white light source constituted by, for example, an LED, a laser light source, or a combination thereof.
  • a white light source is configured by a combination of RGB laser light sources
  • the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. Adjustments can be made.
  • the laser light from each of the RGB laser light sources is irradiated onto the observation target in a time-sharing manner, and the driving of the image sensor of the camera head 5119 is controlled in synchronization with the irradiation timing, thereby corresponding to each RGB. It is also possible to take the images that have been taken in time division. According to this method, a color image can be obtained without providing a color filter in the image sensor.
  • the driving of the light source device 5157 may be controlled so as to change the intensity of the output light every predetermined time. Synchronously with the timing of changing the intensity of the light, the driving of the image sensor of the camera head 5119 is controlled to acquire an image in a time-sharing manner, and the image is synthesized, so that high dynamic without so-called blackout and overexposure is obtained. A range image can be generated.
  • the light source device 5157 may be configured to be able to supply light of a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of light absorption in body tissue, the surface of the mucous membrane is irradiated by irradiating light in a narrow band compared to irradiation light (ie, white light) during normal observation.
  • narrow band imaging is performed in which a predetermined tissue such as a blood vessel is imaged with high contrast.
  • fluorescence observation may be performed in which an image is obtained by fluorescence generated by irradiating excitation light.
  • the body tissue is irradiated with excitation light to observe fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally administered to the body tissue and applied to the body tissue.
  • a reagent such as indocyanine green (ICG) is locally administered to the body tissue and applied to the body tissue.
  • ICG indocyanine green
  • the light source device 5157 can be configured to be able to supply narrowband light and / or excitation light corresponding to such special light observation.
  • FIG. 2 is an example of a functional block diagram of the surgery system according to the present embodiment.
  • the surgical system according to the present embodiment may include an imaging device 10, an irradiation device 20, and a control device 30.
  • the imaging device 10, the irradiation device 20, and the control device 30 are connected via the network 40 so that they can communicate with each other.
  • the imaging device 10 according to the present embodiment is a surgical imaging device that captures an in-vivo image in a body cavity of an observation target.
  • the imaging apparatus 10 according to the present embodiment is an example of a surgical optical system device. Further, the imaging apparatus 10 according to the present embodiment may be, for example, the endoscope 5115 illustrated in FIG.
  • the imaging device 10 according to the present embodiment includes an imaging unit 110 and a communication unit 120 as illustrated.
  • the imaging unit 110 has a function of capturing an in-vivo image in the body cavity of the observation target. At this time, the imaging unit 110 may capture an in-vivo image based on exposure control by the control device 30. For example, the imaging unit 110 can capture an in-vivo image using a shutter speed or a gain based on a control signal generated by the control device 30.
  • the imaging unit 110 includes, for example, an imaging element such as a charge coupled device (CCD) or a complementary MOS (CMOS).
  • CCD charge coupled device
  • CMOS complementary MOS
  • the in-vivo images according to the present embodiment widely include images (Biological Imaging) acquired from a biological viewpoint for clinical, medical, and experimental purposes, and the imaging target is not limited to a human being.
  • the communication unit 120 has a function of performing information communication with the irradiation device 20 and the control device 30 via the network 40. Specifically, the communication unit 120 transmits the captured in-vivo image and identification information for specifying the imaging device 10 to the control device 30.
  • the identification information may be, for example, an ID that can specify the model of the imaging device 10.
  • the communication unit 120 receives a control signal related to exposure control from the control device 30. For example, the communication unit 120 may receive a control signal related to shutter speed and gain setting from the control device 30.
  • the irradiation device 20 has a function of providing irradiation light used for capturing an in-vivo image.
  • the irradiation apparatus 20 according to the present embodiment is an example of a surgical optical system device.
  • the irradiation apparatus 20 which concerns on this embodiment may be the light source device 5157 shown in FIG. 1, for example.
  • the irradiation apparatus 20 which concerns on this embodiment is provided with the irradiation part 210 and the communication part 220 so that it may show in figure.
  • the irradiation unit 210 includes, for example, a light source and a condenser lens.
  • the irradiation unit 210 may have a function of condensing the light emitted from the light source on the imaging device 10.
  • the light emitted from the light source of the irradiation unit 210 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 5117 of the endoscope 5115, and the patient 5185 is guided through the objective lens. Irradiation is directed toward the observation target in the body cavity.
  • the communication unit 220 has a function of performing information communication with the imaging device 10 and the control device 30 via the network 40. Specifically, the communication unit 220 transmits identification information for specifying the irradiation device 20 to the control device 30.
  • the identification information may be an ID that can specify a model of the irradiation device 20, for example.
  • the control device 30 according to the present embodiment is a surgical control device that performs exposure control related to imaging of in-vivo images. At this time, the control device 30 according to the present embodiment has a function of correcting the luminance detection value related to the in-vivo image in accordance with the identified surgical optical system device.
  • the surgical optical system device according to the present embodiment include the imaging device 10 and the irradiation device 20 described above. Further, the surgical optical system device according to the present embodiment is not limited to such an example, and may include various irradiation systems, condensing systems, and imaging systems related to imaging of in-vivo images.
  • the control apparatus 30 which concerns on this embodiment may be CCU5153 shown in FIG. 1, for example.
  • the control device 30 according to the present embodiment includes an exposure control unit 310, an identification unit 320, an image processing unit 330, and a communication unit 340 as illustrated.
  • the exposure control unit 310 has a function of performing exposure control related to imaging of in-vivo images.
  • the exposure control unit 310 can perform exposure control based on a comparison between a luminance detection value (hereinafter referred to as a reference) defined as an appropriate level and a detected luminance detection value.
  • a luminance detection value hereinafter referred to as a reference
  • the exposure control unit 310 performs control to make the shutter speed higher than the current speed or control to make the gain lower than the current time, It is possible to control the exposure amount to be reduced and the luminance detection value to be the same level as the reference.
  • the exposure control unit 310 performs the control to make the shutter speed slower than the current speed or the control to make the gain higher than the current time, thereby reducing the exposure amount.
  • the luminance detection value can be controlled to increase to the same level as the reference.
  • one feature of the exposure control unit 310 according to the present embodiment is that exposure control is performed based on the luminance detection value detected from the in-vivo image.
  • the exposure control unit 310 according to the present embodiment corrects the luminance detection value related to the in-vivo image so as to correct the luminance unevenness caused by the identified surgical optical system device. More specifically, the exposure control unit 310 specifies a luminance correction value that corrects luminance unevenness caused by the surgical optical system device, and corrects the luminance detection value related to the in-vivo image using the luminance correction value. It can be carried out. According to the above function of the exposure control unit 310 according to the present embodiment, it is possible to perform exposure control with high accuracy after absorbing luminance unevenness due to characteristics of the surgical optical system device.
  • the luminance unevenness according to the present embodiment may include shading and black areas resulting from the surgical optical system device.
  • the exposure control unit 310 according to the present embodiment uses the luminance correction value for correcting the luminance change caused by the shading or black region caused by the characteristics of the imaging device 10 or the irradiation device 20, and the luminance detection value related to the in-vivo image. Can be corrected.
  • the exposure control unit 310 detects a subject (hereinafter also referred to as a high brightness subject) having a luminance equal to or higher than a predetermined threshold in the in-vivo image, and determines the position of the subject in the in-vivo image.
  • the luminance detection value may be corrected using the corresponding luminance correction value.
  • the exposure control according to the present embodiment may calculate the distance from the center of the in-vivo image to the subject and correct the luminance detection value using the luminance correction value corresponding to the distance. it can. Details of the functions of the exposure control unit 310 according to the present embodiment will be described later.
  • the identification unit 320 has a function of identifying the surgical optical system device.
  • the identification unit 320 according to the present embodiment may perform the above identification based on identification information received from the imaging device 10 or the irradiation device 20, for example.
  • the identification unit 320 according to the present embodiment may identify the imaging device 10 based on an in-vivo image captured by the imaging device 10.
  • the identification unit 320 may recognize the optical system device based on information input by an operator, for example.
  • the identification unit 320 has a function of identifying the orientation of the imaging device 10.
  • the identifying unit 320 can identify the orientation based on the in-vivo image captured by the imaging device 10.
  • the identifying unit 320 may identify the orientation based on sensor information collected by the imaging device 10 or other peripheral devices.
  • the exposure control unit 310 can correct the luminance detection value related to the in-vivo image according to the direction of the surgical optical system device.
  • the image processing unit 330 has a function of performing various image processing on the in-vivo image captured by the imaging device 10.
  • the image processing unit 330 may perform gradation conversion processing and noise reduction processing.
  • the communication unit 340 has a function of performing information communication with the imaging device 10 and the irradiation device 20 via the network 40. Specifically, the communication unit 340 receives in-vivo images and identification information for specifying the imaging device 10 from the imaging device 10. Further, the communication unit 340 receives identification information for specifying the irradiation device 20 from the irradiation device 20. At this time, the communication unit 340 may acquire the identification information related to the irradiation device 20 via the imaging device 10. Further, the communication unit 340 transmits a control signal related to exposure control generated by the exposure control unit 310 to the imaging device 10. As described above, the control signal may include a signal related to shutter speed and gain setting control.
  • the exposure control unit 310 can realize high-precision exposure control independent of the optical system device by correcting the luminance unevenness caused by the characteristics of the optical system device.
  • FIG. 3 is a view for explaining luminance unevenness caused by the characteristics of the optical system device according to the present embodiment.
  • FIG. 3 shows a luminance value histogram generated based on the luminance detection values obtained from a plurality of detection frames set in the in-vivo image.
  • the horizontal axis indicates the luminance value and the vertical axis indicates the number of pixels.
  • FIG. 3 shows a luminance value histogram by two curves C1 and C2.
  • the curve C1 indicates the luminance when a high-luminance subject exists in the periphery of the in-vivo image in a state where luminance unevenness such as shading caused by the optical device, that is, the imaging device 10 or the irradiation device 20 occurs.
  • a curve C2 represents a luminance value histogram in a state where luminance unevenness such as shading caused by the imaging device 10 and the irradiation device 20 is not generated, or when a high-brightness subject exists in the central portion where the influence of luminance unevenness is small. ing.
  • the exposure control method it is possible to perform the exposure control based on the separation degree of the peak median value in the generated luminance value histogram, but referring to FIG. It can be understood that a difference occurs in the degree of separation due to luminance unevenness caused by the above.
  • separation Df1 obtained from the peak median P1 and P2 0 is detected in the curve C1 in which the luminance unevenness occurs, the peak median P1 and P2 are detected in the curve C2 that uneven brightness does not occur It can be seen that it is smaller than the degree of separation Df2 obtained from 1 .
  • the luminance unevenness due to the characteristics of the optical system device greatly affects the peak median value and the separation degree in the luminance value histogram, and thus can be a cause of accuracy deterioration in the exposure control based on the separation degree.
  • the exposure control unit 310 corrects the luminance detection value related to the in-vivo image using the luminance correction value corresponding to the imaging device 10 or the irradiation device 20 identified by the identification unit 320.
  • the exposure control unit 310 corrects the luminance detection value related to the in-vivo image using the luminance correction value corresponding to the imaging device 10 or the irradiation device 20 identified by the identification unit 320.
  • the exposure control unit 310 detects a high-luminance subject in the in-vivo image, and uses the luminance correction value corresponding to the distance from the center of the in-vivo image to the high-luminance subject to detect the luminance detection value. May be corrected.
  • FIG. 4 is a diagram for explaining detection of a high-luminance subject according to the present embodiment.
  • FIG. 4 shows a luminance histogram generated by the exposure control unit 310 based on the luminance detection value related to the in-vivo image, as in FIG.
  • the exposure controller 310 calculates the center value M of the separation Df1 obtained from the peak median P1 and P2 0, may perform the detection of the high luminance object. More specifically, when the luminance detection value of the detection frame set in the in-vivo image is equal to or greater than the central value M of the degree of separation, the exposure control unit 310 sets the detection frame as a high luminance detection frame, that is, It can be detected as a subject.
  • the exposure control unit 310 calculates the distance from the center of the in-vivo image to the high luminance detection frame (hereinafter simply referred to as a high luminance subject), and the luminance correction value corresponding to the distance. May be used to correct the luminance detection value.
  • FIG. 5 is a diagram for explaining calculation of the distance from the center of the in-vivo image to the high-luminance subject by the exposure control unit 310 according to the present embodiment.
  • FIG. 5 shows a plurality of detection frames set in the in-vivo image IM and a high-luminance subject HF detected based on the center value of the degree of separation.
  • the exposure control unit 310 calculates a distance D from the center of the in-vivo image IM to the high brightness subject HF as shown in FIG.
  • FIG. 6 is a diagram showing the relationship between the distance from the center of the in-vivo image to the high-luminance subject and the luminance correction value according to the present embodiment.
  • the horizontal axis indicates the distance D from the center of the in-vivo image to the high-luminance subject
  • the vertical axis indicates the correction coefficient.
  • luminance correction values CF1 and CF2 related to two optical devices are shown.
  • the luminance correction value CF1 may be, for example, a luminance correction value corresponding to a certain irradiation device 20, and the second correction value CF2 is, for example, a luminance correction value corresponding to a certain imaging device 10. Also good.
  • the exposure control unit 310 may acquire a corresponding brightness correction value according to the optical system device identified by the identification unit 320.
  • both the luminance correction values CF1 and CF2 have higher correction coefficients depending on the distance D. This is because, as the distance from the center of the in-vivo image to the high-luminance subject becomes longer, the luminance detection value becomes smaller due to luminance unevenness such as shading caused by the optical system device. That is, according to the exposure control unit 310 according to the present embodiment, it is possible to correct the luminance that becomes dark in the peripheral portion of the image due to the uneven luminance to a normal state. Furthermore, since the above correction by the exposure control unit 310 according to the present embodiment can be applied even when the luminance detection range is dynamically changed, more flexible exposure control can be realized. .
  • the exposure control unit 310 may correct the luminance detection value using a plurality of luminance correction values respectively corresponding to the plurality of optical system devices. That is, the exposure control unit 310 according to the present embodiment can correct the luminance detection value corresponding to the combination of characteristics of a plurality of optical system devices.
  • FIG. 7 is a diagram for explaining correction of luminance detection values corresponding to a combination of characteristics of a plurality of optical system devices by the exposure control unit 310 according to the present embodiment.
  • FIG. 7 shows a correction map M1 corresponding to a certain imaging device 10, a correction map M2 corresponding to a certain irradiation device 20, and a combined correction map M3 synthesized by the exposure control unit 310.
  • the above-described correction maps M1 and M2 may be obtained by defining in advance a luminance correction value corresponding to the distance D from the center of the in-vivo image to the high-luminance subject as a map. That is, the correction coefficient W corresponding to the distance D may be set in each cell of the correction maps M1 and M2 shown in FIG.
  • W_lens [i] [j] is the correction coefficient W of each cell related to the correction map M1 of i row j column
  • W_light [i] is the correction coefficient W of each cell related to the correction map M2 of i row j column.
  • W W_lens [i] [j] ⁇ W_light [i] [j]. It is.
  • the exposure control unit 310 may correct the luminance detection value using a value obtained by multiplying a plurality of luminance correction values respectively corresponding to a plurality of optical system devices. As described above, according to the exposure control unit 310 according to the present embodiment, it is possible to correct the luminance detection value corresponding to the combination of characteristics of a plurality of optical devices. Even in endoscopic surgery using a system device, it is possible to automatically perform exposure control with high accuracy.
  • the identification unit 320 has a function of identifying various optical system devices used for capturing in-vivo images. At this time, the identification unit 320 according to the present embodiment may identify the optical system device based on identification information transmitted from the imaging device 10 or the irradiation device 20 connected via the network 40.
  • the identification unit 320 according to the present embodiment can also identify an optical system device based on an in-vivo image captured by the imaging apparatus 10.
  • FIG. 8 is a diagram for describing the shape of the imaging apparatus 10 according to the present embodiment and the identification of the imaging apparatus 10 by the identification unit 320.
  • FIG. 8 illustrates an example in which the imaging device 10 according to the present embodiment is an endoscope 5115.
  • the endoscope 5115 can be composed of a camera head 5119 and a lens barrel 5117 inserted into the body cavity of a patient 5185.
  • a light source exit 5121 and a lens tip 5120 are formed at the tip 5118 of the lens barrel 5117.
  • the identification unit 320 may identify the endoscope 5115 by estimating the shape of the light source outlet 5121 from the luminance blur in the in-vivo image.
  • the identification unit 320 can also identify the direction of the endoscope 5115 based on the shape of the light source outlet 5121 reflected in the in-vivo image.
  • FIG. 9 is a diagram illustrating a correspondence relationship between the orientation of the endoscope 5115 according to the present embodiment and the in-vivo image to be captured.
  • FIG. 9 shows tip portions 5118-n, 5118-e, 5118-s, and 5118-w of lens barrels 5117 having different directions, and in-vivo images IM-n that are imaged corresponding to the respective directions.
  • IM-e, IM-s, and IM-w are shown.
  • the orientation of the endoscope 5115 is the state of the distal end portion 5110-n of the lens barrel 5117, in the in-vivo image IM-n to be imaged, an image in which the light source exit 5121 exists as shown in FIG.
  • the upper side becomes brighter.
  • the right side of the image where the light source exit 5121 exists in the in-vivo image IM-e the lower side of the image where the light source exit 5121 exists in the in-vivo image IM-s
  • the light source exit 5121 in the in-vivo image IM-w Each image on the left side of the image becomes brighter.
  • the identification unit 320 can identify the orientation of the endoscope 5115 because high-intensity subjects are densely arranged in a predetermined direction in the captured in-vivo image.
  • the exposure control unit 310 can use a correction map corresponding to the orientation of the imaging device 10, and can realize more accurate exposure control. It becomes possible.
  • the identification unit 320 identifies the orientation of the imaging device 10 based on the captured in-vivo image.
  • the identification unit 320 identifies the orientation of the imaging device 10. Is not limited to such an example.
  • the identification unit 320 according to the present embodiment may identify the orientation based on information collected by a gyro sensor, a geomagnetic sensor, or the like included in the imaging device 10.
  • the identification unit 320 according to the present embodiment determines the orientation of the imaging device 10 based on a magnet or the like disposed at a predetermined position of the imaging device 10 and magnetic information detected by a magnetic sensor included in another device. It is also possible to identify.
  • FIG. 10 is a flowchart showing a flow of operations of the control device 30 according to the present embodiment. Note that each operation described in the flowchart shown in FIG. 10 may be executed for each in-vivo image to be captured, that is, for each frame.
  • the exposure control unit 310 of the control device 30 generates a luminance value histogram based on the luminance detection value of the in-vivo image (S1101). At this time, the luminance detection value may be acquired for each of a plurality of detection frames as shown in FIG.
  • the exposure control unit 310 calculates the peak median value and the degree of separation in the luminance value histogram generated in step S1101 (S1102).
  • the identification unit 320 identifies the imaging device 10 and the irradiation device 20 (S1103). At this time, the identification unit 320 can perform the above-described identification based on the acquired identification information or in-vivo image as described above.
  • the exposure control unit 310 detects a high-luminance subject in the in-vivo image (S1104). At this time, the exposure controller 310 can detect a high-luminance subject based on the center value of the degree of separation, as shown in FIG.
  • the exposure control unit 310 calculates the distance from the center of the in-vivo image regarding the high-luminance subject detected in step S1104 (S1105).
  • the exposure control unit 310 acquires a luminance correction value corresponding to the imaging device 10 or the irradiation device 20 identified in step S1103, and corrects the luminance detection value (S1106). At this time, the exposure control unit 310 may correct the luminance detection value using, for example, a correction map as shown in FIG.
  • the exposure control unit 310 generates a luminance value histogram again based on the corrected luminance detection value (S1107).
  • the exposure control unit 310 calculates the peak median value and the degree of separation in the luminance value histogram generated in step S1107 (S1108).
  • the exposure control unit 310 determines whether or not the degree of separation calculated in step S1108 is greater than or equal to a threshold value (S1109).
  • the exposure control unit 310 corresponds to the degree of separation calculated in step S1108.
  • the exposure correction amount to be acquired is acquired, and exposure control based on the exposure correction amount is performed (S1110).
  • the exposure control unit 310 may acquire the exposure correction amount from a correction table as shown in FIG.
  • FIG. 11 is a diagram illustrating a relationship between the degree of separation and the exposure correction amount according to the present embodiment.
  • the exposure control unit 310 may generate, for example, a control signal related to the shutter speed or gain setting and transmit the control signal to the imaging device 10 via the communication unit 340.
  • control device 30 may move to the next in-vivo image processing without executing the exposure control in step S1110.
  • FIG. 12 is a block diagram illustrating a hardware configuration example of the control device 30 according to an embodiment of the present disclosure.
  • the control device 30 includes, for example, a CPU 871, a ROM 872, a RAM 873, a host bus 874, a bridge 875, an external bus 876, an interface 877, an input device 878, an output device 879, A storage 880, a drive 881, a connection port 882, and a communication device 883 are included.
  • the hardware configuration shown here is an example, and some of the components may be omitted. Moreover, you may further include components other than the component shown here.
  • the CPU 871 functions as, for example, an arithmetic processing unit or a control unit, and controls the overall operation or a part of each component based on various programs recorded in the ROM 872, RAM 873, storage 880, or removable recording medium 901.
  • the ROM 872 is a means for storing programs read by the CPU 871, data used for calculations, and the like.
  • the RAM 873 for example, a program read by the CPU 871, various parameters that change as appropriate when the program is executed, and the like are temporarily or permanently stored.
  • the CPU 871, the ROM 872, and the RAM 873 are connected to each other via, for example, a host bus 874 capable of high-speed data transmission.
  • the host bus 874 is connected to an external bus 876 having a relatively low data transmission speed via a bridge 875, for example.
  • the external bus 876 is connected to various components via the interface 877.
  • the input device 878 for example, a mouse, a keyboard, a touch panel, a button, a switch, a lever, or the like is used. Furthermore, as the input device 878, a remote controller (hereinafter referred to as a remote controller) capable of transmitting a control signal using infrared rays or other radio waves may be used.
  • the input device 878 includes a voice input device such as a microphone.
  • the output device 879 is a display device such as a CRT (Cathode Ray Tube), LCD, or organic EL, an audio output device such as a speaker or a headphone, a printer, a mobile phone, or a facsimile. It is a device that can be notified visually or audibly.
  • the storage 880 is a device for storing various data.
  • a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like is used.
  • the drive 881 is a device that reads information recorded on a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writes information to the removable recording medium 901.
  • a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory
  • the removable recording medium 901 is, for example, a DVD medium, a Blu-ray (registered trademark) medium, an HD DVD medium, or various semiconductor storage media.
  • the removable recording medium 901 may be, for example, an IC card on which a non-contact IC chip is mounted, an electronic device, or the like.
  • connection port 882 is a port for connecting an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • the external connection device 902 is, for example, a printer, a portable music player, a digital camera, a digital video camera, or an IC recorder.
  • the communication device 883 is a communication device for connecting to a network.
  • control device 30 has a function of correcting the luminance detection value related to the in-vivo image according to the identified characteristics of the surgical optical system device. More specifically, the control device 30 according to an embodiment of the present disclosure has a function of correcting the luminance detection value so as to correct luminance unevenness caused by the in-vivo image according to the identified surgical optical system device. . According to this configuration, it is possible to realize high-precision exposure control that does not depend on the characteristics of the optical system.
  • processing steps of the control device 30 according to an embodiment of the present disclosure do not necessarily have to be processed in time series in the order described in the flowchart.
  • each step related to the processing of the control device 30 may be processed in an order different from the order described in the flowchart, or may be processed in parallel.
  • An exposure control unit that performs exposure control based on a luminance detection value detected from an in-vivo image; With The exposure control unit corrects the luminance detection value so as to correct luminance unevenness caused by the surgical optical system device based on the identified information about the surgical optical system device. Surgical control device. (2) The exposure control unit specifies a luminance correction value based on information on the identified surgical optical system device, and corrects the luminance detection value using the luminance correction value.
  • the brightness unevenness includes at least one of shading caused by the surgical optical system device or a black region
  • the exposure control unit corrects the luminance detection value so as to correct a luminance change caused by at least one of the shading and the black region;
  • the surgical control apparatus according to (1) or (2).
  • the exposure control unit detects a subject having a luminance equal to or higher than a predetermined threshold in the in-vivo image, and corrects the luminance detection value using a luminance correction value corresponding to the position of the subject in the in-vivo image;
  • the surgical control device according to any one of (1) to (3).
  • the exposure control unit calculates a distance from the center of the in-vivo image to the subject, and corrects the luminance detection value using the luminance correction value corresponding to the distance;
  • the surgical control apparatus according to (4) above.
  • the surgical optical system device includes at least one of a surgical imaging apparatus and an irradiation apparatus, The exposure control unit corrects the luminance detection value so as to correct the luminance unevenness caused by at least one of the surgical imaging apparatus and the irradiation apparatus;
  • the surgical control apparatus according to any one of (1) to (5).
  • the surgical imaging apparatus is configured with an endoscope.
  • the exposure control unit corrects the luminance detection value using a plurality of luminance correction values respectively corresponding to the plurality of surgical optical system devices; The surgical control apparatus according to any one of (1) to (7). (9) The exposure control unit corrects the luminance detection value using a value obtained by multiplying a plurality of luminance correction values respectively corresponding to the plurality of surgical optical system devices; The surgical control apparatus according to any one of (1) to (8). (10) Information about the surgical optical device is identified based on the received identification information; The surgical control device according to any one of (1) to (9). (11) Information regarding the surgical optical device is identified based on the in-vivo image. The surgical control device according to any one of (1) to (9).
  • the exposure control unit corrects the luminance detection value according to the direction of the identified surgical optical system device; The surgical control apparatus according to any one of (1) to (11). (13) An identification unit for identifying the surgical optical device; Further comprising The surgical control device according to any one of (1) to (12). (14) The exposure control unit generates a brightness value histogram based on the brightness detection value, calculates a first peak median value and a second peak median value in the brightness value histogram, and the first peak median value and Exposure control is performed based on the resolution of the second peak median value. The surgical control apparatus according to any one of (1) to (13). (15) The exposure control unit performs exposure control based on the degree of separation being equal to or greater than a threshold; The surgical control apparatus according to (14).
  • the processor performs exposure control based on the luminance detection value detected from the in-vivo image; Including Performing the exposure control is to correct the luminance detection value so as to correct luminance unevenness caused by the surgical optical system device based on information on the identified surgical optical system device; Further including Control method.
  • Imaging apparatus 110 Imaging part 120 Communication part 20 Irradiation apparatus 210 Irradiation part 220 Communication part 30 Control apparatus 310 Exposure control part 320 Identification part 330 Image processing part 340 Communication part

Abstract

【課題】光学系の特性に依存しない高精度の露出制御を実現する。 【解決手段】生体内画像から検出した輝度検波値に基づく露出制御を行う露出制御部、を備え、前記露出制御部は、識別された手術用光学系デバイスに関する情報に基づいて、当該手術用光学系デバイスに起因する輝度ムラを補正するように前記輝度検波値を補正する、手術用制御装置が提供される。また、プロセッサが、生体内画像から検出した輝度検波値に基づく露出制御を行うこと、を含み、前記露出制御を行うことは、識別された手術用光学系デバイスに関する情報に基づいて、当該手術用光学系デバイスに起因する輝度ムラを補正するように前記輝度検波値を補正すること、をさらに含む、制御方法が提供される。

Description

手術用制御装置、制御方法、手術システム、およびプログラム
　本開示は、手術用制御装置、制御方法、手術システム、およびプログラムに関する。
　近年、例えば、医療現場などにおいて、生体内画像を撮像し、当該生体内画像に基づく手技を行う場面が増加している。また、上記のような生体内画像の撮像に係る種々の装置が開発されている。例えば、特許文献１には、生体内画像の撮像に係る露出制御を行う技術が開示されている。
特開２０１３－４２９９８号公報
　しかし、特許文献１に記載の技術では、取得した光学系の画角情報に基づいて露出制御を実現している。一方、撮像される生体内画像における輝度ムラは、種々の要因に起因して生じ得る。このため、特許文献１に記載の技術では、光学系の特性に起因する輝度ムラを充分に考慮した露出制御が行えているとは言い難い。
　そこで、本開示では、光学系の特性に依存しない高精度の露出制御を実現することが可能な、新規かつ改良された手術制御装置、制御方法、手術システム、およびプログラムを提案する。
　本開示によれば、生体内画像から検出した輝度検波値に基づく露出制御を行う露出制御部、を備え、前記露出制御部は、識別された手術用光学系デバイスに関する情報に基づいて、当該手術用光学系デバイスに起因する輝度ムラを補正するように前記輝度検波値を補正する、手術用制御装置が提供される。
　また、本開示によれば、プロセッサが、生体内画像から検出した輝度検波値に基づく露出制御を行うこと、を含み、前記露出制御を行うことは、識別された手術用光学系デバイスに関する情報に基づいて、当該手術用光学系デバイスに起因する輝度ムラを補正するように前記輝度検波値を補正すること、をさらに含む、制御方法が提供される。
　また、本開示によれば、生体内画像の撮像に用いられる手術用光学系デバイスと、前記生体内画像から検出した輝度検波値に基づく露出制御を行う手術用制御装置、を備え、前記手術用制御装置は、識別された前記手術用光学系デバイスに関する情報に基づいて、当該手術用光学系デバイスに起因する輝度ムラを補正するように前記輝度検波値を補正する、手術システムが提供される。
　また、本開示によれば、コンピュータを、生体内画像から検出した輝度検波値に基づく露出制御を行う露出制御部、を備え、前記露出制御部は、識別された手術用光学系デバイスに関する情報に基づいて、当該手術用光学系デバイスに起因する輝度ムラを補正するように前記輝度検波値を補正する、手術用制御装置、として機能させるためのプログラムが提供される。
　以上説明したように本開示によれば、光学系の特性に依存しない高精度の露出制御を実現することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示に係る技術思想を用いた手術室システムが適用された手術の様子の一例を示す図である。 本開示の一実施形態に係る手術システムの機能ブロック図の一例である。 同実施形態に係る光学系デバイスの特性に起因する輝度ムラについて説明するための図である。 同実施形態に係る本実施形態に係る高輝度被写体の検出について説明するための図である。 同実施形態に係る露出制御部による生体内画像の中心から高輝度被写体までの距離の算出について説明するための図である。 同実施形態に係る生体内画像の中心から高輝度被写体までの距離と輝度補正値との関係を示す図である。 同実施形態に係る露出制御部による複数の光学系デバイスの特性の組み合わせに対応した輝度検波値の補正について説明するための図である。 同実施形態に係る撮像装置の形状と識別部による撮像装置の識別について説明するための図である。 同実施形態に係る内視鏡の向きと撮像される生体内画像との対応関係を示す図である。 同実施形態に係る制御装置の動作の流れを示すフローチャートである。 同実施形態に係る分離度と露出補正量との関係を示す図である。 本開示の一実施形態に係る制御装置のハードウェア構成例を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．背景
　２．適用例
　３．実施形態
　　３．１．システム構成例および機能構成例
　　３．２．輝度検波値の補正の詳細
　　３．３．光学系デバイスの識別の詳細
　　３．４．制御装置の動作の流れ
　４．ハードウェア構成例
　５．まとめ
　＜１．背景＞
　まず、本技術思想の発想に至った背景について説明する。上述したとおり、近年では、撮像した生体内画像に基づく手技を行う場面が増加している。上記のような手技には、例えば、内視鏡を用いた内視鏡手術が挙げられる。内視鏡手術では、観察対象物（患者）に挿入された内視鏡により観察対象物に係る生体内画像を撮像することで、術者が当該生体内画像を観察しながら検査や手技を行うことができる。
　この際、例えば、撮像した生体内画像に係る輝度検波値から輝度値ヒストグラムを生成し、当該輝度値ヒストグラムにおけるピーク中央値の分離度に基づいて露出制御を行う技術が知られている。
　一方、内視鏡手術では、撮像に用いる光学系デバイスの特性により、撮像した生体内画像に輝度ムラが生じることが少なくない。ここで、上記の輝度ムラには、例えば、光学系デバイスに起因するシェーディングが含まれる。シェーディングとは、光学系デバイスの周辺減光や撮像素子の感度の不均一性などにより、画像の本来の輝度と映像信号との間に不整合が生じ、画像の周辺部が中心部に比べて暗くなる現象を指す。
　また、上記の輝度ムラには、光学系デバイスの構造の一部が集光される光を遮光することで発生する黒領域（ケラレ、とも称する）も含まれる。このように、生体内画像の撮像においては、光学系デバイスに係る種々の特性に起因する輝度ムラが発生し得る。
　しかし、生体内画像に係る一般的な露出制御では、上記のような光学系デバイスに起因する輝度ムラが充分に考慮されていないのが現状である。このため、生体内画像における高輝度被写体などの影響から輝度値ヒストグラムに係る分離度を正しく算出することができず、露出制御の精度が低下する可能性もある。
　本技術思想は、上記の点に着目して発想されたものであり、光学系デバイスの特性に依存しない、柔軟かつより精度の高い露出制御を行うことを実現する。このために、本開示の一実施形態に係る手術用制御装置、制御方法、手術システム、およびプログラムは、識別された手術用光学系デバイス（以下、単に、光学系デバイス、とも称する）に関する情報に基づき、当該手術用光学系デバイスに起因する輝度ムラを補正するように輝度検波値を補正したうえで、生体内画像の撮像に係る露出制御を行うことを特徴の一つとする。本技術思想に係る上記の特徴によれば、光学系デバイスの特性に依存しない高精度な自動露出制御を実現することができ、露出制御に伴うコストを低減すると共に、より鮮明な生体内画像を取得することが可能となる。
　＜２．適用例＞
　次に、本開示に係る技術思想の適用例について説明する。図１は、本開示に係る技術思想を用いた手術室システム５１００が適用された手術の様子の一例を示す図である。シーリングカメラ５１８７及び術場カメラ５１８９は、手術室の天井に設けられ、患者ベッド５１８３上の患者５１８５の患部に対して処置を行う術者（医者）５１８１の手元及び手術室全体の様子を撮影可能である。シーリングカメラ５１８７及び術場カメラ５１８９には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明５１９１は、手術室の天井に設けられ、少なくとも術者５１８１の手元を照射する。照明５１９１は、その照射光量、照射光の波長（色）及び光の照射方向等を適宜調整可能であってよい。
　内視鏡手術システム５１１３、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１は、図１に示すように、視聴覚コントローラ５１０７及び手術室制御装置５１０９（図１では図示せず）を介して互いに連携可能に接続されている。手術室内には、集中操作パネル５１１１が設けられており、上述したように、ユーザは、当該集中操作パネル５１１１を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。
　以下、内視鏡手術システム５１１３の構成について詳細に説明する。図示するように、内視鏡手術システム５１１３は、内視鏡５１１５と、その他の術具５１３１と、内視鏡５１１５を支持する支持アーム装置５１４１と、内視鏡下手術のための各種の装置が搭載されたカート５１５１と、から構成される。
　内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５１３９ａ～５１３９ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５１３９ａ～５１３９ｄから、内視鏡５１１５の鏡筒５１１７や、その他の術具５１３１が患者５１８５の体腔内に挿入される。図示する例では、その他の術具５１３１として、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７が、患者５１８５の体腔内に挿入されている。また、エネルギー処置具５１３５は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５１３１はあくまで一例であり、術具５１３１としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
　内視鏡５１１５によって撮影された患者５１８５の体腔内の術部の画像が、表示装置５１５５に表示される。術者５１８１は、表示装置５１５５に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５１３５や鉗子５１３７を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７は、手術中に、術者５１８１又は助手等によって支持される。
　（支持アーム装置）
　支持アーム装置５１４１は、ベース部５１４３から延伸するアーム部５１４５を備える。図示する例では、アーム部５１４５は、関節部５１４７ａ、５１４７ｂ、５１４７ｃ、及びリンク５１４９ａ、５１４９ｂから構成されており、アーム制御装置５１５９からの制御により駆動される。アーム部５１４５によって内視鏡５１１５が支持され、その位置及び姿勢が制御される。これにより、内視鏡５１１５の安定的な位置の固定が実現され得る。
　（内視鏡）
　内視鏡５１１５は、先端から所定の長さの領域が患者５１８５の体腔内に挿入される鏡筒５１１７と、鏡筒５１１７の基端に接続されるカメラヘッド５１１９と、から構成される。ここで、内視鏡５１１５は、本開示の一実施形態に係る光学系デバイスの一例であってよい。すなわち、内視鏡５１１５は、後述する撮像装置１０として適用され得る。なお、図示する例では、硬性の鏡筒５１１７を有するいわゆる硬性鏡として構成される内視鏡５１１５を図示しているが、内視鏡５１１５は、軟性の鏡筒５１１７を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒５１１７の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５１１５には光源装置５１５７が接続されており、当該光源装置５１５７によって生成された光が、鏡筒５１１７の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５１８５の体腔内の観察対象に向かって照射される。なお、内視鏡５１１５は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド５１１９の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera　Control　Unit）５１５３に送信される。なお、カメラヘッド５１１９には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
　なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５１１９には撮像素子が複数設けられてもよい。この場合、鏡筒５１１７の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
　（カートに搭載される各種の装置）
　ＣＣＵ５１５３は、ＣＰＵ（Central　Processing　Unit）やＧＰＵ（Graphics　Processing　Unit）等によって構成され、内視鏡５１１５及び表示装置５１５５の動作を統括的に制御する。具体的には、ＣＣＵ５１５３は、カメラヘッド５１１９から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。また、ＣＣＵ５１５３は、内視鏡５１１５による生体内画像の撮像に係る露出制御を行う機能を有してよい。この際、ＣＣＵ５１５３は、接続された内視鏡５１１５や光源装置５１５７を識別し、内視鏡５１１５や光源装置５１５７の特性に応じて生体内画像に係る輝度検波値を補正することができる。ＣＣＵ５１５３は、後述する制御装置３０の一例として適用され得る。
　また、ＣＣＵ５１５３は、当該画像処理を施した画像信号を表示装置５１５５に提供する。また、ＣＣＵ５１５３には、図１に示す視聴覚コントローラ５１０７が接続される。ＣＣＵ５１５３は、画像処理を施した画像信号を視聴覚コントローラ５１０７にも提供する。また、ＣＣＵ５１５３は、カメラヘッド５１１９に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置５１６１を介して入力されてもよいし、上述した集中操作パネル５１１１を介して入力されてもよい。
　表示装置５１５５は、ＣＣＵ５１５３からの制御により、当該ＣＣＵ５１５３によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５１１５が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５１５５としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５１５５として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５１５５が設けられてもよい。
　光源装置５１５７は、例えばＬＥＤ（light　emitting　diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５１１５に供給する。なお、光源装置５１５７は、本開示の一実施形態に係る光学系デバイスの一例である。光源装置５１５７は、後述する照射装置２０の一例として適用され得る。
　アーム制御装置５１５９は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５１４１のアーム部５１４５の駆動を制御する。
　入力装置５１６１は、内視鏡手術システム５１１３に対する入力インタフェースである。ユーザは、入力装置５１６１を介して、内視鏡手術システム５１１３に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５１６１を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５１６１を介して、アーム部５１４５を駆動させる旨の指示や、内視鏡５１１５による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５１３５を駆動させる旨の指示等を入力する。
　入力装置５１６１の種類は限定されず、入力装置５１６１は各種の公知の入力装置であってよい。入力装置５１６１としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５１７１及び／又はレバー等が適用され得る。入力装置５１６１としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５１５５の表示面上に設けられてもよい。
　あるいは、入力装置５１６１は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head　Mounted　Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５１６１は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５１６１は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５１６１が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５１８１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
　処置具制御装置５１６３は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５１３５の駆動を制御する。気腹装置５１６５は、内視鏡５１１５による視野の確保及び術者の作業空間の確保の目的で、患者５１８５の体腔を膨らめるために、気腹チューブ５１３３を介して当該体腔内にガスを送り込む。レコーダ５１６７は、手術に関する各種の情報を記録可能な装置である。プリンタ５１６９は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　以下、内視鏡手術システム５１１３において特に特徴的な構成について、更に詳細に説明する。
　（支持アーム装置）
　支持アーム装置５１４１は、基台であるベース部５１４３と、ベース部５１４３から延伸するアーム部５１４５と、を備える。図示する例では、アーム部５１４５は、複数の関節部５１４７ａ、５１４７ｂ、５１４７ｃと、関節部５１４７ｂによって連結される複数のリンク５１４９ａ、５１４９ｂと、から構成されているが、図Ｂ３では、簡単のため、アーム部５１４５の構成を簡略化して図示している。実際には、アーム部５１４５が所望の自由度を有するように、関節部５１４７ａ～５１４７ｃ及びリンク５１４９ａ、５１４９ｂの形状、数及び配置、並びに関節部５１４７ａ～５１４７ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５１４５は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５１４５の可動範囲内において内視鏡５１１５を自由に移動させることが可能になるため、所望の方向から内視鏡５１１５の鏡筒５１１７を患者５１８５の体腔内に挿入することが可能になる。
　関節部５１４７ａ～５１４７ｃにはアクチュエータが設けられており、関節部５１４７ａ～５１４７ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５１５９によって制御されることにより、各関節部５１４７ａ～５１４７ｃの回転角度が制御され、アーム部５１４５の駆動が制御される。これにより、内視鏡５１１５の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５１５９は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５１４５の駆動を制御することができる。
　例えば、術者５１８１が、入力装置５１６１（フットスイッチ５１７１を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５１５９によってアーム部５１４５の駆動が適宜制御され、内視鏡５１１５の位置及び姿勢が制御されてよい。当該制御により、アーム部５１４５の先端の内視鏡５１１５を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５１４５は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５１４５は、手術室から離れた場所に設置される入力装置５１６１を介してユーザによって遠隔操作され得る。
　また、力制御が適用される場合には、アーム制御装置５１５９は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５１４５が移動するように、各関節部５１４７ａ～５１４７ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５１４５に触れながらアーム部５１４５を移動させる際に、比較的軽い力で当該アーム部５１４５を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５１１５を移動させることが可能となり、ユーザの利便性を向上させることができる。
　ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５１１５が支持されていた。これに対して、支持アーム装置５１４１を用いることにより、人手によらずに内視鏡５１１５の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
　なお、アーム制御装置５１５９は必ずしもカート５１５１に設けられなくてもよい。また、アーム制御装置５１５９は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５１５９は、支持アーム装置５１４１のアーム部５１４５の各関節部５１４７ａ～５１４７ｃにそれぞれ設けられてもよく、複数のアーム制御装置５１５９が互いに協働することにより、アーム部５１４５の駆動制御が実現されてもよい。
　（光源装置）
　光源装置５１５７は、内視鏡５１１５に術部を撮影する際の照射光を供給する。光源装置５１５７は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５１５７において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
　また、光源装置５１５７は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置５１５７は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow　Band　Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５１５７は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
　＜３．実施形態＞
　＜＜３．１．システム構成例および機能構成例＞＞
　次に、本開示の一実施形態について説明する。まず、本開示の一実施形態に係る手術システムの構成例、および手術システムを構成する各構成の機能構成例について述べる。図２は、本実施形態に係る手術システムの機能ブロック図の一例である。図２を参照すると、本実施形態に係る手術システムは、撮像装置１０、照射装置２０、および制御装置３０を備え得る。また、撮像装置１０、照射装置２０、および制御装置３０は、ネットワーク４０を介して、互いに通信が行えるように接続される。
　（撮像装置１０）
　本実施形態に係る撮像装置１０は、観察対象物の体腔内において生体内画像を撮像する手術用撮像装置である。上述したように、本実施形態に係る撮像装置１０は、手術用光学系デバイスの一例である。また、本実施形態に係る撮像装置１０は、例えば、図１に示した内視鏡５１１５であってよい。また、本実施形態に係る撮像装置１０は、図示するように、撮像部１１０および通信部１２０を備える。
　（（撮像部１１０））
　撮像部１１０は、観察対象物の体腔内において生体内画像を撮像する機能を有する。この際、撮像部１１０は、制御装置３０による露出制御に基づいて、生体内画像の撮像を行ってよい。撮像部１１０は、例えば、制御装置３０が生成した制御信号に基づくシャッター速度やゲインを用いて生体内画像の撮像を行うことができる。
　本実施形態に係る撮像部１１０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　ＭＯＳ）などの撮像素子を含んで構成される。ここで、本実施形態に係る生体内画像とは、臨床、医学、および実験用に生物学的見地から取得される画像（Ｂｉｏｌｏｇｉｃａｌ　Ｉｍａｇｉｎｇ）を広く含み、撮像対象は人間に限定されない。
　（（通信部１２０））
　通信部１２０は、ネットワーク４０を介して照射装置２０や制御装置３０との情報通信を行う機能を有する。具体的には、通信部１２０は、撮像した生体内画像や撮像装置１０を特定するための識別情報を制御装置３０に送信する。ここで、上記の識別情報は、例えば、撮像装置１０のモデルなどを特定することが可能なＩＤであってもよい。また、通信部１２０は、露出制御に係る制御信号を制御装置３０から受信する。通信部１２０は、例えば、シャッター速度やゲイン設定に係る制御信号を制御装置３０から受信してもよい。
　（照射装置２０）
　本実施形態に係る照射装置２０は、生体内画像の撮像に用いられる照射光を提供する機能を有する。上述したように、本実施形態に係る照射装置２０は、手術用光学系デバイスの一例である。また、本実施形態に係る照射装置２０は、例えば、図１に示した光源装置５１５７であってよい。また、本実施形態に係る照射装置２０は、図示するように、照射部２１０および通信部２２０を備える。
　（（照射部２１０））
　照射部２１０は、例えば、光源や集光レンズを含んで構成される。照射部２１０は、光源が発した光を撮像装置１０に集光する機能を有してよい。照射部２１０の光源により発せられた光は、例えば、内視鏡５１１５の鏡筒５１１７の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５１８５の体腔内の観察対象に向かって照射される。
　（（通信部２２０））
　通信部２２０は、ネットワーク４０を介して撮像装置１０や制御装置３０との情報通信を行う機能を有する。具体的には、通信部２２０は、照射装置２０を特定するための識別情報を制御装置３０に送信する。ここで、上記の識別情報は、例えば、照射装置２０のモデルなどを特定することが可能なＩＤであってもよい。
　（制御装置３０）
　本実施形態に係る制御装置３０は、生体内画像の撮像に係る露出制御を行う手術用制御装置である。この際、本実施形態に係る制御装置３０は、識別した手術用光学系デバイスに応じて生体内画像に係る輝度検波値を補正する機能を有する。なお、本実施形態に係る手術用光学系デバイスの一例としては、上記の撮像装置１０や照射装置２０が挙げられる。また、本実施形態に係る手術用光学系デバイスは係る例に限定されず、生体内画像の撮像に係る種々の照射系、集光系、結像系が含まれ得る。また、本実施形態に係る制御装置３０は、例えば、図１に示したＣＣＵ５１５３であってよい。本実施形態に係る制御装置３０は、図示するように、露出制御部３１０、識別部３２０、画像処理部３３０および通信部３４０を備える。
　（（露出制御部３１０））
　露出制御部３１０は、生体内画像の撮像に係る露出制御を行う機能を有する。露出制御部３１０は、例えば、適正レベルとして定義される輝度検波値（以下、リファレンス、と称する）と、検出した輝度検波値との比較に基づいて露出制御を行うことができる。具体的には、露出制御部３１０は、検出した輝度検波値がリファレンスよりも大きい場合には、シャッター速度を現在よりも高速にする制御や、ゲインを現在よりも低くする制御を行うことで、露光量を減らし、輝度検波値がリファレンスと同レベルとなるよう制御することができる。
　一方、検出した輝度検波値がリファレンスよりも小さい場合には、露出制御部３１０は、シャッター速度を現在よりも低速にする制御や、ゲインを現在よりも高くする制御を行うことで、露光量を増やし、輝度検波値がリファレンスと同レベルとなるよう制御することができる。
　また、本実施形態に係る露出制御部３１０は、生体内画像から検出した輝度検波値に基づく露出制御を行うことを特徴の一つとする。この際、本実施形態に係る露出制御部３１０は、識別した手術用光学系デバイスに起因する輝度ムラを補正するように生体内画像に係る輝度検波値を補正することを特徴の一つとする。より具体的には、露出制御部３１０は、手術用光学系デバイスに起因する輝度ムラを補正する輝度補正値を特定し、当該輝度補正値を用いて生体内画像に係る輝度検波値の補正を行うことができる。本実施形態に係る露出制御部３１０が有する上記の機能によれば、手術用光学系デバイスの特性による輝度ムラを吸収したうえで、精度の高い露出制御を行うことが可能となる。
　なお、上述したとおり、本実施形態に係る輝度ムラは、手術用光学系デバイスに起因するシェーディングや黒領域を含んでよい。すなわち、本実施形態に係る露出制御部３１０は、撮像装置１０や照射装置２０の特性により生じるシェーディングや黒領域に起因する輝度変化を補正する輝度補正値を用いて生体内画像に係る輝度検波値を補正することができる。
　この際、本実施形態に係る露出制御部３１０は、生体内画像において所定の閾値以上の輝度を有する被写体（以下、高輝度被写体、とも称する）を検出し、生体内画像における当該被写体の位置に対応した輝度補正値を用いて輝度検波値の補正を行ってよい。より具体的には、本実施形態に係る露出制御は、生体内画像の中心から上記の被写体までの距離を算出し、当該距離に対応した輝度補正値を用いて輝度検波値を補正することができる。本実施形態に係る露出制御部３１０が有する機能の詳細については、別途後述する。
　（（識別部３２０））
　識別部３２０は、手術用光学系デバイスを識別する機能を有する。本実施形態に係る識別部３２０は、例えば、撮像装置１０や照射装置２０から受信した識別情報に基づいて上記の識別を行ってもよい。また、例えば、本実施形態に係る識別部３２０は、撮像装置１０により撮像された生体内画像に基づいて、撮像装置１０を識別してもよい。また、識別部３２０は、例えば、術者により入力される情報に基づいて光学系デバイスの認識を行ってもよい。
　また、本実施形態に係る識別部３２０は、撮像装置１０の向きを識別する機能を有する。識別部３２０は、例えば、撮像装置１０により撮像された生体内画像に基づいて上記の向きを識別することができる。また、識別部３２０は、撮像装置１０や他の周辺装置により収集されるセンサ情報に基づいて上記の向きを識別してもよい。識別部３２０が有する上記の機能によれば、露出制御部３１０が手術用光学系デバイスの向きに応じて生体内画像に係る輝度検波値を補正することが可能となる。
　（（画像処理部３３０））
　画像処理部３３０は、撮像装置１０により撮像された生体内画像に対する種々の画像処理を行う機能を有する。本実施形態に係る画像処理部３３０は、例えば、階調変換処理やノイズ低減処理を行ってもよい。
　（（通信部３４０））
　通信部３４０は、ネットワーク４０を介して撮像装置１０や照射装置２０との情報通信を行う機能を有する。具体的には、通信部３４０は、撮像装置１０から生体内画像や撮像装置１０を特定するための識別情報を受信する。また、通信部３４０は、照射装置２０から照射装置２０を特定するための識別情報を受信する。この際、通信部３４０は、照射装置２０に係る識別情報を、撮像装置１０を介して取得してもよい。また、通信部３４０は、露出制御部３１０が生成した露出制御に係る制御信号を撮像装置１０に送信する。上述したとおり、上記の制御信号には、シャッター速度やゲイン設定の制御に係る信号が含まれ得る。
　＜＜３．２．輝度検波値の補正の詳細＞＞
　続いて、本実施形態に係る露出制御部３１０による輝度検波値の補正について詳細に説明する。上述したように、本実施形態に係る露出制御部３１０は、光学系デバイスの特性に起因する輝度ムラを補正することで、光学系デバイスに依存しない高精度の露出制御を実現することができる。
　まず、光学系デバイスの特性に起因する輝度ムラについて説明する。図３は、本実施形態に係る光学系デバイスの特性に起因する輝度ムラについて説明するための図である。図３には、生体内画像に設定される複数の検波枠から得られた輝度検波値に基づいて生成される輝度値ヒストグラムが示されている。なお、図３に示す輝度値ヒストグラムでは、横軸に輝度値が縦軸に画素数がそれぞれ示されている。
　また、図３には、２つの曲線Ｃ１およびＣ２による輝度値ヒストグラムが示されている。ここで、曲線Ｃ１は、光学系デバイス、すなわち撮像装置１０や照射装置２０に起因するシェーディングなどの輝度ムラが生じている状態において、生体内画像の周辺部に高輝度被写体が存在する場合の輝度値ヒストグラムを表している。また、曲線Ｃ２は、撮像装置１０や照射装置２０に起因するシェーディングなどの輝度ムラが生じていない状態、または高輝度被写体が輝度ムラの影響の少ない中心部に存在する場合の輝度値ヒストグラムを表している。
　上述したように、露出制御の手法の一例によれば、生成した輝度値ヒストグラムにおけるピーク中央値の分離度に基づいて露出制御を行うことが可能であるが、図３を参照すると、光学系デバイスに起因する輝度ムラにより上記の分離度に差が生じることが把握できる。
　より詳細には、輝度ムラが生じている曲線Ｃ１において検出されるピーク中央値Ｐ１およびＰ２０から得られる分離度Ｄｆ１は、輝度ムラが生じていない曲線Ｃ２において検出されるピーク中央値Ｐ１およびＰ２１から得られる分離度Ｄｆ２と比較して、小さくなることが分かる。
　このように、光学系デバイスの特性に起因する輝度ムラは、輝度値ヒストグラムにおけるピーク中央値や分離度に大きく影響を与えるため、当該分離度に基づく露出制御において、精度劣化の要因となり得る。
　このため、本実施形態に係る露出制御部３１０は、識別部３２０により識別された撮像装置１０や照射装置２０に対応した輝度補正値を用いて、生体内画像に係る輝度検波値を補正することで、光学系デバイスに起因する輝度ムラの影響を排除することができる。
　この際、本実施形態に係る露出制御部３１０は、生体内画像における高輝度被写体を検出し、生体内画像の中心から当該高輝度被写体までの距離に応じた輝度補正値を用いて輝度検波値の補正を行ってよい。
　図４は、本実施形態に係る高輝度被写体の検出について説明するための図である。図４には、図３と同様に、生体内画像に係る輝度検波値に基づいて露出制御部３１０が生成する輝度ヒストグラムが示されている。この際、露出制御部３１０は、ピーク中央値Ｐ１およびＰ２０から得られる分離度Ｄｆ１の中心値Ｍを算出し、高輝度被写体の検出を行ってよい。より具体的には、露出制御部３１０は、生体内画像に設定される検波枠の輝度検波値が分離度の中心値Ｍ以上である場合に、当該検波枠を高輝度検波枠、すなわち高輝度被写体として検出することができる。
　さらに、本実施形態に係る露出制御部３１０は、生体内画像の中心から高輝度検波枠（以下、単に、高輝度被写体、と称する）までの距離を算出し、当該距離に応じた輝度補正値を用いて輝度検波値の補正を行ってよい。
　図５は、本実施形態に係る露出制御部３１０による生体内画像の中心から高輝度被写体までの距離の算出について説明するための図である。図５には、生体内画像ＩＭに設定される複数の検波枠と、分離度の中心値に基づいて検出された高輝度被写体ＨＦとが示されている。この際、本実施形態に係る露出制御部３１０は、図５に示すように、生体内画像ＩＭの中心から高輝度被写体ＨＦまでの距離Ｄを算出する。
　続いて、露出制御部３１０は、算出した距離Ｄに基づいて輝度補正値を取得する。図６は、本実施形態に係る生体内画像の中心から高輝度被写体までの距離と輝度補正値との関係を示す図である。図６には、横軸に生体内画像の中心から高輝度被写体までの距離Ｄが、縦軸に補正係数がそれぞれ示されている。
　また、図６に示す一例では、２つの光学デバイスに係る輝度補正値ＣＦ１およびＣＦ２が示されている。ここで、輝度補正値ＣＦ１は、例えば、ある照射装置２０に対応した輝度補正値であってもよく、第２の補正値ＣＦ２は、例えば、ある撮像装置１０に対応した輝度補正値であってもよい。本実施形態に係る露出制御部３１０は、識別部３２０により識別された光学系デバイスに応じて、対応する輝度補正値を取得してよい。
　なお、図６を参照すると、輝度補正値ＣＦ１およびＣＦ２共に、距離Ｄに応じて補正係数が高くなることがわかる。これは、生体内画像の中心から高輝度被写体までの距離が長くなるほど、光学系デバイスに起因するシェーディングなどの輝度ムラにより、輝度検波値が小さくなるためである。すなわち、本実施形態に係る露出制御部３１０によれば、輝度ムラの影響により画像の周辺部において暗くなる輝度を正常な状態に補正することが可能となる。さらには、本実施形態に係る露出制御部３１０による上記の補正は、輝度の検波範囲を動的に変化させる場合であっても適用可能であるため、より柔軟な露出制御を実現することができる。
　また、本実施形態に係る露出制御部３１０は、複数の光学系デバイスにそれぞれ対応する複数の輝度補正値を用いて、輝度検波値の補正を行ってもよい。すなわち、本実施形態に係る露出制御部３１０は、複数の光学系デバイスの特性の組み合わせに対応した輝度検波値の補正を行うことが可能である。
　図７は、本実施形態に係る露出制御部３１０による複数の光学系デバイスの特性の組み合わせに対応した輝度検波値の補正について説明するための図である。図７には、ある撮像装置１０に対応する補正マップＭ１とある照射装置２０に対応する補正マップＭ２、および露出制御部３１０により合成される合成補正マップＭ３が示されている。
　ここで、上記の補正マップＭ１およびＭ２は、生体内画像の中心から高輝度被写体までの距離Ｄに応じた輝度補正値を予めマップとして定義したものであってよい。すなわち、図７に示す補正マップＭ１およびＭ２の各セルには、上記の距離Ｄに応じた補正係数Ｗがそれぞれ設定されてよい。
　ここで、ｉ行ｊ列の補正マップＭ１に係る各セルの補正係数Ｗを、Ｗ＿ｌｅｎｓ［ｉ］［ｊ］、ｉ行ｊ列の補正マップＭ２に係る各セルの補正係数Ｗを、Ｗ＿ｌｉｇｈｔ［ｉ］［ｊ］、とすると、ｉ行ｊ列の合成補正マップＭ３に係る各セルの補正係数Ｗは、Ｗ＝Ｗ＿ｌｅｎｓ［ｉ］［ｊ］×Ｗ＿ｌｉｇｈｔ［ｉ］［ｊ］により算出することが可能である。
　すなわち、本実施形態に係る露出制御部３１０は、複数の光学系デバイスにそれぞれ対応する複数の輝度補正値を乗算した値を用いて輝度検波値の補正を行ってよい。このように、本実施形態に係る露出制御部３１０によれば、複数の光学デバイスの特性の組み合わせに対応した輝度検波値の補正を行うことができ、例えば、手技の用途に応じた複数の光学系デバイスを用いる内視鏡手術などにおいても、精度の高い露出制御を自動的に行うことが可能となる。
　＜＜３．３．光学系デバイスの識別の詳細＞＞
　次に、本実施形態に係る識別部３２０による光学系デバイスの識別について詳細に説明する。上述したように、本実施形態に係る識別部３２０は、生体内画像の撮像に用いられる種々の光学系デバイスを識別する機能を有する。この際、本実施形態に係る識別部３２０は、ネットワーク４０を介して接続される撮像装置１０や照射装置２０から送信される識別情報に基づいて、光学系デバイスの識別を行ってもよい。
　一方、本実施形態に係る識別部３２０は、撮像装置１０により撮像された生体内画像に基づいて光学系デバイスの識別を行うことも可能である。図８は、本実施形態に係る撮像装置１０の形状と識別部３２０による撮像装置１０の識別について説明するための図である。なお、図８では、本実施形態に係る撮像装置１０が内視鏡５１１５である場合の一例が示されている。
　図８の左側には、本実施形態に係る内視鏡５１１５の外部構成の概略が示されている。図８に示すように、本実施形態に係る内視鏡５１１５は、カメラヘッド５１１９と、患者５１８５の体腔内に挿入される鏡筒５１１７と、から構成され得る。ここで、鏡筒５１１７の先端部５１１８には、例えば、図８に示すように、光源射出口５１２１およびレンズ先端部５１２０が形成される。
　この際、内視鏡５１１５により撮像される生体内画像には、光源射出口５１２１の形状に起因する輝度ブレが現れるが、光源射出口５１２１の形状は、内視鏡５１１５の製造元やモデルにより異なるのが一般的である。このため、本実施形態に係る識別部３２０は、生体内画像における輝度ブレから光源射出口５１２１の形状を推定することで、内視鏡５１１５を識別してもよい。
　さらに、この際、本実施形態に係る識別部３２０は、生体内画像に写りこむ光源射出口５１２１の形状に基づいて、内視鏡５１１５の向きを識別することも可能である。図９は、本実施形態に係る内視鏡５１１５の向きと撮像される生体内画像との対応関係を示す図である。図９には、それぞれ向きの異なる鏡筒５１１７の先端部５１１８－ｎ、５１１８－ｅ、５１１８－ｓ、および５１１８－ｗと、それぞれの向きに対応して撮像される生体内画像ＩＭ－ｎ、ＩＭ－ｅ、ＩＭ－ｓ、およびＩＭ－ｗと、が示されている。
　例えば、内視鏡５１１５の向きが鏡筒５１１７の先端部５１１０－ｎの状態である場合、撮像される生体内画像ＩＭ－ｎでは、図９に示すように、光源射出口５１２１が存在する画像上側が明るくなる。同様に、生体内画像ＩＭ－ｅでは光源射出口５１２１が存在する画像右側が、生体内画像ＩＭ－ｓでは光源射出口５１２１が存在する画像下側が、生体内画像ＩＭ－ｗでは光源射出口５１２１が存在する画像左側が、それぞれ明るくなる。
　このため、本実施形態に係る識別部３２０は、撮像された生体内画像において所定の方向に高輝度被写体が密集していることなどから、内視鏡５１１５の向きを識別することが可能である。本実施形態に係る識別部３２０が有する上記の機能によれば、露出制御部３１０が撮像装置１０の向きに対応した補正マップなどを用いることができ、より高精度な露出制御を実現することが可能となる。
　なお、上記では、本実施形態に係る識別部３２０が撮像された生体内画像に基づいて撮像装置１０の向きを識別する場合を例に述べたが、識別部３２０による撮像装置１０の向きの識別は係る例に限定されない。本実施形態に係る識別部３２０は、例えば、撮像装置１０が備えるジャイロセンサや地磁気センサなどが収集した情報に基づいて、上記の向きを識別してもよい。また、本実施形態に係る識別部３２０は、撮像装置１０の所定位置に配置された磁石などと、他の装置が備える磁気センサにより検出された磁気情報とに基づいて、撮像装置１０の向きを識別することも可能である。
　＜＜３．４．制御装置の動作の流れ＞＞
　次に、本実施形態に係る制御装置３０の動作の流れについて詳細に説明する。図１０は、本実施形態に係る制御装置３０の動作の流れを示すフローチャートである。なお、図１０に示すフローチャートに記載される各動作は、撮像される生体内画像ごと、すなわちフレームごとに実行されてよい。
　図１０を参照すると、まず、制御装置３０の露出制御部３１０は、生体内画像の輝度検波値に基づく輝度値ヒストグラムの生成を行う（Ｓ１１０１）。この際、上記の輝度検波値は、図５に示したように、複数の検波枠ごとに取得されてよい。
　続いて、露出制御部３１０は、ステップＳ１１０１において生成した輝度値ヒストグラムにおけるピーク中央値と分離度を算出する（Ｓ１１０２）。
　次に、識別部３２０は、撮像装置１０や照射装置２０の識別を行う（Ｓ１１０３）。この際、識別部３２０は、上述したように、取得した識別情報や生体内画像に基づいて上記の識別を行うことができる。
　次に、露出制御部３１０は、生体内画像における高輝度被写体の検出を行う（Ｓ１１０４）。この際、露出制御部３１０は、図４に示したように、分離度の中心値に基づいて高輝度被写体の検出を行うことができる。
　続いて、露出制御部３１０は、ステップＳ１１０４において検出した高輝度被写体に関し、生体内画像の中心からの距離を算出する（Ｓ１１０５）。
　続いて、露出制御部３１０は、ステップＳ１１０３において識別された撮像装置１０や照射装置２０に対応する輝度補正値を取得し、輝度検波値の補正を行う（Ｓ１１０６）。この際、露出制御部３１０は、例えば、図７に示したような補正マップを用いて、輝度検波値の補正を行ってもよい。
　次に、露出制御部３１０は、補正後の輝度検波値に基づいて、再度、輝度値ヒストグラムの生成を行う（Ｓ１１０７）。
　続いて、露出制御部３１０は、ステップＳ１１０７において生成した輝度値ヒストグラムにおけるピーク中央値と分離度を算出する（Ｓ１１０８）。
　次に、露出制御部３１０は、ステップＳ１１０８において算出した分離度が閾値以上であるか否かを判定する（Ｓ１１０９）。
　ここで、分離度が閾値以上である場合（Ｓ１１０９：Ｙｅｓ）、すなわち注目被写体と高輝度被写体との分離度が閾値以上である場合、露出制御部３１０は、ステップＳ１１０８において算出した分離度に対応する露出補正量を取得し、当該露出補正量に基づく露出制御を行う（Ｓ１１１０）。
　この際、露出制御部３１０は、例えば、図１１に示すような補正テーブルから上記の露出補正量を取得し、露出制御を行ってもよい。図１１は、本実施形態に係る分離度と露出補正量との関係を示す図である。露出制御部３１０は、取得した露出補正量を実現するために、例えば、シャッター速度やゲイン設定に係る制御信号を生成し、通信部３４０を介して撮像装置１０に送信してよい。
　一方、分離度が閾値よりも小さい場合（Ｓ１１０９：Ｎｏ）、制御装置３０はステップＳ１１１０における露出制御を実行せずに、次の生体内画像の処理へと移行してよい。
　＜４．ハードウェア構成例＞
　次に、本開示の一実施形態に係る制御装置３０のハードウェア構成例について説明する。図１２は、本開示の一実施形態に係る制御装置３０のハードウェア構成例を示すブロック図である。図１２を参照すると、制御装置３０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インタフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
　（ＣＰＵ８７１）
　ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
　（ＲＯＭ８７２、ＲＡＭ８７３）
　ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
　（ホストバス８７４、ブリッジ８７５、外部バス８７６、インタフェース８７７）
　ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インタフェース８７７を介して種々の構成要素と接続される。
　（入力装置８７８）
　入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。
　（出力装置８７９）
　出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカー、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
　（ストレージ８８０）
　ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
　（ドライブ８８１）
　ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
　（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ　ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
　（接続ポート８８２）
　接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
　（外部接続機器９０２）
　外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
　（通信装置８８３）
　通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
　＜５．まとめ＞
　以上説明したように、本開示の一実施形態に係る制御装置３０は、識別した手術用光学系デバイスの特性に応じて、生体内画像に係る輝度検波値を補正する機能を有する。より詳細には、本開示の一実施形態に係る制御装置３０は、識別した手術用光学系デバイスに応じて生体内画像に起因する輝度ムラを補正するように輝度検波値を補正する機能を有する。係る構成によれば、光学系の特性に依存しない高精度の露出制御を実現することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本開示の一実施形態に係る制御装置３０の処理ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理する必要はない。例えば、制御装置３０の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　生体内画像から検出した輝度検波値に基づく露出制御を行う露出制御部、
　を備え、
　前記露出制御部は、識別された前記手術用光学系デバイスに関する情報に基づいて、当該手術用光学系デバイスに起因する輝度ムラを補正するように前記輝度検波値を補正する、
手術用制御装置。
（２）
　前記露出制御部は、識別された手術用光学系デバイスに関する情報に基づいて輝度補正値を特定し、前記輝度補正値を用いて前記輝度検波値を補正する、
前記（１）に記載の手術用制御装置。
（３）
　前記輝度ムラは、前記手術用光学系デバイスに起因するシェーディング、または黒領域のうち少なくともいずれかを含み、
　前記露出制御部は、前記シェーディングまたは前記黒領域のうち少なくともいずれかに起因する輝度変化を補正するように前記輝度検波値を補正する、
前記（１）または（２）に記載の手術用制御装置。
（４）
　前記露出制御部は、前記生体内画像において所定の閾値以上の輝度を有する被写体を検出し、前記生体内画像における前記被写体の位置に対応した輝度補正値を用いて前記輝度検波値を補正する、
前記（１）～（３）のいずれかに記載の手術用制御装置。
（５）
　前記露出制御部は、前記生体内画像の中心から前記被写体までの距離を算出し、当該距離に対応した前記輝度補正値を用いて前記輝度検波値を補正する、
前記（４）に記載の手術用制御装置。
（６）
　前記手術用光学系デバイスは、手術用撮像装置または照射装置のうち少なくともいずれかを含み、
　前記露出制御部は、前記手術用撮像装置または前記照射装置のうち少なくともいずれかに起因する前記輝度ムラを補正するように前記輝度検波値を補正する、
前記（１）～（５）のいずれかに記載の手術用制御装置。
（７）
　前記手術用撮像装置は、内視鏡で構成される、
前記（６）に記載の制御装置。
（８）
　前記露出制御部は、複数の前記手術用光学系デバイスにそれぞれ対応する複数の輝度補正値を用いて前記輝度検波値を補正する、
前記（１）～（７）のいずれかに記載の手術用制御装置。
（９）
　前記露出制御部は、複数の前記手術用光学系デバイスにそれぞれ対応する複数の輝度補正値を乗算した値を用いて前記輝度検波値を補正する、
前記（１）～（８）のいずれかに記載の手術用制御装置。
（１０）
　前記手術用光学系デバイスに関する情報は、受信された識別情報に基づいて識別される、
前記（１）～（９）のいずれかに記載の手術用制御装置。
（１１）
　前記手術用光学系デバイスに関する情報は、前記生体内画像に基づいて識別される、
前記（１）～（９）のいずれかに記載の手術用制御装置。
（１２）
　前記露出制御部は、識別された前記手術用光学系デバイスの向きに応じて前記輝度検波値を補正する、
前記（１）～（１１）のいずれかに記載の手術用制御装置。
（１３）
　前記手術用光学系デバイスを識別する識別部、
　をさらに備える、
前記（１）～（１２）のいずれかに記載の手術用制御装置。
（１４）
　前記露出制御部は、前記輝度検波値に基づいて輝度値ヒストグラムを生成し、前記輝度値ヒストグラムにおける第１のピーク中央値および第２のピーク中央値を算出し、前記第１のピーク中央値および前記第２のピーク中央値の分離度に基づいて露出制御を行う、
前記（１）～（１３）のいずれかに記載の手術用制御装置。
（１５）
　前記露出制御部は、前記分離度が閾値以上であることに基づいて露出制御を実行する、
前記（１４）に記載の手術用制御装置。
（１６）
　プロセッサが、生体内画像から検出した輝度検波値に基づく露出制御を行うこと、
　を含み、
　前記露出制御を行うことは、識別された手術用光学系デバイスに関する情報に基づいて、当該手術用光学系デバイスに起因する輝度ムラを補正するように前記輝度検波値を補正すること、
　をさらに含む、
制御方法。
（１７）
　生体内画像の撮像に用いられる手術用光学系デバイスと、
　前記生体内画像から検出した輝度検波値に基づく露出制御を行う手術用制御装置、
　を備え、
　前記手術用制御装置は、識別された前記手術用光学系デバイスに関する情報に基づいて、当該手術用光学系デバイスに起因する輝度ムラを補正するように前記輝度検波値を補正する、
手術システム。
（１８）
　コンピュータを、
　生体内画像から検出した輝度検波値に基づく露出制御を行う露出制御部、
　を備え、
　前記露出制御部は、識別された手術用光学系デバイスに関する情報に基づいて、当該手術用光学系デバイスに起因する輝度ムラを補正するように前記輝度検波値を補正する、
　手術用制御装置、
として機能させるためのプログラム。
　１０　　　撮像装置
　１１０　　撮像部
　１２０　　通信部
　２０　　　照射装置
　２１０　　照射部
　２２０　　通信部
　３０　　　制御装置
　３１０　　露出制御部
　３２０　　識別部
　３３０　　画像処理部
　３４０　　通信部

Claims (18)

  1. 　生体内画像から検出した輝度検波値に基づく露出制御を行う露出制御部、
    　を備え、
    　前記露出制御部は、識別された手術用光学系デバイスに関する情報に基づいて、当該手術用光学系デバイスに起因する輝度ムラを補正するように前記輝度検波値を補正する、
    手術用制御装置。
  2. 　前記露出制御部は、識別された前記手術用光学系デバイスに関する情報に基づいて輝度補正値を特定し、前記輝度補正値を用いて前記輝度検波値を補正する、
    請求項１に記載の手術用制御装置。
  3. 　前記輝度ムラは、前記手術用光学系デバイスに起因するシェーディング、または黒領域のうち少なくともいずれかを含み、
    　前記露出制御部は、前記シェーディングまたは前記黒領域のうち少なくともいずれかに起因する輝度変化を補正するように前記輝度検波値を補正する、
    請求項１に記載の手術用制御装置。
  4. 　前記露出制御部は、前記生体内画像において所定の閾値以上の輝度を有する被写体を検出し、前記生体内画像における前記被写体の位置に対応した輝度補正値を用いて前記輝度検波値を補正する、
    請求項１に記載の手術用制御装置。
  5. 　前記露出制御部は、前記生体内画像の中心から前記被写体までの距離を算出し、当該距離に対応した前記輝度補正値を用いて前記輝度検波値を補正する、
    請求項４に記載の手術用制御装置。
  6. 　前記手術用光学系デバイスは、手術用撮像装置または照射装置のうち少なくともいずれかを含み、
    　前記露出制御部は、前記手術用撮像装置または前記照射装置のうち少なくともいずれかに起因する前記輝度ムラを補正するように前記輝度検波値を補正する、
    請求項１に記載の手術用制御装置。
  7. 　前記手術用撮像装置は、内視鏡で構成される、
    請求項６に記載の制御装置。
  8. 　前記露出制御部は、複数の前記手術用光学系デバイスにそれぞれ対応する複数の輝度補正値を用いて前記輝度検波値を補正する、
    請求項１に記載の手術用制御装置。
  9. 　前記露出制御部は、複数の前記手術用光学系デバイスにそれぞれ対応する複数の輝度補正値を乗算した値を用いて前記輝度検波値を補正する、
    請求項１に記載の手術用制御装置。
  10. 　前記手術用光学系デバイスに関する情報は、受信された識別情報に基づいて識別される、
    請求項１に記載の手術用制御装置。
  11. 　前記手術用光学系デバイスに関する情報は、前記生体内画像に基づいて識別される、
    請求項１に記載の手術用制御装置。
  12. 　前記露出制御部は、識別された前記手術用光学系デバイスの向きに応じて前記輝度検波値を補正する、
    請求項１に記載の手術用制御装置。
  13. 　前記手術用光学系デバイスを識別する識別部、
    　をさらに備える、
    請求項１に記載の手術用制御装置。
  14. 　前記露出制御部は、前記輝度検波値に基づいて輝度値ヒストグラムを生成し、前記輝度値ヒストグラムにおける第１のピーク中央値および第２のピーク中央値を算出し、前記第１のピーク中央値および前記第２のピーク中央値の分離度に基づいて露出制御を行う、
    請求項１に記載の手術用制御装置。
  15. 　前記露出制御部は、前記分離度が閾値以上であることに基づいて露出制御を実行する、
    請求項１４に記載の手術用制御装置。
  16. 　プロセッサが、生体内画像から検出した輝度検波値に基づく露出制御を行うこと、
    　を含み、
    　前記露出制御を行うことは、識別された手術用光学系デバイスに関する情報に基づいて、当該手術用光学系デバイスに起因する輝度ムラを補正するように前記輝度検波値を補正すること、
    　をさらに含む、
    制御方法。
  17. 　生体内画像の撮像に用いられる手術用光学系デバイスと、
    　前記生体内画像から検出した輝度検波値に基づく露出制御を行う手術用制御装置、
    　を備え、
    　前記手術用制御装置は、識別された前記手術用光学系デバイスに関する情報に基づいて、当該手術用光学系デバイスに起因する輝度ムラを補正するように前記輝度検波値を補正する、
    手術システム。
  18. 　コンピュータを、
    　生体内画像から検出した輝度検波値に基づく露出制御を行う露出制御部、
    　を備え、
    　前記露出制御部は、識別された手術用光学系デバイスに関する情報に基づいて、当該手術用光学系デバイスに起因する輝度ムラを補正するように前記輝度検波値を補正する、
    　手術用制御装置、
    として機能させるためのプログラム。
PCT/JP2018/006225 2017-03-22 2018-02-21 手術用制御装置、制御方法、手術システム、およびプログラム WO2018173605A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112018001482.7T DE112018001482T5 (de) 2017-03-22 2018-02-21 Chirurgische steuervorrichtung, steuerverfahren, chirurgisches system und programm
US16/494,006 US11523729B2 (en) 2017-03-22 2018-02-21 Surgical controlling device, control method, and surgical system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017056091A JP2018157918A (ja) 2017-03-22 2017-03-22 手術用制御装置、制御方法、手術システム、およびプログラム
JP2017-056091 2017-03-22

Publications (1)

Publication Number Publication Date
WO2018173605A1 true WO2018173605A1 (ja) 2018-09-27

Family

ID=63586089

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/006225 WO2018173605A1 (ja) 2017-03-22 2018-02-21 手術用制御装置、制御方法、手術システム、およびプログラム

Country Status (4)

Country Link
US (1) US11523729B2 (ja)
JP (1) JP2018157918A (ja)
DE (1) DE112018001482T5 (ja)
WO (1) WO2018173605A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114795080B (zh) * 2022-04-21 2024-04-09 安翰科技(武汉)股份有限公司 内窥镜曝光控制方法及内窥镜
CN114504293B (zh) * 2022-04-21 2022-07-29 安翰科技(武汉)股份有限公司 内窥镜曝光控制方法及内窥镜

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013078591A (ja) * 2012-11-21 2013-05-02 Toshiba Corp 撮像装置、撮像装置の作動方法及び内視鏡装置
WO2016185763A1 (ja) * 2015-05-15 2016-11-24 ソニー株式会社 光源制御装置及び光源制御方法並びに撮像システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56128138A (en) * 1980-03-14 1981-10-07 Olympus Optical Co Phtographing apparatus for endoscope
US5523786A (en) * 1993-12-22 1996-06-04 Eastman Kodak Company Color sequential camera in which chrominance components are captured at a lower temporal rate than luminance components
US6707485B1 (en) * 1998-02-27 2004-03-16 Fuji Photo Optical Co., Ltd. Light control system for electronic endoscopes
JP4175711B2 (ja) * 1998-03-31 2008-11-05 オリンパス株式会社 撮像装置
JP5361488B2 (ja) * 2009-03-24 2013-12-04 オリンパス株式会社 蛍光観察装置
CN102458215B (zh) * 2009-06-10 2014-05-28 奥林巴斯医疗株式会社 胶囊型内窥镜装置
JP5809925B2 (ja) * 2010-11-02 2015-11-11 オリンパス株式会社 画像処理装置、それを備えた画像表示装置及び撮像装置、画像処理方法、並びに画像処理プログラム
JP5814698B2 (ja) 2011-08-25 2015-11-17 オリンパス株式会社 自動露光制御装置、制御装置、内視鏡装置及び内視鏡装置の作動方法
JP5926909B2 (ja) * 2011-09-07 2016-05-25 オリンパス株式会社 蛍光観察装置
JP5830328B2 (ja) * 2011-09-26 2015-12-09 オリンパス株式会社 内視鏡用画像処理装置、内視鏡装置及び画像処理方法
JP5940306B2 (ja) * 2012-01-13 2016-06-29 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP2014002248A (ja) * 2012-06-18 2014-01-09 Sony Corp 撮像装置及び方法、並びにプログラム
EP2865321B1 (en) * 2012-06-20 2017-08-30 Olympus Corporation Medical information management device and medical information management system
JP6045760B2 (ja) * 2014-11-07 2016-12-14 オリンパス株式会社 撮像システム
WO2016129160A1 (ja) * 2015-02-12 2016-08-18 ソニー株式会社 画像処理装置、画像処理方法、プログラムおよび画像処理システム
EP3158917B1 (en) * 2015-07-13 2019-07-03 Sony Corporation Medical observation device and medical observation method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013078591A (ja) * 2012-11-21 2013-05-02 Toshiba Corp 撮像装置、撮像装置の作動方法及び内視鏡装置
WO2016185763A1 (ja) * 2015-05-15 2016-11-24 ソニー株式会社 光源制御装置及び光源制御方法並びに撮像システム

Also Published As

Publication number Publication date
JP2018157918A (ja) 2018-10-11
US20210121046A1 (en) 2021-04-29
US11523729B2 (en) 2022-12-13
DE112018001482T5 (de) 2019-12-12

Similar Documents

Publication Publication Date Title
US11672516B2 (en) Control apparatus, control method, and control system
WO2018168261A1 (ja) 制御装置、制御方法、及びプログラム
WO2018079259A1 (ja) 信号処理装置および方法、並びにプログラム
US11653824B2 (en) Medical observation system and medical observation device
JP7363767B2 (ja) 画像処理装置と画像処理方法およびプログラム
WO2018221068A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US20220207788A1 (en) Information processor, information processing method, and program
WO2017010156A1 (ja) 医療用観察装置及び医療用観察方法
WO2018173605A1 (ja) 手術用制御装置、制御方法、手術システム、およびプログラム
WO2018230510A1 (ja) 画像処理装置、画像処理方法および撮像システム
WO2018180573A1 (ja) 手術用画像処理装置、画像処理方法、及び、手術システム
US20220217260A1 (en) Signal processing device, imaging device, and signal processing method
US11883120B2 (en) Medical observation system, medical signal processing device, and medical signal processing device driving method
US11394942B2 (en) Video signal processing apparatus, video signal processing method, and image-capturing apparatus
JP7063321B2 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
WO2018216538A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US11910105B2 (en) Video processing using a blended tone curve characteristic
US20230047294A1 (en) Medical image generation apparatus, medical image generation method, and medical image generation program
US11523065B2 (en) Imaging device and gain setting method
US20200412959A1 (en) Image processing apparatus, image processing method, and image processing program
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2022249572A1 (ja) 画像処理装置、画像処理方法及び記録媒体
US20230248231A1 (en) Medical system, information processing apparatus, and information processing method
WO2020246181A1 (ja) 画像処理装置、画像処理方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18771572

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18771572

Country of ref document: EP

Kind code of ref document: A1