WO2020050187A1 - 医療システム、情報処理装置及び情報処理方法 - Google Patents

医療システム、情報処理装置及び情報処理方法 Download PDF

Info

Publication number
WO2020050187A1
WO2020050187A1 PCT/JP2019/034310 JP2019034310W WO2020050187A1 WO 2020050187 A1 WO2020050187 A1 WO 2020050187A1 JP 2019034310 W JP2019034310 W JP 2019034310W WO 2020050187 A1 WO2020050187 A1 WO 2020050187A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
motion vector
correlation
degree
unit
Prior art date
Application number
PCT/JP2019/034310
Other languages
English (en)
French (fr)
Inventor
健太郎 深沢
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP19857194.5A priority Critical patent/EP3848895A4/en
Priority to US17/265,214 priority patent/US20210304419A1/en
Priority to CN201980056171.7A priority patent/CN112602115A/zh
Priority to JP2020541195A priority patent/JPWO2020050187A1/ja
Publication of WO2020050187A1 publication Critical patent/WO2020050187A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Definitions

  • the present disclosure relates to a medical system, an information processing device, and an information processing method.
  • a doctor or the like views a special light image obtained by irradiating a living body with special light (for example, near-infrared light) having a specific wavelength band to see a lesion or the like.
  • special light for example, near-infrared light
  • a special light image captured with special light having a narrower wavelength band than white light is generally darker than a white light image, so that the influence of noise is relatively large. Therefore, in the special light image, for example, there is a case where faint fluorescence in a deep part of the living body is buried in noise and becomes invisible.
  • noise reduction processing (hereinafter, also referred to as “NR processing”) is required for the special light image.
  • NR processing noise reduction processing
  • the living body moves due to body motion or pulsation in the special light image, it is necessary to perform motion estimation for NR processing.
  • the other image may be corrected (NR processing or the like) using the motion vector of one image.
  • NR processing or the like
  • a medical system capable of correcting one image with high accuracy based on respective motion vectors of two images captured using two electromagnetic waves having different wavelength bands.
  • a medical device capable of correcting one image with high accuracy based on respective motion vectors of two images captured using two electromagnetic waves having different wavelength bands.
  • a medical system includes an irradiation unit configured to irradiate an electromagnetic wave to an imaging target, and an imaging unit configured to image a reflected wave from the imaging target irradiated with the electromagnetic wave.
  • Acquiring means for acquiring a first image based on a first wavelength band from the imaging means, and acquiring a second image based on a second wavelength band different from the first wavelength band;
  • First motion estimating means for calculating a first motion vector that is a motion vector between a plurality of first images based on a feature amount in one image;
  • a second motion estimator for calculating a second motion vector that is a motion vector between the plurality of second images, and calculating a degree of correlation between the first motion vector and the second motion vector.
  • FIG. 1 is a diagram illustrating a configuration example of a medical system according to a first embodiment of the present disclosure.
  • 1 is a diagram illustrating a configuration example of an information processing device according to a first embodiment of the present disclosure.
  • FIG. 4 is a schematic diagram illustrating a relationship between a signal of special light and white light and a magnitude of noise in the first embodiment of the present disclosure.
  • FIG. 3 is a schematic diagram illustrating a state in which the imaging target is irradiated with special light and white light in the first embodiment of the present disclosure.
  • FIG. 4 is an explanatory diagram of a noise reduction process according to the first embodiment of the present disclosure.
  • FIG. 2 is a schematic diagram of a white light image and a special light image according to the first embodiment of the present disclosure.
  • FIG. 4 is an explanatory diagram of a motion correlation in case 1 and case 2 according to the first embodiment of the present disclosure.
  • FIG. 4 is an explanatory diagram of a noise reduction process according to the first embodiment of the present disclosure.
  • 5 is a flowchart illustrating image processing performed by the information processing apparatus according to the first embodiment of the present disclosure.
  • 11 is a graph illustrating a relationship between ⁇ and a degree of correlation according to the second embodiment of the present disclosure.
  • 9 is a flowchart illustrating image processing by an information processing device according to a second embodiment of the present disclosure.
  • 13 is a flowchart illustrating image processing by an information processing device according to a third embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating an example of a schematic configuration of an endoscopic surgery system according to an application example 1 of the present disclosure.
  • FIG. 14 is a block diagram illustrating an example of a functional configuration of a camera head and a CCU illustrated in FIG. 13.
  • FIG. 13 is a diagram illustrating an example of a schematic configuration of a microscopic surgery system according to an application example 2 of the present disclosure. It is a figure which shows the mode of the operation
  • FIG. 1 is a diagram illustrating a configuration example of a medical system 1 according to the first embodiment of the present disclosure.
  • the medical system 1 according to the first embodiment roughly includes at least a light source 11 (irradiation unit), an imaging device 12 (imaging unit), and an information processing device 13.
  • the display device 14 and the like can be further provided as necessary.
  • each part will be described in detail.
  • the light source 11 includes a first light source that irradiates the imaging target 2 with special light having a specific wavelength band, and a second light source that irradiates the imaging target 2 with white light.
  • the special light is, for example, near-infrared light. Further, the special light from the first light source and the white light from the second light source are simultaneously irradiated on the imaging target 2.
  • the imaging object 2 can be various, but is, for example, a living body.
  • the medical system 1 according to the present disclosure for microscopic surgery, endoscopic surgery, or the like, it is possible to perform an operation while confirming the position of a blood vessel. Therefore, safer and more accurate surgery can be performed, which can contribute to further development of medical technology.
  • the imaging device 12 captures an image of the reflected wave from the imaging target 2 irradiated with the electromagnetic wave.
  • the imaging device 12 includes a special light image capturing unit that captures a special light image (a first image and a near-infrared light image), and a white light image capturing unit that captures a white light image (a second image).
  • the special light image capturing unit is, for example, an IR (Infrared) imager.
  • the white light image capturing unit is, for example, an RGB (Red Green Blue) imager.
  • the imaging device 12 includes, for example, a dichroic mirror as a main configuration in addition to the special light image capturing unit and the white light image capturing unit.
  • the light source 11 emits the special light and the white light.
  • the dichroic mirror separates the received special light and white light.
  • the special light image capturing unit captures a special light image obtained from the special light separated by the dichroic mirror.
  • the white light image capturing section captures a white light image obtained from the white light separated by the dichroic mirror.
  • FIG. 2 is a diagram illustrating a configuration example of the information processing device 13 according to the first embodiment of the present disclosure.
  • the information processing device 13 is an image processing device, and includes a processing unit 131 and a storage unit 132 as main components.
  • the processing unit 131 is realized by, for example, a CPU (Central Processing Unit), and includes an acquisition unit 1311 (acquisition unit), a first motion estimation unit 1312 (first motion estimation unit), and a second motion estimation unit 1313 (second unit). 2) a correlation estimation unit 1314 (correlation calculation unit), a correction unit 1315 (correction unit), and a display control unit 1316.
  • a CPU Central Processing Unit
  • acquisition unit 1311 acquisition unit
  • first motion estimation unit 1312 first motion estimation unit
  • second motion estimation unit 1313 second unit
  • a correlation estimation unit 1314 correlation calculation unit
  • correction unit 1315 correction unit
  • display control unit 1316 display control unit
  • the acquisition unit 1311 receives a special light image (a first image based on the first wavelength band) and a white light image (a second image based on a second wavelength band different from the first wavelength band) from the imaging device 12. To get.
  • the first motion estimator 1312 calculates a special light motion vector (first motion vector) that is a motion vector between a plurality of special light images based on the feature amount in the special light image.
  • the second motion estimating unit 1313 calculates a white light motion vector (a second motion vector) that is a motion vector between a plurality of white light images based on the feature amount in the white light image.
  • a specific method of motion estimation by the first motion estimating unit 1312 and the second motion estimating unit 1313 may be, for example, block (template) matching or a gradient method, but is not limited thereto. May be used.
  • the motion estimation may be performed for each pixel or for each block.
  • the correlation degree calculation unit 1314 calculates the degree of correlation between the special light motion vector and the white light motion vector.
  • the correlation degree calculation unit 1314 calculates, for example, a correlation coefficient between the special light motion vector and the white light motion vector as the correlation degree.
  • the correlation calculation unit 1314 may calculate the sum of the absolute values of the differences between the special light motion vector and the white light motion vector as the correlation. Further, the correlation degree calculation unit 1314 may calculate the sum of the squares of the difference between the special light motion vector and the white light motion vector as the correlation degree.
  • the method of calculating the degree of correlation is not limited to these, and a method of calculating any index that can evaluate the correlation (similarity) may be used.
  • the correction unit 1315 corrects the special light image based on the degree of correlation between the special light motion vector calculated by the correlation degree calculation unit 1314 and the white light motion vector. For example, the correction unit 1315 corrects the special light image based on the white light motion vector when the degree of correlation is equal to or higher than a predetermined threshold, and corrects the special light image based on the special light motion vector when the degree of correlation is lower than the predetermined threshold. Correct the image.
  • the predetermined threshold value for the degree of correlation is stored in the storage unit 132 in advance.
  • the correcting unit 1315 performs, for example, noise reduction processing for reducing noise of the special light image as processing for correcting the special light image based on the degree of correlation.
  • noise reduction processing will be described with reference to FIGS.
  • FIG. 3 is a schematic diagram illustrating a relationship between a signal of special light and white light and a magnitude of noise in the first embodiment of the present disclosure.
  • a signal obtained by using the special light is relatively small with respect to noise as compared with a signal obtained by using the white light. Therefore, when performing motion estimation, it is considered better to use a white light image than a special light image. However, this is based on the premise that the movement shown in the special light image and the movement shown in the white light image are the same.
  • FIG. 4 is a schematic diagram illustrating a state where the imaging target 2 is irradiated with special light and white light in the first embodiment of the present disclosure.
  • ICG Indocyanine Green
  • the tissue is covered with a membrane (or fat or the like).
  • the special light may be mainly reflected by the tissue, and the white light may be mainly reflected by the film. In that case, for example, when the membrane is detached from the tissue, the membrane may move but the tissue may not move. In such a case, if the motion estimation is performed using the white light image and the NR processing of the special light image is performed using the motion estimation result, the image quality of the special light image deteriorates.
  • FIG. 5 is an explanatory diagram of the noise reduction processing according to the first embodiment of the present disclosure.
  • the correction unit 1315 can perform NR processing using, for example, a motion-compensated image obtained by performing motion compensation on a past image (an image one frame before) and an input image (current image).
  • a motion-compensated image obtained by performing motion compensation on a past image (an image one frame before) and an input image (current image).
  • the degree of correlation between the special light motion vector and the white light motion vector is used (details will be described later).
  • FIG. 6 is a schematic diagram of a white light image and a special light image according to the first embodiment of the present disclosure. It can be seen that the special light image is overall darker than the white light image.
  • FIG. 7 is an explanatory diagram of the motion correlation in case 1 and case 2 in the first embodiment of the present disclosure.
  • black circles are pixels or blocks (a group of a plurality of pixels).
  • black circles are pixels.
  • FIG. 8 is an explanatory diagram of the noise reduction processing according to the first embodiment of the present disclosure.
  • the correction unit 1315 first performs motion compensation on the past image (image one frame before). At this time, for example, when the degree of correlation is equal to or more than a predetermined threshold, the motion compensation is performed based on the white light motion vector. Do. When the degree of correlation is less than the predetermined threshold, the correction unit 1315 performs motion compensation based on the special light motion vector. Thereby, highly accurate motion compensation can be realized.
  • the correction unit 1315 can calculate a weighted average of the motion compensation image and the input image (current image) and perform NR processing. Since the motion compensation is highly accurate, the NR processing is also highly accurate. The motion compensation and the weighted averaging are performed, for example, in pixel units. Further, the past image may be an output image one frame before or an input image one frame before.
  • the display control unit 1316 controls the display device 14 to display the special light image or the like (such as the NR process) after the correction.
  • the storage unit 132 stores various information such as the special light image and the white light image acquired by the acquiring unit 1311, the calculation results by the units of the processing unit 131, and the correlation threshold. Note that a storage device external to the medical system 1 may be used instead of the storage unit 132.
  • the display device 14 is controlled by the display control unit 1316, so that the special light image and the white light image acquired by the acquisition unit 1311, the calculation result by each unit of the processing unit 131, the threshold of the correlation degree, and the like. Display various information. Note that a display device outside the medical system 1 may be used instead of the display device 14.
  • FIG. 9 is a flowchart illustrating image processing by the information processing device 13 according to the first embodiment of the present disclosure.
  • step S1 the acquiring unit 1311 acquires a special light image and a white light image from the imaging device 12.
  • step S2 the first motion estimator 1312 calculates a special light motion vector based on the feature amount in the special light image.
  • step S3 the second motion estimator 1313 calculates a white light motion vector based on the feature amount in the white light image.
  • step S4 the correlation degree calculation unit 1314 calculates the degree of correlation between the special light motion vector and the white light motion vector.
  • step S5 the correction unit 1315 determines whether or not the degree of correlation is equal to or greater than a predetermined threshold. If Yes, the process proceeds to step S6, and if No, the process proceeds to step S7.
  • step S6 the correction unit 1315 corrects the special light image based on the white light motion vector (NR processing or the like).
  • step S7 the correction unit 1315 corrects the special light image based on the special light motion vector (NR processing or the like).
  • step S8 the display control unit 1316 performs control for displaying the corrected special light image (NR processing or the like) on the display device 14.
  • one image is corrected with high accuracy based on the respective motion vectors of two images captured using two electromagnetic waves having different wavelength bands.
  • the NR process of the special light image is performed using the white light motion vector if the correlation between the two motion vectors is large, and the special light motion vector is used if the correlation is small.
  • fluorescence observation using ICG is generally performed to observe blood flow during surgery.
  • This is a technique for observing the movement of blood vessels and lymph vessels in a minimally invasive manner by utilizing the feature that ICG binds to plasma proteins in vivo and emits fluorescence by near-infrared excitation light.
  • the NR processing of the special optical image can be performed without deteriorating the image quality. Therefore, the possibility that the doctor sees the special light image on which the NR processing has been performed and makes an erroneous determination is reduced, and the operation can be performed more safely.
  • the correction unit 1315 corrects a special light image based on a white light motion vector when the degree of correlation is equal to or more than a predetermined threshold, and converts the special light image into a special light motion vector when the degree of correlation is less than the predetermined threshold. Based on this, the special light image was corrected.
  • the correction unit 1315 weights and adds the special light motion vector (MV1) and the white light motion vector (MV2) according to the degree of correlation to obtain a third motion vector (MV3) is calculated, and the special light image is corrected based on the third motion vector (MV3).
  • MV3 (1 ⁇ ) ⁇ MV1 + ⁇ ⁇ MV2 Expression (1)
  • FIG. 10 is a graph showing the relationship between ⁇ and the degree of correlation in the second embodiment of the present disclosure.
  • a coefficient ⁇ (mixing ratio) according to the degree of correlation is set as shown in FIG.
  • the vertical axis represents the value of ⁇
  • the horizontal axis represents the degree of correlation.
  • FIG. 11 is a flowchart illustrating image processing by the information processing device 13 according to the second embodiment of the present disclosure. Steps S1 to S4 are the same as in FIG.
  • step S11 the correction unit 1315 weights and adds the special light motion vector (MV1) and the white light motion vector (MV2) in accordance with the degree of correlation and performs the third Is calculated (MV3).
  • step S12 the correction unit 1315 corrects the special light image based on the third motion vector (MV3) (NR processing or the like).
  • MV3 third motion vector
  • step S8 the display control unit 1316 controls the display device 14 to display the corrected special light image (NR processing or the like) on the display device 14.
  • NR processing or the like the corrected special light image
  • the degree of correlation is By using the third motion vector calculated by weighting and adding the special light motion vector and the white light motion vector accordingly, more accurate correction can be realized.
  • the correction unit 1315 performs motion compensation for a special light image based on a special light motion vector, performs motion compensation for a white light image based on a white light motion vector, and performs motion compensation according to the degree of correlation.
  • a third image is generated by weighting and adding the compensated special light image and the motion-compensated white light image, and the special light image is corrected based on the third image.
  • the method of weighted addition in this case is the same as the method of weighted addition using Expression (1) in the second embodiment. That is, when the correlation is small, the ratio of the motion-compensated special light image is increased, and when the correlation is large, the ratio of the motion-compensated white light image is increased. Becomes
  • FIG. 12 is a flowchart illustrating image processing by the information processing device 13 according to the third embodiment of the present disclosure. Steps S1 to S4 are the same as in FIG.
  • step S21 the correction unit 1315 performs motion compensation for the special light image based on the special light motion vector.
  • step S22 the correction unit 1315 performs motion compensation of the white light image based on the white light motion vector.
  • step S23 the correction unit 1315 weights and adds the motion-compensated special light image and the motion-compensated white light image in accordance with the degree of correlation to generate a third image.
  • step S24 the correction unit 1315 corrects the special light image based on the third image (NR processing or the like).
  • step S8 the display control unit 1316 controls the display device 14 to display the corrected special light image (NR processing or the like) on the display device 14.
  • NR processing or the like the corrected special light image
  • the third light source is calculated by weighting and adding the motion-compensated special light image and the motion-compensated white light image.
  • the first image to be corrected (NR processing or the like) is a special light image
  • the other second image is a white light image
  • the first image to be corrected (NR processing or the like) is a white light image
  • the other second image is a special light image.
  • the white light image can be corrected using not only the white light motion vector but also the special light motion vector. It is useful when the special light image can more accurately recognize the motion vector than the white light image depending on the type of the imaging target 2 and the usage environment of the medical system 1.
  • the combination of the first image to be corrected (NR processing or the like) and the other second image is a special light image and a white light image.
  • two special lights obtained by irradiating two special lights having different wavelength bands and photographing a combination of a first image to be corrected (NR processing or the like) and the other second image are used. Make an image.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be applied to an endoscopic surgery system.
  • FIG. 13 is a diagram illustrating an example of a schematic configuration of an endoscopic surgery system 5000 to which the technology according to the present disclosure may be applied.
  • FIG. 13 shows a state in which an operator (doctor) 5067 is performing an operation on a patient 5071 on a patient bed 5069 using the endoscopic surgery system 5000.
  • an endoscope surgery system 5000 includes an endoscope 5001, another surgical instrument 5017, a support arm device 5027 for supporting the endoscope 5001, and various devices for endoscopic surgery. And a cart 5037 on which is mounted.
  • trocars 5025a to 5025d are punctured into the abdominal wall.
  • the lens barrel 5003 of the endoscope 5001 and other surgical tools 5017 are inserted into the body cavity of the patient 5071 from the trocars 5025a to 5025d.
  • an insufflation tube 5019, an energy treatment tool 5021, and forceps 5023 are inserted into the body cavity of the patient 5071 as other surgical tools 5017.
  • the energy treatment device 5021 is a treatment device that performs incision and exfoliation of tissue, sealing of blood vessels, and the like by using high-frequency current and ultrasonic vibration.
  • the illustrated surgical tool 5017 is merely an example, and various surgical tools generally used in endoscopic surgery, such as a set, a retractor, and the like, may be used as the surgical tool 5017.
  • the image of the operative site in the body cavity of the patient 5071 captured by the endoscope 5001 is displayed on the display device 5041.
  • the operator 5067 performs a procedure such as excision of an affected part using the energy treatment tool 5021 and the forceps 5023 while viewing the image of the operated part displayed on the display device 5041 in real time.
  • the insufflation tube 5019, the energy treatment tool 5021, and the forceps 5023 are supported by an operator 5067, an assistant, or the like during the operation.
  • the support arm device 5027 includes an arm portion 5031 extending from the base portion 5029.
  • the arm unit 5031 includes joints 5033a, 5033b, 5033c, and links 5035a, 5035b, and is driven by the control of the arm control device 5045.
  • the endoscope 5001 is supported by the arm unit 5031, and its position and posture are controlled. Thus, stable fixing of the position of the endoscope 5001 can be realized.
  • the endoscope 5001 includes a lens barrel 5003 whose predetermined length is inserted into the body cavity of the patient 5071 from the distal end, and a camera head 5005 connected to the proximal end of the lens barrel 5003.
  • the endoscope 5001 configured as a so-called rigid endoscope having a hard lens barrel 5003 is illustrated.
  • the endoscope 5001 is configured as a so-called flexible endoscope having a soft lens barrel 5003. Is also good.
  • An opening in which the objective lens is fitted is provided at the tip of the lens barrel 5003.
  • a light source device 5043 is connected to the endoscope 5001, and light generated by the light source device 5043 is guided to a tip of the lens barrel by a light guide extending inside the lens barrel 5003, and an objective is provided. The light is radiated toward the observation target in the body cavity of the patient 5071 via the lens.
  • the endoscope 5001 may be a direct view, a perspective view, or a side view.
  • An optical system and an image sensor are provided inside the camera head 5005, and the reflected light (observation light) from the observation target is focused on the image sensor by the optical system.
  • the observation light is photoelectrically converted by the imaging element, and an electric signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted to a camera control unit (CCU) 5039 as RAW data.
  • the camera head 5005 has a function of adjusting the magnification and the focal length by appropriately driving the optical system.
  • the camera head 5005 may be provided with a plurality of image sensors in order to support, for example, stereoscopic viewing (3D display).
  • a plurality of relay optical systems are provided inside the lens barrel 5003 to guide observation light to each of the plurality of imaging elements.
  • the CCU 5039 is configured by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and controls the operations of the endoscope 5001 and the display device 5041 in an integrated manner. Specifically, the CCU 5039 performs various image processing for displaying an image based on the image signal, such as a development process (demosaicing process), on the image signal received from the camera head 5005. The CCU 5039 provides the image signal subjected to the image processing to the display device 5041. Also, the CCU 5039 transmits a control signal to the camera head 5005, and controls its driving. The control signal may include information on imaging conditions such as a magnification and a focal length.
  • the control signal may include information on imaging conditions such as a magnification and a focal length.
  • the display device 5041 displays an image based on an image signal on which image processing has been performed by the CCU 5039 under the control of the CCU 5039.
  • the endoscope 5001 is compatible with high-resolution imaging such as 4K (3840 horizontal pixels ⁇ 2160 vertical pixels) or 8K (7680 horizontal pixels ⁇ 4320 vertical pixels), and / or 3D display
  • a device capable of displaying high resolution and / or a device capable of 3D display may be used as the display device 5041.
  • the use of a display device 5041 having a size of 55 inches or more can provide a more immersive feeling.
  • a plurality of display devices 5041 having different resolutions and sizes may be provided depending on applications.
  • the light source device 5043 is configured by a light source such as an LED (Light Emitting Diode), and supplies the endoscope 5001 with irradiation light at the time of imaging the operation site.
  • a light source such as an LED (Light Emitting Diode)
  • the arm control device 5045 is configured by a processor such as a CPU, for example, and operates according to a predetermined program to control the driving of the arm unit 5031 of the support arm device 5027 according to a predetermined control method.
  • the input device 5047 is an input interface to the endoscopic surgery system 5000.
  • the user can input various kinds of information and input instructions to the endoscopic surgery system 5000 via the input device 5047.
  • the user inputs, via the input device 5047, various types of information related to surgery, such as physical information of a patient and information about a surgical procedure.
  • the user issues an instruction via the input device 5047 to drive the arm unit 5031 or an instruction to change imaging conditions (such as the type of irradiation light, magnification, and focal length) of the endoscope 5001.
  • An instruction to drive the energy treatment tool 5021 is input.
  • the type of the input device 5047 is not limited, and the input device 5047 may be various known input devices.
  • the input device 5047 for example, a mouse, a keyboard, a touch panel, a switch, a foot switch 5057, and / or a lever can be applied.
  • the touch panel may be provided on a display surface of the display device 5041.
  • the input device 5047 is a device worn by a user, such as a glasses-type wearable device or an HMD (Head Mounted Display), and various inputs are performed according to a user's gesture or line of sight detected by these devices. Done.
  • the input device 5047 includes a camera capable of detecting the movement of the user, and performs various inputs in accordance with the user's gestures and eyes, which are detected from the video captured by the camera. Further, the input device 5047 includes a microphone capable of collecting the voice of the user, and various inputs are performed by voice via the microphone.
  • the input device 5047 is configured to be able to input various kinds of information in a non-contact manner, in particular, a user (for example, an operator 5067) belonging to a clean area can operate a device belonging to a dirty area in a non-contact manner. Becomes possible.
  • the user since the user can operate the device without releasing his / her hand from the surgical tool, the convenience for the user is improved.
  • the treatment instrument control device 5049 controls the driving of the energy treatment instrument 5021 for cauterizing, incising, sealing blood vessels, and the like.
  • the insufflation device 5051 is used to inflate the body cavity of the patient 5071 through the insufflation tube 5019 in order to secure the visual field by the endoscope 5001 and secure the working space of the operator.
  • the recorder 5053 is a device that can record various types of information related to surgery.
  • the printer 5055 is a device that can print various types of information on surgery in various formats such as text, images, and graphs.
  • the support arm device 5027 includes a base 5029 as a base, and an arm 5031 extending from the base 5029.
  • the arm portion 5031 includes a plurality of joint portions 5033a, 5033b, and 5033c, and a plurality of links 5035a and 5035b connected by the joint portions 5033b.
  • FIG. The configuration of the arm portion 5031 is simplified. Actually, the shapes, numbers and arrangements of the joints 5033a to 5033c and the links 5035a and 5035b, the directions of the rotation axes of the joints 5033a to 5033c, and the like are appropriately set so that the arm 5031 has a desired degree of freedom. obtain.
  • the arm portion 5031 can be preferably configured to have six or more degrees of freedom. Accordingly, since the endoscope 5001 can be freely moved within the movable range of the arm 5031, the lens barrel 5003 of the endoscope 5001 can be inserted into the body cavity of the patient 5071 from a desired direction. Will be possible.
  • the joints 5033a to 5033c are provided with actuators, and the joints 5033a to 5033c are configured to be rotatable around a predetermined rotation axis by driving the actuators.
  • the arm control device 5045 By controlling the drive of the actuator by the arm control device 5045, the rotation angles of the joints 5033a to 5033c are controlled, and the drive of the arm 5031 is controlled. Thereby, control of the position and orientation of the endoscope 5001 can be realized.
  • the arm control device 5045 can control the driving of the arm unit 5031 by various known control methods such as force control or position control.
  • the drive of the arm unit 5031 is appropriately controlled by the arm control device 5045 in accordance with the operation input, and The position and orientation of the endoscope 5001 may be controlled.
  • the endoscope 5001 at the distal end of the arm portion 5031 can be moved from an arbitrary position to an arbitrary position, and can be fixedly supported at the moved position.
  • the arm unit 5031 may be operated by a so-called master slave method. In this case, the arm unit 5031 can be remotely controlled by the user via the input device 5047 installed at a location away from the operating room.
  • the arm control device 5045 When the force control is applied, the arm control device 5045 receives the external force from the user and controls the actuators of the joints 5033a to 5033c so that the arm 5031 moves smoothly according to the external force. Driving, so-called power assist control may be performed.
  • the arm 5031 when the user moves the arm 5031 while directly touching the arm 5031, the arm 5031 can be moved with a relatively light force. Therefore, the endoscope 5001 can be moved more intuitively and with a simpler operation, and the convenience for the user can be improved.
  • the endoscope 5001 is supported by a doctor called a scopist.
  • the position of the endoscope 5001 can be fixed more reliably without manual operation, so that an image of the operation site can be stably obtained.
  • the operation can be performed smoothly.
  • the arm control device 5045 is not necessarily provided in the cart 5037. Further, the arm control device 5045 is not necessarily one device. For example, the arm control device 5045 may be provided in each of the joint portions 5033a to 5033c of the arm portion 5031 of the support arm device 5027, and the plurality of arm control devices 5045 cooperate with each other to drive the arm portion 5031. Control may be implemented.
  • the light source device 5043 supplies irradiation light to the endoscope 5001 when imaging an operation part.
  • the light source device 5043 includes, for example, a white light source including an LED, a laser light source, or a combination thereof.
  • a white light source including an LED, a laser light source, or a combination thereof.
  • the output intensity and output timing of each color can be controlled with high precision. Can be adjusted.
  • the laser light from each of the RGB laser light sources is irradiated to the observation target in a time-division manner, and the driving of the image pickup device of the camera head 5005 is controlled in synchronization with the irradiation timing, thereby supporting each of the RGB laser light sources. It is also possible to capture the image obtained in a time-division manner. According to this method, a color image can be obtained without providing a color filter in the image sensor.
  • the driving of the light source device 5043 may be controlled such that the intensity of light to be output is changed every predetermined time.
  • the driving of the image pickup device of the camera head 5005 in synchronization with the timing of the change of the light intensity to acquire an image in a time-division manner and synthesizing the image, a high dynamic image without a so-called blackout or whiteout is obtained. An image of the range can be generated.
  • the light source device 5043 may be configured to be able to supply light in a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of the absorption of light in the body tissue, by irradiating light in a narrower band than the irradiation light (ie, white light) at the time of normal observation, the surface of the mucous membrane is exposed.
  • a so-called narrow-band light observation (Narrow Band Imaging) for photographing a predetermined tissue such as a blood vessel with high contrast is performed.
  • fluorescence observation in which an image is obtained by fluorescence generated by irradiating excitation light may be performed.
  • a body tissue is irradiated with excitation light to observe the fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into the body tissue and Irradiation with excitation light corresponding to the fluorescence wavelength of the reagent to obtain a fluorescent image may be performed.
  • the light source device 5043 can be configured to be able to supply narrowband light and / or excitation light corresponding to such special light observation.
  • FIG. 14 is a block diagram illustrating an example of a functional configuration of the camera head 5005 and the CCU 5039 illustrated in FIG.
  • the camera head 5005 has, as its functions, a lens unit 5007, an imaging unit 5009, a driving unit 5011, a communication unit 5013, and a camera head control unit 5015.
  • the CCU 5039 has a communication unit 5059, an image processing unit 5061, and a control unit 5063 as its functions.
  • the camera head 5005 and the CCU 5039 are communicably connected by a transmission cable 5065.
  • the lens unit 5007 is an optical system provided at a connection with the lens barrel 5003. Observation light taken in from the tip of the lens barrel 5003 is guided to the camera head 5005 and enters the lens unit 5007.
  • the lens unit 5007 is configured by combining a plurality of lenses including a zoom lens and a focus lens. The optical characteristics of the lens unit 5007 are adjusted so that the observation light is condensed on the light receiving surface of the imaging element of the imaging unit 5009. Further, the zoom lens and the focus lens are configured such that their positions on the optical axis are movable for adjusting the magnification and the focus of the captured image.
  • the imaging unit 5009 is constituted by an imaging element, and is arranged at the subsequent stage of the lens unit 5007.
  • the observation light that has passed through the lens unit 5007 is collected on the light receiving surface of the image sensor, and an image signal corresponding to the observation image is generated by photoelectric conversion.
  • the image signal generated by the imaging unit 5009 is provided to the communication unit 5013.
  • CMOS Complementary Metal Oxide Semiconductor
  • the image pickup device an image pickup device capable of capturing a high-resolution image of, for example, 4K or more may be used.
  • the imaging device included in the imaging unit 5009 is configured to include a pair of imaging devices for acquiring right-eye and left-eye image signals corresponding to 3D display. By performing the 3D display, the operator 5067 can more accurately grasp the depth of the living tissue in the operative part. Note that, when the imaging unit 5009 is configured as a multi-plate system, a plurality of lens units 5007 are provided corresponding to each imaging device.
  • the imaging unit 5009 need not always be provided in the camera head 5005.
  • the imaging unit 5009 may be provided inside the lens barrel 5003 immediately after the objective lens.
  • the drive unit 5011 is configured by an actuator, and moves the zoom lens and the focus lens of the lens unit 5007 by a predetermined distance along the optical axis under the control of the camera head control unit 5015.
  • the magnification and the focus of the image captured by the imaging unit 5009 can be appropriately adjusted.
  • the communication unit 5013 is configured by a communication device for transmitting and receiving various information to and from the CCU 5039.
  • the communication unit 5013 transmits the image signal obtained from the imaging unit 5009 as RAW data to the CCU 5039 via the transmission cable 5065.
  • the image signal be transmitted by optical communication in order to display a captured image of the operation section with low latency.
  • the operator 5067 performs the operation while observing the state of the affected part with the captured image, so that a moving image of the operation part is displayed in real time as much as possible for safer and more reliable operation. Is required.
  • the communication unit 5013 is provided with a photoelectric conversion module that converts an electric signal into an optical signal.
  • the image signal is converted into an optical signal by the photoelectric conversion module, and then transmitted to the CCU 5039 via the transmission cable 5065.
  • the communication unit 5013 receives a control signal for controlling driving of the camera head 5005 from the CCU 5039.
  • the control signal includes, for example, information indicating that the frame rate of the captured image is specified, information that specifies the exposure value at the time of imaging, and / or information that specifies the magnification and focus of the captured image. Contains information about the condition.
  • the communication unit 5013 provides the received control signal to the camera head control unit 5015.
  • the control signal from the CCU 5039 may also be transmitted by optical communication.
  • the communication unit 5013 is provided with a photoelectric conversion module that converts an optical signal into an electric signal.
  • the control signal is converted into an electric signal by the photoelectric conversion module, and is provided to the camera head control unit 5015.
  • the above-described imaging conditions such as the frame rate, the exposure value, the magnification, and the focus are automatically set by the control unit 5063 of the CCU 5039 based on the acquired image signal. That is, a so-called AE (Auto Exposure) function, an AF (Auto Focus) function, and an AWB (Auto White Balance) function are mounted on the endoscope 5001.
  • AE Auto Exposure
  • AF Automatic Focus
  • AWB Auto White Balance
  • the camera head control unit 5015 controls the driving of the camera head 5005 based on a control signal from the CCU 5039 received via the communication unit 5013. For example, the camera head control unit 5015 controls the driving of the imaging element of the imaging unit 5009 based on the information for specifying the frame rate of the captured image and / or the information for specifying the exposure at the time of imaging. In addition, for example, the camera head control unit 5015 appropriately moves the zoom lens and the focus lens of the lens unit 5007 via the driving unit 5011 based on information for designating the magnification and the focus of the captured image.
  • the camera head control unit 5015 may further have a function of storing information for identifying the lens barrel 5003 and the camera head 5005.
  • the camera head 5005 can have resistance to autoclave sterilization.
  • the communication unit 5059 is configured by a communication device for transmitting and receiving various information to and from the camera head 5005.
  • the communication unit 5059 receives an image signal transmitted from the camera head 5005 via the transmission cable 5065.
  • the image signal can be suitably transmitted by optical communication.
  • the communication unit 5059 is provided with a photoelectric conversion module that converts an optical signal into an electric signal in response to optical communication.
  • the communication unit 5059 provides the image signal converted to the electric signal to the image processing unit 5061.
  • the communication unit 5059 transmits a control signal for controlling the driving of the camera head 5005 to the camera head 5005.
  • the control signal may also be transmitted by optical communication.
  • the image processing unit 5061 performs various types of image processing on an image signal that is RAW data transmitted from the camera head 5005.
  • the image processing includes, for example, development processing, image quality improvement processing (band enhancement processing, super-resolution processing, NR (Noise Reduction) processing, and / or camera shake correction processing, etc.), and / or enlargement processing (electronic zoom processing). And various other known signal processing.
  • the image processing unit 5061 performs a detection process on the image signal for performing AE, AF, and AWB.
  • the image processing unit 5061 is configured by a processor such as a CPU and a GPU, and the above-described image processing and detection processing can be performed by the processor operating according to a predetermined program.
  • the image processing unit 5061 includes a plurality of GPUs, the image processing unit 5061 appropriately divides information related to the image signal and performs image processing in parallel by the plurality of GPUs.
  • the control unit 5063 performs various kinds of control relating to imaging of the operation site by the endoscope 5001 and display of the captured image. For example, the control unit 5063 generates a control signal for controlling driving of the camera head 5005. At this time, when the imaging condition is input by the user, the control unit 5063 generates a control signal based on the input by the user. Alternatively, when the endoscope 5001 has an AE function, an AF function, and an AWB function, the control unit 5063 controls the optimal exposure value, the focal length, and the distance in accordance with the result of the detection processing performed by the image processing unit 5061. The white balance is appropriately calculated and a control signal is generated.
  • the control unit 5063 causes the display device 5041 to display an image of the operative site based on the image signal on which the image processing is performed by the image processing unit 5061. At this time, the control unit 5063 recognizes various objects in the operative image using various image recognition techniques. For example, the control unit 5063 detects a surgical tool such as forceps, a specific living body site, bleeding, a mist when using the energy treatment tool 5021, and the like by detecting the shape, color, and the like of the edge of the object included in the surgical image. Can be recognized. When displaying the image of the surgical site on the display device 5041, the control unit 5063 superimposes and displays various types of surgery support information on the image of the surgical site using the recognition result. By superimposing the operation support information and presenting it to the operator 5067, the operation can be performed more safely and reliably.
  • a surgical tool such as forceps, a specific living body site, bleeding, a mist when using the energy treatment tool 5021, and the like.
  • the control unit 5063
  • the transmission cable 5065 that connects the camera head 5005 and the CCU 5039 is an electric signal cable corresponding to electric signal communication, an optical fiber corresponding to optical communication, or a composite cable thereof.
  • the communication is performed by wire using the transmission cable 5065, but the communication between the camera head 5005 and the CCU 5039 may be performed wirelessly.
  • the transmission cable 5065 does not need to be laid in the operating room, so that a situation in which the movement of the medical staff in the operating room is hindered by the transmission cable 5065 can be solved.
  • the endoscopic surgery system 5000 As described above, an example of the endoscopic surgery system 5000 to which the technology according to the present disclosure can be applied has been described.
  • the endoscopic surgery system 5000 has been described as an example, but the system to which the technology according to the present disclosure can be applied is not limited to such an example.
  • the technology according to the present disclosure may be applied to an inspection flexible endoscopic surgery system or a microscopic surgery system described in Application Example 2 below.
  • the technology according to the present disclosure can be suitably applied to the endoscope 5001 among the configurations described above.
  • the technique according to the present disclosure can be applied to a case where an image of a surgical site in a body cavity of the patient 5071 captured by the endoscope 5001 is displayed on the display device 5041.
  • the special light image can be corrected with high accuracy (NR processing or the like) by appropriately using the respective motion vectors according to. Accordingly, the operator 5067 can view the image of the operative site corrected with high precision (NR processing or the like) on the display device 5041 in real time, and can perform the operation more safely.
  • the technology according to the present disclosure may be applied to a microsurgery system used for a so-called microsurgery performed while observing a microscopic part of a patient under magnification.
  • FIG. 15 is a diagram illustrating an example of a schematic configuration of a microsurgery system 5300 to which the technology according to the present disclosure can be applied.
  • the microsurgery system 5300 includes a microscope device 5301, a control device 5317, and a display device 5319.
  • the “user” means any medical staff using the microsurgery system 5300, such as an operator and an assistant.
  • the microscope apparatus 5301 includes a microscope section 5303 for magnifying and observing an observation target (operated part of a patient), an arm section 5309 supporting the microscope section 5303 at the distal end, and a base section 5315 supporting a base end of the arm section 5309. And
  • the microscope section 5303 includes a substantially cylindrical tubular section 5305, an imaging section (not shown) provided inside the tubular section 5305, and an operation section 5307 provided in a partial area on the outer periphery of the tubular section 5305.
  • the microscope unit 5303 is an electronic imaging microscope unit (a so-called video microscope unit) that electronically captures a captured image using the imaging unit.
  • a cover glass for protecting the internal imaging unit is provided on the opening surface at the lower end of the cylindrical portion 5305.
  • Light from the observation target (hereinafter, also referred to as observation light) passes through the cover glass and enters the imaging unit inside the cylindrical portion 5305.
  • a light source made of, for example, an LED (Light Emitting Diode) may be provided inside the cylindrical portion 5305. At the time of imaging, light is emitted from the light source to the observation target via the cover glass. You may.
  • the imaging unit includes an optical system that collects observation light, and an imaging device that receives the observation light collected by the optical system.
  • the optical system is configured by combining a plurality of lenses including a zoom lens and a focus lens, and the optical characteristics thereof are adjusted so that the observation light forms an image on the light receiving surface of the image sensor.
  • the imaging device receives the observation light and performs photoelectric conversion to generate a signal corresponding to the observation light, that is, an image signal corresponding to an observation image.
  • an imaging device having a Bayer array and capable of taking a color image is used.
  • the image sensor may be any of various known image sensors such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor.
  • the image signal generated by the image sensor is transmitted to the control device 5317 as RAW data.
  • the transmission of the image signal may be suitably performed by optical communication.
  • the surgeon performs the operation while observing the condition of the affected area with the captured image, so for a safer and more reliable operation, it is necessary that the moving image of the operating area be displayed in real time as much as possible. Because it can be done.
  • By transmitting an image signal by optical communication a captured image can be displayed with low latency.
  • the imaging unit may have a drive mechanism for moving the zoom lens and the focus lens of the optical system along the optical axis. By appropriately moving the zoom lens and the focus lens by the driving mechanism, the magnification of the captured image and the focal length during imaging can be adjusted.
  • the imaging unit may be equipped with various functions that can be generally provided in an electronic imaging type microscope unit, such as an AE (Auto Exposure) function and an AF (Auto Focus) function.
  • the imaging unit may be configured as a so-called single-panel imaging unit having one imaging element, or may be configured as a so-called multi-panel imaging unit having a plurality of imaging elements.
  • image signals corresponding to RGB may be generated by the respective image pickup devices, and a color image may be obtained by combining the image signals.
  • the imaging unit may be configured to include a pair of imaging elements for acquiring right-eye and left-eye image signals corresponding to stereoscopic viewing (3D display). By performing the 3D display, the surgeon can more accurately grasp the depth of the living tissue at the operation site.
  • a plurality of optical systems may be provided corresponding to each imaging device.
  • the operation unit 5307 is configured by, for example, a cross lever or a switch, and is an input unit that receives a user's operation input.
  • the user can input an instruction to change the magnification of the observation image and the focal length to the observation target via the operation unit 5307.
  • the magnification and the focal length can be adjusted by appropriately driving the zoom lens and the focus lens by the driving mechanism of the imaging unit according to the instruction.
  • the user can input an instruction to switch an operation mode (an all-free mode and a fixed mode described later) of the arm unit 5309 via the operation unit 5307.
  • the operation unit 5307 may be provided at a position where the user can easily operate with the finger while holding the tubular portion 5305 so that the user can operate the tubular portion 5305 while moving the tubular portion 5305. preferable.
  • the arm portion 5309 is configured by a plurality of links (first link 5313a to sixth link 5313f) being rotatably connected to each other by a plurality of joint portions (first joint portion 5311a to sixth joint portion 5311f). Is done.
  • the first joint portion 5311a has a substantially columnar shape, and its top end (lower end) is used to connect the upper end of the cylindrical portion 5305 of the microscope portion 5303 to a rotation axis (first axis) parallel to the central axis of the cylindrical portion 5305. O1) It is supported to be rotatable around.
  • the first joint 5311a can be configured such that the first axis O1 coincides with the optical axis of the imaging unit of the microscope unit 5303.
  • the first link 5313a fixedly supports the first joint 5311a at the distal end.
  • the first link 5313a is a rod-shaped member having a substantially L-shape, and one end of the first link 5313a extends in a direction orthogonal to the first axis O1, and the end of the one side is the first joint.
  • the first joint 5311a is connected to the upper end of the outer periphery of the portion 5311a so as to contact the upper end.
  • the second joint 5311b is connected to the other end of the first link 5313a on the other side of the substantially L-shaped base end.
  • the second joint portion 5311b has a substantially cylindrical shape, and supports the base end of the first link 5313a at its distal end so as to be rotatable around a rotation axis (second axis O2) orthogonal to the first axis O1. .
  • the distal end of the second link 5313b is fixedly connected to the proximal end of the second joint 5311b.
  • the second link 5313b is a rod-shaped member having a substantially L-shape.
  • One end of the second link 5313b extends in a direction orthogonal to the second axis O2, and the end of the one side is the base of the second joint 5311b. Fixedly connected to the end.
  • a third joint 5311c is connected to the other side of the substantially L-shaped base end of the second link 5313b.
  • the third joint 5311c has a substantially cylindrical shape, and the distal end of the third joint 5311c extends the base end of the second link 5313b around a rotation axis (third axis O3) orthogonal to the first axis O1 and the second axis O2. It is rotatably supported.
  • the distal end of the third link 5313c is fixedly connected to the proximal end of the third joint 5311c.
  • the third link 5313c is configured such that the distal end has a substantially cylindrical shape, and the proximal end of the third joint 5311c has a substantially same central axis at the distal end of the cylindrical shape. Fixedly connected.
  • the proximal end of the third link 5313c has a prismatic shape, and the fourth joint 5311d is connected to the end thereof.
  • the fourth joint 5311d has a substantially columnar shape, and supports the base end of the third link 5313c at its distal end so as to be rotatable around a rotation axis (a fourth axis O4) orthogonal to the third axis O3. .
  • the distal end of the fourth link 5313d is fixedly connected to the proximal end of the fourth joint 5311d.
  • the fourth link 5313d is a rod-shaped member that extends substantially linearly.
  • the fourth link 5313d extends perpendicularly to the fourth axis O4, and the end of the fourth link 5313d contacts the substantially cylindrical side surface of the fourth joint 5311d. It is fixedly connected to the fourth joint 5311d so as to be in contact therewith.
  • the fifth joint 5311e is connected to the base end of the fourth link 5313d.
  • the fifth joint 5311e has a substantially columnar shape, and supports the base end of the fourth link 5313d at its distal end so as to be rotatable around a rotation axis (fifth axis O5) parallel to the fourth axis O4. I do.
  • the distal end of the fifth link 5313e is fixedly connected to the proximal end of the fifth joint 5311e.
  • the fourth axis O4 and the fifth axis O5 are rotation axes that can move the microscope unit 5303 in the vertical direction.
  • the height of the microscope section 5303 that is, the distance between the microscope section 5303 and the observation target can be adjusted by rotating the configuration of the distal end including the microscope section 5303 around the fourth axis O4 and the fifth axis O5. .
  • the fifth link 5313e includes a first member having a substantially L-shape in which one side extends in the vertical direction and the other side extends in the horizontal direction, and a vertically downward portion extending from a portion of the first member extending in the horizontal direction. And a second rod-shaped member that extends.
  • the base end of the fifth joint 5311e is fixedly connected to the vicinity of the upper end of the vertically extending portion of the first member of the fifth link 5313e.
  • the sixth joint 5311f is connected to the proximal end (lower end) of the second member of the fifth link 5313e.
  • the sixth joint 5311f has a substantially columnar shape, and supports the base end of the fifth link 5313e at its distal end so as to be rotatable around a rotation axis (sixth axis O6) parallel to the vertical direction.
  • the distal end of the sixth link 5313f is fixedly connected to the proximal end of the sixth joint 5311f.
  • the sixth link 5313f is a rod-shaped member extending in the vertical direction, and its base end is fixedly connected to the upper surface of the base portion 5315.
  • the rotatable range of the first joint portion 5311a to the sixth joint portion 5311f is appropriately set so that the microscope portion 5303 can perform a desired movement.
  • the movement of the microscope unit 5303 can be realized with a total of six degrees of freedom including three translational degrees of freedom and three rotational degrees of freedom.
  • the position and orientation of the microscope unit 5303 can be freely controlled within the movable range of the arm unit 5309. Will be possible. Therefore, it is possible to observe the operation site from all angles, and the operation can be performed more smoothly.
  • the configuration of the illustrated arm portion 5309 is merely an example, and the number and shape (length) of the links constituting the arm portion 5309, the number of joints, the arrangement position, the direction of the rotation axis, and the like are freely determined.
  • the degree may be appropriately designed so that the degree can be realized.
  • the arm section 5309 in order to freely move the microscope section 5303, the arm section 5309 is preferably configured to have 6 degrees of freedom, but the arm section 5309 has a larger degree of freedom (that is, redundant freedom). Degree).
  • the posture of the arm 5309 can be changed in the arm 5309 with the position and posture of the microscope 5303 fixed. Therefore, control with higher convenience for the operator can be realized, for example, by controlling the posture of the arm 5309 so that the arm 5309 does not interfere with the field of view of the operator looking at the display device 5319.
  • the first joint portion 5311a to the sixth joint portion 5311f may be provided with a drive mechanism such as a motor and an actuator mounted with an encoder for detecting a rotation angle of each joint.
  • a drive mechanism such as a motor and an actuator mounted with an encoder for detecting a rotation angle of each joint.
  • the control device 5317 controls the driving of each actuator provided in the first joint portion 5311a to the sixth joint portion 5311f by the control device 5317 as appropriate, the posture of the arm portion 5309, that is, the position and posture of the microscope portion 5303 can be controlled.
  • the control device 5317 grasps the current posture of the arm unit 5309 and the current position and posture of the microscope unit 5303 based on the information on the rotation angle of each joint detected by the encoder. Can be.
  • the control device 5317 calculates a control value (for example, a rotation angle or a generated torque) for each joint that realizes the movement of the microscope unit 5303 in accordance with an operation input from the user, using the obtained information. Then, the drive mechanism of each joint is driven according to the control value.
  • a control value for example, a rotation angle or a generated torque
  • the control method of the arm unit 5309 by the control device 5317 is not limited, and various known control methods such as force control or position control may be applied.
  • the driving of the arm unit 5309 is appropriately controlled by the control device 5317 according to the operation input, and the position and orientation of the microscope unit 5303 are controlled. May be. With this control, after the microscope portion 5303 is moved from an arbitrary position to an arbitrary position, the microscope portion 5303 can be fixedly supported at the moved position.
  • the input device in consideration of the convenience of the operator, it is preferable that a device such as a foot switch that can be operated even if the operator has the surgical tool in his hand is applied. Further, an operation input may be performed in a non-contact manner based on gesture detection or gaze detection using a wearable device or a camera provided in an operating room.
  • the arm 5309 may be operated in a so-called master slave system.
  • the arm unit 5309 can be remotely operated by the user via an input device installed at a location away from the operating room.
  • the actuator of the first joint portion 5311a to the sixth joint portion 5311f is driven such that the arm portion 5309 moves smoothly following the external force from the user. That is, so-called power assist control may be performed.
  • This allows the user to move the microscope section 5303 with a relatively light force when the user grips the microscope section 5303 and attempts to move the position directly. Therefore, the microscope unit 5303 can be moved more intuitively and with a simpler operation, and user convenience can be improved.
  • the driving of the arm 5309 may be controlled so as to perform a pivot operation.
  • the pivot operation is an operation of moving the microscope unit 5303 so that the optical axis of the microscope unit 5303 always faces a predetermined point in space (hereinafter, referred to as a pivot point). According to the pivoting operation, the same observation position can be observed from various directions, so that more detailed observation of the affected part is possible.
  • the microscope section 5303 is configured such that its focal length cannot be adjusted, it is preferable that the pivot operation is performed in a state where the distance between the microscope section 5303 and the pivot point is fixed. In this case, the distance between the microscope section 5303 and the pivot point may be adjusted to a fixed focal length of the microscope section 5303.
  • the microscope unit 5303 moves on a hemisphere (shown schematically in FIG. 15) having a radius corresponding to the focal length centered on the pivot point, and is sharp even when the observation direction is changed. A captured image is obtained.
  • the microscope section 5303 is configured to be able to adjust the focal length
  • the pivot operation may be performed in a state where the distance between the microscope section 5303 and the pivot point is variable.
  • the control device 5317 calculates the distance between the microscope unit 5303 and the pivot point based on the information on the rotation angle of each joint detected by the encoder, and calculates the microscope based on the calculation result.
  • the focal length of the unit 5303 may be automatically adjusted.
  • the microscope section 5303 is provided with an AF function
  • the focal length may be automatically adjusted by the AF function each time the distance between the microscope section 5303 and the pivot point changes due to the pivot operation. .
  • the first joint portion 5311a to the sixth joint portion 5311f may be provided with a brake for restraining the rotation.
  • the operation of the brake can be controlled by the control device 5317.
  • the control device 5317 operates the brake of each joint.
  • the posture of the arm unit 5309 that is, the position and posture of the microscope unit 5303 can be fixed without driving the actuator, so that power consumption can be reduced.
  • the control device 5317 releases the brake of each joint, and drives the actuator according to a predetermined control method.
  • the operation of such a brake can be performed according to an operation input by the user via the operation unit 5307 described above.
  • the user wants to move the position and posture of the microscope unit 5303, he operates the operation unit 5307 to release the brake of each joint.
  • the operation mode of the arm 5309 shifts to a mode in which the rotation of each joint can be freely performed (all free mode).
  • the user wants to fix the position and posture of the microscope unit 5303, the user operates the operation unit 5307 to operate the brake of each joint.
  • the operation mode of the arm 5309 shifts to a mode in which rotation of each joint is restricted (fixed mode).
  • the control device 5317 controls the operations of the microscope operation system 5300 overall by controlling the operations of the microscope device 5301 and the display device 5319.
  • the control device 5317 controls the driving of the arm unit 5309 by operating the actuators of the first joint unit 5311a to the sixth joint unit 5311f according to a predetermined control method.
  • the control device 5317 changes the operation mode of the arm unit 5309 by controlling the operation of the brake of the first joint unit 5311a to the sixth joint unit 5311f.
  • the control device 5317 performs various signal processing on the image signal acquired by the imaging unit of the microscope unit 5303 of the microscope device 5301 to generate image data for display and display the image data. It is displayed on the device 5319.
  • signal processing for example, development processing (demosaic processing), image quality enhancement processing (band enhancement processing, super-resolution processing, NR (Noise reduction) processing and / or camera shake correction processing, etc.) and / or enlargement processing (ie, Various known signal processing such as electronic zoom processing) may be performed.
  • the communication between the control device 5317 and the microscope unit 5303 and the communication between the control device 5317 and the first to sixth joints 5311a to 5311f may be wire communication or wireless communication.
  • wired communication communication using an electric signal may be performed, or optical communication may be performed.
  • the transmission cable used for the wired communication may be configured as an electric signal cable, an optical fiber, or a composite cable thereof according to the communication system.
  • wireless communication there is no need to lay a transmission cable in the operating room, so that a situation in which the transmission cable prevents the medical staff from moving in the operating room can be solved.
  • the control device 5317 may be a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit), or a microcomputer or a control board on which a storage element such as a processor and a memory is mounted.
  • a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit), or a microcomputer or a control board on which a storage element such as a processor and a memory is mounted.
  • Various functions described above can be realized by the processor of control device 5317 operating according to a predetermined program.
  • the control device 5317 is provided as a device separate from the microscope device 5301. However, the control device 5317 is installed inside the base portion 5315 of the microscope device 5301 and is integrated with the microscope device 5301. May be configured. Alternatively, control device 5317 may be configured by a plurality of devices.
  • a microcomputer, a control board, and the like are provided in the microscope section 5303 and the first to sixth joint sections 5311a to 5311f of the arm section 5309, respectively, and these are connected to each other so that they can communicate with each other.
  • a similar function may be realized.
  • the display device 5319 is provided in the operating room, and displays an image corresponding to the image data generated by the control device 5317 under the control of the control device 5317. That is, the display device 5319 displays an image of the operative site captured by the microscope unit 5303.
  • the display device 5319 may display various types of information related to surgery, such as, for example, patient's physical information and information about a surgical procedure, instead of or together with the image of the surgical site. In this case, the display on the display device 5319 may be appropriately switched by an operation by the user.
  • a plurality of display devices 5319 may be provided, and an image of a surgical site or various information related to surgery may be displayed on each of the plurality of display devices 5319.
  • various known display devices such as a liquid crystal display device or an EL (Electro Luminescence) display device may be applied.
  • FIG. 16 is a diagram showing a state of an operation using the microscopic operation system 5300 shown in FIG.
  • FIG. 16 schematically illustrates a situation where an operator 5321 is performing an operation on a patient 5325 on a patient bed 5323 using the microsurgery system 5300.
  • the control device 5317 is not shown in the configuration of the microsurgery system 5300, and the microscope device 5301 is shown in a simplified manner.
  • CAs shown in FIG. 2C at the time of surgery, an image of the operative site photographed by the microscope device 5301 is enlarged and displayed on the display device 5319 installed on the wall of the operating room using the microscopic surgery system 5300.
  • the display device 5319 is provided at a position opposed to the operator 5321.
  • the operator 5321 observes the state of the operation site using the image projected on the display device 5319, and performs, for example, resection of the affected site or the like. Perform various treatments.
  • the microscope device 5301 can also function as a support arm device that supports another observation device or another surgical tool at the tip instead of the microscope unit 5303.
  • an endoscope may be applied as the other observation device.
  • forceps, forceps, a pneumoperitoneum tube for pneumoperitoneum, an energy treatment tool that cuts tissue or seals a blood vessel by cauterization, or the like can be applied as the other surgical tool.
  • the technology according to the present disclosure may be applied to a support arm device that supports a configuration other than such a microscope unit.
  • the technology according to the present disclosure can be suitably applied to the control device 5317 among the configurations described above. Specifically, the technology according to the present disclosure can be applied to a case where an image of the operative site of the patient 5325 captured by the imaging unit of the microscope unit 5303 is displayed on the display device 5319.
  • the technology according to the present disclosure can be applied to the control device 5317, even if the motion reflected in the special light image and the motion reflected in the white light image are different, the degree of correlation between the motion vectors of the two images can be improved.
  • the special light image can be corrected with high accuracy (NR processing, etc.).
  • the operator 5321 can view the image of the operative site corrected with high accuracy (NR processing or the like) on the display device 5319 in real time, and can perform the operation more safely.
  • the present technology can also have the following configurations.
  • Irradiating means for irradiating the imaging target with electromagnetic waves Imaging means for imaging a reflected wave from the imaging target irradiated with the electromagnetic wave, Acquiring means for acquiring a first image based on a first wavelength band from the imaging means, and acquiring a second image based on a second wavelength band different from the first wavelength band;
  • First motion estimating means for calculating a first motion vector that is a motion vector between a plurality of the first images based on a feature amount in the first image;
  • a second motion estimator configured to calculate a second motion vector that is a motion vector between the plurality of second images based on a feature amount in the second image;
  • Correlation degree calculating means for calculating a degree of correlation between the first motion vector and the second motion vector;
  • a correction unit configured to correct the first image based on the degree of correlation.
  • a first image based on a first wavelength band is obtained from an imaging unit that captures a reflected wave from an imaging target irradiated with electromagnetic waves, and a first image based on a second wavelength band different from the first wavelength band is obtained.
  • Acquisition means for acquiring the second image; First motion estimating means for calculating a first motion vector that is a motion vector between a plurality of the first images based on a feature amount in the first image; A second motion estimator configured to calculate a second motion vector that is a motion vector between the plurality of second images based on a feature amount in the second image; Correlation degree calculating means for calculating a degree of correlation between the first motion vector and the second motion vector; An information processing apparatus comprising: a correction unit configured to correct the first image based on the degree of correlation.
  • the correction means When the degree of correlation is equal to or greater than a predetermined threshold, the first image is corrected based on the second motion vector;
  • the information processing device according to (3), wherein the first image is corrected based on the first motion vector when the degree of correlation is less than a predetermined threshold.
  • the correction means The third motion vector is calculated by weighting and adding the first motion vector and the second motion vector in accordance with the degree of correlation, and the first image is corrected based on the third motion vector. , (3).
  • the correction means Performing motion compensation on the first image based on the first motion vector; Performing motion compensation of the second image based on the second motion vector; In accordance with the degree of correlation, the motion-compensated first image and the motion-compensated second image are weighted and added to generate a third image, and the first image is generated based on the third image.
  • the information processing device according to (3), wherein the image is corrected.
  • the correlation degree calculating means The information processing apparatus according to any one of (3) to (6), wherein a correlation coefficient between the first motion vector and the second motion vector is calculated as the correlation degree.
  • the correlation degree calculating means The information processing apparatus according to any one of (3) to (6), wherein a sum of absolute values of a difference between the first motion vector and the second motion vector is calculated as the correlation degree.
  • the correlation degree calculating means The information processing apparatus according to any one of (3) to (6), wherein a sum of squares of a difference between the first motion vector and the second motion vector is calculated as the correlation degree.
  • amendment means performs the noise reduction process which reduces the noise of the said 1st image as a process which corrects the said 1st image based on the said degree of correlation, any one of (3) to (9).
  • Information processing device The correlation degree calculating means, The information processing apparatus according to any one of (3) to (6), wherein a sum of absolute values of a difference between the first motion vector and the second motion vector is calculated as the correlation degree.
  • An acquiring step of acquiring the second image A first motion estimating step of calculating a first motion vector that is a motion vector between a plurality of the first images based on a feature amount in the first image; A second motion estimating step of calculating a second motion vector, which is a motion vector between the plurality of second images, based on the feature amount in the second image; A correlation degree calculating step of calculating a degree of correlation between the first motion vector and the second motion vector; A correction step of correcting the first image based on the degree of correlation.
  • the processing for correcting the special light image performed by the correction unit 1315 mainly the NR processing has been described. It may be processing.
  • the element for determining how to use two motion vectors is only the correlation degree, but is not limited to this, and other elements may be used in combination.
  • the scene and the degree of using the white light motion vector may be increased as the use environment of the medical system 1 becomes brighter.
  • the noise amount of the special light image or the noise amount of the white light image which is known from the signal amplification factors of the IR imager and the RGB imager may be added.
  • NR processing in the spatial direction may be used in addition to NR processing in the time direction.
  • the images used are not limited to two images (special light image and white light image, etc.), and may be three or more images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

医療システム（１）は、撮像対象に電磁波を照射する照射手段（１１）と、電磁波が照射された撮像対象からの反射波を撮像する撮像手段（１２）と、撮像手段（１２）から、第１の波長帯域に基く第１の画像を取得し、第１の波長帯域とは異なる第２の波長帯域に基く第２の画像を取得する取得手段（１３１１）と、第１の画像における特徴量に基いて、複数の第１の画像の間の動きベクトルである第１の動きベクトルを算出する第１の動き推定手段（１３１２）と、第２の画像における特徴量に基いて、複数の第２の画像の間の動きベクトルである第２の動きベクトルを算出する第２の動き推定手段（１３１３）と、第１の動きベクトルと第２の動きベクトルの相関度を算出する相関度算出手段（１３１４）と、相関度に基き、第１の画像を補正する補正手段（１３１５）と、を備える。

Description

医療システム、情報処理装置及び情報処理方法
　本開示は、医療システム、情報処理装置及び情報処理方法に関する。
　医療分野において、生体に特定の波長帯域を有する特殊光（例えば近赤外光）を照射して撮影した特殊光画像を医師等が見ることで病変部等を視認する場合がある。しかし、白色光よりも波長帯域が狭い特殊光で撮影した特殊光画像は、一般に白色光画像よりも暗いので、ノイズよる影響が相対的に大きくなる。そのため、特殊光画像では、例えば生体の深部の微弱な蛍光がノイズに埋もれて見えなくなってしまう場合等がある。
　したがって、特殊光画像に対して、ノイズリダクション処理（以下、「ＮＲ処理」ともいう。）が必要となる。また、特殊光画像中で生体が体動や拍動などによって動くとき、ＮＲ処理のために動き推定を行う必要がある。そのために、例えば、特殊光画像と同時に白色光画像も撮影し、白色光画像を用いて動き推定を行う方法がある。この方法は、特殊光画像に映っている動きと白色光画像に映っている動きが同じ場合には有効である。
特許第５６０３６７６号公報
　しかしながら、上述の方法で特殊光画像のＮＲ処理を行うと、特殊光画像に映っている動きと白色光画像に映っている動きが異なっている場合、特殊光画像の画質劣化が発生してしまう。
　このように、波長帯域の異なる２つの電磁波を用いて撮影された２つの画像がある場合に、一方の画像の動きベクトルを用いて、他方の画像を補正（ＮＲ処理等）する場合があったが、精度の点で改良の余地があった。
　そこで、本開示では、波長帯域の異なる２つの電磁波を用いて撮影された２つの画像のそれぞれの動きベクトルに基いて、一方の画像を高精度に補正することができる医療システム、情報処理装置及び情報処理方法を提案する。
　上記の課題を解決するために、本開示に係る一形態の医療システムは、撮像対象に電磁波を照射する照射手段と、前記電磁波が照射された前記撮像対象からの反射波を撮像する撮像手段と、前記撮像手段から、第１の波長帯域に基く第１の画像を取得し、前記第１の波長帯域とは異なる第２の波長帯域に基く第２の画像を取得する取得手段と、前記第１の画像における特徴量に基いて、複数の前記第１の画像の間の動きベクトルである第１の動きベクトルを算出する第１の動き推定手段と、前記第２の画像における特徴量に基いて、複数の前記第２の画像の間の動きベクトルである第２の動きベクトルを算出する第２の動き推定手段と、前記第１の動きベクトルと前記第２の動きベクトルの相関度を算出する相関度算出手段と、前記相関度に基き、前記第１の画像を補正する補正手段と、を備える。
本開示の第１実施形態に係る医療システムの構成例を示す図である。 本開示の第１実施形態に係る情報処理装置の構成例を示す図である。 本開示の第１実施形態における特殊光と白色光の信号とノイズの大きさの関係を示す模式図である。 本開示の第１実施形態において撮像対象に特殊光と白色光を照射した場合の様子を示す模式図である。 本開示の第１実施形態におけるノイズリダクション処理の説明図である。 本開示の第１実施形態における白色光画像と特殊光画像の模式図である。 本開示の第１実施形態におけるケース１とケース２での動き相関の説明図である。 本開示の第１実施形態におけるノイズリダクション処理の説明図である。 本開示の第１実施形態に係る情報処理装置による画像処理を示すフローチャートである。 本開示の第２実施形態におけるαと相関度との関係を示すグラフである。 本開示の第２実施形態に係る情報処理装置による画像処理を示すフローチャートである。 本開示の第３実施形態に係る情報処理装置による画像処理を示すフローチャートである。 本開示の応用例１に係る内視鏡手術システムの概略的な構成の一例を示す図である。 図１３に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 本開示の応用例２に係る顕微鏡手術システムの概略的な構成の一例を示す図である。 図１５に示す顕微鏡手術システムを用いた手術の様子を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を適宜省略する。
（第１実施形態）
［第１実施形態に係る医療システムの構成］
　図１は、本開示の第１実施形態に係る医療システム１の構成例を示す図である。第１実施形態に係る医療システム１は、大別して、光源１１（照射手段）、撮像装置１２（撮像手段）、情報処理装置１３を少なくとも備える。また、必要に応じて、表示装置１４等をさらに備えることも可能である。以下、各部について詳細に説明する。
（１）光源
　光源１１は、特定の波長帯域を有する特殊光を撮像対象２に照射する第１光源と、白色光を撮像対象２に照射する第２光源を含む。第１実施形態では、特殊光は、一例として近赤外光である。また、撮像対象２に対して、第１光源による特殊光と第２光源による白色光が同時に照射される。
（２）撮像対象
　撮像対象２は、様々なものでありえるが、例えば、生体である。例えば、本開示に係る医療システム１を顕微鏡手術や内視鏡手術などで用いることで、血管の位置を確認しながら手術を行うことが可能である。そのため、より安全で高精度な手術を行うことができ、医療技術の更なる発展にも寄与することができる。
（３）撮像装置
　撮像装置１２は、電磁波が照射された撮像対象２からの反射波を撮像する。撮像装置１２は、特殊光画像（第１の画像、近赤外光画像）を撮像する特殊光画像撮像部と、白色光画像（第２の画像）を撮像する白色光画像撮像部を含む。特殊光画像撮像部は、例えば、ＩＲ（Infrared）イメージャである。白色光画像撮像部は、例えば、ＲＧＢ（Red　Green　Blue）イメージャである。その場合、撮像装置１２は、例えば、主な構成として、特殊光画像撮像部と白色光画像撮像部のほかに、ダイクロイックミラーを備える。
　上述のように、光源１１からは特殊光と白色光が照射される。ダイクロイックミラーは、受光した特殊光と白色光を分離する。特殊光画像撮像部は、ダイクロイックミラーによって分離された特殊光から得られる特殊光画像を撮像する。白色光画像撮像部は、ダイクロイックミラーによって分離された白色光から得られる白色光画像を撮像する。このような構成の撮像装置１２とすれば、特殊光画像と白色光画像を同時に取得することができる。なお、特殊光画像と白色光画像を別々の撮像装置によって撮像してもよい。
　（４）情報処理装置
　次に、図２を参照して、情報処理装置１３について説明する。図２は、本開示の第１実施形態に係る情報処理装置１３の構成例を示す図である。情報処理装置１３は、画像処理装置であり、主な構成として、処理部１３１と記憶部１３２を備える。
　処理部１３１は、例えば、ＣＰＵ（Central　Processing　Unit）により実現され、取得部１３１１（取得手段）、第１の動き推定部１３１２（第１の動き推定手段）、第２の動き推定部１３１３（第２の動き推定手段）、相関度算出部１３１４（相関度算出手段）、補正部１３１５（補正手段）、および、表示制御部１３１６を備える。
　取得部１３１１は、撮像装置１２から特殊光画像（第１の波長帯域に基く第１の画像）と白色光画像（第１の波長帯域とは異なる第２の波長帯域に基く第２の画像）を取得する。
　第１の動き推定部１３１２は、特殊光画像における特徴量に基いて、複数の特殊光画像の間の動きベクトルである特殊光動きベクトル（第１の動きベクトル）を算出する。第２の動き推定部１３１３は、白色光画像における特徴量に基いて、複数の白色光画像の間の動きベクトルである白色光動きベクトル（第２の動きベクトル）を算出する。
　第１の動き推定部１３１２と第２の動き推定部１３１３による動き推定の具体的な手法は、例えば、ブロック（テンプレート）マッチングや勾配法であればよいが、これらに限定されず、任意の手法を用いてよい。また、この動き推定は、画素ごとでもよいし、ブロックごとでもよい。
　相関度算出部１３１４は、特殊光動きベクトルと白色光動きベクトルの相関度を算出する。相関度算出部１３１４は、例えば、相関度として、特殊光動きベクトルと白色光動きベクトルの相関係数を算出する。
　また、相関度算出部１３１４は、相関度として、特殊光動きベクトルと白色光動きベクトルの差分の絶対値の和を算出してもよい。また、相関度算出部１３１４は、相関度として、特殊光動きベクトルと白色光動きベクトルの差分の二乗の和を算出してもよい。また、相関度の算出法はこれらに限定されず、相関（類似性）を評価できる任意の指標の算出法を用いてよい。
　補正部１３１５は、相関度算出部１３１４によって算出された特殊光動きベクトルと白色光動きベクトルの相関度に基き、特殊光画像を補正する。例えば、補正部１３１５は、相関度が所定の閾値以上の場合、白色光動きベクトルに基いて特殊光画像を補正し、相関度が所定の閾値未満の場合、特殊光動きベクトルに基いて特殊光画像を補正する。なお、相関度に関する所定の閾値は、予め記憶部１３２に記憶させておく。
　また、補正部１３１５は、相関度に基き、特殊光画像を補正する処理として、例えば、特殊光画像のノイズを低減させるノイズリダクション処理を行う。以下、図３～図８を参照してこのノイズリダクション処理について説明する。
　図３は、本開示の第１実施形態における特殊光と白色光の信号とノイズの大きさの関係を示す模式図である。図３に示すように、特殊光を用いて得られる信号は、白色光を用いて得られる信号と比較して、相対的にノイズに対して小さい。したがって、動き推定を行う場合、特殊光画像よりも白色光画像を用いたほうがよいと考えられる。ただし、それは、特殊光画像に映っている動きと白色光画像に映っている動きが同じであるという前提の元である。
　図４は、本開示の第１実施形態において撮像対象２に特殊光と白色光を照射した場合の様子を示す模式図である。ここで、撮像対象２の生体の組織にはＩＣＧ（Indocyanine　Green）蛍光によって発光している血管があるものとする。また、組織は膜（または脂肪等）で覆われているものとする。そして、特殊光は主に組織で反射し、白色光は主に膜で反射する場合がある。その場合、例えば、組織から膜を剥離させると、膜は動くが組織は動かないことがある。そのような場合に、白色光画像を用いて動き推定を行って、その動き推定結果を用いて特殊光画像のＮＲ処理を行うと、特殊光画像の画質劣化が発生してしまう。
　図５は、本開示の第１実施形態におけるノイズリダクション処理の説明図である。補正部１３１５は、例えば、過去画像（１フレーム前の画像）に対して動き補償を行った動き補償画像と入力画像（現在の画像）を用いて、ＮＲ処理を行うことができる。この動き補償を高精度で行うために、特殊光動きベクトルと白色光動きベクトルの相関度を用いる（詳細は後述）。
　図６は、本開示の第１実施形態における白色光画像と特殊光画像の模式図である。白色光画像と比較して、特殊光画像は全体的に暗いことがわかる。
　図７は、本開示の第１実施形態におけるケース１とケース２での動き相関の説明図である。図７の特殊光画像と白色光画像において、黒丸は、画素、または、ブロック（複数画素の集まり）である。以下、黒丸は画素であるものとする。
　ケース１において、特殊光画像の中心の画素についての相関度を算出する場合を考える。その場合、特殊光画像において矢印の付与されている画素は通常の動き推定が可能であるものとする。また、枠で囲まれた３×３の画素が暗い等の理由により動き推定不能であるとする。また、白色光画像においては、５×５の全画素の動き推定が可能となっている。その場合、相関度算出部１３１４は、動き推定が可能な部分の情報を用いて、特殊光動きベクトルと白色光動きベクトルの相関度を算出する。このケース１では、特殊光画像における動き推定が可能な部分と白色光画像における動き推定が可能な部分で動きが同じであるので、相関度（動き相関）は大きくなる。
　一方、ケース２では、特殊光画像における動き推定が可能な部分と白色光画像における動き推定が可能な部分で動きが異なるので、相関度（動き相関）は小さくなる。
　図８は、本開示の第１実施形態におけるノイズリダクション処理の説明図である。補正部１３１５は、まず、過去画像（１フレーム前の画像）に対して動き補償を行うが、このとき、例えば、相関度が所定の閾値以上の場合、白色光動きベクトルに基いて動き補償を行う。また、補正部１３１５は、相関度が所定の閾値未満の場合、特殊光動きベクトルに基いて動き補償を行う。これにより、高精度な動き補償を実現できる。
　また、補正部１３１５は、動き補償画像と入力画像（現在の画像）の加重平均を演算し、ＮＲ処理を行うことができる。動き補償が高精度なので、このＮＲ処理も高精度となる。なお、動き補償や加重平均は、例えば画素単位で行う。また、過去画像は１フレーム前の出力画像でもよいし、１フレーム前の入力画像でもよい。
　図２に戻って、表示制御部１３１６は、補正（ＮＲ処理等）した特殊光画像等を表示装置１４に表示させる制御を行う。
　記憶部１３２は、取得部１３１１によって取得された特殊光画像、白色光画像、処理部１３１の各部による演算結果、相関度の閾値等の各種情報を記憶する。なお、この記憶部１３２の代わりに、医療システム１の外部の記憶装置を用いてもよい。
　（５）表示装置
　表示装置１４は、表示制御部１３１６から制御されることによって、取得部１３１１によって取得された特殊光画像、白色光画像、処理部１３１の各部による演算結果、相関度の閾値等の各種情報を表示する。なお、この表示装置１４の代わりに、医療システム１の外部の表示装置を用いてもよい。
［第１実施形態に係るＳＣ画像生成処理］
　次に、図９を参照して、情報処理装置１３による画像処理について説明する。図９は、本開示の第１実施形態に係る情報処理装置１３による画像処理を示すフローチャートである。
　まず、ステップＳ１において、取得部１３１１は、撮像装置１２から特殊光画像と白色光画像を取得する。
　次に、ステップＳ２において、第１の動き推定部１３１２は、特殊光画像における特徴量に基いて特殊光動きベクトルを算出する。
　次に、ステップＳ３において、第２の動き推定部１３１３は、白色光画像における特徴量に基いて白色光動きベクトルを算出する。
　次に、ステップＳ４において、相関度算出部１３１４は、特殊光動きベクトルと白色光動きベクトルの相関度を算出する。
　次に、ステップＳ５において、補正部１３１５は、相関度が所定の閾値以上か否かを判定し、Ｙｅｓの場合はステップＳ６に進み、Ｎｏの場合はステップＳ７に進む。
　ステップＳ６において、補正部１３１５は、白色光動きベクトルに基いて特殊光画像を補正（ＮＲ処理等）する。
　ステップＳ７において、補正部１３１５は、特殊光動きベクトルに基いて特殊光画像を補正（ＮＲ処理等）する。
　ステップＳ６、ステップＳ７の後、ステップＳ８において、表示制御部１３１６は、補正（ＮＲ処理等）した特殊光画像を表示装置１４に表示させる制御を行う。
　このように、第１実施形態の情報処理装置１３によれば、波長帯域の異なる２つの電磁波を用いて撮影された２つの画像のそれぞれの動きベクトルに基いて、一方の画像を高精度に補正することができる。例えば、特殊光画像と白色光画像を用いる場合、両者の動きベクトルの相関度が大きければ白色光動きベクトルを用いて特殊光画像のＮＲ処理を行い、相関度が小さければ特殊光動きベクトルを用いて特殊光画像のＮＲ処理を行うことで、高精度なＮＲ処理を実現できる。
　例えば、脳神経外科手術や心臓外科手術などにおいて、手術時の血流観察のためにＩＣＧを用いた蛍光観察が一般的に行われている。これはＩＣＧが生体内で血漿蛋白と結合し、近赤外の励起光により蛍光を発する特徴を利用して、血管やリンパ管の走行を低侵襲に観察する手法である。その場合に、特殊光画像で観察している組織、血流、腫瘍の上に膜や脂肪などがあり、それらを剥離している最中などのように、特殊光画像で捉えられる動きと白色光画像で捉えられる動きとで相関が小さい場合においても、画質劣化を発生させることなく特殊光画像のＮＲ処理を施すことができる。そのため、ＮＲ処理を行った特殊光画像を医師が見て誤った判断を下す可能性が低下し、手術をより安全に行うことが可能となる。
（第２実施形態）
　次に、第２実施形態について説明する。第１実施形態と同様の事項については、説明を適宜省略する。第１実施形態では、補正部１３１５は、相関度が所定の閾値以上の場合、白色光動きベクトルに基いて特殊光画像を補正し、相関度が所定の閾値未満の場合、特殊光動きベクトルに基いて特殊光画像を補正した。第２実施形態では、補正部１３１５は、以下の式（１）の通り、相関度に応じて特殊光動きベクトル（ＭＶ１）と白色光動きベクトル（ＭＶ２）を重み付け加算して第３の動きベクトル（ＭＶ３）を算出し、第３の動きベクトル（ＭＶ３）に基いて特殊光画像を補正する。
　ＭＶ３＝（１－α）×ＭＶ１＋α×ＭＶ２　・・・式（１）
　ここで、図１０は、本開示の第２実施形態におけるαと相関度との関係を示すグラフである。相関度に応じた係数α（混合比率）を図１０に示すように設定しておく。図１０のグラフにおいて、縦軸はαの値、横軸は相関度である。このように、相関度が小さいときは特殊光動きベクトル（ＭＶ１）の比率を高くし、相関度が大きいときは白色光動きベクトル（ＭＶ２）の比率を高くすることで、第３の動きベクトル（ＭＶ３）が適正なものとなる。
　図１１は、本開示の第２実施形態に係る情報処理装置１３による画像処理を示すフローチャートである。ステップＳ１～Ｓ４は図９と同様である。
　ステップＳ４の後、ステップＳ１１において、補正部１３１５は、上述の式（１）の通り、相関度に応じて特殊光動きベクトル（ＭＶ１）と白色光動きベクトル（ＭＶ２）を重み付け加算して第３の動きベクトル（ＭＶ３）を算出する。
　次に、ステップＳ１２において、補正部１３１５は、第３の動きベクトル（ＭＶ３）に基いて特殊光画像を補正（ＮＲ処理等）する。
　次に、ステップＳ８において、表示制御部１３１６は、補正（ＮＲ処理等）した特殊光画像を表示装置１４に表示させる制御を行う。
　このように、第２実施形態の情報処理装置１３によれば、特殊光画像を補正するときに、特殊光動きベクトルと白色光動きベクトルのいずれか一方だけを使用するのではなく、相関度に応じて特殊光動きベクトルと白色光動きベクトルを重み付け加算して算出した第３の動きベクトルを使用することで、より高精度な補正を実現できる。
（第３実施形態）
　次に、第３実施形態について説明する。第１実施形態と同様の事項については、説明を適宜省略する。第３実施形態では、補正部１３１５は、特殊光動きベクトルに基いて特殊光画像の動き補償を行い、白色光動きベクトルに基いて白色光画像の動き補償を行い、相関度に応じて、動き補償された特殊光画像と動き補償された白色光画像を重み付け加算して第３の画像を生成し、第３の画像に基いて特殊光画像を補正する。この場合の重み付け加算の方法は、第２実施形態の式（１）を用いた重み付け加算の方法と同様である。つまり、相関度が小さいときは動き補償された特殊光画像の比率を高くし、相関度が大きいときは動き補償された白色光画像の比率を高くすることで、第３の画像が適正なものとなる。
　図１２は、本開示の第３実施形態に係る情報処理装置１３による画像処理を示すフローチャートである。ステップＳ１～Ｓ４は図９と同様である。
　ステップＳ４の後、ステップＳ２１において、補正部１３１５は、特殊光動きベクトルに基いて特殊光画像の動き補償を行う。
　次に、ステップＳ２２において、補正部１３１５は、白色光動きベクトルに基いて白色光画像の動き補償を行う。
　次に、ステップＳ２３において、補正部１３１５は、相関度に応じて、動き補償された特殊光画像と動き補償された白色光画像を重み付け加算して第３の画像を生成する。
　次に、ステップＳ２４において、補正部１３１５は、第３の画像に基いて特殊光画像を補正（ＮＲ処理等）する。
　次に、ステップＳ８において、表示制御部１３１６は、補正（ＮＲ処理等）した特殊光画像を表示装置１４に表示させる制御を行う。
　このように、第３実施形態の情報処理装置１３によれば、特殊光画像を補正するときに、動き補償された特殊光画像と動き補償された白色光画像を重み付け加算して算出した第３の画像を使用することで、より高精度な補正を実現できる。
（第４実施形態）
　第１実施形態～第３実施形態では、補正（ＮＲ処理等）を行う対象である第１の画像を特殊光画像とし、他方の第２の画像を白色光画像とした。第４実施形態では、補正（ＮＲ処理等）を行う対象である第１の画像を白色光画像とし、他方の第２の画像を特殊光画像とする。
　これにより、白色光画像の補正を、白色光動きベクトルだけでなく特殊光動きベクトルも併せて用いて実現することができる。撮像対象２の種類や医療システム１の使用環境等によって、白色光画像よりも特殊光画像のほうが動きベクトルをより的確に認識できる場合に、有益である。
（第５実施形態）
　第１実施形態～第４実施形態では、補正（ＮＲ処理等）を行う対象である第１の画像と他方の第２の画像の組み合わせを、特殊光画像と白色光画像とした。第５実施形態では、補正（ＮＲ処理等）を行う対象である第１の画像と他方の第２の画像の組み合わせを、波長帯域の異なる２つの特殊光を照射して撮影した２つの特殊光画像とする。
　これにより、任意の２つの特殊光画像のそれぞれの動きベクトルを用いて、一方の特殊光画像の補正を実現することができる。
（応用例１）
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
　図１３は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１３では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。
　内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
　内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。
（支持アーム装置）
　支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。
（内視鏡）
　内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera　Control　Unit）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
　なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
（カートに搭載される各種の装置）
　ＣＣＵ５０３９は、ＣＰＵ（Central　Processing　Unit）やＧＰＵ（Graphics　Processing　Unit）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
　表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。
　光源装置５０４３は、例えばＬＥＤ（Light　Emitting　Diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。
　アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。
　入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。
　入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。
　あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（HeadMounted　Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
　処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。
（支持アーム装置）
　支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図１３では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ～５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ～５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。
　関節部５０３３ａ～５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ～５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ～５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。
　例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。
　また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ～５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。
　ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
　なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ～５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。
（光源装置）
　光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
　また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow　Band　Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
（カメラヘッド及びＣＣＵ）
　図１４を参照して、内視鏡５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能についてより詳細に説明する。図１４は、図１３に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。
　図１４を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５と、を有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３と、を有する。カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。
　まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
　撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。
　撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary　MetalOxide　Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
　また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられる。
　また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。
　駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。
　通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。
　また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto　Exposure）機能、ＡＦ（Auto　Focus）機能及びＡＷＢ（Auto　WhiteBalance）機能が内視鏡５００１に搭載される。
　カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、更に、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を備えてもよい。
　なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
　次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。
　また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
　画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise　Reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
　画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
　制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５０６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
　また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
　カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図示する例では、伝送ケーブル５０６５を用いて有線で通信が行われていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。
　以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡手術システムや、以下に応用例２で説明する顕微鏡手術システムに適用されてもよい。
　本開示に係る技術は、以上説明した構成のうち、内視鏡５００１に好適に適用され得る。具体的には、内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像を表示装置５０４１に表示する場合に、本開示に係る技術を適用できる。内視鏡５００１に本開示に係る技術を適用することにより、特殊光画像に映っている動きと白色光画像に映っている動きが異なっている場合でも、両画像のそれぞれの動きベクトルの相関度に応じてそれぞれの動きベクトルを適切に用いることで、特殊光画像を高精度に補正（ＮＲ処理等）することができる。これにより、術者５０６７は、高精度に補正（ＮＲ処理等）された術部の画像を表示装置５０４１においてリアルタイムで見ることができ、手術をより安全に行うことができる。
（応用例２）
　また、本開示に係る技術は、患者の微細部位を拡大観察しながら行う、いわゆるマイクロサージェリーに用いられる顕微鏡手術システムに適用されてもよい。
　図１５は、本開示に係る技術が適用され得る顕微鏡手術システム５３００の概略的な構成の一例を示す図である。図１５を参照すると、顕微鏡手術システム５３００は、顕微鏡装置５３０１と、制御装置５３１７と、表示装置５３１９と、から構成される。なお、以下の顕微鏡手術システム５３００についての説明において、「ユーザ」とは、術者及び助手等、顕微鏡手術システム５３００を使用する任意の医療スタッフのことを意味する。
　顕微鏡装置５３０１は、観察対象（患者の術部）を拡大観察するための顕微鏡部５３０３と、顕微鏡部５３０３を先端で支持するアーム部５３０９と、アーム部５３０９の基端を支持するベース部５３１５と、を有する。
　顕微鏡部５３０３は、略円筒形状の筒状部５３０５と、当該筒状部５３０５の内部に設けられる撮像部（図示せず）と、筒状部５３０５の外周の一部領域に設けられる操作部５３０７と、から構成される。顕微鏡部５３０３は、撮像部によって電子的に撮像画像を撮像する、電子撮像式の顕微鏡部（いわゆるビデオ式の顕微鏡部）である。
　筒状部５３０５の下端の開口面には、内部の撮像部を保護するカバーガラスが設けられる。観察対象からの光（以下、観察光ともいう）は、当該カバーガラスを通過して、筒状部５３０５の内部の撮像部に入射する。なお、筒状部５３０５の内部には例えばＬＥＤ（Light　Emitting　Diode）等からなる光源が設けられてもよく、撮像時には、当該カバーガラスを介して、当該光源から観察対象に対して光が照射されてもよい。
　撮像部は、観察光を集光する光学系と、当該光学系が集光した観察光を受光する撮像素子と、から構成される。当該光学系は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。当該撮像素子としては、例えばＢａｙｅｒ配列を有するカラー撮影可能なものが用いられる。当該撮像素子は、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサ又はＣＣＤ（Charge　Coupled　Device）イメージセンサ等、各種の公知の撮像素子であってよい。撮像素子によって生成された画像信号は、ＲＡＷデータとして制御装置５３１７に送信される。ここで、この画像信号の送信は、好適に光通信によって行われてもよい。手術現場では、術者が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信で画像信号が送信されることにより、低レイテンシで撮像画像を表示することが可能となる。
　なお、撮像部は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有してもよい。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の拡大倍率及び撮像時の焦点距離が調整され得る。また、撮像部には、ＡＥ（Auto　Exposure）機能やＡＦ（Auto　Focus）機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載されてもよい。
　また、撮像部は、１つの撮像素子を有するいわゆる単板式の撮像部として構成されてもよいし、複数の撮像素子を有するいわゆる多板式の撮像部として構成されてもよい。撮像部が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、当該撮像部は、立体視（３Ｄ表示）に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、当該撮像部が多板式で構成される場合には、各撮像素子に対応して、光学系も複数系統が設けられ得る。
　操作部５３０７は、例えば十字レバー又はスイッチ等によって構成され、ユーザの操作入力を受け付ける入力手段である。例えば、ユーザは、操作部５３０７を介して、観察像の拡大倍率及び観察対象までの焦点距離を変更する旨の指示を入力することができる。当該指示に従って撮像部の駆動機構がズームレンズ及びフォーカスレンズを適宜移動させることにより、拡大倍率及び焦点距離が調整され得る。また、例えば、ユーザは、操作部５３０７を介して、アーム部５３０９の動作モード（後述するオールフリーモード及び固定モード）を切り替える旨の指示を入力することができる。なお、ユーザが顕微鏡部５３０３を移動させようとする場合には、当該ユーザは筒状部５３０５を握るように把持した状態で当該顕微鏡部５３０３を移動させる様態が想定される。従って、操作部５３０７は、ユーザが筒状部５３０５を移動させている間でも操作可能なように、ユーザが筒状部５３０５を握った状態で指によって容易に操作しやすい位置に設けられることが好ましい。
　アーム部５３０９は、複数のリンク（第１リンク５３１３ａ～第６リンク５３１３ｆ）が、複数の関節部（第１関節部５３１１ａ～第６関節部５３１１ｆ）によって互いに回動可能に連結されることによって構成される。
　第１関節部５３１１ａは、略円柱形状を有し、その先端（下端）で、顕微鏡部５３０３の筒状部５３０５の上端を、当該筒状部５３０５の中心軸と平行な回転軸（第１軸Ｏ１）まわりに回動可能に支持する。ここで、第１関節部５３１１ａは、第１軸Ｏ１が顕微鏡部５３０３の撮像部の光軸と一致するように構成され得る。これにより、第１軸Ｏ１まわりに顕微鏡部５３０３を回動させることにより、撮像画像を回転させるように視野を変更することが可能になる。
　第１リンク５３１３ａは、先端で第１関節部５３１１ａを固定的に支持する。具体的には、第１リンク５３１３ａは略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第１軸Ｏ１と直交する方向に延伸しつつ、当該一辺の端部が第１関節部５３１１ａの外周の上端部に当接するように、第１関節部５３１１ａに接続される。第１リンク５３１３ａの略Ｌ字形状の基端側の他辺の端部に第２関節部５３１１ｂが接続される。
　第２関節部５３１１ｂは、略円柱形状を有し、その先端で、第１リンク５３１３ａの基端を、第１軸Ｏ１と直交する回転軸（第２軸Ｏ２）まわりに回動可能に支持する。第２関節部５３１１ｂの基端には、第２リンク５３１３ｂの先端が固定的に接続される。
　第２リンク５３１３ｂは、略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第２軸Ｏ２と直交する方向に延伸しつつ、当該一辺の端部が第２関節部５３１１ｂの基端に固定的に接続される。第２リンク５３１３ｂの略Ｌ字形状の基端側の他辺には、第３関節部５３１１ｃが接続される。
　第３関節部５３１１ｃは、略円柱形状を有し、その先端で、第２リンク５３１３ｂの基端を、第１軸Ｏ１及び第２軸Ｏ２と互いに直交する回転軸（第３軸Ｏ３）まわりに回動可能に支持する。第３関節部５３１１ｃの基端には、第３リンク５３１３ｃの先端が固定的に接続される。第２軸Ｏ２及び第３軸Ｏ３まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、水平面内での顕微鏡部５３０３の位置を変更するように、当該顕微鏡部５３０３を移動させることができる。つまり、第２軸Ｏ２及び第３軸Ｏ３まわりの回転を制御することにより、撮像画像の視野を平面内で移動させることが可能になる。
　第３リンク５３１３ｃは、その先端側が略円柱形状を有するように構成されており、当該円柱形状の先端に、第３関節部５３１１ｃの基端が、両者が略同一の中心軸を有するように、固定的に接続される。第３リンク５３１３ｃの基端側は角柱形状を有し、その端部に第４関節部５３１１ｄが接続される。
　第４関節部５３１１ｄは、略円柱形状を有し、その先端で、第３リンク５３１３ｃの基端を、第３軸Ｏ３と直交する回転軸（第４軸Ｏ４）まわりに回動可能に支持する。第４関節部５３１１ｄの基端には、第４リンク５３１３ｄの先端が固定的に接続される。
　第４リンク５３１３ｄは、略直線状に延伸する棒状の部材であり、第４軸Ｏ４と直交するように延伸しつつ、その先端の端部が第４関節部５３１１ｄの略円柱形状の側面に当接するように、第４関節部５３１１ｄに固定的に接続される。第４リンク５３１３ｄの基端には、第５関節部５３１１ｅが接続される。
　第５関節部５３１１ｅは、略円柱形状を有し、その先端側で、第４リンク５３１３ｄの基端を、第４軸Ｏ４と平行な回転軸（第５軸Ｏ５）まわりに回動可能に支持する。第５関節部５３１１ｅの基端には、第５リンク５３１３ｅの先端が固定的に接続される。第４軸Ｏ４及び第５軸Ｏ５は、顕微鏡部５３０３を上下方向に移動させ得る回転軸である。第４軸Ｏ４及び第５軸Ｏ５まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、顕微鏡部５３０３の高さ、すなわち顕微鏡部５３０３と観察対象との距離を調整することができる。
　第５リンク５３１３ｅは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略Ｌ字形状を有する第１の部材と、当該第１の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第２の部材と、が組み合わされて構成される。第５リンク５３１３ｅの第１の部材の鉛直方向に延伸する部位の上端近傍に、第５関節部５３１１ｅの基端が固定的に接続される。第５リンク５３１３ｅの第２の部材の基端（下端）には、第６関節部５３１１ｆが接続される。
　第６関節部５３１１ｆは、略円柱形状を有し、その先端側で、第５リンク５３１３ｅの基端を、鉛直方向と平行な回転軸（第６軸Ｏ６）まわりに回動可能に支持する。第６関節部５３１１ｆの基端には、第６リンク５３１３ｆの先端が固定的に接続される。
　第６リンク５３１３ｆは鉛直方向に延伸する棒状の部材であり、その基端はベース部５３１５の上面に固定的に接続される。
　第１関節部５３１１ａ～第６関節部５３１１ｆの回転可能範囲は、顕微鏡部５３０３が所望の動きを可能であるように適宜設定されている。これにより、以上説明した構成を有するアーム部５３０９においては、顕微鏡部５３０３の動きに関して、並進３自由度及び回転３自由度の計６自由度の動きが実現され得る。このように、顕微鏡部５３０３の動きに関して６自由度が実現されるようにアーム部５３０９を構成することにより、アーム部５３０９の可動範囲内において顕微鏡部５３０３の位置及び姿勢を自由に制御することが可能になる。従って、あらゆる角度から術部を観察することが可能となり、手術をより円滑に実行することができる。
　なお、図示するアーム部５３０９の構成はあくまで一例であり、アーム部５３０９を構成するリンクの数及び形状（長さ）、並びに関節部の数、配置位置及び回転軸の方向等は、所望の自由度が実現され得るように適宜設計されてよい。例えば、上述したように、顕微鏡部５３０３を自由に動かすためには、アーム部５３０９は６自由度を有するように構成されることが好ましいが、アーム部５３０９はより大きな自由度（すなわち、冗長自由度）を有するように構成されてもよい。冗長自由度が存在する場合には、アーム部５３０９においては、顕微鏡部５３０３の位置及び姿勢が固定された状態で、アーム部５３０９の姿勢を変更することが可能となる。従って、例えば表示装置５３１９を見る術者の視界にアーム部５３０９が干渉しないように当該アーム部５３０９の姿勢を制御する等、術者にとってより利便性の高い制御が実現され得る。
　ここで、第１関節部５３１１ａ～第６関節部５３１１ｆには、モータ等の駆動機構、及び各関節部における回転角度を検出するエンコーダ等が搭載されたアクチュエータが設けられ得る。そして、第１関節部５３１１ａ～第６関節部５３１１ｆに設けられる各アクチュエータの駆動が制御装置５３１７によって適宜制御されることにより、アーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が制御され得る。具体的には、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、アーム部５３０９の現在の姿勢、並びに顕微鏡部５３０３の現在の位置及び姿勢を把握することができる。制御装置５３１７は、把握したこれらの情報を用いて、ユーザからの操作入力に応じた顕微鏡部５３０３の移動を実現するような各関節部に対する制御値（例えば、回転角度又は発生トルク等）を算出し、当該制御値に応じて各関節部の駆動機構を駆動させる。なお、この際、制御装置５３１７によるアーム部５３０９の制御方式は限定されず、力制御又は位置制御等、各種の公知の制御方式が適用されてよい。
　例えば、術者が、図示しない入力装置を介して適宜操作入力を行うことにより、当該操作入力に応じて制御装置５３１７によってアーム部５３０９の駆動が適宜制御され、顕微鏡部５３０３の位置及び姿勢が制御されてよい。当該制御により、顕微鏡部５３０３を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、当該入力装置としては、術者の利便性を考慮して、例えばフットスイッチ等、術者が手に術具を有していても操作可能なものが適用されることが好ましい。また、ウェアラブルデバイスや手術室内に設けられるカメラを用いたジェスチャ検出や視線検出に基づいて、非接触で操作入力が行われてもよい。これにより、清潔域に属するユーザであっても、不潔域に属する機器をより自由度高く操作することが可能になる。あるいは、アーム部５３０９は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５３０９は、手術室から離れた場所に設置される入力装置を介してユーザによって遠隔操作され得る。
　また、力制御が適用される場合には、ユーザからの外力を受け、その外力にならってスムーズにアーム部５３０９が移動するように第１関節部５３１１ａ～第６関節部５３１１ｆのアクチュエータが駆動される、いわゆるパワーアシスト制御が行われてもよい。これにより、ユーザが、顕微鏡部５３０３を把持して直接その位置を移動させようとする際に、比較的軽い力で顕微鏡部５３０３を移動させることができる。従って、より直感的に、より簡易な操作で顕微鏡部５３０３を移動させることが可能となり、ユーザの利便性を向上させることができる。
　また、アーム部５３０９は、ピボット動作をするようにその駆動が制御されてもよい。ここで、ピボット動作とは、顕微鏡部５３０３の光軸が空間上の所定の点（以下、ピボット点という）を常に向くように、顕微鏡部５３０３を移動させる動作である。ピボット動作によれば、同一の観察位置を様々な方向から観察することが可能となるため、より詳細な患部の観察が可能となる。なお、顕微鏡部５３０３が、その焦点距離を調整不可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が固定された状態でピボット動作が行われることが好ましい。この場合には、顕微鏡部５３０３とピボット点との距離を、顕微鏡部５３０３の固定的な焦点距離に調整しておけばよい。これにより、顕微鏡部５３０３は、ピボット点を中心とする焦点距離に対応する半径を有する半球面（図１５に概略的に図示する）上を移動することとなり、観察方向を変更しても鮮明な撮像画像が得られることとなる。一方、顕微鏡部５３０３が、その焦点距離を調整可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が可変な状態でピボット動作が行われてもよい。この場合には、例えば、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、顕微鏡部５３０３とピボット点との距離を算出し、その算出結果に基づいて顕微鏡部５３０３の焦点距離を自動で調整してもよい。あるいは、顕微鏡部５３０３にＡＦ機能が設けられる場合であれば、ピボット動作によって顕微鏡部５３０３とピボット点との距離が変化するごとに、当該ＡＦ機能によって自動で焦点距離の調整が行われてもよい。
　また、第１関節部５３１１ａ～第６関節部５３１１ｆには、その回転を拘束するブレーキが設けられてもよい。当該ブレーキの動作は、制御装置５３１７によって制御され得る。例えば、顕微鏡部５３０３の位置及び姿勢を固定したい場合には、制御装置５３１７は各関節部のブレーキを作動させる。これにより、アクチュエータを駆動させなくてもアーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が固定され得るため、消費電力を低減することができる。顕微鏡部５３０３の位置及び姿勢を移動したい場合には、制御装置５３１７は、各関節部のブレーキを解除し、所定の制御方式に従ってアクチュエータを駆動させればよい。
　このようなブレーキの動作は、上述した操作部５３０７を介したユーザによる操作入力に応じて行われ得る。ユーザは、顕微鏡部５３０３の位置及び姿勢を移動したい場合には、操作部５３０７を操作し、各関節部のブレーキを解除させる。これにより、アーム部５３０９の動作モードが、各関節部における回転を自由に行えるモード（オールフリーモード）に移行する。また、ユーザは、顕微鏡部５３０３の位置及び姿勢を固定したい場合には、操作部５３０７を操作し、各関節部のブレーキを作動させる。これにより、アーム部５３０９の動作モードが、各関節部における回転が拘束されたモード（固定モード）に移行する。
　制御装置５３１７は、顕微鏡装置５３０１及び表示装置５３１９の動作を制御することにより、顕微鏡手術システム５３００の動作を統括的に制御する。例えば、制御装置５３１７は、所定の制御方式に従って第１関節部５３１１ａ～第６関節部５３１１ｆのアクチュエータを動作させることにより、アーム部５３０９の駆動を制御する。また、例えば、制御装置５３１７は、第１関節部５３１１ａ～第６関節部５３１１ｆのブレーキの動作を制御することにより、アーム部５３０９の動作モードを変更する。また、例えば、制御装置５３１７は、顕微鏡装置５３０１の顕微鏡部５３０３の撮像部によって取得された画像信号に各種の信号処理を施すことにより、表示用の画像データを生成するとともに、当該画像データを表示装置５３１９に表示させる。当該信号処理では、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise　reduction）処理及び／又は手ブレ補正処理等）及び／又は拡大処理（すなわち、電子ズーム処理）等、各種の公知の信号処理が行われてよい。
　なお、制御装置５３１７と顕微鏡部５３０３との通信、及び制御装置５３１７と第１関節部５３１１ａ～第６関節部５３１１ｆとの通信は、有線通信であってもよいし無線通信であってもよい。有線通信の場合には、電気信号による通信が行われてもよいし、光通信が行われてもよい。この場合、有線通信に用いられる伝送用のケーブルは、その通信方式に応じて電気信号ケーブル、光ファイバ、又はこれらの複合ケーブルとして構成され得る。一方、無線通信の場合には、手術室内に伝送ケーブルを敷設する必要がなくなるため、当該伝送ケーブルによって医療スタッフの手術室内の移動が妨げられる事態が解消され得る。
　制御装置５３１７は、ＣＰＵ（Central　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit）等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等であり得る。制御装置５３１７のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。なお、図示する例では、制御装置５３１７は、顕微鏡装置５３０１と別個の装置として設けられているが、制御装置５３１７は、顕微鏡装置５３０１のベース部５３１５の内部に設置され、顕微鏡装置５３０１と一体的に構成されてもよい。あるいは、制御装置５３１７は、複数の装置によって構成されてもよい。例えば、顕微鏡部５３０３や、アーム部５３０９の第１関節部５３１１ａ～第６関節部５３１１ｆにそれぞれマイコンや制御基板等が配設され、これらが互いに通信可能に接続されることにより、制御装置５３１７と同様の機能が実現されてもよい。
　表示装置５３１９は、手術室内に設けられ、制御装置５３１７からの制御により、当該制御装置５３１７によって生成された画像データに対応する画像を表示する。つまり、表示装置５３１９には、顕微鏡部５３０３によって撮影された術部の画像が表示される。なお、表示装置５３１９は、術部の画像に代えて、又は術部の画像とともに、例えば患者の身体情報や手術の術式についての情報等、手術に関する各種の情報を表示してもよい。この場合、表示装置５３１９の表示は、ユーザによる操作によって適宜切り替えられてよい。あるいは、表示装置５３１９は複数設けられてもよく、複数の表示装置５３１９のそれぞれに、術部の画像や手術に関する各種の情報が、それぞれ表示されてもよい。なお、表示装置５３１９としては、液晶ディスプレイ装置又はＥＬ（Electro　Luminescence）ディスプレイ装置等、各種の公知の表示装置が適用されてよい。
　図１６は、図１５に示す顕微鏡手術システム５３００を用いた手術の様子を示す図である。図１６では、術者５３２１が、顕微鏡手術システム５３００を用いて、患者ベッド５３２３上の患者５３２５に対して手術を行っている様子を概略的に示している。なお、図１６では、簡単のため、顕微鏡手術システム５３００の構成のうち制御装置５３１７の図示を省略するとともに、顕微鏡装置５３０１を簡略化して図示している。
　図２Ｃに示すように、手術時には、顕微鏡手術システム５３００を用いて、顕微鏡装置５３０１によって撮影された術部の画像が、手術室の壁面に設置される表示装置５３１９に拡大表示される。表示装置５３１９は、術者５３２１と対向する位置に設置されており、術者５３２１は、表示装置５３１９に映し出された映像によって術部の様子を観察しながら、例えば患部の切除等、当該術部に対して各種の処置を行う。
　以上、本開示に係る技術が適用され得る顕微鏡手術システム５３００の一例について説明した。なお、ここでは、一例として顕微鏡手術システム５３００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、顕微鏡装置５３０１は、その先端に顕微鏡部５３０３に代えて他の観察装置や他の術具を支持する、支持アーム装置としても機能し得る。当該他の観察装置としては、例えば内視鏡が適用され得る。また、当該他の術具としては、鉗子、攝子、気腹のための気腹チューブ、又は焼灼によって組織の切開や血管の封止を行うエネルギー処置具等が適用され得る。これらの観察装置や術具を支持アーム装置によって支持することにより、医療スタッフが人手で支持する場合に比べて、より安定的に位置を固定することが可能となるとともに、医療スタッフの負担を軽減することが可能となる。本開示に係る技術は、このような顕微鏡部以外の構成を支持する支持アーム装置に適用されてもよい。
　本開示に係る技術は、以上説明した構成のうち、制御装置５３１７に好適に適用され得る。具体的には、顕微鏡部５３０３の撮像部によって撮影された患者５３２５の術部の画像を表示装置５３１９に表示する場合に、本開示に係る技術を適用できる。制御装置５３１７に本開示に係る技術を適用することにより、特殊光画像に映っている動きと白色光画像に映っている動きが異なっている場合でも、両画像のそれぞれの動きベクトルの相関度に応じてそれぞれの動きベクトルを適切に用いることで、特殊光画像を高精度に補正（ＮＲ処理等）することができる。これにより、術者５３２１は、高精度に補正（ＮＲ処理等）された術部の画像を表示装置５３１９においてリアルタイムで見ることができ、手術をより安全に行うことができる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　撮像対象に電磁波を照射する照射手段と、
　前記電磁波が照射された前記撮像対象からの反射波を撮像する撮像手段と、
　前記撮像手段から、第１の波長帯域に基く第１の画像を取得し、前記第１の波長帯域とは異なる第２の波長帯域に基く第２の画像を取得する取得手段と、
　前記第１の画像における特徴量に基いて、複数の前記第１の画像の間の動きベクトルである第１の動きベクトルを算出する第１の動き推定手段と、
　前記第２の画像における特徴量に基いて、複数の前記第２の画像の間の動きベクトルである第２の動きベクトルを算出する第２の動き推定手段と、
　前記第１の動きベクトルと前記第２の動きベクトルの相関度を算出する相関度算出手段と、
　前記相関度に基き、前記第１の画像を補正する補正手段と、を備える医療システム。
（２）
　前記医療システムは、顕微鏡手術システム、または、内視鏡手術システムである、（１）に記載の医療システム。
（３）
　電磁波が照射された撮像対象からの反射波を撮像する撮像手段から、第１の波長帯域に基く第１の画像を取得し、前記第１の波長帯域とは異なる第２の波長帯域に基く第２の画像を取得する取得手段と、
　前記第１の画像における特徴量に基いて、複数の前記第１の画像の間の動きベクトルである第１の動きベクトルを算出する第１の動き推定手段と、
　前記第２の画像における特徴量に基いて、複数の前記第２の画像の間の動きベクトルである第２の動きベクトルを算出する第２の動き推定手段と、
　前記第１の動きベクトルと前記第２の動きベクトルの相関度を算出する相関度算出手段と、
　前記相関度に基き、前記第１の画像を補正する補正手段と、を備える情報処理装置。
（４）
　前記補正手段は、
　前記相関度が所定の閾値以上の場合、前記第２の動きベクトルに基いて前記第１の画像を補正し、
　前記相関度が所定の閾値未満の場合、前記第１の動きベクトルに基いて前記第１の画像を補正する、（３）に記載の情報処理装置。
（５）
　前記補正手段は、
　前記相関度に応じて前記第１の動きベクトルと前記第２の動きベクトルを重み付け加算して第３の動きベクトルを算出し、前記第３の動きベクトルに基いて前記第１の画像を補正する、（３）に記載の情報処理装置。
（６）
　前記補正手段は、
　前記第１の動きベクトルに基いて前記第１の画像の動き補償を行い、
　前記第２の動きベクトルに基いて前記第２の画像の動き補償を行い、
　前記相関度に応じて、動き補償された前記第１の画像と動き補償された前記第２の画像を重み付け加算して第３の画像を生成し、前記第３の画像に基いて前記第１の画像を補正する、（３）に記載の情報処理装置。
（７）
　前記相関度算出手段は、
　前記相関度として、前記第１の動きベクトルと前記第２の動きベクトルの相関係数を算出する、（３）から（６）のいずれかに記載の情報処理装置。
（８）
　前記相関度算出手段は、
　前記相関度として、前記第１の動きベクトルと前記第２の動きベクトルの差分の絶対値の和を算出する、（３）から（６）のいずれかに記載の情報処理装置。
（９）
　前記相関度算出手段は、
　前記相関度として、前記第１の動きベクトルと前記第２の動きベクトルの差分の二乗の和を算出する、（３）から（６）のいずれかに記載の情報処理装置。
（１０）
　前記補正手段は、前記相関度に基き、前記第１の画像を補正する処理として、前記第１の画像のノイズを低減させるノイズリダクション処理を行う、（３）から（９）のいずれかに記載の情報処理装置。
（１１）
　前記補正手段は、前記相関度に基き、前記第１の画像を補正する処理として、前記第１の画像を強調する画像強調処理を行う、（３）から（９）のいずれかに記載の情報処理装置。
（１２）
　前記第１の画像は近赤外光画像であり、前記第２の画像は白色光画像である、（３）から（１１）のいずれかに記載の情報処理装置。
（１３）
　電磁波が照射された撮像対象からの反射波を撮像する撮像手段から、第１の波長帯域に基く第１の画像を取得し、前記第１の波長帯域とは異なる第２の波長帯域に基く第２の画像を取得する取得工程と、
　前記第１の画像における特徴量に基いて、複数の前記第１の画像の間の動きベクトルである第１の動きベクトルを算出する第１の動き推定工程と、
　前記第２の画像における特徴量に基いて、複数の前記第２の画像の間の動きベクトルである第２の動きベクトルを算出する第２の動き推定工程と、
　前記第１の動きベクトルと前記第２の動きベクトルの相関度を算出する相関度算出工程と、
　前記相関度に基き、前記第１の画像を補正する補正工程と、を含む情報処理方法。
　以上、本開示の実施形態、変形例について説明したが、本開示の技術的範囲は、上述の実施形態、変形例そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態、変形例にわたる構成要素を適宜組み合わせてもよい。
　例えば、第１実施形態では、補正部１３１５が行う特殊光画像を補正する処理として、主にＮＲ処理について説明したが、これに限定されず、画像強調処理（例えばエッジ強調処理）等の他の処理であってもよい。
　また、２つの動きベクトル（例えば、特殊光動きベクトルと白色光動きベクトル）の用い方を決定するための要素を相関度のみとしたが、これに限定されず、他の要素も併用してもよい。例えば、医療システム１の使用環境が明るいほど白色光動きベクトルを使う場面や度合を増やすようにしてもよい。また、ＩＲイメージャやＲＧＢイメージャの信号増幅率からわかる特殊光画像のノイズ量や白色光画像のノイズ量も加味してもよい。
　また、補正部１３１５がＮＲ処理を行う場合、時間方向のＮＲ処理に加えて、空間方向のＮＲ処理を併用してもよい。
　また、用いる画像は、２つの画像（特殊光画像と白色光画像等）に限定されず、３つ以上の画像であってもよい。
　なお、本明細書に記載された各実施形態、変形例における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　１　　　　医療システム
　２　　　　撮像対象
　１１　　　光源
　１２　　　撮像装置
　１３　　　情報処理装置
　１４　　　表示装置
　１３１　　処理部
　１３２　　記憶部
　１３１１　取得部
　１３１２　第１の動き推定部
　１３１３　第２の動き推定部
　１３１４　相関度算出部
　１３１５　補正部
　１３１６　表示制御部

Claims (13)

  1. 　撮像対象に電磁波を照射する照射手段と、
    　前記電磁波が照射された前記撮像対象からの反射波を撮像する撮像手段と、
    　前記撮像手段から、第１の波長帯域に基く第１の画像を取得し、前記第１の波長帯域とは異なる第２の波長帯域に基く第２の画像を取得する取得手段と、
    　前記第１の画像における特徴量に基いて、複数の前記第１の画像の間の動きベクトルである第１の動きベクトルを算出する第１の動き推定手段と、
    　前記第２の画像における特徴量に基いて、複数の前記第２の画像の間の動きベクトルである第２の動きベクトルを算出する第２の動き推定手段と、
    　前記第１の動きベクトルと前記第２の動きベクトルの相関度を算出する相関度算出手段と、
    　前記相関度に基き、前記第１の画像を補正する補正手段と、を備える医療システム。
  2. 　前記医療システムは、顕微鏡手術システム、または、内視鏡手術システムである、請求項１に記載の医療システム。
  3. 　電磁波が照射された撮像対象からの反射波を撮像する撮像手段から、第１の波長帯域に基く第１の画像を取得し、前記第１の波長帯域とは異なる第２の波長帯域に基く第２の画像を取得する取得手段と、
    　前記第１の画像における特徴量に基いて、複数の前記第１の画像の間の動きベクトルである第１の動きベクトルを算出する第１の動き推定手段と、
    　前記第２の画像における特徴量に基いて、複数の前記第２の画像の間の動きベクトルである第２の動きベクトルを算出する第２の動き推定手段と、
    　前記第１の動きベクトルと前記第２の動きベクトルの相関度を算出する相関度算出手段と、
    　前記相関度に基き、前記第１の画像を補正する補正手段と、を備える情報処理装置。
  4. 　前記補正手段は、
    　前記相関度が所定の閾値以上の場合、前記第２の動きベクトルに基いて前記第１の画像を補正し、
    　前記相関度が所定の閾値未満の場合、前記第１の動きベクトルに基いて前記第１の画像を補正する、請求項３に記載の情報処理装置。
  5. 　前記補正手段は、
    　前記相関度に応じて前記第１の動きベクトルと前記第２の動きベクトルを重み付け加算して第３の動きベクトルを算出し、前記第３の動きベクトルに基いて前記第１の画像を補正する、請求項３に記載の情報処理装置。
  6. 　前記補正手段は、
    　前記第１の動きベクトルに基いて前記第１の画像の動き補償を行い、
    　前記第２の動きベクトルに基いて前記第２の画像の動き補償を行い、
    　前記相関度に応じて、動き補償された前記第１の画像と動き補償された前記第２の画像を重み付け加算して第３の画像を生成し、前記第３の画像に基いて前記第１の画像を補正する、請求項３に記載の情報処理装置。
  7. 　前記相関度算出手段は、
    　前記相関度として、前記第１の動きベクトルと前記第２の動きベクトルの相関係数を算出する、請求項３に記載の情報処理装置。
  8. 　前記相関度算出手段は、
    　前記相関度として、前記第１の動きベクトルと前記第２の動きベクトルの差分の絶対値の和を算出する、請求項３に記載の情報処理装置。
  9. 　前記相関度算出手段は、
    　前記相関度として、前記第１の動きベクトルと前記第２の動きベクトルの差分の二乗の和を算出する、請求項３に記載の情報処理装置。
  10. 　前記補正手段は、前記相関度に基き、前記第１の画像を補正する処理として、前記第１の画像のノイズを低減させるノイズリダクション処理を行う、請求項３に記載の情報処理装置。
  11. 　前記補正手段は、前記相関度に基き、前記第１の画像を補正する処理として、前記第１の画像を強調する画像強調処理を行う、請求項３に記載の情報処理装置。
  12. 　前記第１の画像は近赤外光画像であり、前記第２の画像は白色光画像である、請求項３に記載の情報処理装置。
  13. 　電磁波が照射された撮像対象からの反射波を撮像する撮像手段から、第１の波長帯域に基く第１の画像を取得し、前記第１の波長帯域とは異なる第２の波長帯域に基く第２の画像を取得する取得工程と、
    　前記第１の画像における特徴量に基いて、複数の前記第１の画像の間の動きベクトルである第１の動きベクトルを算出する第１の動き推定工程と、
    　前記第２の画像における特徴量に基いて、複数の前記第２の画像の間の動きベクトルである第２の動きベクトルを算出する第２の動き推定工程と、
    　前記第１の動きベクトルと前記第２の動きベクトルの相関度を算出する相関度算出工程と、
    　前記相関度に基き、前記第１の画像を補正する補正工程と、を含む情報処理方法。
PCT/JP2019/034310 2018-09-06 2019-08-30 医療システム、情報処理装置及び情報処理方法 WO2020050187A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19857194.5A EP3848895A4 (en) 2018-09-06 2019-08-30 MEDICAL SYSTEM, INFORMATION PROCESSING DEVICE, AND INFORMATION PROCESSING METHOD
US17/265,214 US20210304419A1 (en) 2018-09-06 2019-08-30 Medical system, information processing apparatus, and information processing method
CN201980056171.7A CN112602115A (zh) 2018-09-06 2019-08-30 医疗系统、信息处理设备和信息处理方法
JP2020541195A JPWO2020050187A1 (ja) 2018-09-06 2019-08-30 医療システム、情報処理装置及び情報処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018167331 2018-09-06
JP2018-167331 2018-09-06

Publications (1)

Publication Number Publication Date
WO2020050187A1 true WO2020050187A1 (ja) 2020-03-12

Family

ID=69722289

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/034310 WO2020050187A1 (ja) 2018-09-06 2019-08-30 医療システム、情報処理装置及び情報処理方法

Country Status (5)

Country Link
US (1) US20210304419A1 (ja)
EP (1) EP3848895A4 (ja)
JP (1) JPWO2020050187A1 (ja)
CN (1) CN112602115A (ja)
WO (1) WO2020050187A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS563676B2 (ja) 1973-03-14 1981-01-26
JP5603676B2 (ja) * 2010-06-29 2014-10-08 オリンパス株式会社 画像処理装置及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110169960A1 (en) * 2006-11-13 2011-07-14 Redshift Systems Corporation Video enhancement system
JP5242479B2 (ja) * 2009-03-26 2013-07-24 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法
JP6242230B2 (ja) * 2014-02-12 2017-12-06 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
JP2015171450A (ja) * 2014-03-12 2015-10-01 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および内視鏡装置
CN106999019B (zh) * 2014-11-19 2018-10-19 奥林巴斯株式会社 图像处理装置、图像处理方法、记录介质以及内窥镜装置
JP6521676B2 (ja) * 2015-03-09 2019-05-29 キヤノン株式会社 動き情報取得装置および動き情報取得方法
JP6654038B2 (ja) * 2015-12-22 2020-02-26 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS563676B2 (ja) 1973-03-14 1981-01-26
JP5603676B2 (ja) * 2010-06-29 2014-10-08 オリンパス株式会社 画像処理装置及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3848895A4

Also Published As

Publication number Publication date
EP3848895A4 (en) 2021-10-27
JPWO2020050187A1 (ja) 2021-08-26
EP3848895A1 (en) 2021-07-14
CN112602115A (zh) 2021-04-02
US20210304419A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
WO2020045015A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2017145475A1 (ja) 医療用情報処理装置、情報処理方法、医療用情報処理システム
JP7115493B2 (ja) 手術アームシステム及び手術アーム制御システム
US10904437B2 (en) Control apparatus and control method
WO2018123613A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
JP7286948B2 (ja) 医療用観察システム、信号処理装置及び医療用観察方法
US11540700B2 (en) Medical supporting arm and medical system
WO2021049438A1 (ja) 医療用支持アーム、及び医療用システム
US20220008156A1 (en) Surgical observation apparatus, surgical observation method, surgical light source device, and surgical light irradiation method
JPWO2018221041A1 (ja) 医療用観察システム及び医療用観察装置
US20190154953A1 (en) Control apparatus, control system, and control method
US20220183576A1 (en) Medical system, information processing device, and information processing method
JP7544033B2 (ja) 医療システム、情報処理装置及び情報処理方法
US10778889B2 (en) Image pickup apparatus, video signal processing apparatus, and video signal processing method
WO2021256168A1 (ja) 医用画像処理システム、手術画像制御装置、及び、手術画像制御方法
WO2020045014A1 (ja) 医療システム、情報処理装置及び情報処理方法
US20220022728A1 (en) Medical system, information processing device, and information processing method
WO2020050187A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2022004250A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2020084917A1 (ja) 医療システム及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19857194

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020541195

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019857194

Country of ref document: EP

Effective date: 20210406