WO2020203225A1 - 医療システム、情報処理装置及び情報処理方法 - Google Patents

医療システム、情報処理装置及び情報処理方法 Download PDF

Info

Publication number
WO2020203225A1
WO2020203225A1 PCT/JP2020/011463 JP2020011463W WO2020203225A1 WO 2020203225 A1 WO2020203225 A1 WO 2020203225A1 JP 2020011463 W JP2020011463 W JP 2020011463W WO 2020203225 A1 WO2020203225 A1 WO 2020203225A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
speckle
mode
index value
value
Prior art date
Application number
PCT/JP2020/011463
Other languages
English (en)
French (fr)
Inventor
和樹 池下
貴美 水倉
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/441,435 priority Critical patent/US20220183576A1/en
Publication of WO2020203225A1 publication Critical patent/WO2020203225A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/4788—Diffraction
    • G01N2021/479—Speckle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation

Definitions

  • This disclosure relates to medical systems, information processing devices and information processing methods.
  • the speckle is a phenomenon in which a speckled pattern is generated by reflecting and interfering with the irradiated coherent light due to minute irregularities on the surface of the subject (object).
  • the blood flow part and the non-blood flow part in the living body which is the subject can be distinguished.
  • the speckle contrast value becomes small due to the movement of red blood cells or the like that reflect coherent light
  • the whole is stationary and the speckle contrast value becomes large. Therefore, the blood flow portion and the non-blood flow portion can be distinguished based on the speckle contrast image generated by using the speckle contrast value of each pixel.
  • the index value (speckle index value) calculated by performing statistical processing on the speckle brightness value includes BR (Blur Rate), SBR (Square BR), and MBR. There is also (Mean BR).
  • speckle index value image the image generated by using the speckle index value is referred to as a speckle index value image.
  • the absolute value of the speckle index value corresponding to the velocity of the fluid (blood, etc.) (hereinafter, also referred to as "flow velocity") and the sensitivity (variability) of the speckle index value for each flow velocity range are constant. Absent. They change depending on the exposure time of the camera, various parameters related to image processing (processing size (5 ⁇ 5 cells, etc.), gain (signal amplification factor), etc.) and the like.
  • a speckle index value image that makes it easy to see both the slow flow velocity portion and the high flow velocity portion. Can be generated.
  • a medical system, an information processing device, and an information processing method capable of easily switching between a display in which a slow flow velocity portion is easy to see and a display in which a fast flow velocity portion is easy to see in a speckle index value image with a single exposure time.
  • one form of the medical system includes an irradiation means for irradiating a subject with coherent light, an imaging means for imaging the reflected light of the coherent light from the subject, and the imaging.
  • the first parameter value and the second parameter value are different from each other.
  • a selection means for selecting one of a storage means for storing the parameter value of the above, a first mode corresponding to the first parameter value, and a second mode corresponding to the second parameter value.
  • the speckle index value is calculated based on the speckle image and the first parameter value
  • the speckle index value is calculated.
  • a display control means for displaying a speckle index value image on a display unit is provided.
  • FIG. 5 is an explanatory diagram of a case where various parameter values are combined with a blood vessel having a slow flow velocity and a case where various parameter values are combined with a blood vessel having a high flow velocity among the two branched blood vessels in the embodiment of the present disclosure.
  • the ultrasonic Doppler blood flow meter measures blood flow at one point where the probe is in contact, the distribution of blood flow trends in the entire surgical field is unknown. There is also the risk of having to contact and evaluate the cerebral blood vessels.
  • angiography using an ICG drug utilizes the feature that the ICG drug binds to a plasma protein in vivo and fluoresces due to near-infrared excitation light, and is invasive to administer the drug. It is an observation. Further, in terms of blood flow evaluation, there is a limitation in usage in terms of timing because the flow must be determined from the change immediately after administration of the ICG drug.
  • speckle imaging technology As a blood flow evaluation method that visualizes blood flow without administering drugs.
  • Japanese Patent Application Laid-Open No. 2017-170064 discloses an optical device for perfusion evaluation in speckle imaging technology.
  • the principle of detecting movement (blood flow) using a speckle generated by a laser is used.
  • speckle contrast is used as an index for motion detection.
  • the speckle contrast is a value indicated by (standard deviation) / (mean value) of the light intensity distribution.
  • the standard deviation of the intensity distribution becomes large and the speckle contrast (degree of glare) is high.
  • the speckle pattern changes with the movement.
  • the speckle pattern changes within the exposure time, so the shot speckle pattern is averaged and the speckle contrast (degree of glare). Will be low.
  • the larger the movement the higher the averaging, and the lower the speckle contrast.
  • the absolute value of SC (speckle contrast (value)) corresponding to the velocity of fluid (blood, etc.) and the sensitivity (variability) of SC for each flow velocity range are not constant. They change depending on the exposure time of the camera, various parameters related to image processing (processing size (5 ⁇ 5 cells, etc.), gain (signal amplification factor), etc.) and the like.
  • FIG. 4 is a graph showing the relationship between SC and the flow velocity.
  • the vertical axis is SC and the horizontal axis is the flow velocity.
  • SC is SC1
  • SC is SC2.
  • the flow velocity region R1 where the flow velocity is less than the flow velocity V1 the way of changing the SC is gradual.
  • the SC changes slowly.
  • the SC changes rapidly. That is, the sensitivity of SC in the flow velocity region R2 is high.
  • FIG. 1 is a diagram showing a configuration example of the medical system 1 according to the embodiment of the present disclosure.
  • the medical system 1 includes a structure observation light source 2 (irradiation means), a narrow band light source 3 (irradiation means), a wavelength separation device 4, a color camera 5 (imaging means), an IR camera 6 (imaging means), and an information processing device 7. Be prepared.
  • a structure observation light source 2 irradiation means
  • a narrow band light source 3 irradiation means
  • a wavelength separation device 4 a color camera 5 (imaging means), an IR camera 6 (imaging means)
  • an information processing device 7. Be prepared.
  • each configuration will be described in detail.
  • the structure observation light source 2 irradiates a subject with incoherent light (for example, incoherent visible light; hereinafter, also simply referred to as “visible light”). Further, the narrow band light source 3 irradiates the subject with coherent light (for example, coherent near-infrared light; hereinafter, also simply referred to as “near-infrared light”).
  • coherent light for example, coherent near-infrared light; hereinafter, also simply referred to as “near-infrared light”.
  • coherent light the phase relationship of light waves at any two points in the luminous flux is constant with no change in time, and even if the luminous flux is divided by an arbitrary method and then superposed again with a large optical path difference.
  • incoherent light refers to light that does not have the above-mentioned properties in coherent light.
  • the wavelength of the coherent light output from the narrow band light source 3 according to the present disclosure is preferably about 800 to 900 nm, for example.
  • the wavelength is 830 nm
  • ICG observation and an optical system can be used together. That is, since it is common to use near-infrared light having a wavelength of 830 nm when performing ICG observation, ICG observation can be carried out by using near-infrared light having the same wavelength for speckle observation. Speckle observation is possible without changing the optical system of the microscope.
  • the wavelength of the coherent light emitted by the narrow band light source 3 is not limited to this, and it is assumed that various other wavelengths are used.
  • coherent light having a wavelength of 400 to 450 nm (ultraviolet to blue) or light having a wavelength of 700 to 900 nm (infrared) it is easy to observe with wavelength separation from visible light illumination.
  • visible coherent light having a wavelength of 450 to 700 nm it is easy to select a laser used in a projector or the like.
  • coherent light having a wavelength of 900 nm or more it is possible to use coherent light having a wavelength of 900 nm or more. In the following, a case where near-infrared light having a wavelength of 830 nm is used as coherent light will be taken as an example.
  • the type of the narrow band light source 3 that irradiates coherent light is not particularly limited as long as the effect of the present technology is not impaired.
  • the narrow band light source 3 that emits laser light include an argon ion (Ar) laser, a helium-neon (He-Ne) laser, a die laser, a krypton (Cr) laser, a semiconductor laser, and a semiconductor laser for wavelength conversion.
  • Ar argon ion
  • He-Ne helium-neon
  • Cr krypton
  • a solid-state laser or the like in which an optical element is combined can be used alone or in combination.
  • the subject is simultaneously irradiated with visible light from the structure observation light source 2 and near-infrared light from the narrow band light source 3.
  • the type of the structure observation light source 2 is not particularly limited as long as the effect of the present technology is not impaired.
  • a light emitting diode or the like can be mentioned.
  • examples of other light sources include xenon lamps, metal halide lamps, high-pressure mercury lamps, and the like.
  • the subject can be various, but for example, one containing a fluid is preferable. Due to the nature of speckle, it is difficult for speckle to be generated from fluid. Therefore, when a subject containing a fluid is imaged using the medical system 1 according to the present disclosure, the boundary between the fluid portion and the non-fluid portion, the flow velocity of the fluid portion, and the like can be recognized and displayed.
  • the subject can be a living body whose fluid is blood.
  • the medical system 1 according to the present disclosure in microscopic surgery, endoscopic surgery, or the like, it is possible to perform surgery while confirming the position of blood vessels. Therefore, safer and more accurate surgery can be performed, which can contribute to the further development of medical technology.
  • the color camera 5 captures the reflected light (scattered light) of visible light from the subject.
  • the color camera 5 is, for example, an RGB (Red Green Blue) imager for observing visible light.
  • the IR camera 6 captures the reflected light (scattered light) of the near infrared light from the subject.
  • the IR camera 6 is, for example, an IR (Infrared) imager for speckle observation.
  • the wavelength separator 4 is, for example, a dichroic mirror.
  • the wavelength separator 4 separates the received near-infrared light (reflected light) and visible light (reflected light).
  • the color camera 5 captures a visible light image obtained from the visible light separated by the wavelength separator 4.
  • the IR camera 6 captures a speckle image obtained from near-infrared light separated by the wavelength separator 4.
  • FIG. 2 is a diagram showing a configuration example of the information processing device 7 according to the embodiment of the present disclosure.
  • the information processing device 7 is an image processing device, and mainly includes a processing unit 71, a storage unit 72, an input unit 73, and a display unit 74.
  • the storage unit 72 stores various information such as a visible light image, a speckle image, and a calculation result by each unit of the processing unit 71. Further, the storage unit 72 stores a first parameter value and a second parameter value, which are different from each other, as parameters for calculating SC, which is a statistical index value for the speckle luminance value. ..
  • Parameters include, for example, processing size (5 x 5 cells, etc.), gain (signal amplification factor), offset, various threshold values (upper limit value, lower limit value), number of images used when performing temporal NR (noise reduction), and the like. is there. A first parameter value and a second parameter value are set for each of these parameters (details will be described later).
  • an external storage device of the medical system 1 may be used instead of the storage unit 72.
  • the processing unit 71 is realized by, for example, a CPU (Central Processing Unit), and its main configuration is as follows: acquisition unit 711 (acquisition means), selection unit 712 (selection means), calculation unit 713 (calculation means), generation unit 714 ( A generation means), an information integration unit 715, and a display control unit 716 (display control means).
  • acquisition unit 711 acquisition means
  • selection unit 712 selection means
  • calculation unit 713 calculation means
  • generation unit 714 A generation means
  • an information integration unit 715 an information integration unit 715
  • display control unit 716 display control means
  • the acquisition unit 711 acquires a visible light image from the color camera 5 and acquires a speckle image from the IR camera 6. It is assumed that the positions of the subjects in the visible light image and the speckle image correspond to each other. In other words, if the angles of view of the two are the same, the image can be used as it is, and if the angles of view are not the same, at least one of the images is corrected so that the positions of the subjects in the image correspond to each other. To do.
  • the selection unit 712 selects either the first mode corresponding to the first parameter value and the second mode corresponding to the second parameter value. For example, the selection unit 712 selects either the first mode or the second mode according to the operation using the calculation unit 713 by the user.
  • the first mode is a mode for observing a blood vessel having a relatively high blood flow velocity.
  • the first parameter value is a parameter value corresponding to the first velocity assumed as the velocity of the fluid in the subject.
  • the second mode is a mode for observing a tissue in which the blood flow velocity is relatively slow.
  • the second parameter value is a parameter value corresponding to a second velocity (including the case of zero), which is slower than the first velocity, which is assumed as the velocity of the fluid in the subject.
  • the selection unit 712 may select which of the first mode and the second mode has a larger SC dynamic range in the region of interest of the speckle image.
  • the selection unit 712 examines the histogram distribution of SC in the region of interest of the speckle image in the first mode and the second mode, and when there are two peaks, the distance between the centers of gravity of the two peaks becomes larger. May be selected. In that case, a plurality of regions of interest may be set in the speckle image.
  • the selection unit 712 may select the mode based on, for example, the relative value of the flow velocity (SC) between the regions of interest. Further, the selection unit 712 may select a mode based on information such as a measured value by a Doppler blood flow meter and blood pressure information, for example.
  • the present invention is not limited to this.
  • the modes may be hierarchized, and there may be sub-classified modes for each of the plurality of modes.
  • the calculation unit 713 calculates the SC based on the speckle image and the first parameter value when the first mode is selected, and when the second mode is selected, the speckle image and the second mode. SC is calculated based on the parameter value of.
  • speckle contrast value (SC) of the i-th pixel (Standard deviation of intensity between i-th pixel and peripheral pixel) / (Average of the intensities of the i-th pixel and the peripheral pixels) ⁇ ⁇ ⁇ Equation (1)
  • FIG. 3 is a diagram showing an example of SC images of pseudo blood vessels. As shown in the SC image example of FIG. 3, many speckles are observed in the non-blood flow portion, and almost no speckles are observed in the blood flow portion.
  • the generation unit 714 generates an SC image based on the SC calculated by the calculation unit 713. Further, for example, the generation unit 714 distinguishes between a fluid part (for example, a blood flow part) and a non-fluid part (for example, a non-blood flow part) based on the SC image. More specifically, for example, the generation unit 714 distinguishes between a blood flow unit and a non-blood flow unit by determining whether or not the SC is equal to or higher than a predetermined SC threshold value based on the SC image, or the blood flow unit. It is possible to recognize the degree of blood flow in the body.
  • a fluid part for example, a blood flow part
  • a non-fluid part for example, a non-blood flow part
  • the information integration unit 715 generates an output image. For example, the information integration unit 715 integrates each information of the SC image and the visible light image.
  • the display control unit 716 causes the display unit 74 to display an image based on the information integrated by the information integration unit 715.
  • the display control unit 716 causes the display unit 74 to display, for example, the SC image and the visible light image in parallel or superimposed. In that case, it is preferable that the display control unit 716 displays, for example, the blood flow portion and the non-blood flow portion so as to be distinguishable.
  • the input unit 73 is a means for inputting information by the user, for example, a keyboard, a mouse, a touch panel, or the like.
  • the display unit 74 displays various information such as a visible light image acquired by the acquisition unit 711, a speckle image, and a calculation result by each unit of the processing unit 71 under the control of the display control unit 716.
  • an external display device of the medical system 1 may be used.
  • FIG. 5 is a flowchart showing image processing by the information processing apparatus 7 according to the embodiment of the present disclosure.
  • step S1 the acquisition unit 711 acquires a visible light image from the color camera 5.
  • step S2 the acquisition unit 711 acquires a speckle image from the IR camera 6.
  • step S3 the selection unit 712 selects either the first mode or the second mode according to the operation using the input unit 73 by the user or the like.
  • step S4 when the first mode is selected, the calculation unit 713 calculates the SC based on the speckle image and the first parameter value, and when the second mode is selected. , SC is calculated based on the speckle image and the second parameter value.
  • step S5 the generation unit 714 generates an SC image based on the SC calculated in step S4.
  • step S6 the information integration unit 715 integrates each information of the SC image and the visible light image.
  • step S7 the display control unit 716 causes the display unit 74 to display an image based on the information integrated in step S6.
  • the display control unit 716 causes the display unit 74 to display, for example, the SC image and the visible light image in parallel or superimposed.
  • FIG. 6 is a diagram showing a first example of the mode selection screen according to the embodiment of the present disclosure.
  • the mode selection screen shown in FIG. 6 eight modes corresponding to organs A to H are prepared. Then, the parameter values of various parameters are set for each mode. Therefore, for example, a surgeon (a doctor performing surgery) is created based on a parameter value suitable for an organ whose blood flow is desired to be observed by simply selecting one of organs A to H on this mode selection screen. You can see the SC image.
  • the surgeon simply selects the mode of the organ to see on the mode selection screen as shown in FIG. 6 based on the parameter value suitable for that organ. You can see the created SC image.
  • FIG. 7 is a diagram showing a second example of the mode selection screen in the embodiment of the present disclosure.
  • the mode selection screen shown in FIG. 7 eight modes corresponding to the surgical techniques A to H are prepared. Then, the parameter values of various parameters are set for each mode. Therefore, for example, the surgeon can see the SC image created based on the parameter value suitable for the surgical procedure only by selecting any of the surgical procedures A to H on this mode selection screen.
  • the surgeon simply selects a new mode for the next surgical procedure on the mode selection screen as shown in FIG. 7, and creates it based on the parameter values suitable for the surgical procedure. You can see the SC image.
  • speckle imaging technology has a narrow range of high-sensitivity flow velocities, so suitable parameter values differ depending on the organ and surgical procedure. Therefore, it is very effective from the viewpoint of intraoperative doctor support to allow the operator to easily select and switch the mode on the mode selection screen as shown in FIGS. 6 and 7.
  • vascular blood flow after connection is confirmed.
  • a scene of confirming vascular blood flow (fast blood flow) supplying nutrients to the tumor and a scene of confirming tissue blood flow (slow blood flow) including the surrounding area are mixed.
  • the surgical procedure selection may be a subclass after organ selection (FIG. 6).
  • FIG. 8 is a diagram schematically showing a first example of screen transition when switching modes in the embodiment of the present disclosure.
  • the blood flow to be confirmed and the required information may differ depending on the procedure.
  • modes corresponding to each of such cases are prepared, and as shown in FIGS. 8A and 8B, a mode selection button for selecting those modes is prepared on the screen.
  • the surgeon can select a mode according to the information he / she wants about any of the areas of interest ROI1 to ROI8, and the SC image more suitable for the scene will be displayed. It is beneficial.
  • the visible light image and the SC image may be displayed in a superimposed manner, or may be displayed in parallel by PinP (Picture-In-Picture) or the like.
  • FIG. 9 is a diagram schematically showing a second example of screen transition when switching modes in the embodiment of the present disclosure.
  • FIG. 9A is an SC image in a mode for observing vascular blood flow in which the blood flow velocity is relatively high.
  • the parameter value is set so that the blood flow in the blood vessel B1 of the blood vessel B1 and the blood vessel B2 after branching can be easily seen.
  • FIG. 9B is an SC image in a mode for observing tissue blood flow in which the blood flow velocity is relatively slow.
  • the parameter values are set so that the tissue blood flow in the fingernail C can be easily seen.
  • FIG. 10 is an explanatory diagram when a mode in which the dynamic range of the SC in the high flow velocity portion is larger is selected in the embodiment of the present disclosure.
  • the SC image of FIG. 10 (a) is generated by a mode in which the dynamic range (DR1) of the SC of the blood flow portion in the blood vessel B2 in the region R21 becomes larger, as shown by the histogram of the SC of FIG. 10 (b). It is an SC image.
  • DR1 dynamic range of the SC of the blood flow portion in the blood vessel B2 in the region R21 becomes larger
  • the histogram of the SC of FIG. 10 (b) It is an SC image.
  • an SC image in which the blood flow in the blood vessel B2 in the region R21 is easily visible is displayed, which is useful for the operator.
  • FIG. 11 is an explanatory diagram when a mode in which the dynamic range of the SC in the slow flow velocity portion becomes larger is selected in the embodiment of the present disclosure.
  • the SC image of FIG. 11 (a) is an SC generated by a mode in which the dynamic range (DR2) of the SC of the blood flow portion in the claw C in the region R22 becomes larger, as shown by the histogram of FIG. 11 (b). It is an image. As a result, an SC image in which the tissue blood flow of the nail C in the region R22 is easily visible is displayed, which is beneficial to the operator.
  • FIG. 12 is an explanatory diagram in the case where the parameter value is adjusted to the blood vessel having a slow flow velocity and the case where the parameter value is adjusted to the blood vessel having a high flow velocity among the two branched blood vessels in the embodiment of the present disclosure.
  • the region H1 corresponds to the portion without blood flow
  • the region H2 corresponds to the portion with slow blood flow
  • the region H3 corresponds to the portion with high blood flow.
  • FIG. 12 (b) The SC image displayed so that the display color gamut of the portion where the blood flow is fast corresponding to the region H3 is widened is as shown in FIG. 12 (b).
  • the portion where the blood flow is fast corresponding to the region H3 is the blood vessel B1 in the region R11.
  • the SC image displayed so that the display color gamut of the portion where the blood flow is slow corresponding to the region H2 is widened is as shown in FIG. 12 (c).
  • the portion where the blood flow is slow corresponding to the region H2 is the blood vessel B2 in the region R12.
  • the operator can appropriately select the mode to display an SC image in which the flow velocity distribution of the portion where the blood flow is fast as shown in FIG. 12B can be easily visually recognized, or can be displayed in FIG. 12C. It is convenient because it is possible to easily display an SC image that makes it easy to visually recognize the flow velocity distribution in the portion where the blood flow is slow as shown in.
  • FIG. 13 is a diagram schematically showing a case where the histogram of SC has two peaks in the embodiment of the present disclosure.
  • the selection unit 712 can select, for example, a mode in which the dynamic range of the SC in the region H4 becomes larger among the plurality of modes.
  • the selection unit 712 can select, for example, a mode in which the dynamic range of SC in the region H5 becomes larger among a plurality of modes.
  • the selection unit 712 can select, for example, a mode in which the dynamic range of the SC in the region H6, which is the sum of the regions H4 and the region H5, becomes larger among the plurality of modes.
  • the selection unit 712 may select, for example, a mode in which the distance between the centers of gravity of the two peaks is large among the plurality of modes.
  • FIG. 14 is a diagram showing an example of an SC image in which the area is divided into a plurality of areas in the embodiment of the present disclosure.
  • the selection unit 712 may select a mode for each of the regions of interest ROI1 to ROI8, for example.
  • the selection unit 712 may select a mode for each image region divided in a grid pattern.
  • image division for example, an existing segmentation method can be used. Images captured in different modes may be displayed in parallel or combined.
  • FIG. 15 is a diagram showing an example of parallel display of a visible light image and an SC image in the embodiment of the present disclosure.
  • the display control unit 716 can display the SC image I2 and the visible light image I1 in parallel on the display unit 74, as shown in FIG. 15, based on the information integrated by the information integration unit 715. As a result, the surgeon can appropriately obtain necessary information such as the structure of the subject and the blood flow velocity by looking at both images.
  • each mode corresponds to a different parameter value. Therefore, a single exposure can be performed by simply selecting one of the modes.
  • SC image (speckle index value image)
  • the mode switching function in the technique of the present embodiment assists in easily performing such a procedure.
  • the perforator is a small blood vessel, but it is a very important blood vessel that nourishes a part of the brain. Entrainment of the penetrating branch contributes to postoperative complications. It is necessary to observe from fast blood flow (start of clipping) to slow blood flow (immediately before completion of clipping) in order to see blockage of aneurysm, and to observe slow blood flow change to see blood flow in penetrating branch. There is a need.
  • the mode switching function in the technique of the present embodiment facilitates such a procedure and assists in avoiding complications.
  • the mode can be selected, for example, according to a manual operation by the user. Then, the surgeon can select a mode suitable for the portion of interest in the subject each time and view the SC image created by that mode.
  • the mode selection may be automatically realized based on the dynamic range of the SC, the distance between the centers of gravity of the two peaks in the histogram distribution of the SC, and the like. Then, the mode selection operation by the operator becomes unnecessary, which is convenient.
  • Application example 1 The technology according to the present disclosure can be applied to various products.
  • the techniques according to the present disclosure may be applied to endoscopic systems.
  • an endoscopic surgery system which is an example of an endoscopic system, will be described.
  • FIG. 16 is a diagram showing an example of a schematic configuration of an endoscopic surgery system 5000 to which the technique according to the present disclosure can be applied.
  • FIG. 16 shows a surgeon (doctor) 5067 performing surgery on patient 5071 on patient bed 5069 using the endoscopic surgery system 5000.
  • the endoscopic surgery system 5000 includes an endoscope 5001, other surgical tools 5017, a support arm device 5027 for supporting the endoscope 5001, and various devices for endoscopic surgery. It is composed of a cart 5037 equipped with a.
  • troccas 5025a to 5025d are punctured into the abdominal wall.
  • the lens barrel 5003 of the endoscope 5001 and other surgical tools 5017 are inserted into the body cavity of the patient 5071.
  • a pneumoperitoneum tube 5019 an energy treatment tool 5021 and forceps 5023 are inserted into the body cavity of patient 5071.
  • the energy treatment tool 5021 is a treatment tool that cuts and peels tissue, seals a blood vessel, or the like by using a high-frequency current or ultrasonic vibration.
  • the surgical tool 5017 shown in the figure is only an example, and as the surgical tool 5017, various surgical tools generally used in endoscopic surgery such as a sword and a retractor may be used.
  • the image of the surgical site in the body cavity of the patient 5071 taken by the endoscope 5001 is displayed on the display device 5041.
  • the surgeon 5067 performs a procedure such as excising the affected area by using the energy treatment tool 5021 or the forceps 5023 while viewing the image of the surgical site displayed on the display device 5041 in real time.
  • the pneumoperitoneum tube 5019, the energy treatment tool 5021, and the forceps 5023 are supported by the operator 5067, an assistant, or the like during the operation.
  • the support arm device 5027 includes an arm portion 5031 extending from the base portion 5029.
  • the arm portion 5031 is composed of joint portions 5033a, 5033b, 5033c, and links 5035a, 5035b, and is driven by control from the arm control device 5045.
  • the endoscope 5001 is supported by the arm portion 5031, and its position and posture are controlled. As a result, the stable position of the endoscope 5001 can be fixed.
  • the endoscope 5001 is composed of a lens barrel 5003 in which a region having a predetermined length from the tip is inserted into the body cavity of the patient 5071, and a camera head 5005 connected to the base end of the lens barrel 5003.
  • the endoscope 5001 configured as a so-called rigid mirror having a rigid barrel 5003 is illustrated, but the endoscope 5001 is configured as a so-called flexible mirror having a flexible barrel 5003. May be good.
  • the tip of the lens barrel 5003 is provided with an opening in which the objective lens is fitted.
  • a light source device 5043 is connected to the endoscope 5001, and the light generated by the light source device 5043 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 5003, and is an objective. The light is emitted toward the observation target (subject) in the body cavity of the patient 5071 through the lens.
  • the endoscope 5001 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image sensor are provided inside the camera head 5005, and the reflected light (observation light) from the observation target is focused on the image sensor by the optical system.
  • the observation light is photoelectrically converted by the image sensor, and an electric signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted as RAW data to the camera control unit (CCU: Camera Control Unit) 5039.
  • the camera head 5005 is equipped with a function of adjusting the magnification and the focal length by appropriately driving the optical system thereof.
  • the camera head 5005 may be provided with a plurality of image pickup elements.
  • a plurality of relay optical systems are provided inside the lens barrel 5003 in order to guide the observation light to each of the plurality of image pickup elements.
  • the CCU 5039 is composed of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and comprehensively controls the operations of the endoscope 5001 and the display device 5041. Specifically, the CCU 5039 performs various image processing for displaying an image based on the image signal, such as a development process (demosaic processing), on the image signal received from the camera head 5005. The CCU 5039 provides the image signal subjected to the image processing to the display device 5041. Further, the CCU 5039 transmits a control signal to the camera head 5005 and controls the driving thereof.
  • the control signal may include information about imaging conditions such as magnification and focal length.
  • the display device 5041 displays an image based on the image signal processed by the CCU 5039 under the control of the CCU 5039.
  • the endoscope 5001 is compatible with high-resolution shooting such as 4K (3840 horizontal pixels x 2160 vertical pixels) or 8K (7680 horizontal pixels x 4320 vertical pixels), and / or 3D display.
  • the display device 5041 a device capable of displaying a high resolution and / or a device capable of displaying in 3D can be used corresponding to each of the above.
  • a display device 5041 having a size of 55 inches or more is used for high-resolution shooting such as 4K or 8K, a further immersive feeling can be obtained.
  • a plurality of display devices 5041 having different resolutions and sizes may be provided depending on the application.
  • the light source device 5043 is composed of, for example, a light source such as an LED (light LED diode), and supplies the irradiation light for photographing the surgical site to the endoscope 5001.
  • a light source such as an LED (light LED diode)
  • the arm control device 5045 is configured by a processor such as a CPU, and operates according to a predetermined program to control the drive of the arm portion 5031 of the support arm device 5027 according to a predetermined control method.
  • the input device 5047 is an input interface for the endoscopic surgery system 5000.
  • the user can input various information and input instructions to the endoscopic surgery system 5000 via the input device 5047.
  • the user inputs various information related to the surgery, such as physical information of the patient and information about the surgical procedure, via the input device 5047.
  • the user gives an instruction to drive the arm portion 5031 via the input device 5047, or an instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 5001.
  • An instruction to drive the energy treatment tool 5021 and the like are input.
  • the type of input device 5047 is not limited, and the input device 5047 may be various known input devices.
  • the input device 5047 for example, a mouse, a keyboard, a touch panel, a switch, a foot switch 5057 and / or a lever and the like can be applied.
  • the touch panel may be provided on the display surface of the display device 5041.
  • the input device 5047 is a device worn by the user, such as a glasses-type wearable device or an HMD (Head Mounted Display), and various inputs are input according to the user's gesture and line of sight detected by these devices. Will be done.
  • the input device 5047 includes a camera capable of detecting the movement of the user, and various inputs are performed according to the gesture and the line of sight of the user detected from the image captured by the camera.
  • the input device 5047 includes a microphone capable of picking up the user's voice, and various inputs are performed by voice through the microphone.
  • the input device 5047 By configuring the input device 5047 to be able to input various information in a non-contact manner in this way, a user belonging to a clean area (for example, an operator 5067) can operate a device belonging to a dirty area in a non-contact manner. Is possible. In addition, since the user can operate the device without taking his / her hand off the surgical tool he / she has, the convenience of the user is improved.
  • the treatment tool control device 5049 controls the drive of the energy treatment tool 5021 for ablation of tissue, incision, sealing of blood vessels, and the like.
  • the pneumoperitoneum device 5051 gas in the body cavity of the patient 5071 via the pneumoperitoneum tube 5019 for the purpose of securing the field of view by the endoscope 5001 and securing the work space of the operator.
  • Recorder 5053 is a device capable of recording various information related to surgery.
  • the printer 5055 is a device capable of printing various information related to surgery in various formats such as text, images, and graphs.
  • the support arm device 5027 includes a base portion 5029 as a base and an arm portion 5031 extending from the base portion 5029.
  • the arm portion 5031 is composed of a plurality of joint portions 5033a, 5033b, 5033c and a plurality of links 5035a, 5035b connected by the joint portions 5033b, but in FIG. 16, for simplicity.
  • the configuration of the arm portion 5031 is shown in a simplified manner. Actually, the shapes, numbers and arrangements of the joint portions 5033a to 5033c and the links 5035a and 5035b, and the direction of the rotation axis of the joint portions 5033a to 5033c are appropriately set so that the arm portion 5031 has a desired degree of freedom. obtain.
  • the arm portion 5031 can be preferably configured to have at least 6 degrees of freedom.
  • the endoscope 5001 can be freely moved within the movable range of the arm portion 5031, so that the lens barrel 5003 of the endoscope 5001 can be inserted into the body cavity of the patient 5071 from a desired direction. It will be possible.
  • Actuators are provided in the joint portions 5033a to 5033c, and the joint portions 5033a to 5033c are configured to be rotatable around a predetermined rotation axis by driving the actuator.
  • the arm control device 5045 By controlling the drive of the actuator by the arm control device 5045, the rotation angles of the joint portions 5033a to 5033c are controlled, and the drive of the arm portion 5031 is controlled. Thereby, control of the position and orientation of the endoscope 5001 can be realized.
  • the arm control device 5045 can control the drive of the arm unit 5031 by various known control methods such as force control or position control.
  • the arm control device 5045 appropriately controls the drive of the arm unit 5031 in response to the operation input.
  • the position and orientation of the endoscope 5001 may be controlled.
  • the endoscope 5001 at the tip of the arm portion 5031 can be moved from an arbitrary position to an arbitrary position, and then fixedly supported at the moved position.
  • the arm portion 5031 may be operated by a so-called master slave method. In this case, the arm portion 5031 can be remotely controlled by the user via an input device 5047 installed at a location away from the operating room.
  • the arm control device 5045 When force control is applied, the arm control device 5045 receives an external force from the user and moves the actuators of the joint portions 5033a to 5033c smoothly so that the arm portion 5031 moves smoothly according to the external force. So-called power assist control for driving may be performed.
  • the arm portion 5031 when the user moves the arm portion 5031 while directly touching the arm portion 5031, the arm portion 5031 can be moved with a relatively light force. Therefore, the endoscope 5001 can be moved more intuitively and with a simpler operation, and the convenience of the user can be improved.
  • the endoscope 5001 was supported by a doctor called a scopist.
  • the position of the endoscope 5001 can be fixed more reliably without human intervention, so that an image of the surgical site can be stably obtained. , It becomes possible to perform surgery smoothly.
  • the arm control device 5045 does not necessarily have to be provided on the cart 5037. Further, the arm control device 5045 does not necessarily have to be one device. For example, the arm control device 5045 may be provided at each joint portion 5033a to 5033c of the arm portion 5031 of the support arm device 5027, and the arm portion 5031 is driven by the plurality of arm control devices 5045 cooperating with each other. Control may be realized.
  • the light source device 5043 supplies the endoscope 5001 with the irradiation light for photographing the surgical site.
  • the light source device 5043 is composed of, for example, an LED, a laser light source, or a white light source composed of a combination thereof.
  • a white light source is configured by combining RGB laser light sources, the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. Therefore, the white balance of the captured image in the light source device 5043 can be controlled. Can be adjusted.
  • the laser light from each of the RGB laser light sources is irradiated to the observation target in a time-division manner, and the drive of the image sensor of the camera head 5005 is controlled in synchronization with the irradiation timing to support each of RGB. It is also possible to capture the image in a time-division manner. According to this method, a color image can be obtained without providing a color filter on the image sensor.
  • the drive of the light source device 5043 may be controlled so as to change the intensity of the output light at predetermined time intervals.
  • the drive of the image sensor of the camera head 5005 in synchronization with the timing of changing the light intensity to acquire images in a time-divided manner and synthesizing the images, so-called high dynamic without blackout and overexposure Range images can be generated.
  • the light source device 5043 may be configured to be able to supply light in a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of light absorption in body tissue to irradiate light in a narrow band as compared with the irradiation light (that is, white light) in normal observation, the surface layer of the mucous membrane. So-called narrow band imaging, in which a predetermined tissue such as a blood vessel is photographed with high contrast, is performed.
  • fluorescence observation in which an image is obtained by fluorescence generated by irradiating with excitation light may be performed.
  • the body tissue is irradiated with excitation light to observe the fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into the body tissue and the body tissue is injected.
  • An excitation light corresponding to the fluorescence wavelength of the reagent may be irradiated to obtain a fluorescence image.
  • the light source device 5043 may be configured to be capable of supplying narrow band light and / or excitation light corresponding to such special light observation.
  • FIG. 17 is a block diagram showing an example of the functional configuration of the camera head 5005 and CCU5039 shown in FIG.
  • the camera head 5005 has a lens unit 5007, an imaging unit 5009, a driving unit 5011, a communication unit 5013, and a camera head control unit 5015 as its functions.
  • the CCU 5039 has a communication unit 5059, an image processing unit 5061, and a control unit 5063 as its functions.
  • the camera head 5005 and the CCU 5039 are bidirectionally communicatively connected by a transmission cable 5065.
  • the lens unit 5007 is an optical system provided at a connection portion with the lens barrel 5003.
  • the observation light taken in from the tip of the lens barrel 5003 is guided to the camera head 5005 and incident on the lens unit 5007.
  • the lens unit 5007 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
  • the optical characteristics of the lens unit 5007 are adjusted so as to collect the observation light on the light receiving surface of the image sensor of the image pickup unit 5009.
  • the zoom lens and the focus lens are configured so that their positions on the optical axis can be moved in order to adjust the magnification and the focus of the captured image.
  • the image pickup unit 5009 is composed of an image pickup element and is arranged after the lens unit 5007.
  • the observation light that has passed through the lens unit 5007 is focused on the light receiving surface of the image sensor, and an image signal corresponding to the observation image is generated by photoelectric conversion.
  • the image signal generated by the imaging unit 5009 is provided to the communication unit 5013.
  • CMOS Complementary MetalOxide Semiconductor
  • image sensor for example, an image sensor capable of capturing a high-resolution image of 4K or higher may be used.
  • the image pickup elements constituting the image pickup unit 5009 are configured to have a pair of image pickup elements for acquiring image signals for the right eye and the left eye corresponding to 3D display, respectively.
  • the 3D display enables the operator 5067 to more accurately grasp the depth of the biological tissue in the surgical site.
  • the image pickup unit 5009 is composed of a multi-plate type, a plurality of lens units 5007 are also provided corresponding to each image pickup element.
  • the imaging unit 5009 does not necessarily have to be provided on the camera head 5005.
  • the imaging unit 5009 may be provided inside the lens barrel 5003 immediately after the objective lens.
  • the drive unit 5011 is composed of an actuator, and the zoom lens and focus lens of the lens unit 5007 are moved by a predetermined distance along the optical axis under the control of the camera head control unit 5015. As a result, the magnification and focus of the image captured by the imaging unit 5009 can be adjusted as appropriate.
  • the communication unit 5013 is composed of a communication device for transmitting and receiving various information to and from the CCU 5039.
  • the communication unit 5013 transmits the image signal obtained from the image pickup unit 5009 as RAW data to the CCU 5039 via the transmission cable 5065.
  • the image signal is transmitted by optical communication.
  • the surgeon 5067 performs the surgery while observing the condition of the affected area with the captured image, so for safer and more reliable surgery, the moving image of the surgical site is displayed in real time as much as possible. This is because it is required.
  • the communication unit 5013 is provided with a photoelectric conversion module that converts an electric signal into an optical signal.
  • the image signal is converted into an optical signal by the photoelectric conversion module and then transmitted to the CCU 5039 via the transmission cable 5065.
  • the communication unit 5013 receives a control signal for controlling the drive of the camera head 5005 from the CCU 5039.
  • the control signal includes, for example, information to specify the frame rate of the captured image, information to specify the exposure value at the time of imaging, and / or information to specify the magnification and focus of the captured image. Contains information about the condition.
  • the communication unit 5013 provides the received control signal to the camera head control unit 5015.
  • the control signal from CCU5039 may also be transmitted by optical communication.
  • the communication unit 5013 is provided with a photoelectric conversion module that converts an optical signal into an electric signal, and the control signal is converted into an electric signal by the photoelectric conversion module and then provided to the camera head control unit 5015.
  • the above-mentioned imaging conditions such as frame rate, exposure value, magnification, focus, etc. are automatically set by the control unit 5063 of CCU5039 based on the acquired image signal. That is, the so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are mounted on the endoscope 5001.
  • the camera head control unit 5015 controls the drive of the camera head 5005 based on the control signal from the CCU 5039 received via the communication unit 5013. For example, the camera head control unit 5015 controls the drive of the image sensor of the image pickup unit 5009 based on the information to specify the frame rate of the captured image and / or the information to specify the exposure at the time of imaging. Further, for example, the camera head control unit 5015 appropriately moves the zoom lens and the focus lens of the lens unit 5007 via the drive unit 5011 based on the information that the magnification and the focus of the captured image are specified.
  • the camera head control unit 5015 may further have a function of storing information for identifying the lens barrel 5003 and the camera head 5005.
  • the camera head 5005 can be made resistant to autoclave sterilization.
  • the communication unit 5059 is composed of a communication device for transmitting and receiving various information to and from the camera head 5005.
  • the communication unit 5059 receives an image signal transmitted from the camera head 5005 via the transmission cable 5065.
  • the image signal can be suitably transmitted by optical communication.
  • the communication unit 5059 is provided with a photoelectric conversion module that converts an optical signal into an electric signal.
  • the communication unit 5059 provides the image processing unit 5061 with an image signal converted into an electric signal.
  • the communication unit 5059 transmits a control signal for controlling the drive of the camera head 5005 to the camera head 5005.
  • the control signal may also be transmitted by optical communication.
  • the image processing unit 5061 performs various image processing on the image signal which is the RAW data transmitted from the camera head 5005.
  • the image processing includes, for example, development processing, high image quality processing (band enhancement processing, super-resolution processing, NR (Noise reduction) processing and / or camera shake correction processing, etc.), and / or enlargement processing (electronic zoom processing). Etc., various known signal processing is included.
  • the image processing unit 5061 performs detection processing on the image signal for performing AE, AF, and AWB.
  • the image processing unit 5061 is composed of a processor such as a CPU or GPU, and when the processor operates according to a predetermined program, the above-mentioned image processing and detection processing can be performed.
  • the image processing unit 5061 is composed of a plurality of GPUs, the image processing unit 5061 appropriately divides the information related to the image signal and performs image processing in parallel by the plurality of GPUs.
  • the control unit 5063 performs various controls regarding the imaging of the surgical site by the endoscope 5001 and the display of the captured image. For example, the control unit 5063 generates a control signal for controlling the drive of the camera head 5005. At this time, when the imaging condition is input by the user, the control unit 5063 generates a control signal based on the input by the user. Alternatively, when the endoscope 5001 is equipped with the AE function, the AF function, and the AWB function, the control unit 5063 sets the optimum exposure value, focal length, and the optimum exposure value, depending on the result of the detection process by the image processing unit 5061. The white balance is calculated appropriately and a control signal is generated.
  • control unit 5063 causes the display device 5041 to display the image of the surgical unit based on the image signal that has been image-processed by the image processing unit 5061.
  • the control unit 5063 recognizes various objects in the surgical site image by using various image recognition techniques.
  • the control unit 5063 detects a surgical tool such as forceps, a specific biological part, bleeding, a mist when using the energy treatment tool 5021, etc. by detecting the shape and color of the edge of the object included in the surgical site image. Can be recognized.
  • the control unit 5063 uses the recognition result to superimpose and display various surgical support information on the image of the surgical site. By superimposing the surgical support information and presenting it to the surgeon 5067, it becomes possible to proceed with the surgery more safely and surely.
  • the transmission cable 5065 that connects the camera head 5005 and the CCU 5039 is an electric signal cable that supports electric signal communication, an optical fiber that supports optical communication, or a composite cable thereof.
  • the communication is performed by wire using the transmission cable 5065, but the communication between the camera head 5005 and the CCU 5039 may be performed wirelessly.
  • the communication between the two is performed wirelessly, it is not necessary to lay the transmission cable 5065 in the operating room, so that the situation where the movement of the medical staff in the operating room is hindered by the transmission cable 5065 can be solved.
  • the example of the endoscopic surgery system 5000 to which the technique according to the present disclosure can be applied has been described above. Although the endoscopic surgery system 5000 has been described here as an example, the system to which the technique according to the present disclosure can be applied is not limited to such an example. For example, the technique according to the present disclosure may be applied to a flexible endoscopic surgery system for examination and a microscopic surgery system described in Application Example 2 below.
  • the technique according to the present disclosure can be suitably applied to the endoscope 5001 among the configurations described above. Specifically, in the present disclosure, when the blood flow part and the non-blood flow part in the image of the surgical part in the body cavity of the patient 5071 taken by the endoscope 5001 are easily and visually displayed on the display device 5041. Such technology can be applied.
  • the technique according to the present disclosure to the endoscope 5001, in the speckle imaging technique, it is possible to easily switch between an easy-to-see display of a slow flow velocity portion and an easy-to-see display of a fast flow velocity portion in an SC image with a single exposure time. be able to. As a result, the surgeon 5067 can view the highly visible SC image according to the target organ and the surgical procedure on the display device 5041 in real time, and can perform the surgery more safely.
  • the technique according to the present disclosure may be applied to a microscope system.
  • a microscope surgery system which is an example of a microscope system
  • the microsurgery system is a system used for so-called microsurgery, in which a minute part of a patient is magnified and observed.
  • FIG. 18 is a diagram showing an example of a schematic configuration of a microscopic surgery system 5300 to which the technique according to the present disclosure can be applied.
  • the microscope surgery system 5300 is composed of a microscope device 5301, a control device 5317, and a display device 5319.
  • the “user” means an operator, an assistant, or any other medical staff who uses the microsurgery system 5300.
  • the microscope device 5301 includes a microscope unit 5303 for magnifying and observing an observation target (patient's surgical part), an arm part 5309 that supports the microscope part 5303 at the tip, and a base part 5315 that supports the base end of the arm part 5309. , Have.
  • the microscope unit 5303 includes a substantially cylindrical tubular portion 5305, an imaging unit (not shown) provided inside the tubular portion 5305, and an operating unit 5307 provided in a part of the outer periphery of the tubular portion 5305. And consists of.
  • the microscope unit 5303 is an electronic imaging type microscope unit (so-called video type microscope unit) that electronically captures an captured image by the imaging unit.
  • a cover glass is provided on the opening surface at the lower end of the tubular portion 5305 to protect the internal imaging portion.
  • the light from the observation target (hereinafter, also referred to as observation light) passes through the cover glass and is incident on the imaging portion inside the tubular portion 5305.
  • a light source made of, for example, an LED (Light Emitting Diode) may be provided inside the tubular portion 5305, and at the time of imaging, light is emitted from the light source to the observation target through the cover glass. You may.
  • the image pickup unit is composed of an optical system that collects the observation light and an image pickup element that receives the observation light collected by the optical system.
  • the optical system is configured by combining a plurality of lenses including a zoom lens and a focus lens, and its optical characteristics are adjusted so as to form an image of observation light on a light receiving surface of an image pickup device.
  • the image sensor receives the observation light and performs photoelectric conversion to generate a signal corresponding to the observation light, that is, an image signal corresponding to the observation image.
  • the image pickup device for example, one capable of color photographing having a Bayer array is used.
  • the image sensor may be various known image sensors such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor.
  • the image signal generated by the image sensor is transmitted to the control device 5317 as RAW data.
  • the transmission of this image signal may be preferably performed by optical communication.
  • the surgeon performs surgery while observing the condition of the affected area using captured images, so for safer and more reliable surgery, it is necessary to display the moving image of the surgical site in real time as much as possible. Because it is possible.
  • By transmitting the image signal by optical communication it is possible to display the captured image with low latency.
  • the imaging unit may have a drive mechanism for moving the zoom lens and the focus lens of the optical system along the optical axis. By appropriately moving the zoom lens and the focus lens by the drive mechanism, the magnification of the captured image and the focal length at the time of imaging can be adjusted. Further, the imaging unit may be equipped with various functions that can be generally provided in an electronic imaging type microscope unit, such as an AE (Auto Exposure) function and an AF (Auto Focus) function.
  • AE Auto Exposure
  • AF Auto Focus
  • the image pickup unit may be configured as a so-called single-plate type image pickup unit having one image pickup element, or may be configured as a so-called multi-plate type image pickup unit having a plurality of image pickup elements.
  • each image pickup element may generate an image signal corresponding to each of RGB, and a color image may be obtained by synthesizing them.
  • the image pickup unit may be configured to have a pair of image pickup elements for acquiring image signals for the right eye and the left eye corresponding to stereoscopic vision (3D display), respectively.
  • the 3D display enables the operator to more accurately grasp the depth of the biological tissue in the surgical site.
  • a plurality of optical systems may be provided corresponding to each image pickup element.
  • the operation unit 5307 is an input means composed of, for example, a cross lever or a switch, and accepts a user's operation input.
  • the user can input an instruction to change the magnification of the observation image and the focal length to the observation target via the operation unit 5307.
  • the magnification and focal length can be adjusted by appropriately moving the zoom lens and the focus lens by the drive mechanism of the imaging unit according to the instruction.
  • the user can input an instruction to switch the operation mode (all-free mode and fixed mode described later) of the arm unit 5309 via the operation unit 5307.
  • the operation mode all-free mode and fixed mode described later
  • the operation unit 5307 may be provided at a position where the user can easily operate the tubular portion 5305 with a finger while holding the tubular portion 5305 so that the operation unit 5307 can be operated even while the user is moving the tubular portion 5305. preferable.
  • the arm portion 5309 is configured by connecting a plurality of links (first link 5313a to sixth link 5313f) rotatably to each other by a plurality of joint portions (first joint portion 5311a to sixth joint portion 5311f). Will be done.
  • the first joint portion 5311a has a substantially cylindrical shape, and at the tip (lower end) thereof, the upper end of the tubular portion 5305 of the microscope portion 5303 is a rotation axis (first axis) parallel to the central axis of the tubular portion 5305. O1) Support it so that it can rotate around.
  • the first joint portion 5311a may be configured such that the first axis O1 coincides with the optical axis of the imaging portion of the microscope unit 5303. This makes it possible to change the field of view so as to rotate the captured image by rotating the microscope unit 5303 around the first axis O1.
  • the first link 5313a fixedly supports the first joint portion 5311a at the tip.
  • the first link 5313a is a rod-shaped member having a substantially L-shape, and one side of the tip side extends in a direction orthogonal to the first axis O1, and the end of the one side is the first joint. It is connected to the first joint portion 5311a so as to abut the upper end portion of the outer periphery of the portion 5311a.
  • the second joint portion 5311b is connected to the other end of the first link 5313a on the base end side of the substantially L-shape.
  • the second joint portion 5311b has a substantially cylindrical shape, and at its tip, the base end of the first link 5313a is rotatably supported around a rotation axis (second axis O2) orthogonal to the first axis O1. ..
  • the tip of the second link 5313b is fixedly connected to the base end of the second joint portion 5311b.
  • the second link 5313b is a rod-shaped member having a substantially L-shape, and one side of the tip side extends in a direction orthogonal to the second axis O2, and the end of the one side is the base of the second joint portion 5311b. Fixedly connected to the end.
  • the third joint portion 5311c is connected to the other side of the second link 5313b on the base end side of the substantially L-shape.
  • the fourth link 5313d is a rod-shaped member that extends substantially linearly, and while extending so as to be orthogonal to the fourth axis O4, the end of the tip thereof hits the side surface of the fourth joint portion 5311d in a substantially cylindrical shape. It is fixedly connected to the fourth joint portion 5311d so as to be in contact with it. A fifth joint portion 5311e is connected to the base end of the fourth link 5313d.
  • the fifth joint portion 5311e has a substantially cylindrical shape, and its tip side rotatably supports the base end of the fourth link 5313d around a rotation axis (fifth axis O5) parallel to the fourth axis O4. To do.
  • the tip of the fifth link 5313e is fixedly connected to the base end of the fifth joint portion 5311e.
  • the fourth axis O4 and the fifth axis O5 are rotation axes capable of moving the microscope unit 5303 in the vertical direction.
  • the height of the microscope unit 5303 that is, the distance between the microscope unit 5303 and the observation target can be adjusted by rotating the configuration on the tip side including the microscope unit 5303 around the fourth axis O4 and the fifth axis O5. ..
  • the fifth link 5313e has a first member having a substantially L-shape in which one side extends in the vertical direction and the other side extends in the horizontal direction, and the first member extends vertically downward from a portion extending in the horizontal direction. It is configured by combining with a rod-shaped second member to be stretched.
  • the base end of the fifth joint portion 5311e is fixedly connected to the vicinity of the upper end of the portion extending in the vertical direction of the first member of the fifth link 5313e.
  • the sixth joint portion 5311f is connected to the base end (lower end) of the second member of the fifth link 5313e.
  • the sixth link 5313f is a rod-shaped member extending in the vertical direction, and its base end is fixedly connected to the upper surface of the base portion 5315.
  • the rotatable range of the first joint portion 5311a to the sixth joint portion 5311f is appropriately set so that the microscope unit 5303 can perform a desired movement.
  • the arm unit 5309 having the configuration described above a total of 6 degrees of freedom of translation 3 degrees of freedom and rotation 3 degrees of freedom can be realized with respect to the movement of the microscope unit 5303.
  • the position and posture of the microscope unit 5303 can be freely controlled within the movable range of the arm unit 5309. It will be possible. Therefore, the surgical site can be observed from all angles, and the surgery can be performed more smoothly.
  • the configuration of the arm portion 5309 shown in the figure is merely an example, and the number and shape (length) of the links constituting the arm portion 5309, the number of joints, the arrangement position, the direction of the rotation axis, and the like are freely desired. It may be appropriately designed so that the degree can be realized.
  • the arm unit 5309 in order to move the microscope unit 5303 freely, the arm unit 5309 is preferably configured to have 6 degrees of freedom, but the arm unit 5309 has a larger degree of freedom (ie, redundant freedom). It may be configured to have degrees of freedom.
  • the arm portion 5309 can change the posture of the arm portion 5309 while the position and posture of the microscope unit 5303 are fixed. Therefore, more convenient control for the operator can be realized, for example, by controlling the posture of the arm portion 5309 so that the arm portion 5309 does not interfere with the field of view of the operator looking at the display device 5319.
  • the control device 5317 uses the grasped information to calculate a control value (for example, rotation angle or generated torque) for each joint that realizes the movement of the microscope unit 5303 in response to an operation input from the user. Then, the drive mechanism of each joint is driven according to the control value.
  • a control value for example, rotation angle or generated torque
  • the control method of the arm unit 5309 by the control device 5317 is not limited, and various known control methods such as force control or position control may be applied.
  • the control device 5317 appropriately controls the drive of the arm unit 5309 according to the operation input, and controls the position and posture of the microscope unit 5303. May be done.
  • the microscope unit 5303 can be moved from an arbitrary position to an arbitrary position, and then fixedly supported at the moved position.
  • an input device such as a foot switch that can be operated even if the operator holds the surgical tool in his hand.
  • the operation input may be performed in a non-contact manner based on the gesture detection or the line-of-sight detection using a wearable device or a camera provided in the operating room.
  • the actuators of the first joint portion 5311a to the sixth joint portion 5311f are driven so as to receive an external force from the user and the arm portion 5309 moves smoothly according to the external force.
  • So-called power assist control may be performed.
  • the drive of the arm portion 5309 may be controlled so as to perform a pivot operation.
  • the pivot operation is an operation of moving the microscope unit 5303 so that the optical axis of the microscope unit 5303 always faces a predetermined point in space (hereinafter, referred to as a pivot point). According to the pivot operation, the same observation position can be observed from various directions, so that the affected part can be observed in more detail.
  • the microscope unit 5303 is configured so that its focal length cannot be adjusted, it is preferable that the pivot operation is performed with the distance between the microscope unit 5303 and the pivot point fixed. In this case, the distance between the microscope unit 5303 and the pivot point may be adjusted to a fixed focal length of the microscope unit 5303.
  • first joint portion 5311a to the sixth joint portion 5311f may be provided with a brake for restraining the rotation thereof.
  • the operation of the brake can be controlled by the control device 5317.
  • the control device 5317 activates the brake of each joint portion.
  • the posture of the arm portion 5309 that is, the position and posture of the microscope portion 5303 can be fixed without driving the actuator, so that the power consumption can be reduced.
  • the control device 5317 may release the brake of each joint unit and drive the actuator according to a predetermined control method.
  • Such a brake operation can be performed in response to an operation input by the user via the operation unit 5307 described above.
  • the operation unit 5307 When the user wants to move the position and posture of the microscope unit 5303, he / she operates the operation unit 5307 to release the brake of each joint portion.
  • the operation mode of the arm portion 5309 shifts to a mode in which rotation in each joint portion can be freely performed (all-free mode).
  • the operation mode of the arm portion 5309 shifts to the mode in which the rotation of each joint portion is restricted (fixed mode).
  • the signal processing for example, development processing (demosaic processing), high image quality processing (band enhancement processing, super-resolution processing, NR (Noise reduction) processing and / or camera shake correction processing, etc.) and / or enlargement processing (that is, Various known signal processing such as electronic zoom processing) may be performed.
  • the communication between the control device 5317 and the microscope unit 5303 and the communication between the control device 5317 and the first joint portion 5311a to the sixth joint portion 5311f may be wired communication or wireless communication.
  • wired communication communication by an electric signal may be performed, or optical communication may be performed.
  • the transmission cable used for wired communication may be configured as an electric signal cable, an optical fiber, or a composite cable thereof depending on the communication method.
  • wireless communication since it is not necessary to lay a transmission cable in the operating room, it is possible to eliminate the situation where the transmission cable hinders the movement of medical staff in the operating room.
  • FIG. 19 is a diagram showing a state of surgery using the microscopic surgery system 5300 shown in FIG.
  • FIG. 19 schematically shows a surgeon 5321 performing surgery on a patient 5325 on a patient bed 5323 using the microsurgery system 5300.
  • the control device 5317 is not shown in the configuration of the microscope surgery system 5300, and the microscope device 5301 is shown in a simplified manner.
  • the speckle index value is calculated based on the speckle image and the first parameter value
  • the speckle A calculation means for calculating the speckle index value based on the image and the second parameter value
  • a generation means for generating a speckle index value image based on the calculated speckle index value
  • a medical system including a display control means for displaying the speckle index value image on a display unit.
  • the speckle index value is calculated based on the speckle image and the first parameter value
  • the speckle A calculation means for calculating the speckle index value based on the image and the second parameter value
  • a generation means for generating a speckle index value image based on the calculated speckle index value
  • An information processing device including a display control means for displaying the speckle index value image on a display unit.
  • the selection means examines the histogram distribution of the speckle index value in the region of interest in the speckle image among the first mode and the second mode, and if there are two peaks, the centers of gravity of the two peaks.
  • the information processing apparatus according to (3) which selects the one having a larger distance.
  • the speckle contrast value (SC) has been described as an example as a statistical index value for the speckle brightness value, but the present invention is not limited to this, and BR (Blur Rate), SBR. (Square BR), MBR (Mean BR), etc. may be used.
  • the time of intraoperative support has been mainly described, but the present invention is not limited to this.
  • the present invention can also be applied to postoperative image analysis by storing an intraoperative speckle image.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Physiology (AREA)
  • Hematology (AREA)
  • Cardiology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Processing (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Microscoopes, Condenser (AREA)
  • Endoscopes (AREA)

Abstract

医療システム（１）は、被写体からのコヒーレント光の反射光を撮像する撮像手段からスペックル画像を取得する。また、スペックルの輝度値についての統計的な指標値であるスペックル指標値を算出するためのパラメータとして、互いに異なる、第１のパラメータ値と、第２のパラメータ値と、を記憶する。また、第１のモードが選択されている場合、スペックル画像と第１のパラメータ値に基いてスペックル指標値を算出し、第２のモードが選択されている場合、スペックル画像と第２のパラメータ値に基いてスペックル指標値を算出する。そして、算出されたスペックル指標値に基いて、スペックル指標値画像を生成し、表示部（７４）に表示する。

Description

医療システム、情報処理装置及び情報処理方法
　本開示は、医療システム、情報処理装置及び情報処理方法に関する。
　近年、医療システムの分野で、血流やリンパ流等の流体の常時観察が可能なスペックルイメージング技術の開発が進められている。ここで、スペックルとは、照射されたコヒーレント光が被写体（対象物）の表面の微小な凹凸等によって反射、干渉することによって斑点状のパターンが生じる現象である。
　このスペックルの現象に基いて、例えば、被写体である生体における血流部と非血流部を識別することができる。具体的には、血流部ではコヒーレント光を反射する赤血球等が動くことによりスペックルコントラスト値が小さくなるのに対し、非血流部では全体が静止していてスペックルコントラスト値が大きくなる。したがって、各画素のスペックルコントラスト値を用いて生成されたスペックルコントラスト画像に基いて、血流部と非血流部を識別することができる。
　なお、スペックルの輝度値について統計的な処理を行うことによって算出する指標値（スペックル指標値）としては、スペックルコントラスト値のほかに、ＢＲ（Ｂｌｕｒ　Ｒａｔｅ）、ＳＢＲ（Ｓｑｕａｒｅ　ＢＲ）、ＭＢＲ（Ｍｅａｎ　ＢＲ）などもある。以下、スペックル指標値を用いて生成される画像をスペックル指標値画像という。
　一般に、流体（血液等）の速度（以下、「流速」ともいう。）に対応するスペックル指標値の絶対値や、流速域ごとのスペックル指標値の感度（変化しやすさ）は一定ではない。それらは、カメラの露光時間や、画像処理に関する各種パラメータ（処理サイズ（５×５セル等）、ゲイン（信号増幅率）等）等によって変化する。
　そして、遅い流速部分と速い流速部分の両方を含む被写体の場合は、例えば、複数の露光時間で撮像した画像を処理することで、遅い流速部分と速い流速部分の両方を見やすいスペックル指標値画像を生成できる。
特開２０１７－１７００６４号公報
　しかしながら、従来のスペックルイメージング技術では、単一の露光時間で、スペックル指標値画像において、遅い流速部分を見やすい表示と速い流速部分を見やすい表示を容易に切り替えることができなかった。具体的には、そのような切り替えをするためには、各種パラメータを個別に調整するしかなく、作業が煩雑であった。
　そこで、本開示では、単一の露光時間で、スペックル指標値画像において、遅い流速部分を見やすい表示と速い流速部分を見やすい表示を容易に切り替えることができる医療システム、情報処理装置及び情報処理方法を提案する。
　上記の課題を解決するために、本開示に係る一形態の医療システムは、被写体にコヒーレント光を照射する照射手段と、前記被写体からの前記コヒーレント光の反射光を撮像する撮像手段と、前記撮像手段からスペックル画像を取得する取得手段と、スペックルの輝度値についての統計的な指標値であるスペックル指標値を算出するためのパラメータとして、互いに異なる、第１のパラメータ値と、第２のパラメータ値と、を記憶する記憶手段と、前記第１のパラメータ値に対応する第１のモードと、前記第２のパラメータ値に対応する第２のモードと、のいずれかを選択する選択手段と、前記第１のモードが選択されている場合、前記スペックル画像と前記第１のパラメータ値に基いて前記スペックル指標値を算出し、前記第２のモードが選択されている場合、前記スペックル画像と前記第２のパラメータ値に基いて前記スペックル指標値を算出する算出手段と、算出された前記スペックル指標値に基いて、スペックル指標値画像を生成する生成手段と、前記スペックル指標値画像を表示部に表示させる表示制御手段と、を備える。
本開示の実施形態に係る医療システムの構成例を示す図である。 本開示の実施形態に係る情報処理装置の構成例を示す図である。 疑似血管のＳＣ画像例を示す図である。 ＳＣと流速の関係を示すグラフである。 本開示の実施形態に係る情報処理装置による画像処理を示すフローチャートである。 本開示の実施形態におけるモード選択画面の第１の例を示す図である。 本開示の実施形態におけるモード選択画面の第２の例を示す図である。 本開示の実施形態においてモードを切り替える場合の画面の遷移の第１の例を模式的に示す図である。 本開示の実施形態においてモードを切り替える場合の画面の遷移の第２の例を模式的に示す図である。 本開示の実施形態において速い流速部分のＳＣのダイナミックレンジがより大きくなるモードを選択した場合の説明図である。 本開示の実施形態において遅い流速部分のＳＣのダイナミックレンジがより大きくなるモードを選択した場合の説明図である。 本開示の実施形態において２本に分岐している血管のうち、流速が遅い血管に各種パラメータ値を合わせた場合と流速が速い血管に各種パラメータ値を合わせた場合の説明図である。 本開示の実施形態においてＳＣのヒストグラムにピークが２つある場合を模式的に示す図である。 本開示の実施形態において領域を複数に分割したＳＣ画像例を示す図である。 本開示の実施形態において可視光画像とＳＣ画像の並列表示例を示す図である。 本開示の応用例１に係る内視鏡手術システムの概略的な構成の一例を示す図である。 図１６に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 本開示の応用例２に係る顕微鏡手術システムの概略的な構成の一例を示す図である。 図１８に示す顕微鏡手術システムを用いた手術の様子を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の構成には同一の符号を付することにより重複する説明を適宜省略する。
　まず、本発明の意義について説明する。医療分野では血流の評価が重要であるケースが多い。例えば、脳外科手術でのバイパス術においては、血管同士をつないだ後に開通（血流）の確認を行う。また、動脈瘤のクリッピング術においては、クリッピング後に瘤内への血流の流れ込みを確認する。これらの用途では、これまで、超音波ドップラ血流計やＩＣＧ（Indocyanine　Green）薬剤を用いた血管造影による血流評価などが行われている。
　しかし、超音波ドップラ血流計は、プローブを接触した部分の一点での血流測定であるために、術野全体での血流動向分布がわからない。また、脳血管に接触して評価しなければならないというリスクがある。
　また、ＩＣＧ薬剤を用いた血管造影は、ＩＣＧ薬剤が生体内で血漿蛋白と結合して近赤外の励起光により蛍光を発するという特徴を利用したものであり、薬剤を投与する侵襲性のある観察である。また、血流の評価という点では、ＩＣＧ薬剤を投与した直後の変化から流れを見極めなければならないのでタイミングの点でも使い方の制限がある。
　そういった状況下で、薬剤投与せずに血流を可視化する血流評価方法としてスペックルイメージング技術がある。例えば、特開２０１７－１７００６４号公報では、スペックルイメージング技術における潅流評価の光学デバイスが開示されている。ここでは、レーザによって発生したスペックルを利用して動き（血流）を検出する原理が用いられている。以下、動き検出の指標として、例えばスペックルコントラストを利用した場合について説明する。
　スペックルコントラストは、光強度分布の（標準偏差）／（平均値）で示される値である。動きのない部分では、スペックルパターンの局所的に明るい部分から暗い部分まで分布しているので、強度分布の標準偏差が大きくなり、スペックルコントラスト（ぎらつき度合い）が高い。一方で、動きがある部分では、動きに伴ってスペックルパターンが変化する。ある露光時間をもった観察系でスペックルパターンを撮影することを考えると、露光時間内にスペックルパターンが変化するので撮影されたスペックルパターンは平均化され、スペックルコントラスト（ぎらつき度合い）が低くなる。特に動きが大きいほど平均化が進むのでスペックルコントラストが低くなる。このようにスペックルコントラストを評価することで動き量の大きさを知ることができる。
　そして、流体（血液等）の速度に対応するＳＣ（スペックルコントラスト（値））の絶対値や、流速域ごとのＳＣの感度（変化しやすさ）は一定ではない。それらは、カメラの露光時間や、画像処理に関する各種パラメータ（処理サイズ（５×５セル等）、ゲイン（信号増幅率）等）等によって変化する。
　ここで、図４は、ＳＣと流速の関係を示すグラフである。図４において、縦軸がＳＣで、横軸が流速である。流速Ｖ１のときＳＣはＳＣ１であり、流速Ｖ２のときＳＣはＳＣ２である。流速が流速Ｖ１未満の流速域Ｒ１において、ＳＣの変化の仕方は緩やかである。また、流速が流速Ｖ２以上の流速域Ｒ３において、ＳＣの変化の仕方は緩やかである。そして、流速が流速Ｖ１以上で流速Ｖ２未満の流速域Ｒ２において、ＳＣの変化の仕方は急である。つまり、流速域Ｒ２におけるＳＣの感度は高い。
　そして、遅い流速部分と速い流速部分の両方を含む被写体の場合は、例えば、複数の露光時間で撮像した画像を処理することで、遅い流速部分と速い流速部分の両方を見やすいＳＣ画像を生成できる。
　しかしながら、従来のスペックルイメージング技術では、単一の露光時間で、ＳＣ画像において、遅い流速部分を見やすい表示と速い流速部分を見やすい表示を容易に切り替えることができなかった。具体的には、そのような切り替えをするためには、各種パラメータを個別に調整するしかなく、作業が煩雑であった。
　そこで、以下では、単一の露光時間で、ＳＣ画像において、遅い流速部分を見やすい表示と速い流速部分を見やすい表示を容易に切り替えることができる医療システム、情報処理装置及び情報処理方法について説明する。
　図１は、本開示の実施形態に係る医療システム１の構成例を示す図である。医療システム１は、構造観察用光源２（照射手段）、狭帯域光源３（照射手段）、波長分離装置４、カラーカメラ５（撮像手段）、ＩＲカメラ６（撮像手段）及び情報処理装置７を備える。以下、各構成について詳細に説明する。
（１）光源
　構造観察用光源２は、被写体にインコヒーレント光（例えばインコヒーレントな可視光。以下、単に「可視光」ともいう。）を照射する。また、狭帯域光源３は、被写体にコヒーレント光（例えばコヒーレントな近赤外光。以下、単に「近赤外光」ともいう。）を照射する。なお、コヒーレント光とは、光束内の任意の二点における光波の位相関係が時間的に不変で一定であり、任意の方法で光束を分割した後、大きな光路差を与えて再び重ねあわせても完全な干渉性を示す光をいう。また、インコヒーレント光は、コヒーレント光における上述のような性質を有さない光をいう。
　本開示に係る狭帯域光源３から出力されるコヒーレント光の波長は、例えば８００～９００ｎｍ程度であることが好ましい。例えば、波長が８３０ｎｍであれば、ＩＣＧ観察と光学系を併用できる。つまり、ＩＣＧ観察を行う場合は波長が８３０ｎｍの近赤外光を使うのが一般的であるため、スペックル観察にも同波長の近赤外光を使うようにすれば、ＩＣＧ観察を実施可能な顕微鏡の光学系を変更することなく、スペックル観察が可能となる。
　なお、狭帯域光源３が照射するコヒーレント光の波長はこれに限定されず、ほかに、様々な波長を使うことが想定される。例えば、コヒーレント光として波長が４００～４５０ｎｍ（紫外～青）のものや波長が７００～９００ｎｍ（赤外）のものを用いたときには可視光照明と波長分離した観察が容易である。また、波長が４５０～７００ｎｍの可視のコヒーレント光を用いた場合にはプロジェクタなどで用いられているレーザを選択しやすい。また、Ｓｉ以外のイメージャを考えるなら波長が９００ｎｍ以上のコヒーレント光を利用することも可能である。以下では、コヒーレント光として波長が８３０ｎｍの近赤外光を使用する場合を例にとる。
　また、コヒーレント光を照射する狭帯域光源３の種類は、本技術の効果を損なわない限り特に限定されない。レーザ光を発する狭帯域光源３としては、例えば、アルゴンイオン（Ａｒ）レーザ、ヘリウム－ネオン（Ｈｅ－Ｎｅ）レーザ、ダイ（ｄｙｅ）レーザ、クリプトン（Ｃｒ）レーザ、半導体レーザ、半導体レーザと波長変換光学素子を組み合わせた固体レーザ等を、単独で、または、組み合わせて、用いることができる。
　なお、被写体に対して、構造観察用光源２からの可視光と狭帯域光源３からの近赤外光は同時に照射される。また、構造観察用光源２の種類は、本技術の効果を損なわない限り特に限定されない。一例としては、発光ダイオード等を挙げることができる。また、他の光源としては、キセノンランプ、メタルハライドランプ、高圧水銀ランプ等も挙げられる。
（２）被写体
　被写体は、様々なものでありえるが、例えば、流体を含むものが好適である。スペックルの性質上、流体からはスペックルが発生しにくいという性質がある。そのため、本開示に係る医療システム１を用いて流体を含む被写体をイメージングとすると、流体部と非流体部の境界や流体部の流速等を認識、表示等できる。
　より具体的には、例えば、被写体を、流体が血液である生体とすることができる。例えば、本開示に係る医療システム１を顕微鏡手術や内視鏡手術などで用いることで、血管の位置を確認しながら手術を行うことが可能である。そのため、より安全で高精度な手術を行うことができ、医療技術の更なる発展にも貢献することができる。
（３）撮像装置
　カラーカメラ５は、被写体からの可視光の反射光（散乱光）を撮像する。カラーカメラ５は、例えば、可視光観察用のＲＧＢ（Red　Green　Blue）イメージャである。
　ＩＲカメラ６は、被写体からの近赤外光の反射光（散乱光）を撮像する。ＩＲカメラ６は、例えば、スペックル観察用のＩＲ（Infrared）イメージャである。
　波長分離装置４は、例えば、ダイクロイックミラーである。波長分離装置４は、受光した近赤外光（反射光）と可視光（反射光）を分離する。カラーカメラ５は、波長分離装置４によって分離された可視光から得られる可視光画像を撮像する。ＩＲカメラ６は、波長分離装置４によって分離された近赤外光から得られるスペックル画像を撮像する。
（４）情報処理装置
　次に、図２を参照して、情報処理装置７について説明する。図２は、本開示の実施形態に係る情報処理装置７の構成例を示す図である。情報処理装置７は、画像処理装置であり、主な構成として、処理部７１、記憶部７２、入力部７３及び表示部７４を備える。
　記憶部７２は、可視光画像、スペックル画像、処理部７１の各部による演算結果等の各種情報を記憶する。また、記憶部７２は、スペックルの輝度値についての統計的な指標値であるＳＣを算出するためのパラメータとして、互いに異なる、第１のパラメータ値と、第２のパラメータ値と、を記憶する。
　パラメータは、例えば、処理サイズ（５×５セル等）、ゲイン（信号増幅率）、オフセット、各種閾値（上限値、下限値）、時間的ＮＲ（ノイズリダクション）を行うときの使用画像数等である。それらの各パラメータに対して、第１のパラメータ値と第２のパラメータ値が設定される（詳細は後述）。
　なお、記憶部７２の代わりに、医療システム１の外部の記憶装置を用いてもよい。
　処理部７１は、例えば、ＣＰＵ（Central　Processing　Unit）により実現され、主な構成として、取得部７１１（取得手段）、選択部７１２（選択手段）、算出部７１３（算出手段）、生成部７１４（生成手段）、情報統合部７１５及び表示制御部７１６（表示制御手段）を備える。
　取得部７１１は、カラーカメラ５から可視光画像を取得し、ＩＲカメラ６からスペックル画像を取得する。なお、可視光画像とスペックル画像について、写っている被写体の位置の対応がとられているものとする。つまり、両者の画角が一致している場合はそのままの画像でよいし、画角が一致していない場合は少なくとも一方の画像を補正して、写っている被写体の位置の対応をとるようにする。
　選択部７１２は、第１のパラメータ値に対応する第１のモードと、第２のパラメータ値に対応する第２のモードと、のいずれかを選択する。例えば、選択部７１２は、ユーザによる算出部７１３を用いた操作に応じて、第１のモードと第２のモードのいずれかを選択する。
　例えば、第１のモードは、血流の速度が比較的速い血管を観察するためのモードである。その場合、第１のパラメータ値は、被写体における流体の速度として想定される第１の速度に対応させたパラメータ値である。
　また、例えば、第２のモードは、血流の速度が比較的遅い組織を観察するためのモードである。その場合、第２のパラメータ値は、被写体における流体の速度として想定される、第１の速度よりも遅い第２の速度（ゼロの場合も含む。）に対応させたパラメータ値である。
　また、選択部７１２は、第１のモードと第２のモードのうち、スペックル画像の関心領域におけるＳＣのダイナミックレンジが大きくなるほうを選択するようにしてもよい。
　また、選択部７１２は、第１のモードと第２のモードのうち、スペックル画像の関心領域におけるＳＣのヒストグラム分布を調べ、ピークが２つある場合、２つのピークの重心距離が大きくなるほうを選択するようにしてもよい。その場合、スペックル画像中に、複数の関心領域を設定してもよい。
　また、選択部７１２は、ＳＣのヒストグラム分布のほかに、例えば、関心領域間の流速（ＳＣ）の相対値を基準にモードを選択してもよい。また、選択部７１２は、例えば、ドップラ血流計による計測値や血圧情報などの情報に基いてモードを選択してもよい。
　また、上述の例では、第１のモードと第２のモードの２つのモードがあるものとしたが、これに限定されない。モードは３つ以上であってもよい。また、モードが階層化されていて、複数のモードのそれぞれに対して細分類のモードがあってもよい。
　算出部７１３は、第１のモードが選択されている場合、スペックル画像と第１のパラメータ値に基いてＳＣを算出し、第２のモードが選択されている場合、スペックル画像と第２のパラメータ値に基いてＳＣを算出する。
　なお、ｉ番目の画素（注目画素）のスペックルコントラスト値（ＳＣ）は、以下の式（１）で表すことができる。
　ｉ番目の画素のスペックルコントラスト値＝
　　（ｉ番目の画素と周辺画素の強度の標準偏差）／
　　　　（ｉ番目の画素と周辺画素の強度の平均）　　　・・・式（１）
　ここで、図３を参照して、ＳＣ画像例について説明する。図３は、疑似血管のＳＣ画像例を示す図である。図３のＳＣ画像例に示す通り、非血流部に多くのスペックルが観察され、血流部にはスペックルがほとんど観察されない。
　図２に戻って、生成部７１４は、算出部７１３によって算出されたＳＣに基いて、ＳＣ画像を生成する。また、例えば、生成部７１４は、ＳＣ画像に基いて流体部（例えば血流部）と非流体部（例えば非血流部）を識別する。より具体的には、例えば、生成部７１４は、ＳＣ画像に基いて、ＳＣが所定のＳＣ閾値以上か否かを判定することによって血流部と非血流部を識別したり、血流部の血液の流れの程度を認識したりすることができる。
　情報統合部７１５は、出力画像を生成する。例えば、情報統合部７１５は、ＳＣ画像と可視光画像の各情報を統合する。
　表示制御部７１６は、情報統合部７１５によって統合された情報に基いて、表示部７４に画像を表示させる。表示制御部７１６は、例えば、ＳＣ画像と可視光画像を、表示部７４に、並列表示または重畳表示させる。その場合、表示制御部７１６は、例えば、血流部と非血流部を識別可能に表示させることが好ましい。
　入力部７３は、ユーザによって情報を入力するための手段であり、例えば、キーボードやマウスやタッチパネル等である。
　表示部７４は、表示制御部７１６からの制御により、取得部７１１によって取得された可視光画像、スペックル画像、処理部７１の各部による演算結果等の各種情報を表示する。なお、この表示部７４の代わりに、医療システム１の外部の表示装置を用いてもよい。
　次に、図５を参照して、情報処理装置７による画像処理について説明する。図５は、本開示の実施形態に係る情報処理装置７による画像処理を示すフローチャートである。
　まず、ステップＳ１において、取得部７１１は、カラーカメラ５から可視光画像を取得する。次に、ステップＳ２において、取得部７１１は、ＩＲカメラ６からスペックル画像を取得する。
　次に、ステップＳ３において、選択部７１２は、ユーザによる入力部７３を用いた操作等に応じて、第１のモードと第２のモードのいずれかを選択する。
　次に、ステップＳ４において、算出部７１３は、第１のモードが選択されている場合、スペックル画像と第１のパラメータ値に基いてＳＣを算出し、第２のモードが選択されている場合、スペックル画像と第２のパラメータ値に基いてＳＣを算出する。
　次に、ステップＳ５において、生成部７１４は、ステップＳ４で算出されたＳＣに基いて、ＳＣ画像を生成する。
　次に、ステップＳ６において、情報統合部７１５は、ＳＣ画像と可視光画像の各情報を統合する。
　次に、ステップＳ７において、表示制御部７１６は、ステップＳ６で統合された情報に基いて、表示部７４に画像を表示させる。表示制御部７１６は、例えば、ＳＣ画像と可視光画像を、表示部７４に、並列表示または重畳表示させる。ステップＳ７の後、処理を終了する。
　次に、図６～図１５を参照して、各画面等について説明する。図６は、本開示の実施形態におけるモード選択画面の第１の例を示す図である。図６に示すモード選択画面では、臓器Ａ～Ｈに対応する８つのモードが用意されている。そして、各モードごとに各種パラメータのパラメータ値が設定されている。したがって、例えば、術者（手術を行う医師）は、このモード選択画面で、臓器Ａ～Ｈのいずれかを選択するだけで、血流を見たい臓器に適したパラメータ値に基いて作成されたＳＣ画像を見ることができる。また、術者は、血流を見たい臓器が変わる場合は、この図６のようなモード選択画面で、見たい臓器のモードを新たに選択するだけで、その臓器に適したパラメータ値に基いて作成されたＳＣ画像を見ることができる。
　次に、図７は、本開示の実施形態におけるモード選択画面の第２の例を示す図である。図７に示すモード選択画面では、術式Ａ～Ｈに対応する８つのモードが用意されている。そして、各モードごとに各種パラメータのパラメータ値が設定されている。したがって、例えば、術者は、このモード選択画面で、術式Ａ～Ｈのいずれかを選択するだけで、その術式に適したパラメータ値に基いて作成されたＳＣ画像を見ることができる。また、術者は、術式が変わる場合は、この図７のようなモード選択画面で、次の術式のモードを新たに選択するだけで、その術式に適したパラメータ値に基いて作成されたＳＣ画像を見ることができる。
　すでに図４を参照して説明したように、スペックルイメージング技術では、感度が高い流速の範囲が狭いため、臓器や術式によって、適するパラメータ値は異なる。したがって、図６や図７に示したようなモード選択画面で術者が簡単にモードを選択および切替することができるようにすることは、術中の医師支援の観点で非常に有効である。
　例えば、脳動脈瘤のクリッピング術では、微小な血流の有無を確認することで、クリッピング術の成否を確認する。また、脳血管のバイパス術では、接続後の血管血流を確認する。また、脳腫瘍の摘出術では、腫瘍に栄養を供給している血管血流（速い血流）を確認するシーンと周辺も含めた組織血流（遅い血流）を確認するシーンが混在する。
　また、食道の手術では、切除した食道の代わりに、管状にした胃（胃管）を挙上して、残った食道と吻合する手技がある。そして、吻合部位を決定するための血流確認手技では組織血流の確認が必要となる。また、大腸の切除、吻合術も同様に組織血流を確認して吻合部位を決定する。
　よって、対象の臓器や術式に合わせたモードを準備し、容易に選択可能にすることで、円滑な手術支援が可能となり、手術の安全性が向上する。なお、術式選択（図７）は、臓器選択（図６）後の小分類としてもよい。
　次に、図８は、本開示の実施形態においてモードを切り替える場合の画面の遷移の第１の例を模式的に示す図である。同一の臓器であっても手技によって確認したい血流や求められる情報が異なることがある。例えば、比較的速い血管血流に着目する場合や、遅い組織血流に着目する場合や、血流の有無を確認する場合、血流速の分布をみる場合などである。そこで、そのようなそれぞれの場合に対応するモードを準備して、図８（ａ）、（ｂ）に示すように、それらのモードを選択するためのモード選択ボタンを画面上に用意する。そうすれば、術者は、例えば、関心領域ＲＯＩ１～ＲＯＩ８のいずれかについての自分が欲しい情報に合わせたモードを選ぶことで、その場面により適したＳＣ画像が表示されることになり、非常に有益である。その際、可視光画像とＳＣ画像の表示は、重畳表示でもよいし、あるいは、PinP（Picture-In-Picture）等による並列的な表示でもよい。
　次に、図９は、本開示の実施形態においてモードを切り替える場合の画面の遷移の第２の例を模式的に示す図である。図９（ａ）は、血流速が比較的速い血管血流を観察するモードによるＳＣ画像である。図９（ａ）に示すＳＣ画像に対応するモードでは、分岐後の血管Ｂ１と血管Ｂ２のうち、血管Ｂ１における血流が見やすいようにパラメータ値が設定されている。
　また、図９（ｂ）は、血流速が比較的遅い組織血流を観察するモードによるＳＣ画像である。図９（ｂ）に示すＳＣ画像に対応するモードでは、指の爪Ｃにおける組織血流が見やすいようにパラメータ値が設定されている。
　図１０は、本開示の実施形態において速い流速部分のＳＣのダイナミックレンジがより大きくなるモードを選択した場合の説明図である。図１０（ａ）のＳＣ画像は、図１０（ｂ）のＳＣのヒストグラムで示すように、領域Ｒ２１内の血管Ｂ２における血流部分のＳＣのダイナミックレンジ（ＤＲ１）がより大きくなるモードによって生成されたＳＣ画像である。これによって、領域Ｒ２１内の血管Ｂ２における血流が見やすいＳＣ画像が表示され、術者にとって有益である。
　また、図１１は、本開示の実施形態において遅い流速部分のＳＣのダイナミックレンジがより大きくなるモードを選択した場合の説明図である。図１１（ａ）のＳＣ画像は、図１１（ｂ）のヒストグラムで示すように、領域Ｒ２２内の爪Ｃにおける血流部分のＳＣのダイナミックレンジ（ＤＲ２）がより大きくなるモードによって生成されたＳＣ画像である。これによって、領域Ｒ２２内の爪Ｃの組織血流が見やすいＳＣ画像が表示され、術者にとって有益である。
　なお、図１０のモードと図１１のモードにおける各パラメータの値の大小関係について説明すると、例えば、処理サイズは前者のほうが小さく、ゲインは前者のほうが大きく、オフセットは前者のほうが小さい。ただし、これに限定されず、他の大小関係であってもよい。
　図１２は、本開示の実施形態において２本に分岐している血管のうち、流速が遅い血管にパラメータ値を合わせた場合と流速が速い血管にパラメータ値を合わせた場合の説明図である。図１２（ａ）のＳＣのヒストグラムにおいて、領域Ｈ１は血流のない部分に対応し、領域Ｈ２は血流が遅い部分に対応し、領域Ｈ３は血流が速い部分に対応している。
　そして、領域Ｈ３に対応する血流が速い部分の表示の色域が広くなるように表示したＳＣ画像は、図１２（ｂ）に示す通りである。図１２（ｂ）に示すＳＣ画像において、領域Ｈ３に対応する血流が速い部分は、領域Ｒ１１内の血管Ｂ１である。
　また、領域Ｈ２に対応する血流が遅い部分の表示の色域が広くなるように表示したＳＣ画像は、図１２（ｃ）に示す通りである。図１２（ｃ）に示すＳＣ画像において、領域Ｈ２に対応する血流が遅い部分は、領域Ｒ１２内の血管Ｂ２である。
　このようにして、術者は、モードを適宜選択することで、図１２（ｂ）に示すような血流が速い部分の流速分布を視認しやすいＳＣ画像を表示させたり、図１２（ｃ）に示すような血流が遅い部分の流速分布を視認しやすいＳＣ画像を表示させたりすることが容易に可能となり、便利である。
　図１３は、本開示の実施形態においてＳＣのヒストグラムにピークが２つある場合を模式的に示す図である。図１３のＳＣのヒストグラムでは、領域Ｈ４と領域Ｈ５の２つにピークがある。その場合、選択部７１２は、例えば、複数のモードのうち、領域Ｈ４におけるＳＣのダイナミックレンジがより大きくなるモードを選択することができる。ほかに、選択部７１２は、例えば、複数のモードのうち、領域Ｈ５におけるＳＣのダイナミックレンジがより大きくなるモードを選択することができる。また、選択部７１２は、例えば、複数のモードのうち、領域Ｈ４と領域Ｈ５を合わせた領域Ｈ６におけるＳＣのダイナミックレンジがより大きくなるモードを選択することができる。
　また、選択部７１２は、例えば、複数のモードのうち、２つのピークの重心距離が大きくなるモードを選択するようにしてもよい。
　このようにして、選択部７１２によるモード選択基準を予め適宜設定しておくことで、術者にとって見やすいＳＣ画像を自動的に（つまり、術者による操作無しで）表示させることができる。
　次に、図１４は、本開示の実施形態において領域を複数に分割したＳＣ画像例を示す図である。選択部７１２は、例えば、関心領域ＲＯＩ１～ＲＯＩ８のそれぞれについて、モードを選択してもよい。あるいは、選択部７１２は、格子状に分割された画像領域ごとに、モードを選択してもよい。画像分割には、例えば、既存のセグメンテーション手法を用いることができる。なお、異なるモードで撮像した画像を並列または合成して表示してもよい。
　図１５は、本開示の実施形態において可視光画像とＳＣ画像の並列表示例を示す図である。表示制御部７１６は、情報統合部７１５によって統合された情報に基いて、図１５に示すように、ＳＣ画像Ｉ２と可視光画像Ｉ１を表示部７４に並列表示させることができる。これにより、術者は、両画像を見て被写体の構造や血流速などの必要な情報を適宜得ることができる。
　このように、本実施形態の医療システム１によれば、複数のモードがあって、それぞれのモードが異なるパラメータ値に対応しているので、いずれかのモードを選択するだけで、単一の露光時間で、ＳＣ画像（スペックル指標値画像）において、遅い流速部分を見やすい表示と速い流速部分を見やすい表示を容易に切り替えることができる。したがって、合併症や、医師が誤った判断を下す可能性を低減することができる。
　具体的には、脳神経外科では、様々な流速の血流を評価したいという要望がある。例えば、ある血管の血流を一時的に止めた際に、その周辺の組織血流がどう変化するかを評価したいという要望がある。これは、着目する血管が栄養を供給する範囲が、腫瘍のみなのか、もしくは他の重要な機能領域も含んでいるのかを判定する例である。そして、血管血流の遮断を見るためには速い血流を観察する必要があり、組織血流の変化を見るためには遅い血流変化を観察する必要がある。よって、本実施形態の技術におけるモード切替機能は、このような手技を簡便に行う補助となる。
　また、脳神経外科における他の例として、例えば、動脈瘤のクリッピング術を行う際に、その周辺の穿通枝を巻き込んでいないかを評価したいという要望がある。穿通枝は細い血管であるが、脳の一部に栄養を供給している非常に重要な血管である。穿通枝の巻き込みは、術後合併症の一因となる。動脈瘤の遮断を見るためには速い血流（クリップ開始）から遅い血流（クリップ完了直前）までを観察する必要があり、穿通枝の血流を見るためには遅い血流変化を観察する必要がある。本実施形態の技術におけるモード切替機能は、このような手技を簡便に行い、合併症を避ける補助となる。
　また、ＳＣ画像と可視光画像を並列表示や重畳表示させることで、術者にとってより有益な情報提供をすることができる。
　また、モードの選択は、例えば、ユーザによる手動操作に応じて実現できる。そうすれば、術者は、被写体における着目部分に合うモードを自らその都度選択し、そのモードによって作成されたＳＣ画像を見ることができる。
　また、モードの選択は、ＳＣのダイナミックレンジや、ＳＣのヒストグラム分布における２つのピークの重心距離等に基いて、自動で実現してもよい。そうすれば、術者によるモード選択操作が不要となり、便利である。
（応用例１）
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡システムに適用されてもよい。以下、内視鏡システムの一例である内視鏡手術システムについて説明する。
　図１６は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１６では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。
　内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
　内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。
（支持アーム装置）
　支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。
（内視鏡）
　内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象（被写体）に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera　Control　Unit）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
　なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
（カートに搭載される各種の装置）
　ＣＣＵ５０３９は、ＣＰＵ（Central　Processing　Unit）やＧＰＵ（Graphics　Processing　Unit）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
　表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。
　光源装置５０４３は、例えばＬＥＤ（light　emitting　diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。
　アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。
　入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。
　入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。
　あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（HeadMounted　Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
　処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。
（支持アーム装置）
　支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図１６では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ～５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ～５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。
　関節部５０３３ａ～５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ～５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ～５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。
　例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。
　また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ～５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。
　ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
　なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ～５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。
（光源装置）
　光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
　また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow　Band　Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
（カメラヘッド及びＣＣＵ）
　図１７を参照して、内視鏡５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能についてより詳細に説明する。図１７は、図１６に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。
　図１７を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５と、を有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３と、を有する。カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。
　まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
　撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。
　撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary　MetalOxide　Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
　また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられる。
　また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。
　駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。
　通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。
　また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto　Exposure）機能、ＡＦ（Auto　Focus）機能及びＡＷＢ（Auto　WhiteBalance）機能が内視鏡５００１に搭載される。
　カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、更に、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を備えてもよい。
　なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
　次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。
　また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
　画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise　reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
　画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
　制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５０６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
　また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
　カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図示する例では、伝送ケーブル５０６５を用いて有線で通信が行われていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。
　以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡手術システムや、以下に応用例２で説明する顕微鏡手術システムに適用されてもよい。
　本開示に係る技術は、以上説明した構成のうち、内視鏡５００１に好適に適用され得る。具体的には、内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像における血流部と非血流部を容易に視認可能に表示装置５０４１に表示する場合に、本開示に係る技術を適用できる。内視鏡５００１に本開示に係る技術を適用することにより、スペックルイメージング技術において、単一の露光時間で、ＳＣ画像において、遅い流速部分を見やすい表示と速い流速部分を見やすい表示を容易に切り替えることができる。これにより、術者５０６７は、対象の臓器や術式に応じた視認性の高いＳＣ画像を表示装置５０４１においてリアルタイムで見ることができ、手術をより安全に行うことができる。
（応用例２）
　また、本開示に係る技術は、顕微鏡システムに適用されてもよい。以下、顕微鏡システムの一例である顕微鏡手術システムについて説明する。顕微鏡手術システムは、患者の微細部位を拡大観察しながら行う、いわゆるマイクロサージェリーに用いられるシステムである。
　図１８は、本開示に係る技術が適用され得る顕微鏡手術システム５３００の概略的な構成の一例を示す図である。図１８を参照すると、顕微鏡手術システム５３００は、顕微鏡装置５３０１と、制御装置５３１７と、表示装置５３１９と、から構成される。なお、以下の顕微鏡手術システム５３００についての説明において、「ユーザ」とは、術者及び助手等、顕微鏡手術システム５３００を使用する任意の医療スタッフのことを意味する。
　顕微鏡装置５３０１は、観察対象（患者の術部）を拡大観察するための顕微鏡部５３０３と、顕微鏡部５３０３を先端で支持するアーム部５３０９と、アーム部５３０９の基端を支持するベース部５３１５と、を有する。
　顕微鏡部５３０３は、略円筒形状の筒状部５３０５と、当該筒状部５３０５の内部に設けられる撮像部（図示せず）と、筒状部５３０５の外周の一部領域に設けられる操作部５３０７と、から構成される。顕微鏡部５３０３は、撮像部によって電子的に撮像画像を撮像する、電子撮像式の顕微鏡部（いわゆるビデオ式の顕微鏡部）である。
　筒状部５３０５の下端の開口面には、内部の撮像部を保護するカバーガラスが設けられる。観察対象からの光（以下、観察光ともいう）は、当該カバーガラスを通過して、筒状部５３０５の内部の撮像部に入射する。なお、筒状部５３０５の内部には例えばＬＥＤ（Light　Emitting　Diode）等からなる光源が設けられてもよく、撮像時には、当該カバーガラスを介して、当該光源から観察対象に対して光が照射されてもよい。
　撮像部は、観察光を集光する光学系と、当該光学系が集光した観察光を受光する撮像素子と、から構成される。当該光学系は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。当該撮像素子としては、例えばＢａｙｅｒ配列を有するカラー撮影可能なものが用いられる。当該撮像素子は、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサ又はＣＣＤ（Charge　Coupled　Device）イメージセンサ等、各種の公知の撮像素子であってよい。撮像素子によって生成された画像信号は、ＲＡＷデータとして制御装置５３１７に送信される。ここで、この画像信号の送信は、好適に光通信によって行われてもよい。手術現場では、術者が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信で画像信号が送信されることにより、低レイテンシで撮像画像を表示することが可能となる。
　なお、撮像部は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有してもよい。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の拡大倍率及び撮像時の焦点距離が調整され得る。また、撮像部には、ＡＥ（Auto　Exposure）機能やＡＦ（Auto　Focus）機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載されてもよい。
　また、撮像部は、１つの撮像素子を有するいわゆる単板式の撮像部として構成されてもよいし、複数の撮像素子を有するいわゆる多板式の撮像部として構成されてもよい。撮像部が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、当該撮像部は、立体視（３Ｄ表示）に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、当該撮像部が多板式で構成される場合には、各撮像素子に対応して、光学系も複数系統が設けられ得る。
　操作部５３０７は、例えば十字レバー又はスイッチ等によって構成され、ユーザの操作入力を受け付ける入力手段である。例えば、ユーザは、操作部５３０７を介して、観察像の拡大倍率及び観察対象までの焦点距離を変更する旨の指示を入力することができる。当該指示に従って撮像部の駆動機構がズームレンズ及びフォーカスレンズを適宜移動させることにより、拡大倍率及び焦点距離が調整され得る。また、例えば、ユーザは、操作部５３０７を介して、アーム部５３０９の動作モード（後述するオールフリーモード及び固定モード）を切り替える旨の指示を入力することができる。なお、ユーザが顕微鏡部５３０３を移動させようとする場合には、当該ユーザは筒状部５３０５を握るように把持した状態で当該顕微鏡部５３０３を移動させる様態が想定される。従って、操作部５３０７は、ユーザが筒状部５３０５を移動させている間でも操作可能なように、ユーザが筒状部５３０５を握った状態で指によって容易に操作しやすい位置に設けられることが好ましい。
　アーム部５３０９は、複数のリンク（第１リンク５３１３ａ～第６リンク５３１３ｆ）が、複数の関節部（第１関節部５３１１ａ～第６関節部５３１１ｆ）によって互いに回動可能に連結されることによって構成される。
　第１関節部５３１１ａは、略円柱形状を有し、その先端（下端）で、顕微鏡部５３０３の筒状部５３０５の上端を、当該筒状部５３０５の中心軸と平行な回転軸（第１軸Ｏ１）まわりに回動可能に支持する。ここで、第１関節部５３１１ａは、第１軸Ｏ１が顕微鏡部５３０３の撮像部の光軸と一致するように構成され得る。これにより、第１軸Ｏ１まわりに顕微鏡部５３０３を回動させることにより、撮像画像を回転させるように視野を変更することが可能になる。
　第１リンク５３１３ａは、先端で第１関節部５３１１ａを固定的に支持する。具体的には、第１リンク５３１３ａは略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第１軸Ｏ１と直交する方向に延伸しつつ、当該一辺の端部が第１関節部５３１１ａの外周の上端部に当接するように、第１関節部５３１１ａに接続される。第１リンク５３１３ａの略Ｌ字形状の基端側の他辺の端部に第２関節部５３１１ｂが接続される。
　第２関節部５３１１ｂは、略円柱形状を有し、その先端で、第１リンク５３１３ａの基端を、第１軸Ｏ１と直交する回転軸（第２軸Ｏ２）まわりに回動可能に支持する。第２関節部５３１１ｂの基端には、第２リンク５３１３ｂの先端が固定的に接続される。
　第２リンク５３１３ｂは、略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第２軸Ｏ２と直交する方向に延伸しつつ、当該一辺の端部が第２関節部５３１１ｂの基端に固定的に接続される。第２リンク５３１３ｂの略Ｌ字形状の基端側の他辺には、第３関節部５３１１ｃが接続される。
　第３関節部５３１１ｃは、略円柱形状を有し、その先端で、第２リンク５３１３ｂの基端を、第１軸Ｏ１及び第２軸Ｏ２と互いに直交する回転軸（第３軸Ｏ３）まわりに回動可能に支持する。第３関節部５３１１ｃの基端には、第３リンク５３１３ｃの先端が固定的に接続される。第２軸Ｏ２及び第３軸Ｏ３まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、水平面内での顕微鏡部５３０３の位置を変更するように、当該顕微鏡部５３０３を移動させることができる。つまり、第２軸Ｏ２及び第３軸Ｏ３まわりの回転を制御することにより、撮像画像の視野を平面内で移動させることが可能になる。
　第３リンク５３１３ｃは、その先端側が略円柱形状を有するように構成されており、当該円柱形状の先端に、第３関節部５３１１ｃの基端が、両者が略同一の中心軸を有するように、固定的に接続される。第３リンク５３１３ｃの基端側は角柱形状を有し、その端部に第４関節部５３１１ｄが接続される。
　第４関節部５３１１ｄは、略円柱形状を有し、その先端で、第３リンク５３１３ｃの基端を、第３軸Ｏ３と直交する回転軸（第４軸Ｏ４）まわりに回動可能に支持する。第４関節部５３１１ｄの基端には、第４リンク５３１３ｄの先端が固定的に接続される。
　第４リンク５３１３ｄは、略直線状に延伸する棒状の部材であり、第４軸Ｏ４と直交するように延伸しつつ、その先端の端部が第４関節部５３１１ｄの略円柱形状の側面に当接するように、第４関節部５３１１ｄに固定的に接続される。第４リンク５３１３ｄの基端には、第５関節部５３１１ｅが接続される。
　第５関節部５３１１ｅは、略円柱形状を有し、その先端側で、第４リンク５３１３ｄの基端を、第４軸Ｏ４と平行な回転軸（第５軸Ｏ５）まわりに回動可能に支持する。第５関節部５３１１ｅの基端には、第５リンク５３１３ｅの先端が固定的に接続される。第４軸Ｏ４及び第５軸Ｏ５は、顕微鏡部５３０３を上下方向に移動させ得る回転軸である。第４軸Ｏ４及び第５軸Ｏ５まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、顕微鏡部５３０３の高さ、すなわち顕微鏡部５３０３と観察対象との距離を調整することができる。
　第５リンク５３１３ｅは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略Ｌ字形状を有する第１の部材と、当該第１の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第２の部材と、が組み合わされて構成される。第５リンク５３１３ｅの第１の部材の鉛直方向に延伸する部位の上端近傍に、第５関節部５３１１ｅの基端が固定的に接続される。第５リンク５３１３ｅの第２の部材の基端（下端）には、第６関節部５３１１ｆが接続される。
　第６関節部５３１１ｆは、略円柱形状を有し、その先端側で、第５リンク５３１３ｅの基端を、鉛直方向と平行な回転軸（第６軸Ｏ６）まわりに回動可能に支持する。第６関節部５３１１ｆの基端には、第６リンク５３１３ｆの先端が固定的に接続される。
　第６リンク５３１３ｆは鉛直方向に延伸する棒状の部材であり、その基端はベース部５３１５の上面に固定的に接続される。
　第１関節部５３１１ａ～第６関節部５３１１ｆの回転可能範囲は、顕微鏡部５３０３が所望の動きを可能であるように適宜設定されている。これにより、以上説明した構成を有するアーム部５３０９においては、顕微鏡部５３０３の動きに関して、並進３自由度及び回転３自由度の計６自由度の動きが実現され得る。このように、顕微鏡部５３０３の動きに関して６自由度が実現されるようにアーム部５３０９を構成することにより、アーム部５３０９の可動範囲内において顕微鏡部５３０３の位置及び姿勢を自由に制御することが可能になる。従って、あらゆる角度から術部を観察することが可能となり、手術をより円滑に実行することができる。
　なお、図示するアーム部５３０９の構成はあくまで一例であり、アーム部５３０９を構成するリンクの数及び形状（長さ）、並びに関節部の数、配置位置及び回転軸の方向等は、所望の自由度が実現され得るように適宜設計されてよい。例えば、上述したように、顕微鏡部５３０３を自由に動かすためには、アーム部５３０９は６自由度を有するように構成されることが好ましいが、アーム部５３０９はより大きな自由度（すなわち、冗長自由度）を有するように構成されてもよい。冗長自由度が存在する場合には、アーム部５３０９においては、顕微鏡部５３０３の位置及び姿勢が固定された状態で、アーム部５３０９の姿勢を変更することが可能となる。従って、例えば表示装置５３１９を見る術者の視界にアーム部５３０９が干渉しないように当該アーム部５３０９の姿勢を制御する等、術者にとってより利便性の高い制御が実現され得る。
　ここで、第１関節部５３１１ａ～第６関節部５３１１ｆには、モータ等の駆動機構、及び各関節部における回転角度を検出するエンコーダ等が搭載されたアクチュエータが設けられ得る。そして、第１関節部５３１１ａ～第６関節部５３１１ｆに設けられる各アクチュエータの駆動が制御装置５３１７によって適宜制御されることにより、アーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が制御され得る。具体的には、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、アーム部５３０９の現在の姿勢、並びに顕微鏡部５３０３の現在の位置及び姿勢を把握することができる。制御装置５３１７は、把握したこれらの情報を用いて、ユーザからの操作入力に応じた顕微鏡部５３０３の移動を実現するような各関節部に対する制御値（例えば、回転角度又は発生トルク等）を算出し、当該制御値に応じて各関節部の駆動機構を駆動させる。なお、この際、制御装置５３１７によるアーム部５３０９の制御方式は限定されず、力制御又は位置制御等、各種の公知の制御方式が適用されてよい。
　例えば、術者が、図示しない入力装置を介して適宜操作入力を行うことにより、当該操作入力に応じて制御装置５３１７によってアーム部５３０９の駆動が適宜制御され、顕微鏡部５３０３の位置及び姿勢が制御されてよい。当該制御により、顕微鏡部５３０３を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、当該入力装置としては、術者の利便性を考慮して、例えばフットスイッチ等、術者が手に術具を有していても操作可能なものが適用されることが好ましい。また、ウェアラブルデバイスや手術室内に設けられるカメラを用いたジェスチャ検出や視線検出に基づいて、非接触で操作入力が行われてもよい。これにより、清潔域に属するユーザであっても、不潔域に属する機器をより自由度高く操作することが可能になる。あるいは、アーム部５３０９は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５３０９は、手術室から離れた場所に設置される入力装置を介してユーザによって遠隔操作され得る。
　また、力制御が適用される場合には、ユーザからの外力を受け、その外力にならってスムーズにアーム部５３０９が移動するように第１関節部５３１１ａ～第６関節部５３１１ｆのアクチュエータが駆動される、いわゆるパワーアシスト制御が行われてもよい。これにより、ユーザが、顕微鏡部５３０３を把持して直接その位置を移動させようとする際に、比較的軽い力で顕微鏡部５３０３を移動させることができる。従って、より直感的に、より簡易な操作で顕微鏡部５３０３を移動させることが可能となり、ユーザの利便性を向上させることができる。
　また、アーム部５３０９は、ピボット動作をするようにその駆動が制御されてもよい。ここで、ピボット動作とは、顕微鏡部５３０３の光軸が空間上の所定の点（以下、ピボット点という）を常に向くように、顕微鏡部５３０３を移動させる動作である。ピボット動作によれば、同一の観察位置を様々な方向から観察することが可能となるため、より詳細な患部の観察が可能となる。なお、顕微鏡部５３０３が、その焦点距離を調整不可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が固定された状態でピボット動作が行われることが好ましい。この場合には、顕微鏡部５３０３とピボット点との距離を、顕微鏡部５３０３の固定的な焦点距離に調整しておけばよい。これにより、顕微鏡部５３０３は、ピボット点を中心とする焦点距離に対応する半径を有する半球面（図１８に概略的に図示する）上を移動することとなり、観察方向を変更しても鮮明な撮像画像が得られることとなる。一方、顕微鏡部５３０３が、その焦点距離を調整可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が可変な状態でピボット動作が行われてもよい。この場合には、例えば、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、顕微鏡部５３０３とピボット点との距離を算出し、その算出結果に基づいて顕微鏡部５３０３の焦点距離を自動で調整してもよい。あるいは、顕微鏡部５３０３にＡＦ機能が設けられる場合であれば、ピボット動作によって顕微鏡部５３０３とピボット点との距離が変化するごとに、当該ＡＦ機能によって自動で焦点距離の調整が行われてもよい。
　また、第１関節部５３１１ａ～第６関節部５３１１ｆには、その回転を拘束するブレーキが設けられてもよい。当該ブレーキの動作は、制御装置５３１７によって制御され得る。例えば、顕微鏡部５３０３の位置及び姿勢を固定したい場合には、制御装置５３１７は各関節部のブレーキを作動させる。これにより、アクチュエータを駆動させなくてもアーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が固定され得るため、消費電力を低減することができる。顕微鏡部５３０３の位置及び姿勢を移動したい場合には、制御装置５３１７は、各関節部のブレーキを解除し、所定の制御方式に従ってアクチュエータを駆動させればよい。
　このようなブレーキの動作は、上述した操作部５３０７を介したユーザによる操作入力に応じて行われ得る。ユーザは、顕微鏡部５３０３の位置及び姿勢を移動したい場合には、操作部５３０７を操作し、各関節部のブレーキを解除させる。これにより、アーム部５３０９の動作モードが、各関節部における回転を自由に行えるモード（オールフリーモード）に移行する。また、ユーザは、顕微鏡部５３０３の位置及び姿勢を固定したい場合には、操作部５３０７を操作し、各関節部のブレーキを作動させる。これにより、アーム部５３０９の動作モードが、各関節部における回転が拘束されたモード（固定モード）に移行する。
　制御装置５３１７は、顕微鏡装置５３０１及び表示装置５３１９の動作を制御することにより、顕微鏡手術システム５３００の動作を統括的に制御する。例えば、制御装置５３１７は、所定の制御方式に従って第１関節部５３１１ａ～第６関節部５３１１ｆのアクチュエータを動作させることにより、アーム部５３０９の駆動を制御する。また、例えば、制御装置５３１７は、第１関節部５３１１ａ～第６関節部５３１１ｆのブレーキの動作を制御することにより、アーム部５３０９の動作モードを変更する。また、例えば、制御装置５３１７は、顕微鏡装置５３０１の顕微鏡部５３０３の撮像部によって取得された画像信号に各種の信号処理を施すことにより、表示用の画像データを生成するとともに、当該画像データを表示装置５３１９に表示させる。当該信号処理では、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise　reduction）処理及び／又は手ブレ補正処理等）及び／又は拡大処理（すなわち、電子ズーム処理）等、各種の公知の信号処理が行われてよい。
　なお、制御装置５３１７と顕微鏡部５３０３との通信、及び制御装置５３１７と第１関節部５３１１ａ～第６関節部５３１１ｆとの通信は、有線通信であってもよいし無線通信であってもよい。有線通信の場合には、電気信号による通信が行われてもよいし、光通信が行われてもよい。この場合、有線通信に用いられる伝送用のケーブルは、その通信方式に応じて電気信号ケーブル、光ファイバ、又はこれらの複合ケーブルとして構成され得る。一方、無線通信の場合には、手術室内に伝送ケーブルを敷設する必要がなくなるため、当該伝送ケーブルによって医療スタッフの手術室内の移動が妨げられる事態が解消され得る。
　制御装置５３１７は、ＣＰＵ（Central　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit）等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等であり得る。制御装置５３１７のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。なお、図示する例では、制御装置５３１７は、顕微鏡装置５３０１と別個の装置として設けられているが、制御装置５３１７は、顕微鏡装置５３０１のベース部５３１５の内部に設置され、顕微鏡装置５３０１と一体的に構成されてもよい。あるいは、制御装置５３１７は、複数の装置によって構成されてもよい。例えば、顕微鏡部５３０３や、アーム部５３０９の第１関節部５３１１ａ～第６関節部５３１１ｆにそれぞれマイコンや制御基板等が配設され、これらが互いに通信可能に接続されることにより、制御装置５３１７と同様の機能が実現されてもよい。
　表示装置５３１９は、手術室内に設けられ、制御装置５３１７からの制御により、当該制御装置５３１７によって生成された画像データに対応する画像を表示する。つまり、表示装置５３１９には、顕微鏡部５３０３によって撮影された術部の画像が表示される。なお、表示装置５３１９は、術部の画像に代えて、又は術部の画像とともに、例えば患者の身体情報や手術の術式についての情報等、手術に関する各種の情報を表示してもよい。この場合、表示装置５３１９の表示は、ユーザによる操作によって適宜切り替えられてよい。あるいは、表示装置５３１９は複数設けられてもよく、複数の表示装置５３１９のそれぞれに、術部の画像や手術に関する各種の情報が、それぞれ表示されてもよい。なお、表示装置５３１９としては、液晶ディスプレイ装置又はＥＬ（Electro　Luminescence）ディスプレイ装置等、各種の公知の表示装置が適用されてよい。
　図１９は、図１８に示す顕微鏡手術システム５３００を用いた手術の様子を示す図である。図１９では、術者５３２１が、顕微鏡手術システム５３００を用いて、患者ベッド５３２３上の患者５３２５に対して手術を行っている様子を概略的に示している。なお、図１９では、簡単のため、顕微鏡手術システム５３００の構成のうち制御装置５３１７の図示を省略するとともに、顕微鏡装置５３０１を簡略化して図示している。
　図２Ｃに示すように、手術時には、顕微鏡手術システム５３００を用いて、顕微鏡装置５３０１によって撮影された術部の画像が、手術室の壁面に設置される表示装置５３１９に拡大表示される。表示装置５３１９は、術者５３２１と対向する位置に設置されており、術者５３２１は、表示装置５３１９に映し出された映像によって術部の様子を観察しながら、例えば患部の切除等、当該術部に対して各種の処置を行う。
　以上、本開示に係る技術が適用され得る顕微鏡手術システム５３００の一例について説明した。なお、ここでは、一例として顕微鏡手術システム５３００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、顕微鏡装置５３０１は、その先端に顕微鏡部５３０３に代えて他の観察装置や他の術具を支持する、支持アーム装置としても機能し得る。当該他の観察装置としては、例えば内視鏡が適用され得る。また、当該他の術具としては、鉗子、攝子、気腹のための気腹チューブ、又は焼灼によって組織の切開や血管の封止を行うエネルギー処置具等が適用され得る。これらの観察装置や術具を支持アーム装置によって支持することにより、医療スタッフが人手で支持する場合に比べて、より安定的に位置を固定することが可能となるとともに、医療スタッフの負担を軽減することが可能となる。本開示に係る技術は、このような顕微鏡部以外の構成を支持する支持アーム装置に適用されてもよい。
　本開示に係る技術は、以上説明した構成のうち、制御装置５３１７に好適に適用され得る。具体的には、顕微鏡部５３０３の撮像部によって撮影された患者５３２５の術部の画像における血流部と非血流部を容易に視認可能に表示装置５３１９に表示する場合に、本開示に係る技術を適用できる。制御装置５３１７に本開示に係る技術を適用することにより、スペックルイメージング技術において、単一の露光時間で、ＳＣ画像において、遅い流速部分を見やすい表示と速い流速部分を見やすい表示を容易に切り替えることができる。これにより、術者５３２１は、対象の臓器や術式に応じた視認性の高いＳＣ画像を表示装置５３１９においてリアルタイムで見ることができ、手術をより安全に行うことができる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　被写体にコヒーレント光を照射する照射手段と、
　前記被写体からの前記コヒーレント光の反射光を撮像する撮像手段と、
　前記撮像手段からスペックル画像を取得する取得手段と、
　スペックルの輝度値についての統計的な指標値であるスペックル指標値を算出するためのパラメータとして、互いに異なる、第１のパラメータ値と、第２のパラメータ値と、を記憶する記憶手段と、
　前記第１のパラメータ値に対応する第１のモードと、前記第２のパラメータ値に対応する第２のモードと、のいずれかを選択する選択手段と、
　前記第１のモードが選択されている場合、前記スペックル画像と前記第１のパラメータ値に基いて前記スペックル指標値を算出し、前記第２のモードが選択されている場合、前記スペックル画像と前記第２のパラメータ値に基いて前記スペックル指標値を算出する算出手段と、
　算出された前記スペックル指標値に基いて、スペックル指標値画像を生成する生成手段と、
　前記スペックル指標値画像を表示部に表示させる表示制御手段と、を備える医療システム。
（２）
　前記医療システムは、顕微鏡システム、または、内視鏡システムである、（１）に記載の医療システム。
（３）
　被写体に照射したコヒーレント光の反射光を撮像する撮像手段からスペックル画像を取得する取得手段と、
　スペックルの輝度値についての統計的な指標値であるスペックル指標値を算出するためのパラメータの値として、互いに異なる、第１のパラメータ値と、第２のパラメータ値と、を記憶する記憶手段と、
　前記第１のパラメータ値に対応する第１のモードと、前記第２のパラメータ値に対応する第２のモードと、のいずれかを選択する選択手段と、
　前記第１のモードが選択されている場合、前記スペックル画像と前記第１のパラメータ値に基いて前記スペックル指標値を算出し、前記第２のモードが選択されている場合、前記スペックル画像と前記第２のパラメータ値に基いて前記スペックル指標値を算出する算出手段と、
　算出された前記スペックル指標値に基いて、スペックル指標値画像を生成する生成手段と、
　前記スペックル指標値画像を表示部に表示させる表示制御手段と、を備える情報処理装置。
（４）
　前記第１のパラメータ値は、前記被写体における流体の速度として想定される第１の速度に対応させたパラメータ値であり、
　前記第２のパラメータ値は、前記被写体における流体の速度として想定される、前記第１の速度よりも遅い第２の速度に対応させたパラメータ値である、（３）に記載の情報処理装置。
（５）
　前記取得手段は、さらに、前記被写体に照射したインコヒーレントな可視光の反射光を撮像する撮像手段から可視光画像を取得し、
　前記表示制御手段は、前記スペックル指標値画像と前記可視光画像を、前記表示部に、並列表示または重畳表示させる、（３）に記載の情報処理装置。
（６）
　前記選択手段は、ユーザによる操作に応じて、前記第１のモードと前記第２のモードのいずれかを選択する、（３）に記載の情報処理装置。
（７）
　前記選択手段は、前記第１のモードと前記第２のモードのうち、前記スペックル画像における関心領域における前記スペックル指標値のダイナミックレンジが大きくなるほうを選択する、（３）に記載の情報処理装置。
（８）
　前記選択手段は、前記第１のモードと前記第２のモードのうち、前記スペックル画像における関心領域における前記スペックル指標値のヒストグラム分布を調べ、ピークが２つある場合、２つのピークの重心距離が大きくなるほうを選択する、（３）に記載の情報処理装置。
（９）
　スペックルの輝度値についての統計的な指標値であるスペックル指標値を算出するためのパラメータの値として、互いに異なる、第１のパラメータ値と、第２のパラメータ値と、を用いる情報処理方法であって、
　被写体に照射したコヒーレント光の反射光を撮像する撮像手段からスペックル画像を取得する取得工程と、
　前記第１のパラメータ値に対応する第１のモードと、前記第２のパラメータ値に対応する第２のモードと、のいずれかを選択する選択工程と、
　前記第１のモードが選択されている場合、前記スペックル画像と前記第１のパラメータ値に基いて前記スペックル指標値を算出し、前記第２のモードが選択されている場合、前記スペックル画像と前記第２のパラメータ値に基いて前記スペックル指標値を算出する算出工程と、
　算出された前記スペックル指標値に基いて、スペックル指標値画像を生成する生成工程と、
　前記スペックル指標値画像を表示部に表示させる表示制御工程と、を含む情報処理方法。
　以上、本開示の実施形態、変形例について説明したが、本開示の技術的範囲は、上述の実施形態、変形例そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態、変形例にわたる構成要素を適宜組み合わせてもよい。
　なお、本明細書に記載された各実施形態、変形例における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　また、上述の各実施形態では、スペックルの輝度値についての統計的な指標値として、スペックルコントラスト値（ＳＣ）を例にとって説明したが、これに限定されず、ＢＲ（Ｂｌｕｒ　Ｒａｔｅ）、ＳＢＲ（Ｓｑｕａｒｅ　ＢＲ）、ＭＢＲ（Ｍｅａｎ　ＢＲ）などであってもよい。
　また、上述の実施形態では、主に術中支援時について説明したが、これに限定されない。本発明は、ほかに、術中のスペックル画像を記憶しておき、術後の画像解析時に適用することもできる。
　また、図５で示す画像処理において、ノイズ補正などの他の処理を行ってもよい。
　１　　　医療システム
　２　　　構造観察用光源
　３　　　狭帯域光源
　４　　　波長分離装置
　５　　　カラーカメラ
　６　　　ＩＲカメラ
　７　　　情報処理装置
　７１　　処理部
　７２　　記憶部
　７３　　入力部
　７４　　表示部
　７１１　取得部
　７１２　選択部
　７１３　算出部
　７１４　生成部
　７１５　情報統合部
　７１６　表示制御部

Claims (9)

  1. 　被写体にコヒーレント光を照射する照射手段と、
    　前記被写体からの前記コヒーレント光の反射光を撮像する撮像手段と、
    　前記撮像手段からスペックル画像を取得する取得手段と、
    　スペックルの輝度値についての統計的な指標値であるスペックル指標値を算出するためのパラメータとして、互いに異なる、第１のパラメータ値と、第２のパラメータ値と、を記憶する記憶手段と、
    　前記第１のパラメータ値に対応する第１のモードと、前記第２のパラメータ値に対応する第２のモードと、のいずれかを選択する選択手段と、
    　前記第１のモードが選択されている場合、前記スペックル画像と前記第１のパラメータ値に基いて前記スペックル指標値を算出し、前記第２のモードが選択されている場合、前記スペックル画像と前記第２のパラメータ値に基いて前記スペックル指標値を算出する算出手段と、
    　算出された前記スペックル指標値に基いて、スペックル指標値画像を生成する生成手段と、
    　前記スペックル指標値画像を表示部に表示させる表示制御手段と、を備える医療システム。
  2. 　前記医療システムは、顕微鏡システム、または、内視鏡システムである、請求項１に記載の医療システム。
  3. 　被写体に照射したコヒーレント光の反射光を撮像する撮像手段からスペックル画像を取得する取得手段と、
    　スペックルの輝度値についての統計的な指標値であるスペックル指標値を算出するためのパラメータの値として、互いに異なる、第１のパラメータ値と、第２のパラメータ値と、を記憶する記憶手段と、
    　前記第１のパラメータ値に対応する第１のモードと、前記第２のパラメータ値に対応する第２のモードと、のいずれかを選択する選択手段と、
    　前記第１のモードが選択されている場合、前記スペックル画像と前記第１のパラメータ値に基いて前記スペックル指標値を算出し、前記第２のモードが選択されている場合、前記スペックル画像と前記第２のパラメータ値に基いて前記スペックル指標値を算出する算出手段と、
    　算出された前記スペックル指標値に基いて、スペックル指標値画像を生成する生成手段と、
    　前記スペックル指標値画像を表示部に表示させる表示制御手段と、を備える情報処理装置。
  4. 　前記第１のパラメータ値は、前記被写体における流体の速度として想定される第１の速度に対応させたパラメータ値であり、
    　前記第２のパラメータ値は、前記被写体における流体の速度として想定される、前記第１の速度よりも遅い第２の速度に対応させたパラメータ値である、請求項３に記載の情報処理装置。
  5. 　前記取得手段は、さらに、前記被写体に照射したインコヒーレントな可視光の反射光を撮像する撮像手段から可視光画像を取得し、
    　前記表示制御手段は、前記スペックル指標値画像と前記可視光画像を、前記表示部に、並列表示または重畳表示させる、請求項３に記載の情報処理装置。
  6. 　前記選択手段は、ユーザによる操作に応じて、前記第１のモードと前記第２のモードのいずれかを選択する、請求項３に記載の情報処理装置。
  7. 　前記選択手段は、前記第１のモードと前記第２のモードのうち、前記スペックル画像の関心領域における前記スペックル指標値のダイナミックレンジが大きくなるほうを選択する、請求項３に記載の情報処理装置。
  8. 　前記選択手段は、前記第１のモードと前記第２のモードのうち、前記スペックル画像の関心領域における前記スペックル指標値のヒストグラム分布を調べ、ピークが２つある場合、２つのピークの重心距離が大きくなるほうを選択する、請求項３に記載の情報処理装置。
  9. 　スペックルの輝度値についての統計的な指標値であるスペックル指標値を算出するためのパラメータの値として、互いに異なる、第１のパラメータ値と、第２のパラメータ値と、を用いる情報処理方法であって、
    　被写体に照射したコヒーレント光の反射光を撮像する撮像手段からスペックル画像を取得する取得工程と、
    　前記第１のパラメータ値に対応する第１のモードと、前記第２のパラメータ値に対応する第２のモードと、のいずれかを選択する選択工程と、
    　前記第１のモードが選択されている場合、前記スペックル画像と前記第１のパラメータ値に基いて前記スペックル指標値を算出し、前記第２のモードが選択されている場合、前記スペックル画像と前記第２のパラメータ値に基いて前記スペックル指標値を算出する算出工程と、
    　算出された前記スペックル指標値に基いて、スペックル指標値画像を生成する生成工程と、
    　前記スペックル指標値画像を表示部に表示させる表示制御工程と、を含む情報処理方法。
PCT/JP2020/011463 2019-03-29 2020-03-16 医療システム、情報処理装置及び情報処理方法 WO2020203225A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/441,435 US20220183576A1 (en) 2019-03-29 2020-03-16 Medical system, information processing device, and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-069136 2019-03-29
JP2019069136A JP2020163037A (ja) 2019-03-29 2019-03-29 医療システム、情報処理装置及び情報処理方法

Publications (1)

Publication Number Publication Date
WO2020203225A1 true WO2020203225A1 (ja) 2020-10-08

Family

ID=72668782

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/011463 WO2020203225A1 (ja) 2019-03-29 2020-03-16 医療システム、情報処理装置及び情報処理方法

Country Status (3)

Country Link
US (1) US20220183576A1 (ja)
JP (1) JP2020163037A (ja)
WO (1) WO2020203225A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020045014A1 (ja) * 2018-08-28 2021-08-12 ソニーグループ株式会社 医療システム、情報処理装置及び情報処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130296715A1 (en) * 2005-04-20 2013-11-07 Ecole Polytechnique Federale De Lausanne (Epfl) Instrument and method for high-speed perfusion imaging
JP2015527132A (ja) * 2012-08-01 2015-09-17 バー‐イラン、ユニバーシティーＢａｒ−Ｉｌａｎ Ｕｎｉｖｅｒｓｉｔｙ 個体の生物学的又は生化学的パラメータを非侵襲的にモニタする方法及びシステム
CN107981855A (zh) * 2017-12-29 2018-05-04 深圳开立生物医疗科技股份有限公司 一种血流成像装置及内窥镜
WO2018211902A1 (ja) * 2017-05-16 2018-11-22 ソニー株式会社 制御装置、制御方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130296715A1 (en) * 2005-04-20 2013-11-07 Ecole Polytechnique Federale De Lausanne (Epfl) Instrument and method for high-speed perfusion imaging
JP2015527132A (ja) * 2012-08-01 2015-09-17 バー‐イラン、ユニバーシティーＢａｒ−Ｉｌａｎ Ｕｎｉｖｅｒｓｉｔｙ 個体の生物学的又は生化学的パラメータを非侵襲的にモニタする方法及びシステム
WO2018211902A1 (ja) * 2017-05-16 2018-11-22 ソニー株式会社 制御装置、制御方法、及びプログラム
CN107981855A (zh) * 2017-12-29 2018-05-04 深圳开立生物医疗科技股份有限公司 一种血流成像装置及内窥镜

Also Published As

Publication number Publication date
JP2020163037A (ja) 2020-10-08
US20220183576A1 (en) 2022-06-16

Similar Documents

Publication Publication Date Title
US11788966B2 (en) Imaging system
WO2020045015A1 (ja) 医療システム、情報処理装置及び情報処理方法
JP7095693B2 (ja) 医療用観察システム
JPWO2018230066A1 (ja) 医療用システム、医療用装置および制御方法
JPWO2019239942A1 (ja) 手術用観察装置、手術用観察方法、手術用光源装置、及び手術用の光照射方法
JP2020074926A (ja) 医療用観察システム、信号処理装置及び医療用観察方法
JP2018075218A (ja) 医療用支持アーム及び医療用システム
JPWO2019031000A1 (ja) 信号処理装置、撮像装置、信号処理方法及びプログラム
US11553838B2 (en) Endoscope and arm system
JP7135869B2 (ja) 発光制御装置、発光制御方法、プログラム、発光装置、および撮像装置
WO2017221491A1 (ja) 制御装置、制御システム、および制御方法
WO2020195246A1 (ja) 撮像装置、撮像方法、及びプログラム
WO2020203225A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2021256168A1 (ja) 医用画像処理システム、手術画像制御装置、及び、手術画像制御方法
WO2020203164A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2020045014A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2020116067A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
WO2020084917A1 (ja) 医療システム及び情報処理方法
WO2022004250A1 (ja) 医療システム、情報処理装置及び情報処理方法
JP7207404B2 (ja) 医療用システム、接続構造、及び接続方法
WO2020050187A1 (ja) 医療システム、情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20783025

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20783025

Country of ref document: EP

Kind code of ref document: A1