WO2019003751A1 - 手術用撮像システム及び手術用画像の信号処理装置 - Google Patents

手術用撮像システム及び手術用画像の信号処理装置 Download PDF

Info

Publication number
WO2019003751A1
WO2019003751A1 PCT/JP2018/020326 JP2018020326W WO2019003751A1 WO 2019003751 A1 WO2019003751 A1 WO 2019003751A1 JP 2018020326 W JP2018020326 W JP 2018020326W WO 2019003751 A1 WO2019003751 A1 WO 2019003751A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image sensor
imaging system
visible light
surgical
Prior art date
Application number
PCT/JP2018/020326
Other languages
English (en)
French (fr)
Inventor
浩司 鹿島
恒生 林
高橋　健治
貴美 水倉
菊地　大介
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP18822911.6A priority Critical patent/EP3646771A4/en
Priority to JP2019526706A priority patent/JP7127644B2/ja
Priority to US16/621,246 priority patent/US20200126220A1/en
Publication of WO2019003751A1 publication Critical patent/WO2019003751A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
    • G02B27/1013—Beam splitting or combining systems for splitting or combining different wavelengths for colour or multispectral image sensors, e.g. splitting an image into monochromatic image components on respective sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/12—Beam splitting or combining systems operating by refraction only
    • G02B27/126—The splitting element being a prism or prismatic array, including systems based on total internal reflection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Definitions

  • the present disclosure relates to a surgical imaging system and a signal processing apparatus for a surgical image.
  • Patent Document 1 uses a Si-based CCD as a first imaging means, a CMOS camera, etc., and uses an InGaAs camera, a germanium camera, a vidicon camera etc. as a second imaging means, a second imaging
  • the arrangement is described as being insensitive to the wavelength of visible light.
  • InGaAs indium gallium arsenide
  • silicon-based image sensors For this reason, in the technique described in the above patent document, for example, when trying to observe a surgical operation part, it is difficult to obtain a high resolution image such as a visible light image because the resolution of the InGaAs camera is low. .
  • a first image sensor having light receiving sensitivity in a wavelength range of visible light and imaging a surgical site, and light receiving sensitivity in a wavelength range of visible light and near infrared light, the surgical site And a signal processing apparatus for performing processing for displaying a first image captured by the first image sensor and a second image captured by the second image sensor And a surgical imaging system is provided.
  • the first image captured by the first image sensor that has a light receiving sensitivity in the wavelength range of visible light and captures an image of the surgical site, and the wavelength range of visible light and near infrared light
  • a signal processing apparatus for a surgical image which has a light receiving sensitivity and performs processing for combining and displaying a second image captured by a second image sensor for imaging the surgical site Ru.
  • the present disclosure it is possible to increase the resolution of an image when imaging is performed by an image sensor having light reception sensitivity in a long wavelength range.
  • the above-mentioned effects are not necessarily limited, and, along with or in place of the above-mentioned effects, any of the effects shown in the present specification, or other effects that can be grasped from the present specification May be played.
  • FIG. 6 is a schematic view showing an example in which a plurality of color filters transmitting a specific wavelength range is applied to each pixel in an InGaAs image sensor.
  • FIG. 6 is a schematic view showing an example in which a plurality of color filters transmitting a specific wavelength range is applied to each pixel in an InGaAs image sensor.
  • the example which applied the red filter to the InGaAs image sensor is shown.
  • FIG. 1 When imaging the to-be-photographed object which the fat part has covered the upper part of the organ containing a blood vessel, it is a schematic diagram which shows the example which permeate
  • An imaging device is widely used to image the inside of a human body.
  • it is difficult to accurately determine the state of an organ or the like inside a human body only with a normal visible light image.
  • an InGaAs image sensor having sensitivity in the near infrared wavelength range is mounted on a surgical imaging system in order to facilitate visual recognition of blood vessels and fat regions in a deep position, for example, inside a human body.
  • the InGaAs image sensor has a problem that the pixel size is large and the resolution is low as compared with the Si image sensor used for capturing a conventional visible light image.
  • the InGaAs image sensor according to the present disclosure is an image sensor having sensitivity in a continuous wavelength range from a visible light range to a near infrared wavelength range, and can also acquire a signal in the visible range. That is, in the present disclosure, the maximum value ⁇ 1max of the wavelength range of the Si image sensor and the minimum value of the wavelength range of the InGaAs image sensor satisfy the relationship that ⁇ 2min satisfies “ ⁇ 1max> ⁇ 2min”.
  • the Si image sensor when an InGaAs image sensor having sensitivity in the visible light region to the near infrared wavelength region is used, combining the Si image sensor enables relatively low resolution by the InGaAs image sensor to be a high resolution Si image. It can be compensated by a sensor. Therefore, it is possible to make it easy to visually recognize blood vessels and fat areas located at such deep positions as described above by the light receiving sensitivity in the near infrared wavelength range, and to obtain a high resolution image by the Si image sensor.
  • the correlation between the image information of the visible light image captured by the Si image sensor and the image information of the visible light image captured by the InGaAs image sensor is used to align the images of both the Si image sensor and the InGaAs image sensor. It becomes possible. Furthermore, by combining the image information of the visible light image captured by the Si image sensor with the visible light image and the infrared light image captured by the InGaAs image sensor, the information obtained from both sensors can be efficiently viewed. Is also possible.
  • FIG. 1 is a block diagram showing the configuration of a surgical imaging system 1000 according to an embodiment of the present disclosure.
  • the surgical imaging system 1000 is, for example, an observation target of blood vessels, fat regions, fluorescence reactions (fluorescent substances, autofluorescence) and the like in a human body, and can be applied to, for example, an endoscope system, a video microscope system, and the like.
  • the imaging system for surgery 1000 includes an imaging device 100, a signal processing device 200, a transmission device 300, and a display device 400.
  • the imaging device 100 has two imaging elements of a Si image sensor 110 and an InGaAs image sensor 120.
  • the Si image sensor 110 and the InGaAs image sensor 120 capture the same subject. Therefore, synchronization between the Si image sensor 110 and the InGaAs image sensor 120 is achieved by the synchronization signal generated by the synchronization signal generation unit 130.
  • the synchronization signal generation unit 130 may be provided in the imaging device 100.
  • simultaneous imaging with the Si image sensor 110 and the InGaAs image sensor 120 or frame sequential imaging by time division is performed.
  • signal processing and display are usually performed while imaging in real time, signal processing and display may be performed when reproducing recorded image data.
  • FIG. 2 is a characteristic diagram showing spectral sensitivity characteristics of the Si image sensor 110 and the InGaAs image sensor 120.
  • the InGaAs image sensor 120 has wide-band light receiving sensitivity including a visible light region to a long wavelength region. More specifically, the InGaAs image sensor 120 is sensitive to a continuous wavelength range of about 350 nm to 1500 nm.
  • the Si image sensor 110 has light receiving sensitivity in the visible light range.
  • the visible light image of high resolution is acquired by the Si image sensor 110, and the visible light image and the infrared light image are acquired by the InGaAs image sensor 120.
  • the visible light image and the infrared light image will be referred to as a visible light / infrared light image.
  • the infrared light image is also referred to as an IR image.
  • a light source which can be irradiated in a wide band from the visible region to the near infrared wavelength region can be adopted.
  • FIG. 3 is a schematic view showing an example of the number of sensor pixels of the Si image sensor 110 and the InGaAs image sensor 120.
  • the Si image sensor 110 has 3840 ⁇ 2160 pixels (pix), and the pixels are arranged in a bayer arrangement.
  • the InGaAs image sensor 120 has pixels of 512 ⁇ 256 pixels (pix).
  • 20 ⁇ 10 pixels (pix) are configured as visible light pixels for alignment in order to align with the visible light pixels acquired by the Si image sensor 110.
  • the visible light pixel for alignment will be described later.
  • the Si image sensor 110 may be one having pixels of 4096 ⁇ 2160 pixels (pix) or one having high resolution of 4096 ⁇ 2160 pixels (pix) or more (for example, 7680 ⁇ 4320 pixels (pix)) .
  • the signal processing apparatus 200 is configured to include a white light image processing unit 202, a separation processing unit 204, a deformation parameter generation processing unit 206, an IR image processing unit 210, and a combining processing unit 220.
  • the white light image processing unit 202 includes a development processing unit 202a and an image quality improvement processing unit 202b.
  • the IR image processing unit 210 includes a hole filling processing unit 212, an image quality improvement processing unit 214, a useful information image extraction unit (image extraction unit) 216, a useful information image processing unit 217, an image deformation / enlargement processing unit (image adaptation unit ) 218).
  • FIG. 4A RGB (red (red) and green (green (red) pixels as shown in FIG. 4A)
  • the Bayer method is generally used in combination with any of the three color filters of Green and Blue.
  • FIGS. 4B and 4C show an example in which a plurality of color filters transmitting a specific wavelength range are applied to each pixel in the InGaAs image sensor 120 as well, and a color for green used in the Si image sensor 110 is shown.
  • An example in which the filter is applied to the InGaAs image sensor 120 is shown.
  • the green color filter used in the Si image sensor 110 is applied to the same pixel position as the green color filter of the Si image sensor 110. Thereby, the light transmitted through the green color filter can be imaged by the InGaAs image sensor 120.
  • the image transmitted through the green color filter of the Si image sensor 110 and the image transmitted through the green color filter of the InGaAs image sensor 120 are observed, the same object is observed in the same wavelength range. Therefore, the correlation between the images captured by the two image sensors of the Si image sensor 110 and the InGaAs image sensor 120 can be used, and the alignment of the two images can be performed based on the correlation.
  • the InGaAs image sensor 120 is also sensitive to the visible light wavelength range as described above.
  • the resolution becomes higher than in the case where color filters of other colors are used, so that alignment can be performed with high accuracy. it can.
  • FIG. 4B shows an example in which a green color filter is arranged in a relatively large number of pixels with respect to the InGaAs image sensor 120.
  • the alignment of the Si image sensor 110 and the InGaAs image sensor 120 is emphasized, and the alignment accuracy can be enhanced.
  • FIG. 4C shows an example in which the number of color filters for green is reduced with respect to the InGaAs image sensor 120, and the number of original pixels of the InGaAs image sensor 120 is increased. In this case, it is possible to perform imaging with emphasis on the image quality of special light by the InGaAs image sensor 120.
  • the color filter applied to the InGaAs image sensor 120 may be red or blue. Also in this case, a red or blue color filter is applied to the same pixel position as the color filter of the same color in the Si image sensor 110.
  • FIG. 4D shows an example in which a red filter is applied to the InGaAs image sensor 120.
  • a near infrared transmission filter may be applied to the same pixel position of both the Si image sensor 110 and the InGaAs image sensor 120. Thereby, based on the pixel value obtained from the pixel which permeate
  • the Si image sensor 110 is assumed to be a single Bayer system in which each color of RGB is imaged by one image sensor, but the present invention is not limited to this configuration.
  • a three-plate system may be employed that uses dedicated R, G, and B Si image sensors 114, 116, and 118 in combination with the dichroic mirror 112.
  • FIG. 6 is a characteristic diagram showing the permeability of a living tissue. The characteristics as shown in FIG. 6 are described, for example, in Japanese Patent Application Laid-Open No. 2007-75366.
  • the upper portion shows the characteristic of the water permeability according to the wavelength
  • the lower portion shows the characteristic of the transmittance of the human body tissue according to the wavelength.
  • the wavelength of the horizontal axis corresponds.
  • the transmittance of fat is specifically higher than the transmittance of other living tissues and water. That is, in the pixel of the InGaAs image sensor 120, by combining this filter with a filter that selectively transmits this wavelength range, it is possible to distinguish between fat and other tissues.
  • the Si image sensor 110 can not image a wavelength range of 1400 to 1500 nm.
  • the InGaAs image sensor 120 When the InGaAs image sensor 120 is combined with a filter that transmits a wavelength range of 1400 nm to 1500 nm and irradiated with broadband light covering the near infrared range to capture an image, the signal value obtained passing through the filter has a wavelength around 1400 nm to 1500 nm Region signal.
  • tissues other than fat have a low permeability.
  • tissues other than fat have high absorptivity.
  • tissues other than fat absorb much light and become dark signal values, and fat tissues become bright signal values because the absorptivity is low.
  • FIG. 7 is a schematic view showing an image 510 obtained by imaging an InGaAs image sensor 120 in combination with a filter transmitting a wavelength range of 1400 to 1500 nm and a visible light image 500 obtained by imaging by the Si image sensor 110. is there.
  • a state in which a specific organ 530 is imaged is shown.
  • the organ 530 includes fat tissue, but the fat tissue can not be determined from the visible light image 500 obtained by imaging with the Si image sensor 110. In particular, when fat tissue is present inside the organ 530, it is difficult to distinguish or recognize fat tissue.
  • useful information can be extracted from the image 510 of the InGaAs image sensor 120 by the above-described method, and a fat tissue has a low absorptivity, resulting in a bright signal value. Therefore, the fat portion 540 in the near infrared image obtained from the InGaAs sensor 120 becomes a white and bright area in the image 510 of FIG. Therefore, the fat portion 540 can be extracted by extracting a bright pixel having a pixel value equal to or more than a predetermined value from the image 510. Therefore, it is possible to realize a living body area extraction function of extracting the area of the fat portion 540 as a useful information image. Conversely, an area with low pixel values in the image 510, that is, a dark area may be regarded as an area with a large amount of water.
  • FIG. 7 illustrates a visible light image 500 of the Si image sensor 110 and a superimposed image 520 obtained by combining useful information images extracted from the image 510 of the InGaAs image sensor 120.
  • the outline and appearance of the organ 530 can be recognized from the visible light image 500 of the Si image sensor 110, and from the useful information image extracted from the image 510 of the InGaAs image sensor 120, the image 500
  • the area and state of the fat portion 540 which can not be determined can be determined. Therefore, it is possible to reliably determine in what range and in what state the fat portion 540 is generated. Therefore, when the operation of the organ 530 is performed, the operation can be performed in consideration of the position and the state of the fat portion 540.
  • the transmittance of fat is high in this wavelength range, and the light of the fat portion 540 is transmitted, but the light of other tissues is transmitted. Does not penetrate. For this reason, when the fat part 540 and other tissues overlap, it is possible to observe how the fat part 540 is permeated.
  • FIG. 8 is a schematic view showing an example in which the fat portion 540 is allowed to pass through and the blood vessel 542 can be recognized when the subject 550 whose fat portion 540 covers the organ 530 including the blood vessel 542 is imaged.
  • the image 500 obtained by imaging the subject 550 with the Si image sensor 110 although the organ 530, the fat portion 540, and the blood vessel 542 appear, the fat portion 540 is formed on the blood vessel 542; It is not possible to determine the condition of the blood vessel 542 below.
  • the light transmittance of the fat portion 540 is high and the light transmittance of the blood vessel 542 is low. Therefore, the light is transmitted through the fat portion 540, so that the blood vessel 542 can be seen through.
  • the superimposed image 520 obtained by combining the visible light image 500 of the Si image sensor 110 and the image 510 of the InGaAs image sensor 120, it is possible to observe the state of the blood vessel 542 transmitted through the fat portion 540 in detail. Further, in the superimposed image 520, since the visible light image 500 is included, the color reproduction is also natural, and the visibility and the recognition can be enhanced. Also in the superimposed image 520 of FIG. 8, it is desirable to superimpose the useful information image obtained by extracting the fat portion 540 and the blood vessel 542 from the image 510 of the InGaAs image sensor 120 on the visible light image 500.
  • FIG. 8 shows a subject 560 without the fat portion 540 for comparison.
  • the subject 560 is the same as the subject 550 except that the fat portion 540 is not present.
  • the superimposed image 520 since the blood vessel 542 can be viewed through the fat portion 540, it is possible to obtain an image that maintains normal color reproduction while transmitting the fat portion 540. Therefore, as apparent from the comparison of the subject 550 and the superimposed image 520, it is possible to obtain the same superimposed image 520 as in the case where the subject 560 without the fat portion 540 is captured as a visible light image.
  • the blood vessel 542 can be observed through the fat part 540, so that the blood vessel 542 is erroneously removed during surgery.
  • the IR image may be monochromeized, monochromeized into an arbitrary color, and alpha-blended with the visible light image to generate the superimposed image 520.
  • monochromatization it is preferable to select green or blue which hardly exists in the human body.
  • the visible light image 500 of the Si image sensor 110 and the image 510 of the InGaAs image sensor 120 are combined.
  • two images can be displayed side by side (SideBySide) or picture in one display. It may be simultaneously displayed by a method such as in-picture (PictureInPicture).
  • the respective images may be displayed on two displays.
  • stereo 3D display may be performed.
  • a human-worn display device such as a head mounted display may be displayed as the display device 400.
  • step S10 a visible light image captured by the Si image sensor 110 is acquired.
  • the visible light image is subjected to development processing by the development processing unit 202 a in the white light image processing unit 202, and image quality improvement processing is performed by the image quality improvement processing unit 202 b.
  • a visible light / infrared light image captured by the InGaAs image sensor 120 is acquired.
  • the separation processing unit 204 separates the visible light / infrared light image into an IR image and a visible light image for alignment.
  • the IR image is an image composed of pixels other than the pixels on which the color filter for green shown in FIG. 4B is disposed.
  • the visible light image for alignment is an image composed of pixels in which the color filter for green shown in FIG. 4B is disposed.
  • the IR image has a lower resolution than the visible light image captured by the Si image sensor 110, and the visible light image for alignment has a lower resolution than the IR image.
  • the deformation parameter generation processing unit 206 compares the visible light image captured by the Si image sensor 120 with the visible light image for alignment separated by the separation processing unit 204. Then, the deformation parameter generation processing unit 206 generates a deformation parameter for deforming or enlarging the visible light / infrared light image acquired by the InGaAs image sensor 120 in accordance with the visible light image captured by the Si image sensor 120.
  • the Si image sensor 110 and the InGaAs image sensor 120 have different resolutions and different angles of view depending on the respective lens characteristics, it is assumed that the visible light image and the visible light / infrared image are superimposed and displayed. Change the image size appropriately as signal processing. For example, when the Si image sensor 110 has 4K resolution (3840 ⁇ 1080) and the InGaAs image sensor 120 has a lower resolution HD resolution (1920 ⁇ 1080), visible light / red imaged by the InGaAs image sensor 120 The external image is subjected to resolution conversion (Up Conversion) equivalent to 4K resolution without changing the aspect ratio.
  • the deformation parameter generation processing unit 206 generates a deformation parameter for performing such a change in image size.
  • alignment of an image or distortion correction may be performed as signal processing.
  • positional deviation may occur between two images when the subject or the camera moves.
  • positional deviation occurs according to the positions of both the sensors and the optical system.
  • differences in axial chromatic aberration or lens characteristics for each wavelength may cause differences in image size and distortion in the Si image sensor 110 and the InGaAs image sensor 120.
  • the deformation parameter generation processing unit 206 generates a deformation parameter to perform such image alignment and distortion correction.
  • the visible light image of the Si image sensor 110 and the visible light image for alignment of the InGaAs image sensor 120 are compared with each other to perform block matching. It can be done. Further, positional deviation according to the positions of both sensors and the optical system, axial chromatic aberration for each wavelength, and difference in lens characteristics can be obtained in advance from the specifications of the imaging device 100 and both sensors.
  • the hole-filling processing unit 212 performs processing for hole-filling the pixel values of the visible light image for alignment on the IR image separated by the separation processing unit 204. Specifically, processing is performed to interpolate the pixel value of the pixel in which the color filter for green shown in FIG. 4B is arranged, with the pixel value of the surrounding pixel.
  • the image quality improvement processing unit 214 performs processing to improve the image quality of the IR image on which the hole filling processing has been performed by the hole filling processing unit 212. Based on the image information of the visible light image captured by the Si image sensor 110, the image quality improvement processing unit 214 performs signal processing to improve the image quality of the IR image captured by the InGaAs image sensor 120. For example, the image quality improvement processing unit 214 estimates a PSF blur amount (PSF) of a visible light image and an IR image by using the visible image captured by the Si image sensor 110 as a guide. And the contrast of the IR image is improved by removing the blur of the IR image so as to match the blur amount of the visible light image, and the image quality is improved.
  • PSF PSF blur amount
  • the useful information image extraction unit 216 extracts a useful information image about the living body from the IR image subjected to the image quality improvement processing.
  • the useful information image is, for example, image information indicating the region of the fat portion 540 in the IR image as shown in FIGS. 7 and 8.
  • the fat portion 540 may not be displayed in an enhanced manner, so the region of the fat portion 540 is extracted as a useful information image, and the other region is removed.
  • the area of the fat portion 540 can be emphasized and displayed after combination with the visible light image.
  • the useful information image processing unit 217 performs an imaging process on the useful information image.
  • the region of the fat portion 540 corresponding to the useful information image is colored to a color (green, blue, etc.) that does not exist inside the human body.
  • the area of the fat portion 540 can be emphasized and displayed after combination with the visible light image.
  • the image deformation / magnification processing unit 218 applies deformation parameters to the useful information image to perform deformation and enlargement processing of the useful information image.
  • the positions and sizes of the visible light image and the useful information image captured by the Si image sensor 110 are matched.
  • the deformation parameter axial chromatic aberration and distortion of lens characteristics for each wavelength are corrected to the same level in the visible light image and the useful information image captured by the Si image sensor 110.
  • the combination processing unit 220 combines the visible light image processed by the white light image processing unit 202 and the useful information image processed by the IR image processing unit 210.
  • Information of a composite image (superimposed image) generated by composition is sent from the signal processing device 200 to the transmission device 300, and further sent to the display device 400.
  • FIG. 10 is a schematic view showing the configuration of the combining processing unit 220 and the periphery thereof.
  • the selector 222 may be provided downstream of the combining processing unit 220.
  • an image before synthesis that is, the visible light image output from the white light image processing unit 202, and the useful output output from the IR image processing unit 210.
  • An information image is input.
  • any one of the composite image combined by the combination processing unit 220, the visible light image processed by the white light image processing unit 202, and the useful information image processed by the IR image processing unit 210 is selected. It is selected and output to the transmission apparatus 300. Therefore, when any one of the composite image, the visible light image, and the useful information image is sent from the transmission device 300 to the display device 400, these images can be displayed on the display device 400.
  • the switching of images by the selector 222 is performed by inputting operation information by the user to the selector. When a composite image is displayed, the information obtained from the Si image sensor 110 and the information obtained from the InGaAs image sensor 120 can be viewed at one time, so that the information can be obtained most efficiently.
  • next step S30 the display device 400 displays the image information sent from the transmission device 300.
  • next step S32 it is determined whether the process is ended. If the process is not completed, the process returns to step S10, and the subsequent processes are performed.
  • FIGS. 11A to 11C are schematic views showing an optical system of the imaging device 100.
  • FIG. 11A As an optical system, as shown in FIG. 11A, light is introduced from one opening through the lens 122, the splitter 124 is disposed inside the imaging device 100, and light is guided to the Si image sensor 110 and the InGaAs image sensor 120.
  • One-lens two-plate system can be adopted. In this case, since the chromatic aberration on the optical axis differs depending on the wavelength, it is desirable to appropriately design the positions of the lens 122, the Si image sensor 110 and the InGaAs image sensor 120 in order to reduce the influence.
  • FIG. 11C shows an example in which a three-plate system including dichroic mirrors 112 and Si image sensors 114, 116 and 118 dedicated to R, G and B, respectively, as in FIG. 5 is adopted.
  • a three-plate system including dichroic mirrors 112 and Si image sensors 114, 116 and 118 dedicated to R, G and B, respectively, as in FIG. 5 is adopted.
  • light is introduced from one opening through the lens 130, the light transmitted through the lens 130 is incident on the splitter 132, and the light split by the splitter 132 is emitted to the dichroic mirror 112 and the InGaAs image sensor 120. .
  • the present embodiment it is possible to improve the visibility of blood vessels and fat areas that are difficult to determine only with a normal visible light image.
  • a first image sensor having a light receiving sensitivity in a wavelength range of visible light and imaging a surgical site;
  • a second image sensor having light receiving sensitivity in the wavelength range of visible light and near infrared light, and imaging the operative part;
  • a signal processing device that performs processing for displaying a first image captured by the first image sensor and a second image captured by the second image sensor;
  • An imaging system for surgery An imaging system for surgery.
  • the first image sensor has a color filter of a predetermined color arranged for each pixel,
  • the second image sensor according to (1) or (2), having a color filter of the same color as the color filter at a pixel position corresponding to a pixel position of the color filter of the first image sensor.
  • Surgical imaging system (4) The imaging system for surgery as described in said (3) whose said predetermined color is green.
  • the signal processing device is based on a pixel value obtained by transmitting the color filter of the first image sensor and a pixel value obtained by transmitting the color filter of the second image sensor.
  • the imaging system for surgery according to (3) further comprising an image matching unit that matches the first image and the second image.
  • the signal processing device includes a hole filling processing unit that calculates a pixel value in a state in which the color filter is not disposed at a pixel position where the color filter of the second image sensor is provided.
  • the imaging system for surgery as described in (3).
  • the signal processing device includes an image quality improvement processing unit that improves the image quality of the second image based on the first image.
  • Imaging system (11) The imaging system for surgery according to any one of (1) to (10), wherein the signal processing device includes an image extracting unit that extracts a specific region from the second image. (12) The second image sensor includes a filter that transmits light in a predetermined wavelength range, The imaging system for surgery according to (11), wherein the image extraction unit extracts the specific area based on a pixel value obtained by transmitting through the filter. (13) The imaging system for surgery according to (12), wherein the predetermined wavelength range is a wavelength range of 1300 nm or more and 1400 nm or less.
  • the predetermined color is green or blue.
  • the light receiving sensitivity is in the wavelength range of visible light, and the light receiving sensitivity is in the wavelength range of visible light and near-infrared light, and the first image captured by the first image sensor for imaging the surgical site.
  • a signal processing device for a surgical image which performs processing for combining and displaying a second image captured by a second image sensor for capturing the surgical site.
  • imaging device 110 Si image sensor 120 InGaAs image sensor 200 signal processing device 212 hole filling processing unit 214 high quality processing unit 216 useful information image extraction unit 217 useful information image processing unit 218 image deformation / enlargement processing unit 220 synthesis processing unit 1000 surgery Imaging system

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)

Abstract

【課題】長波長域に受光感度を有するイメージセンサで撮像した場合に、画像の解像度を高める。 【解決手段】本開示に係る手術用撮像システムは、可視光の波長域に受光感度を有し、術部を撮像する第１のイメージセンサと、可視光及び近赤外光の波長域に受光感度を有し、前記術部を撮像する第２のイメージセンサと、前記第１のイメージセンサで撮像された第１の画像と前記第２のイメージセンサで撮像された第２の画像を表示するための処理を行う信号処理装置と、を備える。

Description

手術用撮像システム及び手術用画像の信号処理装置
　本開示は、手術用撮像システム及び手術用画像の信号処理装置に関する。
　従来、例えば下記の特許文献１には、第１の撮像手段としてＳｉ系のＣＣＤ、ＣＭＯＳカメラ等を用い、第２の撮像手段としてＩｎＧａＡｓカメラ、ゲルマニウムカメラ、ビジコンカメラ等を用い、第２の撮像手段は可視光の波長には感度を有さない構成が記載されている。
特開２０１３－１６２９７８号公報
　しかしながら、インジウムガリウム砒素（ＩｎＧａＡｓ）を用いたイメージセンサは、一般的にシリコン系のイメージセンサよりも解像度が低い。このため、上記特許文献に記載された技術では、例えば手術の術部を観察しようとした場合、ＩｎＧａＡｓカメラの解像度が低いため、可視光画像のような解像度の高い画像を得ることは困難である。
　そこで、長波長域に受光感度を有するイメージセンサで撮像した場合に、画像の解像度を高めることが望まれていた。
　本開示によれば、可視光の波長域に受光感度を有し、術部を撮像する第１のイメージセンサと、可視光及び近赤外光の波長域に受光感度を有し、前記術部を撮像する第２のイメージセンサと、前記第１のイメージセンサで撮像された第１の画像と前記第２のイメージセンサで撮像された第２の画像を表示するための処理を行う信号処理装置と、を備える、手術用撮像システムが提供される。
　また、本開示によれば、可視光の波長域に受光感度を有し、術部を撮像する第１のイメージセンサで撮像された第１の画像と、可視光及び近赤外光の波長域に受光感度を有し、前記術部を撮像する第２のイメージセンサで撮像された第２の画像と、を合成して表示するための処理を行う、手術用画像の信号処理装置が提供される。
　本開示によれば、長波長域に受光感度を有するイメージセンサで撮像した場合に、画像の解像度を高めることが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係るシステムの構成を示すブロック図である。 ＳｉイメージセンサとＩｎＧａＡｓイメージセンサの分光感度特性を示す特性図である。 ＳｉイメージセンサとＩｎＧａＡｓイメージセンサのセンサ画素数の例を示す模式図である。 画素毎にＲＧＢ（赤色（Ｒｅｄ）、緑色（Ｇｒｅｅｎ）、青色（Ｂｌｕｅ））の３色のカラーフィルタのいずれかと組み合わせるベイヤ（Ｂａｙｅｒ）方式を示す模式図である。 ＩｎＧａＡｓイメージセンサにおいて、画素毎に特定波長域を透過する複数のカラーフィルタを適用した例を示す模式図である。 ＩｎＧａＡｓイメージセンサにおいて、画素毎に特定波長域を透過する複数のカラーフィルタを適用した例を示す模式図である。 ＩｎＧａＡｓイメージセンサに赤色のフィルタを適用した例を示している。 ダイクロイックミラーと組み合わせて、Ｒ、Ｇ、Ｂのそれぞれ専用のＳｉイメージセンサを用いる３板システムを採用した例を示す模式図である。 生体組織の透過率を示す特性図である。 ＩｎＧａＡｓイメージセンサに１４００～１５００ｎｍの波長域を透過するフィルタを組み合わせて撮像して得られた画像と、Ｓｉイメージセンサによる撮像で得られる可視光画像を示す模式図である。 血管を含む臓器の上を脂肪部が覆っている被写体を撮像した場合に、脂肪部を透過させて血管を認識可能とする例を示す模式図である。 本実施形態に係るシステムで行われる処理を示すフローチャートである。 合成処理部とその周辺の構成を示す模式図である。 撮像装置の光学システムを示す模式図である。 撮像装置の光学システムを示す模式図である。 撮像装置の光学システムを示す模式図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
１．本開示の概要
２．システムの構成例
３．２つのイメージセンサから得られる画像の位置合わせと合成
４．有用情報画像の抽出
５．本実施形態に係る手術用撮像システムで行われる処理
６．光学システムの構成例
１．本開示の概要
　人体内部を撮像するために、撮像装置が広く用いられている。しかし、通常の可視光画像のみでは人体内部の臓器などの状態を正確には判断し難いのが実情である。このため、人体内部、例えば深い位置にある血管や脂肪域を視認し易くすることを目的として、近赤外波長域に感度のあるＩｎＧａＡｓイメージセンサを手術用撮像システムに搭載することを想定する。しかしながら、現状、ＩｎＧａＡｓイメージセンサは、従来の可視光画像の撮像で用いられるＳｉイメージセンサと比較して、画素サイズが大きくなり、解像度も低いという課題がある。
　そこで、本開示では、ＩｎＧａＡｓイメージセンサの低い解像度を補うために、ＩｎＧａＡｓイメージセンサとＳｉイメージセンサの２つの撮像素子を利用した手術用撮像システムを発案した。本開示に係るＩｎＧａＡｓイメージセンサは、可視光域から近赤外波長域まで連続的な波長域に感度を持つイメージセンサであり、可視域の信号も取得することが可能である。つまり、本開示では、Ｓｉイメージセンサの波長域の最大値λ１ｍａｘと、ＩｎＧａＡｓイメージセンサの波長域の最小値はλ２ｍｉｎが「λ１ｍａｘ＞λ２ｍｉｎ」という関係を満たす。
　特に手術用の撮像システムでは、撮像により得られる画像に高い解像度が要求される。本開示によれば、可視光域から近赤外波長域に感度のあるＩｎＧａＡｓイメージセンサを用いた場合に、Ｓｉイメージセンサを組み合わせることで、ＩｎＧａＡｓイメージセンサによる比較的低い解像度を高解像度のＳｉイメージセンサで補うことができる。従って、近赤外波長域の受光感度により上述のような深い位置にある血管や脂肪域を視認し易くするとともに、Ｓｉイメージセンサによる高解像度の画像を得ることができる。また、Ｓｉイメージセンサが撮像する可視光画像の画像情報と、ＩｎＧａＡｓイメージセンサが撮像する可視光画像の画像情報の相関を利用し、ＳｉイメージセンサとＩｎＧａＡｓイメージセンサの双方の画像間の位置合わせが可能となる。更に、Ｓｉイメージセンサが撮像する可視光画像の画像情報と、ＩｎＧａＡｓイメージセンサが撮像する可視光画像及び赤外光画像とを合成することで、双方のセンサから得られる情報を効率良く視認することも可能となる。
２．システムの構成例
　図１は、本開示の一実施形態に係る手術用撮像システム１０００の構成を示すブロック図である。この手術用撮像システム１０００は、例えば、人体における血管、脂肪域、蛍光反応(蛍光物質、自家蛍光)などを観察対象としており、例えば内視鏡システム、ビデオ顕微鏡システム等に適用が可能である。図１に示すように、手術用撮像システム１０００は、撮像装置１００、信号処理装置２００、伝送装置３００、表示装置４００を有して構成されている。
　撮像装置１００は、Ｓｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０の２つの撮像素子を有している。Ｓｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０は、同じ被写体を撮像する。このため、同期信号生成部１３０が生成した同期信号によりＳｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０の同期がとられる。同期信号生成部１３０は撮像装置１００に設けられていて良い。撮像の際には、Ｓｉイメージセンサ１１０及びＩｎＧａＡｓイメージセンサ１２０による同時撮像、あるいは時分割によるフレームシーケンシャル撮像を行う。なお、通常はリアルタイムに撮像しながら信号処理と表示を行うが、録画しておいた画像データを再生する際に信号処理と表示を行っても良い。
　図２は、Ｓｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０の分光感度特性を示す特性図である。図２に示すように、ＩｎＧａＡｓイメージセンサ１２０は、可視光域から長波長域を含む広帯域な受光感度を有する。より具体的には、ＩｎＧａＡｓイメージセンサ１２０は、３５０ｎｍ～１５００ｎｍ程度の連続的な波長域に対して感度を有する。一方、Ｓｉイメージセンサ１１０は、可視光域に受光感度を有する。これにより、Ｓｉイメージセンサ１１０により高解像度の可視光画像が取得され、ＩｎＧａＡｓイメージセンサ１２０により可視光画像と赤外光画像が取得される。なお、以下では、可視光画像と赤外光画像を可視光／赤外光画像と称する。また、赤外光画像をＩＲ画像とも称する。
　撮像の際に用いる光源として、可視域から近赤外波長域まで広帯域に照射可能な光源を採用することができる。また、近赤外波長域を蛍光観察として用いる場合には、蛍光を励起するための狭波長光源と、可視域の光源の組み合せても良い。
　図３は、Ｓｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０のセンサ画素数の例を示す模式図である。一例としてＳｉイメージセンサ１１０は、３８４０×２１６０ピクセル（ｐｉｘ）の画素を有し、各画素はベイヤ（ｂａｙｅｒ）配列により配列されている。一方、ＩｎＧａＡｓイメージセンサ１２０は、５１２×２５６ピクセル（ｐｉｘ）の画素を有する。ＩｎＧａＡｓイメージセンサ１２０の画素のうち、２０×１０ピクセル（ｐｉｘ）は、Ｓｉイメージセンサ１１０が取得した可視光画素と位置合わせするため、位置合わせ用の可視光画素として構成されている。位置合わせ用の可視光画素については、後述する。なお、Ｓｉイメージセンサ１１０は、４０９６×２１６０ピクセル（ｐｉｘ）の画素を有するものや、４０９６×２１６０ピクセル（ｐｉｘ）以上の高解像度のもの（例えば７６８０×４３２０ピクセル（ｐｉｘ））であっても良い。
　図１に示すように、信号処理装置２００は、白色光画像処理部２０２、分離処理部２０４、変形パラメータ生成処理部２０６、ＩＲ画像処理部２１０、合成処理部２２０を有して構成されている。白色光画像処理部２０２は、現像処理部２０２ａと高画質化処理部２０２ｂを有している。また、ＩＲ画像処理部２１０は、穴埋め処理部２１２、高画質化処理部２１４、有用情報画像抽出部（画像抽出部）２１６、有用情報画像処理部２１７、画像変形・拡大処理部（画像適合部）２１８を有している。
３．２つのイメージセンサから得られる画像の位置合わせと合成
　１つのＳｉイメージセンサ１１０でカラー画像を撮像する場合には、図４Ａに示すように、画素毎にＲＧＢ（赤色（Ｒｅｄ）、緑色（Ｇｒｅｅｎ）、青色（Ｂｌｕｅ））の３色のカラーフィルタのいずれかと組み合わせるベイヤ（Ｂａｙｅｒ）方式が一般的である。図４Ｂ及び図４Ｃは、ＩｎＧａＡｓイメージセンサ１２０においても、画素毎に特定波長域を透過する複数のカラーフィルタを適用した例を示しており、Ｓｉイメージセンサ１１０で使われる緑（Ｇｒｅｅｎ）用のカラーフィルタをＩｎＧａＡｓイメージセンサ１２０にも適用した例を示している。
　ＩｎＧａＡｓイメージセンサ１２０に緑色用のカラーフィルタを適用する際には、Ｓｉイメージセンサ１１０で使われる緑色用のカラーフィルタを、Ｓｉイメージセンサ１１０の緑色用のカラーフィルタと同じ画素位置に適用する。これにより、ＩｎＧａＡｓイメージセンサ１２０により、緑色用のカラーフィルタを透過した光を撮像できる。そして、Ｓｉイメージセンサ１１０の緑色用カラーフィルタを透過した画像と、ＩｎＧａＡｓイメージセンサ１２０の緑色用カラーフィルタを透過した画像を観察すると、同一物体を同じ波長域で観察していることとなる。従って、Ｓｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０の２つのイメージセンサで撮影された画像間の相関を利用することができ、相関に基づいて２つの画像の位置合わせを行うことができる。これは、上述のようにＩｎＧａＡｓイメージセンサ１２０が可視光の波長域にも感度があることで実現可能となる。なお、緑色用のカラーフィルタを配置した画素の画素値に基づいて位置合わせをすることで、他の色のカラーフィルタを用いた場合よりも解像度が高くなるため、位置合わせを精度良く行うことができる。
　図４Ｂは、ＩｎＧａＡｓイメージセンサ１２０に対して、緑色用のカラーフィルタを比較的多くの画素に配置した例を示している。この場合、Ｓｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０の位置合わせを重視することになり、位置合わせの精度を高めることができる。また、図４Ｃは、ＩｎＧａＡｓイメージセンサ１２０に対して緑色用のカラーフィルタを少なくし、ＩｎＧａＡｓイメージセンサ１２０の本来の画素を多くした例を示している。この場合、ＩｎＧａＡｓイメージセンサ１２０による特殊光の画質を重視した撮像を行うことができる。
　なお、ＩｎＧａＡｓイメージセンサ１２０に適用するカラーフィルタは、赤色、または青色であってもよい。この場合も、Ｓｉイメージセンサ１１０における同色のカラーフィルタと同じ画素位置に赤色、または青色のカラーフィルタを適用する。図４Ｄでは、ＩｎＧａＡｓイメージセンサ１２０に赤色のフィルタを適用した例を示している。
　また、Ｓｉイメージセンサ１１０は近赤外領域でも感度があるため、近赤外用の透過フィルタをＳｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０の双方の同じ画素位置に適用しても良い。これにより、近赤外用の透過フィルタを透過した画素から得られる画素値に基づいて、Ｓｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０の双方の画像の位置合わせが可能である。
　なお、本実施形態において、Ｓｉイメージセンサ１１０については、１つのイメージセンサでＲＧＢの各色を撮像する１板のＢａｙｅｒシステムを想定しているが、この構成に限定されるものではない。例えば、図５に示すように、ダイクロイックミラー１１２と組み合わせて、Ｒ、Ｇ、Ｂのそれぞれ専用のＳｉイメージセンサ１１４，１１６，１１８を用いる３板システムを採用してもよい。
４．有用情報画像の抽出
　次に、ＩｎＧａＡｓイメージセンサ１２０で撮像した画像から、生体に関する有用情報画像を抽出する手法について説明する。図６は、生体組織の透過率を示す特性図である。なお、図６に示すような特性は、例えば特開２００７－７５３６６号公報に記載されている。
　図６では、上段に波長に応じた水の透過率の特性を示し、下段に波長に応じた人間の生体組織の透過率の特性を示している。上段と下段の特性において、横軸の波長は対応している。図６に示すように、１４００ｎｍ～１５００ｎｍの波長域では、脂肪の透過率が他の生体組織や水の透過率と比較して特異的に高いことが判る。つまり、ＩｎＧａＡｓイメージセンサ１２０の画素において、この波長域を選択的に透過するフィルタと組み合わせることで、脂肪とそれ以外の組織を見分けることが可能となる。なお、図２に示したように、Ｓｉイメージセンサ１１０で１４００～１５００ｎｍの波長域を撮像することはできない。
　ＩｎＧａＡｓイメージセンサ１２０に１４００ｎｍ～１５００ｎｍの波長域を透過するフィルタを組み合わせ、近赤外域をカバーする広帯域光を照射して撮像すると、フィルタを通過して取得される信号値は１４００ｎｍ～１５００ｎｍ付近の波長域の信号となる。
　この時、図６に示すように、脂肪以外の組織は、透過率が低くなる。換言すれば、脂肪以外の組織は吸光率が高い。このため、脂肪以外の組織は、光を多く吸収して暗い信号値となり、脂肪の組織は吸光率が低いので明るい信号値となる。
　図７は、ＩｎＧａＡｓイメージセンサ１２０に１４００～１５００ｎｍの波長域を透過するフィルタを組み合わせて撮像して得られた画像５１０と、Ｓｉイメージセンサ１１０による撮像で得られる可視光画像５００を示す模式図である。図７に示す例では、可視光画像５００に示すように、特定の臓器５３０を撮像した様子を示している。臓器５３０には、脂肪の組織が含まれるが、Ｓｉイメージセンサ１１０による撮像で得られる可視光画像５００からは、脂肪の組織を判別することはできない。特に、臓器５３０の内部に脂肪の組織が存在する場合、脂肪の組織を判別したり認識したりすることは困難である。
　一方、上述した手法により、ＩｎＧａＡｓイメージセンサ１２０の画像５１０からは有用情報を抽出することができ、脂肪の組織は吸光率が低いため明るい信号値となる。従って、ＩｎＧａＡｓセンサ１２０から得られる近赤外画像中の脂肪部５４０は、図７の画像５１０中の白く明るい領域となる。従って、画像５１０から画素値が所定値以上の明るい画素を抽出することで、脂肪部５４０を抽出することができる。従って、脂肪部５４０の領域を有用情報画像として抽出する生体領域抽出機能が実現できる。逆に画像５１０中で画素値の低い領域、すなわち暗い領域を、水分量の多い領域とみなしてもよい。
　図７では、Ｓｉイメージセンサ１１０の可視光画像５００と、ＩｎＧａＡｓイメージセンサ１２０の画像５１０から抽出した有用情報画像を合成して得られる重畳画像５２０を示している。重畳画像５２０からは、Ｓｉイメージセンサ１１０の可視光画像５００から臓器５３０の輪郭や外観などを認識することができ、ＩｎＧａＡｓイメージセンサ１２０の画像５１０から抽出した有用情報画像からは、画像５００からは判別できない脂肪部５４０の領域及び状態を判別できる。従って、脂肪部５４０が臓器５３０のどの範囲にどのような状態で生じているかを確実に判別することが可能となる。従って、臓器５３０の手術を行う場合には、脂肪部５４０の位置や状態を考慮して手術を行うことも可能となる。
　また、ＩｎＧａＡｓイメージセンサ１２０において、１４００ｎｍ～１５００ｎｍの波長域を透過するフィルタを用いた場合、この波長域では脂肪の透過率は高く、脂肪部５４０の光は透過するが、それ以外の組織の光は透過しない。このため、脂肪部５４０と他の組織が重なっている場合に、脂肪部５４０を透過させた様子を観察可能である。
　図８は、血管５４２を含む臓器５３０の上を脂肪部５４０が覆っている被写体５５０を撮像した場合に、脂肪部５４０を透過させて血管５４２を認識可能とする例を示す模式図である。被写体５５０をＳｉイメージセンサ１１０で撮像して得られる画像５００では、臓器５３０、脂肪部５４０、血管５４２が写っているが、脂肪部５４０が血管５４２の上に形成されているため、脂肪部５４０の下の血管５４２の様子を判別することはできない。
　一方、ＩｎＧａＡｓイメージセンサ１２０に１４００～１５００ｎｍの波長域を透過するフィルタを組み合わせて撮像して得られた画像５１０では、脂肪部５４０における光の透過率が高く、血管５４２の光の透過率は低いため、脂肪部５４０を光が透過することにより、血管５４２が透けて見えることになる。
　従って、Ｓｉイメージセンサ１１０の可視光画像５００と、ＩｎＧａＡｓイメージセンサ１２０の画像５１０を合成して得られる重畳画像５２０では、脂肪部５４０を透過した血管５４２の様子を詳細に観察可能となる。また、重畳画像５２０では、可視光画像５００が含まれていることから、色再現も自然となり、視認性、認識性を高めることが可能である。なお、図８の重畳画像５２０においても、ＩｎＧａＡｓイメージセンサ１２０の画像５１０から脂肪部５４０及び血管５４２を抽出して得られる有用情報画像を可視光画像５００に重畳することが望ましい。
　図８では、比較のため、脂肪部５４０が無い被写体５６０を示している。被写体５６０は、脂肪部５４０が無い点を除くと、被写体５５０と同一である。重畳画像５２０では、脂肪部５４０を透けて血管５４２を視認できるため、脂肪部５４０を透過させつつ通常の色再現を保持する画像を取得することが可能である。従って、被写体５５０と重畳画像５２０を対比すると明らかなように、脂肪部５４０が存在していない被写体５６０を可視光画像として撮像した場合と同様の重畳画像５２０を得ることが可能である。
　例えば、手術の現場において、脂肪部５４０によって視認できない血管５４２が存在すると、血管５４２を誤って切除してしまうことも想定される。このような場合、本実施形態に係る重畳画像５２０を用いることにより、脂肪部５４０を透過して血管５４２を観察することができるため、手術中に血管５４２が誤って切除されてしまう事態を確実に抑止できる。
　重畳画像５２０を生成する際には、ＩＲ画像をモノクロ化し、任意の色に単色化し、可視光画像とアルファブレンディングして重畳画像５２０を生成しても良い。単色化においては、人間の体内ではほとんど存在しない緑色、または青色を選択することが好適である。
　また、上述の例では、Ｓｉイメージセンサ１１０の可視光画像５００と、ＩｎＧａＡｓイメージセンサ１２０の画像５１０を合成する例を挙げたが、１つのディスプレイ内に２つの画像を、サイドバイサイド（ＳｉｄｅＢｙＳｉｄｅ）やピクチャインピクチャ（ＰｉｃｔｕｒｅＩｎＰｉｃｔｕｒｅ）などの方式で同時に表示しても良い。また、２つのディスプレイにそれぞれの画像を表示するなどしても良い。また、２Ｄ表示だけでなく、ステレオ３Ｄ表示を行ってもよい。更に、ヘッドマウントディスプレイのような人体装着式の表示デバイスを表示装置４００として表示してもよい。
５．本実施形態に係る手術用撮像システムで行われる処理
　次に、図９のフローチャートに基づいて、図１のブロック図を参照しながら、本実施形態に係る手術用撮像システム１０００で行われる処理について説明する。図９の処理は、主として信号処理装置２００で行われるものである。先ず、ステップＳ１０では、Ｓｉイメージセンサ１１０が撮像した可視光画像が取得される。可視光画像は、白色光画像処理部２０２において、現像処理部２０２ａにより現像処理が行われ、高画質化処理部２０２ｂにより高画質化処理が行われる。
　次のステップＳ１２では、ＩｎＧａＡｓイメージセンサ１２０が撮像した可視光／赤外光画像が取得される。次のステップＳ１４では、分離処理部２０４により、可視光／赤外光画像がＩＲ画像と位置合わせ用の可視光画像に分離される。ここで、ＩＲ画像は、図４Ｂに示した緑色用のカラーフィルタが配置された画素以外の画素からなる画像である。また、位置合わせ用の可視光画像は、図４Ｂに示した緑色用のカラーフィルタが配置された画素からなる画像である。なお、ＩＲ画像は、Ｓｉイメージセンサ１１０が撮像した可視光画像よりも低解像度であり、位置合わせ用の可視光画像はＩＲ画像よりも更に低解像度である。
　次のステップＳ１６では、変形パラメータ生成処理部２０６が、Ｓｉイメージセンサ１２０が撮像した可視光画像と、分離処理部２０４により分離された位置合わせ用の可視光画像を対比する。そして、変形パラメータ生成処理部２０６は、Ｓｉイメージセンサ１２０が撮像した可視光画像に合わせてＩｎＧａＡｓイメージセンサ１２０が取得した可視光／赤外光画像を変形または拡大するための変形パラメータを生成する。
　Ｓｉイメージセンサ１１０及びＩｎＧａＡｓイメージセンサ１２０は解像度が異なることや、それぞれのレンズ特性によって画角などが異なることが想定されるため、可視光画像と可視光／赤外画像の重畳表示を行う前に、信号処理として画サイズの変更を適切に行う。例えば、Ｓｉイメージセンサ１１０が４Ｋ解像度（３８４０×１０８０）で、ＩｎＧａＡｓイメージセンサ１２０がそれよりも解像度の低いＨＤ解像度（１９２０×１０８０）である場合、ＩｎＧａＡｓイメージセンサ１２０で撮像された可視光／赤外画像を、アスペクト比は変えずに４Ｋ解像度相当に解像度変換（Ｕｐ　Ｃｏｎｖｅｒｓｉｏｎ）する。変形パラメータ生成処理部２０６は、このような画サイズの変更を行うための変形パラメータを生成する。
　また、可視光画像と可視光／赤外光画像の重畳表示を行う前に、信号処理として画像の位置合わせや歪み補正を行ってもよい。例えば、時分割によるフレームシーケンシャルの撮像を行う場合、被写体やカメラが動くと、２つの画像間で位置ズレが発生する可能性がある。また、Ｓｉイメージセンサ１１０及びＩｎＧａＡｓイメージセンサ１２０で同時に撮像を行う場合、双方のセンサ及び光学系の位置に応じた位置ズレが生じる。あるいは波長毎の軸上色収差やレンズ特性の違いによって、Ｓｉイメージセンサ１１０及びＩｎＧａＡｓイメージセンサ１２０における像の大きさの違いや歪みが発生する可能性がある。変形パラメータ生成処理部２０６は、このような画像の位置合わせ、歪み補正を行うために変形パラメータを生成する。時分割によるフレームシーケンシャルの撮像で被写体やカメラが動いた場合は、Ｓｉイメージセンサ１１０の可視光画像とＩｎＧａＡｓイメージセンサ１２０の位置合わせ用の可視光画像を対比し、ブロックマッチングを行うことで、位置合わせを行うことができる。また、双方のセンサ及び光学系の位置に応じた位置ズレ、波長毎の軸上色収差やレンズ特性の相違は、撮像装置１００、及び双方のセンサの仕様から予め求めることができる。
　なお、位置合わせを行った後、可視光画像と可視光／赤外光画像の同位置にある画像データを用いた視差推定によりデプスマップ（Ｄｅｐｔｈ　ｍａｐ）を作成することも可能である。
　次のステップＳ１８では、穴埋め処理部２１２が、分離処理部２０４により分離されたＩＲ画像について、位置合わせ用の可視光画像の画素値を穴埋めする処理を行う。具体的には、図４Ｂに示した緑色用のカラーフィルタが配置された画素の画素値を、周囲の画素の画素値で補間する処理を行う。
　次のステップＳ２０では、高画質化処理部２１４が、穴埋め処理部２１２によって穴埋め処理が行われたＩＲ画像を高画質化する処理を行う。高画質化処理部２１４は、Ｓｉイメージセンサ１１０で撮像された可視光画像の画像情報を元に、ＩｎＧａＡｓイメージセンサ１２０で撮像されたＩＲ画像を信号処理で高画質化する。例えば、高画質化処理部２１４は、Ｓｉイメージセンサ１１０で撮像された可視画像をガイドにして、可視光画像とＩＲ画像のＰＳＦボケ量（ＰＳＦ）を推定する。そして、可視光画像のボケ量に合うようにＩＲ画像のボケを除去することでＩＲ画像のコントラストを向上させ、高画質化を行う。
　次のステップＳ２２では、有用情報画像抽出部２１６が、高画質化処理のなされたＩＲ画像から、生体に関する有用情報画像を抽出する。有用情報画像は、例えば、図７及び図８に示したようなＩＲ画像中の脂肪部５４０の領域を示す画像情報である。可視光画像とＩＲ画像を単に合成した場合、脂肪部５４０が強調して表示されない場合があるため、脂肪部５４０の領域を有用情報画像として抽出し、他の領域を取り除く処理を行う。これにより、可視光画像との合成後に脂肪部５４０の領域を強調して表示することができる。
　次のステップＳ２４では、有用情報画像処理部２１７が、有用情報画像について画像化処理を行う。ここでは、例えば、有用情報画像に相当する脂肪部５４０の領域を、人体内部に存在しない色（緑色、青色など）に着色する。これにより、可視光画像との合成後に脂肪部５４０の領域を強調して表示することができる。
　次のステップＳ２６では、画像変形・拡大処理部２１８が、有用情報画像に変形パラメータを適用して、有用情報画像の変形、拡大処理を行う。これにより、Ｓｉイメージセンサ１１０で撮像された可視光画像と有用情報画像の位置、サイズが適合される。また、変形パラメータを適用することで、Ｓｉイメージセンサ１１０で撮像された可視光画像と有用情報画像において、波長毎の軸上色収差やレンズ特性の歪みが同じレベルに補正される。次のステップＳ２８では、合成処理部２２０が、白色光画像処理部２０２で処理がされた可視光画像と、ＩＲ画像処理部２１０で処理がされた有用情報画像とを合成する。合成により生成された合成画像（重畳画像）の情報は、信号処理装置２００から伝送装置３００へと送られ、更に表示装置４００へ送られる。
　図１０は、合成処理部２２０とその周辺の構成を示す模式図である。図１０に示すように、合成処理部２２０の後段にセレクタ２２２が設けられていても良い。セレクタ２２２には、合成処理部２２０によって合成された合成画像に加え、合成前の画像、すなわち、白色光画像処理部２０２から出力された可視光画像と、ＩＲ画像処理部２１０から出力された有用情報画像が入力される。
　セレクタ２２２からは、合成処理部２２０によって合成された合成画像、白色光画像処理部２０２で処理がされた可視光画像、及びＩＲ画像処理部２１０で処理がされた有用情報画像、のいずれかが選択されて伝送装置３００に出力される。従って、伝送装置３００から表示装置４００へ合成画像、可視光画像、及び有用情報画像のいずれかが送られることで、これらの画像を表示装置４００に表示することができる。なお、セレクタ２２２による画像の切り換えは、ユーザによる操作情報がセレクタに入力されることで行われる。合成画像を表示した場合は、Ｓｉイメージセンサ１１０から得られる情報とＩｎＧａＡｓイメージセンサ１２０から得られる情報を一度に視認することができるため、最も効率良く情報を取得可能である。
　次のステップＳ３０では、表示装置４００が伝送装置３００から送られた画像情報を表示する。次のステップＳ３２では、処理を終了するか否かを判定する。処理を終了しない場合は、ステップＳ１０へ戻り、以降の処理を行う。
６．光学システムの構成例
　図１１Ａ～図１１Ｃは、撮像装置１００の光学システムを示す模式図である。光学システムとしては、図１１Ａに示すように、１つの開口からレンズ１２２を通して光を導入し、撮像装置１００の内部にスプリッタ１２４を配置してＳｉイメージセンサ１１０及びＩｎＧａＡｓイメージセンサ１２０に導光する「１眼２板システム」を採用することができる。この場合、波長によって光学軸上の色収差が異なるため、その影響を軽減するために、レンズ１２２とＳｉイメージセンサ１１０及びＩｎＧａＡｓイメージセンサ１２０の位置を適切に設計することが望ましい。
　また、図１１Ｂに示すように、２つの開口からレンズ１２６，１２８を通して光を導入し、Ｓｉイメージセンサ１１０及びＩｎＧａＡｓイメージセンサ１２０のそれぞれに導光する「２眼２板システム」を採用しても良い。この場合には、重畳画像の生成時に２つの開口部の位置の違いによる視差を適切に補正する。
　また、図１１Ｃは、図５と同様にダイクロイックミラー１１２を備え、Ｒ、Ｇ、Ｂのそれぞれ専用のＳｉイメージセンサ１１４，１１６，１１８を用いる３板システムを採用した例を示している。この場合、１つの開口からレンズ１３０を通して光を導入し、レンズ１３０を透過した光がスプリッタ１３２へ入射し、スプリッタ１３２で分光された光がダイクロイックミラー１１２とＩｎＧａＡｓイメージセンサ１２０のそれぞれに照射される。
　以上説明したように本実施形態によれば、通常の可視光画像だけでは判断し難い血管や脂肪域の視認性を向上させることができる。また、ＩｎＧａＡｓイメージセンサ１２０で撮像された画像の解像度感を向上させることが可能となる。更に、ＩｎＧａＡｓイメージセンサ１２０とＳｉイメージセンサ１１０で撮像された画像を重畳表示させることで、同時観察が可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）　可視光の波長域に受光感度を有し、術部を撮像する第１のイメージセンサと、
　可視光及び近赤外光の波長域に受光感度を有し、前記術部を撮像する第２のイメージセンサと、
　前記第１のイメージセンサで撮像された第１の画像と前記第２のイメージセンサで撮像された第２の画像を表示するための処理を行う信号処理装置と、
　を備える、手術用撮像システム。
（２）　前記第１のイメージセンサの解像度は、前記第２のイメージセンサの解像度よりも高い、前記（１）に記載の手術用撮像システム。
（３）　前記第１のイメージセンサは、画素毎に配置された所定の色のカラーフィルタを有し、
　前記第２のイメージセンサは、前記第１のイメージセンサの前記カラーフィルタの画素位置に対応する画素位置に、前記カラーフィルタと同色のカラーフィルタを有する、前記（１）又は（２）に記載の手術用撮像システム。
（４）　前記所定の色は緑色である、前記（３）に記載の手術用撮像システム。
（５）　前記第１のイメージセンサはＳｉからなるイメージセンサであり、３８４０×２１６０ピクセル以上の解像度を有する、前記（１）～（４）のいずれかに記載の手術用撮像システム。
（６）　前記第２のイメージセンサはＩｎＧａＡｓからなるイメージセンサである、前記（１）～（５）のいずれかに記載の手術用撮像システム。
（７）　前記信号処理装置は、前記第１のイメージセンサの前記カラーフィルタを透過して得られる画素値と、前記第２のイメージセンサの前記カラーフィルタを透過して得られる画素値とに基づいて、前記第１の画像と前記第２の画像を適合する画像適合部を有する、前記（３）に記載の手術用撮像システム。
（８）　前記信号処理装置は、前記第２のイメージセンサの前記カラーフィルタが設けられた画素位置において、当該カラーフィルタが配置されていない状態での画素値を算出する穴埋め処理部を有する、前記（３）に記載の手術用撮像システム。
（９）　前記信号処理装置は、前記第１の画像と前記第２の画像を合成する合成処理部を有する、前記（１）～（８）のいずれかに記載の手術用撮像システム。
（１０）　前記信号処理装置は、前記第１の画像に基づいて前記第２の画像を高画質化する高画質化処理部を有する、前記（１）～（９）のいずれかに記載の手術用撮像システム。
（１１）　前記信号処理装置は、前記第２の画像から特定の領域を抽出する画像抽出部を有する、前記（１）～（１０）のいずれかに記載の手術用撮像システム。
（１２）　前記第２のイメージセンサは、所定の波長域の光を透過するフィルタを有し、
　前記画像抽出部は、前記フィルタを透過して得られる画素値に基づいて前記特定の領域を抽出する、前記（１１）に記載の手術用撮像システム。
（１３）　前記所定の波長域は、１３００ｎｍ以上１４００ｎｍ以下の波長域である、前記（１２）に記載の手術用撮像システム。
（１４）　前記信号処理装置は、前記特定の領域に所定の色を付与する画像処理部を有する、前記（１１）に記載の手術用撮像システム。
（１５）　前記所定の色は緑色又は青色である、前記（１４）に記載の手術用撮像システム。
（１６）　前記第１のイメージセンサ及び前記第２のイメージセンサは、人体内部の脂肪又は血管を撮像する、前記（１）～（１５）のいずれかに記載の手術用撮像システム。
（１７）　可視光の波長域に受光感度を有し、術部を撮像する第１のイメージセンサで撮像された第１の画像と、可視光及び近赤外光の波長域に受光感度を有し、前記術部を撮像する第２のイメージセンサで撮像された第２の画像と、を合成して表示するための処理を行う、手術用画像の信号処理装置。
　１００　　撮像装置
　１１０　　Ｓｉイメージセンサ
　１２０　　ＩｎＧａＡｓイメージセンサ
　２００　　信号処理装置
　２１２　　穴埋め処理部
　２１４　　高画質化処理部
　２１６　　有用情報画像抽出部
　２１７　　有用情報画像処理部
　２１８　　画像変形・拡大処理部
　２２０　　合成処理部
　１０００　手術用撮像システム

Claims (17)

  1. 　可視光の波長域に受光感度を有し、術部を撮像する第１のイメージセンサと、
    　可視光及び近赤外光の波長域に受光感度を有し、前記術部を撮像する第２のイメージセンサと、
    　前記第１のイメージセンサで撮像された第１の画像と前記第２のイメージセンサで撮像された第２の画像を表示するための処理を行う信号処理装置と、
    　を備える、手術用撮像システム。
  2. 　前記第１のイメージセンサの解像度は、前記第２のイメージセンサの解像度よりも高い、請求項１に記載の手術用撮像システム。
  3. 　前記第１のイメージセンサは、画素毎に配置された所定の色のカラーフィルタを有し、
    　前記第２のイメージセンサは、前記第１のイメージセンサの前記カラーフィルタの画素位置に対応する画素位置に、前記カラーフィルタと同色のカラーフィルタを有する、請求項１に記載の手術用撮像システム。
  4. 　前記所定の色は緑色である、請求項３に記載の手術用撮像システム。
  5. 　前記第１のイメージセンサはＳｉからなるイメージセンサであり、３８４０×２１６０ピクセル以上の解像度を有する、請求項１に記載の手術用撮像システム。
  6. 　前記第２のイメージセンサはＩｎＧａＡｓからなるイメージセンサである、請求項１に記載の手術用撮像システム。
  7. 　前記信号処理装置は、前記第１のイメージセンサの前記カラーフィルタを透過して得られる画素値と、前記第２のイメージセンサの前記カラーフィルタを透過して得られる画素値とに基づいて、前記第１の画像と前記第２の画像を適合する画像適合部を有する、請求項３に記載の手術用撮像システム。
  8. 　前記信号処理装置は、前記第２のイメージセンサの前記カラーフィルタが設けられた画素位置において、当該カラーフィルタが配置されていない状態での画素値を算出する穴埋め処理部を有する、請求項３に記載の手術用撮像システム。
  9. 　前記信号処理装置は、前記第１の画像と前記第２の画像を合成する合成処理部を有する、請求項１に記載の手術用撮像システム。
  10. 　前記信号処理装置は、前記第１の画像に基づいて前記第２の画像を高画質化する高画質化処理部を有する、請求項１に記載の手術用撮像システム。
  11. 　前記信号処理装置は、前記第２の画像から特定の領域を抽出する画像抽出部を有する、請求項１に記載の手術用撮像システム。
  12. 　前記第２のイメージセンサは、所定の波長域の光を透過するフィルタを有し、
    　前記画像抽出部は、前記フィルタを透過して得られる画素値に基づいて前記特定の領域を抽出する、請求項１１に記載の手術用撮像システム。
  13. 　前記所定の波長域は、１３００ｎｍ以上１４００ｎｍ以下の波長域である、請求項１２に記載の手術用撮像システム。
  14. 　前記信号処理装置は、前記特定の領域に所定の色を付与する画像処理部を有する、請求項１１に記載の手術用撮像システム。
  15. 　前記所定の色は緑色又は青色である、請求項１４に記載の手術用撮像システム。
  16. 　前記第１のイメージセンサ及び前記第２のイメージセンサは、人体内部の脂肪又は血管を撮像する、請求項１に記載の手術用撮像システム。
  17. 　可視光の波長域に受光感度を有し、術部を撮像する第１のイメージセンサで撮像された第１の画像と、可視光及び近赤外光の波長域に受光感度を有し、前記術部を撮像する第２のイメージセンサで撮像された第２の画像と、を合成して表示するための処理を行う、手術用画像の信号処理装置。
PCT/JP2018/020326 2017-06-26 2018-05-28 手術用撮像システム及び手術用画像の信号処理装置 WO2019003751A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP18822911.6A EP3646771A4 (en) 2017-06-26 2018-05-28 SURGICAL IMAGING SYSTEM AND SIGNAL PROCESSING DEVICE FOR SURGICAL IMAGE
JP2019526706A JP7127644B2 (ja) 2017-06-26 2018-05-28 手術用撮像システム及び手術用画像の信号処理装置
US16/621,246 US20200126220A1 (en) 2017-06-26 2018-05-28 Surgical imaging system and signal processing device of surgical image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017124074 2017-06-26
JP2017-124074 2017-06-26

Publications (1)

Publication Number Publication Date
WO2019003751A1 true WO2019003751A1 (ja) 2019-01-03

Family

ID=64740514

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/020326 WO2019003751A1 (ja) 2017-06-26 2018-05-28 手術用撮像システム及び手術用画像の信号処理装置

Country Status (4)

Country Link
US (1) US20200126220A1 (ja)
EP (1) EP3646771A4 (ja)
JP (1) JP7127644B2 (ja)
WO (1) WO2019003751A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3804603A1 (en) * 2019-10-09 2021-04-14 Karl Storz Imaging, Inc. Enhanced fluorescence imaging for imaging system
WO2021172055A1 (ja) * 2020-02-26 2021-09-02 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法、電子機器

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200093420A1 (en) * 2018-09-21 2020-03-26 Covidien Lp Surgical imaging system and methods of use thereof
WO2020095513A1 (ja) * 2018-11-06 2020-05-14 富士フイルム株式会社 撮像レンズ及び撮像装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003290125A (ja) * 2002-03-29 2003-10-14 Olympus Optical Co Ltd センチネルリンパ節検出装置及び検出方法
JP2007075366A (ja) 2005-09-14 2007-03-29 Olympus Medical Systems Corp 赤外観察システム
JP2007075445A (ja) * 2005-09-15 2007-03-29 Olympus Medical Systems Corp 撮像システム
JP2013162978A (ja) 2012-02-13 2013-08-22 Aichi Prefecture 検出対象部位の検出システム
CN106236006A (zh) * 2016-08-31 2016-12-21 杨晓峰 3d光学分子影像腹腔镜成像系统
JP6132251B1 (ja) * 2016-05-19 2017-05-24 パナソニックＩｐマネジメント株式会社 内視鏡及び内視鏡システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3022898B1 (en) * 2013-07-19 2020-04-15 Google Technology Holdings LLC Asymmetric sensor array for capturing images
CN105517482B (zh) * 2013-09-10 2018-04-27 索尼公司 图像处理装置、图像处理方法和程序
WO2016117071A1 (ja) * 2015-01-22 2016-07-28 オリンパス株式会社 撮像装置
WO2017064760A1 (ja) * 2015-10-13 2017-04-20 オリンパス株式会社 積層型撮像素子、画像処理装置、画像処理方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003290125A (ja) * 2002-03-29 2003-10-14 Olympus Optical Co Ltd センチネルリンパ節検出装置及び検出方法
JP2007075366A (ja) 2005-09-14 2007-03-29 Olympus Medical Systems Corp 赤外観察システム
JP2007075445A (ja) * 2005-09-15 2007-03-29 Olympus Medical Systems Corp 撮像システム
JP2013162978A (ja) 2012-02-13 2013-08-22 Aichi Prefecture 検出対象部位の検出システム
JP6132251B1 (ja) * 2016-05-19 2017-05-24 パナソニックＩｐマネジメント株式会社 内視鏡及び内視鏡システム
CN106236006A (zh) * 2016-08-31 2016-12-21 杨晓峰 3d光学分子影像腹腔镜成像系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3646771A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3804603A1 (en) * 2019-10-09 2021-04-14 Karl Storz Imaging, Inc. Enhanced fluorescence imaging for imaging system
US11488292B2 (en) 2019-10-09 2022-11-01 Karl Storz Imaging, Inc. Enhanced fluorescence imaging for imaging system
US11877720B2 (en) 2019-10-09 2024-01-23 Karl Storz Imaging, Inc. Enhanced fluorescence imaging for imaging system
WO2021172055A1 (ja) * 2020-02-26 2021-09-02 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法、電子機器

Also Published As

Publication number Publication date
EP3646771A4 (en) 2020-07-01
US20200126220A1 (en) 2020-04-23
JPWO2019003751A1 (ja) 2020-04-23
JP7127644B2 (ja) 2022-08-30
EP3646771A1 (en) 2020-05-06

Similar Documents

Publication Publication Date Title
JP7127644B2 (ja) 手術用撮像システム及び手術用画像の信号処理装置
JP4868976B2 (ja) 内視鏡装置
JP4757221B2 (ja) 撮像装置及び方法
WO2017061432A1 (ja) 撮像装置および撮像プログラム
EP2047792B1 (en) Endoscope device
US10966592B2 (en) 3D endoscope apparatus and 3D video processing apparatus
JP6908039B2 (ja) 画像処理装置、画像処理方法、プログラム、及び画像処理システム
EP3369405B1 (en) Surgical microscope, image processing device, and image processing method
JP5358368B2 (ja) 内視鏡システム
JP2010227254A (ja) 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
JP2006061620A (ja) 内視鏡用映像信号処理装置
EP3610779A1 (en) Image acquisition system, control device, and image acquisition method
JP2009231918A (ja) 映像信号処理装置、撮像装置及び映像信号処理方法
WO2018131141A1 (ja) 内視鏡用画像処理装置および内視鏡用画像処理方法
JP2011234844A (ja) 制御装置、内視鏡装置及びプログラム
JPWO2019230095A1 (ja) カメラ装置、画像処理方法およびカメラシステム
JP2017157972A (ja) カメラコントロールユニット
JP2011205587A (ja) マルチバンドステレオ撮像装置
CN110022751B (zh) 内窥镜用图像处理装置
JP2009153074A (ja) 画像撮影装置
JP4606838B2 (ja) 電子内視鏡装置
JP5414369B2 (ja) 眼底カメラ及び制御方法
WO2017149742A1 (ja) 内視鏡用画像処理装置
JP5331863B2 (ja) 内視鏡装置
EP4002828A1 (en) Image processing apparatus, imaging device, image processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18822911

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019526706

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018822911

Country of ref document: EP

Effective date: 20200127