WO2021079723A1 - 画像処理装置、画像処理方法および内視鏡システム - Google Patents

画像処理装置、画像処理方法および内視鏡システム Download PDF

Info

Publication number
WO2021079723A1
WO2021079723A1 PCT/JP2020/037727 JP2020037727W WO2021079723A1 WO 2021079723 A1 WO2021079723 A1 WO 2021079723A1 JP 2020037727 W JP2020037727 W JP 2020037727W WO 2021079723 A1 WO2021079723 A1 WO 2021079723A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
low
frequency
input
input image
Prior art date
Application number
PCT/JP2020/037727
Other languages
English (en)
French (fr)
Inventor
宇紀 深澤
穂 高橋
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/762,372 priority Critical patent/US20220386854A1/en
Priority to EP20879443.8A priority patent/EP4008235A4/en
Priority to CN202080071746.5A priority patent/CN114586058A/zh
Publication of WO2021079723A1 publication Critical patent/WO2021079723A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • G06T5/75Unsharp masking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Definitions

  • This technology relates to medical image processing devices, image processing methods and endoscopic systems.
  • Patent Document 1 discloses a method of analyzing the surface layer structure of a living tissue to distinguish between mucosa and non-mucosa, and emphasizing and displaying blood vessels on the surface.
  • Patent Document 2 discloses a method of applying edge enhancement to a medical image to prevent and display excessive enhancement according to the edge strength.
  • Patent Documents 1 and 2 although the visibility of blood vessels on the surface layer is improved, the visibility of deep tissues is not improved. This is because both methods mainly emphasize the high frequency components of the image such as blood vessels and edges. Since the deep tissue is covered with biological membranes and fat, the scattering blur is large, and the low frequency component is contained more than the surface tissue. Therefore, in order to improve the visibility of deep blood vessels, it is necessary to emphasize low frequencies.
  • an unsharp mask as one means of low frequency enhancement processing.
  • the unsharp mask a smoothed image obtained by smoothing an input image and a difference image between the input image are obtained, and the difference image and the input image are combined to generate a emphasized image.
  • the smoothing processing stage of this method if the filter size is increased, it becomes possible to generate a smoothed image in which the input image is more strongly blurred.
  • the low frequency component will be included more. Therefore, as a result, stronger low-frequency emphasis becomes possible.
  • an object of the present technology is to provide an image processing device, an image processing method, and an endoscopic system capable of displaying deep tissues and surface blood vessels with improved visibility to an operator. There is.
  • the image processing apparatus includes an enhancement processing unit.
  • the emphasis processing unit emphasizes low-frequency components that are regions lower than a predetermined spatial frequency in the input image, and emphasizes high-frequency components that are regions of spatial frequencies higher than the low-frequency components in the input image. , The input image in which the low frequency component and the high frequency component are each emphasized is output.
  • the image processing device can emphasize the low-frequency component and the high-frequency component of the input image, respectively, output and display an image with improved visibility, and support the work of the user who uses the image.
  • the enhancement processing unit has a low-frequency enhancement processing unit that enhances the low-frequency component of the input image, and the low-frequency enhancement processing unit smoothes the input image and then inputs the smoothed input.
  • a difference image may be obtained from the difference between the image and the input image before smoothing. As a result, the low frequency component of the input image can be highlighted.
  • the low-frequency enhancement processing unit may reduce the resolution of the input image at a predetermined reduction rate before smoothing the input image. As a result, the amount of smoothing filter calculation can be reduced by reducing the input image in advance, and smoothing can be performed at higher speed.
  • the low-frequency enhancement processing unit may increase the resolution of the difference image at an enlargement ratio corresponding to the predetermined reduction ratio. As a result, the output image can be displayed in the original size before reduction.
  • the low-frequency enhancement processing unit may output a low-frequency enhancement image synthesized by multiplying the image with the enlarged resolution by a predetermined coefficient and combining it with the input image. Thereby, the degree of low-frequency emphasis can be adjusted.
  • the enhancement processing unit synthesizes a low-frequency enhanced image, which is an image in which the low-frequency component is enhanced, with the input image, and enhances the high-frequency component of the input image in which the low-frequency enhanced image is synthesized. You may. This enables processing without emphasizing high-frequency noise components included in the input image.
  • the enhancement processing unit may combine the low-frequency enhancement image, which is an image in which the low-frequency component has been enhanced, and the high-frequency enhancement image, which is an image in which the high-frequency component has been enhanced, with the input image. Good. As a result, an image (moving image) with improved processing speed can be displayed to the user of the image processing apparatus.
  • the low-frequency enhancement processing unit selects a separation processing unit that separates the input image into a brightness component image and a color component image, and pixels that should be emphasized and pixels that should not be emphasized from the brightness component image and the color component image. It may also have a gain adjusting unit that adjusts the gain to be multiplied for the pixels that should be emphasized and the pixels that should not be emphasized. As a result, excessive emphasis can be suppressed by performing emphasis control that does not emphasize the dark and bright areas of the luminance component.
  • the input image may be a medical image.
  • the deep tissue and the blood vessels in the superficial layer with improved visibility can be assisted and displayed to the operator.
  • the input image may include at least one of a white light image illuminated under white, a narrow band image illuminated by narrow band light, and a fluorescence image illuminated by excitation light. This makes it possible to remove blur on the surface layer while improving the contrast of the deep tissue.
  • the enhancement processing unit may control the enhancement processing of another type of input image based on one type of input image. As a result, deterioration of visibility can be prevented.
  • the image processing method reads the input image. Then, the low frequency component in the region lower than the predetermined spatial frequency is emphasized in the input image, and the high frequency component in the spatial frequency region higher than the low frequency component is emphasized in the input image to emphasize the low frequency.
  • the input image in which the region component and the high frequency component are each emphasized is output.
  • the endoscope system includes an endoscope device and an image processing device.
  • the endoscope device captures an endoscope in which an objective lens is provided at the tip of an insertion portion inserted into a body cavity and an optical image input from the endoscope and condensed by the objective lens. It also has an imaging unit that outputs as an image signal.
  • the image processing device emphasizes an image reading unit that reads the image signal and a low frequency component that is a region lower than a predetermined spatial frequency in the image signal, and has a spatial frequency higher than the low frequency component in the image signal. It has an enhancement processing unit that emphasizes the high frequency component, which is the region of the above, and outputs the image signal in which the low frequency component and the high frequency component are each enhanced.
  • FIG. 1 shows the outline of the laparoscopic surgery. It is a block diagram which shows the configuration example of the endoscope system to which this technology is applied. It is a block diagram which shows the other configuration example of the endoscope apparatus of FIG. It is an image diagram which shows the spatial frequency spectrum of a superficial blood vessel and a deep blood vessel. It is a graph result which analyzed the frequency characteristic of the superficial blood vessel and the deep blood vessel region in the image taken with the angle of view of FIG. It is a schematic block diagram of the series type image processing apparatus which concerns on 1st Embodiment of this technique. This is a flow of the image processing method according to the first embodiment of the present technology. It is an example of the image processed by the image processing method of FIG.
  • FIG. 10 It is a schematic block diagram of the parallel type image processing apparatus which concerns on 1st Embodiment of this technique. It is a schematic block diagram of the image processing apparatus which concerns on 2nd Embodiment of this technique. It is a flow of the image processing method which concerns on the 2nd Embodiment of this technique. It is a block diagram which made the schematic structure of FIG. 10 more concrete. It is an example of the image processed by the image processing method of FIG. It is a figure explaining the configuration example of the general-purpose personal computer.
  • FIG. 1 is a diagram illustrating an outline of an endoscope system to which the present technology is applied.
  • this endoscopic system has been used in laparoscopic surgery performed in place of conventional open surgery in the medical field.
  • an opening device called a trocca 2 is used for the abdominal wall.
  • a laparoscope (hereinafter, also referred to as an endoscope device or an endoscope) 11 and a treatment tool 3 are inserted into the body through holes provided in the trocca 2 which are attached to 1 at several places. Then, while viewing the image of the affected area (tumor or the like) 4 video-captured by the endoscope device 11 in real time, treatment such as excising the affected area 4 with the treatment tool 3 is performed.
  • the head portion 24 is held by an operator, an assistant, a scopist, a robot, or the like.
  • the endoscope system 10 is composed of an endoscope device 11, an image processing device 12, and a display device 13 (which displays an output image).
  • the endoscope device 11 and the image processing device 12 may be connected via a cable or may be connected wirelessly. Further, the image processing device 12 may be arranged at a place away from the operating room and connected via a network such as a premises LAN or the Internet. The same applies to the connection between the image processing device 12 and the display device 13.
  • the endoscope device 11 is composed of a straight rod-shaped lens barrel portion 21 and a head portion 24.
  • the lens barrel portion 21 is also called an optical tube or a rigid tube, and its length is about several tens of centimeters.
  • An objective lens 22 is provided at one end on the side to be inserted into the body, and the other end is a head. It is connected to the unit 24.
  • An optical lens portion 23 of a relay optical system is provided inside the lens barrel portion 21.
  • the shape of the lens barrel portion 21 is not limited to the straight rod shape.
  • the lens barrel portion 21 is roughly classified into a direct view mirror having the same optical axis as the lens barrel axis shown in FIG. 2 and a perspective mirror having the lens barrel axis and the optical axis at a predetermined angle.
  • the lens barrel portion 21 in FIG. 2 is an example of a direct-view mirror.
  • An imaging unit 25 is built in the head unit 24.
  • the image pickup unit 25 has an image pickup element such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and converts an optical image of the affected portion input from the lens barrel portion 21 into an image signal at a predetermined frame rate.
  • CMOS Complementary Metal Oxide Semiconductor
  • a light source device 14 is connected to the endoscope device 11, and the affected portion 4 is irradiated by receiving the supply of the light source required for imaging.
  • the light source device 14 can switch and emit light of various wavelengths, and in addition to the normal light, it can also emit special light that can particularly identify the affected area 4. Therefore, as the image captured by the imaging unit 25, it is possible to capture an image signal by special light as well as an image signal by normal light.
  • the endoscope device 11 may be provided with a plurality of light source devices 14 and may emit light of various wavelengths at the same time.
  • the endoscope device 11 is one or a plurality of types of images such as a white light image illuminated under white, a narrow band image illuminated by narrow band light, and a fluorescent image illuminated by excitation light. Is output to the image processing device 12 as an input image.
  • the optical image of the affected portion 4 focused by the objective lens 22 is incident on the imaging unit 25 of the head unit 24 via the optical lens unit 23, and the image at a predetermined frame rate is captured by the imaging unit 25. It is converted into a signal and output to the image processing device 12 in the subsequent stage.
  • the head unit 24 is configured to supply information such as the type of light emitted by the light source device 14, the aperture of the objective lens 22, and the aperture of the optical lens unit 23 to the image processing device 12 as condition information. To do.
  • the condition information may be input in advance to a portion of the head portion 24 (not shown) by the user, and the condition information may be supplied to the image processing apparatus 122 from this portion. Further, the condition information may be configured to be recognized by the image processing device 12 by analyzing the image signal to be captured by the image processing device 12. Here, it is assumed that the condition information is input to the image processing device 12 by any of the methods. The information on the type of light supplied from the light source device 14 to the image processing device 12 may be directly supplied from the light source device 14 to the image processing device 12.
  • FIG. 3 shows another configuration example of the endoscope device 11.
  • the imaging unit 25 may be arranged immediately after the objective lens 22, and the optical lens unit 23 inside the lens barrel unit 21 may be omitted.
  • FIG. 4 is an image diagram of a medical image showing the spatial frequency spectra of superficial blood vessels (surface tissue) and deep blood vessels (deep tissue).
  • the deep blood vessels correspond to the low frequencies of the spatial frequency spectrum
  • the superficial blood vessels correspond to the high frequencies of the spatial frequency spectrum, which are higher than the deep blood vessels. Since the deep blood vessels are covered with biological membranes and fats, the scattering blur is large, and the low-frequency components are contained more than the superficial blood vessels. Therefore, in order to improve the visibility of deep blood vessels, it is necessary to emphasize low frequencies.
  • FIG. 5 is a graph result of analyzing the frequency characteristics of the surface blood vessel and the deep blood vessel region in the image taken at the angle of view of FIG.
  • the Nyquist frequency the maximum value that can be expressed when the signal is sampled
  • the amplitude spectrum of the deep blood vessels is Higher than the amplitude spectrum of superficial blood vessels.
  • the Nyquist frequency is 0.05 or more and less than 0.17
  • the amplitude spectrum of the superficial blood vessel is higher than the amplitude spectrum of the deep blood vessel.
  • the frequency characteristic of the Nyquist frequency of 0.17 or more can be ignored.
  • a (input image) signal having a Nyquist frequency of 0 or more and less than 0.05 can be a low frequency component, and a signal higher than that can be a high frequency component.
  • a region lower than a predetermined spatial frequency (Nyquist frequency 0.05) is defined as a low frequency component, and a region having a spatial frequency higher than this low frequency component is defined as a high frequency component.
  • a predetermined amplitude spectrum e.g. 2.0 ⁇ 10 4
  • more signals and low-frequency component may be a less signal as high-frequency component.
  • the frequency characteristics vary depending on the zoom in / out of the endoscope device 11. For example, the more you zoom in, the thicker the blood vessels relative to the angle of view, and the lower the spatial frequency. On the other hand, the more zoomed out, the thinner the blood vessels with respect to the angle of view, and the higher the spatial frequency. Therefore, when zooming in, the filter size for the low and high frequencies is automatically increased accordingly, and when zooming out, the filter size for the low and high frequencies is automatically increased accordingly. It may be made smaller.
  • FIG. 6 is a schematic configuration diagram showing a series-type image processing device 121 as the image processing device 12 according to the present embodiment.
  • the image processing device 121 is typically composed of a computer having a CPU, a memory, and the like.
  • the image processing device 121 includes an image reading unit 26 and an enhancement processing unit 50 as functional blocks of the CPU.
  • the enhancement processing unit 50 emphasizes a low frequency component that is a region lower than a predetermined spatial frequency in the input image (medical image in the present embodiment), and enhances the high frequency component that is a region of a spatial frequency higher than the low frequency component in the input image.
  • the region component is emphasized, and the input image in which the low frequency component and the high frequency component are each emphasized is output.
  • the enhancement processing unit 50 includes a low-frequency enhancement processing unit 51 that performs enhancement processing on the low-frequency components of the input image, and a high-frequency enhancement processing unit 52 that performs enhancement processing on the high-frequency components of the input image.
  • the enhancement processing unit 50 inputs a low-frequency enhancement image which is an image in which the low-frequency component is enhanced by arranging the low-frequency enhancement processing unit 51 and the high-frequency enhancement processing unit 52 in series. It is configured to emphasize the high-frequency components of the input image in which the low-frequency enhanced image is synthesized.
  • the low-frequency enhancement processing unit 51 includes an image reduction unit 53, a smoothing unit 54, a difference processing unit 58, an image enlargement unit 55, a gain multiplication unit 56, and a composition processing unit 59.
  • the high frequency enhancement processing unit 52 includes a high frequency enhancement unit 57.
  • the low-frequency enhancement processing unit 51 includes an image reduction unit 53, a smoothing unit 54, an image enlargement unit 55, and a gain multiplication unit 56 in that order in series.
  • the image reduction unit 53 reduces the input image acquired by the image reading unit 26 to a predetermined low resolution image.
  • the smoothing unit 54 smoothes the image reduced by the image reducing unit 53 with a predetermined filter size (smoothing intensity).
  • the difference processing unit 58 acquires these difference images by taking the difference between the output of the image reduction unit 53 and the output of the smoothing unit 54.
  • the image enlargement unit 55 enlarges the resolution of the difference image output from the difference processing unit 58.
  • the enlargement ratio is typically an enlargement ratio corresponding to the reduction ratio when the reduction processing is performed by the image reduction unit 53.
  • the gain multiplication unit 56 multiplies the image signal enlarged by the image enlargement unit 55 by a predetermined digital gain (coefficient).
  • the digital gain adjusts the degree of (low frequency) emphasis, and its value can be adjusted arbitrarily.
  • the compositing processing unit 59 is provided in the bypass route 27 that directly connects the image reading unit 26 and the high frequency enhancement processing unit 52, and is output from the gain multiplication unit 56 to the input image acquired by the image reading unit 26. Images are combined and output to the high frequency enhancement processing unit 52.
  • FIG. 7 is a flow of an image processing method executed in the image processing apparatus 121 according to the first embodiment of the present technology.
  • the input image image signal output from the endoscope device 11
  • the image reading unit 26 the image reading unit 26
  • step S102 low-frequency enhancement and high-frequency enhancement of the input image are performed.
  • the input image is separated into two systems. One of the input images is subjected to the resolution reduction processing in the image reduction unit 53 and then the smoothing processing in the smoothing unit 54, and the difference processing unit 58 acquires the difference images between the images before and after the smoothing. To. Since the input image is reduced before the input image is smoothed, the processing time required for smoothing can be shortened.
  • the resolution of the acquired difference image is enlarged by the image enlargement unit 55 at an enlargement ratio corresponding to the reduction ratio in the image reduction unit 53.
  • This image is a low-frequency enhancement component image, and after a predetermined digital gain is applied by the gain multiplication unit 56, the other input image separated into two systems by the synthesis processing unit 59 (bypass route 27 from the image reading unit 26). The image is combined with the image) input to the composition processing unit 59 via.
  • This process makes it possible to emphasize components larger than any spatial frequency, depending on the intensity of smoothing.
  • the high frequency enhancement unit 57 the blood vessels in the surface layer are emphasized by, for example, edge enhancement processing, using the image after the low frequency enhancement as an input.
  • the image highlighted by the highlighting processing unit 50 is output to the display device 13, and the processing result is displayed by the display device 13.
  • FIG. 8 shows an example of the image processed by the image processing method 100.
  • a 4K image (3840 ⁇ 2160 pixels) is input to the low-frequency enhancement processing unit 51 as an input image (FIG. 8 (A)), and the image reduction unit 53 reduces the resolution to 1/64.
  • the smoothing section 54 is smoothed by a Gaussian filter having a filter size of 27 pixels, and then the image enlargement section 55 applies a double gain to the difference image magnified 64 times to obtain a low-frequency enhancement processed image. Will be done.
  • the high-frequency enhancement processing unit 52 acquires an image to which an edge enhancement filter is applied to emphasize the high-frequency component.
  • the output image (FIG.
  • the size of the smoothing filter is eight times larger to achieve the same low-frequency emphasis, which exceeds 200 pixels. It is very difficult to apply a filter of this size to a 4K image for real-time processing.
  • the smoothing filter in the subsequent stage can be suppressed to a small size of 27 pixels. It is possible and the speed is increased. Further reduction processing enables processing without emphasizing high-frequency noise components contained in the input image.
  • the reduction ratio and the enlargement ratio are not limited to this, and the image may be converted from 4K to full HD (1920 ⁇ 1080 pixels), for example.
  • the contrast of the deep tissue is improved by the low-frequency enhancement treatment, and the visibility of the tissue structure of the surface layer as well as the deep tissue is improved by using the high-frequency enhancement treatment in combination. Improvement can be achieved at the same time.
  • the image processing result can be displayed to the operator in real time, the visibility of the deep biological tissue covered with the biological membrane or fat can be improved, and safer surgical operation can be supported.
  • the enhancement processing unit 50 synthesizes a low-frequency enhanced image, which is an image in which the low-frequency component is enhanced, with the input image, and enhances the high-frequency component of the input image in which the low-frequency enhanced image is synthesized.
  • a low-frequency enhanced image which is an image in which the low-frequency component is enhanced
  • the input image By separating the input image into two systems as shown in FIG. 6, the high frequency component that was in the original image can be left in the composite image after the low frequency enhancement, so that the high frequency enhancement in the subsequent stage is possible.
  • the order is to emphasize the low frequency band and then the high frequency band, but this order can be reversed in the same manner.
  • FIG. 9 is a schematic configuration diagram showing a parallel type image processing device 122 as the image processing device 12 according to the present embodiment.
  • the enhancement processing unit 50 has a low-frequency enhancement processing unit 51 and a high-frequency enhancement processing unit 52 in parallel with the image reading unit 26. Is placed in.
  • the enhancement processing unit 50 is configured to combine the low-frequency enhancement image and the high-frequency enhancement image with the input image.
  • the high frequency enhancement processing unit 52 includes a high frequency enhancement unit 57.
  • the image processing unit 122 has a difference processing unit 581 that takes a difference between the image before the high frequency enhancement and the image after the high frequency enhancement, and a predetermined digital gain on the output image (difference image) of the difference processing unit 581. Further has a gain multiplying unit 561 to be multiplied by.
  • the high-frequency enhanced image is combined with the input image and the low-frequency enhanced image in the compositing processing unit 59.
  • the image processing apparatus 122 of the present embodiment inputs the low-frequency enhanced image which is the image in which the low-frequency component is emphasized and the high-frequency enhanced image which is the image in which the high-frequency component is emphasized. Synthesize to.
  • the input image is separated into four systems (input image I1, input image I2, input image I3, and input image I4) in the image reading unit 26.
  • the input image I1 is used to generate an emphasis component image of the low frequency enhancement processing unit 51, and the low frequency enhancement processing unit 51 generates a low frequency enhancement component image for the input image based on the input image I1. ..
  • the input image I2 is input to the synthesis processing unit 59 via the bypass route 27.
  • the input image I3 is used by the high frequency enhancement processing unit 52, and the input image I4 is input to the difference processing unit 581.
  • the high-frequency enhancement processing unit 52 generates a high-frequency enhancement component image for the input image based on the input image I3 and the input image I4.
  • the low-frequency enhancement component image and the high-frequency enhancement component image are multiplied by appropriate gains by the gain multiplication units 56 and 561, respectively, and then combined with the input image I2 by the composition processing unit 59 and output to the display device 13.
  • the same effects as those in the first embodiment described above can be obtained.
  • the present embodiment since the low-frequency enhancement processing and the high-frequency enhancement processing of the input image are performed in parallel, the time required for the image processing can be shortened. As a result, the real-time property of the image display on the display device 13 is further improved.
  • the low-frequency enhancement component image is emphasized by the gain multiplication unit 56 with a uniform gain in the low-frequency enhancement processing unit 51, but the enhancement gain is controlled according to the characteristics of the input image. By doing so, it is possible to obtain a further effect of improving visibility.
  • FIG. 10 is a schematic configuration diagram of an image processing device 123 according to a third embodiment of the present technology.
  • the image processing device 123 includes an image reading unit 26, a luminance color separating unit (separation processing unit) 60, a luminance color identification unit 61, a gain adjusting unit 62, and a low frequency enhancement processing unit 51'.
  • the low-frequency enhancement processing unit 51' is different from the first embodiment in that the over-emphasis suppression processing unit 40 is provided between the difference processing unit 58 and the image enlargement processing unit 53.
  • the luminance color separation 60 and the luminance color identification unit 61 may be composed of a single functional block.
  • the image processing device 123 includes a high-frequency enhancement processing unit having a high-frequency enhancement unit 57.
  • the high-frequency enhancement processing unit may be configured in series with the low-frequency enhancement processing unit as in the first embodiment, or may be configured in parallel with the low-frequency enhancement processing unit as in the second embodiment. You may.
  • the luminance color separation unit 60 separates the input image into a luminance component image and a color component image.
  • the gain adjusting unit 62 selects a pixel to be emphasized and a pixel not to be emphasized from the luminance component image and the color component image, and adjusts the gain to be multiplied for the pixel to be emphasized and the pixel not to be emphasized.
  • the over-emphasis suppression processing unit 40 has a function of suppressing the degree of emphasis of an excessively emphasized portion (pixel region) of the low-frequency emphasized image (difference image) obtained by the difference processing unit 40.
  • FIG. 11 is a flow of an image processing method executed by the image processing apparatus 123.
  • the input image for example, a 4K image
  • the luminance component and the color component of the input image are separated by the luminance color separating unit 60.
  • each component is identified by the luminance color identification unit 61.
  • the gain of the gain multiplication unit 56 is adjusted by the gain adjustment unit 62 based on the identified component information.
  • the input image is separated into two systems (see FIG. 10).
  • One input image has a resolution reduction process (for example, 1/64 times) performed by the image reduction unit 53, then a smoothing process is performed by the smoothing unit 54, and an image before and after smoothing is performed by the difference processing unit 58. The difference between them is taken, and the difference image is acquired.
  • the smoothing section 54 the greater the degree of blurring of the image (the stronger the smoothing), the greater the emphasis component of the low frequency component.
  • the over-emphasis suppression processing unit 58 performs a process of suppressing over-emphasis (for example, 1/64 times). ..
  • the resolution of the image in which over-emphasis is suppressed is enlarged at an enlargement ratio corresponding to the reduction ratio in the image reduction unit 53.
  • This emphasized component image is combined with the input image input to the synthesis processing unit 59 via the bypass route 27 by multiplying the gain multiplication unit 56 with the digital gain adjusted by the gain adjustment unit 62 described above. This process makes it possible to emphasize components larger than any spatial frequency, depending on the intensity of smoothing.
  • FIG. 12 is a configuration diagram of an image processing device 123', which is a specific example of the image processing device 123 of FIG.
  • the low-frequency enhancement processing unit 51' includes an image reduction unit 53, a smoothing unit 54, a difference processing unit 58, a gain adjustment unit 62', an image enlargement unit 55, and a composition processing unit 59.
  • the gain adjusting unit 62' multiplies the difference image output from the difference processing unit 58 by a predetermined gain for each luminance component and color component, and outputs the difference image to the image enlargement unit 55.
  • the input image (YCbCr) is a color space represented by a luminance signal Y and two color difference signals Cb and Cr.
  • low frequency enhancement is applied to each of the luminance component (Y) and the color component (Cb, Cr) of the input image.
  • the blood vessel portion becomes dark and the redness appears to be reduced. Since the color of blood vessels is important for observing blood circulation, it is preferable not to reduce redness.
  • the tint is emphasized, but the structure is not emphasized, resulting in poor visibility. Therefore, by emphasizing both the luminance component and the color component, it is possible to improve the visibility of deep blood vessels and lymph nodes by adding color contrast of blood vessels and the like while emphasizing the structure.
  • FIG. 13B shows an example of an image that has been enhanced by the image processing method 200.
  • FIG. 13 (A) (same as FIG. 8 (B)) processed by the above image processing method 100 while improving the contrast (M') of blood vessels and the sharpness (T') of small-diameter blood vessels on the surface layer. Then, it can be seen that an image (L') in which the spread of bright spots (L) is controlled can be obtained.
  • the luminance color identification unit 61 detects pixels that should be emphasized and pixels that should not be emphasized based on the luminance (Y) information of the reduced image. For example, the emphasis of a pixel with high brightness such as halation is reduced. Alternatively, excessive emphasis is suppressed by reducing the emphasis on the blood portion having low brightness. When the enhancement process is applied, excessive enhancement may occur in high-luminance and low-luminance areas. For example, the bright spots may expand or the blood may turn black. Therefore, excessive emphasis can be suppressed by performing emphasis control that does not emphasize the dark and bright areas of the luminance component.
  • the luminance color identification unit 61 detects pixels that should be emphasized and pixels that should not be emphasized based on the color (Cb, Cr) information of the reduced image. For example, processing is performed to reduce the emphasis of the portion where the Cb and Cr signals are high due to chromatic aberration. If the chromatic aberration portion on the image is emphasized, the color shift becomes more noticeable and the visibility deteriorates. Therefore, it is possible to suppress excessive emphasis on chromatic aberration by adding enhancement control that does not excessively emphasize color components. Further, the visibility of the living tissue can be further improved by controlling the color enhancement. For example, arteries (for example, redness) and veins (for example, bluish) have different colors, so if you want to emphasize arteries and / or veins, you can emphasize the color of each.
  • arteries for example, redness
  • veins for example, bluish
  • the color components of the deep blood vessels can be selectively emphasized to improve the visibility by analyzing the color information.
  • an artificial object for example, forceps
  • a surgical instrument is shown in addition to the living body. Since artificial objects have colors that are significantly different from living tissues (for example, green and silver), they can be separated by color. Therefore, it is possible to perform control that does not emphasize something that is not the color of the living body.
  • the contrast of the deep tissue is improved, and by using another enhancement process (high frequency enhancement process) in combination, the visibility of not only the deep tissue but also the surface tissue structure is improved. Can be achieved at the same time. Furthermore, by using gain adjustment together, the brightness component and color component are emphasized to emphasize the structure and contrast the color of blood vessels, etc. to improve the visibility of deep blood vessels and lymph nodes. Can be made to.
  • the image processing result according to the present embodiment to the operator in real time, the visibility of the deep biological tissue covered with the biological membrane or fat can be improved, and safer surgical operation can be supported.
  • Input images include not only a single medical image (white light image) taken (illuminated) under white light, but also a narrow band image illuminated with narrow band light, a fluorescent image illuminated with excitation light, etc. Medical images of the species may be utilized. Although not limited to this, a case where two types of images, a white light image and a fluorescent image, are used as input images will be described.
  • the enhancement process using a plurality of types of images can remove the blur of the surface layer while improving the contrast of the deep tissue by incorporating the enhancement that corrects the fluorescence blur of the surface layer and the aberration of the lens.
  • the image identification may be performed by, for example, the luminance color identification unit 61 in the image processing apparatus 123 (123'), or another identification unit for image identification may be further provided. Further, each image may be processed by a common low-frequency enhancement processing unit, or may be processed by a low-frequency enhancement processing unit different from the image.
  • the enhancement processing unit 50 is based on one (one type) image and the other (other type). ) Controls the image enhancement process.
  • the low-frequency emphasis in the present embodiment improves the contrast of the deep tissue, and by using another enhancement process (high-frequency enhancement process) in combination, not only the deep tissue but also the surface tissue structure is affected. Improvement of visibility can be achieved at the same time. Furthermore, by enhancing the image in combination with a plurality of types of images, it is possible to remove the blur on the surface layer while improving the contrast of the deep tissue by incorporating the enhancement that corrects the fluorescence blur of the surface layer and the aberration of the lens. By displaying the image processing result according to the present embodiment to the operator in real time, the visibility of the deep biological tissue covered with the biological membrane or fat can be improved, and safer surgical operation can be supported.
  • the series of processes by the image processing apparatus 12 described above can be executed by hardware or the like, but can also be executed by software.
  • the programs that make up the software can execute various functions by installing a computer embedded in dedicated hardware or various programs. It is installed from a recording medium on a possible, eg, general purpose personal computer.
  • FIG. 14 shows a configuration example of a general-purpose personal computer.
  • This personal computer has a built-in CPU (Central Processing Unit) 1001.
  • the input / output interface 1005 is connected to the CPU 1001 via the bus 1004.
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.
  • the input / output network 1005 includes an input unit 1006 composed of input devices such as a keyboard and a mouse for which a user inputs operation commands, an output unit 1007 for outputting a processing operation screen and an image of processing results to a display device, programs and various types. It is composed of a storage unit 1008 including a hard disk drive for storing data, a LAN (Local Area Network) adapter, and the like, and is connected to a communication unit 1009 for executing communication processing via a network represented by the Internet.
  • magnetic disks including flexible disks
  • optical disks including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)
  • optical magnetic disks including MD (Mini Disc)
  • a drive 1010 for reading and writing data is connected to a removable media 1011 such as a memory.
  • the CPU 1001 was read from a program stored in the ROM 1002 or a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installed in the storage unit 1008, and loaded from the storage unit 1008 into the RAM 1003. Perform various processes according to the program.
  • the RAM 1003 also appropriately stores data and the like necessary for the CPU 1001 to execute various processes.
  • the CPU 1001 loads the program stored in the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the above-described series. Is processed.
  • the program executed by the computer can be recorded and provided on the removable media 1011 as a package media or the like, for example. Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by mounting the removable media 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 and installed in the storage unit 1008 via a wired or wireless transmission medium. In addition, the program can be pre-installed in the ROM 1002 or the storage unit 1008.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether or not all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the present technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
  • each step described in the above-mentioned flowchart can be executed by one device or can be shared and executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • Modification example 1 By using the data obtained by learning the medical image in the luminance color identification unit 61 of the third embodiment of the present technology described above, it is possible to make it easier to identify an artificial object, a living tissue, a deep blood vessel, a surface blood vessel, or the like. .. Based on the identified result, the region to be emphasized can be emphasized more by increasing the emphasis gain of the region to be emphasized in the gain adjusting units 62 and 62'.
  • the luminance color identification unit 61 stores a database that stores a large number of teacher data including an image portion to be emphasized (for example, a biological tissue or a blood vessel) or an image portion that should not be emphasized (for example, an artificial object), and the database.
  • control unit for determining or extracting an image area to be emphasized or an image area not to be emphasized from the input image.
  • an AI sensor that selectively emphasizes and outputs an image to be emphasized may be mounted on the endoscope device 11 (for example, the imaging unit 25).
  • Modification 2 In addition to the Gaussian filter, various smoothing filters such as a moving average filter, a median filter, and a bilateral filter are applied to the smoothing unit 54 provided in the low frequency enhancement processing units 51 and 51'of each embodiment of the present technology described above. It is possible.
  • a medical image has been described as an example as an input image, but the present technology is not limited to this, and the present technique can be applied to, for example, enhancement processing of a tissue image of a living organism or a plant.
  • the present technology can have the following configurations.
  • An image processing apparatus including an enhancement processing unit that outputs the input image in which the region component and the high region component are each emphasized.
  • the enhancement processing unit has a low-frequency enhancement processing unit that enhances the low-frequency component of the input image.
  • the low-frequency enhancement processing unit is an image processing device that smoothes the input image and obtains a difference image from the difference between the smoothed input image and the input image before smoothing.
  • the low-frequency enhancement processing unit is an image processing device that reduces the resolution of the input image at a predetermined reduction rate before smoothing the input image.
  • the low-frequency enhancement processing unit is an image processing device that smoothes the input image and then enlarges the resolution of the difference image at an enlargement ratio corresponding to the predetermined reduction ratio.
  • the low-frequency enhancement processing unit is an image processing device that outputs a low-frequency enhancement image synthesized by multiplying an image with an enlarged resolution by a predetermined coefficient and combining it with the input image. (6) The image processing apparatus according to any one of (1) to (5) above.
  • the enhancement processing unit synthesizes a low-frequency enhanced image, which is an image in which the low-frequency component is enhanced, with the input image, and enhances the high-frequency component of the input image in which the low-frequency enhanced image is synthesized.
  • Image processing equipment (7) The image processing apparatus according to any one of (1) to (5) above.
  • the enhancement processing unit performs image processing for synthesizing a low-frequency enhanced image, which is an image in which the low-frequency component is enhanced, and a high-frequency enhanced image, which is an image in which the high-frequency component is enhanced, into the input image. apparatus.
  • (8) The image processing apparatus according to any one of (1) to (7) above.
  • the low frequency enhancement processing unit is A separation processing unit that separates the input image into a luminance component image and a color component image, An image having a gain adjusting unit that selects pixels to be emphasized and pixels that should not be emphasized from the luminance component image and the color component image, and adjusts the gain multiplied by the pixels that should be emphasized and the pixels that should not be emphasized. Processing equipment. (9) The image processing apparatus according to any one of (1) to (8) above.
  • the input image is an image processing device that is a medical image.
  • the image processing apparatus according to any one of (1) to (9) above.
  • the input image is an image processing apparatus including at least one of a white light image illuminated under white, a narrow band image illuminated by narrow band light, and a fluorescent image illuminated by excitation light.
  • the enhancement processing unit is an image processing device that controls the enhancement processing of another type of input image based on one type of input image when two or more types of the input images are input.
  • (12) Read the input image and In the input image, the low frequency component, which is a region lower than a predetermined spatial frequency, is emphasized and processed. In the input image, the high frequency component, which is a region having a spatial frequency higher than that of the low frequency component, is emphasized.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Hematology (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

 強調され視認性が改善された深部組織および表層の血管を、リアルタイムに術者に表示することができる画像処理装置、画像処理方法および内視鏡システムを提供する。本技術の一形態に係る画像処理装置は、入力画像において所定の空間周波数より低い領域である低域成分を強調処理し、前記入力画像において前記低域成分よりも高い空間周波数の領域である高域成分を強調処理し、前記低域成分及び前記高域成分がそれぞれ強調処理された前記入力画像を出力する強調処理部を具備する。

Description

画像処理装置、画像処理方法および内視鏡システム
 本技術は、医用の画像処理装置、画像処理方法および内視鏡システムに関する。
 外科手術において、生体膜や脂肪などに覆われた血管やリンパ節などの深部組織の位置を同定し、適切な処置をすることは合併症率の低減や手術時間の短縮に重要であり、手術の安全性の向上に大きく寄与する。
 近年の医用画像は、高解像度化により表層の組織構造の視認性が高くなった。しかしながら、深部組織は、生体膜や脂肪の影響による反射光の吸収・散乱ボケによりコントラストが低下するため、視認性の更なる改善が求められている。
 例えば特許文献1では、生体組織の表層構造を解析して粘膜および非粘膜を識別して、表面の血管を強調して表示する方法が開示されている。特許文献2では、医用画像にエッジ強調を適用して、エッジ強度に応じて過度な強調を防止して表示する方法が開示されている。特許文献1および2では、表層の血管などの視認性改善が図られているものの、深部組織の視認性は改善されていない。
 なぜならば、いずれの手法も血管やエッジといった画像の高域成分を主に強調するためである。深部組織は生体膜や脂肪などに覆われているため、散乱ボケが大きく、表層組織よりも低域成分の方が多く含まれる。そのため、深部血管の視認性を向上させるためには、低域強調が必要となる。
国際公開第2012/147505号パンフレット 特開平9-62836号公報
 低域強調処理の一手段として、アンシャープマスクがある。アンシャープマスクでは、入力画像に平滑化処理を施して得た平滑画像と、入力画像との差分画像を求めて差分画像と入力画像とを合成することで強調画像を生成する。
 この手法の平滑化処理段階において、フィルタサイズを大きくすれば入力画像をより強力にボカした平滑化画像を生成することが可能となり、入力画像と平滑化画像との差分をとった差分画像には低域成分がより含まれるようになる。そのため、結果的により強力な低域強調が可能となる。
 しかしながら、アンシャープマスクによる強調処理では、ある周波数帯域から上の帯域を一律に強調する処理となるため、医用画像の深部組織と表層の血管とを同時に強調することは難しく、強調の自由度が制限されてしまう。
 以上のような事情に鑑み、本技術の目的は、視認性が改善された深部組織および表層の血管を術者に表示することができる画像処理装置、画像処理方法および内視鏡システムを提供することにある。
 本技術の一形態に係る画像処理装置は、強調処理部を具備する。
 上記強調処理部は、入力画像において所定の空間周波数より低い領域である低域成分を強調処理し、上記入力画像において上記低域成分よりも高い空間周波数の領域である高域成分を強調処理し、上記低域成分及び上記高域成分がそれぞれ強調処理された上記入力画像を出力する。
 上記画像処理装置は、入力画像の低域成分及び高域成分をそれぞれ強調処理し、視認性が改善された画像を出力表示し、画像を使用するユーザの作業を支援することができる。
 上記強調処理部は、上記入力画像の上記低域成分について強調処理を行う低域強調処理部を有し、上記低域強調処理部は、上記入力画像を平滑化し、平滑化した後の上記入力画像と平滑化する前の上記入力画像との差分から差分画像を得てもよい。
 これにより、入力画像の低域成分を強調表示することができる。
 上記低域強調処理部は、上記入力画像を平滑化する前に、上記入力画像の解像度を所定の縮小率で縮小処理してもよい。
 これにより、入力画像を予め縮小することで平滑化フィルタ演算量を減らし、平滑化をより高速に行うことができる。
 上記低域強調処理部は、上記入力画像を平滑化した後に、上記差分画像の解像度を、上記所定の縮小率に対応する拡大率で拡大してもよい。
 これにより、出力画像を縮小前の元のサイズで表示することができる。
 上記低域強調処理部は、上記解像度を拡大した画像に所定の係数を掛けて上記入力画像と合成した低域強調画像を出力してもよい。
 これにより、低域強調の度合いを調整することができる。
 上記強調処理部は、上記低域成分が強調処理された画像である低域強調画像を上記入力画像に合成し、上記低域強調画像が合成された上記入力画像の上記高域成分を強調処理してもよい。
 これにより、入力画像に含まれている高域のノイズ成分を強調することのない処理が可能である。
 上記強調処理部は、上記低域成分が強調処理された画像である低域強調画像と、上記高域成分が強調処理された画像である高域強調画像とを上記入力画像に合成してもよい。
 これにより、処理速度が向上した画像(動画)を、画像処理装置のユーザに表示することができる。
 上記低域強調処理部は、上記入力画像を輝度成分画像および色成分画像に分離する分離処理部と、上記輝度成分画像および上記色成分画像から強調すべき画素と強調すべきでない画素とを選択し、強調すべき画素と強調すべきでない画素について乗じられるゲインを調整するゲイン調整部と、を有してもよい。
 これにより、輝度成分の暗部、明部は強調しない強調制御を行うことで、過度な強調を抑えることができる。
 上記入力画像は、医用画像であってもよい。
 これにより、視認性が改善された深部組織および表層の血管を、術者に支援表示することができる。
 上記入力画像は、白色下で照明された白色光画像、狭帯域光で照明された狭帯域画像および励起光で照明された蛍光画像のうち少なくとも1つを含んでもよい。
 これにより、深部組織のコントラストを向上させつつ表層のボケ除去も可能となる。
 上記強調処理部は、2種類以上の上記入力画像が入力された場合には、1種類の入力画像をもとに他種類の入力画像の強調処理を制御してもよい。
 これにより、視認性の劣化を防ぐことができる。
 本技術の一形態に係る画像処理方法は、入力画像を読み込む。そして、上記入力画像において所定の空間周波数より低い領域である低域成分を強調処理し、上記入力画像において上記低域成分よりも高い空間周波数の領域である高域成分を強調処理し、上記低域成分及び上記高域成分がそれぞれ強調処理された上記入力画像を出力する。
 本技術の一形態に係る内視鏡システムは、内視鏡装置と、画像処理装置とを具備する。
 上記内視鏡装置は、体腔に挿入される挿入部の先端に対物レンズが設けられている内視鏡と、上記内視鏡から入力される、上記対物レンズによって集光された光学像を撮像し、画像信号として出力する撮像部とを有する。
 上記画像処理装置は、上記画像信号を読み込む画像読み込み部と、上記画像信号において所定の空間周波数より低い領域である低域成分を強調処理し、上記画像信号において上記低域成分よりも高い空間周波数の領域である高域成分を強調処理し、上記低域成分及び上記高域成分がそれぞれ強調処理された上記画像信号を出力する強調処理部とを有する。
腹腔鏡下手術の概要を示す図である。 本技術を適用した内視鏡システムの構成例を示すブロック図である。 図2の内視鏡装置の他の構成例を示すブロック図である。 表層血管および深部血管の空間周波数スペクトルを示すイメージ図である。 図4の画角で撮影した画像中の表層血管および深部血管領域の周波数特性を解析したグラフ結果である。 本技術の第1の実施形態に係る直列型の画像処理装置の概略構成図である。 本技術の第1の実施形態に係る画像処理方法のフローである。 図6の画像処理方法で処理された画像の実施例である。 本技術の第1の実施形態に係る並列型の画像処理装置の概略構成図である。 本技術の第2の実施形態に係る画像処理装置の概略構成図である。 本技術の第2の実施形態に係る画像処理方法のフローである。 図10の概略構成をより具体的にした構成図である。 図10の画像処理方法で処理された画像の実施例である。 汎用のパーソナルコンピュータの構成例を説明する図である。
 以下、本技術に係る実施形態を、図面を参照しながら説明する。なお、同一の符号は、同一の機能を有するものである。
<内視鏡システムの概要>
 図1は、本技術を適用した内視鏡システムの概要を説明する図である。
 この内視鏡システムは、近年、医療現場において従来の開腹手術に代わって行われる腹腔鏡下手術において利用される。
 すなわち、図1で示されるように、腹腔鏡下手術では、例えば腹部の手術を行う場合、従来行われていた腹壁1を切って開腹する代わりに、トロッカ2と称される開孔器具が腹壁1に数か所取り付けられ、トロッカ2に設けられている孔から腹腔鏡(以下、内視鏡装置または内視鏡とも称する)11と処置具3とが体内に挿入される。そして、内視鏡装置11によってビデオ撮像された患部(腫瘍等)4の画像をリアルタイムに見ながら、処置具3によって患部4を切除するなどの処置が行われる。
 図1に示されるような直線棒状の内視鏡装置11では、ヘッド部24を術者、助手、スコピスト、またはロボットなどが保持している。
<内視鏡システムの構成例>
 ここで、図2を参照して、本技術の実施の形態である内視鏡システムの構成例について説明する。この内視鏡システム10は、内視鏡装置11、画像処理装置12、および(出力画像を表示する)表示装置13から構成される。
 内視鏡装置11と画像処理装置12は、ケーブルを介して接続する他、無線で接続してもよい。また、画像処理装置12を手術室から離れた場所に配置し、構内LANやインターネットなどのネットワークを介して接続するようにしてもよい。画像処理装置12と表示装置13の接続についても同様とする。
 内視鏡装置11は、直線棒状の鏡筒部21とヘッド部24から構成される。鏡筒部21は、光学視管または硬性管とも称され、その長さが数10センチ程度であり、体内に挿入される側の一端には対物レンズ22が設けられており、他端はヘッド部24に接続されている。鏡筒部21の内部にはリレー光学系の光学レンズ部23が設けられている。なお、鏡筒部21の形状は、直線棒状に限定されるものではない。
 鏡筒部21には、大きく分類して、図2の鏡筒軸と光軸が等しい直視鏡と、鏡筒軸と光軸とが所定の角度をなす斜視鏡がある。図2の鏡筒部21は、このうち直視鏡を例にしたものである。
 ヘッド部24には撮像部25が内蔵されている。撮像部25は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子を有し、鏡筒部21から入力される患部の光学像を所定のフレームレートで画像信号に変換する。
 また、内視鏡装置11には、光源装置14が接続されており、撮像に必要とされる光源の供給を受けて、患部4を照射する。この際、光源装置14は、さまざまな波長の光を切り替えて発することができ、通常光に加えて、患部4を特に識別できるような特殊光を発することもできる。したがって、撮像部25により撮像される画像は、通常光による画像信号の他、特殊光による画像信号を撮像することも可能である。図示しないが、内視鏡装置11に光源装置14が複数備えられ、さまざまな波長の光が同時に発せられてもよい。本実施形態において内視鏡装置11は、白色下で照明された白色光画像、狭帯域光で照明された狭帯域画像および励起光で照明された蛍光画像などのうち1つ又は複数種類の画像を、入力画像として画像処理装置12へ出力する。
 内視鏡装置11においては、対物レンズ22により集光される患部4の光学像が光学レンズ部23を介してヘッド部24の撮像部25に入射され、撮像部25によって所定のフレームレートの画像信号に変換されて後段の画像処理装置12に出力される。また、ヘッド部24は、光源装置14により発せられている光の種別、対物レンズ22の口径、光学レンズ部23の口径といった情報を条件情報として、画像処理装置12に供給する構成であるものとする。
 この条件情報については、ヘッド部24の図示せぬ部位にユーザが予め入力する構成を設けて、この部位から条件情報として画像処理装置122に供給するようにしても良い。また、条件情報は、画像処理装置12において、撮像される画像信号を解析することにより、画像処理装置12が、自ら認識する構成とするようにしてもよい。
 ここでは、いずれかの方法により画像処理装置12に、条件情報が入力されることを前提として説明を進めるものとする。尚、光源装置14から画像処理装置12に供給される光の種別の情報については、光源装置14から画像処理装置12に直接供給される構成にしてもよい。
 図3は、内視鏡装置11の他の構成例を示している。同図に示されるように、対物レンズ22の直後に撮像部25を配置し、鏡筒部21の内部の光学レンズ部23を省略するようにしてもよい。
 図4は、表層血管(表層組織)および深部血管(深部組織)の空間周波数スペクトルを示す医用画像のイメージ図である。図に示すように、深部血管は空間周波数スペクトルの低域、そして、表層血管は、深部血管より高い、空間周波数スペクトルの高域に相当する。
 深部血管は、生体膜や脂肪などに覆われているため、散乱ボケが大きく、表層血管よりも低域成分の方が多く含まれる。そのため、深部血管の視認性を向上させるためには、低域強調が必要となる。
 図5は、図4の画角で撮影した画像中の表層血管および深部血管領域の周波数特性を解析したグラフ結果である。
 この図に示されているように、ナイキスト周波数(信号をサンプリングしたときに表現できる、周波数の最大値)を1としたときに、ナイキスト周波数0以上0.05未満においては、深層血管の振幅スペクトルが、表層血管の振幅スペクトルより高い。
 そして、ナイキスト周波数0.05以上0.17未満においては、表層血管の振幅スペクトルが、深層血管の振幅スペクトルより高い。ここで表層血管および深部血管領域を見分ける上では、ナイキスト周波数0.17以上の周波数特性は無視できる。
 したがって、この例では、ナイキスト周波数0以上0.05未満の(入力画像)信号を低域成分とし、それ以上の信号を高域成分とすることができる。換言すると、入力画像において所定の空間周波数(ナイキスト周波数0.05)より低い領域を低域成分とし、この低域成分よりも高い空間周波数の領域を高域成分とする。
 あるいは、所定の振幅スペクトル(例えば2.0×10)以上の信号を低域成分とし、それ以下の信号を高域成分としてもよい。
 周波数特性は、内視鏡装置11のズームイン/アウトによって変動する。例えば、ズームインをすればするほど画角に対して血管が太くなるので、空間周波数は低くなる。一方、ズームアウトをすればするほど画角に対して血管が細くなるので、空間周波数は高くなる。そのため、ズームインを行った場合は、それに対応して低域あるいは高域のフィルタサイズを自動で大きくし、ズームアウトを行った場合は、それに対応して低域あるいは高域のフィルタサイズを自動で小さくしてもよい。
<画像処理装置の第1の実施形態>
 図6は、本実施形態に係る画像処理装置12として直列型の画像処理装置121を示す概略構成図である。画像処理装置121は、後述するように、典型的には、CPU、メモリ等を有するコンピュータで構成される。
 画像処理装置121は、CPUの機能ブロックとして、画像読み込み部26と強調処理部50とを備える。強調処理部50は、入力画像(本実施形態では医用画像)において所定の空間周波数より低い領域である低域成分を強調処理し、入力画像において低域成分よりも高い空間周波数の領域である高域成分を強調処理し、低域成分及び高域成分がそれぞれ強調処理された入力画像を出力する。
 強調処理部50は、入力画像の低域成分について強調処理を行う低域強調処理部51と、入力画像の高域成分について強調処理を行う高域強調処理部52とを備える。本実施形態において強調処理部50は、低域強調処理部51と高域強調処理部52が直列に配置されることで、低域成分が強調処理された画像である低域強調画像を入力画像に合成し、低域強調画像が合成された入力画像の高域成分を強調処理するように構成される。
 低域強調処理部51は、画像縮小部53と、平滑化部54と、差分処理部58と、画像拡大部55と、ゲイン乗算部56と、合成処理部59とを備える。高域強調処理部52は、高域強調部57を備える。
 低域強調処理部51は、画像縮小部53、平滑化部54、画像拡大部55、ゲイン乗算部56をその順で直列に備える。
 画像縮小部53は、画像読み込み部26で取得された入力画像を所定の低解像度の画像に縮小する。
 平滑化部54は、画像縮小部53において縮小された画像を所定のフィルタサイズ(平滑強度)で平滑化する。
 差分処理部58は、画像縮小部53の出力と平滑化部54の出力との差分をとることで、これらの差分画像を取得する。
 画像拡大部55は、差分処理部58から出力される差分画像の解像度を拡大する。拡大率は、典型的には、画像縮小部53により縮小処理したときの縮小率と対応した拡大率である。
 ゲイン乗算部56は、画像拡大部55において拡大された画像信号に所定のデジタルゲイン(係数)を掛け合わせる。デジタルゲインは、(低域)強調の度合いを調整するものであり、その値は任意に調整可能である。
 合成処理部59は、画像読み込み部26と高域強調処理部52との間をダイレクトに接続するバイパスルート27に備えられ、画像読み込み部26で取得された入力画像にゲイン乗算部56から出力される画像を合成して高域強調処理部52へ出力する。
 図7は、本技術の第1の実施形態に係る画像処理装置121において実行される画像処理方法のフローである。
 この画像処理方法100のステップS101において、画像読み込み部26によって入力画像(内視鏡装置11から出力される画像信号)が読み込まれる。
 ステップS102において、入力画像の低域強調および高域強調が行われる。図6に示すように、低域強調処理部52では、入力画像が2系統に分離される。一方の入力画像は、画像縮小部53において解像度の縮小処理が行われた後に、平滑化部54において平滑化処理が行われ、差分処理部58において平滑化前後の画像同士の差分画像が取得される。
 入力画像を平滑化する前に入力画像の縮小処理を行うため、平滑化に要する処理時間を短縮することができる。
 取得された差分画像は、画像縮小部53における縮小率に対応する拡大率で画像拡大部55によって解像度の拡大がなされる。これにより、縮小前の元の解像度に戻すことができる。この画像は低域強調成分画像として、ゲイン乗算部56において所定のデジタルゲインを掛けられた後、合成処理部59において、2系統に分離された他方の入力画像(画像読み込み部26からバイパスルート27を介して合成処理部59へ入力される画像)と合成される。
 この処理により、平滑化の強度次第で任意の空間周波数よりも大きい成分の強調が可能となる。高域強調部57では、低域強調後の画像を入力として例えばエッジ強調処理により、表層の血管の強調が行われる。
 その後ステップS103において、強調処理部50において強調処理された画像が表示装置13へ出力され、表示装置13によって処理結果が表示される。
 画像処理方法100で処理された画像の一例を図8に示す。この例では、低域強調処理部51に、入力画像(図8(A))として4K画像(3840×2160ピクセル)が入力されて、画像縮小部53において解像度が1/64の画像に縮小される。その後、平滑化部54において27ピクセルのフィルタサイズを有するガウシアンフィルタで平滑化された後、画像拡大部55において64倍に拡大した差分画像に2倍のゲインを掛けて低域強調処理画像が取得される。次に、高域強調処理部52において、高域成分を強調するためにエッジ強調フィルタが適用された画像が取得される。
 以上の2段階の帯域強調処理により得られた出力画像(図8(B))は、膜に覆われた血管のコントラストの向上(M')と、表層の細径血管の先鋭度(T')とを、図8(A)の膜に覆われた血管Mと表層の細径血管Tと比較して、より向上させた。
 なお、一般に、平滑化フィルタのサイズを大きくすると、画像処理コストが増大する弊害を発生させるため、リアルタイム性が要求される外科手術の医用画像を処理するのには不向きである。上記の例では、仮に縮小処理を行わない場合には、同じ低域強調をするためには平滑化フィルタのサイズが8倍になり、200ピクセルを超えてしまう。このサイズのフィルタを4K画像に適用して、リアルタイム処理を行うことは非常に困難である。
 これに対して本実施形態によれば、図8の実施例のように、4Kの入力画像を1/64に縮小したことで、後段の平滑化のフィルタを27ピクセルという小さいサイズに抑えることができ、高速化が実現されている。さらに縮小処理を行うことにより、入力画像に含まれている高域のノイズ成分を強調することのない処理が可能となる。
 なお、上記の縮小率および拡大率はこれに限られず、例えば、4KからフルHD(1920×1080ピクセル)に画像が変換されてもよい。
 上述したように、本実施形態によれば、低域強調処理により、深部組織のコントラストが向上し、さらに高域強調処理を併用することによって、深部組織だけでなく表層の組織構造の視認性の向上も同時に達成できる。また、画像処理結果をリアルタイムに術者に表示することができるため、生体膜や脂肪などに覆われた深部の生体組織の視認性を改善し、より安全な外科手術の支援が可能となる。
 強調処理部50は、低域成分が強調処理された画像である低域強調画像を入力画像に合成し、低域強調画像が合成された入力画像の前記高域成分を強調処理する。
 図6のように入力画像を2系統に分離することによって、低域強調後の合成画像には原画像にあった高域成分を残すことができるために、後段での高域強調が可能となる。この実施形態では低域強調を行ってから高域強調を行うという順序であったが、この順序は逆転しても同様に実施可能である。
 さらに、図6で示した低域強調と高域強調とを連続して行う直列型のフローだけでなく、図9のように低域強調と高域強調とを並列に処理して最後に合成する処理フローも実施可能である。
<画像処理装置の第2の実施形態>
 図9は、本実施形態に係る画像処理装置12として並列型の画像処理装置122を示す概略構成図である。以下、第1の実施形態と異なる構成について主に説明し、第1の実施形態と同様の構成については同様の符号を付しその説明を省略または簡略化する。
 ここでは、強調処理部50は、第1の実施形態に係る直列型の画像処理装置121とは異なり、画像読み込み部26に対して、低域強調処理部51および高域強調処理部52が並列に配置される。強調処理部50は、低域強調画像と高域強調画像とを入力画像に合成するように構成される。
 低域強調処理部51においては、画像縮小部53、平滑化部54、差分処理部58、画像拡大部55およびゲイン乗算部56が直列に接続される。高域強調処理部52は高域強調部57を備える。画像処理部122は、高域強調される前の画像と高域強調された後の画像との差分をとる差分処理部581と、差分処理部581の出力画像(差分画像)に所定のデジタルゲインを乗じるゲイン乗算部561とをさらに有する。高域強調処理された画像は、合成処理部59において入力画像と低域強調処理された画像とに合成される。
 このように、本実施形態の画像処理装置122は、低域成分が強調処理された画像である低域強調画像と、高域成分が強調処理された画像である高域強調画像とを入力画像に合成する。
 この画像処理装置122では、入力画像が画像読み込み部26において4系統(入力画像I1、入力画像I2、入力画像I3および入力画像I4)に分離される。
 入力画像I1は、低域強調処理部51の強調成分画像を生成するために使用され、低域強調処理部51は、入力画像I1を基に、入力画像についての低域強調成分画像を生成する。
 入力画像I2は、バイパスルート27を介して合成処理部59へ入力される。
 入力画像I3は、高域強調処理部52に用いられ、入力画像I4は、差分処理部581へ入力される。高域強調処理部52は、入力画像I3および入力画像I4を基に、入力画像についての高域強調成分画像を生成する。
 低域強調成分画像および高域強調成分画像は、ゲイン乗算部56、561によりそれぞれ適切なゲインを乗じられた後、合成処理部59において入力画像I2と合成されて表示装置13へ出力される。
 本実施形態においても上述の第1の実施形態と同様の作用効果を得ることができる。本実施形態によれば、入力画像の低域強調処理と高域強調処理とをそれぞれ並列的に行うようにしているため、画像処理に要する時間の短縮を図ることができる。これにより、表示装置13における画像表示のリアルタイム性がより向上する。
<画像処理装置の第3の実施形態>
 上述の第1および第2の実施形態では、低域強調処理部51において低域強調成分画像がゲイン乗算部56において一律のゲインで強調されたが、強調ゲインを入力画像の特徴に応じて制御することによって更なる視認性改善効果を得ることが可能である。
 図10は、本技術の第3の実施形態に係る画像処理装置123の概略構成図である。以下、第1の実施形態と異なる構成について主に説明し、第1の実施形態と同様の構成については同様の符号を付しその説明を省略または簡略化する。
 この画像処理装置123は、画像読み込み部26と、輝度色分離部(分離処理部)60と、輝度色識別部61と、ゲイン調整部62と、低域強調処理部51'とを備える。低域強調処理部51'は、差分処理部58と画像拡大部53との間に過強調抑制処理部40を備える点で第1の実施形態と相違する。
 なお、輝度色分離60および輝度色識別部61は、単一の機能ブロックで構成されてもよい。また、図示せずとも画像処理装置123は、高域強調部57を有する高域強調処理部を備える。高域強調処理部は、第1の実施形態のように低域強調処理部と直列的に構成されてもよいし、第2の実施形態のように低域強調処理部と並列的に構成されてもよい。
 輝度色分離部60は、入力画像を輝度成分画像および色成分画像に分離する。ゲイン調整部62は、輝度成分画像および色成分画像から強調すべき画素と強調すべきでない画素とを選択し、強調すべき画素と強調すべきでない画素について乗じられるゲインを調整する。過強調抑制処理部40は、差分処理部40において得られた低域強調画像(差分画像)のうち過度に強調された部分(画素領域)の強調度合を抑制する機能を有する。
 図11は、画像処理装置123において実行される画像処理方法のフローである。
 この画像処理方法200のステップS201において、ステップS101と同様に、画像読み込み部26によって入力画像(例えば4K画像)が画像処理装置12に読み込まれる。その後ステップS202において、輝度色分離部60によって入力画像の輝度成分と色成分とが分離される。その後ステップS203において、輝度色識別部61によってそれぞれの成分が識別される。
 その後、ステップS204において、識別された成分情報に基づいてゲイン調整部62によってゲイン乗算部56のゲインが調整される。その後、ステップS205において、強調処理部51'によって入力画像の強調処理が行われ、ステップ206において強調処理された画像が表示装置13へ出力され、表示装置13によって処理結果が表示される。
 低域強調処理部51'では、入力画像が2系統に分離される(図10参照)。一方の入力画像は、画像縮小部53において解像度の縮小処理(例えば1/64倍)が行われた後に、平滑化部54において平滑化処理が行われ、差分処理部58において平滑化前後の画像同士の差分をとり、差分画像が取得される。
 ここで平滑化部54は、画像のボカシの程度が大きいほど(平滑化が強いほど)低域成分の強調成分が大きくなる。取得された差分画像は、平滑化の勾配が大きい部分で強調成分の値が大きくなっているため、過強調抑制処理部58において、過強調を抑制する処理(例えば1/64倍)が行われる。
 過強調が抑制された画像の解像度は、画像縮小部53における縮小率に対応する拡大率で拡大される。この強調成分画像は、ゲイン乗算部56において前述したゲイン調整部62によるゲイン調整がなされたデジタルゲインを掛けて、バイパスルート27を介して合成処理部59に入力された入力画像と合成される。この処理により、平滑化の強度次第で任意の空間周波数よりも大きい成分の強調が可能となる。
 図12は、図10の画像処理装置123の一具体例である画像処理装置123'の構成図である。以下に、図10と異なる構成のみ説明する。
 ここで低域強調処理部51'は、画像縮小部53と、平滑化部54と、差分処理部58と、ゲイン調整部62'と、画像拡大部55と、合成処理部59とを備える。ゲイン調整部62'は、差分処理部58から出力される差分画像に対し、輝度成分および色成分ごとにそれぞれ所定のゲインを掛けて画像拡大部55へ出力する。
 入力画像(YCbCr)は、輝度信号Yと2つの色差信号Cb,Crとで表現される色空間である。本実施形態では入力画像の輝度成分(Y)および色成分(Cb、Cr)のそれぞれの成分に対して低域強調が適用される。
 例えば、色成分を強調せずに輝度成分のみ強調すると、血管部分が暗くなり、赤みが低減したように見える。血管の色味は血行状態を観察するために重要であるため、赤みを低減しないほうが好ましい。
 その一方で、輝度成分を強調せずに色成分のみ強調すると、色味の強調はされるが、構造は強調されないため、視認性が悪くなってしまう。そこで、輝度成分および色成分をどちらも強調することで、構造を強調しつつ、血管などの色のコントラストを付けて、深部の血管やリンパ節などの視認性を向上させることができる。
 また、輝度成分と色成分とを分離することで、それぞれの特徴に応じた独立した強調ゲインの制御が可能となる。図13(B)に画像処理方法200で強調処理を行った画像の一例を示す。血管のコントラスト(M')および表層の細径血管の先鋭度(T')を向上させつつ、上記画像処理方法100で処理された図13(A)(図8(B)と同一)と比較して、輝点の広がり(L)が制御された画像(L')が得られることが分かる。
[輝度成分の強調制御]
 輝度色識別部61は、縮小画像の輝度(Y)情報をもとに、強調すべき画素と強調すべきでない画素を検出する。例えば、ハレーションが起きているような輝度が大きい画素の強調は小さくする。あるいは、輝度が小さい血液部の強調を小さくすることで、過度な強調が抑制される。
 強調処理を適用した際に、高輝度や低輝度部分で過度な強調が起こることがある。例えば輝点が拡大したり、血液が黒くなったりする。そこで輝度成分の暗部、明部は強調しない強調制御を行うことで、過度な強調を抑えることができる。
[色成分の強調制御]
 輝度色識別部61は、縮小画像の色(Cb、Cr)情報をもとに強調すべき画素と強調すべきでない画素を検出する。例えば、色収差によりCb、Cr信号が高値となっている部分の強調を小さくする処理が行われる。画像上の色収差部分を強調してしまうと、色ずれがさらに目立ってしまい、視認性が悪くなる。そこで、色成分の過度な強調をしない強調制御を加えることで、色収差の過度な強調を抑えることができる。
 さらに、色の強調制御を行うことで生体組織の視認性をより向上させることができる。例えば、動脈(例えば赤み)と静脈(例えば青み)は色が異なるため、動脈および/または静脈を強調したい場合はそれぞれが有する色味を特に強調させればよい。
 また、深部の血管は表層の血管に比べて鮮やかさが乏しいため、色情報を解析すれば深部の血管が持つ色成分を選択的に強調して視認性を向上させることができる。さらに、医用画像上には生体以外に手術器具などの人工物(例えば鉗子)が映っている。人工物は生体組織とは大きく異なる色(例えば緑色や銀色)を持っているため、それらを色で分離することができる。
 そのため、生体の色ではないものを強調しない制御を行うことができる。
 以上のように本実施形態によれば、深部組織のコントラストが向上し、さらに別の強調処理(高域強調処理)を併用することによって、深部組織だけでなく表層の組織構造の視認性の向上も同時に達成できる。またさらに、ゲイン調整も併用することによって、輝度成分および色成分を強調することで、構造を強調しつつ、血管などの色のコントラストを付けて、深部の血管やリンパ節などの視認性を向上させることができる。
 本実施形態による画像処理結果をリアルタイムに術者に表示することで、生体膜や脂肪などに覆われた深部の生体組織の視認性を改善し、より安全な外科手術の支援が可能となる。
<画像処理装置の第4の実施形態>
 入力画像には白色光下で撮影(照明)された単一の医用画像(白色光画像)だけでなく、狭帯域光で照明された狭帯域画像、励起光で照明された蛍光画像など、他種の医用画像を利用してもよい。これに限定されないが、入力画像として、白色光画像と蛍光画像との2種類の画像を用いる場合について説明する。
 励起光で蛍光画像は通常の白色光画像よりも散乱ボケが大きくなるため、低域強調によるコントラスト向上の効果が大きい。また、複数種類の画像を併用した強調処理は、表層の蛍光ボケやレンズの収差などを補正する強調を取りいれることで、深部組織のコントラストを向上させつつ表層のボケ除去も可能となる。
 そこで、白色光画像と蛍光画像とを併用して強調処理を行うことで、医用画像の視認性向上をさせることができる。以下に適用例を示す。
 なお、画像の識別は、例えば、画像処理装置123(123')における輝度色識別部61で行われてもよいし、画像識別用の他の識別部がさらに備えられてもよい。また、各画像は共通の低域強調処理部で処理されてもよいし、画像ことに異なる低域強調処理部で処理されてもよい。
(適用例1)
 白色光画像と蛍光画像とのどちらにも低域強調処理を行い、複数のモニタまたは1つのモニタにPinP(Picture in Picture)で表示する。これにより、白色光/蛍光どちらの画像も視認性が高い状態で同時に観察することが可能となる。
(適用例2)
 白色光画像と蛍光画像とのどちらにも低域強調処理を行い、白色光画像に蛍光画像を重畳表示する。これにより、蛍光していない周辺の組織の視認性を向上させつつ、視認性の高い蛍光画像も観察することができる。
(適用例3)
 蛍光画像から、蛍光が発光している領域を抽出し、その領域を白色光画像で強調する。これにより、術者は、重畳してしまうと見えない実際の胆管、血管、大網(脂肪組織)などの状態を確認しながら、手技を行うことができる。
(適用例4)
 脂肪の下の血管は、蛍光画像を確認しても視認しづらい。そこで、白色光画像から脂肪を検出し、その領域で蛍光が発光していた場合は蛍光画像の強調強度を強めることで脂肪の下の蛍光像だけを特異的に強調することが可能である。
 肝臓など蛍光薬剤(ICG)を蓄積しやすい臓器は、時間がたつと強く発光してしまい、実際に見たい領域の視認性が悪くなることがある。そこで、白色光画像から臓器を識別し、肝臓などの蛍光剤を蓄積して非常に明るくなる臓器は強調を弱める制御を行うと、視認性の劣化を防ぐことが可能である。つまり、強調処理部50は、白色光画像、狭帯域画像、蛍光画像など2種類(以上)の画像が入力された場合には、一方(1種類)の画像をもとに、他方(他種類)の画像の強調処理を制御する。
(適用例5)
 蛍光剤が混ざっている血液が出血した場合、周囲が非常に明るくなってしまう。そこで、白色光画像から血液を識別し、血液部分の蛍光は強調を弱める制御を行うと、視野が明るくなりすぎることを防ぎつつ観察することが可能である。
 上述したように、本実施形態技術における低域強調により、深部組織のコントラストが向上し、さらに別の強調処理(高域強調処理)を併用することによって、深部組織だけでなく表層の組織構造の視認性の向上も同時に達成できる。またさらに、複数種類の画像を併用した強調処理により、表層の蛍光ボケやレンズの収差などを補正する強調を取りいれることで、深部組織のコントラストを向上させつつ表層のボケ除去が可能となる。
 本実施形態による画像処理結果をリアルタイムに術者に表示することで、生体膜や脂肪などに覆われた深部の生体組織の視認性を改善し、より安全な外科手術の支援が可能となる。
<ソフトウェアにより実行させる例>
 ところで、上述した画像処理装置12による一連の処理は、ハードウェアなどにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
  図14は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)1001を内蔵している。CPU1001にはバス1004を介して、入出力インタ-フェイス1005が接続されている。バス1004には、ROM(Read Only Memory)1002およびRAM(Random Access Memory)1003が接続されている。
  入出力インタ-フェイス1005には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部1006、処理操作画面や処理結果の画像を表示デバイスに出力する出力部1007、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部1008、LAN(Local Area Network)アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部1009が接続されている。また、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、もしくは半導体メモリなどのリムーバブルメディア1011に対してデータを読み書きするドライブ1010が接続されている。
  CPU1001は、ROM1002に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア1011ら読み出されて記憶部1008にインストールされ、記憶部1008からRAM1003にロードされたプログラムに従って各種の処理を実行する。RAM1003にはまた、CPU1001が各種の処理を実行する上において必要なデータなども適宜記憶される。
  以上のように構成されるコンピュータでは、CPU1001が、例えば、記憶部1008に記憶されているプログラムを、入出力インタフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
  コンピュータ(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
  コンピュータでは、プログラムは、リムーバブルメディア1011をドライブ1010に装着することにより、入出力インタフェース1005を介して、記憶部1008にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1009で受信し、記憶部1008にインストールすることができる。その他、プログラムは、ROM1002や記憶部1008に、あらかじめインストールしておくことができる。
  なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
  また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
  なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
  例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
  また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
  さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
<変形例>
(変形例1)
 上述した本技術の第3の実施形態の輝度色識別部61において、医用画像を学習したデータを用いることで、人工物や生体組織、深部血管や表層血管などをより識別しやすくすることができる。識別した結果をもとに、ゲイン調整部62、62'において強調したい領域の強調ゲインをより強くすることで、注目したい領域をより強調させることができる。
 この場合、輝度色識別部61は、強調すべき画像部分(例えば生体組織や血管)または強調すべきでない画像部分(例えば人工物等)を含む多数の教師データを記憶するデータベースと、当該データベースを基に入力画像から強調すべき画像領域または強調すべきでない画像領域を判定あるいは抽出する制御部などを備える。
 あるいは、輝度識別部61に代えて、強調すべき画像を選択的に強調して出力するAIセンサが内視鏡装置11(例えば撮像部25)に搭載されてもよい。
(変形例2)
 上述した本技術の各実施形態の低域強調処理部51、51'に備えられる平滑化部54は、ガウシアンフィルタ以外にも移動平均フィルタ、メディアンフィルタ、バイラテラルフィルタなど種々の平滑化フィルタが適用可能である。
(変形例3)
 さらに以上の各実施形態では、入力画像として医用画像を例に挙げて説明したが、これに限られず、例えば、生物や植物の組織画像などの強調処理にも、本技術は適用可能である。
 なお、本技術は以下のような構成もとることができる。
(1) 入力画像において所定の空間周波数より低い領域である低域成分を強調処理し、前記入力画像において前記低域成分よりも高い空間周波数の領域である高域成分を強調処理し、前記低域成分及び前記高域成分がそれぞれ強調処理された前記入力画像を出力する強調処理部
 を具備する画像処理装置。
(2)上記(1)に記載の画像処理装置であって、
 前記強調処理部は、前記入力画像の前記低域成分について強調処理を行う低域強調処理部を有し、
 前記低域強調処理部は、前記入力画像を平滑化し、平滑化した後の前記入力画像と平滑化する前の前記入力画像との差分から差分画像を得る
 画像処理装置。
(3)上記(1)または(2)に記載の画像処理装置であって、
 前記低域強調処理部は、前記入力画像を平滑化する前に、前記入力画像の解像度を所定の縮小率で縮小処理する
 画像処理装置。
(4)上記(1)~(3)のいずれか1つに記載の画像処理装置であって、
 前記低域強調処理部は、前記入力画像を平滑化した後に、前記差分画像の解像度を、前記所定の縮小率に対応する拡大率で拡大する
 画像処理装置。
(5)上記(4)に記載の画像処理装置であって、
 前記低域強調処理部は、前記解像度を拡大した画像に所定の係数を掛けて前記入力画像と合成した低域強調画像を出力する
 画像処理装置。
(6)上記(1)~(5)のいずれか1つに記載の画像処理装置であって、
 前記強調処理部は、前記低域成分が強調処理された画像である低域強調画像を前記入力画像に合成し、前記低域強調画像が合成された前記入力画像の前記高域成分を強調処理する
 画像処理装置。
(7)上記(1)~(5)のいずれか1つに記載の画像処理装置であって、
 前記強調処理部は、前記低域成分が強調処理された画像である低域強調画像と、前記高域成分が強調処理された画像である高域強調画像とを前記入力画像に合成する
 画像処理装置。
(8)上記(1)~(7)のいずれか1つに記載の画像処理装置であって、
 前記低域強調処理部は、
 前記入力画像を輝度成分画像および色成分画像に分離する分離処理部と、
 前記輝度成分画像および前記色成分画像から強調すべき画素と強調すべきでない画素とを選択し、強調すべき画素と強調すべきでない画素について乗じられるゲインを調整するゲイン調整部と、を有する
 画像処理装置。
(9)上記(1)~(8)のいずれか1つに記載の画像処理装置であって、
 前記入力画像は、医用画像である
 画像処理装置。
(10)上記(1)~(9)のいずれか1つに記載の画像処理装置であって、
 前記入力画像は、白色下で照明された白色光画像、狭帯域光で照明された狭帯域画像および励起光で照明された蛍光画像のうち少なくとも1つを含む
 画像処理装置。
(11)上記(10)に記載の画像処理装置であって、
 前記強調処理部は、2種類以上の前記入力画像が入力された場合には、1種類の入力画像をもとに他種類の入力画像の強調処理を制御する
 画像処理装置。
(12) 入力画像を読み込み、
 前記入力画像において所定の空間周波数より低い領域である低域成分を強調処理し、
 前記入力画像において前記低域成分よりも高い空間周波数の領域である高域成分を強調処理し、
 前記低域成分及び前記高域成分がそれぞれ強調処理された前記入力画像を出力する
 画像処理方法。
(13) 体腔に挿入される挿入部の先端に対物レンズが設けられている内視鏡と、前記内視鏡から入力される、前記対物レンズによって集光された光学像を撮像し、画像信号として出力する撮像部と、を有する内視鏡装置と、
 画像処理装置と
 を具備し、
  前記画像処理装置は、
  前記画像信号を読み込む画像読み込み部と、
  前記画像信号において所定の空間周波数より低い領域である低域成分を強調処理し、前記画像信号において前記低域成分よりも高い空間周波数の領域である高域成分を強調処理し、前記低域成分及び前記高域成分がそれぞれ強調処理された前記画像信号を出力する強調処理部と
 を有する内視鏡システム。
 10…内視鏡システム
 11…内視鏡装置
 12,121,122,123,123'…画像処理装置
 13…表示装置
 40…過強調抑制処理部
 50…強調処理部
 51…低域強調処理部
 52…高域強調処理部
 53…画像縮小部
 54…平滑化部
 55…画像拡大部
 56…ゲイン乗算部
 58…差分処理部
 59…合成処理部
 60…輝度色分離部
 61…輝度色識別部
 62…ゲイン調整部

Claims (13)

  1.  入力画像において所定の空間周波数より低い領域である低域成分を強調処理し、前記入力画像において前記低域成分よりも高い空間周波数の領域である高域成分を強調処理し、前記低域成分及び前記高域成分がそれぞれ強調処理された前記入力画像を出力する強調処理部
     を具備する画像処理装置。
  2.  請求項1に記載の画像処理装置であって、
     前記強調処理部は、前記入力画像の前記低域成分について強調処理を行う低域強調処理部を有し、
     前記低域強調処理部は、前記入力画像を平滑化し、平滑化した後の前記入力画像と平滑化する前の前記入力画像との差分から差分画像を得る
     画像処理装置。
  3.  請求項2に記載の画像処理装置であって、
     前記低域強調処理部は、前記入力画像を平滑化する前に、前記入力画像の解像度を所定の縮小率で縮小処理する
     画像処理装置。
  4.  請求項3に記載の画像処理装置であって、
     前記低域強調処理部は、前記入力画像を平滑化した後に、前記差分画像の解像度を、前記所定の縮小率に対応する拡大率で拡大する
     画像処理装置。
  5.  請求項4に記載の画像処理装置であって、
     前記低域強調処理部は、前記解像度を拡大した画像に所定の係数を掛けて前記入力画像と合成した低域強調画像を出力する
     画像処理装置。
  6.  請求項1に記載の画像処理装置であって、
     前記強調処理部は、前記低域成分が強調処理された画像である低域強調画像を前記入力画像に合成し、前記低域強調画像が合成された前記入力画像の前記高域成分を強調処理する
     画像処理装置。
  7.  請求項1に記載の画像処理装置であって、
     前記強調処理部は、前記低域成分が強調処理された画像である低域強調画像と、前記高域成分が強調処理された画像である高域強調画像とを前記入力画像に合成する
     画像処理装置。
  8.  請求項1に記載の画像処理装置であって、
     前記低域強調処理部は、
     前記入力画像を輝度成分画像および色成分画像に分離する分離処理部と、
     前記輝度成分画像および前記色成分画像から強調すべき画素と強調すべきでない画素とを選択し、強調すべき画素と強調すべきでない画素について乗じられるゲインを調整するゲイン調整部と、を有する
     画像処理装置。
  9.  請求項1に記載の画像処理装置であって、
     前記入力画像は、医用画像である
     画像処理装置。
  10.  請求項1に記載の画像処理装置であって、
     前記入力画像は、白色下で照明された白色光画像、狭帯域光で照明された狭帯域画像および励起光で照明された蛍光画像のうち少なくとも1つを含む
     画像処理装置。
  11.  請求項10に記載の画像処理装置であって、
     前記強調処理部は、2種類以上の入力画像が入力された場合には、1種類の入力画像をもとに他種類の入力画像の強調処理を制御する
     画像処理装置。
  12.  入力画像を読み込み、
     前記入力画像において所定の空間周波数より低い領域である低域成分を強調処理し、
     前記入力画像において前記低域成分よりも高い空間周波数の領域である高域成分を強調処理し、
     前記低域成分及び前記高域成分がそれぞれ強調処理された前記入力画像を出力する
     画像処理方法。
  13.  体腔に挿入される挿入部の先端に対物レンズが設けられている内視鏡と、前記内視鏡から入力される、前記対物レンズによって集光された光学像を撮像し、画像信号として出力する撮像部と、を有する内視鏡装置と、
     画像処理装置と
     を具備し、
     前記画像処理装置は、
     前記画像信号を読み込む画像読み込み部と、
     前記画像信号において所定の空間周波数より低い領域である低域成分を強調処理し、前記画像信号において前記低域成分よりも高い空間周波数の領域である高域成分を強調処理し、前記低域成分及び前記高域成分がそれぞれ強調処理された前記画像信号を出力する強調処理部と
     を有する内視鏡システム。
PCT/JP2020/037727 2019-10-21 2020-10-05 画像処理装置、画像処理方法および内視鏡システム WO2021079723A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/762,372 US20220386854A1 (en) 2019-10-21 2020-10-05 Image processing apparatus, image processing method, and endoscope system
EP20879443.8A EP4008235A4 (en) 2019-10-21 2020-10-05 IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND ENDOSCOPE SYSTEM
CN202080071746.5A CN114586058A (zh) 2019-10-21 2020-10-05 图像处理装置、图像处理方法及内窥镜系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-192049 2019-10-21
JP2019192049A JP2021065370A (ja) 2019-10-21 2019-10-21 画像処理装置、画像処理方法および内視鏡システム

Publications (1)

Publication Number Publication Date
WO2021079723A1 true WO2021079723A1 (ja) 2021-04-29

Family

ID=75619954

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/037727 WO2021079723A1 (ja) 2019-10-21 2020-10-05 画像処理装置、画像処理方法および内視鏡システム

Country Status (5)

Country Link
US (1) US20220386854A1 (ja)
EP (1) EP4008235A4 (ja)
JP (1) JP2021065370A (ja)
CN (1) CN114586058A (ja)
WO (1) WO2021079723A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01237887A (ja) * 1988-03-18 1989-09-22 Fuji Photo Film Co Ltd 放射線画像の粒状雑音低減方法
JPH0856316A (ja) * 1994-06-09 1996-02-27 Sony Corp 画像処理装置
JPH0962836A (ja) 1995-08-25 1997-03-07 Ge Yokogawa Medical Syst Ltd 画像処理方法および画像処理装置
JP2004213415A (ja) * 2003-01-06 2004-07-29 Ricoh Co Ltd 画像処理装置、画像処理プログラムおよび記憶媒体
WO2009072208A1 (ja) * 2007-12-06 2009-06-11 Fujitsu Limited 画像処理装置、画像処理プログラムおよび画像処理方法
WO2012147505A1 (ja) 2011-04-27 2012-11-01 オリンパスメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理方法
WO2016084608A1 (ja) * 2014-11-25 2016-06-02 ソニー株式会社 内視鏡システム、および内視鏡システムの動作方法、並びにプログラム
JP2018000644A (ja) * 2016-07-04 2018-01-11 Hoya株式会社 画像処理装置及び電子内視鏡システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6313883B1 (en) * 1999-09-22 2001-11-06 Vista Medical Technologies, Inc. Method and apparatus for finite local enhancement of a video display reproduction of images
US7092573B2 (en) * 2001-12-10 2006-08-15 Eastman Kodak Company Method and system for selectively applying enhancement to an image
US6891977B2 (en) * 2002-02-27 2005-05-10 Eastman Kodak Company Method for sharpening a digital image without amplifying noise
JP5043595B2 (ja) * 2007-10-23 2012-10-10 富士フイルム株式会社 撮影装置および内視鏡システム
JP5388472B2 (ja) * 2008-04-14 2014-01-15 キヤノン株式会社 制御装置、x線撮影システム、制御方法、及び当該制御方法をコンピュータに実行させるためのプログラム。
JP5366855B2 (ja) * 2010-02-16 2013-12-11 富士フイルム株式会社 画像処理方法及び装置並びにプログラム
JP6407643B2 (ja) * 2014-09-19 2018-10-17 キヤノンメディカルシステムズ株式会社 画像処理装置、画像処理システム及び画像処理方法
IL236484A (en) * 2014-12-25 2017-11-30 Pulsenmore Ltd Device and system for monitoring internal organs of man or animals
WO2016156149A1 (en) * 2015-03-31 2016-10-06 Sony Corporation Imaging system using structured light for depth recovery
EP3364907B1 (en) * 2015-10-23 2021-06-02 Covidien LP Surgical system for detecting gradual changes in perfusion
US11006838B2 (en) * 2016-05-20 2021-05-18 The Regents Of The University Of California Devices, system and methods for monitoring physiological functions from surface electrophysiological sensors
WO2018235533A1 (en) * 2017-06-21 2018-12-27 Sony Corporation SYSTEM, METHOD, AND COMPUTER PROGRAM PRODUCT FOR MEDICAL IMAGING
DE112018004930T5 (de) * 2017-09-08 2020-06-18 Sony Corporation Bildverarbeitungseinrichtung, bildverarbeitungsverfahren und bildverarbeitungsprogramm

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01237887A (ja) * 1988-03-18 1989-09-22 Fuji Photo Film Co Ltd 放射線画像の粒状雑音低減方法
JPH0856316A (ja) * 1994-06-09 1996-02-27 Sony Corp 画像処理装置
JPH0962836A (ja) 1995-08-25 1997-03-07 Ge Yokogawa Medical Syst Ltd 画像処理方法および画像処理装置
JP2004213415A (ja) * 2003-01-06 2004-07-29 Ricoh Co Ltd 画像処理装置、画像処理プログラムおよび記憶媒体
WO2009072208A1 (ja) * 2007-12-06 2009-06-11 Fujitsu Limited 画像処理装置、画像処理プログラムおよび画像処理方法
WO2012147505A1 (ja) 2011-04-27 2012-11-01 オリンパスメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理方法
WO2016084608A1 (ja) * 2014-11-25 2016-06-02 ソニー株式会社 内視鏡システム、および内視鏡システムの動作方法、並びにプログラム
JP2018000644A (ja) * 2016-07-04 2018-01-11 Hoya株式会社 画像処理装置及び電子内視鏡システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4008235A4

Also Published As

Publication number Publication date
EP4008235A1 (en) 2022-06-08
US20220386854A1 (en) 2022-12-08
EP4008235A4 (en) 2022-11-09
CN114586058A (zh) 2022-06-03
JP2021065370A (ja) 2021-04-30

Similar Documents

Publication Publication Date Title
JP6439816B2 (ja) 医療用皮膚検査装置、画像処理方法、プログラム
JP5355846B2 (ja) 内視鏡用画像処理装置
JP6020950B1 (ja) 内視鏡システム、および内視鏡システムの作動方法、並びにプログラム
EP1862967A1 (en) Image processing device and endoscope
US20130286172A1 (en) Endoscope apparatus, information storage device, and image processing method
JP6917183B2 (ja) 撮像装置
US20210037173A1 (en) Imaging apparatus and imaging method as well as program
US10003774B2 (en) Image processing device and method for operating endoscope system
JP5308884B2 (ja) 内視鏡用プロセッサ装置、およびその作動方法
JP2017202241A (ja) 内視鏡システム、プロセッサ装置、及び信号処理方法
JP6054806B2 (ja) 画像処理装置及び内視鏡システムの作動方法
WO2021079723A1 (ja) 画像処理装置、画像処理方法および内視鏡システム
US7822247B2 (en) Endoscope processor, computer program product, endoscope system, and endoscope image playback apparatus
JP4128405B2 (ja) 顕微鏡用撮像装置
WO2017149932A1 (ja) 医療用画像処理装置、システム、方法及びプログラム
WO2021205624A1 (ja) 画像処理装置、画像処理方法、ナビゲーション方法及び内視鏡システム
JP2021108793A (ja) 医療画像生成装置、医療画像生成方法および医療画像生成プログラム
DE112019003447T5 (de) Medizinisches Beobachtungssystem, medizinisches Beobachtungsgerät und Antriebsverfahren für das medizinische Beobachtungsgerät
JP2014094175A (ja) 電子内視鏡用画像処理システム
US12087014B2 (en) Apparatuses, systems, and methods for managing auto-exposure of image frames depicting signal content against a darkened background
US20220012915A1 (en) Apparatuses, systems, and methods for managing auto-exposure of image frames depicting signal content against a darkened background
JP7014522B2 (ja) 医療診断システム
CN117017166A (zh) 图像处理方法、内窥镜系统、内窥镜摄像设备及存储介质
CN117529928A (zh) 多分量图像的自动曝光管理
CN118383701A (zh) 神经组织识别的显示方法、内窥镜装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20879443

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020879443

Country of ref document: EP

Effective date: 20220304

NENP Non-entry into the national phase

Ref country code: DE