WO2013051314A1 - 画像補正装置、画像補正方法及び内視鏡装置 - Google Patents

画像補正装置、画像補正方法及び内視鏡装置 Download PDF

Info

Publication number
WO2013051314A1
WO2013051314A1 PCT/JP2012/067468 JP2012067468W WO2013051314A1 WO 2013051314 A1 WO2013051314 A1 WO 2013051314A1 JP 2012067468 W JP2012067468 W JP 2012067468W WO 2013051314 A1 WO2013051314 A1 WO 2013051314A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel
gradation
processing
pixels
Prior art date
Application number
PCT/JP2012/067468
Other languages
English (en)
French (fr)
Inventor
文比古 西村
金田　恵司
睦夫 下前
Original Assignee
株式会社フジクラ
株式会社レグラス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社フジクラ, 株式会社レグラス filed Critical 株式会社フジクラ
Publication of WO2013051314A1 publication Critical patent/WO2013051314A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00165—Optical arrangements with light-conductive means, e.g. fibre optics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Definitions

  • the present invention relates to an image correction apparatus, an image correction method, and an endoscope apparatus that reduce a mesh pattern in an image transmitted by a fiber bundle.
  • fiberscopes comprising fiber bundles (or bundle fibers) in which a plurality of optical fibers (for example, hundreds to tens of thousands of optical fibers) are bundled are widely used in endoscopes and the like in the medical field or the industrial field.
  • the optical fiber includes a core portion that transmits light and a cladding portion that does not transmit light in contact with the outer peripheral surface of the core portion.
  • This cladding part is a light non-transmission part that does not transmit light, and also does not transmit light between optical fibers in a configuration in which optical fibers are bundled, and thus becomes a part of the light non-transmission part.
  • the area where the image information is missing exists as a mesh portion of the mesh pattern (that is, a line corresponding to the mesh thread of the mesh pattern, hereinafter referred to as a pattern line).
  • a method of performing image processing on a captured image and reducing a mesh pattern in the image is also used.
  • a mesh pattern of a fiberscope is stored in advance as position coordinates, and image information of the position coordinates is complemented with adjacent image information (see, for example, Patent Document 1 and Patent Document 2).
  • the fiberscope is mechanically vibrated with a predetermined width in a direction parallel to the image plane, and images are taken by shifting at the pixel level of the light receiving element of the TV camera.
  • a method has been proposed in which pattern line portions are complemented to each other by overlapping such that the pattern line portions are removed by image processing (see, for example, Patent Document 3).
  • a method of reducing the mesh pattern by image processing using a low-pass filter That is, a plurality of low-pass filters having frequencies that reduce image information are provided for each combination of a fiberscope and a television camera. The frequency corresponding to each combination is set corresponding to the spatial frequency in the arrangement of the mesh pattern lines in the image corresponding to each combination. And the image imaged using the fiberscope is Fourier-transformed and the low-pass filter of the frequency corresponding to the pattern line by the combination of a fiberscope and a camera is selected. The low-pass filter reduces the frequency information corresponding to the combination and reduces the mesh pattern in the image (see, for example, Patent Document 4).
  • the entire image is blurred by a method that optically uses a defocus process or a low-pass filter to make the mesh pattern inconspicuous. For this reason, a part of the information in the image is lost, and the resolution of the image is greatly deteriorated.
  • Patent Document 1 and Patent Document 2 need to store mesh pattern data corresponding to the fiberscope in advance. For this reason, for a fiberscope that is not stored, it is necessary to newly acquire the data of the mesh pattern of the fiberscope and store the data in the image processing apparatus. That is, in the case of using a fiberscope in which no mesh data is set, since complicated mesh pattern data acquisition processing is performed, preparation until image processing is complicated becomes complicated.
  • Patent Document 4 can cope with combinations of different television cameras and fiberscopes by providing filters having different frequency characteristics.
  • image information of a predetermined spatial frequency image information of the same frequency component is deleted even in a region where no mesh pattern exists. Therefore, there is a problem that information of an image having a specific spatial frequency is deteriorated as a whole.
  • An object of the present invention is to provide an image correction apparatus, an image correction method, and an endoscope apparatus that can be reduced without reducing the image.
  • the image correction method of the present invention reduces the mesh pattern by performing blurring processing by smoothing using a digital filter operation on an input image including the mesh pattern propagating through the fiber bundle, and performs the blur processing.
  • the blurring process performs a first smoothing filter operation on the input image, performs a median filter operation on a smoothed image obtained by the first smoothing filter operation, and is obtained as a result of the median filter operation.
  • a blurred image is generated by performing a second smoothing filter operation on the median image.
  • the first smoothing filter calculation and the second smoothing filter calculation as a smoothing area around the pixel to be processed, a rectangular area having the number of pixels exceeding the width of the mesh pattern line as a side is used. Use.
  • the median filter calculation is performed only on the luminance image after converting the smoothed image obtained by the first smoothing filter calculation into a luminance image and a color image.
  • the blurring process includes a step of performing a digital gain adjustment calculation, which is a control of the gradation of each pixel, on each pixel of the smoothed image obtained by the first smoothing filter calculation or an image based thereon.
  • the first coefficient is multiplied by the first coefficient for the gradation of the processing target pixel, and the first coefficient is calculated for the gradation of the pixels other than the processing target pixel.
  • the respective multiplication results are added, and the addition result is set as a new gradation of the pixel to be processed.
  • the digital gain adjustment calculation the average value of the gradation of the pixels constituting the input image is divided by the average value of the gradation of the smoothed image obtained by the first smoothing filter calculation or an image based thereon, The result of division is used as a digital gain to multiply the gradation of each pixel.
  • the contour enhancement processing sequentially sets pixels constituting the blurred image as processing target pixels, calculates an average value of gradation levels of all pixels included in a contour enhancement region around the processing target pixel, and calculates the average value and , Obtaining a difference from the gradation of the processing target pixel, adding a numerical value obtained by multiplying each difference by a preset coefficient to the gradation of the processing target pixel, and adding the addition result to the processing target pixel To a new gradation.
  • An endoscope apparatus uses a fiber bundle, an image sensor that captures an input image including a mesh pattern propagated by the fiber bundle, and a digital filter operation on the input image captured by the image sensor.
  • an image correction device that generates a display image by emphasizing the contours that have been created, and a video display control device that displays the display image.
  • the image correction apparatus of the present invention includes a blur processing unit that generates a blur image by performing blur processing by smoothing using a digital filter operation on an input image including a mesh pattern propagated by a fiber bundle, and the blur
  • a contour emphasizing unit that performs contour emphasis processing for generating a display image by emphasizing the contour blurred by the blurring processing of the subject in the input image by performing contour emphasis processing on the image;
  • the reduction processing of the mesh pattern in the image of the fiberscope configured by the fiber bundle is performed by digital processing, it has versatility regardless of the type of the fiberscope.
  • the edge enhancement process is performed after the blurring process, and the image information of the input image is complemented. Therefore, the deterioration of the image information of the input image can be reduced as compared with the prior art.
  • FIG. 1 is a schematic block diagram showing a configuration example of an endoscope apparatus using an image data correction apparatus according to an embodiment of the present invention.
  • This endoscope apparatus is used for, for example, observation of a specific part of a measurement object (subject) in an industrial or medical application field.
  • the field of use is for medical use, it is used for observing structures (such as blood vessels and retinas) that appear to be linear in living tissue.
  • the endoscope apparatus according to this embodiment includes a fiber bundle 101, an imaging apparatus 102, an image data correction apparatus 103, and a display apparatus 104.
  • the imaging device 102 images the surface state of the measurement object 200 via the fiber bundle 101 and outputs it to the image data correction device 103.
  • the imaging device 102 captures an image of the measuring object 200 with an imaging element using a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like.
  • the imaging device 102 photoelectrically converts an image captured by the imaging device into an electrical signal, and obtains image data (input image data) of a digital image in RGB (Red, Green, Blue) format.
  • the imaging apparatus 102 directly outputs the RGB format image data or temporarily converts the image data into an NTSC (National Television System Committee) system or a PAL (Phase Alternating Line) system and outputs it.
  • NTSC National Television System Committee
  • PAL Phase Alternating Line
  • the fiber bundle 101 is an optical fiber scope configured by bundling a plurality of, for example, hundreds to tens of thousands of optical fibers (image fibers) and attaching terminal fittings to both ends of the bundle of optical fibers. .
  • the number of optical fibers is, for example, 100 to 100,000. Therefore, the imaging apparatus 102 forms an image of the light propagated through the fiber bundle 101 on the imaging surface of the imaging element, and photoelectrically converts light in the image into a charge amount, thereby converting the surface of the measurement object 200. Image.
  • the image captured by the imaging device 102 has a mesh pattern generated by bundling a plurality of optical fibers.
  • the mesh pattern is a mesh pattern formed by a region corresponding to a light non-transmission portion (such as a clad portion and a gap between optical fibers) in an image transmitted by a fiberscope.
  • the area corresponding to the light non-transmission part is displayed darker than other parts because image information is missing or the brightness of the image is low.
  • This darkly displayed area is a mesh portion of a mesh pattern (that is, a line corresponding to a mesh mesh thread, hereinafter referred to as a pattern line).
  • the image data correction device 103 uses the image data supplied from the imaging device 102 as input image data, reduces the signal intensity of the mesh pattern lines in the input image data, makes the pattern lines less noticeable, and reduces the input image data. Image correction processing is performed to reduce the mesh pattern at. Further, the image data correction device 103 outputs the input image data that has been corrected to make the mesh pattern inconspicuous with respect to the input image data, as output image data, to the display device 104.
  • the display device 104 is a liquid crystal display or the like, and displays output image data supplied from the image data correction device 103 on a display panel.
  • FIG. 2 is a schematic block diagram showing a configuration example of the image data correction apparatus 103 according to the embodiment of the present invention.
  • the image data correction device 103 includes a first color conversion unit 1, a second color conversion unit 2, a third color conversion unit 3, a first Gaussian filter 4, a second Gaussian filter 5, a median filter 6, and a digital gain adjustment unit 7. , An enhancement filter 8, a first image buffer 9, a second image buffer 10, a processing buffer 11, and a storage unit 12.
  • the first Gaussian filter 4 and the second Gaussian filter 5 are smoothing filters.
  • processing performed by each unit will be described.
  • the first color conversion unit 1 reads NTSC or PAL image data supplied from the imaging device 102 as input image data.
  • the first color conversion unit 1 converts the read input image data into RGB format image data, and writes and stores it in the first image buffer 9 or the second image buffer 10.
  • the description will be made using the RGB format on the assumption that the image data is color.
  • the present invention can also be applied to the reduction of the mesh pattern lines of single-color grayscale image data.
  • the first color conversion unit 1 converts the input image data supplied from the image sensor 102 from the NTSC format to the RGB format and writes it in the first image buffer 9, the first color conversion unit 1 immediately enters the second image buffer 10. Correction processing of the written input image data can be performed.
  • the image data output from the imaging device 102 is in RGB format, the first color conversion unit 1 need not be provided. In that case, the imaging device 102 directly supplies the captured image data to the first Gaussian filter 4 as input image data.
  • Each of the first image buffer 9, the second image buffer 10, and the processing buffer 11 stores pixel data in one screen (one frame) of input image data displayed on the display screen of the display device 104.
  • one pixel is an image display unit, and is composed of three pixels of color components R (red), G (green), and B (blue). For each pixel of each color component, the signal intensity is indicated by the gradation as data.
  • the first Gaussian filter 4 performs smoothing processing of each pixel of the color component in the pixels constituting the input image data by digital filter calculation, and generates a blurred image.
  • the first Gaussian filter 4 performs a smoothing process on the data of each pixel of the input image data using a kernel centered on the pixel to be smoothed.
  • the kernel is a rectangular area in which the pixel to be processed is arranged at the center and has a plurality of pixels on one side, for example, a rectangular area composed of 3 ⁇ 3 pixels with one side having 3 pixels. A range of peripheral pixels to perform is shown.
  • the first Gaussian filter 4 scans in the scanning line direction (x-axis direction) within a two-dimensional plane (plane consisting of x-axis and y-axis) when displaying the input image data on the display screen in units of one pixel. Alternatively, the scanning line is moved in the array direction (y-axis direction). Each time the first Gaussian filter 4 moves the position pixel, it calculates the moving average of the gradation for each color component (R, G, B) in the processing target pixel.
  • the digital Gaussian filter 4 performs the digital filter operation to calculate the pixel of the color component in the pixel of the input image data. A gradation smoothing process is performed.
  • the second color conversion unit 2 uses the following formula to calculate the gradation of the pixels shown in the RGB format in each pixel as Y (luminance signal) U (color difference signal, BY) V (color difference signal, R -Y) Once converted into the format data.
  • Y 0.299 ⁇ R + 0.587 ⁇ G + 0.114 ⁇ B
  • U ⁇ 0.169 ⁇ R ⁇ 0.331 ⁇ G + 0.500 ⁇ B
  • V 0.500 ⁇ R-0.419 ⁇ G-0.081 ⁇ B
  • the third color conversion unit 3 substitutes the Y signal data, the U signal data, and the V signal data of the pixel to be processed into the following equations, and converts the YUV format to the RGB format.
  • R 1.000 ⁇ Y + 1.402 ⁇
  • V G 1.000 ⁇ Y ⁇ 0.344 ⁇ U ⁇ 0.714 ⁇
  • V B 1.000 ⁇ Y + 1.772 ⁇ U
  • the median filter 6 performs a median filter process using a digital filter operation using a rectangular area kernel composed of a plurality of pixels arranged at the center of the processing target pixel.
  • the median filter 6 detects a pixel whose Y signal data obtained by the third color conversion unit 3 is a median value from pixels in the kernel.
  • the median filter 6 detects the median pixel of the Y signal data from the pixels selected by the kernel in the input image data by median filter processing using digital filter calculation.
  • the median filter 6 detects a pixel having a median value of Y signal data by, for example, a sorting process that compares the magnitudes of the Y signal data of each pixel in the kernel.
  • the median filter 6 uses the Y signal data of the pixel detected by the median filter processing (data of the Y signal of the median value in the kernel) as new Y signal data of the processing target pixel.
  • the isolated point (noise or the like) that cannot be removed by the first Gaussian filter 4 without impairing the color information in the input image data as in the case of performing each color component in the RGB format by the median filter processing for only the luminance signal described above. ) Can be reduced.
  • This isolated point is a pixel having a luminance level that is significantly higher or lower than that of other surrounding pixels.
  • the digital gain adjustment unit 7 multiplies each of the RGB color components in each pixel of the input image data subjected to the median filter processing of the median filter 6 by the digital gain to increase the overall luminance level of the pixels of the input image data. .
  • the digital gain adjustment unit 7 controls the above-described luminance level in order to suppress the overall luminance level decrease caused by the smoothing process by the first Gaussian filter 4 and the median filter process by the median filter 6. .
  • the emphasis filter 8 is information on the contour portion of the pattern in the input image data whose information has deteriorated by the smoothing process twice by the first Gaussian filter 4 and the second Gaussian filter 5 and the isolated point removal process by the median filter 6. Play back. That is, the emphasis filter 8 constitutes a picture (such as a structure that looks like a line of a living tissue) in a blurred image obtained by the above-described blurring process of the two smoothing processes and the median filter process by digital filter calculation. Edge enhancement processing is performed on the pixel to be performed (gradation degree for each color component).
  • smoothing processing by the first Gaussian filter 4 isolated point removal processing by the median filter 6, gain adjustment by the digital gain adjustment unit 7, smoothing processing by the second Gaussian filter 5, and enhancement filter 8
  • the signal strength of the mesh line of the mesh pattern is reduced, and the process of making the mesh pattern inconspicuous is performed.
  • FIG. 3A shows a kernel for R (red) in the RGB format
  • R5 in this kernel is a pixel of the color component R of the processing target pixel.
  • the first Gaussian filter 4 obtains a moving average, in the kernel, the pixel data of the color component R of the pixel to be processed (R5) and the data of the pixel R of the color component R of the pixel adjacent in the vertical and horizontal directions (R2) , R4, R6, R8) and the pixel data (R1, R3, R7, R9) of the color component R of pixels adjacent in the diagonal direction are multiplied by a preset coefficient. That is, the first Gaussian filter 4 calculates the gradation of the pixel of the color component R in the processing target pixel by the following equation. In the following description, it is assumed that the pixel number and the gradation that is the pixel data are the same.
  • R R5 ⁇ rISGAUSC1 + (R2 + R4 + R6 + R8) XrISGAUSC2 + (R1 + R3 + R7 + R9) ⁇ rISGAUSC3 (1)
  • the coefficient multiplied by the gradation of the pixel R5 is rISGAUSC1
  • the coefficient multiplied by the gradation of the pixels R2, R4, R6, and R8 is rISGAUSC2
  • the coefficient is rISGAUSC3.
  • FIG. 3B shows a kernel for G (green) in the RGB format
  • G5 in this kernel is a pixel of the color component G of the processing target pixel.
  • the first Gaussian filter 4 uses pixel data of the color component G of the pixel to be processed (G5) and data of the pixel of the color component G of the pixel adjacent in the vertical and horizontal directions (G2) in the kernel. , G4, G6, G8) and the pixel data (G1, G3, G7, G9) of the color component G of pixels adjacent in the diagonal direction are multiplied by a preset coefficient. That is, the first Gaussian filter 4 calculates the gradation of the pixel of the color component G in the processing target pixel by the following equation.
  • G G5 ⁇ rISGAUSC1 + (G2 + G4 + G6 + G8) XrISGAUSC2 + (G1 + G3 + G7 + G9) ⁇ rISGAUSC3 (2)
  • the coefficient multiplied by the gradation of the pixel G5 is rISGAUSC1
  • the coefficient multiplied by the gradation of the pixels G2, G4, G6, and G8 is rISGAUSC2
  • the coefficient is rISGAUSC3.
  • FIG. 3C shows a kernel for B (blue) in the RGB format, and B5 in this kernel is a pixel of the color component B of the processing target pixel.
  • the first Gaussian filter 4 obtains a moving average, in the kernel, the pixel data of the color component B of the pixel to be processed (B5) and the data of the pixel of the color component B of the pixel adjacent in the vertical and horizontal directions (B2) , B4, B6, B8) and the pixel data (B1, B3, B7, B9) of the color component B of pixels adjacent in the diagonal direction are multiplied by a preset coefficient. That is, the first Gaussian filter 4 calculates the gradation of the pixel of the color component B in the processing target pixel by the following formula.
  • B B5 ⁇ rISGAUSC1 + (B2 + B4 + B6 + B8) XrISGAUSC2 + (B1 + B3 + B7 + B9) ⁇ rISGAUSC3 (3)
  • the coefficient multiplied by the gradation of the pixel B5 is rISGAUSC1
  • the coefficient multiplied by the gradation of the pixels B2, B4, B6, and B8 is rISGAUSC2
  • the coefficient is rISGAUSC3.
  • Each of the coefficients rISGAUSC1, rISGAUSC2, and rISGAUSC3 described above is obtained by, for example, using an actual machine in advance and confirming an image displayed on the display device 104. That is, each of the coefficients rISGAUSC1, rISGAUSC2, and rISGAUSC3 is obtained by experiment as a numerical value in which the mesh pattern is least noticeable and the information of the image data from the imaging device 102 is not deteriorated.
  • rISGAUSC1 0.0234375-0.0625
  • rISGAUSC2 0.12109375 to 0.1171875
  • rISGAUSC3 0.12109375 to 0.1171875
  • the smoothed image after the smoothing process by the first Gaussian filter 4 becomes input image data supplied from the imaging device 102. Close image.
  • the smoothed image after the smoothing process by the first Gaussian filter 4 has a greater smoothness of the input image data, resulting in blurring. Image.
  • the kernel is a 3 ⁇ 3 pixel group.
  • the configuration of the kernel is determined as shown below by an experiment using an actual machine by combining different types of the fiber bundle 101 and the imaging device 102.
  • FIG. 4 is a conceptual diagram illustrating processing for determining the number of pixels in the vertical and horizontal directions (actually the number of pixels) of the kernel used in the first Gaussian filter 4 and the second Gaussian filter 5. Referring to FIG. 4, the kernel configuration determination process will be described below, taking as an example the case where the input image data supplied from the imaging apparatus 102 is an NTSC analog signal. The resolution of the NTSC system is 720 pixels ⁇ 486 pixels.
  • the endoscope image is normally displayed as a slightly small area on the display screen of the display device 104 (see FIG. 1).
  • the video display area of the endoscope is determined from the diameter of the fiber bundle 101 and the imaging area of the imaging device of the imaging device 102. That is, the light propagated through the fiber bundle 101 is irradiated onto the area 501 in FIG. 4 with respect to the imaging surface 500 of the imaging apparatus 102.
  • the ratio of the area 500 in this display screen is added to the ratio of 4: 3 on the display screen of the imaging device 104, 4: 3: ⁇ (1 ⁇ ⁇ ⁇ 1.5) is obtained.
  • a mesh pattern as shown in the region S exists in this image.
  • the width of the pattern line in the mesh pattern is the diameter of the region 501 irradiated on the imaging surface of the imaging element of the imaging device 102 and the number of optical fibers in the region 501, that is, the number of optical fibers constituting the fiber bundle 101.
  • the width of the mesh pattern line becomes thick (wide).
  • the width of the mesh pattern line becomes narrower (the width becomes narrower).
  • the number of kernel pixel groups is determined depending on how many pixels the width of the mesh pattern line extends in the image captured on the imaging surface including pixels. As an example, since the number of optical fibers constituting the fiber bundle 101 is generally 3000 or more, the number of optical fibers that irradiate light in the region 501 is 3000, and the mesh pattern lines in the region 501 are Try to convert the width.
  • the optical fiber constituting the fiber bundle 101 is composed of a core portion that propagates an image as light and a clad portion provided on the outer periphery of the core portion.
  • a mesh pattern line in the input image data corresponds to a portion where optical fibers are fused as a fiber bundle, that is, a portion where light such as a clad portion or a gap between adjacent core portions does not propagate.
  • the ratio of the diameter of the cladding to the diameter of the core in the optical fiber is usually in the range of 1.5 to 2.0.
  • the ratio of the diameters is used to calculate the width of the mesh pattern of the image in the region 501 as the number of pixels, it is obtained as follows.
  • the width of the pattern line increases as the diameter ratio increases, the diameter ratio is set to 2.0.
  • the width of the mesh pattern line of the image data in the region 501 is 2.2 pixels or less.
  • the calculation described above is performed assuming an aggregate of adjacent individual optical fibers.
  • each optical fiber is molded in an integrated form. Considering that the gap between them does not necessarily match the aggregate of individual fibers, the width of the pattern line in this embodiment is set to 2.5 pixels.
  • the minimum integer value with this number of pixels being 2.5 pixels or more is 3.
  • the number of pixels (kernel size) in the vertical and horizontal directions of the kernel in the first Gaussian filter 4 is determined to be 3 pixels in consideration of speeding up of the arithmetic processing.
  • the kernel is set as a rectangular area whose sides are the number of pixels exceeding the width of the mesh pattern line.
  • FIG. 5 is a diagram illustrating the correspondence between the width of the mesh pattern line and the number of pixels in an actual image captured using the medical endoscope according to the embodiment of the present invention.
  • the conditions of the image pickup apparatus 102 are NTSC resolution 720 ⁇ 486 (pixels), the number of optical fibers constituting the fiber bundle 101 is 3000, the vertical width of the display screen 500 of the display apparatus 104, and the horizontal width.
  • the ratio with the diameter of the region 501 is 4: 3: 1.5.
  • a square C indicates the size of one pixel.
  • the solid line indicates the intensity indicating the luminance level of each pixel for a predetermined horizontal line.
  • the base level of the luminance level of the pixels existing in one line is indicated by a one-dot chain line.
  • the base level is a predetermined luminance level provided for defining the width of the pattern line, and does not necessarily indicate a zero level. From FIG. 5, it can be read that the width of the pattern line is 2 pixels or more and 2.5 pixels or less. In FIG. 5, the pixels in the portion where the braces indicating the width of the pattern line are shown are indicated by dotted lines (broken lines).
  • the smoothing process performed by the second Gaussian filter 5 is performed using a kernel having the same configuration as the smoothing process performed by the first Gaussian filter 4.
  • each of the coefficients rISGAUSC 1, rISGAUSC 2, and rISGAUSC 3 for multiplying the color component of each pixel used in the smoothing process may be the same as that of the first Gaussian filter 4.
  • the numerical value uniquely obtained by an experiment with an actual machine may be used for the second Gaussian filter 5.
  • the kernel configuration and the coefficients rISGAUSC1, rISGAUSC2, and rISGAUSC3 in the first Gaussian filter 4 and the second Gaussian filter 5 described above may be set for each combination of different types of fiber bundles 101 and imaging devices 102.
  • FIG. 6 is a diagram illustrating the brightness level of pixels arranged in one line direction of the scanning line on the display screen of the display device 104, explaining the necessity of adjusting the brightness level by the digital gain. is there.
  • the horizontal axis indicates the pixel position in a certain line (scanning line direction when displayed on the display device 104), and the vertical axis indicates the luminance level of each pixel.
  • the luminance level of each pixel in the input image data after the smoothing process of the first Gaussian filter 4 (the first smoothing process) is compared with the luminance level before the smoothing process of the input image data. (Luminance level) decreases.
  • the luminance level of each pixel in the input image data after the smoothing process of the second Gaussian filter 5 (second smoothing).
  • the post-processing level is further reduced. That is, every time smoothing processing using a Gaussian filter is performed, the luminance level of each pixel of the output image data decreases.
  • the digital gain adjustment unit 7 performs digital gain adjustment for recovering the luminance level of each pixel of the input image data.
  • the digital gain multiplied by the digital gain adjusting unit 7 is a numerical value multiplied for each color component in RGB format in the pixel of the input image data, and is set as follows. For example, in an actual machine, a plurality of input image data is used, and an average value AV1 of gradations for each color component in RGB format in all pixels is calculated for each input image data. Then, an average value AAV1 of the average value AV1 of a plurality of input image data is obtained.
  • an average value AV2 of gradations for each color component in the RGB format in all pixels for each input image data is calculated.
  • an average value AAV2 of average values AV2 of a plurality of input image data is obtained.
  • the average value AAV1 is divided by the average value AAV2, and the numerical value of the division result is used as a digital gain.
  • the digital gain is calculated in advance, and the calculated digital gain is written and stored in the storage unit 12 in advance. Then, when performing digital gain adjustment of the input image data, the digital gain adjustment unit 7 reads the digital gain from the storage unit 12 and adjusts the luminance level of the input image data by performing digital gain adjustment that multiplies each color component in each pixel. Take control.
  • the digital gain adjustment unit 7 reads and uses the digital gain from the storage unit 12 when performing digital gain adjustment.
  • the digital gain values described above may be set for each combination of different types of fiber bundles 101 and imaging devices 102.
  • FIG. 7 is a diagram for explaining outline enhancement processing by the enhancement filter 8.
  • the horizontal axis indicates the position of the pixel in a certain line
  • the vertical axis indicates the luminance level of each pixel (or the gradation of each color component).
  • Area 0 is an area near the mesh where the mesh pattern exists
  • Area 1 is an area near the center of the pattern in the input image data
  • Area 2 is an area near the edge of the pattern.
  • the enhancement filter 8 obtains an average value of the gradation for each color component in each pixel in the region, and obtains a difference (diff) between the average value and the gradation of the color component of each pixel.
  • FIG. 8 is a diagram showing a local region centered on the target pixel on which the contour enhancement processing is performed.
  • range 1 indicates the number of pixels provided in each of the left and right directions of the target pixel to be subjected to the contour enhancement process
  • range 2 indicates the number of pixels provided in the vertical direction of the target pixel.
  • the number of pixels of range 1 and range 2 for setting the range for obtaining the average value corresponds to the width of the mesh pattern line, similarly to the number of target pixels of the kernel in the first Gaussian filter 4 and the second Gaussian filter 5. Must be greater than the number of pixels.
  • the enhancement filter 8 calculates the average value of the gradation for each color component in the RGB format in the 21 pixels including the target pixel in the local region.
  • the enhancement filter 8 calculates a difference between the calculated average value and the gradation of each color component pixel, and performs pixel edge enhancement processing for each color component in the pixel.
  • the enhancement filter 8 sets the difference to 0 when the difference is within the range of the preset rule value (data clear: dc) ( ⁇ dc ⁇ diff ⁇ dc).
  • the enhancement filter 8 determines that the difference in gradation is originally a change larger than the surrounding pixels, and the processing target pixel This color component pixel enhancement processing is not performed.
  • the enhancement filter 8 multiplies the difference diff by a preset coefficient ds (data scaling) when the difference is outside the range of the preset regulation value ( ⁇ dc> diff or dc ⁇ diff). . That is, when the absolute value of the difference exceeds the regulation value, the enhancement filter 8 determines that the difference in gradation is originally larger than that of the surrounding pixels, and performs enhancement processing of the pixel of this color component of the processing target pixel. .
  • the coefficient ds is set, for example, between 1 and 3 in this embodiment, but is set as appropriate after confirming the result of the emphasis process by experiment. Further, the regulation value dc is also set, for example, between 0 and 3 in the present embodiment, but is set in a timely manner after confirming the result of the emphasis process by experiment. Then, the enhancement filter 8 adds the multiplication result of the coefficient ds and the difference diff to the original gradation of the color component in the target pixel, and uses the addition result as a new gradation of the pixel of the color component in the processing target pixel. To do.
  • FIG. 9A shows a configuration of a local area for R (red) color component pixels in the RGB format, and a pixel R5 in this local area is a color component R pixel of the processing target pixel.
  • FIG. 9B shows a configuration of a local area for a G (green) color component pixel in the RGB format, and a pixel G5 in the local area is a pixel of the color component G of the processing target pixel.
  • FIG. 9A shows a configuration of a local area for R (red) color component pixels in the RGB format, and a pixel R5 in this local area is a color component R pixel of the processing target pixel.
  • FIG. 9B shows a configuration of a local area for a G (green) color component pixel in the RGB format, and a pixel G
  • FIGS. 9A to 9C shows the configuration of the local region for the B (blue) color component pixel in the RGB format, and B5 is the color component R pixel of the processing target pixel.
  • the filter calculation of the contour emphasis process performed by the emphasis filter 8 will be described with the code indicating the pixel as the gradation.
  • the enhancement filter 8 performs contour enhancement processing of each color component in the processing target pixel using the following calculation formula group.
  • the enhancement filter 8 calculates the average value of the gradation for each color component of each pixel in the local region.
  • Rave is the average value of the gradation of the color component R of each pixel in the local region
  • Gave is the average value of the gradation of the color component G of each pixel in the local region
  • Bave is in the local region This is the average value of the gradation of the color component B of each pixel.
  • the enhancement filter 8 subtracts the average value for each color component of the pixel in the local region from the gradation of each color component in the processing target pixel according to the following equation. Then, the enhancement filter 8 obtains a difference between the gradation of each color component in the processing target pixel and the average value for each color component of the pixel in the local region by the above-described subtraction.
  • diffR is a difference (diff) between the gradation of the color component R in the processing target pixel and the average value of the color component R of the pixel in the local region.
  • diffG is the difference (diff) between the gradation of the color component G in the pixel to be processed and the average value of the color component G of the pixel in the local region.
  • diffB is a difference (diff) between the gradation of the color component B in the processing target pixel and the average value of the color component B of the pixel in the local region.
  • the enhancement filter 8 calculates the absolute value of the difference between the color components in the target pixel using the following formula. Abs (X) in the following equation is a function for obtaining an absolute value of X.
  • Rofs abs (diffR)
  • Gofs abs (diffG)
  • Rofs abs (diffB)
  • Rofs is the absolute value of the difference diffR in the target pixel
  • Gofs is the absolute value of the difference diffG in the target pixel
  • Bofs is the absolute value of the difference diffB in the target pixel.
  • the emphasis filter 8 determines whether or not the absolute value Rofs of the difference diffR is equal to or smaller than a predetermined regulation value dc. If the absolute value Rofs is equal to or smaller than the regulation value dc, that is, within the range of the regulation value dc ( ⁇ dc). ⁇ diffR ⁇ dc), the difference diffR is set to 0.
  • the enhancement filter 8 when the absolute value Rofs of the difference diffR is not less than or equal to the regulation value dc (exceeds the regulation value dc), that is, the enhancement filter 8 does not fall within the regulation value dc ( ⁇ dc> diffR or dc ⁇ diffR), the difference The diffR is multiplied by the coefficient ds, and the multiplication result is set as a new difference diffR.
  • the enhancement filter 8 adds the difference diffR to the gradation R5 of the color component of the processing target pixel, and sets the addition result as a new gradation of the pixel having the gradation R5 of the color component of the processing target pixel.
  • the enhancement filter 8 determines whether or not the absolute value Gofs of the difference diffG is equal to or less than a preset regulation value dc, and if it is equal to or less than the regulation value dc, that is, within the range of the regulation value dc ( ⁇ dc). ⁇ diffG ⁇ dc), the difference diffG is set to 0. On the other hand, when the absolute value Gofs of the difference diffG is not equal to or less than the regulation value dc, that is, when the enhancement filter 8 is not within the regulation value dc ( ⁇ dc> diffG or dc ⁇ diffG), the enhancement filter 8 sets the coefficient ds for the difference diffG.
  • the enhancement filter 8 adds the difference diffG to the gradation G5 of the color component of the processing target pixel, and sets the addition result as a new gradation of the pixel having the gradation G5 of the color component of the processing target pixel.
  • the enhancement filter 8 determines whether or not the absolute value Bofs of the difference diffB is equal to or less than a preset regulation value dc, and if it is less than or equal to the regulation value dc, that is, is within the range of the regulation value dc ( ⁇ dc ⁇ When diffB ⁇ dc), the difference diffB is set to zero. On the other hand, when the absolute value Bofs of the difference diffB is not less than or equal to the regulation value dc, that is, when the enhancement filter 8 is not within the regulation value dc ( ⁇ dc> diffB or dc ⁇ diffB), the enhancement filter 8 sets the coefficient ds for the difference diffB.
  • the enhancement filter 8 adds the difference diffB to the gradation B5 of the color component of the processing target pixel, and sets the addition result as a new gradation of the pixel having the gradation B5 of the color component of the processing target pixel.
  • FIG. 10 is a diagram illustrating a result of the edge enhancement process in the enhancement filter 8.
  • the rule value ds by appropriately setting the rule value ds and performing the contour emphasis process, there is a region where the absolute value Bofs of the difference is not less than or equal to the rule value dc, and thus the contour of the pattern in the pattern region is emphasized.
  • the absolute value Bofs of the difference since there is no area where the absolute value Bofs of the difference is not equal to or less than the regulation value dc, it can be seen that the outline of the pattern line in the mesh pattern area is not emphasized.
  • the numerical values of range 1, range 2, regulation value dc, and coefficient ds in the enhancement filter 8 described above may be set for each combination of different types of fiber bundles 101 and imaging devices 102.
  • FIG. 11 is a diagram showing the results of the edge enhancement process when the parameters range1, dc, and ds of the enhancement filter 8 are changed.
  • Images 0-0, 1-0, and 2-0 are similar images, and are input image data for which the smoothing process and the isolated point removal process described above have been completed.
  • the contour is emphasized as a result of overlaying the difference image 0-1 on the image 0-0 (a result generated by adding the corresponding difference diff to the gradation of each color component in the original pixel).
  • the obtained image 0-2 is obtained.
  • an image 1-2A with an enhanced contour is obtained.
  • an image 2-2A with an emphasized outline is obtained.
  • the comparison between the image 1-1A and the image 1-1C is the same.
  • an image 1-2B with an emphasized outline is obtained.
  • an image 1-2D with an emphasized outline is obtained.
  • FIG. 12 is a diagram showing the effect of reducing the signal intensity of the mesh pattern line by the image data correction apparatus 103 according to the present embodiment.
  • the NTSC resolution 720 ⁇ 486 is a processing target.
  • FIG. 12A is a diagram illustrating an original image supplied from the imaging device 102.
  • FIG. 12B shows a smoothing process performed by the first Gaussian filter 4 and the second Gaussian filter 5, an isolated point removal process performed by the median fill 6, and an edge enhancement process performed by the enhancement filter 8. It is a figure which shows the image which reduced the mesh pattern.
  • the kernels of the first Gaussian filter 4 and the second Gaussian filter 5 are used as 3 ⁇ 3 pixels including the processing target pixel as a center.
  • the coefficient ds is 2
  • the regulation value dc is 4.
  • the black dots of the mesh pattern in FIG. 12 (a) become thinner in FIG. 12 (b), indicating that the surface of the image has a smooth form.
  • FIG. 13 is a flowchart showing an operation example of the signal intensity reduction processing of the mesh pattern line performed by the image data correction apparatus 103 according to the embodiment of the present invention.
  • Step S1 The first color conversion unit 1 converts the NTSC analog input image supplied from the imaging device 102 into input image data which is a digital signal in RGB format. Then, the first color conversion unit 1 sequentially writes the color component data (R, G, B) of each pixel of the converted input image data in the first image buffer 9.
  • the first image buffer 9 and the second image buffer 10 have the same configuration. Then, the input image data is written and stored in one of the first image buffer 9 and the second image buffer 10 by the first color conversion unit 1, and the mesh pattern line for the input image data stored in the other is stored. A process for reducing the signal intensity is performed. At this time, for example, a process of reducing the signal intensity of the mesh pattern line with respect to the input image data stored in the second image buffer 10 is performed.
  • Step S2 At this point, the process of reducing the signal intensity of the mesh pattern lines for the input image data stored in the second image buffer 10 is completed, and the writing of the input image data to the first image buffer 9 is completed.
  • the first color conversion unit 1 starts to write new one-screen input image data supplied from the imaging device 102 to the second image buffer 9.
  • the first Gaussian filter 4 reads out the gradation of each color component pixel in the pixel of the input image data written in the first image buffer 9 in a 3 ⁇ 3 pixel kernel unit centering on the processing target pixel. .
  • the first Gaussian filter 4 reads the pixel data (R5, G5, B5) of each color component in the processing target pixel from the first image buffer 9. Further, the first Gaussian filter 4 is a pixel data of each color component (R2, R4, R6, R8, G2, G4, G6, G8, B2, B4, B6) in the pixels adjacent to the pixel to be processed vertically and horizontally. , B8) is read from the first image buffer 9. Further, the first Gaussian filter 4 is a pixel data of each color component (R1, R3, R7, R9, G1, G3, G7, G9, B1, B3, B7, B9) in a pixel adjacent to the processing target pixel in an oblique direction. ) Is read from the first image buffer 9.
  • the first Gaussian filter 4 performs smoothing processing for each color component in the processing target pixel, and writes the processing target pixel for which processing has been completed in the processing buffer 11.
  • the first Gaussian filter 4 corresponds to the position where each pixel is arranged on a two-dimensional plane when input image data is displayed on the display screen, and the scanning line direction of the display screen of the display device 104 or the arrangement direction of the scanning lines.
  • the kernel is moved pixel by pixel. That is, as described above, the first Gaussian filter 4 performs smoothing processing on all pixels in the input image data by sequentially setting each pixel of the input image data as a processing target pixel every time the kernel is moved pixel by pixel. Generate a blurred image.
  • the first Gaussian filter 4 advances the process to step S3.
  • Step S3 Next, the second color conversion unit 2 converts the gradation of the pixel indicated in the RGB format in each pixel of the input image data into data in the YUV format. That is, the second color conversion unit 2 sequentially reads out the pixel data of each color component of the pixel of the input image data from the processing buffer 11, and the gradation level of the pixel indicated in the RGB format in each of the read pixels, Convert to YUV format data. Then, the second color conversion unit 2 writes the Y signal, U signal, and V signal data of each pixel converted into the YUV format into the first image buffer 9 at the corresponding pixel address. When the conversion from the RGB format to the YUV format data in all pixels of the input image data for one screen is completed, the second color conversion unit 2 advances the process to step S4.
  • Step S4 Next, the median filter 6 sequentially reads out 3 ⁇ 3 Y signal data (Y1, Y2, Y3, Y4, Y5, Y6, Y7, Y8, Y9) as the kernel size from the first image buffer 9. .
  • FIG. 14 is a conceptual diagram showing a configuration example of the kernel of the median filter 6 in the embodiment of the present invention.
  • FIG. 14 shows a kernel for Y signal data in the YUV format, and Y5 is a pixel to be processed.
  • the median filter 6 reads the Y signal data (Y5) of the pixel to be processed from the first image buffer 9.
  • the median filter 6 when performing the median filter processing, sends the Y signal data (Y2, Y4, Y6, Y8) of the pixels adjacent to the pixel to be processed vertically and horizontally from the first image buffer 9. read out. Further, when performing the median filter processing, the median filter 6 reads each of Y signal data (Y1, Y3, Y7, Y9) of pixels adjacent to the processing target pixel in an oblique direction from the first image buffer 9. Then, the median filter 6 obtains a median value in the data Y1 to Y9 of the read Y signal, and writes this median value as the Y signal of the processing target pixel to the processing buffer 11 at the address of the processing target pixel. When the median filter process is completed for all the pixels of the input image data for one screen, the median filter 8 advances the process to step S5.
  • Step S5 Next, the third color conversion unit 3 converts the pixels of the input image data indicated in the YUV format in each pixel of the input image data into RGB format data. That is, the third color conversion unit 2 sequentially reads out the pixel data of the input image data from the processing buffer 11, and converts the pixel data indicated in the YUV format in each read pixel into RGB format data. To do. Then, the third color conversion unit 2 writes the color component (R, G, B) data of each pixel converted into the RGB format into the first image buffer 9 at the corresponding pixel address. When the conversion from the YUV format to the RGB format data in all the pixels of the input image data for one screen is completed, the third color conversion unit 2 advances the process to step S6.
  • the third color conversion unit 2 advances the process to step S6.
  • Step S6 Next, the digital gain adjusting unit 7 sequentially reads out the gradation of the color component in each pixel of the input image data from the first image buffer 9 and sets the gradation of the pixel of each read out color component. Multiply by digital gain. Then, the digital gain adjustment unit 7 sets the multiplication result of the digital gain for each color component as a new gradation of each color component in the pixel, and processes the obtained new gradation for the first image buffer 9. Write to pixel address. When the third color conversion unit 2 finishes the digital gain adjustment for the gradation of the color component pixels in all the pixels of the input image data for one screen, the process proceeds to step S7.
  • Step S7 Next, the second Gaussian filter 5 reads the gradation of each color component of the pixel of the input image data written in the first image buffer 9 in a kernel unit of 3 ⁇ 3 pixels centering on the processing target pixel. . Then, the second Gaussian filter 5 performs smoothing processing on all pixels in the input image data by sequentially setting each pixel of the input image data as a processing target pixel by the same processing as the first Gaussian filter 4, and Generate. Further, the second Gaussian filter 5 performs a smoothing process for each color component in the processing target pixel, and writes the processing target pixel for which processing has been completed to the processing buffer 11. When the smoothing of the input image data for one screen is completed, the second Gaussian filter 5 advances the process to step S8.
  • Step S8 Next, the enhancement filter 8 sequentially reads out the pixel data of the input image data including the processing target pixel from the processing buffer 11 in the set pixel configuration unit of the local region.
  • the enhancement filter 8 receives data (R5, G5, B5) from the processing buffer 11 for each color component of the processing target pixel. ).
  • the emphasis filter 8 is also used for data of each color component (R2, R4, R6, R8, G2, G4, G6, G8, B2, B4, B6, B8) of pixels adjacent to the pixel to be processed vertically and horizontally. Each is read from the processing buffer 11.
  • the enhancement filter 8 converts each color component data (R1, R3, R7, R9, G1, G3, G7, G9, B1, B3, B7, B9) of pixels adjacent to the processing target pixel in an oblique direction. Read from the processing buffer 11.
  • the enhancement filter 8 performs edge enhancement processing for each color component in the processing target pixel, and writes the processing target pixel for which processing has been completed to the first image buffer 9.
  • the enhancement filter 8 corresponds to the position where each pixel is arranged on the two-dimensional plane, and the local region is one pixel at a time in the scanning line direction of the display screen of the display device 104 or The scanning line is moved in the arrangement direction. That is, the enhancement filter 8 performs smoothing processing on all the pixels in the input image data by sequentially setting each pixel of the input image data as a processing target pixel, and performs contour enhancement processing to generate output image data.
  • the enhancement filter 8 advances the processing to step S1 in order to perform processing to reduce the signal intensity of the mesh line of the next one screen.
  • the “computer system” includes an OS and hardware such as peripheral devices.
  • the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
  • the “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, and a hard disk incorporated in a computer system.
  • the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line.
  • a volatile memory in a computer system serving as a server or a client in that case, and a program that holds a program for a certain period of time are also included.
  • the program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
  • the image correction apparatus, the image correction method, and the endoscope apparatus can be used as an image correction apparatus, an image correction method, and an endoscope apparatus that reduce a mesh pattern in an image transmitted by a fiber bundle.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

　本画像補正方法は、ファイババンドルを伝搬してきた網目模様を含む入力画像に対し、デジタルフィルタ演算を用いた平滑化によるぼかし処理を行うことで網目模様を低減し、ぼかし処理を行ったぼかし画像に対し輪郭強調処理を行うことで、入力画像に写っている被写体のぼかし処理によりぼかされた輪郭を強調させる、ステップを含む。

Description

画像補正装置、画像補正方法及び内視鏡装置
　本発明は、ファイババンドルにより伝達された画像における網目模様の低減を行う画像補正装置、画像補正方法及び内視鏡装置に関する。
　本願は、２０１１年１０月６日に、日本に出願された特願２０１１－２２２３５２号に基づき優先権を主張し、その内容をここに援用する。
　近年、複数の光ファイバ（例えば数百本から数万本の光ファイバ）を束ねたファイババンドル（またはバンドルファイバ）からなるファイバスコープが医療分野あるいは工業分野において内視鏡などで多用されている。
　光ファイバは、光を伝送するコア部と、このコア部の外周面に接する光を伝送しないクラッド部から構成されている。このクラッド部は、光を伝送しない光非伝送部であり、また、光ファイバを束ねた構成における光ファイバ間も光を伝送しないため光非伝送部の一部となる。
　このため、ファイバスコープの伝送する画像には、上述した光非伝送部において光が伝送されないため、光非伝送部に相当する領域の画像情報が欠落する。そのため、この画像情報が欠落した領域が網目模様の網部分（すなわち網目模様の網目の糸に相当する線、以下、模様線）として存在する。
　このファイババンドルからなるファイバスコープをテレビカメラに装着し、被写体の画像を撮像し、撮像した画像により被写体を観察する場合、画像に対して網目模様が存在すると、被写体の画像が見づらくなってしまう。
　例えば、医療分野における医療用内視鏡に対し、このファイバスコープを用いて、重要な患部を被写体として撮像し、撮像した画像を用いて診断を行う場合、上述の網目模様の存在が、患部の観察を妨げる要因となる。
　このため、画像における上述した網目模様を低減するため、意図的にテレビカメラの光学系でフォーカスをずらすデフォーカスを行い、画像全体をぼかし、網目模様を目立たなくする処理が行われる。
　また、観察対象を撮像するテレビカメラの光学系に対して、光学的なローパスフィルタ（ＬＰＳ：Low pass filter）を挿入するなどし、画像を意図的にぼかすことにより、網目模様を目立たなくする処理が行われることもある。
　このデフォーカスや光学系へのローパスフィルタの挿入による画像全体のぼかし処理により、画像における網目模様の模様線の信号強度を低減させ、網目模様を目立ち難くすることが行われている。
　また、撮像した画像に対して画像処理を行い、画像における網目模様を低減する方法も用いられている。
　例えば予めファイバスコープの網目模様を位置座標として記憶しておき、この位置座標の画像情報を隣接する画像情報により補完する方法がある（例えば、特許文献１、特許文献２を参照）。
　また、ファイバスコープを機械的に、画像面に対して平行方向に所定の幅にて周期振動させ、テレビカメラの受光素子の画素レベルでずらして画像を撮像し、この撮像した画像の各々を、画像処理により模様線部分が除かれるように重ね合わせることにより、模様線部分を互いに補完する方法が提案されている（例えば、特許文献３を参照）。
　また、ローパスフィルタを用いた画像処理により、網目模様を低減させる方法がある。
すなわち、ファイバスコープ及びテレビカメラの組合せ毎に対応し、画像情報を低減する周波数のローパスフィルタを複数設ける。この組合せ毎に対応する周波数は、それぞれ組合せに対応した画像における網目模様の模様線の配置における空間周波数に対応して設定されている。
　そして、ファイバスコープを用いて撮像した画像をフーリエ変換し、ファイバスコープ及びカメラの組合せによる模様線に対応した周波数のローパスフィルタを選択する。そして、このローパスフィルタにより、組合せに対応する周波数の情報を低減させ、画像における網目模様を低減させる（例えば、特許文献４を参照）。
特開平０８－２４２３９５号公報 特開平０８－１９１４４０号公報 特開２０１０－２８４３６９号公報 特開２０００－３５０１９３号公報
　しかしながら、光学的にデフォーカス処理やローパスフィルタを用い、網目模様を目立ち難くする方法では、画像全体がぼけてしまう。このため、画像における情報の一部が欠損することになり、画像の解像度が大幅に劣化することになる。
　また、特許文献１及び特許文献２の方法は、予めファイバスコープに対応した網目模様のデータを記憶させておく必要がある。
　このため、記憶されていないファイバスコープに対しては、このファイバスコープの網目模様のデータを新たに取得し、取得した後に画像処理装置に記憶させる必要がある。
　すなわち、網目模様のデータが設定されていないファイバスコープを用いる場合、煩雑な網目模様のデータの取得処理を行うため、画像処理を行うまでの準備が煩雑となる。
　また、特許文献３の方法は、ファイバスコープを所定の幅及び周期で振動させるため、高い精度で振動を起こさせる可動部を設けなくてはならない。
　したがって、上述した精度の問題から、使用可能なファイバスコープが特定され、種々のファイバスコープに使用できず、汎用性の無い装置となる。
　このため、他のファイバスコープに交換する場合、この交換後のファイバスコープに対応した特性の可動部を新たに作成する必要があり、製造コストが増加することになる。
　また、特許文献４の方法は、周波性特性の異なるフィルタが設けられることにより、異なるテレビカメラとファイバスコープとの組合せに対応することは可能である。
　しかしながら、所定の空間周波数の画像情報を低減する場合、網目模様の存在しない領域においても、同様の周波数成分の画像情報が削除される。そのため、全体的に特定の空間周波数を有する画像の情報が劣化してしまう問題がある。
　本発明は、このような事情に鑑みてなされたもので、ファイババンドルにより構成されたファイバスコープの画像における網目模様を、ファイバスコープの種類によらない汎用性を有し、かつ画像の情報を劣化させずに低減することが可能な画像補正装置、画像補正方法及び内視鏡装置を提供することを目的とする。
　本発明の画像補正方法は、ファイババンドルを伝搬してきた網目模様を含む入力画像に対し、デジタルフィルタ演算を用いた平滑化によるぼかし処理を行うことで前記網目模様を低減し、前記ぼかし処理を行ったぼかし画像に対し輪郭強調処理を行うことで、前記入力画像に写っている被写体の前記ぼかし処理によりぼかされた輪郭を強調させるステップを含む。
　前記ぼかし処理は、前記入力画像に対して第１平滑化フィルタ演算を行い、前記第１平滑化フィルタ演算によって得られる平滑化画像に対してメディアンフィルタ演算を行い、前記メディアンフィルタ演算の結果得られるメディアン画像に対して第２平滑化フィルタ演算を行ってぼかし画像を生成する。
　前記第１平滑化フィルタ演算および第２平滑化フィルタ演算のうち少なくとも一方では、処理対象ピクセルの周囲の平滑化領域として、前記網目模様の模様線の幅を超えるピクセル数を辺とする矩形領域を用いる。
　前記メディアンフィルタ演算は、前記第１平滑化フィルタ演算によって得られる平滑化画像を、輝度画像と色画像に変換した上で輝度画像に対してのみ行う。
　前記ぼかし処理は、前記第１平滑化フィルタ演算によって得られる平滑化画像またはそれに基づく画像の各ピクセルに対し、各ピクセルの階調度の制御であるデジタルゲイン調整演算を行うステップを含む。
　前記平滑化フィルタ演算では、前記平滑化領域に含まれるピクセルのうち、処理対象ピクセルの階調度に対し第１の係数を乗じ、前記処理対象ピクセル以外のピクセルの階調度に対し前記第１の係数と異なる係数を乗じ、それぞれの乗算結果を加算して、加算結果を前記処理対象ピクセルの新たな階調度とする。
　前記デジタルゲイン調整演算では、前記入力画像を構成するピクセルの階調度の平均値を、前記第１の平滑化フィルタ演算によって得られる平滑化画像またはそれに基づく画像の階調度の平均値により除算し、除算結果をデジタルゲインとして、各ピクセルの階調度に乗算する。
　前記輪郭強調処理は、前記ぼかし画像を構成するピクセルを順次処理対象ピクセルとし、当該処理対象ピクセルの周囲の輪郭強調領域に含まれる全てのピクセルの階調度の平均値を算出し、前記平均値と、前記処理対象ピクセルの階調度との差分を求め、前記処理対象ピクセルの階調度に対して、それぞれの差分に対して予め設定した係数を乗算した数値を加算し、加算結果を前記処理対象ピクセルの新たな階調度とする。
　本発明の内視鏡装置は、ファイババンドルと、前記ファイババンドルが伝搬してきた網目模様を含む入力画像を撮像する撮像素子と、前記撮像素子が撮像した前記入力画像に対し、デジタルフィルタ演算を用いた平滑化によるぼかし処理を行うことで、前記網目模様を低減し、前記ぼかし処理を行ったぼかし画像に対し輪郭強調処理を行うことで、前記入力画像に写っている被写体の前記ぼかし処理によりぼかされた輪郭を強調させて表示画像を生成する画像補正装置と、前記表示画像を表示させる映像表示制御装置とを備える。
　本発明の画像補正装置は、ファイババンドルが伝搬してきた網目模様を含む入力画像に対し、デジタルフィルタ演算を用いた平滑化によるぼかし処理を行うことでぼかし画像を生成するぼかし処理部と、前記ぼかし画像に対し輪郭強調処理を行うことで、前記入力画像に写っている被写体の前記ぼかし処理によりぼかされた輪郭を強調させて表示画像を生成する輪郭強調処理を行う輪郭強調部とを備える。
　この発明によれば、ファイババンドルにより構成されたファイバスコープの画像における網目模様の低減処理をデジタル処理により行うため、ファイバスコープの種類によらない汎用性を有している。
　また、この発明によれば、ぼかし処理の後に輪郭強調処理を行い、入力画像の画像情報の補完を行うため、入力画像の画像情報の劣化を従来に比較して低減させることができる。
本発明の実施形態による画像補正装置を用いた内視鏡装置の構成例を示す概略ブロック図である。 本発明の実施形態による画像データ補正装置１０３の構成例を示す概略ブロック図である。 本発明の実施形態における第１ガウシアンフィルタの処理対象ピクセルにおける色成分毎のカーネルの構成例を示す概念図である。 本発明の実施形態における第１ガウシアンフィルタの処理対象ピクセルにおける色成分毎のカーネルの構成例を示す概念図である。 本発明の実施形態における第１ガウシアンフィルタの処理対象ピクセルにおける色成分毎のカーネルの構成例を示す概念図である。 カーネルの縦方向と横方向のピクセル数を決定する処理を説明する概念図である。 本発明の実施形態による医療用内視鏡を用いて撮像した実際の画像における網目模様の模様線の幅とピクセル数との対応を示す図である。 デジタルゲインによる輝度レベルの調整の必要性を説明する、一ライン方向のピクセルの輝度レベルを示す図である。 強調フィルタ８による輪郭強調処理を説明する図である。 輪郭強調処理を行う対象ピクセルを中心とした局所領域を示す図である。 強調フィルタ８で用いるパラメータがｒａｎｇｅ１＝１及びｒａｎｇｅ２＝１の場合における、ピクセルの色成分毎に対応した局所領域を示す図である。 強調フィルタ８で用いるパラメータがｒａｎｇｅ１＝１及びｒａｎｇｅ２＝１の場合における、ピクセルの色成分毎に対応した局所領域を示す図である。 強調フィルタ８で用いるパラメータがｒａｎｇｅ１＝１及びｒａｎｇｅ２＝１の場合における、ピクセルの色成分毎に対応した局所領域を示す図である。 強調フィルタ８における輪郭強調処理の結果を示す図である。 強調フィルタ８のパラメータｒａｎｇｅ１、ｄｃ及びｄｓを変化させた際の輪郭強調処理の結果を示す図である。 本実施形態による画像データ補正装置１０３による網目模様の模様線の信号強度を低減した効果を示す図である。 本発明の実施形態における画像データ補正装置１０３の行う網目模様の低減処理の動作例を示すフローチャートである。 本発明の実施形態におけるメディアンフィルタ６のカーネルの構成例を示す概念図である。
　以下、図面を参照して、本発明の一実施形態について説明する。図１は、この発明の実施形態による画像データ補正装置を用いた内視鏡装置の構成例を示す概略ブロック図である。この内視鏡装置は、例えば工業用あるいは医療用の利用分野において、測定対象物（被写体）の特定部位の観察などに用いられる。例えば、利用分野が医療用の場合、生体組織の線状に見える構造物（血管や網膜など）を観察するために用いられる。
　本実施形態の内視鏡装置は、ファイババンドル１０１、撮像装置１０２、画像データ補正装置１０３及び表示装置１０４を備えている。
　撮像装置１０２は、ファイババンドル１０１を介して、測定対象物２００の表面状態を撮像し、画像データ補正装置１０３へ出力する。ここで、撮像装置１０２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いた撮像素子により、測定対象物２００の画像を撮像する。
　また、撮像装置１０２は、撮像素子が撮像した画像を電気信号に光電変換し、ＲＧＢ（Red, Green, Blue）形式によるデジタル画像の画像データ（入力画像データ）を得る。また、撮像装置１０２は、このＲＧＢ形式の画像データを直接に、または一旦、ＮＴＳＣ（National Television System Committee）方式あるいはＰＡＬ（Phase Alternating Line）方式に変換して出力する。
　ここで、このファイババンドル１０１は、複数、例えば数百本から数万本の光ファイバ（イメージファイバ）を束ね、その光ファイバの束の両端に端末金具を取り付けて構成された光ファイバスコープである。光ファイバの数は、例えば１００～１０００００である。
　したがって、撮像装置１０２は、ファイババンドル１０１を伝搬した光が撮像素子の撮像面で結像されることにより、この像における光の明暗を電荷量に光電変換することで、測定対象物２００の表面を撮像する。このため、すでに述べたように、撮像装置１０２により撮像された画像には、複数の光ファイバを束ねたことにより生じる網目模様が存在する。
　網目模様とは、ファイバスコープの伝送する画像において、光非伝送部（クラッド部、および光ファイバどうしの隙間等）に相当する領域によって形成される網目状の模様である。前記光非伝送部に相当する領域は、画像情報が欠落しているか、画像の明度が低いため、他の部分に比べ暗く表示される。この暗く表示された領域は、網目模様の網部分（すなわち網目模様の網目の糸に相当する線、以下、模様線）となる。
　画像データ補正装置１０３は、撮像装置１０２から供給される画像データを入力画像データとし、この入力画像データにおける網目模様の模様線の信号強度を低減し、模様線を目立ち難くして、入力画像データにおける網目模様を低減する画像補正処理を行う。
　また、画像データ補正装置１０３は、入力画像データに対して網目模様を目立ち難くする補正を行った入力画像データを、出力画像データとして表示装置１０４に対して出力する。
　表示装置１０４は、液晶ディスプレイなどであり、画像データ補正装置１０３から供給される出力画像データを表示パネルに表示させる。
　図２は、この発明の実施形態による画像データ補正装置１０３の構成例を示す概略ブロック図である。この画像データ補正装置１０３は、第１色変換部１、第２色変換部２、第３色変換部３、第１ガウシアンフィルタ４、第２ガウシアンフィルタ５、メディアンフィルタ６、デジタルゲイン調整部７、強調フィルタ８、第１画像バッファ９、第２画像バッファ１０、処理バッファ１１及び記憶部１２を備えている。第１ガウシアンフィルタ４及び第２ガウシアンフィルタ５は、平滑化フィルタである。
　以下、各部の行う処理の説明を行う。
　第１色変換部１は、撮像装置１０２から供給されるＮＴＳＣ方式あるいはＰＡＬ方式の画像データを、入力画像データとして読み込む。また、第１色変換部１は、読み込んだ入力画像データをＲＧＢ形式の画像データに変換し、第１画像バッファ９または第２画像バッファ１０に書き込んで記憶する。本実施形態においては、画像データがカラーであるとして、ＲＧＢ形式を用いて説明するが、本発明は単色のグレースケールの画像データの網目模様の模様線の低減にも適用することができる。
　ここで、第１色変換部１が撮像素子１０２から供給される入力画像データを、ＮＴＳＣ方式からＲＧＢ形式に変換し、第１画像バッファ９に書き込んでいる場合、第２画像バッファ１０に直前に書き込まれた入力画像データの補正処理を行うことができる。
　また、撮像装置１０２が出力する画像データがＲＧＢ形式であれば、第１色変換部１を設ける必要がない。その場合には、撮像装置１０２は、直接に、撮像した画像データを第１ガウシアンフィルタ４へ、入力画像データとして供給する。
　第１画像バッファ９、第２画像バッファ１０及び処理バッファ１１の各々は、表示装置１０４の表示画面に表示される一画面（１フレーム）分の入力画像データにおけるピクセルのデータを格納する。ここで、１ピクセルは画像の表示単位であり、色成分Ｒ（レッド）、Ｇ（グリーン）及びＢ（ブルー）の３個の画素から構成されている。この色成分毎の画素は、信号強度がデータとしての階調度により示される。
　第１ガウシアンフィルタ４は、デジタルフィルタ演算により、入力画像データを構成するピクセルにおける色成分の各画素の平滑化処理を行い、ぼかし画像の生成を行う。
　ここで、第１ガウシアンフィルタ４は、本実施形態において、平滑化を行う処理対象ピクセルを中心としたカーネルを用いて、入力画像データの各ピクセルのデータの平滑化処理を行う。ここで、カーネルは、処理対象ピクセルが中心に配置され、一辺を複数のピクセルとした矩形領域、例えば一辺を３ピクセルとした３×３ピクセルからなる矩形領域であり、処理対象ピクセルのフィルタ処理を行う複数の周辺のピクセルの範囲を示している。
　第１ガウシアンフィルタ４は、このカーネルを１ピクセル単位で、入力画像データを表示画面に表示させる際の２次元平面（ｘ軸及びｙ軸からなる平面）内で、走査線方向（ｘ軸方向）あるいは走査線の配列方向（ｙ軸方向）に移動させる。第１ガウシアンフィルタ４は、位置ピクセル移動する毎に、処理対象ピクセルにおける色成分（Ｒ、Ｇ、Ｂ）毎の階調度の移動平均を算出する。
　第２ガウシアンフィルタ５は、デジタルゲイン調整部７が輝度レベルの制御（後述）を行った後、第１ガウシアンフィルタ４と同様に、デジタルフィルタ演算により、入力画像データのピクセルにおける色成分の画素の階調度の平滑化処理を行う。
　第２色変換部２は、各ピクセルにおけるＲＧＢ形式で示されている画素の階調度を、以下の式を用いてＹ（輝度信号）Ｕ（色差信号、Ｂ－Ｙ）Ｖ（色差信号、Ｒ－Ｙ）形式のデータに、一旦変換する。
　Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
　Ｕ＝－０．１６９×Ｒ－０．３３１×Ｇ＋０．５００×Ｂ
　Ｖ＝０．５００×Ｒ－０．４１９×Ｇ－０．０８１×Ｂ
　第３色変換部３は、処理対象ピクセルのＹ信号のデータ、Ｕ信号のデータ及びＶ信号のデータを、以下の式に代入し、ＹＵＶ形式からＲＧＢ形式に変換する。
　Ｒ＝１．０００×Ｙ＋１．４０２×Ｖ
　Ｇ＝１．０００×Ｙ－０．３４４×Ｕ－０．７１４×Ｖ
　Ｂ＝１．０００×Ｙ＋１．７７２×Ｕ
　メディアンフィルタ６は、処理対象ピクセルが中心に配置された複数のピクセルからなる矩形領域のカーネルを用い、デジタルフィルタ演算を用いたメディアンフィルタ処理を行う。ここで、メディアンフィルタ６は、カーネル内におけるピクセルから、第３色変換部３が求めたＹ信号のデータが中央値であるピクセルを検出する。すなわち、メディアンフィルタ６は、デジタルフィルタ演算を用いたメディアンフィルタ処理により、入力画像データにおけるカーネルで選択されたピクセルから、Ｙ信号のデータが中央値のピクセルの検出を行う。例えば、メディアンフィルタ６は、カーネル内のピクセルの各々のＹ信号のデータの大小を比較するソート処理などにより、Ｙ信号のデータが中央値のピクセルを検出する。
　また、メディアンフィルタ６は、メディアンフィルタ処理により検出したピクセルのＹ信号のデータ（カーネル内における中央値のＹ信号のデータ）を、処理対象ピクセルの新たなＹ信号のデータとする。
　上述した輝度信号のみに対するメディアンフィルタ処理により、ＲＧＢ形式の各色成分ごとに行う場合のように、入力画像データにおける色情報を損なうことなく、第１ガウシアンフィルタ４で除去しきれない孤立点（ノイズなど）を低減することができる。この孤立点とは、輝度レベルが周辺の他のピクセルに比較して著しく高い、あるいは著しく低い輝度レベルを有するピクセルである。
　デジタルゲイン調整部７は、メディアンフィルタ６のメディアンフィルタ処理した入力画像データの各ピクセルにおけるＲＧＢ形式の色成分の各々にデジタルゲインを乗じて、入力画像データのピクセルの輝度レベルを全体的に増加させる。
　すなわち、第１ガウシアンフィルタ４による平滑化処理と、メディアンフィルタ６によるメディアンフィルタ処理とに起因する全体的な輝度レベル低下を抑制するため、デジタルゲイン調整部７は、上述した輝度レベルの制御を行う。
　強調フィルタ８は、第１ガウシアンフィルタ４及び第２ガウシアンフィルタ５による２度の平滑化処理と、メディアンフィルタ６による孤立点の除去処理とにより情報が劣化した入力画像データにおける絵柄の輪郭部の情報の再生を行う。すなわち、強調フィルタ８は、デジタルフィルタ演算により、上述した２度の平滑化処理とメディアンフィルタ処理とのぼかし処理により得られたぼかし画像における絵柄（生体組織の線状に見える構造物など）を構成するピクセル（各色成分毎の階調度）に対する輪郭強調処理を行う。
　上述した画像データ補正装置１０３において、第１ガウシアンフィルタ４による平滑化処理、メディアンフィルタ６による孤立点除去処理、デジタルゲイン調整部７によるゲイン調整、第２ガウシアンフィルタ５による平滑化処理、強調フィルタ８による輪郭強調処理の順番で、網目模様の網用線の信号強度の低減が行われ、網目模様を目立たなくさせる処理が行われる。
第１ガウシアンフィルタ４及び第２ガウシアンフィルタ５による平滑化処理
　以下の説明は、第１ガウシアンフィルタ４を用いて説明するが、第２ガウシアンフィルタ５における入力画像データの平滑化処理も同様に行う。
　図３Ａ～Ｃは、本発明の実施形態における第１ガウシアンフィルタの処理対象ピクセルにおける色成分毎のカーネルの構成例を示す概念図である。
　ここで、図３Ａは、ＲＧＢ形式におけるＲ（レッド）に対するカーネルを示しており、このカーネルにおけるＲ５が処理対象ピクセルの色成分Ｒの画素である。
　第１ガウシアンフィルタ４は、移動平均を求める際、カーネルにおいて、処理対象ピクセルの色成分Ｒの画素のデータ（Ｒ５）と、上下及び左右にて隣接するピクセルの色成分Ｒの画素のデータ（Ｒ２、Ｒ４、Ｒ６、Ｒ８）と、斜め方向で隣接するピクセルの色成分Ｒの画素のデータ（Ｒ１、Ｒ３、Ｒ７、Ｒ９）との各々に、予め設定された係数を乗じる。すなわち、第１ガウシアンフィルタ４は、以下の式により、処理対象ピクセルにおける色成分Ｒの画素の階調度を算出する。以下、画素の番号と、画素のデータである階調度とを同一として説明する。
　Ｒ＝Ｒ５×ｒＩＳＧＡＵＳＣ１＋（Ｒ２＋Ｒ４＋Ｒ６＋Ｒ８）
　　　　　×ｒＩＳＧＡＵＳＣ２＋（Ｒ１＋Ｒ３＋Ｒ７＋Ｒ９）
　　　　　×ｒＩＳＧＡＵＳＣ３　　　　・・・（１）
　この（１）式において、画素Ｒ５の階調度に乗ずる係数をｒＩＳＧＡＵＳＣ１とし、画素Ｒ２、Ｒ４、Ｒ６、Ｒ８の階調度に乗ずる係数をｒＩＳＧＡＵＳＣ２とし、画素Ｒ１、Ｒ３、Ｒ７、Ｒ９の階調度に乗ずる係数をｒＩＳＧＡＵＳＣ３としている。
　　また、図３Ｂは、ＲＧＢ形式におけるＧ（グリーン）に対するカーネルを示しており、このカーネルにおけるＧ５が処理対象ピクセルの色成分Ｇの画素である。
　第１ガウシアンフィルタ４は、移動平均を求める際、カーネルにおいて、処理対象ピクセルの色成分Ｇの画素のデータ（Ｇ５）と、上下及び左右にて隣接するピクセルの色成分Ｇの画素のデータ（Ｇ２、Ｇ４、Ｇ６、Ｇ８）と、斜め方向で隣接するピクセルの色成分Ｇの画素のデータ（Ｇ１、Ｇ３、Ｇ７、Ｇ９）との各々に、予め設定された係数を乗じる。すなわち、第１ガウシアンフィルタ４は、以下の式により、処理対象ピクセルにおける色成分Ｇの画素の階調度を算出する。
　Ｇ＝Ｇ５×ｒＩＳＧＡＵＳＣ１＋（Ｇ２＋Ｇ４＋Ｇ６＋Ｇ８）
　　　　　×ｒＩＳＧＡＵＳＣ２＋（Ｇ１＋Ｇ３＋Ｇ７＋Ｇ９）
　　　　　×ｒＩＳＧＡＵＳＣ３　　　　・・・（２）
　この（２）式において、画素Ｇ５の階調度に乗ずる係数をｒＩＳＧＡＵＳＣ１とし、画素Ｇ２、Ｇ４、Ｇ６、Ｇ８の階調度に乗ずる係数をｒＩＳＧＡＵＳＣ２とし、画素Ｇ１、Ｇ３、Ｇ７、Ｇ９の階調度に乗ずる係数をｒＩＳＧＡＵＳＣ３としている。
　　また、図３Ｃは、ＲＧＢ形式におけるＢ（ブルー）に対するカーネルを示しており、このカーネルにおけるＢ５が処理対象ピクセルの色成分Ｂの画素である。
　第１ガウシアンフィルタ４は、移動平均を求める際、カーネルにおいて、処理対象ピクセルの色成分Ｂの画素のデータ（Ｂ５）と、上下及び左右にて隣接するピクセルの色成分Ｂの画素のデータ（Ｂ２、Ｂ４、Ｂ６、Ｂ８）と、斜め方向で隣接するピクセルの色成分Ｂの画素のデータ（Ｂ１、Ｂ３、Ｂ７、Ｂ９）との各々に、予め設定された係数を乗じる。すなわち、第１ガウシアンフィルタ４は、以下の式により、処理対象ピクセルにおける色成分Ｂの画素の階調度を算出する。
　Ｂ＝Ｂ５×ｒＩＳＧＡＵＳＣ１＋（Ｂ２＋Ｂ４＋Ｂ６＋Ｂ８）
　　　　　×ｒＩＳＧＡＵＳＣ２＋（Ｂ１＋Ｂ３＋Ｂ７＋Ｂ９）
　　　　　×ｒＩＳＧＡＵＳＣ３　　　　・・・（３）
　この（３）式において、画素Ｂ５の階調度に乗ずる係数をｒＩＳＧＡＵＳＣ１とし、画素Ｂ２、Ｂ４、Ｂ６、Ｂ８の階調度に乗ずる係数をｒＩＳＧＡＵＳＣ２とし、画素Ｂ１、Ｂ３、Ｂ７、Ｂ９の階調度に乗ずる係数をｒＩＳＧＡＵＳＣ３としている。
　上述した係数ｒＩＳＧＡＵＳＣ１、ｒＩＳＧＡＵＳＣ２及びｒＩＳＧＡＵＳＣ３の各々は、例えば、予め実機を用い、表示装置１０４に表示される画像を確認して求めている。
すなわち、係数ｒＩＳＧＡＵＳＣ１、ｒＩＳＧＡＵＳＣ２及びｒＩＳＧＡＵＳＣ３の各々は、最も網目模様が目立たなく、かつ撮像装置１０２からの画像データの情報が劣化しない数値として実験により求めている。
　ｒＩＳＧＡＵＳＣ１：０．０２３４３７５～０．０６２５
　ｒＩＳＧＡＵＳＣ２：０．１２１０９３７５～０．１１７１８７５
　ｒＩＳＧＡＵＳＣ３：０．１２１０９３７５～０．１１７１８７５
　上述した係数は、全ての係数を加算した数値が「１」となるように、設定される。
　すなわち、ｒＩＳＧＡＵＳＣ１×１＋ｒＩＳＧＡＵＳＣ２×４＋ｒＩＳＧＡＵＳＣ３×４＝１となるように、設定されている。
　また、ｒＩＳＧＡＵＳＣ１が「１」に近く、ｒＩＳＧＡＵＳＣ２及びｒＩＳＧＡＵＳＣ３が「０」に近いほど、第１ガウシアンフィルタ４による平滑化処理の後、平滑化された画像は撮像装置１０２から供給される入力画像データに近い画像となる。一方、ｒＩＳＧＡＵＳＣ１が「０」に近く、ｒＩＳＧＡＵＳＣ２及びｒＩＳＧＡＵＳＣ３が「１」に近いほど、第１ガウシアンフィルタ４による平滑化処理の後、平滑化された画像は、入力画像データの平滑化が大きく、ぼけた画像となる。
　また、本実施形態においては、カーネルを３×３の画素グループとしている。しかしながら、このカーネルの構成は、ファイババンドル１０１と撮像装置１０２との各々の異なる種類毎の組み合せにより、実機を用いた実験により、以下に示すように決定される。
　図４は、第１ガウシアンフィルタ４及び第２ガウシアンフィルタ５で用いるカーネルの縦方向と横方向のピクセル数（実際にはピクセル数）を決定する処理を説明する概念図である。
　この図４において、カーネルの構成の決定処理を、撮像装置１０２から供給される入力画像データが、ＮＴＳＣ方式のアナログ信号の場合を例として、以下に説明する。
　ＮＴＳＣ方式の解像度は、７２０ピクセル×４８６ピクセルである。
　内視鏡の映像は、通常、図４に示すように、表示装置１０４（図１参照）の表示画面に対して、少し小さな領域として表示されることになる。内視鏡の映像の表示領域は、ファイババンドル１０１の径と、撮像装置１０２の撮像素子の撮像面積とから決定される。すなわち、ファイババンドル１０１を伝搬した光は、撮像装置１０２の撮像面５００に対し、図４の領域５０１の領域に照射されることになる。
　撮像装置１０４の表示画面が４：３の比率に対し、この表示画面における領域５００の比を加えると、４：３：α（１≦α≦１．５）となる。
　また、領域５０１における、ファイババンドル１０１が光として伝搬する測定対象２００の画像を拡大すると、この画像には領域Ｓに示すように網目模様が存在している。
　網目模様における模様線の幅は、撮像装置１０２の撮像素子の撮像面に照射される領域５０１の径と、この領域５０１内における光ファイバの数、すなわちファイババンドル１０１を構成する光ファイバの数とに依存する。
　例えば、光学系で撮像面に撮像される画像をより拡大させ、領域５０１内における光ファイバの数をより少なくすると、網目模様の模様線の幅が太く（幅が広く）なる。一方、光学系で撮像面に撮像される画像をより縮小させ、領域５０１内に光を照射する光ファイバの数をより多くするほど、網目模様の模様線の幅が細く（幅が狭く）なる。このように、ピクセルからなる撮像面に撮像された画像において、網目模様の模様線の幅が、いくつのピクセルにまたがる幅となるかにより、カーネルのピクセルグループの数が決定される。
　一例として、一般的にファイババンドル１０１を構成する光ファイバの数が３０００以上であるため、以下領域５０１内に光を照射する光ファイバの数を３０００として、領域５０１内における網目模様の模様線の幅を換算してみる。
　領域５００の径の比（α）を１．５とすると、直径方向に含まれるピクセル数は、ＮＴＳＣ方式の解像度７２０×４８６から、以下の数値となる。
　水平方向（ｘ軸方向）のピクセル数：７２０×（１．５／４）＝２７０
　水平方向（ｙ軸方向）のピクセル数：４８６×（１．５／３）＝２４３
　また、領域５００における直径方向に含まれる光ファイバの数は、等価的に、以下の式により算出することができる。
　直径方向の光ファイバの数：（３０００／π）×２≒６２
　ここで、すでに述べたように、ファイババンドル１０１を構成する光ファイバは、画像を光として伝搬するコア部と、このコア部の外周に設けられたクラッド部とから構成されている。入力画像データにおける網目模様の模様線は、ファイババンドルとして光ファイバを融合している部分、すなわち隣接する光ファイバのコア部の間にあるクラッド部あるいは隙間などの光を伝搬しない部分に相当する。
　光ファイバにおけるコア部の径に対するクラッド部の径の比は、通常、１．５から２．０の範囲になっている。この径の比を用いて、領域５０１内における画像の網目模様の模様線の幅をピクセル数として算出すると、以下のように求められる。ここで、径の比が大きくなるほど模様線の幅が大きくなるため、径の比を２．０として用いる。
　水平方向の模様線の幅：（２７０／６２）×（１－１／２）＝２．２
　垂直方向の模様線の幅：（２４３／６２）×（１－１／２）＝２．０
　上述した結果から、上述した条件の場合には、領域５０１内における画像データの網目模様の模様線の幅が、２．２ピクセル以下であることが求まる。ここで、上述した計算は、隣接する個別の光ファイバの集合体を仮定して行っているが、実際のイメージファイバでは各光ファイバが一体化された形で成型されているため、各光ファイバ間の隙間は個別ファイバの集合体とは必ずしも一致しないことを考慮して、本実施形態における模様線の幅を２．５ピクセルと設定した。
　このピクセル数が２．５ピクセル以上の最小の整数値は３である。このため、本実施形態においては、演算処理の高速化を考慮し、第１ガウシアンフィルタ４におけるカーネルの縦方向と横方向のピクセル数（カーネルサイズ）を３ピクセルと決定した。
　すなわち、カーネルを構成するピクセル数を増加させることにより、フィルタ演算の負荷が増加し、一時記憶を行うメモリ容量も増加するため、画像補正装置のコストを増大させることになる。このため、模様線の幅のピクセル数以上の整数値とし、カーネルを構成するピクセル数を必要最小限とすることが望ましい。したがって、カーネルは、網目模様の模様線の幅を超える画素数を辺とする矩形領域として設定される。
　次に、図５は、本発明の実施形態による医療用内視鏡を用いて撮像した実際の画像における網目模様の模様線の幅とピクセル数との対応を示す図である。
　撮像装置１０２の条件としては、ＮＴＳＣ方式における解像度７２０×４８６（ピクセル）、ファイババンドル１０１を構成する光ファイバ数が３０００、表示装置１０４の表示画面５００の縦方向の幅と、横方向の幅と、領域５０１の径との比が４：３：１．５である。領域５０１内の領域Ｐの拡大図において、四角形Ｃが１ピクセルの大きさを示している。領域Ｐの拡大図において、所定の横方向の１ライン分の各ピクセルの輝度レベルを示す強度が実線で示されている。この１ラインに存在するピクセルの輝度レベルのベースレベルが一点鎖線で示されている。なお、このベースレベルとは、模様線の幅を定義するために設けた所定の輝度レベルであり、必ずしも、ゼロレベルを示すものではない。図５から、模様線の幅は２ピクセル以上であり、かつ２．５ピクセル以下であると読み取ることができる。図５において、模様線の幅を示す中括弧が示された部分のピクセルを点線（破線）で示してある。
　また、第２ガウシアンフィルタ５が行う平滑化処理は、第１ガウシアンフィルタ４が行う平滑化処理と同様の構成のカーネルを用いて行う。
　この第２ガウシアンフィルタ５において、平滑化処理で使用される各ピクセルの色成分に乗算する係数ｒＩＳＧＡＵＳＣ１、ｒＩＳＧＡＵＳＣ２及びｒＩＳＧＡＵＳＣ３の各々は、第１ガウシアンフィルタ４と同様でも良い。
　また、第２ガウシアンフィルタ５に対して、第１ガウシアンフィルタ４と同様に、実機による実験により独自に求めた数値としても良い。
　上述した第１ガウシアンフィルタ４及び第２ガウシアンフィルタ５におけるカーネルの構成、係数ｒＩＳＧＡＵＳＣ１、ｒＩＳＧＡＵＳＣ２及びｒＩＳＧＡＵＳＣ３を、異なる種類のファイババンドル１０１及び撮像装置１０２の各々の組合せ毎に設定してもよい。
デジタルゲインによる輝度レベルの調整
　図６は、デジタルゲインによる輝度レベルの調整の必要性を説明する、表示装置１０４の表示画面における走査線の一ライン方向に配置されるピクセルの輝度レベルを示す図である。この図６において、横軸はある一ライン（表示装置１０４に表示される際の走査線方向）におけるピクセルの位置を示し、縦軸は各ピクセルの輝度レベルを示している。
　図に示すように、入力画像データの平滑化処理を行う前の輝度レベルに比較して、第１ガウシアンフィルタ４の平滑化処理後の入力画像データにおける各ピクセルの輝度レベル（第１平滑化処理後輝度レベル）が低下する。
　また、第１ガウシアンフィルタ４の平滑化処理による第１平滑化処理後輝度レベルに比較して、第２ガウシアンフィルタ５の平滑化処理後の入力画像データにおける各ピクセルの輝度レベル（第２平滑化処理後レベル）がより低下する。
　すなわち、ガウシアンフィルタを用いた平滑化処理を行うごとに、出力画像データの各ピクセルの輝度レベルが低下していくことになる。
　このため、デジタルゲイン調整部７は、入力画像データの各ピクセルの輝度レベルを回復するためのデジタルゲイン調整を行う。
　ここで、デジタルゲイン調整部７が乗算するデジタルゲインは、入力画像データのピクセルにおけるＲＧＢ形式の色成分毎に乗算される数値であり、以下のように設定される。
　例えば、実機において、複数の入力画像データを用い、入力画像データ毎に全ピクセルにおけるＲＧＢ形式の色成分毎の階調度の平均値ＡＶ１を算出する。そして、さらに複数の入力画像データの平均値ＡＶ１の平均値ＡＡＶ１を求める。
　また、第１ガウシアンフィルタ４による平滑化処理、及びメディアンフィルタ６によるメディアンフィルタ処理が行われた後、入力画像データ毎の全ピクセルにおけるＲＧＢ形式の色成分毎の階調度の平均値ＡＶ２を算出する。そして、さらに複数の入力画像データの平均値ＡＶ２の平均値ＡＡＶ２を求める。
　そして、平均値ＡＡＶ１を平均値ＡＡＶ２で除算し、除算結果の数値をデジタルゲインとして用いる。
　ここで、上述のように、デジタルゲインを予め計算し、計算したデジタルゲインを記憶部１２に予め書き込んで記憶させておく。
　そして、デジタルゲイン調整部７は、入力画像データのデジタルゲイン調整を行う際、記憶部１２からデジタルゲインを読み出し、各ピクセルにおける色成分毎に乗算するデジタルゲイン調整により、入力画像データの輝度レベルの制御を行う。
　また、以下のように、デジタルゲイン調整部７を構成しても良い。
　すなわち、デジタルゲイン調整部７は、第１ガウシアンフィルタ４による平滑化処理と、メディアンフィルタ６によるメディアンフィルタ処理とが行われた後、平均値ＡＶ１及び平均値ＡＶ２を算出する。
　そして、デジタルゲイン調整部７は、平均値ＡＶ１を平均値ＡＶ２により除算し、デジタルゲインを求め、各ピクセルにおける色成分毎に乗算するデジタルゲイン調整により、入力画像データの輝度レベルの制御を行う。この場合、デジタルゲインが現在処理している入力画像に最適なものとなるため、予め設定されたデジタルゲインを使用する場合に比較し、より精度の高いデジタルゲイン調整を行うことができる。
　また、例えば、入力画像データの補正処理を行いつつ、実機による表示装置１０４に表示される出力画像の確認を行い、この確認結果から求めた数値とし、デジタルゲインを１から１．４の間に設定し、予め記憶部１２に書き込んで記憶させておいても良い。
　この場合、デジタルゲイン調整部７は、デジタルゲイン調整を行う際に、記憶部１２からデジタルゲインを読み出して用いる。
　上述したデジタルゲインの数値を、異なる種類のファイババンドル１０１及び撮像装置１０２の各々の組合せ毎に設定してもよい。
強調フィルタ８による輪郭強調処理
　図７は、強調フィルタ８による輪郭強調処理を説明する図である。この図７において、横軸はある一ラインにおけるピクセルの位置を示し、縦軸は各ピクセルの輝度レベル（または各色成分の階調度）を示している。
　また、Ａｒｅａ０は網目模様の存在する網目付近の領域であり、Ａｒｅａ１は入力画像データにおける絵柄の中心付近の領域であり、Ａｒｅａ２は絵柄の端部付近の領域である。
　強調フィルタ８は、上述した各領域において、領域の各々のピクセルにおける色成分毎の階調度の平均値を求め、この平均値と各ピクセルの色成分の階調度との差分（ｄｉｆｆ）を求める。
　次に、図８は、輪郭強調処理を行う対象ピクセルを中心とした局所領域を示す図である。この図８において、ｒａｎｇｅ１は輪郭強調処理を行う対象の対象ピクセルの左右方向各々に設けるピクセル数を示し、ｒａｎｇｅ２は対象ピクセルの上下方向各々に設けるピクセル数を示している。ここで、平均値を求める範囲を設定するｒａｎｇｅ１及びｒａｎｇｅ２のピクセル数は、第１ガウシアンフィルタ４及び第２ガウシアンフィルタ５でのカーネルの対象ピクセル数と同様に網目模様の模様線の幅に相当するピクセル数以上とする必要がある。
　したがって、図８は、ｒａｎｇｅ１＝３及びｒａｎｇｅ２＝１の場合の局所領域を示している。
　この場合、強調フィルタ８は、局所領域における対象ピクセルを含む２１個のピクセルにおけるＲＧＢ形式の色成分毎の階調度の平均値を算出する。そして、強調フィルタ８は、この求めた平均値と各色成分の画素の階調度との差分を求め、ピクセルにおける色成分毎の画素の輪郭強調処理を行う。
　ここで、強調フィルタ８は、この差分が予め設定した規程値（data clear：ｄｃ）の範囲内に有る（－ｄｃ≦ｄｉｆｆ≦ｄｃ）場合、差分を０とする。すなわち、強調フィルタ８は、差分が規程値の範囲内の数値である場合、元々階調度の差分が周辺の画素に比較して変化が内程度の大きさであったと判定し、処理対象ピクセルのこの色成分の画素の強調処理を行わない。
　一方、強調フィルタ８は、差分が予め設定した規程値の範囲外に有る（－ｄｃ＞ｄｉｆｆあるいはｄｃ＜ｄｉｆｆ）場合、差分ｄｉｆｆに対し、予め設定されている係数ｄｓ（data scaling）を乗算する。すなわち、強調フィルタ８は、差分の絶対値が規程値を超える場合、元々階調度の差分が周辺の画素に比較して大きかったと判定し、処理対象ピクセルのこの色成分の画素の強調処理を行う。
　この係数ｄｓは、本実施形態においては例えば１から３の間に設定しているが、実験による強調処理の結果を確認して適時設定する。また、規程値ｄｃも、本実施形態においては例えば０から３の間に設定しているが、実験による強調処理の結果を確認して適時設定する。
　そして、強調フィルタ８は、対象ピクセルにおける色成分の元の階調度に対し、係数ｄｓと差分ｄｉｆｆとの乗算結果を加算し、加算結果を処理対象ピクセルにおける色成分の画素の新たな階調度とする。
　次に、図９Ａ～Ｃは、強調フィルタ８で用いるパラメータがｒａｎｇｅ１＝１及びｒａｎｇｅ２＝１の場合における、ピクセルの色成分毎に対応した局所領域の構成を示す図である。
図９ＡがＲＧＢ形式におけるＲ（レッド）の色成分の画素に対する局所領域の構成を示し、この局所領域における画素Ｒ５が処理対象ピクセルの色成分Ｒの画素である。図９ＢがＲＧＢ形式におけるＧ（グリーン）の色成分の画素に対する局所領域の構成を示し、この局所領域における画素Ｇ５が処理対象ピクセルの色成分Ｇの画素である。図９ＣがＲＧＢ形式におけるＢ（ブルー）の色成分の画素に対する局所領域の構成を示し、Ｂ５が処理対象ピクセルの色成分Ｒの画素である。以下、画素を示す符号を階調度とし、強調フィルタ８が行う輪郭強調処理のフィルタ計算を説明する。
　強調フィルタ８は、図９Ａ～Ｃに示すｒａｎｇｅ１＝１及びｒａｎｇｅ２＝１の局所領域を用いた場合、以下に示す計算式群により、処理対象ピクセルにおける各色成分の輪郭強調処理を行う。
　強調フィルタ８は、局所領域における各ピクセルの色成分毎の階調度の平均値を算出する。下記の式で、Ｒａｖｅが局所領域における各ピクセルの色成分Ｒの階調度の平均値であり、Ｇａｖｅが局所領域における各ピクセルの色成分Ｇの階調度の平均値であり、Ｂａｖｅが局所領域における各ピクセルの色成分Ｂの階調度の平均値である。
　Ｒａｖｅ＝（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４＋Ｒ５＋Ｒ６＋Ｒ７＋Ｒ８）／９
　Ｇａｖｅ＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４＋Ｇ５＋Ｇ６＋Ｇ７＋Ｇ８）／９
　Ｒａｖｅ＝（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４＋Ｒ５＋Ｒ６＋Ｒ７＋Ｒ８）／９
　次に、強調フィルタ８は、以下に示す式により、処理対象ピクセルにおける各色成分の階調度から、局所領域におけるピクセルの色成分毎の平均値を減算する。
　そして、強調フィルタ８は、上述した減算により、処理対象ピクセルにおける各色成分の階調度と、局所領域におけるピクセルの色成分毎の平均値との差分を求める。
　ｄｉｆｆＲ＝Ｒ５－Ｒａｖｅ
　ｄｉｆｆＧ＝Ｂ５－Ｂａｖｅ
　ｄｉｆｆＢ＝Ｂ５－Ｂａｖｅ
　ここで、ｄｉｆｆＲは処理対象ピクセルにおける色成分Ｒの階調度と、局所領域におけるピクセルの色成分Ｒの平均値との差分（ｄｉｆｆ）である。ｄｉｆｆＧは処理対象ピクセルにおける色成分Ｇの階調度と、局所領域におけるピクセルの色成分Ｇの平均値との差分（ｄｉｆｆ）である。ｄｉｆｆＢは処理対象ピクセルにおける色成分Ｂの階調度と、局所領域におけるピクセルの色成分Ｂの平均値との差分（ｄｉｆｆ）である。
　次に、強調フィルタ８は、以下に示す式により、対象ピクセルにおける各色成分の差分の絶対値を算出する。以下の式におけるａｂｓ（Ｘ）は、Ｘの絶対値を求める関数である。
　Ｒｏｆｓ＝ａｂｓ（ｄｉｆｆＲ）
　Ｇｏｆｓ＝ａｂｓ（ｄｉｆｆＧ）
　Ｒｏｆｓ＝ａｂｓ（ｄｉｆｆＢ）
　ここで、Ｒｏｆｓは対象ピクセルにおける差分ｄｉｆｆＲの絶対値であり、Ｇｏｆｓは対象ピクセルにおける差分ｄｉｆｆＧの絶対値であり、Ｂｏｆｓは対象ピクセルにおける差分ｄｉｆｆＢの絶対値である。
　次に、強調フィルタ８は、差分ｄｉｆｆＲの絶対値Ｒｏｆｓが予め設定した規程値ｄｃ以下か否かの判定を行い、規程値ｄｃ以下である場合、すなわち規程値ｄｃの範囲内に有る（－ｄｃ≦ｄｉｆｆＲ≦ｄｃ）場合、差分ｄｉｆｆＲを０とする。
　一方、強調フィルタ８は、差分ｄｉｆｆＲの絶対値Ｒｏｆｓが規程値ｄｃ以下でない（規程値ｄｃを超える）場合、すなわち規程値ｄｃの範囲内にない（－ｄｃ＞ｄｉｆｆＲあるいはｄｃ＜ｄｉｆｆＲ）場合、差分ｄｉｆｆＲに対し、係数ｄｓを乗算し、乗算結果を新たな差分ｄｉｆｆＲとする。
　そして、強調フィルタ８は、処理対象ピクセルの色成分の階調度Ｒ５に対して、差分ｄｉｆｆＲを加算し、加算結果を処理対象ピクセルの色成分の階調度Ｒ５の画素の新たな階調度とする。
　同様に、強調フィルタ８は、差分ｄｉｆｆＧの絶対値Ｇｏｆｓが予め設定した規程値ｄｃ以下か否かの判定を行い、規程値ｄｃ以下である場合、すなわち規程値ｄｃの範囲内に有る（－ｄｃ≦ｄｉｆｆＧ≦ｄｃ）場合、差分ｄｉｆｆＧを０とする。
　一方、強調フィルタ８は、差分ｄｉｆｆＧの絶対値Ｇｏｆｓが規程値ｄｃ以下でない場合、すなわち規程値ｄｃの範囲内にない（－ｄｃ＞ｄｉｆｆＧあるいはｄｃ＜ｄｉｆｆＧ）場合、差分ｄｉｆｆＧに対し、係数ｄｓを乗算し、乗算結果を新たな差分ｄｉｆｆＧとする。
　そして、強調フィルタ８は、処理対象ピクセルの色成分の階調度Ｇ５に対して、差分ｄｉｆｆＧを加算し、加算結果を処理対象ピクセルの色成分の階調度Ｇ５の画素の新たな階調度とする。
　また、強調フィルタ８は、差分ｄｉｆｆＢの絶対値Ｂｏｆｓが予め設定した規程値ｄｃ以下か否かの判定を行い、規程値ｄｃ以下である場合、すなわち規程値ｄｃの範囲内に有る（－ｄｃ≦ｄｉｆｆＢ≦ｄｃ）場合、差分ｄｉｆｆＢを０とする。
　一方、強調フィルタ８は、差分ｄｉｆｆＢの絶対値Ｂｏｆｓが規程値ｄｃ以下でない場合、すなわち規程値ｄｃの範囲内にない（－ｄｃ＞ｄｉｆｆＢあるいはｄｃ＜ｄｉｆｆＢ）場合、差分ｄｉｆｆＢに対し、係数ｄｓを乗算し、乗算結果を新たな差分ｄｉｆｆＢとする。
　そして、強調フィルタ８は、処理対象ピクセルの色成分の階調度Ｂ５に対して、差分ｄｉｆｆＢを加算し、加算結果を処理対象ピクセルの色成分の階調度Ｂ５の画素の新たな階調度とする。
　次に、図１０は、強調フィルタ８における輪郭強調処理の結果を示す図である。この図１０において、規程値ｄｓを適切に設定し、輪郭強調処理を行うことにより、差分の絶対値Ｂｏｆｓが規程値ｄｃ以下でない領域が存在するため、絵柄領域の絵柄の輪郭が強調される。
　一方、差分の絶対値Ｂｏｆｓが規程値ｄｃ以下でない領域が存在しないため、網目模様領域における模様線の輪郭が強調されていないことが判る。
　上述した強調フィルタ８におけるｒａｎｇｅ１、ｒａｎｇｅ２、規程値ｄｃ、係数ｄｓの各々の数値を、異なる種類のファイババンドル１０１及び撮像装置１０２の各々の組合せ毎に設定してもよい。
強調フィルタ８における輪郭強調処理に用いるパラメータの評価
　図１１は、強調フィルタ８のパラメータｒａｎｇｅ１、ｄｃ及びｄｓを変化させた際の輪郭強調処理の結果を示す図である。画像０－０、１－０及び２－０は同様の画像であり、すでに説明した平滑化処理及び孤立点除去の処理が終了した入力画像データである。
　この図１１において、グループ０は、ｒａｎｇｅ１＝１、ｒａｎｇｅ２＝１として、９個からなるピクセルで構成された局所領域で平均値の計算を行ったグループである。
　また、グループ１は、ｒａｎｇｅ１＝４、ｒａｎｇｅ２＝１として、２７個からなるピクセルで構成された局所領域で平均値の計算を行ったグループである。
　また、グループ２は、ｒａｎｇｅ１＝８、ｒａｎｇｅ２＝１として、５１個からなるピクセルで構成された局所領域で平均値の計算を行ったグループである。
　グループ０、グループ１及びグループ２において、各グループ間での平均値はｒａｎｇｅ１（あるいはｒａｎｇｅ２）を大きくするに従い、局所領域内における平均値と各ピクセルの色成分の階調度との差分ｄｉｆｆがより大きくなるため、輪郭強調の効果が大きくなることが解る。
　例えば、規程値ｄｃ＝１、係数ｄｓ＝１の輪郭強調のために加算される差分ｄｉｆｆを比較してみると、ｒａｎｇｅ１＝１の画像０－１に比較し、ｒａｎｇｅ１＝４の画像１－１Ａがより大きく、ｒａｎｇｅ１＝８の画像２－１Ａがさらに高いことが、図のコントラストから解る。
　また、画像０－０に対し、差分の画像０－１を重ねた結果（元のピクセルにおける色成分各々の階調度に対し、対応する差分ｄｉｆｆを加算して生成した結果）として、輪郭が強調された画像０－２が得られる。
　同様に、画像１－０に対し、差分の画像１－１Ａを重ねた結果として、輪郭が強調された画像１－２Ａが得られる。
　画像２－０に対し、差分の画像２－１Ａを重ねた結果として、輪郭が強調された画像２－２Ａが得られる。
　上述のように生成した画像０－２、１－２Ａ及び２－２Ａを比較すると、画像０－２に比較して、画像１－２Ａのコントラストがより強く、さらに画像１－２Ａに比較して、画像２－２Ａのコントラストがより強いことが解る。
　一方、グループ１において、ｒａｎｇｅ１＝４、ｒａｎｇｅ２＝１の場合、すなわち局所領域を生成するピクセル数が同一である場合、画像１－１Ａと画像１－１Ｃとを比較すると、画像１－１Ｃがよりコントラストが強いことが解る。ここで、画像１－１Ａはｄｃ＝１及びｄｓ＝１であり、画像１－１Ｃは、ｄｃ＝１及びｄｓ＝２である。
　ここで、画像１－０に対して差分の画像１－１Ａを重ねた結果として、輪郭が強調された画像１－２Ａが得られる。
　また、画像１－０に対して差分の画像１－１Ｃを重ねた結果として、輪郭が強調された画像１－２Ｃが得られる。
　上述のように生成した画像１－２Ａ及び１－２Ｃを比較すると、画像１－２Ａに比較して、画像１－２Ｃのコントラストがより強いことが解る。
　このように、係数ｄｓの設定値を大きくするほど、より輪郭強調の効果が大きくなり、コントラストをより強くする補正が行えることになる。
　この効果は、グループ１における画像１－１Ｂ（ｄｃ＝４、ｄｓ＝１）と、画像１－１Ｄ（ｄｃ＝４、ｄｓ＝２）とを比較しても、係数ｄｓの設定値を大きくするほど、より輪郭強調の効果が大きくなり、画像１－１Ａと画像１－１Ｃとの比較と同様である。
　ここで、画像１－０に対して差分の画像１－１Ｂを重ねた結果として、輪郭が強調された画像１－２Ｂが得られる。
　また、画像１－０に対して差分の画像１－１Ｄを重ねた結果として、輪郭が強調された画像１－２Ｄが得られる。
　上述のように生成した画像１－２Ｂ及び１－２Ｄを比較すると、画像１－２Ｂに比較して、画像１－２Ｄのコントラストがより強いことが解る。
　また、画像１－１Ｄ（ｄｃ＝４、ｄｓ＝２）と、画像１－１Ｅ（ｄｃ＝４、ｄｓ＝４）とを比較しても、画像１－１Ｄに比較して画像１－１Ｅがよりコントラストが強い。
　そして、画像１－１Ｄを画像１－０に重ねた結果として得られる画像１－２Ｄに比較し、画像１－１Ｅを画像１－０に重ねた結果として得られる画像１－２Ｅが、よりコントラストが強いことが解る。
　次に、グループ１において、係数ｄｓ＝１として固定し、規程値ｄｃを変化させた場合を検討する。
　画像１－１Ａ（ｄｃ＝１）と、画像１－１Ｂ（ｄｃ＝４）とを比較すると、画像１－１Ｂに対して、より画像１－１Ａのコントラストが強いことが解る。
　また、画像１－２Ａ及び１－２Ｂを比較すると、画像１－２Ｂに比較して、画像１－２Ａのコントラストがより強いことが解る。
　同様に、係数ｄｓ＝２として固定し、規程値ｄｃを変化させた場合を検討する。
　画像１－１Ｃ（ｄｃ＝１）と、画像１－１Ｄ（ｄｃ＝４）とを比較すると、画像１－１Ｄに対して、より画像１－１Ｃのコントラストが強いことが解る。
　また、画像１－２Ｃ及び１－２Ｄを比較すると、画像１－２Ｄに比較して、画像１－２Ｃのコントラストがより強いことが解る。
　次に、グループ２において、係数ｄｓ＝１として固定し、規程値ｄｃを変化させた場合を検討する。
　画像２－１Ａ（ｄｃ＝１）と、画像２－１Ｂ（ｄｃ＝４）とを比較すると、画像２－１Ｂに対して、より画像２－１Ａのコントラストが強いことが解る。
　また、画像２－２Ａ及び２－２Ｂを比較すると、画像２－２Ｂに比較して、画像２－２Ａのコントラストがより強いことが解る。
　したがって、上述したように、規程値ｄｃが小さくなるに従い、強調処理の効果が大きくなり、コントラストがより強くする補正が行えることになる。
本実施形態による網目模様の低減処理の効果
　図１２は、本実施形態による画像データ補正装置１０３による網目模様の模様線の信号強度を低減した効果を示す図である。この図１２は、ＮＴＳＣの分解能７２０×４８６を処理対象としている。
　図１２（ａ）は、撮像装置１０２から供給される原画像を示す図である。
　また、図１２（ｂ）は、第１ガウシアンフィルタ４及び第２ガウシアンフィルタ５による平滑化処理と、メディアンフィル６による孤立点除去の処理とを行い、かつ強調フィルタ８による輪郭強調処理を行い、網目模様の低減を行った画像を示す図である。ここで、第１ガウシアンフィルタ４及び第２ガウシアンフィルタ５の各々のカーネルを、処理対象ピクセルを中心として含む３×３ピクセルとして用いている。また、強調フィルタ８において、ｒａｎｇｅ１＝４、ｒａｎｇｅ２＝１とし、係数ｄｓを２とし、規程値ｄｃを４としている。
　図１２から解るように、図１２（ａ）における網目模様の黒いドットが、図１２（ｂ）においては薄くなり、画像の表面が滑らかな形態となっていることが解る。
本実施形態による画像データ補正装置１０３の動作説明
　次に、図２及び図１３を用いて、本実施形態による画像データ補正装置１０３における網目模様の模様線の信号強度を低減する処理について説明する。図１３は、本発明の実施形態における画像データ補正装置１０３の行う網目模様の模様線の信号強度の低減処理の動作例を示すフローチャートである。
　ステップＳ１：
　第１色変換部１は、撮像装置１０２から供給されるＮＴＳＣ方式のアナログの入力画像を、ＲＧＢ形式のデジタル信号である入力画像データに変換する。
　そして、第１色変換部１は、変換後の入力画像データの各ピクセルの色成分のデータ（Ｒ、Ｇ、Ｂ）を、順次、第１画像バッファ９に書き込む。
　ここで、第１画像バッファ９及び第２画像バッファ１０は、同一の構成である。そして、第１画像バッファ９及び第２画像バッファ１０のいずれか一方に第１色変換部１により入力画像データが書き込まれて記憶され、他方に記憶されている入力画像データに対する網目模様の模様線の信号強度を低減する処理が行われている。
　この時点においては、例えば、第２画像バッファ１０に記憶されている入力画像データに対する網目模様の模様線の信号強度を低減する処理が行われている。
　ステップＳ２：
　この時点において、第２画像バッファ１０に記憶されている入力画像データに対する網目模様の模様線の信号強度を低減する処理が終了し、第１画像バッファ９に対する入力画像データの書き込みが終了する。
　これにより、第１色変換部１は、第２画像バッファ９に対し、撮像装置１０２から供給される新たな一画面の入力画像データの書き込みを開始する。
　次に、第１ガウシアンフィルタ４は、第１画像バッファ９に書き込まれた入力画像データのピクセルにおける各色成分の画素の階調度を、処理対象ピクセルを中心とした３×３ピクセルのカーネル単位で読み出す。
　すなわち、平滑化処理を行う際、第１ガウシアンフィルタ４は、第１画像バッファ９から、処理対象ピクセルにおける各色成分の画素のデータ（Ｒ５、Ｇ５、Ｂ５）を読み出す。
　また、第１ガウシアンフィルタ４は、上下及び左右にて処理対象ピクセルに隣接するピクセルにおける各色成分の画素のデータ（Ｒ２、Ｒ４、Ｒ６、Ｒ８、Ｇ２、Ｇ４、Ｇ６、Ｇ８、Ｂ２、Ｂ４、Ｂ６、Ｂ８）の各々を、第１画像バッファ９から読み出す。
　また、第１ガウシアンフィルタ４は、斜め方向で処理対象ピクセルに隣接するピクセルにおける各色成分の画素のデータ（Ｒ１、Ｒ３、Ｒ７、Ｒ９、Ｇ１、Ｇ３、Ｇ７、Ｇ９、Ｂ１、Ｂ３、Ｂ７、Ｂ９）の各々を、第１画像バッファ９から読み出す。
　そして、第１ガウシアンフィルタ４は、処理対象ピクセルにおける色成分毎に平滑化処理を行い、処理が終了した処理対象ピクセルを処理バッファ１１に書き込む。
　第１ガウシアンフィルタ４は、入力画像データが表示画面に表示される際、各ピクセルが２次元平面において配置される位置に対応し、表示装置１０４の表示画面の走査線方向あるいは走査線の配置方向に対し、カーネルを１ピクセルずつ移動させる。
　すなわち、第１ガウシアンフィルタ４は、上述したように、カーネルを１ピクセルずつ移動させる毎に、入力画像データの各ピクセルを順次、処理対象ピクセルとして、入力画像データにおける全ピクセルの平滑化処理を行い、ぼかし画像の生成を行う。第１ガウシアンフィルタ４は、１画面分の入力画像データの平滑化が終了すると、処理をステップＳ３へ進める。
　ステップＳ３：
　次に、第２色変換部２は、入力画像データの各ピクセルにおけるＲＧＢ形式で示されている画素の階調度を、ＹＵＶ形式のデータに変換する。
　すなわち、第２色変換部２は、処理バッファ１１から、順次、入力画像データのピクセルの各色成分の画素のデータを読み出し、読み出した各ピクセルにおけるＲＧＢ形式で示されている画素の階調度を、ＹＵＶ形式のデータに、変換する。
　そして、第２色変換部２は、ＹＵＶ形式に変換した各ピクセルのＹ信号、Ｕ信号、Ｖ信号のデータを、第１画像バッファ９に対し、それぞれ対応するピクセルのアドレスに書き込む。
　第２色変換部２は、１画面分の入力画像データの全ピクセルにおけるＲＧＢ形式からＹＵＶ形式のデータへの変換が終了すると、処理をステップＳ４へ進める。
　ステップＳ４：
　次に、メディアンフィルタ６は、第１画像バッファ９から、順次、カーネルサイズである３×３のＹ信号のデータ（Ｙ１、Ｙ２、Ｙ３、Ｙ４、Ｙ５、Ｙ６、Ｙ７、Ｙ８、Ｙ９）を読み出す。
　次に、図１４は、本発明の実施形態におけるメディアンフィルタ６のカーネルの構成例を示す概念図である。図１４は、ＹＵＶ形式におけるＹ信号のデータに対するカーネルを示しており、Ｙ５が処理対象ピクセルである。
　メディアンフィルタ処理を行う際、メディアンフィルタ６は、第１画像バッファ９から、処理対象ピクセルのＹ信号のデータ（Ｙ５）を読み出す。
　また、メディアンフィルタ処理を行う際、メディアンフィルタ６は、上下及び左右にて処理対象ピクセルに隣接するピクセルのＹ信号のデータ（Ｙ２、Ｙ４、Ｙ６、Ｙ８）の各々を、第１画像バッファ９から読み出す。
　また、メディアンフィルタ処理を行う際、メディアンフィルタ６は、斜め方向で処理対象ピクセルに隣接するピクセルのＹ信号のデータ（Ｙ１、Ｙ３、Ｙ７、Ｙ９）の各々を、第１画像バッファ９から読み出す。
　そして、メディアンフィルタ６は、読み出したＹ信号のデータＹ１からＹ９における中央値を求め、この中央値を処理対象ピクセルのＹ信号として、処理バッファ１１に対し、処理対象ピクセルのアドレスに書き込む。
　メディアンフィルタ８は、１画面分の入力画像データの全ピクセルにおけるメディアンフィルタ処理が終了すると、処理をステップＳ５へ進める。
　ステップＳ５：
　次に、第３色変換部３は、入力画像データの各ピクセルにおけるＹＵＶ形式で示されている入力画像データのピクセルを、ＲＧＢ形式のデータに、変換する。
　すなわち、第３色変換部２は、処理バッファ１１から、順次、入力画像データのピクセルのデータを読み出し、読み出した各ピクセルにおけるＹＵＶ形式で示されているピクセルのデータを、ＲＧＢ形式のデータに変換する。
　そして、第３色変換部２は、ＲＧＢ形式に変換した各ピクセルの色成分（Ｒ、Ｇ、Ｂ）のデータを、第１画像バッファ９に対し、それぞれ対応するピクセルのアドレスに書き込む。
　第３色変換部２は、１画面分の入力画像データの全ピクセルにおけるＹＵＶ形式からＲＧＢ形式のデータへの変換が終了すると、処理をステップＳ６へ進める。
　ステップＳ６：
　次に、デジタルゲイン調整部７は、第１画像バッファ９から、順次、入力画像データの各ピクセルにおける色成分の階調度を読み出し、読み出した各色成分の画素の階調度に対し、それぞれ設定されたデジタルゲインを乗算する。
　そして、デジタルゲイン調整部７は、各色成分に対するデジタルゲインの乗算結果を、ピクセルにおける各色成分の新たな階調度とし、この求めた新たな階調度を、第１画像バッファ９に対して、処理したピクセルのアドレスに書き込む。
　第３色変換部２は、１画面分の入力画像データの全ピクセルにおける色成分の画素の階調度に対するデジタルゲイン調整が終了すると、処理をステップＳ７へ進める。
　ステップＳ７：
　次に、第２ガウシアンフィルタ５は、第１画像バッファ９に書き込まれた入力画像データのピクセルの各色成分の画素の階調度を、処理対象ピクセルを中心とした３×３ピクセルのカーネル単位で読み出す。
　そして、第２ガウシアンフィルタ５は、第１ガウシアンフィルタ４と同様の処理により、入力画像データの各ピクセルを順次、処理対象ピクセルとして、入力画像データにおける全ピクセルの平滑化処理を行い、ぼかし画像の生成を行う。
　また、第２ガウシアンフィルタ５は、処理対象ピクセルにおける色成分毎に平滑化処理を行い、処理が終了した処理対象ピクセルを処理バッファ１１に書き込む。
　第２ガウシアンフィルタ５は、１画面分の入力画像データの平滑化が終了すると、処理をステップＳ８へ進める。
　ステップＳ８：
　次に、強調フィルタ８は、設定されている局所領域のピクセル構成単位に、処理対象ピクセルを含む入力画像データのピクセルのデータを、処理バッファ１１から順次読み出す。
　例えば、ｒａｎｇｅ１＝１、ｒａｎｇｅ２＝１の場合、すなわち図９Ａ～Ｃに示す局所領域の構成の場合、強調フィルタ８は、処理バッファ１１から、処理対象ピクセルの各色成分のデータ（Ｒ５、Ｇ５、Ｂ５）を読み出す。
　また、強調フィルタ８は、上下及び左右にて処理対象ピクセルに隣接するピクセルの各色成分のデータ（Ｒ２、Ｒ４、Ｒ６、Ｒ８、Ｇ２、Ｇ４、Ｇ６、Ｇ８、Ｂ２、Ｂ４、Ｂ６、Ｂ８）の各々を、処理バッファ１１から読み出す。
　また、強調フィルタ８は、斜め方向で処理対象ピクセルに隣接するピクセルの各色成分のデータ（Ｒ１、Ｒ３、Ｒ７、Ｒ９、Ｇ１、Ｇ３、Ｇ７、Ｇ９、Ｂ１、Ｂ３、Ｂ７、Ｂ９）の各々を、処理バッファ１１から読み出す。
　そして、強調フィルタ８は、処理対象ピクセルにおける色成分毎に輪郭強調処理を行い、処理が終了した処理対象ピクセルを第１画像バッファ９に書き込む。
　強調フィルタ８は、入力画像データが表示画面に表示される際、各ピクセルが２次元平面において配置される位置に対応し、局所領域を１ピクセルずつ、表示装置１０４の表示画面の走査線方向あるいは走査線の配置方向に移動させる。
　すなわち、強調フィルタ８は、入力画像データの各ピクセルを順次、処理対象ピクセルとして、入力画像データにおける全ピクセルの平滑化処理を行い、輪郭強調処理を行い出力画像データの生成を行う。強調フィルタ８は、１画面分の入力画像データの輪郭強調処理が終了すると、次の１画面の網目模様の模様線の信号強度を低減する処理を行うため、処理をステップＳ１へ進める。
　また、図２における画像データ補正装置１０３の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、ファイババンドルを介して撮像装置で撮像される画像に含まれる網目模様の模様線の信号強度を低減する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
　また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
　以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　本画像補正装置、画像補正方法及び内視鏡装置は、ファイババンドルにより伝達された画像における網目模様の低減を行う画像補正装置、画像補正方法及び内視鏡装置として利用可能である。
　１　　第１色変換部
　２　　第２色変換部
　３　　第３色変換部
　４　　第１ガウシアンフィルタ
　５　　第２ガウシアンフィルタ
　６　　メディアンフィルタ
　７　　デジタルゲイン調整部
　８　　強調フィルタ
　９　　第１画像バッファ
　１０　　第２画像バッファ
　１１　　処理バッファ
　１２　　記憶部
　１０１　　ファイババンドル
　１０２　　撮像装置
　１０３　　画像データ補正装置
　１０４　　表示装置

Claims (10)

  1. 　ファイババンドルを伝搬してきた網目模様を含む入力画像に対し、デジタルフィルタ演算を用いた平滑化によるぼかし処理を行うことで前記網目模様を低減し、
    　前記ぼかし処理を行ったぼかし画像に対し輪郭強調処理を行うことで、前記入力画像に写っている被写体の前記ぼかし処理によりぼかされた輪郭を強調させる
    　ステップを含む画像補正方法。
  2. 　前記ぼかし処理は、
    　前記入力画像に対して第１平滑化フィルタ演算を行い、
    　前記第１平滑化フィルタ演算によって得られる平滑化画像に対してメディアンフィルタ演算を行い、
    　前記メディアンフィルタ演算の結果得られるメディアン画像に対して第２平滑化フィルタ演算を行ってぼかし画像を生成する
    　ステップを含む請求項１に記載の画像補正方法。
  3. 　前記第１平滑化フィルタ演算および第２平滑化フィルタ演算のうち少なくとも一方では、処理対象ピクセルの周囲の平滑化領域として、前記網目模様の模様線の幅を超えるピクセル数を辺とする矩形領域を用いる
    　請求項２に記載の画像補正方法。
  4. 　前記メディアンフィルタ演算は、前記第１平滑化フィルタ演算によって得られる平滑化画像を、輝度画像と色画像に変換した上で輝度画像に対してのみ行う
    　請求項２または３に記載の画像補正方法。
  5. 　前記ぼかし処理は、前記第１平滑化フィルタ演算によって得られる平滑化画像またはそれに基づく画像の各ピクセルに対し、各ピクセルの階調度の制御であるデジタルゲイン調整演算を行うステップを含む
    　請求項２～４のいずれか１項に記載の画像補正方法。
  6. 　前記平滑化フィルタ演算では、前記平滑化領域に含まれるピクセルのうち、処理対象ピクセルの階調度に対し第１の係数を乗じ、前記処理対象ピクセル以外のピクセルの階調度に対し前記第１の係数と異なる係数を乗じ、それぞれの乗算結果を加算して、加算結果を前記処理対象ピクセルの新たな階調度とする
    　請求項２～５のいずれか１項に記載の画像補正方法。
  7. 　前記デジタルゲイン調整演算では、前記入力画像を構成するピクセルの階調度の平均値を、前記第１の平滑化フィルタ演算によって得られる平滑化画像またはそれに基づく画像の階調度の平均値により除算し、除算結果をデジタルゲインとして、各ピクセルの階調度に乗算する
    　請求項５に記載の画像補正方法。
  8. 　前記輪郭強調処理は、
    　前記ぼかし画像を構成するピクセルを順次処理対象ピクセルとし、当該処理対象ピクセルの周囲の輪郭強調領域に含まれる全てのピクセルの階調度の平均値を算出し、
    　前記平均値と、前記処理対象ピクセルの階調度との差分を求め、
    　前記処理対象ピクセルの階調度に対して、それぞれの差分に対して予め設定した係数を乗算した数値を加算し、加算結果を前記処理対象ピクセルの新たな階調度とする
    　ステップを含む請求項１～７のうちいずれか１項に記載の画像補正方法。
  9. 　ファイババンドルと、
    　前記ファイババンドルが伝搬してきた網目模様を含む入力画像を撮像する撮像素子と、
    　前記撮像素子が撮像した前記入力画像に対し、デジタルフィルタ演算を用いた平滑化によるぼかし処理を行うことで、前記網目模様を低減し、前記ぼかし処理を行ったぼかし画像に対し輪郭強調処理を行うことで、前記入力画像に写っている被写体の前記ぼかし処理によりぼかされた輪郭を強調させて表示画像を生成する画像補正装置と、
    　前記表示画像を表示させる映像表示制御装置と
    　を備える内視鏡装置。
  10. 　ファイババンドルが伝搬してきた網目模様を含む入力画像に対し、デジタルフィルタ演算を用いた平滑化によるぼかし処理を行うことでぼかし画像を生成するぼかし処理部と、
    　前記ぼかし画像に対し輪郭強調処理を行うことで、前記入力画像に写っている被写体の前記ぼかし処理によりぼかされた輪郭を強調させて表示画像を生成する輪郭強調処理を行う輪郭強調部と
    　を備える画像補正装置。
PCT/JP2012/067468 2011-10-06 2012-07-09 画像補正装置、画像補正方法及び内視鏡装置 WO2013051314A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-222352 2011-10-06
JP2011222352A JP5789472B2 (ja) 2011-10-06 2011-10-06 画像補正装置、画像補正方法及び内視鏡装置

Publications (1)

Publication Number Publication Date
WO2013051314A1 true WO2013051314A1 (ja) 2013-04-11

Family

ID=48043486

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/067468 WO2013051314A1 (ja) 2011-10-06 2012-07-09 画像補正装置、画像補正方法及び内視鏡装置

Country Status (2)

Country Link
JP (1) JP5789472B2 (ja)
WO (1) WO2013051314A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106231985A (zh) * 2014-12-02 2016-12-14 奥林巴斯株式会社 图像处理装置、图像处理装置的工作方法
US20190200906A1 (en) * 2017-12-28 2019-07-04 Ethicon Llc Dual cmos array imaging

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9654693B2 (en) * 2014-10-29 2017-05-16 Gvbb Holdings S.A.R.L. Degradation control of display pixels for a high definition display
JP6949134B2 (ja) * 2017-11-02 2021-10-13 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム
JP7166821B2 (ja) 2018-07-18 2022-11-08 ソニー・オリンパスメディカルソリューションズ株式会社 医療用撮像装置及び医療用観察システム
JP6849735B2 (ja) * 2019-05-24 2021-03-31 株式会社ロジック・アンド・デザイン 画像修正方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08255240A (ja) * 1995-03-17 1996-10-01 Dainippon Screen Mfg Co Ltd 画像修正装置及び方法
JPH11244230A (ja) * 1998-03-03 1999-09-14 Olympus Optical Co Ltd 内視鏡装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08255240A (ja) * 1995-03-17 1996-10-01 Dainippon Screen Mfg Co Ltd 画像修正装置及び方法
JPH11244230A (ja) * 1998-03-03 1999-09-14 Olympus Optical Co Ltd 内視鏡装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106231985A (zh) * 2014-12-02 2016-12-14 奥林巴斯株式会社 图像处理装置、图像处理装置的工作方法
EP3117758A4 (en) * 2014-12-02 2017-10-25 Olympus Corporation Image processing device and operating method for image processing device
US20190200906A1 (en) * 2017-12-28 2019-07-04 Ethicon Llc Dual cmos array imaging

Also Published As

Publication number Publication date
JP5789472B2 (ja) 2015-10-07
JP2013081556A (ja) 2013-05-09

Similar Documents

Publication Publication Date Title
US8659672B2 (en) Image processing apparatus and image pickup apparatus using same
JP5789472B2 (ja) 画像補正装置、画像補正方法及び内視鏡装置
JP5459717B2 (ja) オートフォーカス画像システムにおけるフォーカス信号を生成する方法
JP6525718B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP5451782B2 (ja) 画像処理装置および画像処理方法
JP5235642B2 (ja) 画像処理装置およびその方法
JP2006129236A (ja) リンギング除去装置およびリンギング除去プログラムを記録したコンピュータ読み取り可能な記録媒体
JPWO2013046828A1 (ja) 画像処理装置、方法、プログラムおよび撮像装置
JP5479187B2 (ja) 画像処理装置及びそれを用いた撮像装置
TWI387353B (zh) 畫素插補電路、畫素插補方法及記錄媒體
US20080012964A1 (en) Image processing apparatus, image restoration method and program
JP2004229055A (ja) 画像処理装置
JP5353945B2 (ja) 画像処理装置および画像処理プログラム並びに電子カメラ
JP5330291B2 (ja) 信号処理装置及び撮像装置
JP2004229232A (ja) 偽色低減装置
JP7337555B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP6331339B2 (ja) 撮像装置及びこの撮像装置を備えた撮像システム及び偽色除去方法
JP2009033699A (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
JP5418258B2 (ja) 撮像装置および画像処理方法
JP2004201171A (ja) 画像処理装置
JP7080688B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
JP4385890B2 (ja) 画像処理方法及び周波数成分補償部、当該周波数成分補償部を含む画像処理装置並びに画像処理プログラム
JP4021306B2 (ja) 偽色低減装置
JP2001292452A (ja) 撮像装置及びカラー撮像信号の処理方法
JP2004274197A (ja) 輪郭強調装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12838843

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12838843

Country of ref document: EP

Kind code of ref document: A1