WO2021192644A1 - 内視鏡及び内視鏡システム - Google Patents

内視鏡及び内視鏡システム Download PDF

Info

Publication number
WO2021192644A1
WO2021192644A1 PCT/JP2021/004003 JP2021004003W WO2021192644A1 WO 2021192644 A1 WO2021192644 A1 WO 2021192644A1 JP 2021004003 W JP2021004003 W JP 2021004003W WO 2021192644 A1 WO2021192644 A1 WO 2021192644A1
Authority
WO
WIPO (PCT)
Prior art keywords
attention
imaging position
imaging
image
pixel value
Prior art date
Application number
PCT/JP2021/004003
Other languages
English (en)
French (fr)
Inventor
西出　明彦
健太 小杉
Original Assignee
Hoya株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya株式会社 filed Critical Hoya株式会社
Priority to US17/780,269 priority Critical patent/US20220409029A1/en
Publication of WO2021192644A1 publication Critical patent/WO2021192644A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2423—Optical details of the distal end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Definitions

  • the present invention relates to an endoscope and an endoscope system that images a living tissue in a body cavity.
  • an endoscope has been inserted into a body cavity such as a human body to inspect a lesion of a living tissue in the body cavity.
  • an image taken by imaging a living tissue is processed by an endoscope processor, and then the image is displayed as a moving image on a monitor screen (Japanese Patent Laid-Open No. 2012-). 134875A).
  • the presence or absence of a lesion and the degree of progression of the lesion are diagnosed by looking at the image displayed on the monitor screen, so that it takes a short time from imaging with the endoscope to displaying the image on the monitor screen. It is preferable that the treatment is carried out.
  • a color filter is provided with a predetermined arrangement pattern such as a bayer arrangement, so that the image data (RAW data) output from the image pickup element 3
  • the image data RAW data
  • RGB red, green, blue
  • CYGM cyan, yellow, green, magenta
  • RGBE red, green, blue, emerald
  • the image sensor may contain defective pixels.
  • the defective pixel refers to a pixel on the captured image corresponding to an imaging position in which the photoelectric conversion of the light receiving surface of the image sensor does not function normally and an electric signal is not generated in proportion to the amount of light received.
  • the defective pixel has a low or high pixel value specifically with respect to the surrounding pixels, and the defective pixel is often formed in isolation for one pixel or several pixels without being continuous. Therefore, the defective pixel may always be displayed as a white dot or a black dot, and the output value of the pixel of the image sensor may not change even if the brightness changes.
  • the image pickup device information on a color image (RGB image) of three colors for each pixel from the image data (RAW data) of the primary colors output from the image pickup device provided with the color filters arranged in a predetermined arrangement pattern as described above.
  • RGB image color image
  • RAW data image data of the primary colors output from the image pickup device provided with the color filters arranged in a predetermined arrangement pattern as described above.
  • the pixel values of the defective pixels are diffused to the surrounding pixel values by the above interpolation processing, so that the quality of the three-color image deteriorates.
  • the present invention provides an endoscope and an endoscope capable of efficiently correcting the pixel values of defective pixels with a small amount of hardware without the pixel values of defective pixels in the image sensor being diffused around the defective pixels in a color image.
  • the purpose is to provide an endoscopic system.
  • the endoscope is An image sensor in which two or more color filters with different colors are arranged at an imaging position in a predetermined arrangement pattern, and an image sensor.
  • the attention imaging position Among the imaging positions of the color filter of the same color as the color filter at the attention imaging position, which is on the same row along one direction as the attention imaging position in the image data output from the image sensor, the attention imaging position.
  • the pixel value at the nearby imaging position near the attention imaging position including at least two nearest imaging positions on the row closest to the attention imaging position is set as the neighborhood pixel value, the attention imaging is performed.
  • a correction processing unit configured to repeatedly perform the process of changing the attention pixel value at the position to the neighborhood pixel value and the median value in the attention pixel value while changing the attention image pickup position. After the processing by the correction processing unit, a color image data generation unit that generates color image data including image information for each color of the color filter for each pixel is provided.
  • One aspect of the present invention is also an endoscope that images a living tissue in a body cavity.
  • the endoscope is An image sensor in which two or more color filters with different colors are arranged at an imaging position in a predetermined arrangement pattern, and an image sensor. Among the imaging positions of the color filter of the same color as the color filter at the attention imaging position, which is on the same row along one direction as the attention imaging position in the image data output from the image sensor, the attention imaging position.
  • the first attention pixel value at the first attention imaging position where the variation between the value and the attention pixel value at the attention imaging position at least satisfies a predetermined condition is the median value in the vicinity pixel value and the first attention pixel value.
  • the correction processing unit configured to repeat the process of changing to the above and maintaining the second attention pixel value at the second attention imaging position that does not satisfy the predetermined condition without changing the attention imaging position while changing the attention imaging position.
  • the variation is a variance or standard deviation between the neighboring pixel value and the attention pixel value.
  • the predetermined condition is preferably that the variance or standard deviation is greater than a preset threshold.
  • the image sensor captures a living tissue a plurality of times at regular time intervals.
  • the correction processing unit sets the first attention pixel value. It is preferably configured to change to the median value.
  • the two times of the imaging by the image pickup device are imaging with different lighting conditions.
  • the one direction is the same as one arrangement direction of the image pickup positions where the image pickup device sequentially outputs the image data.
  • the image sensor captures images a plurality of times, and the image sensor switches the scanning direction of the imaging position for sequentially outputting the image data between two directions orthogonal to each other each time the image sensor is imaged. It is preferable that the one direction is switched between the two directions each time the image is taken.
  • the arrangement pattern is preferably a pattern in which two color filters are alternately arranged on the row.
  • the neighborhood imaging position includes an imaging position that is closest to each of the nearest neighbor imaging positions and is different from the attention imaging position.
  • Another aspect of the present invention is with the endoscope
  • An endoscope processor that processes an image obtained by imaging the image sensor, It is an endoscope system including a monitor for displaying the image processed with the image.
  • the pixel value of a defective pixel in an image sensor is not diffused around the defective pixel in a color image, and the pixel value of the defective pixel is efficiently corrected with a small amount of hardware. can do.
  • FIG. 1 is a block diagram showing a configuration of an endoscope system 1 according to an embodiment.
  • the endoscope system 1 includes an endoscope 100, an endoscope processor 200, a monitor 300, and a printer 400.
  • the endoscope processor 200 includes a system controller 202 and a timing controller 206.
  • the system controller 202 executes various programs stored in the memory 204 and controls the entire endoscope system 1 in an integrated manner. Further, the system controller 202 changes various settings of the endoscope system 1 according to an instruction by a user (operator or assistant) input to the operation panel 208.
  • the timing controller 206 outputs a clock pulse for adjusting the operation timing of each part to each circuit in the endoscope system 1.
  • the endoscope processor 200 includes a light source unit 230 that supplies illumination light to the endoscope 100.
  • the light source unit 230 includes, for example, a high-intensity lamp that emits white illumination light by receiving drive power from a lamp power source, for example, a xenon lamp, a metal halide lamp, a mercury lamp, or a halogen lamp.
  • the illumination light emitted from the high-intensity lamp is focused by a condensing lens (not shown), and then the incident end of the LCB (Light Carrying Bundle) 102, which is a bundle of optical fibers of the endoscope 100, is passed through a dimmer (not shown).
  • LCB Light Carrying Bundle
  • the light source unit 230 is configured so as to be incident on the light source unit 230.
  • the light source unit 230 includes a plurality of light emitting diodes that emit light in a wavelength band of a predetermined color.
  • the light emitted from the light emitting diode is synthesized using an optical element such as a dichroic mirror, and the combined light is collected as illumination light by a condensing lens (not shown), and then the LCB (Light Carrying Bundle) of the endoscope 100.
  • the light source unit 230 is configured so as to be incident on the incident end of 102.
  • a laser diode may be used instead of the light emitting diode.
  • the light emitting diode and the laser diode have features such as low power consumption and low heat generation amount as compared with other light sources, they have an advantage that a bright image can be acquired while suppressing power consumption and heat generation amount.
  • the light source unit 230 is built in the endoscope processor 200, but is provided in the endoscope system 1 as a device separate from the endoscope processor 200. May be good. Further, the light source unit 230 may be provided at the tip end portion of the endoscope 100, which will be described later. In this case, the LCB 102 that guides the illumination light is unnecessary.
  • Illumination light incident on the LCB 102 from the incident end propagates in the LCB 102 and is emitted from the emission end of the LCB 102 arranged in the tip of the endoscope 100, and is irradiated to the subject through the light distribution lens 104.
  • the reflected light from the subject forms an optical image on the light receiving surface of the image sensor 108 via the objective lens 106.
  • the image sensor 108 is, for example, a single-plate color CCD (Charge-Coupled Device) image sensor in which various filters of an IR (InfraRed) cut filter 108a and a Bayer-arranged color filter 108b are arranged on a light receiving surface, and is on the light receiving surface. Each image data of R (Red), G (Green), and B (Blue) corresponding to the optical image imaged in is generated.
  • a single-plate color CCD image sensor a single-plate color CMOS (Complementary Metal Oxide Semiconductor) image sensor can also be used.
  • CMOS Complementary Metal Oxide Semiconductor
  • a driver signal processing circuit 112 is provided in the connector portion of the endoscope 100 connected to the endoscope processor 200.
  • the driver signal processing circuit 112 generates an image signal (brightness signal Y, color difference signal Cb, Cr) by performing a defect correction process and a predetermined signal process of matrix calculation on the image data output from the image pickup element 108.
  • the generated image signal is output to the image processing unit 220 of the endoscope processor 200.
  • the driver signal processing circuit 112 accesses the memory 114 and reads out the unique information of the endoscope 100.
  • the unique information of the endoscope 100 recorded in the memory 114 includes, for example, the number of pixels and sensitivity of the image pickup device 108, an operable frame rate, a model number, and the like.
  • the driver signal processing circuit 112 outputs the unique information read from the memory 114 to the system controller 202. In this way, the endoscope 100 uses the image sensor 108 to image the biological tissue in the body cavity.
  • the system controller 202 performs various calculations based on the unique information of the endoscope 100 and generates a control signal.
  • the system controller 202 uses the generated control signal to operate each circuit in the endoscope processor 200 so that processing suitable for the endoscope 100 connected to the endoscope processor 200 is performed. Control the timing.
  • the timing controller 206 supplies clock pulses to the driver signal processing circuit 112, the image processing unit 220, and the light source unit 230 according to the timing control by the system controller 202.
  • the driver signal processing circuit 112 drives and controls the image pickup element 108 at a timing synchronized with the frame rate of the image processed on the endoscope processor 200 side according to the clock pulse supplied from the timing controller 206.
  • the image processing unit 220 Under the control of the system controller 202, the image processing unit 220 generates a video signal for displaying an endoscopic image or the like on a monitor based on an image signal input from the driver signal processing circuit 112, and outputs the video signal to the monitor 300.
  • the image processing unit 220 numerically indicates the degree of inflammation of the biological tissue based on the information of the color component of the image with respect to the image of the biological tissue obtained by the endoscope 100, if necessary. Is obtained, and further, a color map image is generated in which the pixel evaluation value of each pixel obtained by the digitization process is replaced with a color.
  • the inflammation evaluation value information and the color map image generate a video signal to be displayed on the monitor 300 and output it to the monitor 300.
  • the image processing unit 220 outputs an inflammation evaluation value and a color map image to the printer 400 as needed.
  • the endoscope processor 200 is connected to the server 600 via the NIC (Network Interface Card) 210 and the network 500.
  • the endoscope processor 200 can download information related to endoscopy (for example, patient electronic medical record information and operator information) from the server 600.
  • the downloaded information is displayed, for example, on the display screen of the monitor 300 or the operation panel 208.
  • the endoscope processor 200 uploads the endoscopic examination results (endoscopic image data, examination conditions, image analysis results, operator's findings, etc.) to the server 600, thereby uploading the endoscopic examination results to the server. It can be stored in 600.
  • the endoscope 100 receives the primary colors received through the color filter 108b before generating the color image data (for example, YCbCr signal) including the image information for each color of the color filter 108b for each pixel (before the demosaic processing). Performs correction processing on the image data. Specifically, the correction process is performed in the driver signal processing circuit 112 provided in the connector in which the endoscope 100 is connected to the endoscope processor 200.
  • FIG. 2 is a block diagram showing a main part of the configuration of the driver signal processing circuit in the endoscope of one embodiment.
  • the driver signal processing circuit 112 includes a control circuit 116, a determination circuit 118, a buffer memory 120, a correction processing circuit (correction processing unit) 122, and a color image data generation circuit (color image data generation unit). 124.
  • the control circuit 116 is communicably connected to the system controller 202, calls the information stored in the memory 114 in response to an instruction from the system controller 202, transmits the information to the system controller 202, and if necessary, the system controller 202. Memorize the information sent from. Further, the control circuit 116 is configured to control and manage the operations of the determination circuit 118, the correction processing circuit 122, and the color image data generation circuit 124.
  • the correction processing circuit 122 is configured to perform median filter processing of a set size on the pixel value at the attention imaging position while changing the attention imaging position in the image data output from the image sensor 108. It is a part. Specifically, the correction processing circuit 122 is a pixel array of pixels at a nearby imaging position of a color filter having the same color as the color filter at the attention imaging position, which is on the same row as the attention imaging position and along one direction. The value is set as a nearby pixel value, and the attention pixel value at the attention imaging position is changed to the median value among the neighborhood pixel value and the attention pixel value at the attention imaging position.
  • the neighborhood imaging position includes at least two nearest neighbor imaging positions on the row closest to the attention imaging position with the attention imaging position in between. It is also preferable that the neighborhood imaging position includes, in addition to the nearest neighbor imaging position, an imaging position that is closest to each of the nearest neighbor imaging positions and is different from the attention imaging position.
  • FIG. 3 is a diagram showing an example of image data output from the image sensor of the Bayer array color filter used in the endoscope of one embodiment.
  • the image pickup element 108 alternately outputs R image data and G image data in the first row, and follows the X direction from the left end in the second row.
  • G image data and B image data are output alternately in a row
  • R image data and G image data are output in a row along the X direction from the left end, as in the first row.
  • the R image data and the G image data are alternately output in a row along the X direction from the left end, as in the second row.
  • the R image data is output data that the image sensor 108 receives and outputs the light that has passed through the R filter of the color filter 108b
  • the G image data is the output data that the image sensor 108 receives the light that has passed through the G filter of the color filter 108b. It is output data that receives and outputs light
  • the B image data is output data that the image sensor 108 receives and outputs light that has passed through the B filter of the color filter 108b.
  • the third pixel position on the second row having the same G image data.
  • Nearest attention imaging position close to the attention imaging position of The median value (median value) among the near-attention pixel value and the attention pixel value is changed to the attention pixel value. Therefore, in such processing, the median value can be set to the pixel value of interest by performing the filter processing by aligning the imaging position of interest with the pixel position at the center of the median filter 702.
  • the attention imaging position is aligned with the pixel position of the third pixel, which is the center pixel position, and one pixel in the horizontal direction is used.
  • the median value (intermediate value) of the pixel value of the eye, the pixel value of the fifth pixel, and the pixel value of the third pixel, which is the center pixel, is output and set as the pixel value of interest.
  • the median filter 702 is shifted to the right side in the X direction by one imaging position, and the median is relative to the attention imaging position of the B image data.
  • Filter 702 is applied. That is, the direction of the median filter 702 is the X direction, and the movement of the median filter 702 is also the X direction.
  • the correction processing circuit 122 obtains a median value for each attention imaging position, and gives this median value as a attention pixel value to the attention imaging position.
  • the buffer memory 120 transmits image data output from the image sensor 108 in order from the left of the first stage, and therefore has a number of pixels corresponding to the filter size of the median filter 702 (FIG. 3).
  • the line buffer memory is configured to sequentially store the pixel value of interest and the four pixel values before and after it).
  • the buffer memory 120 stores image data in a FIFO (First-In First-Out) manner each time one image data is transmitted from the image pickup element 108.
  • the stored buffer memory 120 is output to the correction processing circuit 122 in response to the instruction of the control circuit 116.
  • the median value can be obtained using the pixel value corresponding to the size of the median filter 702 as shown in FIG.
  • the image data sequentially sent from the image sensor 108 can be temporarily stored in the buffer memory 120 in one direction.
  • the image sensor 108 is the same as one arrangement direction (scanning direction) of the image pickup positions for sequentially outputting image data.
  • the determination circuit 118 has the attention pixel value of the attention imaging position, which is G image data, and the nearest neighbor attention imaging position in which two imaging positions are separated from each other in the front and back in the X direction with respect to the attention imaging position. It is determined whether or not the deviation from the neighborhood attention pixel value including at least the above satisfies a predetermined condition, and if the determination result is affirmative, the control circuit 116 causes the correction processing circuit 122 to perform correction processing. If the result of the determination is negative, the control circuit 116 is a portion configured to instruct the correction processing circuit 122 not to perform the correction processing.
  • the variation between the pixel value of interest and the pixel value of interest in the vicinity is, for example, the difference between the maximum value and the minimum value among those pixel values, the standard deviation, or the variance. Since it is determined whether or not the attention imaging position corresponds to the position of the defective pixel in the image sensor, only the pixel value in the defective pixel can be changed to the median value.
  • the determination circuit 118 stores the position information of the attention imaging position (described below, the first attention imaging position) in which the determination result is affirmative in the memory 114.
  • the color image data generation circuit 124 is based on the data corrected by the correction processing circuit 122, that is, the image data in which the pixel values of the defective pixels are corrected, and the image information for each color (R, G, B) of the color filter 108b. Is a portion configured to generate color image data (brightness signal Y, color difference signal Cb, Cr) including each pixel.
  • the color image data generation circuit 124 performs matrix calculation and the like as necessary when generating color image data.
  • the endoscope 100 sets the first attention pixel value at the first attention imaging position at which the variation between the pixel value at the near imaging position and the attention pixel value at least satisfies a predetermined condition as the near pixel value and the first attention pixel value.
  • a correction process that changes to the median value in the 1-focused pixel value and maintains the second-focused pixel value at the second-focused imaging position (other than the first-focused imaging position) that does not satisfy the predetermined conditions without changing it. Repeat while changing the focus imaging position.
  • the endoscope 100 generates color image data including image information for each color of the color filter 108b for each pixel from the corrected image data.
  • the buffer memory 120 is the size of the median filter 702 (in the example shown in FIG. 3, the size of 1 ⁇ 5 pixels). ), Therefore, it is possible to efficiently correct the pixel value of the defective pixel with a small amount of hardware.
  • the conventional endoscope system when color image data is generated, defective pixels are corrected by using, for example, a median filter for 3 ⁇ 3 pixels. Therefore, the peculiar pixel value in the defective pixel may be diffused to the surrounding pixel value to widen the size of the defective pixel in the color image data. Moreover, since the median filter for 3 ⁇ 3 pixels is used, the line buffer memory cannot be used, and the process of extracting the pixel values for, for example, 3 ⁇ 3 pixels while temporarily storing the entire captured image data in the frame memory. It was necessary to do, and it was necessary to greatly increase the hardware equipment. In this respect, the endoscope 100 does not need to significantly increase the hardware equipment.
  • the determination circuit 118 determines whether or not to perform the correction process in order to find the defective pixel.
  • the correction processing circuit 122 may unconditionally perform correction processing on the image data sequentially sent from the image pickup device 108 without finding the defective pixels. Therefore, in this case, the correction processing circuit 122 sets the pixel value of interest at the attention imaging position in the image data output from the image sensor 108 to the neighborhood pixel value and attention at the proximity attention imaging position on the same row as the attention imaging position.
  • the correction process for changing to the median value in the pixel value is configured to be repeated while changing the attention imaging position.
  • the endoscope 100 generates color image data including image information for each color of the color filter 108b for each pixel from the corrected image data.
  • the buffer memory 120 is the size of the median filter 702 (in the example shown in FIG. 3, the size of 1 ⁇ 5 pixels). ), Therefore, it is possible to efficiently correct the pixel value of the defective pixel with a small amount of hardware.
  • the variation between the pixel value of interest and the pixel value of interest used in the determination circuit 118 described above is the variance or standard deviation of the pixel value of interest and the pixel value of interest in the vicinity. It is preferably greater than the threshold.
  • the correction processing circuit 122 sets the first attention pixel value when the first attention imaging position is at the same position between the image data obtained by at least two different imaging by the image pickup element 108. , It is also preferable that the value is changed to the median value. Since the positions of the defective pixels are the same even if the imaging is different, the position of the defective pixels can be reliably obtained by distinguishing it from the mixing of other noise components by the above configuration.
  • At least two imaging times with different imaging times by the image sensor 108 are imaging with different lighting conditions.
  • the lighting conditions are different, and the noise component is generated differently between the image data with a high pixel value as a whole and the image data with a low pixel value as a whole, and no noise component is generated in either case.
  • the position of the defective pixel does not change in any of the above cases. Therefore, the position of the defective pixel can be reliably obtained by distinguishing it from the mixing of other noise components.
  • the image sensor 108 images a plurality of times, and the image sensor 108 switches the scanning direction of the image pickup position for sequentially outputting image data between two directions orthogonal to each other each time the image sensor 108 is imaged.
  • the image sensor 108 switches the scanning direction of the image pickup position for sequentially outputting image data between two directions orthogonal to each other each time the image sensor 108 is imaged.
  • the attention imaging position and the proximity attention imaging position are on the same row along one direction, each time an image is taken in accordance with the switching of the arrangement direction of the image pickup positions that output image data in order. It is preferable to switch between the two directions. In the example shown in FIG.
  • the orientation of the median filter 702 is set to the X direction for the image data at the time of one imaging, the movement of the median filter 702 is also set to the X direction, and the orientation of the median filter 702 is set for the image data at the time of the next imaging. It is preferable that the median filter 702 is moved in the Y direction. In this way, the scanning direction of the pixel data output by the image sensor 108 is switched between the two directions orthogonal to each other each time the image is taken, so that the median shown in FIG. 3 is switched in accordance with the switching in the arrangement direction.
  • the direction of the filter 702 can also be switched from the X direction to the Y direction, the reduction in resolution due to the use of the median filter 702 is alternately switched between the X direction and the Y direction in continuous images. Therefore, in the image displayed on the monitor 300, deterioration of the image quality of the image can be suppressed.
  • the median filter 702 is used by fixing it in one direction of the X direction and the Y direction, the image quality in one direction tends to deteriorate.
  • the color filter 108b in the above-described embodiment may be an array of any color filter, but according to one embodiment, the array pattern of the color filter 108b is two color filters as shown in FIG. Is preferably a pattern (bayer arrangement) in which is alternately arranged on the row.
  • the nearest neighbor image pickup position is an extremely close position where the two image pickup positions are separated from each other in the X direction or the Y direction with respect to the attention image pickup position, so that the neighborhood attention pixel value can be efficiently extracted.
  • the neighborhood imaging position includes an imaging position that is closest to each of the nearest neighbor imaging positions and is different from the attention imaging position. That is, it is preferable that the neighborhood imaging position includes two nearest neighbor attention imaging positions closest to the attention imaging position and two imaging positions closest to each of the two nearest neighbor attention imaging positions and not the attention imaging positions. Therefore, in this case, it is preferable to obtain the median value using one attention imaging position and at least four nearby imaging positions. Thereby, the position of the defective pixel can be obtained more accurately.
  • FIG. 4A is a diagram showing an example of an image displayed by a conventional endoscope system
  • FIG. 4B is a diagram showing an example of an image displayed by the endoscope system of one embodiment.
  • the display image shown in FIG. 4A six defective pixels 710 displayed in white dots and one defective pixel 720 displayed in black dots are shown.
  • the defective pixel 720 the defective pixel is diffused and a black dot-like region is expanded.
  • FIG. 4B there are no defective pixels 710 and 720. From this, the effect of this embodiment is clear. Similar effects can be obtained with other color filters such as a CYGM (cyan, yellow, green, magenta) filter and an RGB (red, green, blue, emerald) filter.
  • CYGM cyan, yellow, green, magenta
  • RGB red, green, blue, emerald

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

内視鏡は、２色以上の色フィルタを所定の配列パターンで撮像位置に配置した撮像素子と、前記撮像素子から出力される画像データ内の注目撮像位置と同じ、一方向に沿った列上にあり、前記注目撮像位置における色フィルタと同じ色の色フィルタの撮像位置のうち、前記注目撮像位置を間に挟んで前記注目撮像位置から最も近くにある前記列上の２つの最近傍撮像位置を少なくとも含む前記注目撮像位置近傍の近傍撮像位置における画素値を近傍画素値としたとき、前記注目撮像位置における注目画素値を、前記近傍画素値及び前記注目画素値の中のメディアン値に変更する処理を、前記注目撮像位置を変更しながら繰り返し行うように構成された補正処理部と、を備える。

Description

内視鏡及び内視鏡システム
　本発明は、体腔内の生体組織を撮像する内視鏡及び内視鏡システムに関する。
　従来より、内視鏡を人体等の体腔内に挿入し、体腔内の生体組織の病変を検査することが行われている。この内視鏡を備える内視鏡システムでは、生体組織を撮像した撮像画像を内視鏡用プロセッサで画像処理を施した後、この撮像した画像を動画としてモニタ画面に表示する（特開２０１２－１３４８７５号公報）。
　このような内視鏡システムでは、モニタ画面に表示された画像を見て病変部の有無及び病変部の進行の程度を診断するので、内視鏡による撮像からモニタ画面上の画像表示まで短時間に処理が行われることが好ましい。
　このような内視鏡システムにおいて用いる撮像素子の撮像位置には、例えばベイヤ配列等の所定の配列パターンで色フィルタが設けられているので、撮像素子から出力された画像データ（ＲＡＷデータ）から３色の画像を得るには、同じ色フィルタの撮像位置に対応する画像データ内の画像値を用いて内挿補間することにより、色フィルタの色が異なる撮像位置における画素値を算出する必要がある。すなわち、算出する画素値は、周囲の画像値に基づいて算出される。なお、色フィルタは、ＲＧＢ（赤、緑、青）の色フィルタの他に、ＣＹＧＭ（シアン、黄、緑、マゼンタ）の色フィルタ、およびＲＧＢＥ（赤、緑、青、エメラルド)の色フィルタが例示される。
　このような内視鏡において、撮像素子に欠陥画素が含まれる場合もある。欠陥画素とは、撮像素子の受光面の光電変換が正常に機能せず、受光量に比例したで電気信号を生成しない撮像位置に対応する撮像画像上の画素をいう。欠陥画素は、その周囲の画素に対して特異的に画素値が低くあるいは高く、欠陥画素が連続することなく、１画素分、あるいは数画素分、孤立して形成される場合が多い。したがって、欠陥画素は、例えば、常に白い点や黒い点として表示され、明るさが変化しても撮像素子の画素の出力値が変化しない場合などがある。
　一方、撮像素子では、上述したように所定の配列パターンで配列した色フィルタを備える撮像素子から出力された原色の画像データ（ＲＡＷデータ）から画素毎に３色のカラー画像（ＲＧＢ画像）の情報を含む画像データを生成するために、同じ色フィルタの撮像位置に対応する画像データ内の画像値を用いて内挿補間することにより、異なる色フィルタの撮像位置に対応する画像値を計算する処理が行われる。
　しかし、この処理を、欠陥画素が存在する画像データに対して行うと、上記補間処理により欠陥画素の画素値が周囲の画素値にも拡散するため、３色のカラー画像の品質が劣化する場合がある。
　３色のカラー画像に対して、サイズが３画素×３画素のメディアンフィルタを用いて、欠陥画素を補正することも可能であるが、拡散した欠陥画素の画素値を完全に除去することは難しい。また、上記メディアンフィルタを用いる場合、３ライン分のデータバッファを用いて書き込み、呼び出し等を行うため、処理時間がかかる他、高速化を考えると、上記メディアンフィルタに対応したサイズのデータバッファを用意する必要があり、ハードウェアの簡素化の点でも好ましくない。
　そこで、本発明は、撮像素子における欠陥画素の画素値が、カラー画像において欠陥画素の周囲に拡散することなく、少ないハードウェアで効率よく欠陥画素の画素値を補正することができる内視鏡及び内視鏡システムを提供することを目的とする。
　本発明の一態様は、体腔内の生体組織を撮像する内視鏡である。当該内視鏡は、
　色が異なる２色以上の色フィルタを所定の配列パターンで撮像位置に配置した撮像素子と、
　前記撮像素子から出力される画像データ内の注目撮像位置と同じ、一方向に沿った列上にあり、前記注目撮像位置における色フィルタと同じ色の色フィルタの撮像位置のうち、前記注目撮像位置を間に挟んで前記注目撮像位置から最も近くにある前記列上の２つの最近傍撮像位置を少なくとも含む前記注目撮像位置近傍の近傍撮像位置における画素値を近傍画素値としたとき、前記注目撮像位置における注目画素値を、前記近傍画素値及び前記注目画素値の中のメディアン値に変更する処理を、前記注目撮像位置を変更しながら繰り返し行うように構成された補正処理部と、
　前記補正処理部による前記処理後に、前記色フィルタの色ごとの画像情報を画素毎に含む色画像データを生成する色画像データ生成部と、を備える。
　本発明の一態様も、体腔内の生体組織を撮像する内視鏡である。当該内視鏡は、
　色が異なる２色以上の色フィルタを所定の配列パターンで撮像位置に配置した撮像素子と、
　前記撮像素子から出力される画像データ内の注目撮像位置と同じ、一方向に沿った列上にあり、前記注目撮像位置における色フィルタと同じ色の色フィルタの撮像位置のうち、前記注目撮像位置を間に挟んで前記注目撮像位置から最も近くにある前記列上の２つの最近傍撮像位置を少なくとも含む前記注目撮像位置近傍の近傍撮像位置における画素値を近傍画素値としたとき、前記近傍画素値と前記注目撮像位置における注目画素値とのばらつきが所定の条件を少なくとも満足する第1注目撮像位置における第1注目画素値を、前記近傍画素値及び前記第1注目画素値の中のメディアン値に変更し、前記所定の条件を満足しない第２注目撮像位置における第２注目画素値については変更せず維持する処理を、前記注目撮像位置を変更しながら繰り返し行うように構成された補正処理部と、
　前記補正処理部による前記処理後に、前記色フィルタの色ごとの画像情報を画素毎に含む色画像データを生成する色画像データ生成部と、を備える。
　前記ばらつきは、前記近傍画素値と前記注目画素値の分散あるいは標準偏差であり、
　前記所定の条件は、前記分散あるいは前記標準偏差が予め設定された閾値より大きいことである、ことが好ましい。
　前記撮像素子は、生体組織を一定時間間隔で複数回撮像し、
　前記補正処理部は、前記撮像素子による、撮像時刻の異なる少なくとも２回の撮像によって得られる画像データ間で、前記第1注目撮像位置が同じ位置にある場合に、前記第1注目画素値を、前記メディアン値に変更するように構成されている、ことが好ましい。
　前記撮像素子による前記２回の前記撮像は、照明条件の異なる撮像である、ことが好ましい。
　前記一方向は、前記撮像素子が前記画像データを順番に出力する撮像位置の１つの配列方向と同じである、ことが好ましい。
　前記撮像素子は複数回撮像し、前記撮像素子は、前記画像データを順番に出力する撮像位置の走査方向が、撮像する度に、互いに直交する２方向の間で切り換わり、
　前記一方向は、前記撮像する度に前記２方向の間で切り換わる、ことが好ましい。　
　前記配列パターンは、２つの色フィルタが前記列上に交互に配置されているパターンである、ことが好ましい。
　前記近傍撮像位置は、前記最近傍撮像位置それぞれの最も近くにある、前記注目撮像位置とは異なる撮像位置を含む、ことが好ましい。
　本発明の他の一態様は、
前記内視鏡と、
　前記撮像素子の撮像により得られた画像を画像処理する内視鏡用プロセッサと、
　画像処理の施された前記画像を表示するモニタと、を備える、内視鏡システムである。
　上述の内視鏡及び内視鏡システムによれば、撮像素子における欠陥画素の画素値が、カラー画像において欠陥画素の周囲に拡散することなく、少ないハードウェアで効率よく欠陥画素の画素値を補正することができる。
一実施形態の内視鏡システムの構成を示すブロック図である。 一実施形態の内視鏡におけるドライバ信号処理回路の構成の要部を示すブロック図である。 一実施形態の内視鏡に用いるベイヤ配列の色フィルタの撮像素子から出力される画像データの一例を示す図である。 従来の内視鏡システムで表示される画像の一例を示す図である。 一実施形態の内視鏡システムで表示される画像の一例を示す図である。
　以下、実施形態の内視鏡及び内視鏡システムについて詳細に説明する。
　図１は、一実施形態の内視鏡システム１の構成を示すブロック図である。
図１に示されるように、内視鏡システム１は、内視鏡１００、内視鏡用プロセッサ２００、モニタ３００、及びプリンタ４００を備えている。
　内視鏡用プロセッサ２００は、システムコントローラ２０２やタイミングコントローラ２０６を備えている。システムコントローラ２０２は、メモリ２０４に記憶された各種プログラムを実行し、内視鏡システム１の全体を統括的に制御する。また、システムコントローラ２０２は、操作パネル２０８に入力されるユーザ（術者又は補助者）による指示に応じて内視鏡システム１の各種設定を変更する。タイミングコントローラ２０６は、各部の動作のタイミングを調整するクロックパルスを内視鏡システム１内の各回路に出力する。
　内視鏡用プロセッサ２００は、内視鏡１００に照明光を供給する光源部２３０を備えている。光源部２３０は、図示されないが、例えば、ランプ電源から駆動電力の供給を受けることにより白色の照明光を放射する高輝度ランプ、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプを備える。高輝度ランプから出射した照明光は、図示されない集光レンズにより集光された後、図示されない調光装置を介して内視鏡１００の光ファイバーの束であるＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源部２３０は構成される。
　あるいは、光源部２３０は、所定の色の波長帯域の光を出射する複数の発光ダイオードを備える。発光ダイオードから出射した光はダイクロイックミラー等の光学素子を用いて合成され、合成した光は照明光として、図示されない集光レンズにより集光された後、内視鏡１００のＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源部２３０は構成される。発光ダイオードに代えてレーザダイオードを用いることもできる。発光ダイオード及びレーザダイオードは、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。
　なお、図１に示す例では、光源部２３０は、内視鏡用プロセッサ２００に内蔵して設けられるが、内視鏡用プロセッサ２００とは別体の装置として内視鏡システム１に設けられてもよい。また、光源部２３０は、後述する内視鏡１００の先端部に設けられてもよい。この場合、照明光を導光するＬＣＢ１０２は不要である。
　入射端よりＬＣＢ１０２内に入射した照明光は、ＬＣＢ１０２内を伝播して内視鏡１００の先端部内に配置されたＬＣＢ１０２の射出端より射出され、配光レンズ１０４を介して被写体に照射される。被写体からの反射光は、対物レンズ１０６を介して撮像素子１０８の受光面上で光学像を結ぶ。
　撮像素子１０８は、例えば、ＩＲ（Infra Red）カットフィルタ１０８ａ、ベイヤ配列の色フィルタ１０８ｂの各種フィルタが受光面に配置された単板式カラーＣＣＤ（Charge-Coupled Device）イメージセンサであり、受光面上で結像した光学像に応じたＲ（Red）、Ｇ（Green）、Ｂ（Blue）の各画像データを生成する。単板式カラーＣＣＤイメージセンサの代わりに、単板式カラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いることもできる。撮像素子１０８には、色が異なる２色以上の色フィルタ１０８ｂが所定の配列パターンで撮像位置に配置される。
　内視鏡用プロセッサ２００と接続する内視鏡１００のコネクタ部内には、ドライバ信号処理回路１１２が備えられている。ドライバ信号処理回路１１２は、撮像素子１０８から出力される画像データに対して欠陥補正処理、マトリックス演算の所定の信号処理を施して画像信号（輝度信号Ｙ、色差信号Ｃｂ，Ｃｒ）を生成し、生成された画像信号を内視鏡用プロセッサ２００の画像処理ユニット２２０に出力する。また、ドライバ信号処理回路１１２は、メモリ１１４にアクセスして内視鏡１００の固有情報を読み出す。メモリ１１４に記録される内視鏡１００の固有情報には、例えば撮像素子１０８の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１１２は、メモリ１１４より読み出された固有情報をシステムコントローラ２０２に出力する。このように、内視鏡１００は、撮像素子１０８を用いて、体腔内の生体組織を撮像する。
　システムコントローラ２０２は、内視鏡１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、内視鏡用プロセッサ２００に接続中の内視鏡１００に適した処理がなされるように内視鏡用プロセッサ２００内の各回路の動作やタイミングを制御する。
　タイミングコントローラ２０６は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２、画像処理ユニット２２０、及び光源部２３０にクロックパルスを供給する。ドライバ信号処理回路１１２は、タイミングコントローラ２０６から供給されるクロックパルスに従って、撮像素子１０８を内視鏡用プロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
　画像処理ユニット２２０は、システムコントローラ２０２による制御の下、ドライバ信号処理回路１１２より入力した画像信号に基づいて内視鏡画像等をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力する。画像処理ユニット２２０は、必要に応じて、内視鏡１００で得られた生体組織の画像に対して、画像の色成分の情報に基づいて生体組織の炎症の程度を数値化して示す炎症評価値を求め、さらに、数値化処理によって得られた各画素の画素評価値を色に置換したカラーマップ画像を生成する。炎症評価値の情報及びカラーマップ画像はモニタ３００に表示するためのビデオ信号を生成し、モニタ３００に出力する。これにより、術者は、モニタ３００の表示画面に表示された画像を通じて例えば注目する生体組織の炎症の程度の評価を精度よく行うことができる。画像処理ユニット２２０は、必要に応じてプリンタ４００に炎症評価値及びカラーマップ画像を出力する。
　内視鏡用プロセッサ２００は、ＮＩＣ（Network Interface Card）２１０及びネットワーク５００を介してサーバ６００に接続されている。内視鏡用プロセッサ２００は、内視鏡検査に関する情報（例えば、患者の電子カルテ情報や術者の情報）をサーバ６００からダウンロードすることができる。ダウンロードされた情報は、例えばモニタ３００の表示画面や操作パネル２０８に表示される。また、内視鏡用プロセッサ２００は、内視鏡検査結果（内視鏡画像データ、検査条件、画像解析結果、術者所見等）をサーバ６００にアップロードすることにより、内視鏡検査結果をサーバ６００に保存させることができる。
　このような内視鏡システム１において、上述したように、色フィルタ１０８ｂを通過して受光した撮像素子１０８から出力される画像データに欠陥画素が存在する場合、カラー画像（ＲＧＢ画像）を得るための処理を施すと、この処理により欠陥画素の画素値が周囲の画素値にも拡散するため、３色のカラー画像の品質が劣化する場合がある。
　このため、内視鏡１００は、色フィルタ１０８ｂの色ごとの画像情報を画素毎に含む色画像データ（例えばＹＣｂＣｒ信号）を生成する前（デモザイク処理前）の、色フィルタ１０８ｂを通して受光した原色の画像データに対して、補正処理を行う。具体的には、内視鏡１００が内視鏡用プロセッサ２００と接続するコネクタに設けられるドライバ信号処理回路１１２において、上記補正処理を行う。
　図２は、一実施形態の内視鏡におけるドライバ信号処理回路の構成の要部を示すブロック図である。
　ドライバ信号処理回路１１２は、上述したメモリ１１４の他に、制御回路１１６、判定回路１１８、バッファメモリ１２０、補正処理回路（補正処理部）１２２、及び色画像データ生成回路（色画像データ生成部）１２４、を備える。
　制御回路１１６は、システムコントローラ２０２と通信可能に接続され、システムコントローラ２０２の指示に応じて、メモリ１１４に記憶された情報を呼び出して、システムコントローラ２０２に送信し、必要に応じて、システムコントローラ２０２から送信される情報を記憶する。さらに、制御回路１１６は、判定回路１１８、補正処理回路１２２、色画像データ生成回路１２４の動作を制御、管理するように構成される。
　補正処理回路１２２は、撮像素子１０８から出力される画像データ内の注目撮像位置を変更しながら、注目撮像位置における画素値に対して、設定されたサイズのメディアンフィルタ処理を行うように構成された部分である。具体的には、補正処理回路１２２は、画素配列のうち、注目撮像位置と同じ、一方向に沿った列上にある、注目撮像位置における色フィルタと同じ色の色フィルタの近傍撮像位置における画素値を近傍画素値とし、この近傍画素値と注目撮像位置における注目画素値との中のメディアン値に、注目撮像位置における注目画素値を変更する。
　近傍撮像位置は、注目撮像位置を間に挟んでこの注目撮像位置から最も近くにある列上の２つの最近傍撮像位置を少なくとも含む。近傍撮像位置は、最近傍撮像位置に加えて、最近傍撮像位置それぞれの最も近くにある、注目撮像位置とは異なる撮像位置を含むことも好ましい。
　図３は、一実施形態の内視鏡に用いるベイヤ配列の色フィルタの撮像素子から出力される画像データの一例を示す図である。図３に示す画素配列７００によれば、撮像素子１０８は、１段目の列では、Ｒ画像データ、Ｇ画像データを交互に出力し、２段目の列では、左端からＸ方向に沿った列状にＧ画像データ、Ｂ画像データを交互に出力し、３段目の列では、１段目の列と同様に、左端からＸ方向に沿った列状にＲ画像データ、Ｇ画像データを交互に出力し、４段目の列では、２段目の列と同様に、左端からＸ方向に沿った列状にＲ画像データ、Ｇ画像データを交互に出力する。Ｒ画像データは、色フィルタ１０８ｂのＲフィルタを透過した光を撮像素子１０８が受光して出力する出力データであり、Ｇ画像データは、色フィルタ１０８ｂのＧフィルタを透過した光を撮像素子１０８が受光して出力する出力データであり、Ｂ画像データは、色フィルタ１０８ｂのＢフィルタを透過した光を撮像素子１０８が受光して出力する出力データである。
　このような画像データのうち、２段目で左端から３番目のＧ画像データの位置を注目撮像位置とする場合、同じＧ画像データを有する２段目の列上の画素位置のうち、３番目の注目撮像位置に近い最近傍注目撮像位置、図３の例では、２段目の左から１番目と左から５番目の画素位置それぞれにおける画素値を、最近傍注目画素値とし、２つの最近傍注目画素値と注目画素値との中でメディアン値（中央値）を、注目画素値に変更する。したがって、このような処理は、メディアンフィルタ７０２の中心の画素位置に、注目撮像位置を合わせてフィルタ処理することにより、メディアン値を注目画素値に設定することができる。例えば、メディアンフィルタ７０２のフィルタサイズが横方向５画素、縦方向１画素のメディアンフィルタの場合、中心の画素位置である３画素目の画素位置に、注目撮像位置を合わせて、横方向の１画素目の画素値、５画素目の画素値、及び中心画素である３画素目の画素値のメディアン値（中間値）を注目画素値として出力し設定する。
　このように、注目撮像位置を１つずつ移動させることにより、図３に示す例では、Ｘ方向の右側にメディアンフィルタ７０２を１撮像位置分ずらして、Ｂ画像データの注目撮像位置に対してメディアンフィルタ７０２を施す。すなわち、メディアンフィルタ７０２の向きをＸ方向とし、メディアンフィルタ７０２の移動もＸ方向とする。
　補正処理回路１２２は、注目撮像位置毎にメディアン値を求め、このメディアン値を注目画素値として注目撮像位置に与える。
　バッファメモリ１２０は、図３に示す例では、１段目の左から順番に、撮像素子１０８から出力される画像データが送信されるので、メディアンフィルタ７０２のフィルタサイズに対応した数の画素（図３に示す例では、注目画素値及びその前後の４つの画素値）を順番に記憶するように構成されているラインバッファメモリである。バッファメモリ１２０は、画像データが１つ撮像素子１０８から送信されるたびに、ＦＩＦＯ（First-In First-Out）方式で画像データを記憶する。制御回路１１６の指示に応じて、記憶したバッファメモリ１２０は補正処理回路１２２に出力する。これにより、図３に示すようなメディアンフィルタ７０２のサイズに対応した画素値を用いてメディアン値を求めることができる。したがって、注目撮像位置と近傍注目撮像位置とが一方向に沿った同じ列上にあるときの一方向とは、バッファメモリ１２０に撮像素子１０８から順次送られる画像データを一時的に記憶することができる点から、撮像素子１０８が画像データを順番に出力する撮像位置の１つの配列方向（走査方向）と同じであることが好ましい。
　判定回路１１８は、図３に示す例では、Ｇ画像データである注目撮像位置の注目画素値と、この注目撮像位置に対してＸ方向の前後に２つ撮像位置が離れた最近傍注目撮像位置を少なくとも含む近傍注目画素値とのばらつきが、所定の条件を満足するか否かを判定し、判定の結果が肯定である場合は、制御回路１１６は、補正処理回路１２２に補正処理をするように指示し、判定の結果が否定である場合は、制御回路１１６は、補正処理回路１２２に補正処理をしないように指示するように構成された部分である。注目画素値と近傍注目画素値とのばらつきは、例えば、それらの画素値の中の最大値と最小値の差分、標準偏差、あるいは分散である。
　注目撮像位置が、撮像素子における欠陥画素の位置に対応するか否かを判定するので、欠陥画素における画素値のみをメディアン値に変更することができる。
　判定回路１１８は、判定結果が肯定となる注目撮像位置（以下で説明する、第１注目撮像位置）の位置情報を、メモリ１１４に記憶する。
　色画像データ生成回路１２４は、補正処理回路１２２で補正処理されたデータ、すなわち、欠陥画素の画素値が修正された画像データから、色フィルタ１０８ｂの色ごと（Ｒ，Ｇ，Ｂ）の画像情報を画素毎に含む色画像データ（輝度信号Ｙ、色差信号Ｃｂ，Ｃｒ）を生成するように構成された部分である。色画像データ生成回路１２４は、色画像データを生成する際に、マトリックス演算等を必要に応じて行う。
　このように、内視鏡１００は、近傍撮像位置における画素値と、注目画素値とのばらつきが所定の条件を少なくとも満足する第1注目撮像位置における第1注目画素値を、近傍画素値及び第1注目画素値の中のメディアン値に変更し、所定の条件を満足しない（第1注目撮像位置以外の）第２注目撮像位置における第２注目画素値については変更せず維持する補正処理を、注目撮像位置を変更しながら繰り返し行う。この後、内視鏡１００は、上記補正処理された画像データから、色フィルタ１０８ｂの色ごとの画像情報を画素毎に含む色画像データを生成する。
　このため、撮像素子１０８における欠陥画素の画素値が、カラー画像において欠陥画素の周囲に拡散しない。しかも、近傍注目撮像位置は、注目撮像位置と同じ、一方向に沿った列上にあるので、バッファメモリ１２０は、メディアンフィルタ７０２のサイズ（図３に示す例では、１×５画素分のサイズ）に対応したサイズのメモリを設ければよいので、少ないハードウェアで効率よく欠陥画素の画素値を補正することができる。
　従来の内視鏡システムでは、色画像データを生成したとき、例えば３×３画素分のメディアンフィルタを用いて、欠陥画素を補正していた。このため、欠陥画素における特異な画素値が、周囲の画素値に拡散して色画像データにおいて欠陥画素の大きさを広げる場合があった。しかも、３×３画素分のメディアンフィルタを用いるので、ラインバッファメモリを用いることはできず、撮像した画像データ全体をフレームメモリに一時保管しながら、例えば３×３画素分の画素値を取り出す処理を行う必要があり、ハードウェア設備を大きく増やす必要があった。この点で、内視鏡１００は、ハードウェア設備を大きく増やす必要がない。
　図２に示す装置構成によれば、欠陥画素を見出すために、補正処理を行うか否かの判定を判定回路１１８が行うが、装置構成を簡略化して、迅速に処理を行うためには、欠陥画素を見つけることをせず、撮像素子１０８から順次送られてくる画像データに対して、無条件に、補正処理回路１２２で補正処理を行ってもよい。
　したがって、この場合、補正処理回路１２２は、撮像素子１０８から出力される画像データ内の注目撮像位置における注目画素値を、注目撮像位置と同じ列上にある近傍注目撮像位置における近傍画素値及び注目画素値の中のメディアン値に変更する補正処理を、注目撮像位置を変更しながら繰り返し行うように構成される。この後、内視鏡１００は、上記補正処理された画像データから、色フィルタ１０８ｂの色ごとの画像情報を画素毎に含む色画像データを生成する。
　このため、この場合においても、撮像素子１０８における欠陥画素の画素値が、カラー画像において欠陥画素の周囲に拡散しない。しかも、近傍注目撮像位置は、注目撮像位置と同じ、一方向に沿った列上にあるので、バッファメモリ１２０は、メディアンフィルタ７０２のサイズ（図３に示す例では、１×５画素分のサイズ）に対応したサイズのメモリを設ければよいので、少ないハードウェアで効率よく欠陥画素の画素値を補正することができる。
　上述の判定回路１１８で用いる注目画素値と近傍注目画素値のばらつきは、近傍画素値と注目画素値の分散あるいは標準偏差であり、上述の所定の条件は、分散あるいは標準偏差が予め設定された閾値より大きいことであることが好ましい。分散あるいは標準偏差を用いることにより、欠陥画素として画素値が大きくばらついていることを定量的かつ確実に示すことができ、欠陥画素の位置をより確実に求めることができる。
　撮像素子１０８は、生体組織を一定時間間隔で複数回走査して撮像するので、撮像素子１０８から動画の画像データとして、ドライバ信号処理回路１１２に入力される。したがって、補正処理回路１２２（補正処理部）は、撮像素子１０８による異なる少なくとも２回の撮像によって得られる画像データ間で、第1注目撮像位置が同じ位置にある場合に、第1注目画素値を、メディアン値に変更するように構成されることも好ましい。欠陥画素の位置は、撮像が異なっていても同じ位置にあるので、上記構成により、欠陥画素の位置を、他のノイズ成分の混入と区別して確実に求めることができる。
　一実施形態によれば、上記撮像素子１０８による、撮像時刻の異なる少なくとも２回の撮像は、照明条件の異なる撮像である、ことが好ましい。照明条件が異なり、全体的に高い画素値の画像データの場合と、全体的に低い画素値の画像データの場合とでは、ノイズ成分の発生が異なり、いずれか一方の場合にノイズ成分が発生しない場合があるのに対して、欠陥画素の位置は、上記いずれの場合でも変化しない。このため、欠陥画素の位置を、他のノイズ成分の混入と区別して確実に求めることができる。
　一実施形態によれば、撮像素子１０８は複数回撮像し、撮像素子１０８は、画像データを順番に出力する撮像位置の走査方向が、撮像する度に、互いに直交する２方向の間で切り換わる場合、注目撮像位置と近傍注目撮像位置とが一方向に沿った同じ列上にあるときの一方向も、画像データを順番に出力する撮像位置の配列方向の切り換えに合わせて、撮像する度に２方向の間で切り換わることが好ましい。図３に示す例では、ある撮像時の画像データについては、メディアンフィルタ７０２の向きＸ方向とし、メディアンフィルタ７０２の移動もＸ方向とし、次の撮像時の画像データについては、メディアンフィルタ７０２の向きＹ方向とし、メディアンフィルタ７０２の移動もＹ方向とすることが好ましい。
このように、撮像素子１０８の出力する画素データの走査方向が、撮像する度に、互いに直交する２方向の間で切り換わることで、この配列方向の切り換わることに合わせて図３に示すメディアンフィルタ７０２の向きもＸ方向からＹ方向に切り換えることができるので、連続する画像において、メディアンフィルタ７０２を用いることによる解像度の低下をＸ方向とＹ方向に交互に切り換える。このため、モニタ３００に表示される画像において、画像の画質の劣化を抑制することができる。Ｘ方向及びＹ方向の一方向に固定してメディアンフィルタ７０２を用いる場合、一方向における画質が劣化し易い。
　上述の実施形態における色フィルタ１０８ｂは、どのような色フィルタの配列であってもよいが、一実施形態によれば、色フィルタ１０８ｂの配列パターンは、図３に示すように、２つの色フィルタが列上に交互に配置されているパターン（ベイヤ配列）である、ことが好ましい。これにより、最近傍撮像位置は、注目撮像位置に対して、Ｘ方向あるいはＹ方向に２つ撮像位置が離れた極めて近い位置になるので、近傍注目画素値を効率よく取り出すことができる。
　一実施形態によれば、近傍撮像位置は、最近傍撮像位置それぞれの最も近くにある、注目撮像位置とは異なる撮像位置を含むことが好ましい。すなわち、近傍撮像位置は、注目撮像位置に最も近い２つの最近傍注目撮像位置と、２つの最近傍注目撮像位置それぞれに最も近く、注目撮像位置ではない２つの撮像位置を含むことが好ましい。したがって、この場合、１つの注目撮像位置と、少なくとも４つの近傍撮像位置とを用いて、メディアン値を求めることが好ましい。これにより、欠陥画素の位置をより精度よく求めることができる。
　図４Ａは、従来の内視鏡システムで表示される画像の一例を示す図であり、図４Ｂは、一実施形態の内視鏡システムで表示される画像の一例を示す図である。
　図４Ａに示す表示画像では、白く点状に表示される６つの欠陥画素７１０と、黒く点状に表示される１つの欠陥画素７２０が示されている。欠陥画素７２０は、欠陥画素が拡散して黒い点状の領域が広がっている。
　これに対して、図４Ｂに示す表示画像では、欠陥画素７１０，７２０がない。これより、本実施形態の効果は明らかである。
　なお、ＣＹＧＭ（シアン、黄、緑、マゼンタ）フィルタおよびＲＧＢ（赤、緑、青、エメラルド)フィルタ等の他の色フィルタでも同様の効果を得ることができる。
　以上、本発明の内視鏡及び内視鏡システムについて詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

Claims (10)

  1. 　体腔内の生体組織を撮像する内視鏡であって、
    　色が異なる２色以上の色フィルタを所定の配列パターンで撮像位置に配置した撮像素子と、
    　前記撮像素子から出力される画像データ内の注目撮像位置と同じ、一方向に沿った列上にあり、前記注目撮像位置における色フィルタと同じ色の色フィルタの撮像位置のうち、前記注目撮像位置を間に挟んで前記注目撮像位置から最も近くにある前記列上の２つの最近傍撮像位置を少なくとも含む前記注目撮像位置近傍の近傍撮像位置における画素値を近傍画素値としたとき、前記注目撮像位置における注目画素値を、前記近傍画素値及び前記注目画素値の中のメディアン値に変更する処理を、前記注目撮像位置を変更しながら繰り返し行うように構成された補正処理部と、
    　前記補正処理部による前記処理後に、前記色フィルタの色ごとの画像情報を画素毎に含む色画像データを生成する色画像データ生成部と、を備えることを特徴とする内視鏡。
  2. 　体腔内の生体組織を撮像する内視鏡であって、
    　色が異なる２色以上の色フィルタを所定の配列パターンで撮像位置に配置した撮像素子と、
    　前記撮像素子から出力される画像データ内の注目撮像位置と同じ、一方向に沿った列上にあり、前記注目撮像位置における色フィルタと同じ色の色フィルタの撮像位置のうち、前記注目撮像位置を間に挟んで前記注目撮像位置から最も近くにある前記列上の２つの最近傍撮像位置を少なくとも含む前記注目撮像位置近傍の近傍撮像位置における画素値を近傍画素値としたとき、前記近傍画素値と前記注目撮像位置における注目画素値とのばらつきが所定の条件を少なくとも満足する第1注目撮像位置における第1注目画素値を、前記近傍画素値及び前記第1注目画素値の中のメディアン値に変更し、前記所定の条件を満足しない第２注目撮像位置における第２注目画素値については変更せず維持する処理を、前記注目撮像位置を変更しながら繰り返し行うように構成された補正処理部と、
    　前記補正処理部による前記処理後に、前記色フィルタの色ごとの画像情報を画素毎に含む色画像データを生成する色画像データ生成部と、を備えることを特徴とする内視鏡。
  3. 　前記ばらつきは、前記近傍画素値と前記注目画素値の分散あるいは標準偏差であり、
    　前記所定の条件は、前記分散あるいは前記標準偏差が予め設定された閾値より大きいことである、請求項２に記載の内視鏡。
  4. 　前記撮像素子は、生体組織を一定時間間隔で複数回撮像し、
    前記補正処理部は、前記撮像素子による、撮像時刻の異なる少なくとも２回の撮像によって得られる画像データ間で、前記第1注目撮像位置が同じ位置にある場合に、前記第1注目画素値を、前記メディアン値に変更するように構成されている、請求項２または３に記載の内視鏡。
  5. 　前記撮像素子による前記２回の前記撮像は、照明条件の異なる撮像である、請求項４に記載の内視鏡。
  6. 　前記一方向は、前記撮像素子が前記画像データを順番に出力する撮像位置の１つの配列方向と同じである、請求項１～５のいずれか１項に記載の内視鏡。
  7. 　前記撮像素子は複数回撮像し、前記撮像素子は、前記画像データを順番に出力する撮像位置の走査方向が、撮像する度に、互いに直交する２方向の間で切り換わり、
    　前記一方向は、前記撮像する度に前記２方向の間で切り換わる、請求項６に記載の内視鏡。
  8. 　前記配列パターンは、２つの色フィルタが前記列上に交互に配置されているパターンである、請求項１～７のいずれか１項に記載の内視鏡。
  9. 　前記近傍撮像位置は、前記最近傍撮像位置それぞれの最も近くにある、前記注目撮像位置とは異なる撮像位置を含む、請求項１～８のいずれか１項に記載の内視鏡。
  10. 　請求項１～９のいずれか１項に記載の内視鏡と、
    　前記撮像素子の撮像により得られた画像を画像処理する内視鏡用プロセッサと、
    　画像処理の施された前記画像を表示するモニタと、を備える、内視鏡システム。
PCT/JP2021/004003 2020-03-27 2021-02-03 内視鏡及び内視鏡システム WO2021192644A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/780,269 US20220409029A1 (en) 2020-03-27 2021-02-03 Endoscope and endoscope system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020058551A JP2021153961A (ja) 2020-03-27 2020-03-27 内視鏡及び内視鏡システム
JP2020-058551 2020-03-27

Publications (1)

Publication Number Publication Date
WO2021192644A1 true WO2021192644A1 (ja) 2021-09-30

Family

ID=77891400

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/004003 WO2021192644A1 (ja) 2020-03-27 2021-02-03 内視鏡及び内視鏡システム

Country Status (3)

Country Link
US (1) US20220409029A1 (ja)
JP (1) JP2021153961A (ja)
WO (1) WO2021192644A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004313413A (ja) * 2003-04-15 2004-11-11 Olympus Corp 内視鏡装置
JP2006026234A (ja) * 2004-07-20 2006-02-02 Olympus Corp 生体内撮像装置および生体内撮像システム
JP2006081719A (ja) * 2004-09-16 2006-03-30 Olympus Corp カプセル型内視鏡システム
JP2008005194A (ja) * 2006-06-22 2008-01-10 Fujifilm Corp 欠陥画素の検出装置及び検出方法
JP2009153942A (ja) * 2007-12-28 2009-07-16 Shimadzu Corp 放射線検出器のライン状異常画像素子の検出方法と放射線撮像装置
JP2016123826A (ja) * 2015-01-08 2016-07-11 オリンパス株式会社 内視鏡システム、内視鏡システムの作動方法
WO2019194106A1 (ja) * 2018-04-06 2019-10-10 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004313413A (ja) * 2003-04-15 2004-11-11 Olympus Corp 内視鏡装置
JP2006026234A (ja) * 2004-07-20 2006-02-02 Olympus Corp 生体内撮像装置および生体内撮像システム
JP2006081719A (ja) * 2004-09-16 2006-03-30 Olympus Corp カプセル型内視鏡システム
JP2008005194A (ja) * 2006-06-22 2008-01-10 Fujifilm Corp 欠陥画素の検出装置及び検出方法
JP2009153942A (ja) * 2007-12-28 2009-07-16 Shimadzu Corp 放射線検出器のライン状異常画像素子の検出方法と放射線撮像装置
JP2016123826A (ja) * 2015-01-08 2016-07-11 オリンパス株式会社 内視鏡システム、内視鏡システムの作動方法
WO2019194106A1 (ja) * 2018-04-06 2019-10-10 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム

Also Published As

Publication number Publication date
US20220409029A1 (en) 2022-12-29
JP2021153961A (ja) 2021-10-07

Similar Documents

Publication Publication Date Title
JP5435916B2 (ja) 電子内視鏡システム
JP5968944B2 (ja) 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法
JP5863709B2 (ja) 内視鏡システム
JP6047467B2 (ja) 内視鏡システム及びその作動方法
WO2016121556A1 (ja) 内視鏡用のプロセッサ装置、及びその作動方法、並びに制御プログラム
JP6389140B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2016110984A1 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
WO2016084257A1 (ja) 内視鏡装置
JP7374600B2 (ja) 医療用画像処理装置及び医療用観察システム
JP4694310B2 (ja) 電子内視鏡、内視鏡光源装置、内視鏡プロセッサ、および内視鏡システム
JP2015160098A (ja) 内視鏡システム
JPWO2018163500A1 (ja) 内視鏡装置
JP6392486B1 (ja) 内視鏡システム
JP5041936B2 (ja) 生体観測装置
JP6285370B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム、及び内視鏡システム
JP6556076B2 (ja) 内視鏡画像信号処理装置および方法並びにプログラム
JP6430880B2 (ja) 内視鏡システム、及び、内視鏡システムの作動方法
WO2021192644A1 (ja) 内視鏡及び内視鏡システム
JP6346501B2 (ja) 内視鏡装置
JP7411515B2 (ja) 内視鏡システム及びその作動方法
JP7386266B2 (ja) 内視鏡システム及びその作動方法
WO2021172131A1 (ja) 内視鏡システム、及び内視鏡システムの作動方法
JP2010279457A (ja) 電子内視鏡、電子内視鏡システムおよび色調整方法
JP7089943B2 (ja) 内視鏡システム
JP2019118759A (ja) 電子内視鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21776403

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21776403

Country of ref document: EP

Kind code of ref document: A1