WO2020230332A1 - 内視鏡、画像処理装置、内視鏡システム、画像処理方法およびプログラム - Google Patents

内視鏡、画像処理装置、内視鏡システム、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2020230332A1
WO2020230332A1 PCT/JP2019/019580 JP2019019580W WO2020230332A1 WO 2020230332 A1 WO2020230332 A1 WO 2020230332A1 JP 2019019580 W JP2019019580 W JP 2019019580W WO 2020230332 A1 WO2020230332 A1 WO 2020230332A1
Authority
WO
WIPO (PCT)
Prior art keywords
light receiving
pixel
unit
light
pixel signal
Prior art date
Application number
PCT/JP2019/019580
Other languages
English (en)
French (fr)
Inventor
理 足立
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2019/019580 priority Critical patent/WO2020230332A1/ja
Publication of WO2020230332A1 publication Critical patent/WO2020230332A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • the present disclosure relates to an endoscope, an image processing device, an endoscope system, an image processing method, and a program that capture an in-vivo image in a subject by being inserted into the subject.
  • an imaging device such as a digital camera
  • a first photoelectric conversion unit and a second photoelectric conversion unit having different light receiving areas in pixels arranged in a two-dimensional matrix
  • the image quality is not deteriorated and the image quality is dynamic.
  • a technique for expanding the range is known (see, for example, Patent Document 1).
  • the charge overflowing from the second photoelectric conversion unit is charged by the overflow path formed under the gate electrode of the third transfer gate unit that transfers the charge from the second photoelectric conversion unit to the charge storage unit.
  • the dynamic range of the image by the second photoelectric conversion unit is expanded.
  • the image signal processing device has an image having a wider dynamic range than the first photoelectric conversion unit captured by the second photoelectric conversion unit and a high sensitivity image taken by using the first photoelectric conversion unit.
  • Wide dynamic lens that combines the image and the image A single image with an expanded dynamic range is generated by performing image composition processing.
  • Patent Document 1 described above, an image having a wide dynamic range taken by using the second optical photoelectric conversion unit and a highly sensitive image taken by using the first photoelectric conversion unit are combined. If either of the photoelectric conversion units is saturated, the dynamic range cannot be expanded and the resolution is lowered.
  • the present disclosure has been made in view of the above, and is an endoscope, an image processing device, and an endoscope capable of expanding the dynamic range and preventing a decrease in resolution. It is an object of the present invention to provide a system, an image processing method and a program.
  • a plurality of first light receiving parts and a plurality of second light receiving parts are arranged, and the first light receiving part is provided.
  • the second light receiving unit has different light receiving sensitivities and light receiving areas from each other, and a pixel part that generates a pixel signal according to the amount of light received, and each of the plurality of first light receiving parts and the plurality of second light receiving parts.
  • An image pickup element having a reading unit for reading the pixel signal as image data from the image, and the first light receiving unit or the second light receiving unit generated for each pixel constituting the image based on the image data. It includes a determination unit that determines a pixel signal, and a development unit that generates a display image based on the image data based on the determination result determined by the determination unit.
  • the plurality of first light receiving parts and the plurality of second light receiving parts are arranged in a two-dimensional matrix with the same pitch width and shifted positions. Become.
  • any one of a red filter, a blue filter and a green filter is arranged on the light receiving surface of the plurality of first light receiving units.
  • any one of a cyan filter and a yellow filter is arranged on the light receiving surface of the plurality of first light receiving units.
  • At least one kind of complementary color filter is arranged on the light receiving surface of the plurality of first light receiving units.
  • the light receiving area and the light receiving sensitivity of the first light receiving part are larger than the light receiving area and the light receiving sensitivity of the second light receiving part.
  • the developing unit is generated by each of the pixel signal generated by each of the plurality of first light receiving units and each of the plurality of second light receiving units.
  • the display image is generated using the pixel signal.
  • the endoscope determines whether or not the pixel signal generated by each of the plurality of first light receiving units is less than the first threshold value.
  • the developing unit determines that the pixel signal is less than the first threshold value among a plurality of adjacent pixels adjacent to the pixel of interest by the determination unit.
  • attention is paid to using the pixel signal generated by the first light receiving unit that is determined by the determination unit to be less than the first threshold value.
  • the display image is generated by interpolating the pixel signals of the pixels.
  • the determination unit determines whether or not the pixel signal generated by each of the plurality of first light receiving units is saturated, and the development unit. Corresponds to the first light receiving unit in which a plurality of adjacent pixels adjacent to the pixel of interest are determined by the determination unit to be saturated with the pixel signal when interpolating the pixel signal of the pixel of interest. When there is, the display image is generated by interpolating the pixel signal of the pixel of interest using the pixel signal generated by the second light receiving unit corresponding to each of the plurality of adjacent pixels.
  • the endoscope determines whether or not the pixel signal generated by each of the plurality of first light receiving units is saturated, and the plurality of second light receiving units. It is determined whether or not the pixel signal generated by each of the light receiving units is equal to or greater than the second threshold value, and the developing unit determines whether or not the pixel signal is equal to or higher than the second threshold value, and the developing unit is adjacent to a plurality of adjacent pixels of interest when interpolating the pixel signals of the pixels of interest. Some of the pixels correspond to the first light receiving unit whose pixel signal is determined not to be saturated by the determination unit, and among a plurality of adjacent pixels adjacent to the pixel of interest, the determination unit determines that the pixel signal is not saturated.
  • the first light receiving unit and the second light receiving unit corresponding to each of the plurality of adjacent pixels are used.
  • the display image is generated by interpolating the pixel signal of the pixel of interest using the pixel signal generated by the light receiving unit.
  • the endoscope according to the present disclosure is a subject when the determination unit is sequentially irradiated with light in the blue wavelength band, light in the green wavelength band, and light in the red wavelength band.
  • the first light receiving unit and the second light receiving unit are sequentially received from the light reflected from the light, the first light receiving unit or the second light receiving unit is used for each image data and for each pixel constituting the image. Determines the pixel signal generated by.
  • the endoscope according to the present disclosure is a special case in which the development unit is a combination of a narrow band light included in a blue wavelength band and a narrow band light included in a green wavelength band.
  • the development unit is a combination of a narrow band light included in a blue wavelength band and a narrow band light included in a green wavelength band.
  • the endoscope according to the present disclosure is irradiated with white light including light in a blue wavelength band, light in a green wavelength band, and light in a red wavelength band.
  • white light including light in a blue wavelength band, light in a green wavelength band, and light in a red wavelength band.
  • the attention pixel corresponds to the second light receiving portion, a plurality of objects adjacent to the attention pixel.
  • the display image is generated by interpolating the pixel signal by estimating the color of the pixel of interest using the pixel signal generated by the first light receiving unit corresponding to the adjacent pixel.
  • the endoscope according to the present disclosure is the first one, in which the developing unit corresponds to a plurality of adjacent pixels adjacent to the pixel of interest when the pixel of interest corresponds to the second light receiving unit.
  • the display image is generated by performing chroma suppress processing on the pixel signal generated by the light receiving unit of the above and interpolating the pixel signal.
  • a plurality of first light receiving parts and a plurality of second light receiving parts are arranged, and the first light receiving part and the second light receiving part have mutual light receiving sensitivities.
  • a pixel unit that has a different light receiving area and generates a pixel signal according to the amount of light received, and a reading unit that reads out the pixel signal as image data from each of the plurality of first light receiving units and the plurality of second light receiving units.
  • An image processing device to which an endoscope provided at the tip of an insertion portion to be inserted into a subject is connected to an image pickup element having the above, and based on the image data, the first image is formed for each pixel constituting the image.
  • a determination unit that determines the pixel signal generated by the light receiving unit or the second light receiving unit, and a developing unit that generates a display image based on the image data based on the determination result determined by the determination unit. Be prepared.
  • the endoscope system includes the above-mentioned endoscope, a processing device to which the above-mentioned endoscope is connected and the said image data is input, and light in a red wavelength band and a green wavelength band.
  • a light source device capable of irradiating light and light in a blue wavelength band is provided, and the processing device includes the first light receiving unit or the second light receiving unit for each pixel constituting the image based on the image data.
  • a determination unit that determines the pixel signal generated by the unit, and a development unit that generates a display image of the image data based on the determination result determined by the determination unit are provided.
  • the endoscopic system is a lesion in an image based on the image data based on a learning result in which the processing device has learned the characteristics of the lesion in advance with respect to the image data. Further includes a lesion detection unit for detecting a lesion, and a display control unit for superimposing the detection result detected by the lesion detection unit on the display image and outputting the detection result to the display device.
  • a plurality of first light receiving parts and a plurality of second light receiving parts are arranged, and the first light receiving part and the second light receiving part have mutual light receiving sensitivities.
  • a pixel unit that has a different light receiving area and generates a pixel signal according to the amount of light received, and a reading unit that reads out the pixel signal as image data from each of the plurality of first light receiving units and the plurality of second light receiving units.
  • the generated pixel signal is determined, and a display image based on the image data is generated based on the determination result of the pixel signal of each pixel.
  • a plurality of first light receiving parts and a plurality of second light receiving parts are arranged, and the first light receiving part and the second light receiving part are mutually receiving sensitivity and light receiving area.
  • a pixel unit that generates a pixel signal according to the amount of received light and a reading unit that reads out the pixel signal as image data from each of the plurality of first light receiving units and the plurality of second light receiving units.
  • FIG. 1 is a schematic configuration diagram of an endoscope system according to a first embodiment.
  • FIG. 2 is a block diagram showing a functional configuration of a main part of the endoscope system according to the first embodiment.
  • FIG. 3 is a diagram schematically showing an example in which a color filter is arranged on the light receiving surface of the pixel portion according to the first embodiment.
  • FIG. 4 is a diagram schematically showing the spectral characteristics of each pixel according to the first embodiment.
  • FIG. 5 is a flowchart showing an outline of the processing executed by the endoscope system according to the first embodiment.
  • FIG. 6 is a flowchart showing an outline of the normal light observation mode processing of FIG. FIG.
  • FIG. 7 is a diagram schematically showing an interpolation process performed by the developing unit when the light source device according to the first embodiment irradiates B light.
  • FIG. 8 is a diagram schematically showing an interpolation process performed by the developing unit when the light source device according to the first embodiment irradiates G light.
  • FIG. 9 is a diagram schematically showing an interpolation process performed by the developing unit when the light source device according to the first embodiment irradiates R light.
  • FIG. 10 is a flowchart showing an outline of the special light observation mode processing of FIG.
  • FIG. 11 is a diagram schematically showing an interpolation process performed by the developing unit when the light source device according to the first embodiment irradiates special light.
  • FIG. 12 is a block diagram showing a functional configuration of the lumbar region of the endoscope system according to the second embodiment.
  • FIG. 13 is a diagram schematically showing an interpolation process performed by the subtraction unit when the light source device according to the second embodiment irradiates W light.
  • FIG. 14 is a diagram schematically showing an example in which a color filter is arranged on the light receiving surface of the pixel portion according to the first modification of the first and second embodiments.
  • FIG. 15 is a diagram schematically showing an interpolation process performed by the developing unit when the light source device according to the first modification of the first and second embodiments is irradiated with W light.
  • FIG. 13 is a diagram schematically showing an interpolation process performed by the subtraction unit when the light source device according to the second embodiment irradiates W light.
  • FIG. 14 is a diagram schematically showing an example in which a color filter is arranged on the light receiving surface of the pixel portion according to the first modification of the first and second embodiments.
  • FIG. 16 is a diagram schematically showing an example in which a color filter is arranged on the light receiving surface of the pixel portion according to the second modification of the first and second embodiments.
  • FIG. 17 is a diagram showing the relationship between the illumination light emitted by the light source device according to the third modification of the first and second embodiments and the sensitivity of each pixel.
  • FIG. 18 is a diagram schematically showing an example in which a color filter is arranged on the light receiving surface of the pixel portion according to the modified example 4 of the first and second embodiments.
  • FIG. 19 is a diagram schematically showing an interpolation process performed by the developing unit when the light source device according to the fourth modification of the first and second embodiments is irradiated with G light.
  • FIG. 20 is a diagram schematically showing an interpolation process performed by the developing unit when the light source device according to the fourth modification of the first and second embodiments irradiates the B light.
  • FIG. 21 is a diagram schematically showing an interpolation process performed by the developing unit when the light source device according to the fourth modification of the first and second embodiments irradiates R light.
  • FIG. 22 is a diagram schematically showing another interpolation process performed by the developing unit when the light source device according to the fourth modification of the first and second embodiments irradiates R light.
  • FIG. 1 is a schematic configuration diagram of an endoscope system according to a first embodiment.
  • FIG. 2 is a block diagram showing a functional configuration of a main part of the endoscope system according to the first embodiment.
  • the endoscope system 1 shown in FIGS. 1 and 2 images the inside of a subject by inserting the endoscope into the subject such as a patient, and outputs the captured image data to an external display device.
  • a user such as a doctor inspects the presence or absence of each of the bleeding site, the tumor site, and the abnormal site, which are the detection target sites, by observing the internal image displayed on the display device.
  • the endoscope system 1 includes an endoscope 2, a light source device 3, a display device 4, and a processing device 5 (processor).
  • the endoscope 2 images the inside of the subject and generates image data (RAW data), and outputs the generated image data to the processing device 5.
  • the endoscope 2 includes an insertion unit 21, an operation unit 22, and a universal cord 23.
  • the insertion portion 21 has an elongated shape with flexibility.
  • the insertion portion 21 is connected to a tip portion 24 incorporating an image pickup element 244, which will be described later, a bendable bending portion 25 composed of a plurality of bending pieces, and a base end side of the bending portion 25, and has flexibility. It has a long flexible tube portion 26 and.
  • the tip portion 24 includes a light guide 241 configured by using a glass fiber or the like and forming a light guide path for light emitted by the light source device 3, an illumination lens 242 provided at the tip of the light guide 241, and optics for condensing light.
  • the system 243 and the image pickup element 244 provided at the imaging position of the optical system 243 and having a plurality of pixels in which the optical system 243 collects light, receives light, and photoelectrically converts it into an electric signal are arranged in a two-dimensional manner. It has an endoscope recording unit 245 that records various information about the endoscope 2 and an imaging control unit 246 that controls an imaging element 244.
  • the image sensor 244 is configured by using an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). Specifically, in the image sensor 244, a plurality of pixels that output an electric signal by receiving light and performing photoelectric conversion are arranged in a two-dimensional manner, and a subject (body cavity) is imaged at a predetermined frame rate. Output image data (RAW data).
  • the image sensor 244 includes a pixel unit 2441, a color filter 2442, and a reading unit 2443.
  • FIG. 3 is a diagram schematically showing an example in which the color filter 2442 is arranged on the light receiving surface of the pixel unit 2441.
  • the pixel unit 2441 has a plurality of first light receiving units 2441a and a plurality of second light receiving units 2441b.
  • the plurality of first light receiving units 2441a and the plurality of second light receiving units 2441b have different light receiving sensitivities and light receiving areas. Specifically, the light receiving sensitivity and the light receiving area of the first light receiving unit 2441a are larger than the light receiving sensitivity and the light receiving area of the second light receiving unit 2441b.
  • the plurality of first light receiving units 2441a and the plurality of second light receiving units 24441b are arranged in a two-dimensional matrix with the same pitch width and shifted positions.
  • the first light receiving unit 2441a and the second light receiving unit 24441b include a photodiode that accumulates an electric charge according to the amount of light, an amplifier that amplifies the electric charge accumulated by the photodiode, and the like.
  • the color filter 2442 includes a red filter that transmits light in the red wavelength band (600 nm to 700 nm), a green filter that transmits light in the green wavelength band (500 nm to 600 nm), and light in the blue wavelength band (390 nm to 390 nm). It is constructed by using a blue filter that transmits (500 nm) and a filter having a Bayer arrangement. As shown in FIG. 3, the color filter 2442 includes one of a red filter, a green filter, and a blue filter arranged on the light receiving surface of the plurality of first light receiving units 2441a. Further, as shown in FIG. 3, in the color filter 2442, the color filter 2442 is not arranged on the light receiving surface of the second light receiving unit 2441b.
  • pixel RPD red filter, the green filter and the blue filter are arranged on the first light receiving unit 2441a
  • pixel GPD pixel GPD
  • pixel BPD second light receiving unit 2441b
  • pixel SPD pixel SPD
  • the reading unit 2443 Under the control of the image pickup control unit 246, the reading unit 2443 outputs pixel signals as image data from each of the plurality of first light receiving units 2441a and the plurality of second light receiving units 2441b to the outside.
  • the reading unit 2443 is configured by using a column circuit, a noise removing circuit, or the like.
  • the endoscope recording unit 245 records various information about the endoscope 2.
  • the endoscope recording unit 245 records identification information for identifying the endoscope 2, identification information for the image sensor 244, and the like.
  • the endoscope recording unit 245 is configured by using a non-volatile memory or the like.
  • the image pickup control unit 246 controls the operation of the image pickup element 244 based on the instruction information input from the processing device 5. Specifically, the image pickup control unit 246 controls the frame rate and the shooting timing of the image pickup device 244 based on the instruction information input from the processing device 5. For example, the image pickup control unit 246 causes the image pickup device 244 to generate and output image data at 120 fps.
  • the operation unit 22 includes a curved knob 221 that curves the curved portion 25 in the vertical and horizontal directions, a treatment tool insertion unit 222 that inserts a treatment tool such as a biological forceps, a laser scalpel, and an inspection probe into the body cavity, and a light source device 3.
  • a plurality of switches which are operation input units for inputting operation instruction signals of peripheral devices such as air supply means, water supply means, and gas supply means and prefreeze signals instructing the image sensor 244 to take a still image. It has 223 and.
  • the treatment tool inserted from the treatment tool insertion portion 222 is exposed from the opening (not shown) via the treatment tool channel (not shown) of the tip portion 24.
  • the universal cord 23 has at least a built-in light guide 241 and a condensing cable that bundles one or a plurality of cables.
  • the collecting cable is a signal line for transmitting and receiving signals between the endoscope 2, the light source device 3, and the processing device 5, and is a signal line for transmitting and receiving setting data, a signal line for transmitting and receiving image data, and a signal line. It includes a signal line for transmitting and receiving a driving timing signal for driving the image pickup element 244 and the like.
  • the universal cord 23 has a connector portion 27 that can be attached to and detached from the light source device 3.
  • the connector portion 27 has a coil-shaped coil cable 27a extending from the connector portion 27, and has a connector portion 28 detachable from the processing device 5 at the extending end of the coil cable 27a.
  • the light source device 3 supplies illumination light for irradiating the subject from the tip portion 24 of the endoscope 2.
  • the light source device 3 includes a light source device 3, a light source driver 32, and a lighting control unit 33.
  • the light source device 3 emits illumination light for irradiating the subject with any one of red wavelength band light, green wavelength band light, blue wavelength band light, and narrow band light (for example, wavelength band 415 nm + 540 nm). To do.
  • the light source device 3 includes a condenser lens 311, a first light source 312, a second light source 313, a third light source 314, and a fourth light source 315.
  • the condenser lens 311 is configured by using one or more lenses.
  • the condenser lens 311 collects the illumination light emitted by each of the first light source 312, the second light source 313, and the third light source 314, and emits the illumination light to the light guide 241.
  • the first light source 312 is configured by using a red LED (Light Emitting Diode) lamp.
  • the first light source 312 emits light in the red wavelength band (hereinafter, simply referred to as “R light”) based on the current supplied from the light source driver 32.
  • the second light source 313 is configured by using a green LED lamp.
  • the second light source 313 emits light in the green wavelength band (hereinafter, simply referred to as “G light”) based on the current supplied from the light source driver 32.
  • the third light source 314 is configured by using a blue LED lamp.
  • the third light source 314 emits light in the blue wavelength band (hereinafter, simply referred to as “B light”) based on the current supplied from the light source driver 32.
  • the fourth light source 315 is configured by using a purple (415 nm) color LED lamp, a filter that transmits light (540 nm) in a predetermined wavelength band, and a green LED.
  • the fourth light source 315 includes purple narrow band light (hereinafter, simply referred to as “V light”) included in the blue wavelength band and green wavelength band based on the current supplied from the light source driver 32. It emits special light that is a combination of narrow-band light (hereinafter, simply referred to as "g light").
  • the light source driver 32 supplies a current to the first light source 312, the second light source 313, the third light source 314, and the fourth light source 315. Light is emitted according to the observation mode set in the endoscope system 1. Specifically, the light source driver 32 has a first light source 312 and a second light source 313 when the observation mode set in the endoscope system 1 is the normal observation mode under the control of the illumination control unit 33. And the third light source 314 is sequentially emitted (plane sequential method). Further, the light source driver 32 simultaneously switches to the second light source 313 and the fourth light source 315 when the observation mode set in the endoscope system 1 is the special light observation mode under the control of the illumination control unit 33. Make it emit.
  • the lighting control unit 33 controls the lighting timing of the light source device 3 based on the instruction signal received from the processing device 5. Specifically, the illumination control unit 33 sequentially emits light to the first light source 312, the second light source 313, and the third light source 314 at a predetermined cycle. Further, the illumination control unit 33 simultaneously emits the second light source 313 and the fourth light source 315 at a predetermined cycle.
  • the lighting control unit 33 is configured by using a CPU (Central Processing Unit) or the like.
  • the display device 4 displays an image corresponding to the image data generated by the endoscope 2 received from the processing device 5.
  • the display device 4 displays various information about the endoscope system 1.
  • the display device 4 is configured by using a display panel such as a liquid crystal or an organic EL (Electro Luminescence).
  • the processing device 5 receives the image data generated by the endoscope 2, performs predetermined image processing on the received image data, and outputs the received image data to the display device 4. Further, the processing device 5 comprehensively controls the operation of the entire endoscope system 1.
  • the processing device 5 includes an image processing unit 51, an input unit 52, a recording unit 53, a lesion detection unit 54, and a processing control unit 55.
  • the image processing unit 51 receives the image data generated by the endoscope 2 under the control of the processing control unit 55, performs predetermined image processing on the received image data, and outputs the received image data to the display device 4.
  • the image processing unit 51 is configured by using a memory and a processor having hardware such as GPU (Graphics Processing Unit), DSP (Digital Signal Processing) or FPGA (Field Programmable Gate Array).
  • the image processing unit 51 includes at least a determination unit 510, a developing unit 511, a super-resolution processing unit 512, and a display control unit 513.
  • the determination unit 510 determines the pixel signal generated by the first light receiving unit 2441a or the second light receiving unit 2441b for each pixel constituting the image based on the image data generated by the image sensor 244. Specifically, the determination unit 510 determines the image signal for each pixel. Further, the determination unit 510 determines whether or not the pixel signal generated by each of the plurality of first light receiving units 2441a is less than the first threshold value. In addition, the determination unit 510 determines whether or not the pixel signals generated by each of the plurality of first light receiving units 2441a are saturated.
  • the determination unit 510 determines whether or not the pixel signals generated by each of the plurality of first light receiving units 2441a are saturated, and the pixel signals generated by each of the plurality of second light receiving units 2441b. Is equal to or greater than the second threshold value.
  • the developing unit 511 generates a display image based on the image data based on the determination result determined by the determination unit 510. Specifically, the developing unit 511 generates a display image by using the pixel signal generated by each of the plurality of first light receiving units 2441a and the pixel signal generated by each of the plurality of second light receiving units 2441b. .. More specifically, when interpolating the pixel signal of the pixel of interest, the developing unit 511 determines that the pixel signal is less than the first threshold value by the determination unit 510 among the plurality of adjacent pixels adjacent to the pixel of interest.
  • a display image is generated by interpolating the pixel signals of the pixels. Further, when the development unit 511 interpolates the pixel signal of the pixel of interest, the first light receiving unit 2441a in which the plurality of adjacent pixels adjacent to the pixel of interest are determined by the determination unit 510 that the pixel signal is saturated. When there is a corresponding one, a display image is generated by interpolating the pixel signal of the pixel of interest using the pixel signal generated by the second light receiving unit 2441b corresponding to each of the plurality of adjacent pixels.
  • the development unit 511 interpolates the pixel signal of the pixel of interest
  • the first light receiving unit 2441a in which the plurality of adjacent pixels adjacent to the pixel of interest are determined by the determination unit 511 that the pixel signal is not saturated.
  • a display image is generated by interpolating the pixel signals of the pixel of interest using the pixel signals generated by the first light receiving unit 2441a and the second light receiving unit 2441b corresponding to each of the plurality of adjacent pixels.
  • the developing unit 511 chromates the pixel signal generated by the first light receiving unit 2441a corresponding to the plurality of adjacent pixels adjacent to the pixel of interest.
  • a display image is generated by performing suppress processing and interpolating pixel signals.
  • the super-resolution processing unit 512 performs a well-known resolution improvement process on the display image generated by the developing unit 511. For example, the super-resolution processing unit 512 uses the learning results of learning a plurality of image data using different types of neural networks and the like to improve the resolution of the pixel signals of each pixel of the display image. Perform processing. For example, the super-resolution processing unit 512 uses image data based on a learning result by a neural network that has learned a plurality of low-resolution image data and a learning result by a neural network that has learned a plurality of high-resolution image data. Performs resolution improvement processing to improve the resolution of.
  • the display control unit 513 causes the display device 4 to display the display image generated by the development unit 511 or the display image whose resolution has been improved by the super-resolution processing unit 512.
  • the input unit 52 receives the input of the instruction signal instructing the operation of the endoscope system 1 and outputs the received instruction signal to the processing control unit 55.
  • the input unit 52 receives an input of an instruction signal instructing either the normal observation mode or the special light observation mode, and outputs the accepted instruction signal to the processing control unit 55.
  • the normal observation mode is a mode in which R light, G light, and B light are sequentially emitted toward the subject for observation.
  • the special light observation mode is a mode in which narrow-band light is emitted toward the subject for observation.
  • the input unit 52 is configured by using a switch, a button, a touch panel, and the like.
  • the recording unit 53 records various programs executed by the endoscope system 1, data being executed by the endoscope system 1, and image data generated by the endoscope 2.
  • the recording unit 53 is configured by using a volatile memory, a non-volatile memory, a memory card, or the like.
  • the recording unit 53 has a program recording unit 531 that records various programs executed by the endoscope system 1.
  • the lesion detection unit 54 detects a lesion appearing in an image corresponding to the image data generated by the endoscope 2 based on a learning result learned in advance using a plurality of image data obtained by imaging the lesion or the living body of the subject. It is detected and the detection result is output to the image processing unit 51.
  • the lesion detection unit 54 is configured by using, for example, a support vector machine using a neural network or the like, a classifier, or the like. Further, the lesion detection unit 54 is configured by using a processor having hardware such as a memory and a GPU. Further, the lesion detection unit 54 acquires image data from the endoscope 2 via a communication network (not shown), and outputs the lesion result obtained by detecting the lesion on the acquired image data to the processing device 5. It may be.
  • the processing control unit 55 is configured by using a memory and a processor having FPGA or CPU hardware.
  • the processing control unit 55 controls each unit constituting the endoscope system 1. For example, when an instruction signal for switching the illumination light emitted by the light source device 3 is input from the input unit 52, the processing control unit 55 switches the illumination light emitted by the light source device 3 by controlling the illumination control unit 33. ..
  • FIG. 4 is a diagram schematically showing the spectral characteristics of each pixel.
  • the horizontal axis represents the sensitivity (transmittance) of each pixel, and the horizontal axis represents the wavelength.
  • curve L B represents the sensitivity of the pixel BPD
  • curve L G represents the sensitivity of the pixel GPD
  • curve L R represents the sensitivity of the pixel RPD
  • curve L N indicates the sensitivity of the pixel SPD.
  • FIG. 5 is a flowchart showing an outline of the processing executed by the endoscope system 1.
  • the endoscope system 1 acquires image data (step S101). Specifically, the light source device 3 irradiates the subject with illumination light according to the observation mode set in the endoscope system 1 under the control of the processing control unit 55. For example, when the observation mode of the endoscope system 1 is the normal light observation mode, the light source device 3 has R light, G light, and B light for each of the first light source 312, the second light source 313, and the third light source 314. Light is emitted in sequence. On the other hand, when the observation mode of the endoscope system 1 is the special light observation mode, the light source device 3 emits special light including g light and V light to the fourth light source 315. Then, the endoscope 2 generates image data by imaging the subject irradiated with the illumination light, and outputs the image data to the image processing unit 51.
  • the observation mode of the endoscope system 1 is the normal light observation mode
  • the light source device 3 has R light, G light, and B light for each of the first light source 312, the second
  • step S102 when the observation mode of the endoscope system 1 is the normal light observation mode (step S102: Yes), the endoscope system 1 executes the normal light observation mode process (step S103).
  • FIG. 6 is a flowchart showing an outline of the normal light observation mode processing.
  • the determination unit 510 sets the pixel address of the pixel of interest for determining the pixel signal of each pixel of the image corresponding to the image data input from the endoscope 2 (step S200). Specifically, the determination unit 510 sets a predetermined position on the image corresponding to the image data, for example, the pixel address of the pixel of interest whose origin is the pixel in the upper left corner of the four corners. More specifically, when the horizontal direction is x and the vertical direction is y, the determination unit 510 sets the pixel of interest with the pixel in the upper left corner as the origin (1,1). In the first embodiment, the determination unit 510 determines all the pixel signals of the large PD and the small PD, but may determine only the pixel signals of the large PD.
  • the determination unit 510 determines whether or not the pixel signal of each of the plurality of adjacent pixels adjacent to the pixel of interest is less than the first threshold value (step S201). Specifically, when the pixel of interest of the determination target set in step S201 is a large PD, the determination unit 510 determines whether or not the pixel signal of the large PD adjacent to the large PD is less than the first threshold value. judge.
  • the first threshold value is a value of appropriate exposure to the extent that the highlight portion and the shadow portion are not crushed when the image data is developed.
  • step S201: Yes the endoscope system 1 proceeds to step S202 described later. Transition.
  • step S201: No the endoscope system 1 will be described later. Step S205.
  • step S202 the developing unit 511 performs an interpolation process for interpolating the pixel signals of the pixels of interest based on the pixel signals of a plurality of large PDs adjacent to the pixels of interest.
  • the determination unit 510 increments the pixel address of the pixel of interest (step S203). Specifically, the determination unit 510 adds any one of the horizontal and vertical pixel addresses in the pixel address. For example, when the pixel address of the current pixel of interest is (1,1), the determination unit 510 increments the pixel address to the next pixel address (1,2).
  • the determination unit 510 determines whether or not all the pixels of the image corresponding to the image data input from the endoscope 2 have been completed (step S204). When it is determined by the determination unit 510 that all the pixels of the image corresponding to the image data input from the endoscope 2 have been completed (step S204: Yes), the endoscope system 1 returns to the main routine of FIG. .. On the other hand, when it is determined by the determination unit 510 that all the pixels of the image corresponding to the image data input from the endoscope 2 have not been completed (step S204: No), the endoscope system 1 determines. The process returns to step S201 described above.
  • step S205 the determination unit 510 determines whether or not the pixel signals of the plurality of adjacent pixels adjacent to the pixel of interest are saturated.
  • the determination unit 510 determines that the pixel signals of the plurality of adjacent pixels adjacent to the pixel of interest are saturated (step S205: Yes)
  • the endoscope system 1 proceeds to step S206 described later.
  • the determination unit 510 determines that the pixel signals of the plurality of adjacent pixels adjacent to the pixel of interest are not saturated (step S205: No)
  • the endoscope system 1 is described in the step described later. Move to S207.
  • step S206 the developing unit 511 performs an interpolation process for interpolating the pixel signals of the pixels of interest based on the pixel signals of a plurality of small PDs adjacent to the pixels of interest.
  • step S206 the endoscope system 1 shifts to step S203.
  • step S207 the determination unit 510 determines whether or not the pixel signal of the small PD among the plurality of adjacent pixels adjacent to the pixel of interest is equal to or greater than the second threshold value.
  • the second threshold value is a pixel signal that can secure the SN ratio of the small PD.
  • step S207 determines that the pixel signal of the small PD among the plurality of adjacent pixels adjacent to the pixel of interest is not equal to or greater than the second threshold value (step S207: No).
  • the endoscope system 1 determines that the pixel signal of the small PD among the plurality of adjacent pixels adjacent to the pixel of interest is not equal to or greater than the second threshold value (step S207: No).
  • step S208 the developing unit 511 performs an interpolation process for interpolating the pixel signal of the large PD, which is the pixel of interest, based on the pixel signals of the plurality of small PDs adjacent to the pixel of interest.
  • the endoscope system 1 proceeds to step S203.
  • step S209 the developing unit 511 performs interpolation processing for interpolating the pixel signal of the large PD which is the pixel of interest based on the pixel signals of the plurality of large PDs adjacent to the pixel of interest.
  • step S209 the endoscope system 1 shifts to step S203.
  • step S202 the details of the interpolation processing performed by the developing unit 511 described in step S202, step S206, step S208 and step S209 described above will be described.
  • a large PD having no pixel signal as the pixel of interest will be described as an example, but the same processing is performed even when the pixel signal of the pixel of interest is saturated. If the pixel of interest has a pixel signal, the developing unit 511 uses the pixel signal to generate a display image.
  • FIG. 7 is a diagram schematically showing an interpolation process performed by the developing unit 511 when the light source device 3 irradiates B light.
  • the developing unit 511 uses the pixel signals of the adjacent pixels BPD1 to the adjacent pixels BPD4 adjacent to the attention pixel PD1 and a well-known interpolation processing technique to use the pixels of the attention pixel PD1 which is a large PD. Interpolate the signal. Since the developing unit 511 performs the same interpolation processing in step S209, detailed description thereof will be omitted.
  • the pixel signals of the adjacent pixels BPD1 to the adjacent pixels BPD4, which are a plurality of adjacent pixels adjacent to the pixel of interest, are saturated by the reflected light of a forceps and a subject at a short distance or the laser light of a laser knife or the like.
  • the developing unit 511 uses the pixel signals of the adjacent pixels SPD1 to adjacent pixels SPD4 adjacent to the pixel of interest and a well-known interpolation processing technique to perform an interpolation process for interpolating the pixel signals of the pixel of interest PD1 (large PD). I do.
  • the attention pixel PD1 which is a large PD, does not have color information due to B light, but has luminance information, so that it is displayed as a monochrome image at the time of display.
  • the developing unit 511 is a relatively bright portion, and the pixel signals of the large PDs (adjacent pixel BPD1 to adjacent pixel BPD4), which are a plurality of adjacent pixels adjacent to the pixel of interest PD1, are not saturated.
  • the pixel signals of the plurality of adjacent pixels SPD1 to adjacent pixels SPD4 adjacent to the attention pixel PD1 are equal to or greater than the second threshold value
  • the pixel signals of the attention pixel PD1 are transferred to the adjacent pixels BPD1 to adjacent pixels BPD4 and the adjacent pixels SPD1 to adjacent pixels.
  • An interpolation process is performed in which each pixel signal of the SPD 4 is interpolated using a well-known interpolation.
  • FIG. 8 is a diagram schematically showing an interpolation process performed by the developing unit 511 when the light source device 3 is irradiated with G light.
  • the developing unit 511 uses the pixel signals of the adjacent pixels GPD1 to the adjacent pixels GPD4 adjacent to the attention pixel PD1 and the well-known interpolation processing technique to use the pixels of the attention pixel PD1 which is a large PD. Interpolate the signal. Since the developing unit 511 performs the same interpolation processing in step S209, detailed description thereof will be omitted.
  • the developing unit 511 uses the pixel signals of the adjacent pixels SPD1 to adjacent pixels SPD4 adjacent to the pixel of interest and a well-known interpolation processing technique to perform an interpolation process for interpolating the pixel signals of the pixel of interest PD1 (large PD). I do.
  • the developing unit 511 performs chroma suppress processing on the pixel signals of the adjacent pixels SPD1 to adjacent pixels SPD4 adjacent to the pixel of interest to perform natural image transition processing.
  • the attention pixel PD1 which is a large PD, does not have color information due to G light, but has luminance information, so that it is displayed as a monochrome image at the time of display, but it becomes a natural image.
  • the developing unit 511 is a relatively bright portion, and the pixel signals of the large PDs (adjacent pixel GPD1 to adjacent pixel GPD4), which are a plurality of adjacent pixels adjacent to the pixel of interest PD1, are not saturated.
  • the pixel signals of the plurality of adjacent pixels SPD1 to adjacent pixels SPD4 adjacent to the attention pixel PD1 are equal to or greater than the second threshold value
  • the pixel signals of the attention pixel PD1 are transferred to the adjacent pixels GPD1 to adjacent pixels GPD4 and the adjacent pixels SPD1 to adjacent pixels.
  • An interpolation process is performed in which each pixel signal of the SPD 4 is interpolated using a well-known interpolation.
  • FIG. 9 is a diagram schematically showing an interpolation process performed by the developing unit 511 when the light source device 3 irradiates R light.
  • the developing unit 511 uses the pixel signals of the adjacent pixels RPD1 to the adjacent pixels RPD4 adjacent to the attention pixel PD1 and a well-known interpolation processing technique to use the pixels of the attention pixel PD1 which is a large PD. Interpolate the signal. Since the developing unit 511 performs the same interpolation processing in step S209, detailed description thereof will be omitted.
  • the pixel signals of the adjacent pixels RPD1 to the adjacent pixels RPD4, which are a plurality of adjacent pixels adjacent to the pixel of interest, are saturated by the reflected light of a forceps and a subject at a short distance or the laser light of a laser knife or the like.
  • the developing unit 511 uses the pixel signals of the adjacent pixels SPD1 to adjacent pixels SPD4 adjacent to the pixel of interest and a well-known interpolation processing technique to perform an interpolation process for interpolating the pixel signals of the pixel of interest PD1 (large PD). I do.
  • the attention pixel PD1 which is a large PD, does not have color information due to R light, but has luminance information, so that it is displayed as a monochrome image at the time of display.
  • the developing unit 511 is a relatively bright portion, and the pixel signals of the large PDs (adjacent pixel RPD1 to adjacent pixel RPD4), which are a plurality of adjacent pixels adjacent to the pixel of interest PD1, are not saturated.
  • the pixel signals of the plurality of adjacent pixels SPD1 to adjacent pixels SPD4 adjacent to the attention pixel PD1 are equal to or greater than the second threshold value
  • the pixel signals of the attention pixel PD1 are transferred to the adjacent pixels RPD1 to adjacent pixels RPD4 and the adjacent pixels SPD1 to adjacent pixels.
  • An interpolation process is performed in which each pixel signal of the SPD 4 is interpolated using a well-known interpolation.
  • the determination unit 510 determines the pixels of each pixel with respect to the image data generated by the endoscope 2 when any of the B light, the G light, and the R light irradiates the subject.
  • a display image having a high resolution is generated by interpolating the pixel signal of a pixel having no pixel signal in the pixel of interest by using the determination result determined based on the signal by using the above-mentioned interpolation process.
  • the developing unit 511 uses the determination result determined by the determination unit 510 based on the pixel signal of each pixel, and when the pixel signal of the pixel of interest is saturated, the pixel signal of the pixel in which the pixel signal is saturated is used. Is interpolated using the above-mentioned interpolation process to generate a display image having a high resolution.
  • step S104 the super-resolution processing unit 512 performs resolution improving processing for improving the resolution of the image data for the display image generated by the developing unit 511. Specifically, the super-resolution processing unit 512 improves the resolution by performing edge enhancement processing or contrast enhancement processing for enhancing the contrast on the image data for the display image generated by the development unit 511. .. Further, when the image data for the display image generated by the development unit 511 includes monochrome pixels, the super-resolution processing unit 512 learns the monochrome pixels by learning using a neural network or the like. Using the result, a resolution improving process may be performed to improve the resolution by performing a process of interpolating the color information.
  • the lesion detection unit 54 detects the lesion in the image corresponding to the image data generated by the endoscope 2 (step S105). For example, the lesion detection unit 54 detects the region of the lesion appearing in the image corresponding to the image data generated by the endoscope 2, and outputs the detection result to the image processing unit 51.
  • the display control unit 513 displays the lesion detected by the lesion detection unit 54 on the display image corresponding to the image data generated by the development unit 511 or on the display image whose resolution is improved by the super-resolution processing unit 512.
  • the areas are displayed by superimposing them in an identifiable manner and outputting them to the display device 4 (step S106).
  • step S107: Yes when an instruction signal instructing the end is input from the input unit 52 (step S107: Yes), the endoscope system 1 ends this process. On the other hand, when the instruction signal for instructing the end is not input from the input unit 52 (step S107: No), the endoscope system 1 returns to the above-mentioned step S101.
  • step S102 when the observation mode of the endoscope system 1 is not the normal light observation mode (step S102: No), the endoscope system 1 executes the special light observation mode process (step S108). After step S108, the endoscope system 1 shifts to step S104.
  • FIG. 10 is a flowchart showing an outline of the special light observation mode processing.
  • steps S300 to S309 correspond to steps S201 to S209 of FIG. 6 described above, and the light emitted by the light source device 3 is different, and only the interpolation process performed by the developing unit 511 is different. Therefore, in the following, the interpolation processing performed by the developing unit 511 during the special light observation mode processing will be described.
  • FIG. 11 is a diagram schematically showing an interpolation process performed by the developing unit 511 when the light source device 3 irradiates special light.
  • a large PD having no pixel signal as the pixel of interest will be described as an example, but the same processing is performed even when the pixel signal of the pixel of interest is saturated. If the pixel of interest has a pixel signal, the developing unit 511 uses the pixel signal to generate a display image.
  • the developing unit 511 uses the pixel signals of the adjacent pixels BPD1 to the adjacent pixels BPD4 and the adjacent pixels GPD1 to GPD4 adjacent to the pixel of interest PD1 and a well-known interpolation processing technique to generate a large PD.
  • the pixel signal of a certain pixel of interest PD1 is interpolated.
  • the developing unit 511 interpolates the pixel signals of the pixel of interest PD1 by adding the pixel signals of the adjacent pixels BPD1 to the adjacent pixels BPD4 and the adjacent pixels GPD1 to GPD4 and then dividing by the number of pixels added. .. In this case, the developing unit 511 may multiply and add each pixel signal of the adjacent pixels BPD1 to the adjacent pixels BPD4 and the adjacent pixels GPD1 to GPD4 by a weighting coefficient. Since the developing unit 511 performs the same interpolation processing in step S309, detailed description thereof will be omitted.
  • adjacent pixels BPD1 to adjacent pixels BPD4 and adjacent pixels GPD1 to adjacent pixels GPD4 which are a plurality of adjacent pixels adjacent to the pixel of interest due to reflected light from a forceps and a subject at a short distance or laser light from a laser knife or the like.
  • the development unit 511 uses the pixel signals of the adjacent pixel SPD1 to the adjacent pixel SPD4 adjacent to the pixel of interest and a well-known interpolation processing technique to use the pixel signal of the pixel of interest PD1 which is a large PD.
  • the attention pixel PD1 which is a large PD, does not have color information due to V light and g light, but has luminance information, so that it is displayed as a monochrome image at the time of display.
  • the developing unit 511 is a relatively bright portion, and is a large PD (adjacent pixel BPD1 to adjacent pixel BPD4, adjacent pixel GPD1 to adjacent pixel GPD4) which is a plurality of adjacent pixels adjacent to the pixel of interest PD1.
  • the developing unit 511 determines the determination result based on the pixel signal of each pixel with respect to the image data generated by the endoscope 2 when the subject is irradiated with the special light. By interpolating the pixel signals of pixels having no pixel signal, a display image of special light having a high resolution is generated.
  • the developing unit 511 since the developing unit 511 generates a display image based on the image data based on the determination result determined by the determination unit 510, the dynamic range can be expanded and the dynamic range can be expanded. It is possible to prevent the resolution from being lowered.
  • the developing unit 511 displays using the pixel signal generated by each of the plurality of first light receiving units 2441a and the pixel signal generated by each of the plurality of second light receiving units 2441b. Since the image is generated, it is not necessary to rely on pixel reduction to improve the resolution of the displayed image. Therefore, it is not necessary to brighten the F value of the optical system 243. Therefore, the diameter of the tip 24 of the endoscope 2 is reduced. Can be planned.
  • the illumination method of the light source device 3 is a surface-sequential method of sequentially irradiating the subject with R light, G light, and B light, but in the second embodiment, the same method of irradiating white light.
  • the subject is irradiated by the following method.
  • the processing executed by the endoscope system according to the second embodiment will be described.
  • the same components as those of the endoscope system 1 according to the first embodiment described above are designated by the same reference numerals, and detailed description thereof will be omitted.
  • FIG. 12 is a block diagram showing a functional configuration of the lumbar region of the endoscope system according to the second embodiment.
  • the endoscope system 1A shown in FIG. 12 includes a light source device 3A instead of the light source device 3 of the endoscope system 1 according to the first embodiment described above.
  • the light source device 3A includes a light source device 3A instead of the light source device 3 according to the first embodiment described above.
  • the light source device 3A includes a condenser lens 311, a first light source 312A, and a fourth light source 315.
  • the first light source 312A is configured by using a white LED lamp.
  • the first light source 312A emits light in the white wavelength band (hereinafter, simply referred to as “W light”) based on the current supplied from the light source driver 32.
  • W light may be emitted by simultaneously emitting a red LED, a green LED, and a blue LED. of course.
  • the first light source 312A may be configured by using a laser light source capable of emitting W light instead of the white LED.
  • the endoscope system 1A configured in this way performs the same processing as that of the first embodiment described above, and the interpolation processing by the developing unit 511 in the above-mentioned normal light observation mode processing is different. Therefore, in the following, the interpolation processing performed by the developing unit 511 will be described.
  • FIG. 13 is a diagram schematically showing an interpolation process performed by the developing unit 511 when the light source device 3A is irradiated with W light.
  • the determination unit 510 determines the pixel signal of each pixel in the same manner as in the first embodiment described above. Further, in FIG. 13, the developing unit 511 performs the above-described operation when the pixel signal of the adjacent pixel adjacent to the pixel of interest is less than the first threshold value and when the pixel signal of the adjacent pixel adjacent to the pixel of interest is saturated. Since the same processing as in Form 1 of the above is performed for each of the R filter, the G filter, and the B filter, detailed description thereof will be omitted.
  • the pixel of interest will be described as a small SPD1.
  • the developing unit 511 is a relatively bright portion, and is a large PD (adjacent pixel GPD1, adjacent pixel GPD2, adjacent pixel RPD1 and adjacent pixel BPD1) which is a plurality of adjacent pixels adjacent to the attention pixel SPD1. ) Is not saturated and the pixel signal of the attention pixel SPD1 is equal to or greater than the second threshold value, the color estimation of the pixel signal of the attention pixel SPD1 is performed by the adjacent pixel GPD1, the adjacent pixel GPD2, the adjacent pixel RPD1 and the adjacent pixel BPD1. By using each of the pixel signals of the above, interpolation processing is performed to complement the color information of the pixel of interest SPD1 and the pixel signal.
  • the dynamic range can be expanded and the resolution is prevented from being lowered even in the simultaneous method. Can be done.
  • FIG. 14 is a diagram schematically showing an example in which a color filter is arranged on the light receiving surface of the pixel portion according to the first modification of the first and second embodiments.
  • the color filter of the image sensor 244B shown in FIG. 14 is a cyan filter (hereinafter, simply referred to as a cyan filter) that transmits a part of a large PD through light in the green wavelength band (500 nm to 600 nm) and light in the blue wavelength band (390 nm to 500 nm). "Cy filter”) is arranged.
  • FIG. 15 is a diagram schematically showing an interpolation process performed by the developing unit 511 when the light source device 3A is irradiated with W light.
  • the determination unit 510 determines the pixel signal of each pixel in the same manner as in the first embodiment described above. Further, in FIG. 15, the developing unit 511 performs the above-described operation when the pixel signal of the adjacent pixel adjacent to the pixel of interest is less than the first threshold value and when the pixel signal of the adjacent pixel adjacent to the pixel of interest is saturated. Since the same processing as in Form 1 of the above is performed for each of the Cy filter, the R filter, the G filter, and the B filter, detailed description thereof will be omitted.
  • the pixel of interest will be described as a small SPD1.
  • the developing unit 511 is a relatively bright portion, and is a large PD (adjacent pixel CyPD1, CyPD2, adjacent pixel GPD1 and adjacent pixel RPD1) which is a plurality of adjacent pixels adjacent to the attention pixel SPD1.
  • the color estimation of the pixel signal of the attention pixel SPD1 is performed by the adjacent pixels CyPD1, CyPD2, the adjacent pixels GPD1 and the adjacent pixel RPD1, and the attention pixel SPD1. Performs interpolation processing that complements the color information and pixel signals of.
  • the dynamic range can be expanded and the resolution can be expanded even when the complementary color filter is used, as in the first embodiment described above. It is possible to prevent the feeling from being lowered.
  • FIG. 16 is a diagram schematically showing an example in which a color filter is arranged on the light receiving surface of the pixel portion according to the second modification of the first and second embodiments.
  • the color filter 2442 of the image sensor 244C shown in FIG. 16 has a large PD as a Cy filter and a yellow filter that transmits light in the green wavelength band and light in the red wavelength band (600 nm to 700 nm) (hereinafter, simply “Ye filter”). ”) And are arranged.
  • the developing unit 511 refers to the image data generated by the endoscope 2 when the subject is irradiated with any of B light, G light, and R light, as in the first embodiment described above. Then, using the determination result determined by the determination unit 510 based on the pixel signal of each pixel, the pixel signal of the pixel having no pixel signal is interpolated to generate a display image having high resolution.
  • the dynamic range can be expanded and the resolution can be expanded even when the complementary color filter is used, as in the first embodiment described above. It is possible to prevent the feeling from being lowered.
  • the light source device 3 irradiates V light as special light, but the present invention is not limited to this, and is applicable even when irradiating light of various wavelengths.
  • FIG. 17 is a diagram showing the relationship between the illumination light emitted by the light source device according to the third modification of the first and second embodiments and the sensitivity of each pixel.
  • the horizontal axis represents the wavelength and the vertical axis represents the sensitivity.
  • the curve LB indicates the sensitivity of the pixel BPD
  • the curve LG indicates the sensitivity of the pixel GPD
  • the curve LR indicates the sensitivity of the pixel RPD.
  • the curve LV indicates the wavelength of V light
  • the curve Lb indicates the wavelength of B light
  • the curve Lg indicates the wavelength of G light
  • the curve La indicates amber light (hereinafter referred to as “a light”).
  • the curve Lr indicates the wavelength of infrared light (hereinafter referred to as “RR light”).
  • the curve LN shows the sensitivity of the small PD.
  • the image pickup device 244 has sensitivity even when the light source device 3 irradiates various types of light.
  • the developing unit 511 displays the image data generated by the endoscope 2 when the developing unit 511 irradiates the subject with any of B light, G light, R light, A light, and a light.
  • a display image having a high resolution is generated by interpolating the pixel signal of the pixel having no pixel signal by using the determination result determined by the determination unit 510 based on the pixel signal of each pixel.
  • the dynamic range can be expanded and the resolution can be prevented from being lowered as in the first embodiment described above. it can.
  • FIG. 18 is a diagram schematically showing an example in which a color filter is arranged on the light receiving surface of the pixel portion according to the modified example 4 of the first and second embodiments.
  • the image sensor 244D shown in FIG. 18 has a Cy filter arranged on the light receiving surface of the small PD (second light receiving unit 2441b) of the pixel unit 2441.
  • FIG. 19 is a diagram schematically showing an interpolation process performed by the developing unit 511 when the light source device 3 irradiates special light.
  • the determination unit 510 of each pixel of the image data generated by the endoscope 2 when the subject is irradiated with special light V light + g light.
  • the color estimation of the pixel signal of the pixel of interest cyPD1 is performed for each pixel signal of the adjacent pixel GPD1, the adjacent pixel GPD2, the adjacent pixel BPD1 and the large PD1 in which the pixel signal is interpolated.
  • interpolation processing is performed to complement the color information of the pixel of interest cyPD1 and the pixel signal.
  • FIG. 20 is a diagram schematically showing an interpolation process performed by the developing unit 511 when the light source device 3 irradiates G light.
  • the developing unit 511 in the developing unit 511, the pixel signals of the adjacent pixels GPD1 to the adjacent pixels GPD4 adjacent to the attention pixel PD1 are not saturated, and the pixels of the plurality of adjacent pixels GSPD1 to the adjacent pixels GSPD4 adjacent to the attention pixel PD1 are not saturated.
  • an interpolation process is performed in which the pixel signal of the pixel of interest PD1 is interpolated with the pixel signals of the adjacent pixels GSPD1 to the adjacent pixels GSPD4 using well-known interpolation.
  • the developing unit 511 generates a display image having a high resolution while expanding the dynamic range by synthesizing the large PD pixels and the small PD images having different sensitivities.
  • FIG. 21 is a diagram schematically showing an interpolation process performed by the developing unit 511 when the light source device 3 irradiates B light.
  • the development unit 511 transmits the pixel signals of the attention pixel PD1 to the adjacent pixel BSPD1.
  • -Interpolation processing is performed by interpolating each pixel signal of the adjacent pixel BSPD4 using well-known interpolation.
  • the developing unit 511 generates a display image having a high resolution while expanding the dynamic range by synthesizing the large PD pixels and the small PD images having different sensitivities.
  • the Cy filter is arranged on the light receiving surface of the small PD, but a Ye filter may be used instead of the Cy filter.
  • the development unit 511 uses the determination unit 510 as a pixel signal for each pixel with respect to the image data generated by the endoscope 2 when the subject is irradiated with R light.
  • a display image having a high resolution may be generated by interpolating the pixel signals of pixels having no pixel signal using the determination result determined based on the above.
  • Various inventions can be formed by appropriately combining a plurality of components disclosed in the endoscope system according to the first and second embodiments of the present disclosure described above. For example, some components may be deleted from all the components described in the endoscopic system according to the first and second embodiments of the present disclosure described above. Further, the components described in the information providing system according to the embodiment of the present disclosure described above may be appropriately combined.
  • the image processing unit 51 in the processing device 5 is provided with the determination unit 510 and the developing unit 511, but the connector of the endoscope 2 is not limited thereto.
  • the determination unit 510 and the development unit 511 may be provided in the unit 27.
  • the above-mentioned "part” can be read as “means” or "circuit".
  • the control unit can be read as a control means or a control circuit.
  • the program to be executed by the endoscopic system is a CD-ROM, a flexible disk (FD), a CD-R, in an installable format or an executable format file data. It is provided by being recorded on a computer-readable recording medium such as a DVD (Digital Versatile Disk), a USB medium, or a flash memory.
  • a computer-readable recording medium such as a DVD (Digital Versatile Disk), a USB medium, or a flash memory.
  • the program to be executed by the endoscope system according to the first and second embodiments of the present disclosure is configured to be stored on a computer connected to a network such as the Internet and provided by downloading via the network. You may.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

ダイナミックレンジを拡大することができ、かつ、解像感が低下することを防止することができる内視鏡、画像処理装置、内視鏡システム、画像処理方法およびプログラムを提供する。内視鏡システム１は、複数の第１の受光部および複数の第２の受光部が配置され、かつ、該第１の受光部および該第２の受光部が互いに受光感度および受光面積が異なる画素部２４４１と、複数の第１の受光部および複数の第２の受光部の各々から画素信号を画像データとして読み出す読み出し部２４４３と、を有する撮像素子２４４と、撮像素子２４４が生成した画像データに基づく画像の各画素の画素信号を判定する判定部５１０と、判定部５１０が判定した判定結果に基づいて、画像データの表示画像を生成する現像部５１１と、を備える。

Description

内視鏡、画像処理装置、内視鏡システム、画像処理方法およびプログラム
　本開示は、被検体に挿入されることによって被検体内の体内画像を撮像する内視鏡、画像処理装置、内視鏡システム、画像処理方法およびプログラムに関する。
　デジタルカメラ等の撮像装置において、２次元マトリクス状に配置した画素内に互いの受光面積が異なる第１の光電変換部と第２の光電変換部とを配置することによって画質を劣化させず、ダイナミックレンジを拡大する技術が知られている（例えば特許文献１参照）。この技術では、第２の光電変換部から電荷蓄積部に電荷を転送する第３の転送ゲート部のゲート電極の下部に形成されたオーバーフローパスによって、第２の光電変換部から溢れた電荷を電荷蓄積部に転送することで、第２の光電変換部による画像のダイナミックレンジを拡大する。そして、画像信号処理装置は、第２の光電変換部を用いて撮像された第１の光電変換部よりもダイナミックレンジが広い画像と、第１の光電変換部を用いて撮影された感度の高い画像と、を合成するワイドダイナッミクレンズ画像合成処理を行うことによってダイナミックレンジが拡大された１枚の画像を生成する。
特開２０１７－１６３０１０号公報
　ところで、近年の内視鏡では、検査時における患者の負担の軽減のため、挿入部のさらなる細径化にともなって、画素の縮小化を行っている。この画素の縮小化に伴って、近年の内視鏡では、被写界深度およびダイナミックレンジの各々が低下するという問題点があった。
　このため、近年の内視鏡において、上述した特許文献１の技術を用いてダイナミックレンジの拡大を図ることが考えられる。しかしながら、上述した特許文献１では、第２の光光電変換部を用いて撮影されたダイナミックレンジが広い画像と、第１の光電変換部を用いて撮影された感度の高い画像とを合成しているに過ぎないため、どちらか一方の光電変換部が飽和した場合、ダイナミックレンジを拡大することができないうえ、解像感が低下するという問題点があった。
　本開示は、上記に鑑みてなされたものであって、ダイナミックレンジを拡大することができ、かつ、解像感が低下することを防止することができる内視鏡、画像処理装置、内視鏡システム、画像処理方法およびプログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本開示に係る内視鏡は、複数の第１の受光部および複数の第２の受光部が配置され、かつ、該第１の受光部および該第２の受光部が互いに受光感度および受光面積が異なり、受光量に応じた画素信号を生成する画素部と、前記複数の第１の受光部および前記複数の第２の受光部の各々から前記画素信号を画像データとして読み出す読み出し部と、を有する撮像素子と、前記画像データに基づいて、画像を構成する画素毎に前記第１の受光部または前記第２の受光部が生成した前記画素信号を判定する判定部と、前記判定部が判定した判定結果に基づいて、前記画像データに基づく表示画像を生成する現像部と、を備える。
　また、本開示に係る内視鏡は、上記開示において、前記複数の第１の受光部および前記複数の第２の受光部は、同じピッチ幅で位置をずらして２次元マトリクス状に配置されてなる。
　また、本開示に係る内視鏡は、上記開示において、前記複数の第１の受光部は、受光面に赤フィルタ、青フィルタおよび緑フィルタのいずれか１つが配置されてなる。
　また、本開示に係る内視鏡は、上記開示において、前記複数の第１の受光部は、受光面にシアンフィルタおよびイエローフィルタのいずれか１つが配置されてなる。
　また、本開示に係る内視鏡は、上記開示において、前記複数の第１の受光部は、受光面に少なくとも１種類の補色系フィルタが配置されてなる。
　また、本開示に係る内視鏡は、上記開示において、前記第１の受光部の受光面積および受光感度は、前記第２の受光部の受光面積および受光感度より大きい。
　また、本開示に係る内視鏡は、上記開示において、前記現像部は、前記複数の第１の受光部の各々が生成した前記画素信号および前記複数の第２の受光部の各々が生成した前記画素信号を用いて、前記表示画像を生成する。
　また、本開示に係る内視鏡は、上記開示において、前記判定部は、前記複数の第１の受光部の各々が生成した前記画素信号が第１の閾値未満であるか否かを判定し、前記現像部は、注目画素の画素信号を補間する場合において、該注目画素に隣接する複数の隣接画素のうち前記判定部によって前記画素信号が前記第１の閾値未満であると判定された前記第１の受光部に対応するものがあるとき、前記判定部によって前記画素信号が前記第１の閾値未満であると判定された前記第１の受光部によって生成された前記画素信号を用いて注目画素の画素信号を補間することによって前記表示画像を生成する。
　また、本開示に係る内視鏡は、上記開示において、前記判定部は、前記複数の第１の受光部の各々が生成した前記画素信号が飽和しているか否かを判定し、前記現像部は、注目画素の画素信号を補間する場合において、該注目画素に隣接する複数の隣接画素が前記判定部によって前記画素信号が飽和していると判定された前記第１の受光部に対応するものがあるとき、前記複数の隣接画素の各々に対応する前記第２の受光部によって生成された前記画素信号を用いて注目画素の画素信号を補間することによって前記表示画像を生成する。
　また、本開示に係る内視鏡は、上記開示において、前記複数の第１の受光部の各々が生成した前記画素信号が飽和しているか否かを判定し、かつ、前記複数の第２の受光部の各々が生成した前記画素信号が第２の閾値以上であるか否かを判定し、前記現像部は、注目画素の画素信号を補間する場合において、該注目画素に隣接する複数の隣接画素が前記判定部によって前記画素信号が飽和していないと判定された前記第１の受光部に対応するものがあり、かつ、該注目画素に隣接する複数の隣接画素のうち前記判定部によって前記画素信号が前記第２の閾値以上であると判定された前記第２の受光部に対応するものがあるとき、前記複数の隣接画素の各々に対応する前記第１の受光部および前記第２の受光部によって生成された前記画素信号を用いて注目画素の画素信号を補間することによって前記表示画像を生成する。
　また、本開示に係る内視鏡は、上記開示において、前記判定部は、青色の波長帯域の光、緑色の波長帯域の光および赤色の波長帯域の光が順次照射された場合において、被検体からの反射光を前記第１の受光部および前記第２の受光部を順次受光したとき、前記画像データ毎に、画像を構成する画素毎に前記第１の受光部または前記第２の受光部が生成した前記画素信号を判定する。
　また、本開示に係る内視鏡は、上記開示において、前記現像部は、青色の波長帯域に含まれる狭帯域の光と緑色の波長帯域に含まれる狭帯域の光とが合波された特殊光が照射された被検体からの反射光を前記第１の受光部および前記第２の受光部を受光した場合において、注目画素が前記第２の受光部に対応するとき、該注目画素に隣接する複数の隣接画素に対応する前記第１の受光部が生成した前記画素信号を用いて、注目画素の色を推定することによって画素信号を補間することによって前記表示画像を生成する。
　また、本開示に係る内視鏡は、上記開示において、前記現像部は、青色の波長帯域の光と、緑色の波長帯域の光と、赤色の波長帯域の光と、を含む白色光が照射された被検体からの反射光を前記第１の受光部および前記第２の受光部を受光した場合において、注目画素が前記第２の受光部に対応するとき、該注目画素に隣接する複数の隣接画素に対応する前記第１の受光部が生成した前記画素信号を用いて、注目画素の色を推定することによって画素信号を補間することによって前記表示画像を生成する。
　また、本開示に係る内視鏡は、上記開示において、前記現像部は、注目画素が前記第２の受光部に対応するとき、該注目画素に隣接する複数の隣接画素に対応する前記第１の受光部が生成した前記画素信号に対してクロマサプレス処理を行って画素信号を補間することによって前記表示画像を生成する。
　また、本開示に係る画像処理装置は、複数の第１の受光部および複数の第２の受光部が配置され、かつ、該第１の受光部および該第２の受光部が互いに受光感度および受光面積が異なり、受光量に応じた画素信号を生成する画素部と、前記複数の第１の受光部および前記複数の第２の受光部の各々から前記画素信号を画像データとして読み出す読み出し部と、を有する撮像素子を、被検体に挿入する挿入部の先端部に備える内視鏡が接続可能な画像処理装置であって、前記画像データに基づいて、画像を構成する画素毎に前記第１の受光部または前記第２の受光部が生成した前記画素信号を判定する判定部と、前記判定部が判定した判定結果に基づいて、前記画像データに基づく表示画像を生成する現像部と、を備える。
　また、本開示に係る内視鏡システムは、上記の内視鏡と、前記内視鏡が接続され、前記画像データが入力される処理装置と、赤色の波長帯域の光、緑色の波長帯域の光および青色の波長帯域の光を照射可能な光源装置と、を備え、前記処理装置は、前記画像データに基づいて、画像を構成する画素毎に前記第１の受光部または前記第２の受光部が生成した前記画素信号を判定する判定部と、前記判定部が判定した判定結果に基づいて、前記画像データの表示画像を生成する現像部と、を備える。
　また、本開示に係る内視鏡システムは、上記開示において、前記処理装置は、前記画像データに対して、予め病変の特徴を学習した学習結果に基づいて、前記画像データに基づく画像内における病変を検出する病変検出部と、前記病変検出部が検出した検出結果を前記表示画像に重畳して表示装置へ出力する表示制御部と、をさらに備える。
　また、本開示に係る画像処理方法は、複数の第１の受光部および複数の第２の受光部が配置され、かつ、該第１の受光部および該第２の受光部が互いに受光感度および受光面積が異なり、受光量に応じた画素信号を生成する画素部と、前記複数の第１の受光部および前記複数の第２の受光部の各々から前記画素信号を画像データとして読み出す読み出し部と、を有する撮像素子と、を備える内視鏡が実行する画像処理方法であって、前記画像データに基づいて、画像を構成する画素毎に前記第１の受光部または前記第２の受光部が生成した前記画素信号を判定し、各画素の前記画素信号の判定結果に基づいて、前記画像データに基づく表示画像を生成する。
　また、本開示に係るプログラムは、複数の第１の受光部および複数の第２の受光部が配置され、かつ、該第１の受光部および該第２の受光部が互いに受光感度および受光面積が異なり、受光量に応じた画素信号を生成する画素部と、前記複数の第１の受光部および前記複数の第２の受光部の各々から前記画素信号を画像データとして読み出す読み出し部と、を有する撮像素子と、を備える内視鏡に実行させるプログラムであって、前記画像データに基づいて、画像を構成する画素毎に前記第１の受光部または前記第２の受光部が生成した前記画素信号を判定させ、各画素の前記画素信号の判定結果に基づいて、前記画像データに基づく表示画像を生成させる。
　本開示によれば、ダイナミックレンジを拡大することができ、かつ、解像感が低下することを防止することができるという効果を奏する。
図１は、実施の形態１に係る内視鏡システムの概略構成図である。 図２は、実施の形態１に係る内視鏡システムの要部の機能構成を示すブロック図である。 図３は、実施の形態１に係る画素部の受光面にカラーフィルタを配置した一例を模式的に示す図である。 図４は、実施の形態１に係る各画素の分光特性を模式的に示す図である。 図５は、実施の形態１に係る内視鏡システムが実行する処理の概要を示すフローチャートである。 図６は、図５の通常光観察モード処理の概要を示すフローチャートである。 図７は、実施の形態１に係る光源装置がＢ光照射時に現像部が行う補間処理を模式的に示す図である。 図８は、実施の形態１に係る光源装置がＧ光照射時に現像部が行う補間処理を模式的に示す図である。 図９は、実施の形態１に係る光源装置がＲ光照射時に現像部が行う補間処理を模式的に示す図である。 図１０は、図５の特殊光観察モード処理の概要を示すフローチャートである。 図１１は、実施の形態１に係る光源装置が特殊光照射時に現像部が行う補間処理を模式的に示す図である。 図１２は、実施の形態２に係る内視鏡システムの腰部の機能構成を示すブロック図である。 図１３は、実施の形態２に係る光源装置がＷ光の照射時に減算部が行う補間処理を模式的に示す図である。 図１４は、実施の形態１,２の変形例１に係る画素部の受光面にカラーフィルタを配置した一例を模式的に示す図である。 図１５は、実施の形態１,２の変形例１に係る光源装置がＷ光照射時に現像部が行う補間処理を模式的に示す図である。 図１６は、実施の形態１,２の変形例２に係る画素部の受光面にカラーフィルタを配置した一例を模式的に示す図である。 図１７は、実施の形態１,２の変形例３に係る光源装置が照射する照明光と各画素との感度との関係を示す図である。 図１８は、実施の形態１,２の変形例４に係る画素部の受光面にカラーフィルタを配置した一例を模式的に示す図である。 図１９は、実施の形態１,２の変形例４に係る光源装置がＧ光照射時に現像部が行う補間処理を模式的に示す図である。 図２０は、実施の形態１,２の変形例４に係る光源装置がＢ光照射時に現像部が行う補間処理を模式的に示す図である。 図２１は、実施の形態１,２の変形例４に係る光源装置がＲ光照射時に現像部が行う補間処理を模式的に示す図である。 図２２は、実施の形態１,２の変形例４に係る光源装置がＲ光照射時に現像部が行う別の補間処理を模式的に示す図である。
　以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものではない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさおよび位置関係のみに限定されるものではない。
（実施の形態１）
　〔内視鏡システムの構成〕
　図１は、実施の形態１に係る内視鏡システムの概略構成図である。図２は、実施の形態１に係る内視鏡システムの要部の機能構成を示すブロック図である。
　図１および図２に示す内視鏡システム１は、患者等の被検体に内視鏡を挿入することによって被検体の体内を撮像し、この撮像した画像データを外部の表示装置へ出力する。医者等の使用者は、表示装置で表示された体内画像の観察を行うことによって、検出対象部位である出血部位、腫瘍部位および異常部位それぞれの有無を検査する。内視鏡システム１は、内視鏡２と、光源装置３と、表示装置４と、処理装置５（プロセッサ）と、を備える。
　〔内視鏡の構成〕
　まず、内視鏡２の構成について説明する。
　内視鏡２は、被検体の体内を撮像して画像データ（ＲＡＷデータ）を生成し、この生成した画像データを処理装置５へ出力する。内視鏡２は、挿入部２１と、操作部２２と、ユニバーサルコード２３と、を備える。
　挿入部２１は、可撓性を有する細長形状をなす。挿入部２１は、後述する撮像素子２４４を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。
　先端部２４は、グラスファイバ等を用いて構成されて光源装置３が発光した光の導光路をなすライトガイド２４１と、ライトガイド２４１の先端に設けられた照明レンズ２４２と、集光用の光学系２４３と、光学系２４３の結像位置に設けられ、光学系２４３が集光して光を受光して電気信号に光電変換する複数の画素が２次元状に配列された撮像素子２４４と、内視鏡２に関する各種情報を記録する内視鏡記録部２４５と、撮像素子２４４を制御する撮像制御部２４６と、を有する。
　撮像素子２４４は、ＣＣＤ（Charge　Coupled　Device）またはＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）等のイメージセンサを用いて構成される。具体的には、撮像素子２４４は、光を受光して光電変換を行うことによって電気信号を出力する複数の画素が２次元状に配列され、被写体（体腔）を所定のフレームレートで撮像して画像データ（ＲＡＷデータ）を出力する。撮像素子２４４は、画素部２４４１と、カラーフィルタ２４４２と、読み出し部２４４３と、を有する。
　図３は、画素部２４４１の受光面にカラーフィルタ２４４２を配置した一例を模式的に示す図である。
　図３に示すように、画素部２４４１は、複数の第１の受光部２４４１ａと、複数の第２の受光部２４４１ｂと、を有する。複数の第１の受光部２４４１ａおよび複数の第２の受光部２４４１ｂは、互いに受光感度および受光面積が異なる。具体的には、第１の受光部２４４１ａの受光感度および受光面積は、第２の受光部２４４１ｂの受光感度および受光面積より大きい。また、複数の第１の受光部２４４１ａおよび複数の第２の受光部２４４４１ｂは、同じピッチ幅で位置をずらして２次元マトリクス状に配置されてなる。第１の受光部２４４１ａおよび第２の受光部２４４４１ｂは、光量に応じた電荷を蓄積するフォトダイオードおよびフォトダイオードが蓄積した電荷を増幅する増幅器等を有する。
　カラーフィルタ２４４２は、赤色の波長帯域の光（６００ｎｍ～７００ｎｍ）を透過する赤色フィルタと、緑色の波長帯域の光（５００ｎｍ～６００ｎｍ）を透過する緑色フィルタと、青色の波長帯域の光（３９０ｎｍ～５００ｎｍ）を透過する青色フィルタと、を有するベイヤー配列のフィルタを用いて構成される。図３に示すように、カラーフィルタ２４４２は、複数の第１の受光部２４４１ａの受光面に、赤色フィルタ、緑色フィルタおよび青色フィルタのいずれか１つが配置されてなる。また、図３に示すように、カラーフィルタ２４４２は、第２の受光部２４４１ｂの受光面には、カラーフィルタ２４４２が配置されてない。なお、以下においては、第１の受光部２４４１ａに赤色フィルタ、緑色フィルタおよび青色フィルタが配置されたものを、単に画素ＲＰＤ、画素ＧＰＤおよび画素ＢＰＤとして表記し、かつ、第２の受光部２４４１ｂを画素ＳＰＤとして表記する。さらに、以下においては、画素ＲＰＤ、画素ＧＰＤおよび画素ＢＰＤのいずれかを指す場合、単に大ＰＤと表現し、かつ、画素ＳＰＤを小ＰＤとして表現する。
　読み出し部２４４３は、撮像制御部２４６の制御のもと、複数の第１の受光部２４４１ａおよび複数の第２の受光部２４４１ｂの各々から画素信号を画像データとして外部へ出力する。読み出し部２４４３は、カラム回路やノイズ除去回路等を用いて構成される。
　内視鏡記録部２４５は、内視鏡２に関する各種情報を記録する。例えば、内視鏡記録部２４５は、内視鏡２を識別する識別情報および撮像素子２４４の識別情報等を記録する。内視鏡記録部２４５は、不揮発性メモリ等を用いて構成される。
　撮像制御部２４６は、処理装置５から入力される指示情報に基づいて、撮像素子２４４の動作を制御する。具体的には、撮像制御部２４６は、処理装置５から入力される指示情報に基づいて、撮像素子２４４のフレームレートや撮影タイミングを制御する。例えば、撮像制御部２４６は、撮像素子２４４に１２０ｆｐｓで画像データを生成させて出力させる。
　操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、体腔内に生体鉗子、レーザメスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、光源装置３、処理装置５に加えて、送気手段、送水手段、送ガス手段等の周辺機器の操作指示信号や撮像素子２４４に静止画撮影を指示するプリフリーズ信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。
　ユニバーサルコード２３は、ライトガイド２４１と、１または複数のケーブルをまとめた集光ケーブルと、を少なくとも内蔵している。集合ケーブルは、内視鏡２および光源装置３と処理装置５との間で信号を送受信する信号線であって、設定データを送受信するための信号線、画像データを送受信するための信号線、撮像素子２４４を駆動するための駆動用のタイミング信号を送受信するための信号線等を含む。ユニバーサルコード２３は、光源装置３に着脱自在なコネクタ部２７を有する。コネクタ部２７は、コイル状のコイルケーブル２７ａが延設し、コイルケーブル２７ａの延出端に処理装置５に着脱自在なコネクタ部２８を有する。
　〔光源装置の構成〕
　次に、光源装置３の構成について説明する。
　光源装置３は、内視鏡２の先端部２４から被検体を照射するための照明光を供給する。光源装置３は、光源装置３と、光源ドライバ３２と、照明制御部３３と、を備える。
　光源装置３は、赤色の波長帯域の光、緑色の波長帯域の光、青色の波長帯域の光および狭帯域光（例えば波長帯域４１５ｎｍ＋５４０ｎｍ）のいずれかを被検体へ照射するための照明光を出射する。光源装置３は、集光レンズ３１１と、第１の光源３１２と、第２の光源３１３と、第３の光源３１４と、第４の光源３１５と、を有する。
　集光レンズ３１１は、１または複数のレンズを用いて構成される。集光レンズ３１１は、第１の光源３１２、第２の光源３１３および第３の光源３１４の各々が出射した照明光を集光してライトガイド２４１へ出射する。
　第１の光源３１２は、赤色ＬＥＤ（Light　Emitting　Diode）ランプを用いて構成される。第１の光源３１２は、光源ドライバ３２から供給される電流に基づいて、赤色の波長帯域の光（以下、単に「Ｒ光」という）を出射する。
　第２の光源３１３は、緑色ＬＥＤランプを用いて構成される。第２の光源３１３は、光源ドライバ３２から供給される電流に基づいて、緑色の波長帯域の光（以下、単に「Ｇ光」という）を出射する。
　第３の光源３１４は、青色ＬＥＤランプを用いて構成される。第３の光源３１４は、光源ドライバ３２から供給される電流に基づいて、青色の波長帯域の光（以下、単に「Ｂ光」という）を出射する。
　第４の光源３１５は、紫色（４１５ｎｍ）色ＬＥＤランプと、所定の波長帯域の光（５４０ｎｍ）を透過させるフィルタおよび緑色ＬＥＤとを用いて構成される。第４の光源３１５は、光源ドライバ３２から供給される電流に基づいて、青色の波長帯域に含まれる紫色の狭帯域の光（以下、単に「Ｖ光」という）と、緑色の波長帯域に含まれる狭帯域の光（以下、単に「ｇ光」という）と、を合波した特殊光を出射する。
　光源ドライバ３２は、照明制御部３３の制御のもと、第１の光源３１２、第２の光源３１３、第３の光源３１４および第４の光源３１５に対して、電流を供給することによって、内視鏡システム１に設定された観察モードに応じた光を出射させる。具体的には、光源ドライバ３２は、照明制御部３３の制御のもと、内視鏡システム１に設定された観察モードが通常観察モードである場合、第１の光源３１２、第２の光源３１３および第３の光源３１４に順次出射させる（面順次方式）。また、光源ドライバ３２は、照明制御部３３の制御のもと、内視鏡システム１に設定された観察モードが特殊光観察モードである場合、第２の光源３１３および第４の光源３１５に同時に出射させる。
　照明制御部３３は、処理装置５から受信した指示信号に基づいて、光源装置３の点灯タイミングを制御する。具体的には、照明制御部３３は、所定の周期で第１の光源３１２、第２の光源３１３および第３の光源３１４に順次出射させる。また、照明制御部３３は、所定の周期で第２の光源３１３および第４の光源３１５を同時に出射させる。照明制御部３３は、ＣＰＵ（Central　Processing　Unit）等を用いて構成される。
　〔表示装置の構成〕
　次に、表示装置４の構成について説明する。
　表示装置４は、処理装置５から受信した内視鏡２によって生成された画像データに対応する画像を表示する。表示装置４は、内視鏡システム１に関する各種情報を表示する。表示装置４は、液晶または有機ＥＬ（Electro　Luminescence）等の表示パネル等を用いて構成される。
　〔処理装置の構成〕
　次に、処理装置５の構成について説明する。
　処理装置５は、内視鏡２が生成した画像データを受信し、この受信した画像データに対して所定の画像処理を施して表示装置４へ出力する。また、処理装置５は、内視鏡システム１全体の動作を統括的に制御する。処理装置５は、画像処理部５１と、入力部５２と、記録部５３と、病変検出部５４と、処理制御部５５と、を備える。
　画像処理部５１は、処理制御部５５の制御のもと、内視鏡２が生成した画像データを受信し、受信した画像データに対して所定の画像処理を施して表示装置４へ出力する。画像処理部５１は、メモリと、ＧＰＵ（Graphics　Processing　Unit）、ＤＳＰ（Digital　Signal　Processing）またはＦＰＧＡ（Field　Programmable　Gate　Array）等のハードウェアを有するプロセッサを用いて構成される。画像処理部５１は、少なくとも判定部５１０と、現像部５１１と、超解像処理部５１２と、表示制御部５１３と、を有する。
　判定部５１０は、撮像素子２４４が生成した画像データに基づいて、画像を構成する画素毎に第１の受光部２４４１ａまたは第２の受光部２４４１ｂが生成した画素信号を判定する。具体的には、判定部５１０は、画素毎に画像信号を判定する。また、判定部５１０は、複数の第１の受光部２４４１ａの各々が生成した画素信号が第１の閾値未満であるか否かを判定する。また、判定部５１０は、複数の第１の受光部２４４１ａの各々が生成した画素信号が飽和しているか否かを判定する。さらに、判定部５１０は、複数の第１の受光部２４４１ａの各々が生成した画素信号が飽和しているか否かを判定し、かつ、複数の第２の受光部２４４１ｂの各々が生成した画素信号が第２の閾値以上であるか否かを判定する。
　現像部５１１は、判定部５１０が判定した判定結果に基づいて、画像データに基づく表示画像を生成する。具体的には、現像部５１１は、複数の第１の受光部２４４１ａの各々が生成した画素信号および複数の第２の受光部２４４１ｂの各々が生成した画素信号を用いて、表示画像を生成する。より具体的には、現像部５１１は、注目画素の画素信号を補間する場合において、この注目画素に隣接する複数の隣接画素のうち判定部５１０によって画素信号が第１の閾値未満であると判定された第１の受光部２４４１ａに対応するものがあるとき、判定部５１０によって画素信号が第１の閾値未満であると判定された第１の受光部２４４１ａによって生成された画素信号を用いて注目画素の画素信号を補間することによって表示画像を生成する。また、現像部５１１は、注目画素の画素信号を補間する場合において、この注目画素に隣接する複数の隣接画素が判定部５１０によって画素信号が飽和していると判定された第１の受光部２４４１ａに対応するものがあるとき、複数の隣接画素の各々に対応する第２の受光部２４４１ｂによって生成された画素信号を用いて注目画素の画素信号を補間することによって表示画像を生成する。さらに、現像部５１１は、注目画素の画素信号を補間する場合において、この注目画素に隣接する複数の隣接画素が判定部５１１によって画素信号が飽和していないと判定された第１の受光部２４４１ａに対応するものがあり、かつ、この注目画素に隣接する複数の隣接画素のうち判定部５１０によって画素信号が第２の閾値以上であると判定された第２の受光部２４４１ｂに対応するものがあるとき、複数の隣接画素の各々に対応する第１の受光部２４４１ａおよび第２の受光部２４４１ｂによって生成された画素信号を用いて注目画素の画素信号を補間することによって表示画像を生成する。さらにまた、現像部５１１は、注目画素が第２の受光部２４４１ｂに対応するとき、この注目画素に隣接する複数の隣接画素に対応する第１の受光部２４４１ａが生成した画素信号に対してクロマサプレス処理を行って画素信号を補間することによって表示画像を生成する。
　超解像処理部５１２は、現像部５１１が生成した表示画像に対して、周知の解像向上処理を行う。例えば、超解像処理部５１２は、異なる種類のニューラルネットワーク等を用いて複数の画像データを学習した学習結果を用いて、表示画像の各画素の画素信号に対して、解像度を向上させる解像度向上処理を行う。例えば、超解像処理部５１２は、低解像度の複数の画像データを学習したニューラルネットワークによる学習結果と、高解像度の複数の画像データを学習したニューラルネットワークによる学習結果と、に基づいて、画像データの解像度を向上させる解像度向上処理を行う。
　表示制御部５１３は、現像部５１１が生成した表示画像または超解像処理部５１２が解像度を向上させた表示画像を表示装置４に表示させる。
　入力部５２は、内視鏡システム１の動作を指示する指示信号の入力を受け付け、この受け付けた指示信号を処理制御部５５へ出力する。例えば、入力部５２は、通常観察モードまたは特殊光観察モードのいずれかを指示する指示信号の入力を受け付け、この受け付けた指示信号を処理制御部５５へ出力する。ここで、通常観察モードとは、Ｒ光、Ｇ光およびＢ光を被検体に向けて順次出射して観察するモードである。また、特殊光観察モードとは、狭帯域光を被検体に向けて出射して観察するモードである。入力部５２は、スイッチ、ボタンおよびタッチパネル等を用いて構成される。
　記録部５３は、内視鏡システム１が実行する各種プログラム、内視鏡システム１が実行中のデータおよび内視鏡２が生成した画像データを記録する。記録部５３は、揮発性メモリ、不揮発性メモリおよびメモリカード等を用いて構成される。記録部５３は、内視鏡システム１が実行する各種プログラムを記録するプログラム記録部５３１を有する。
　病変検出部５４は、病変または被検体の生体内を撮像した複数の画像データを用いて予め学習された学習結果に基づいて、内視鏡２が生成した画像データに対応する画像に写る病変を検出し、この検出結果を画像処理部５１へ出力する。なお、病変検出部５４は、例えばニューラルネットワーク等を用いたサポートベクタマシンや識別器等を用いて構成される。さらに、病変検出部５４は、メモリおよびＧＰＵ等のハードウェアを有するプロセッサを用いて構成される。また、病変検出部５４は、図示しない通信ネットワークを経由して内視鏡２から画像データを取得し、この取得した画像データに対して病変検出を行った病変結果を処理装置５へ出力するようにしてもよい。
　処理制御部５５は、メモリと、ＦＰＧＡまたはＣＰＵのハードウェアを有するプロセッサを用いて構成される。処理制御部５５は、内視鏡システム１を構成する各部を制御する。例えば、処理制御部５５は、入力部５２から光源装置３が出射する照明光を切り替える指示信号が入力された場合、照明制御部３３を制御することによって、光源装置３が出射する照明光を切り替える。
　〔各画素の分光特性〕
　次に、各画素の分光特性について説明する。図４は、各画素の分光特性を模式的に示す図である。図４において、横軸が各画素の感度（透過率）を示し、横軸が波長を示す。また、図４において、曲線ＬＢが画素ＢＰＤの感度を示し、曲線ＬＧが画素ＧＰＤの感度を示し、曲線ＬＲが画素ＲＰＤの感度を示し、曲線ＬＮが画素ＳＰＤの感度を示す。
　図４に示す曲線ＬＢ、曲線ＬＧおよび曲線ＬＲに示すように、画素ＲＰＤ、画素ＧＰＤおよび画素ＢＰＤの各々は、第１の光源３１２、第２の光源３１３および第３の光源３１４の各々が照射す各波長帯域の光に感度を有する。また、画素ＧＰＤおよび画素ＢＰＤの各々は、第２の光源３１３および第４の光源３１５の各々が照射する狭帯域光に感度を有する。また、曲線ＬＮに示すように、画素ＳＰＤは、全ての波長帯域において感度を有する。さらに、曲線ＬＢ、曲線ＬＧおよび曲線ＬＲおよび曲線ＬＮに示すように、画素ＲＰＤ、画素ＧＰＤおよび画素ＢＰＤの各々の感度は、画素ＳＰＤの感度より大きい。
　〔内視鏡システムの処理〕
　次に、内視鏡システム１が実行する処理について説明する。図５は、内視鏡システム１が実行する処理の概要を示すフローチャートである。
　まず、図５に示すように、内視鏡システム１は、画像データを取得する（ステップＳ１０１）。具体的には、光源装置３は、処理制御部５５の制御のもと、内視鏡システム１に設定された観察モードに応じた照明光を被検体に照射する。例えば、光源装置３は、内視鏡システム１の観察モードが通常光観察モードの場合、第１の光源３１２、第２の光源３１３および第３の光源３１４の各々にＲ光、Ｇ光およびＢ光を順次出射させる。これに対して、光源装置３は、内視鏡システム１の観察モードが特殊光観察モードの場合、第４の光源３１５にｇ光およびＶ光を含む特殊光を出射させる。そして、内視鏡２は、照明光が照射された被検体を撮像することによって画像データを生成し、この画像データを画像処理部５１へ出力する。
　続いて、内視鏡システム１の観察モードが通常光観察モードである場合（ステップＳ１０２：Ｙｅｓ）、内視鏡システム１は、通常光観察モード処理を実行する（ステップＳ１０３）。
　〔通常光観察モード処理の概要〕
　図６は、通常光観察モード処理の概要を示すフローチャートである。
　図６に示すように、判定部５１０は、内視鏡２から入力された画像データに対応する画像の各画素の画素信号を判定するための注目画素の画素アドレスを設定する（ステップＳ２００）。具体的には、判定部５１０は、画像データに対応する画像上における所定の位置、例えば４隅のうち左上隅の画素を原点とする注目画素の画素アドレスを設定する。より具体的には、判定部５１０は、水平方向をｘ、垂直方向をｙとした場合、左上隅の画素を原点（１,１）として注目画素を設定する。なお、実施の形態１では、判定部５１０は、大ＰＤおよび小ＰＤの全ての画素信号を判定するが、大ＰＤの画素信号のみを判定してもよい。
　続いて、判定部５１０は、注目画素に隣接する複数の隣接画素の各々の画素信号が第１の閾値未満であるか否かを判定する（ステップＳ２０１）。具体的には、判定部５１０は、ステップＳ２０１において設定した判定対象の注目画素が大ＰＤである場合、この大ＰＤに隣接する大ＰＤの画素信号が第１の閾値未満であるか否かを判定する。ここで、第１の閾値とは、画像データを現像した際にハイライト部分やシャドー部分が潰れない程度の適正露出の値である。判定部５１０によって注目画素に隣接する複数の隣接画素の各々の画素信号が第１の閾値未満であると判定された場合（ステップＳ２０１：Ｙｅｓ）、内視鏡システム１は、後述するステップＳ２０２へ移行する。これに対して、判定部５１０によって注目画素に隣接する複数の隣接画素の各々の画素信号が第１の閾値未満でないと判定された場合（ステップＳ２０１：Ｎｏ）、内視鏡システム１は、後述するステップＳ２０５へ移行する。
　ステップＳ２０２において、現像部５１１は、注目画素に隣接する複数の大ＰＤの画素信号に基づいて、注目画素の画素信号を補間する補間処理を行う。
　続いて、判定部５１０は、注目画素の画素アドレスをインクリメントする（ステップＳ２０３）。具体的には、判定部５１０は、画素アドレスにおける水平方向および垂直方向の画素アドレスのいずれか一つを加算する。例えば、判定部５１０は、現在の注目画素の画素アドレスが（１,１）である場合、次の画素アドレス（１,２）とするインクリメントを行う。
　その後、判定部５１０は、内視鏡２から入力された画像データに対応する画像の全画素が終了したか否かを判定する（ステップＳ２０４）。判定部５１０によって内視鏡２から入力された画像データに対応する画像の全画素が終了したと判定された場合（ステップＳ２０４：Ｙｅｓ）、内視鏡システム１は、図５のメインルーチンへ戻る。これに対して、判定部５１０によって内視鏡２から入力された画像データに対応する画像の全画素が終了していないと判定された場合（ステップＳ２０４：Ｎｏ）、内視鏡システム１は、上述したステップＳ２０１へ戻る。
　ステップＳ２０５において、判定部５１０は、注目画素に隣接する複数の隣接画素の各々の画素信号が飽和しているか否かを判定する。判定部５１０によって注目画素に隣接する複数の隣接画素の各々の画素信号が飽和していると判定された場合（ステップＳ２０５：Ｙｅｓ）、内視鏡システム１は、後述するステップＳ２０６へ移行する。これに対して、判定部５１０によって注目画素に隣接する複数の隣接画素の各々の画素信号が飽和していないと判定された場合（ステップＳ２０５：Ｎｏ）、内視鏡システム１は、後述するステップＳ２０７へ移行する。
　ステップＳ２０６において、現像部５１１は、注目画素に隣接する複数の小ＰＤの画素信号に基づいて、注目画素の画素信号を補間する補間処理を行う。ステップＳ２０６の後、内視鏡システム１は、ステップＳ２０３へ移行する。
　ステップＳ２０７において、判定部５１０は、注目画素に隣接する複数の隣接画素のうち小ＰＤの画素信号が第２の閾値以上であるか否かを判定する。ここで、第２の閾値とは、小ＰＤのＳＮ比が確保できる画素信号である。判定部５１０によって注目画素に隣接する複数の隣接画素のうち小ＰＤの画素信号が第２の閾値以上であると判定された場合（ステップＳ２０７：Ｙｅｓ）、内視鏡システム１は、後述するステップＳ２０８へ移行する。これに対して、判定部５１０によって注目画素に隣接する複数の隣接画素のうち小ＰＤの画素信号が第２の閾値以上でないと判定された場合（ステップＳ２０７：Ｎｏ）、内視鏡システム１は、後述するステップＳ２０９へ移行する。
　ステップＳ２０８において、現像部５１１は、注目画素に隣接する複数の小ＰＤの画素信号に基づいて、注目画素である大ＰＤの画素信号を補間する補間処理を行う。ステップＳ２０８の後、内視鏡システム１は、ステップＳ２０３へ移行する。
　ステップＳ２０９において、現像部５１１は、注目画素に隣接する複数の大ＰＤの画素信号に基づいて、注目画素である大ＰＤの画素信号を補間する補間処理を行う。ステップＳ２０９の後、内視鏡システム１は、ステップＳ２０３へ移行する。
　ここで、上述したステップＳ２０２、ステップＳ２０６、ステップＳ２０８およびステップＳ２０９で説明した現像部５１１が行う補間処理の詳細について説明する。なお、以下においては、注目画素として画素信号がない大ＰＤを一例として説明するが、注目画素の画素信号が飽和している場合であっても同様の処理を行う。また、現像部５１１は、注目画素に画素信号がある場合、その画素信号を用いて表示画像を生成する。
　〔Ｂ光照射時〕
　まず、光源装置３がＢ光の照射時に現像部５１１が行う補間処理について説明する。図７は、光源装置３がＢ光照射時に現像部５１１が行う補間処理を模式的に示す図である。
　〔画素信号が第１の閾値未満の場合〕
　最初に、注目画素に隣接する複数の隣接画素である大ＰＤの画素信号が第１の閾値未満の場合について説明する。図７に示すように、現像部５１１は、注目画素ＰＤ１に隣接する隣接画素ＢＰＤ１～隣接画素ＢＰＤ４の画素信号と、周知の補間処理技術と、を用いて、大ＰＤである注目画素ＰＤ１の画素信号を補間する。なお、現像部５１１は、ステップＳ２０９では、同様の補間処理を行うため、詳細な説明は省略する。
　〔画素信号が飽和している場合〕
　次に、大ＰＤの画素信号が飽和している場合について説明する。図７に示すように、鉗子および近距離の被写体等の反射光またはレーザメス等のレーザ光により注目画素に隣接する複数の隣接画素である隣接画素ＢＰＤ１～隣接画素ＢＰＤ４の画素信号が飽和している場合、現像部５１１は、注目画素に隣接する隣接画素ＳＰＤ１～隣接画素ＳＰＤ４の画素信号と、周知の補間処理技術と、を用いて、注目画素ＰＤ１（大ＰＤ）の画素信号を補間する補間処理を行う。この場合、大ＰＤである注目画素ＰＤ１には、Ｂ光による色情報を持たないが、輝度情報を持つので、表示時にモノクロ画像として表示される。
　〔画素信号が飽和せず、小ＰＤの画素信号が第２の閾値以上の場合〕
　次に、大ＰＤの画素信号が飽和せず、小ＰＤの画素信号が第２の閾値以上の場合について説明する。図７に示すように、現像部５１１は、比較的に明るい部分であり、注目画素ＰＤ１に隣接する複数の隣接画素である大ＰＤ（隣接画素ＢＰＤ１～隣接画素ＢＰＤ４）の画素信号が飽和せず、注目画素ＰＤ１に隣接する複数の隣接画素ＳＰＤ１～隣接画素ＳＰＤ４の画素信号が第２の閾値以上の場合、注目画素ＰＤ１の画素信号を、隣接画素ＢＰＤ１～隣接画素ＢＰＤ４および隣接画素ＳＰＤ１～隣接画素ＳＰＤ４の各々の画素信号と、周知の補間を用いて補間する補間処理を行う。
　〔Ｇ光照射時〕
　次に、光源装置３がＧ光の照射時に現像部５１１が行う補間処理について説明する。図８は、光源装置３がＧ光照射時に現像部５１１が行う補間処理を模式的に示す図である。
　〔画素信号が第１の閾値未満の場合〕
　最初に、注目画素に隣接する複数の隣接画素である大ＰＤの画素信号が第１の閾値未満の場合について説明する。図８に示すように、現像部５１１は、注目画素ＰＤ１に隣接する隣接画素ＧＰＤ１～隣接画素ＧＰＤ４の画素信号と、周知の補間処理技術と、を用いて、大ＰＤである注目画素ＰＤ１の画素信号を補間する。なお、現像部５１１は、ステップＳ２０９では、同様の補間処理を行うため、詳細な説明は省略する。
　〔画素信号が飽和している場合〕
　次に、大ＰＤの画素信号が飽和している場合について説明する。図８に示すように、鉗子および近距離の被写体等の反射光またはレーザメス等のレーザ光により注目画素に隣接する複数の隣接画素である隣接画素ＧＰＤ１～隣接画素ＧＰＤ４の画素信号が飽和している場合、現像部５１１は、注目画素に隣接する隣接画素ＳＰＤ１～隣接画素ＳＰＤ４の画素信号と、周知の補間処理技術と、を用いて、注目画素ＰＤ１（大ＰＤ）の画素信号を補間する補間処理を行う。この場合において、現像部５１１は、注目画素に隣接する隣接画素ＳＰＤ１～隣接画素ＳＰＤ４の画素信号に対してクロマサプレス処理を行って自然な画像遷移処理を行う。このとき、大ＰＤである注目画素ＰＤ１には、Ｇ光による色情報を持たないが、輝度情報を持つので、表示時にモノクロ画像として表示されるが、自然な画像となる。
　〔画素信号が飽和せず、小ＰＤの画素信号が第２の閾値以上の場合〕
　次に、大ＰＤの画素信号が飽和せず、小ＰＤの画素信号が第２の閾値以上の場合について説明する。図８に示すように、現像部５１１は、比較的に明るい部分であり、注目画素ＰＤ１に隣接する複数の隣接画素である大ＰＤ（隣接画素ＧＰＤ１～隣接画素ＧＰＤ４）の画素信号が飽和せず、注目画素ＰＤ１に隣接する複数の隣接画素ＳＰＤ１～隣接画素ＳＰＤ４の画素信号が第２の閾値以上の場合、注目画素ＰＤ１の画素信号を、隣接画素ＧＰＤ１～隣接画素ＧＰＤ４および隣接画素ＳＰＤ１～隣接画素ＳＰＤ４の各々の画素信号と、周知の補間を用いて補間する補間処理を行う。
　〔Ｒ光照射時〕
　次に、光源装置３がＧ光の照射時に現像部５１１が行う補間処理について説明する。図９は、光源装置３がＲ光照射時に現像部５１１が行う補間処理を模式的に示す図である。
　〔大ＰＤの画素信号が第１の閾値未満の場合〕
　最初に、注目画素に隣接する複数の隣接画素である大ＰＤの画素信号が第１の閾値未満の場合について説明する。図９に示すように、現像部５１１は、注目画素ＰＤ１に隣接する隣接画素ＲＰＤ１～隣接画素ＲＰＤ４の画素信号と、周知の補間処理技術と、を用いて、大ＰＤである注目画素ＰＤ１の画素信号を補間する。なお、現像部５１１は、ステップＳ２０９では、同様の補間処理を行うため、詳細な説明は省略する。
　〔画素信号が飽和している場合〕
　次に、大ＰＤの画素信号が飽和している場合について説明する。図９に示すように、鉗子および近距離の被写体等の反射光またはレーザメス等のレーザ光により注目画素に隣接する複数の隣接画素である隣接画素ＲＰＤ１～隣接画素ＲＰＤ４の画素信号が飽和している場合、現像部５１１は、注目画素に隣接する隣接画素ＳＰＤ１～隣接画素ＳＰＤ４の画素信号と、周知の補間処理技術と、を用いて、注目画素ＰＤ１（大ＰＤ）の画素信号を補間する補間処理を行う。この場合、大ＰＤである注目画素ＰＤ１には、Ｒ光による色情報を持たないが、輝度情報を持つので、表示時にモノクロ画像として表示される。
　〔画素信号が飽和せず、小ＰＤの画素信号が第２の閾値以上の場合〕
　次に、大ＰＤの画素信号が飽和せず、小ＰＤの画素信号が第２の閾値以上の場合について説明する。図９に示すように、現像部５１１は、比較的に明るい部分であり、注目画素ＰＤ１に隣接する複数の隣接画素である大ＰＤ（隣接画素ＲＰＤ１～隣接画素ＲＰＤ４）の画素信号が飽和せず、注目画素ＰＤ１に隣接する複数の隣接画素ＳＰＤ１～隣接画素ＳＰＤ４の画素信号が第２の閾値以上の場合、注目画素ＰＤ１の画素信号を、隣接画素ＲＰＤ１～隣接画素ＲＰＤ４および隣接画素ＳＰＤ１～隣接画素ＳＰＤ４の各々の画素信号と、周知の補間を用いて補間する補間処理を行う。
　このように現像部５１１は、Ｂ光、Ｇ光およびＲ光のいずれかが被検体に照射された際に内視鏡２で生成された画像データに対して、判定部５１０が各画素の画素信号に基づいて判定した判定結果を用いて、注目画素において、画素信号がない画素の画素信号を上述した補間処理を用いて補間することによって、解像度が高い表示画像を生成する。さらに、現像部５１１は、判定部５１０が各画素の画素信号に基づいて判定した判定結果を用いて、注目画素の画素信号が飽和している場合、画素信号が飽和している画素の画素信号を上述した補間処理を用いて補間することによって、解像度が高い表示画像を生成する。
　図５に戻り、ステップＳ１０４以降の説明を続ける。
　ステップＳ１０４において、超解像処理部５１２は、現像部５１１が生成した表示画像用の画像データに対して、解像度を向上する解像度向上処理を行う。具体的には、超解像処理部５１２は、現像部５１１が生成した表示画像用の画像データに対して、エッジを強調する強調処理またはコントラストを強調するコントラスト強調処理を行って解像度を向上させる。さらに、超解像処理部５１２は、現像部５１１が生成した表示画像用の画像データにおいて、モノクロ画素が含まれている場合、このモノクロ画素に対して、ニューラルネットワーク等を用いて学習された学習結果を用いて、色情報を補間する処理を行って解像度を向上させる解像度向上処理を行ってもよい。
　続いて、病変検出部５４は、内視鏡２が生成した画像データに対応する画像に対して、病変を検出する（ステップＳ１０５）。例えば、病変検出部５４は、内視鏡２が生成した画像データに対応する画像に写る病変の領域を検出し、この検出結果を画像処理部５１へ出力する。
　続いて、表示制御部５１３は、現像部５１１が生成した画像データに対応する表示画像上または超解像処理部５１２が解像度を向上させた表示画像上に、病変検出部５４が検出した病変の領域を識別可能に重畳して表示装置４へ出力することによって表示させる（ステップＳ１０６）。
　その後、入力部５２から終了を指示する指示信号が入力された場合（ステップＳ１０７：Ｙｅｓ）、内視鏡システム１は、本処理を終了する。これに対して、入力部５２から終了を指示する指示信号が入力されていない場合（ステップＳ１０７：Ｎｏ）、内視鏡システム１は、上述したステップＳ１０１へ戻る。
　ステップＳ１０２において、内視鏡システム１の観察モードが通常光観察モードでない場合（ステップＳ１０２：Ｎｏ）、内視鏡システム１は、特殊光観察モード処理を実行する（ステップＳ１０８）。ステップＳ１０８の後、内視鏡システム１は、ステップＳ１０４へ移行する。
　〔特殊光観察モード処理の概要〕
　図１０は、特殊光観察モード処理の概要を示すフローチャートである。図１０において、ステップＳ３００～ステップＳ３０９は、上述した図６のステップＳ２０１～ステップＳ２０９それぞれに対応し、光源装置３が照射する光が異なり、現像部５１１が行う補間処理のみが異なる。このため、以下においては、現像部５１１が特殊光観察モード処理時に行う補間処理について説明する。
　図１１は、光源装置３が特殊光照射時に現像部５１１が行う補間処理を模式的に示す図である。なお、以下においては、注目画素として画素信号がない大ＰＤを一例として説明するが、注目画素の画素信号が飽和している場合であっても同様の処理を行う。また、現像部５１１は、注目画素に画素信号がある場合、その画素信号を用いて表示画像を生成する。
　〔大ＰＤの画素信号が第１の閾値未満の場合〕
　注目画素に隣接する複数の隣接画素である大ＰＤの画素信号が第１の閾値未満の場合について説明する。図１１に示すように、現像部５１１は、注目画素ＰＤ１に隣接する隣接画素ＢＰＤ１～隣接画素ＢＰＤ４,隣接画素ＧＰＤ１～ＧＰＤ４の画素信号と、周知の補間処理技術と、を用いて、大ＰＤである注目画素ＰＤ１の画素信号を補間する。例えば、現像部５１１は、隣接画素ＢＰＤ１～隣接画素ＢＰＤ４および隣接画素ＧＰＤ１～ＧＰＤ４の各々の画素信号を加算した後に、加算した数の画素数で除算することによって注目画素ＰＤ１の画素信号を補間する。この場合、現像部５１１は、隣接画素ＢＰＤ１～隣接画素ＢＰＤ４および隣接画素ＧＰＤ１～ＧＰＤ４の各々の画素信号に対して重み付け係数を乗じて加算してもよい。なお、現像部５１１は、ステップＳ３０９では、同様の補間処理を行うため、詳細な説明は省略する。
　〔画素信号が飽和している場合〕
　次に、大ＰＤの画素信号が飽和している場合について説明する。図１１に示すように、鉗子および近距離の被写体等の反射光またはレーザメス等のレーザ光により注目画素に隣接する複数の隣接画素である隣接画素ＢＰＤ１～隣接画素ＢＰＤ４,隣接画素ＧＰＤ１～隣接画素ＧＰＤ４の画素信号が飽和している場合、現像部５１１は、注目画素に隣接する隣接画素ＳＰＤ１～隣接画素ＳＰＤ４の画素信号と、周知の補間処理技術と、を用いて、大ＰＤである注目画素ＰＤ１の画素信号を補間する補間処理を行う。この場合、大ＰＤである注目画素ＰＤ１には、Ｖ光とｇ光とによる色情報を持たないが、輝度情報を持つので、表示時にモノクロ画像として表示される。
　〔画素信号が飽和せず、小ＰＤの画素信号が第２の閾値以上の場合〕
　次に、大ＰＤの画素信号が飽和せず、小ＰＤの画素信号が第２の閾値以上の場合について説明する。図１１に示すように、現像部５１１は、比較的に明るい部分であり、注目画素ＰＤ１に隣接する複数の隣接画素である大ＰＤ（隣接画素ＢＰＤ１～隣接画素ＢＰＤ４,　隣接画素ＧＰＤ１～隣接画素ＧＰＤ４）の画素信号が飽和せず、注目画素ＰＤ１に隣接する複数の隣接画素ＳＰＤ１～隣接画素ＳＰＤ４の画素信号が第２の閾値以上の場合、注目画素ＰＤ１の画素信号を、隣接画素ＢＰＤ１～隣接画素ＢＰＤ４、隣接画素ＧＰＤ１～隣接画素ＧＰＤ４および隣接画素ＳＰＤ１～ＳＰＤ４の各々の画素信号と、周知の補間を用いて補間する補間処理を行う。
　このように現像部５１１は、特殊光が被検体に照射された際に内視鏡２で生成された画像データに対して、判定部５１０が各画素の画素信号に基づいて判定した判定結果を用いて、画素信号がない画素の画素信号を補間することによって、解像度が高い特殊光の表示画像を生成する。
　以上説明した実施の形態１によれば、現像部５１１が判定部５１０によって判定された判定結果に基づいて、画像データに基づく表示画像を生成するので、ダイナミックレンジを拡大することができ、かつ、解像感が低下することを防止することができる。
　また、実施の形態１によれば、現像部５１１が複数の第１の受光部２４４１ａの各々が生成した画素信号および複数の第２の受光部２４４１ｂの各々が生成した画素信号を用いて、表示画像を生成するので、表示画像の解像度向上を画素縮小化に頼らないためですむため、光学系２４３のＦ値を明るくする必要がないので、内視鏡２の先端部２４の細径化を図ることができる。
（実施の形態２）
　次に、実施の形態２について説明する。上述した実施の形態１では、光源装置３の照明方式がＲ光、Ｇ光およびＢ光を被検体に順次照射する面順次方式であったが、実施の形態２では、白色光を照射する同次式方式によって被検体に照射する。以下においては、実施の形態２に係る内視鏡システムの構成を説明後、実施の形態２に係る内視鏡システムが実行する処理について説明する。なお、上述した実施の形態１に係る内視鏡システム１と同一の構成には同一の符号を付して詳細な説明を省略する。
　〔内視鏡システムの構成〕
　図１２は、実施の形態２に係る内視鏡システムの腰部の機能構成を示すブロック図である。図１２に示す内視鏡システム１Ａは、上述した実施の形態１に係る内視鏡システム１の光源装置３に代えて、光源装置３Ａを備える。光源装置３Ａは、上述した実施の形態１に係る光源装置３に代えて、光源装置３Ａを備える。光源装置３Ａは、集光レンズ３１１と、第１の光源３１２Ａと、第４の光源３１５と、を備える。
　第１の光源３１２Ａは、白色ＬＥＤランプを用いて構成される。第１の光源３１２Ａは、光源ドライバ３２から供給される電流に基づいて、白色の波長帯域の光（以下、単に「Ｗ光」という）を出射する。なお、第１の光源３１２Ａを白色ＬＥＤによって構成しているが、赤色ＬＥＤ、緑色ＬＥＤおよび青色ＬＥＤを同時に発光させることによってＷ光を出射してもよい。もちろん。第１の光源３１２Ａを、白色ＬＥＤに代えて、Ｗ光を出射可能なレーザ光源を用いて構成してもよい。
　このように構成された内視鏡システム１Ａは、上述した実施の形態１と同様の処理を行い、上述した通常光観察モード処理における現像部５１１による補間処理が異なる。このため、以下においては、現像部５１１が行う補間処理について説明する。
　〔Ｗ光照射時〕
　図１３は、光源装置３ＡがＷ光の照射時に現像部５１１が行う補間処理を模式的に示す図である。なお、図１３において、判定部５１０は、上述した実施の形態１と同様に、各画素の画素信号を判定する。また、図１３において、現像部５１１は、注目画素に隣接する隣接画素の画素信号が第１の閾値未満の場合および注目画素に隣接する隣接画素の画素信号が飽和している場合、上述した実施の形態１と同様の処理をＲフィルタ、ＧフィルタおよびＢフィルタのフィルタ毎に行うため、詳細な説明は省略する。以下においては、注目画素に隣接する隣接画素の画素信号が飽和せず、注目画素に隣接する隣接画素の小ＰＤの画素信号が第２の閾値以上の場合について説明する。また、図１３においては、注目画素を小ＳＰＤ１として説明する。
　〔画素信号が飽和せず、小ＰＤの画素信号が第２の閾値以上の場合〕
　図１３に示すように、現像部５１１は、比較的に明るい部分であり、注目画素ＳＰＤ１に隣接する複数の隣接画素である大ＰＤ（隣接画素ＧＰＤ１、隣接画素ＧＰＤ２、隣接画素ＲＰＤ１および隣接画素ＢＰＤ１）の画素信号が飽和せず、注目画素ＳＰＤ１の画素信号が第２の閾値以上の場合、注目画素ＳＰＤ１の画素信号の色推定を、隣接画素ＧＰＤ１、隣接画素ＧＰＤ２、隣接画素ＲＰＤ１および隣接画素ＢＰＤ１の各々の画素信号を用いて行うことによって、注目画素ＳＰＤ１の色情報と画素信号とを補完する補間処理を行う。
　以上説明した実施の形態２によれば、上述した実施の形態１と同様に、同時方式であっても、ダイナミックレンジを拡大することができ、かつ、解像感が低下することを防止することができる。
（実施の形態１,２の変形例１）
　次に、実施の形態１,２の変形例１について説明する。実施の形態１,２の変形例１では、撮像素子のカラーフィルタが異なる。なお、上述した実施の形態１に係る内視鏡システム１と同一の構成には同一の符号を付して詳細な説明を省略する。
　図１４は、実施の形態１,２の変形例１に係る画素部の受光面にカラーフィルタを配置した一例を模式的に示す図である。
　図１４に示す撮像素子２４４Ｂのカラーフィルタは、大ＰＤの一部を緑色の波長帯域の光（５００ｎｍ～６００ｎｍ）と青色の波長帯域の光（３９０ｎｍ～５００ｎｍ）を透過するシアンフィルタ（以下、単に「Ｃｙフィルタ」という）が配置されてなる。
　図１５は、光源装置３ＡがＷ光照射時に現像部５１１が行う補間処理を模式的に示す図である。なお、図１５において、判定部５１０は、上述した実施の形態１と同様に、各画素の画素信号を判定する。また、図１５において、現像部５１１は、注目画素に隣接する隣接画素の画素信号が第１の閾値未満の場合および注目画素に隣接する隣接画素の画素信号が飽和している場合、上述した実施の形態１と同様の処理をＣｙフィルタ、Ｒフィルタ、ＧフィルタおよびＢフィルタのフィルタ毎に行うため、詳細な説明は省略する。以下においては、注目画素に隣接する隣接画素の画素信号が飽和せず、注目画素に隣接する隣接画素の小ＰＤの画素信号が第２の閾値以上の場合について説明する。また、図１５においては、注目画素を小ＳＰＤ１として説明する。
　〔画素信号が飽和せず、小ＰＤの画素信号が第２の閾値以上の場合〕
　図１５に示すように、現像部５１１は、比較的に明るい部分であり、注目画素ＳＰＤ１に隣接する複数の隣接画素である大ＰＤ（隣接画素ＣｙＰＤ１,ＣｙＰＤ２、隣接画素ＧＰＤ１および隣接画素ＲＰＤ１）の画素信号が飽和せず、注目画素ＳＰＤ１の画素信号が第２の閾値以上の場合、注目画素ＳＰＤ１の画素信号の色推定を、隣接画素ＣｙＰＤ１,ＣｙＰＤ２、隣接画素ＧＰＤ１および隣接画素ＲＰＤ１、注目画素ＳＰＤ１の色情報と画素信号とを補完する補間処理を行う。
　以上説明した実施の形態１,２の変形例１によれば、上述した実施の形態１と同様に、補色フィルタを用いる場合であっても、ダイナミックレンジを拡大することができ、かつ、解像感が低下することを防止することができる。
（実施の形態１,２の変形例２）
　次に、実施の形態１,２の変形例２について説明する。実施の形態１,２の変形例２では、撮像素子のカラーフィルタが異なる。なお、上述した実施の形態１に係る内視鏡システム１と同一の構成には同一の符号を付して詳細な説明を省略する。
　図１６は、実施の形態１,２の変形例２に係る画素部の受光面にカラーフィルタを配置した一例を模式的に示す図である。
　図１６に示す撮像素子２４４Ｃのカラーフィルタ２４４２は、大ＰＤをＣｙフィルタと、緑色の波長帯域の光と赤色の波長帯域の光（６００ｎｍ～７００ｎｍ）を透過するイエローフィルタ（以下、単に「Ｙｅフィルタ」という）とが配置されてなる。
　このように構成された撮像素子２４４Ｃは、画素ＣｙＰＤまたは画素ＹｅＰＤがＢ光、Ｇ光およびＲ光のいずれかに感度を有する。このため、現像部５１１は、上述した実施の形態１と同様に、Ｂ光、Ｇ光およびＲ光のいずれかが被検体に照射された際に内視鏡２で生成された画像データに対して、判定部５１０が各画素の画素信号に基づいて判定した判定結果を用いて、画素信号がない画素の画素信号を補間することによって、解像度が高い表示画像を生成する。
　以上説明した実施の形態１,２の変形例２によれば、上述した実施の形態１と同様に、補色フィルタを用いる場合であっても、ダイナミックレンジを拡大することができ、かつ、解像感が低下することを防止することができる。
（実施の形態１,２の変形例３）
　次に、実施の形態１,２の変形例３について説明する。上述した実施の形態１では、光源装置３が特殊光としてＶ光を照射していたが、これに限定されることなく、種々の波長の光を照射する場合であっても適用する。
　図１７は、実施の形態１,２の変形例３に係る光源装置が照射する照明光と各画素との感度との関係を示す図である。図１７において、横軸が波長を示し、縦軸が感度を示す。また、図１７において、曲線ＬＢが画素ＢＰＤの感度を示し、曲線ＬＧが画素ＧＰＤの感度を示し、曲線ＬＲが画素ＲＰＤの感度を示す。また、図１７において、曲線ＬＶがＶ光の波長を示し、曲線ＬｂがＢ光の波長を示し、曲線ＬｇがＧ光の波長を示し、曲線Ｌａがアンバ光（以下、「ａ光」という）の波長を示し、曲線Ｌｒが赤外光（以下、「ＲＲ光」という）の波長を示す。さらに、図１７において、曲線ＬＮが小ＰＤの感度を示す。
　図１７に示すように、撮像素子２４４は、光源装置３が種々の光を照射する場合であっても、感度を有する。この結果、現像部５１１は、現像部５１１は、Ｂ光、Ｇ光、Ｒ光、Ａ光およびａ光のいずれかが被検体に照射された際に内視鏡２で生成された画像データに対して、判定部５１０が各画素の画素信号に基づいて判定した判定結果を用いて、画素信号がない画素の画素信号を補間することによって、解像度が高い表示画像を生成する。
　以上説明した実施の形態１,２の変形例３によれば、上述した実施の形態１と同様に、ダイナミックレンジを拡大することができ、かつ、解像感が低下することを防止することができる。
（実施の形態１,２の変形例４）
　次に、実施の形態１,２の変形例４について説明する。上述した実施の形態１,２では、小ＰＤには、受光部にフィルタを配置していなかったが、実施の形態１,２の変形例４では、小ＰＤの受光部にＣｙフィルタを配置する。なお、上述した実施の形態１に係る内視鏡システム１と同一の構成には同一の符号を付して詳細な説明を省略する。
　図１８は、実施の形態１,２の変形例４に係る画素部の受光面にカラーフィルタを配置した一例を模式的に示す図である。
　図１８に示す撮像素子２４４Ｄは、画素部２４４１の小ＰＤ（第２の受光部２４４１ｂ）の受光面にＣｙフィルタが配置されてなる。
　図１９は、光源装置３が特殊光照射時に現像部５１１が行う補間処理を模式的に示す図である。
　図１９に示すように、現像部５１１は、特殊光（Ｖ光＋ｇ光）が被検体に照射された際に内視鏡２で生成された画像データに対して、判定部５１０が各画素の画素信号に基づいて判定した判定結果を用いて、注目画素ｃｙＰＤ１の画素信号の色推定を、隣接画素ＧＰＤ１、隣接画素ＧＰＤ２、隣接画素ＢＰＤ１および画素信号が補間された大ＰＤ１の各々の画素信号を用いて行うことによって、注目画素ｃｙＰＤ１の色情報と画素信号とを補完する補間処理を行う。
　図２０は、光源装置３がＧ光照射時に現像部５１１が行う補間処理を模式的に示す図である。
　図２０に示すように、現像部５１１は、注目画素ＰＤ１に隣接する隣接画素ＧＰＤ１～隣接画素ＧＰＤ４の画素信号が飽和せず、注目画素ＰＤ１に隣接する複数の隣接画素ＧＳＰＤ１～隣接画素ＧＳＰＤ４の画素信号が第２の閾値以上の場合、注目画素ＰＤ１の画素信号を、隣接画素ＧＳＰＤ１～隣接画素ＧＳＰＤ４の各々の画素信号と、周知の補間を用いて補間する補間処理を行う。これにより、現像部５１１は、感度が異なる大ＰＤの画素と小ＰＤの画像とを合成することによって、ダイナミックレンジを拡大しつつ、解像度が高い表示画像を生成する。
　図２１は、光源装置３がＢ光照射時に現像部５１１が行う補間処理を模式的に示す図である。
　図２１に示すように、現像部５１１は、注目画素ＰＤ１に隣接する複数の隣接画素ＢＳＰＤ１～隣接画素ＢＳＰＤ４の画素信号が第２の閾値以上の場合、注目画素ＰＤ１の画素信号を、隣接画素ＢＳＰＤ１～隣接画素ＢＳＰＤ４の各々の画素信号と、周知の補間を用いて補間する補間処理を行う。これにより、現像部５１１は、感度が異なる大ＰＤの画素と小ＰＤの画像とを合成することによって、ダイナミックレンジを拡大しつつ、解像度が高い表示画像を生成する。
　以上説明した実施の形態１,２の変形例４によれば、上述した実施の形態１と同様に、ダイナミックレンジを拡大することができ、かつ、解像感が低下することを防止することができる。
　なお、実施の形態１,２の変形例４では、小ＰＤの受光面にＣｙフィルタを配置していたが、Ｃｙフィルタに代えて、Ｙｅフィルタであってもよい。この場合、図２２に示すように、現像部５１１は、Ｒ光が被検体に照射された際に内視鏡２で生成された画像データに対して、判定部５１０が各画素の画素信号に基づいて判定した判定結果を用いて、画素信号がない画素の画素信号を補間することによって、解像度が高い表示画像を生成するようにしてもよい。
（その他の実施の形態）
　上述した本開示の実施の形態１,２に係る内視鏡システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態１,２に係る内視鏡システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態に係る情報提供システムで説明した構成要素を適宜組み合わせてもよい。
　また、本開示の実施の形態１,２では、処理装置５内の画像処理部５１に判定部５１０および現像部５１１を設けていたが、これに限定されることなく、内視鏡２のコネクタ部２７に、判定部５１０、現像部５１１を設けてもよい。
　また、本開示の実施の形態１,２に係る内視鏡システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
　また、本開示の実施の形態１,２に係る内視鏡システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital　Versatile　Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
　また、本開示の実施の形態１,２に係る内視鏡システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
　なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
　以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
　１,１Ａ　内視鏡システム
　２　内視鏡
　３,３Ａ　光源装置
　４　表示装置
　５　処理装置
　２１　挿入部
　２２　操作部
　２３　ユニバーサルコード
　２４　先端部
　２５　湾曲部
　２６　可撓管部
　２７,２８　コネクタ部
　２７ａ　コイルケーブル
　３２　光源ドライバ
　３３　照明制御部
　５１　画像処理部
　５２　入力部
　５３　記録部
　５４　病変検出部
　５５　処理制御部
　２２１　湾曲ノブ
　２２２　処置具挿入部
　２２３　スイッチ
　２４１　ライトガイド
　２４２　照明レンズ
　２４３　光学系
　２４４,２４４Ｃ,２４４Ｄ　撮像素子
　２４５　内視鏡記録部
　２４６　撮像制御部
　３１１　集光レンズ
　３１２,３１２Ａ　第１の光源
　３１３　第２の光源
　３１４　第３の光源
　３１５　第４の光源
　５１０　判定部
　５１１　現像部
　５１２　超解像処理部
　５１３　表示制御部
　５３１　プログラム記録部
　２４４１,２４４１Ｄ　画素部
　２４４１ａ　第１の受光部
　２４４１ｂ　第２の受光部
　２４４２,２４４１ｂ,２４４２Ｃ,２４４２Ｄ,　　　：カラーフィルタ
　２４４３　読み出し部

Claims (19)

  1. 　内視鏡は以下を備える。
    　複数の第１の受光部および複数の第２の受光部が配置され、かつ、該第１の受光部および該第２の受光部が互いに受光感度および受光面積が異なり、受光量に応じた画素信号を生成する画素部と、前記複数の第１の受光部および前記複数の第２の受光部の各々から前記画素信号を画像データとして読み出す読み出し部と、を有する撮像素子と、
    　前記画像データに基づいて、画像を構成する画素毎に前記第１の受光部または前記第２の受光部が生成した前記画素信号を判定する判定部と、
    　前記判定部が判定した判定結果に基づいて、前記画像データに基づく表示画像を生成する現像部。
  2. 　請求項１に記載の内視鏡であって、
    　前記複数の第１の受光部および前記複数の第２の受光部は、
    　同じピッチ幅で位置をずらして２次元マトリクス状に配置されてなる、
    　内視鏡。
  3. 　請求項１または２に記載の内視鏡であって、
    　前記複数の第１の受光部は、
    　受光面に赤フィルタ、青フィルタおよび緑フィルタのいずれか１つが配置されてなる、
    　内視鏡。
  4. 　請求項１または２に記載の内視鏡であって、
    　前記複数の第１の受光部は、
    　受光面にシアンフィルタおよびイエローフィルタのいずれか１つが配置されてなる、
    　内視鏡。
  5. 　請求項１または２に記載の内視鏡であって、
    　前記複数の第１の受光部は、
    　受光面に少なくとも１種類の補色系フィルタが配置されてなる、
    　内視鏡。
  6. 　請求項１～５のいずれか一つに記載の内視鏡であって、
    　前記第１の受光部の受光面積および受光感度は、前記第２の受光部の受光面積および受光感度より大きい、
    　内視鏡。
  7. 　請求項１～６のいずれか一つに記載の内視鏡であって、
    　前記現像部は、
    　前記複数の第１の受光部の各々が生成した前記画素信号および前記複数の第２の受光部の各々が生成した前記画素信号を用いて、前記表示画像を生成する、
    　内視鏡。
  8. 　請求項１～７のいずれか一つに記載の内視鏡であって、
    　前記判定部は、
    　前記複数の第１の受光部の各々が生成した前記画素信号が第１の閾値未満であるか否かを判定し、
    　前記現像部は、
    　注目画素の画素信号を補間する場合において、該注目画素に隣接する複数の隣接画素のうち前記判定部によって前記画素信号が前記第１の閾値未満であると判定された前記第１の受光部に対応するものがあるとき、前記判定部によって前記画素信号が前記第１の閾値未満であると判定された前記第１の受光部によって生成された前記画素信号を用いて注目画素の画素信号を補間することによって前記表示画像を生成する、
    　内視鏡。
  9. 　請求項１～７のいずれか一つに記載の内視鏡であって、
    　前記判定部は、
    　前記複数の第１の受光部の各々が生成した前記画素信号が飽和しているか否かを判定し、
    　前記現像部は、
    　注目画素の画素信号を補間する場合において、該注目画素に隣接する複数の隣接画素が前記判定部によって前記画素信号が飽和していると判定された前記第１の受光部に対応するものがあるとき、前記複数の隣接画素の各々に対応する前記第２の受光部によって生成された前記画素信号を用いて注目画素の画素信号を補間することによって前記表示画像を生成する、
    　内視鏡。
  10. 　請求項１～７のいずれか一つに記載の内視鏡であって、
    　前記判定部は、
    　前記複数の第１の受光部の各々が生成した前記画素信号が飽和しているか否かを判定し、
    　かつ、
    　前記複数の第２の受光部の各々が生成した前記画素信号が第２の閾値以上であるか否かを判定し、
    　前記現像部は、
    　注目画素の画素信号を補間する場合において、該注目画素に隣接する複数の隣接画素が前記判定部によって前記画素信号が飽和していないと判定された前記第１の受光部に対応するものがあり、かつ、該注目画素に隣接する複数の隣接画素のうち前記判定部によって前記画素信号が前記第２の閾値以上であると判定された前記第２の受光部に対応するものがあるとき、前記複数の隣接画素の各々に対応する前記第１の受光部および前記第２の受光部によって生成された前記画素信号を用いて注目画素の画素信号を補間することによって前記表示画像を生成する、
    　内視鏡。
  11. 　請求項１～１０のいずれか一つに記載の内視鏡であって、
    　前記判定部は、
    　青色の波長帯域の光、緑色の波長帯域の光および赤色の波長帯域の光が順次照射された場合において、被検体からの反射光を前記第１の受光部および前記第２の受光部を順次受光したとき、前記画像データ毎に、画像を構成する画素毎に前記第１の受光部または前記第２の受光部が生成した前記画素信号を判定する、
    　内視鏡。
  12. 　請求項１～１０のいずれか一つに記載の内視鏡であって、
    　前記現像部は、
    　青色の波長帯域に含まれる狭帯域の光と緑色の波長帯域に含まれる狭帯域の光とが合波された特殊光が照射された被検体からの反射光を前記第１の受光部および前記第２の受光部を受光した場合において、注目画素が前記第２の受光部に対応するとき、該注目画素に隣接する複数の隣接画素に対応する前記第１の受光部が生成した前記画素信号を用いて、注目画素の色を推定することによって画素信号を補間することによって前記表示画像を生成する、
    　内視鏡。
  13. 　請求項１～１０のいずれか一つに記載の内視鏡であって、
    　前記現像部は、
    　青色の波長帯域の光と、緑色の波長帯域の光と、赤色の波長帯域の光と、を含む白色光が照射された被検体からの反射光を前記第１の受光部および前記第２の受光部を受光した場合において、注目画素が前記第２の受光部に対応するとき、該注目画素に隣接する複数の隣接画素に対応する前記第１の受光部が生成した前記画素信号を用いて、注目画素の色を推定することによって画素信号を補間することによって前記表示画像を生成する、
    　内視鏡。
  14. 　請求項１～１３のいずれか一つに記載の内視鏡であって、
    　前記現像部は、
    　注目画素が前記第１の受光部に対応するとき、該注目画素に隣接する複数の隣接画素に対応する前記第２の受光部が生成した前記画素信号に対してクロマサプレス処理を行って画素信号を補間することによって前記表示画像を生成する、
    　内視鏡。
  15. 　複数の第１の受光部および複数の第２の受光部が配置され、かつ、該第１の受光部および該第２の受光部が互いに受光感度および受光面積が異なり、受光量に応じた画素信号を生成する画素部と、前記複数の第１の受光部および前記複数の第２の受光部の各々から前記画素信号を画像データとして読み出す読み出し部と、を有する撮像素子を、被検体に挿入する挿入部の先端部に備える内視鏡が接続可能な画像処理装置は以下を備える。
    　前記画像データに基づいて、画像を構成する画素毎に前記第１の受光部または前記第２の受光部が生成した前記画素信号を判定する判定部と、
    　前記判定部が判定した判定結果に基づいて、前記画像データに基づく表示画像を生成する現像部。
  16. 　内視鏡システムは以下を備える。
    　複数の第１の受光部および複数の第２の受光部が配置され、かつ、該第１の受光部および該第２の受光部が互いに受光感度および受光面積が異なり、受光量に応じた画素信号を生成する画素部と、前記複数の第１の受光部および前記複数の第２の受光部の各々から前記画素信号を画像データとして読み出す読み出し部と、を有する撮像素子を、被検体に挿入する挿入部の先端部に備える内視鏡と、
    　前記内視鏡が接続され、前記画像データが入力される処理装置と、
    　赤色の波長帯域の光、緑色の波長帯域の光および青色の波長帯域の光を照射可能な光源装置と、
    　を備え、
    　前記処理装置は、
    　前記画像データに基づいて、画像を構成する画素毎に前記第１の受光部または前記第２の受光部が生成した前記画素信号を判定する判定部と、
    　前記判定部が判定した判定結果に基づいて、前記画像データの表示画像を生成する現像部。
  17. 　請求項１６に記載の内視鏡システムであって、
    　前記処理装置は、
    　前記画像データに対して、予め病変の特徴を学習した学習結果に基づいて、前記画像データに基づく画像内における病変を検出する病変検出部と、
    　前記病変検出部が検出した検出結果を前記表示画像に重畳して表示装置へ出力する表示制御部と、
    　をさらに備える、
    　内視鏡システム。
  18. 　複数の第１の受光部および複数の第２の受光部が配置され、かつ、該第１の受光部および該第２の受光部が互いに受光感度および受光面積が異なり、受光量に応じた画素信号を生成する画素部と、前記複数の第１の受光部および前記複数の第２の受光部の各々から前記画素信号を画像データとして読み出す読み出し部と、を有する撮像素子と、を備える内視鏡が実行する画像処理方法であって、
    　前記画像データに基づいて、画像を構成する画素毎に前記第１の受光部または前記第２の受光部が生成した前記画素信号を判定し、
    　各画素の前記画素信号の判定結果に基づいて、前記画像データに基づく表示画像を生成する、
    　画像処理方法。
  19. 　複数の第１の受光部および複数の第２の受光部が配置され、かつ、該第１の受光部および該第２の受光部が互いに受光感度および受光面積が異なり、受光量に応じた画素信号を生成する画素部と、前記複数の第１の受光部および前記複数の第２の受光部の各々から前記画素信号を画像データとして読み出す読み出し部と、を有する撮像素子と、を備える内視鏡に実行させるプログラムであって、
    　前記画像データに基づいて、画像を構成する画素毎に前記第１の受光部または前記第２の受光部が生成した前記画素信号を判定させ、
    　各画素の前記画素信号の判定結果に基づいて、前記画像データに基づく表示画像を生成させる、
    　プログラム。
     
     
PCT/JP2019/019580 2019-05-16 2019-05-16 内視鏡、画像処理装置、内視鏡システム、画像処理方法およびプログラム WO2020230332A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/019580 WO2020230332A1 (ja) 2019-05-16 2019-05-16 内視鏡、画像処理装置、内視鏡システム、画像処理方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/019580 WO2020230332A1 (ja) 2019-05-16 2019-05-16 内視鏡、画像処理装置、内視鏡システム、画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2020230332A1 true WO2020230332A1 (ja) 2020-11-19

Family

ID=73289558

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/019580 WO2020230332A1 (ja) 2019-05-16 2019-05-16 内視鏡、画像処理装置、内視鏡システム、画像処理方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2020230332A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05316530A (ja) * 1992-05-06 1993-11-26 Olympus Optical Co Ltd 撮像信号処理装置
JP2007135200A (ja) * 2005-10-14 2007-05-31 Sony Corp 撮像方法および撮像装置並びに駆動装置
JP2017163010A (ja) * 2016-03-10 2017-09-14 ソニー株式会社 撮像装置、電子機器
WO2018020558A1 (ja) * 2016-07-25 2018-02-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2019012623A1 (ja) * 2017-07-12 2019-01-17 オリンパス株式会社 画像処理装置、光走査型観察システムおよび画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05316530A (ja) * 1992-05-06 1993-11-26 Olympus Optical Co Ltd 撮像信号処理装置
JP2007135200A (ja) * 2005-10-14 2007-05-31 Sony Corp 撮像方法および撮像装置並びに駆動装置
JP2017163010A (ja) * 2016-03-10 2017-09-14 ソニー株式会社 撮像装置、電子機器
WO2018020558A1 (ja) * 2016-07-25 2018-02-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2019012623A1 (ja) * 2017-07-12 2019-01-17 オリンパス株式会社 画像処理装置、光走査型観察システムおよび画像処理方法

Similar Documents

Publication Publication Date Title
JP5968944B2 (ja) 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法
JP6435275B2 (ja) 内視鏡装置
JP6471173B2 (ja) 画像処理装置、内視鏡装置の作動方法、画像処理プログラムおよび内視鏡装置
US11045079B2 (en) Endoscope device, image processing apparatus, image processing method, and program
WO2016084257A1 (ja) 内視鏡装置
JP2004236952A (ja) 電子内視鏡装置
WO2017022324A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
US11571111B2 (en) Endoscope scope, endoscope processor, and endoscope adaptor
WO2020178962A1 (ja) 内視鏡システムおよび画像処理装置
WO2016088628A1 (ja) 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム
JP6242552B1 (ja) 画像処理装置
WO2015194204A1 (ja) 内視鏡装置
WO2020230332A1 (ja) 内視鏡、画像処理装置、内視鏡システム、画像処理方法およびプログラム
JP6937902B2 (ja) 内視鏡システム
JP7068438B2 (ja) 画像処理装置、内視鏡システム、画像処理方法およびプログラム
US11509834B2 (en) Image processing apparatus and image processing method
US11774772B2 (en) Medical image processing device, medical observation system, and image processing method
JP6681971B2 (ja) プロセッサ及び内視鏡システム
JP7257829B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6801990B2 (ja) 画像処理システムおよび画像処理装置
CN115280212A (zh) 医疗观察系统、控制装置及控制方法
JP2018151679A (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19929149

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19929149

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP