WO2013154105A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2013154105A1
WO2013154105A1 PCT/JP2013/060726 JP2013060726W WO2013154105A1 WO 2013154105 A1 WO2013154105 A1 WO 2013154105A1 JP 2013060726 W JP2013060726 W JP 2013060726W WO 2013154105 A1 WO2013154105 A1 WO 2013154105A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
white
correction
signal
pixels
Prior art date
Application number
PCT/JP2013/060726
Other languages
English (en)
French (fr)
Inventor
啓介 筒井
慎 大塚
文行 大河
塙　隆行
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to CN201380003425.1A priority Critical patent/CN103858422B/zh
Priority to EP13775185.5A priority patent/EP2750373B1/en
Priority to JP2013544603A priority patent/JP5458223B1/ja
Publication of WO2013154105A1 publication Critical patent/WO2013154105A1/ja
Priority to US14/212,244 priority patent/US8866940B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors

Definitions

  • the present invention relates to an imaging device that performs image processing on an imaging device that images a subject.
  • the defective pixel correction unit has a defect position recording ROM for recording the position information of defective pixels obtained by prior inspection. Then, a direction having high correlation is obtained from surrounding pixels of the defective pixel that can be specified from the defect position recording ROM, and a correction value of the defective pixel is calculated using the surrounding pixels belonging to the direction.
  • paragraph [0016] of Japanese Patent Laid-Open No. 10-42201 as a second conventional example states that “mainly using the video information on the front line and the video information on the back line, The image information on the same line is used for interpolation except for the data of the defective pixel and the pixels before and after it.Only the defective pixel is corrected because the video information on the previous line and the video information on the rear line are used for correction. In addition, interpolation is possible for the signals before and after that. "
  • the waveform of the pixel signal is dulled by the cable, and when the correction for the pixel signal due to the defective pixel is performed as in the first conventional example, it is sufficient. Cannot be corrected.
  • An imaging device includes a plurality of pixels arranged in a two-dimensional array for imaging a subject, an image sensor that outputs pixel signals captured by the plurality of pixels, and the image sensor
  • a white-scratch position information storage unit that stores position information of white-scratch pixels as defective pixels existing in the image sensor, and a transfer signal is applied to the image sensor, so that a predetermined number of pixels are included in the image sensor.
  • An image sensor driving unit that outputs the pixel signal along the direction of the image, and output from the image sensor by applying the transfer signal based on the position information of the white defect pixel read from the white defect position information storage unit
  • the pixel signal is determined to be a white scratched pixel
  • it is determined to be the white scratched pixel from the surrounding eight pixel signals surrounding the pixel determined to be the white scratched pixel that is output from the image sensor.
  • Was White spot correction is performed on the pixel signal of the pixel determined to be the white spot pixel based on the white spot correction value calculated by the seven pixels excluding the pixel signal of the adjacent pixel output one pixel after the prime pixel.
  • a white flaw correction unit to perform.
  • FIG. 1 is a diagram showing an overall configuration of an endoscope apparatus according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a configuration of an imaging system portion in FIG.
  • FIG. 3 is a block diagram showing a configuration of a white defect correction circuit.
  • FIG. 4 is a diagram showing white scratched pixels and surrounding pixels.
  • FIG. 5 is a block diagram showing a configuration of an imaging system portion in the second embodiment of the present invention.
  • FIG. 6 is an explanatory diagram for performing ringing correction in the second embodiment.
  • FIG. 7 is a block diagram illustrating a configuration of a ringing correction circuit.
  • FIG. 8 is a diagram illustrating pixels when a plurality of white scratched pixels are close to the image sensor.
  • FIG. 9 is a block diagram showing a configuration of an adjacent pixel correction unit in the third embodiment of the present invention.
  • FIG. 10 is an explanatory diagram for illustrating an interpolation method for saturated texture in the third embodiment of the present
  • an endoscope apparatus 1 As shown in FIG. 1, an endoscope apparatus 1 according to a first embodiment constituting an imaging apparatus of the present invention is an electronic endoscope (hereinafter simply referred to as an endoscope) 2 for performing an endoscopic examination.
  • a light source device 3 that supplies illumination light to the endoscope 2, and a processor 4 as a signal processing device (image processing device) that performs signal processing (image processing) on an imaging element or the like of the endoscope 2;
  • a monitor 5 as a display device for displaying the video signal generated by the processor 4.
  • the endoscope 2 includes an insertion portion 6 to be inserted into a body cavity of a patient, an operation portion 7 provided at a proximal end (rear end) of the insertion portion 6, and a cable extending from the operation portion 7. Part 8.
  • the light source connector 9b at the end of the cable portion 8 is detachably connected to the light source device 3, and the signal connector 9a is detachably connected to the processor 4.
  • the configuration is not limited to the configuration in which the end portion of the cable portion 8 is branched.
  • the signal connector at the end portion is detachably connected to the processor 4 from the light source connector via the connection cable. May be.
  • the light source device 3 and the processor 4 may be integrated.
  • an endoscope having a cable length or the like different from that of the endoscope 2 shown in FIG. 1 can be connected to the processor 4 of FIG.
  • a light guide 11 for transmitting illumination light is inserted into the insertion portion 6, the operation portion 7, and the cable portion 8 in the endoscope 2, and the base end thereof reaches the light source connector 9b.
  • the user condenses the illumination light generated by the light source lamp 12 in the light source device 3 by the condenser lens 13 and enters the base end of the light guide 11.
  • the illumination light is transmitted by the light guide 11 and emitted from the illumination window at the distal end portion 14 of the insertion portion 6 to illuminate a subject such as an affected part in the body cavity.
  • the illuminated subject forms an optical image of the subject at its imaging position by an objective lens 15 attached to an observation window provided adjacent to the illumination window.
  • a light receiving surface of a charge-coupled device (abbreviated as CCD) 16 is arranged as a solid-state image pickup device (image pickup device) at the imaging position, and the light receiving surface is formed by a photodiode having a two-dimensionally arranged photoelectric conversion function. Pixels are formed.
  • a CCD 16, a timing generator (TG) that drives a CCD (not shown), and a CDS circuit 17 that extracts a signal component for the CCD 16 are incorporated in a single package in the distal end portion 14 (SIP and SIP). (Abbreviation) 18 is arranged.
  • an analog front end (AFE) 19 including an A / D conversion circuit 19a as an analog / digital conversion means is disposed in a signal connector 9a.
  • an image is picked up by the CCD 16 and an image pickup element drive means for generating a CCD drive signal (also referred to as a transfer signal that is simply transferred as a drive signal) for driving the CCD 16, and the CCD drive section 21 as an image pickup element drive section.
  • White flaw correction means for performing correction (referred to as white flaw correction) on white flaws (or white flaw pixels) as defective pixels with respect to the pixel signals after passing through the CDS circuit 17 and AFE 19 in the pixel signal output from the CCD 16
  • an image processing unit 24 as an image processing unit having a white defect correction circuit 22 as a white defect correction unit and an image processing circuit 23 for performing image processing is provided.
  • a white defect or white defect pixel as a defective pixel does not have a normal photoelectric conversion function, and outputs a pixel signal (white signal) close to white having a high signal level with respect to application of a transfer signal.
  • the CCD drive unit 21 applies the generated CCD drive signal to the CCD 16 via the cable 25 in the endoscope 2, and the pixels of the light receiving unit forming the CCD 16 output the photoelectrically converted signal charges as pixel signals.
  • this pixel signal includes a part of the CCD drive signal (reset signal) as noise
  • the CDS circuit 17 extracts a signal component in the pixel signal and outputs a pixel signal from which noise has been removed.
  • the CDS circuit 17 generates a sampling signal for extracting a signal component from the CCD drive signal, and generates a pixel signal from which noise has been removed using the sampling signal.
  • the CDS circuit 17 When the CDS circuit 17 is provided at a position away from the CCD 16, it is easily affected by a signal delay due to a signal transmission cable until the output signal of the CCD 16 is input to the CDS circuit 17. Since this CDS circuit 17 is arranged in the vicinity of the CCD 16, it is not affected by the signal delay due to the cable, so that the signal component of the CCD 16 can be extracted with high accuracy.
  • the baseband analog pixel signal from which noise has been removed by the CDS circuit 17 is input to the AFE 19 via the insertion unit 6, the operation unit 7, and a cable 25 forming a signal transmission path or signal transmission line in the cable unit 8.
  • the pixel signal is amplified by an amplifier in the AFE 19, and then converted from an analog pixel signal to a digital pixel signal by an A / D conversion circuit 19a as an analog / digital conversion means or an analog / digital conversion unit. Is done.
  • the CCD drive waveform is rounded by the cable 25 in the endoscope 2 when transmitted to the distal end portion 14 of the insertion unit 6. The waveform is corrected and the CCD 16 is driven.
  • the digital pixel signal that has passed through the A / D conversion circuit 19a in the AFE 19 is input to the white flaw correction circuit 22 in the image processing unit 24.
  • the white flaw correction circuit 22 is a pixel that has been determined to be a white flaw, that is, a white flaw. Image processing for correcting pixels is performed.
  • the pixel signal that has been subjected to white defect correction by the white defect correction circuit 22 is converted into a standard video signal by the image processing circuit 23 and output to the monitor 5. On the display surface of the monitor 5, an image of the subject imaged by the CCD 16 is displayed as an endoscopic image.
  • the endoscope 2 has white defect position information storage means for storing two-dimensional position (simply abbreviated as position) information of white defect pixels examined in advance in the CCD 16 mounted on the endoscope 2.
  • a memory 27 is incorporated as a position information storage unit.
  • the memory 27 is provided in the signal connector 9a.
  • the memory 27 also stores information on the number of horizontal and vertical pixels of the CCD 16.
  • the memory 27 is electrically connected to the white defect correction circuit 22 when the signal connector 9 a is connected to the processor 4.
  • the white defect correction circuit 22 reads the two-dimensional position information of the white defect pixel from the memory 27 and stores it as, for example, a white defect pixel address in a memory 41 (see FIG. 3) provided in the white defect correction circuit 22. Accordingly, the memory 41 can also be regarded as constituting white scratch position information storage means for storing the two-dimensional position of the white scratch pixels existing in the CCD 16.
  • the white defect correction circuit 22 uses the white defect pixel address stored in the memory 41 and matches the white defect pixel address from the address of the pixel signal input to the white defect correction circuit 22. Is determined as a white scratched pixel, and if it does not match, it is determined as a normal pixel that is not a white scratched pixel.
  • the timing of the pixel signal input to the white defect correction circuit 22 is shifted according to the timing of the CCD drive signal and the length of the cable 25 (delayed from the timing of the CCD drive signal). Information on timing deviation due to length is also stored. For example, at the timing when the CCD drive signal drives the i-th pixel in the horizontal direction and the j-th pixel P (i, j) in the vertical direction, the white line is damaged via the AFE 19 due to the delay amount due to the length of the cable 25.
  • the pixel signal actually input to the correction circuit 22 is delayed by the number n of pixels (in units of pixels arranged in the horizontal direction), information delayed by the number n of pixels is stored in the memory 27 in advance. Yes.
  • the pixel signal of the pixel P (i, j) is actually sent to the white defect correction circuit 22 because of the delay amount due to the length of the cable 25.
  • the timing input to is shifted to P (i + n, j).
  • the white defect correction circuit 22 determines the timing of the pixel signal actually input from each pixel to the white defect correction circuit 22 and the two-dimensional position (address) on the imaging surface of the actually input pixel. It is possible to grasp. As shown in FIG. 1, when the white defect correction circuit 22 and the CCD drive unit 21 are arranged in the processor 4, the CCD drive signal (transfer signal) output to the CCD drive unit 21 is applied to the CCD 16. The delay amount until the output signal of the CCD 16 is input to the white defect correction circuit 22 can be approximated to be the same.
  • FIG. 2 shows a schematic configuration of the image processing system in FIG.
  • the SIP 18 including the CCD 16 is connected to the AFE 19 via a very thin cable (actually a coaxial cable) 25 in the endoscope 2.
  • a very thin cable actually a coaxial cable
  • the length of the low-pass filter for suppressing the horizontal transfer efficiency of the CCD itself, noise suppression, or the cable 25 as a coaxial cable is reduced.
  • the capacitance increases (capacitance load increases between the inner conductor and the outer conductor)
  • the pixel signal of the white scratch pixel also becomes dull.
  • the pixel signal of a predetermined pixel that is output after the pixel signal of the defective pixel (read out by application of the CCD drive signal) is affected.
  • the white defect correction circuit 22 performs the pixel signal of the white defect pixel one pixel after the pixel signal of the white defect pixel with respect to the pixel signal of the white defect pixel. Correction is performed except for the output pixel signal of one pixel (referred to as an adjacent pixel).
  • the signal level of the OB portion of the pixel signal corrected by the white defect correction circuit 22 is clamped by the OB clamp circuit 31 constituting the image processing circuit 23.
  • OB is an abbreviation for optical black, and the OB unit optically shields the pixels on the imaging surface of the CCD 16 as the imaging device, and shields the level of the pixel signal output from the shielded pixels.
  • the pixel signal output from the OB clamp circuit 31 is input to the white balance circuit 33, and white balance adjustment is performed. That is, the gain of the amplifier in the white balance circuit 33 is adjusted so that the level of the R, G, and B pixel signals when a white subject is imaged is 1: 1: 1.
  • FIG. 3 shows the configuration of the white defect correction circuit 22 shown in FIGS.
  • the memory 41 in the white defect correction circuit 22 includes white defect pixel address data as position information of white defect pixels read from the memory 27 and an analog pixel signal output via the CCD 16 and the CDS circuit 17. Information is stored with data of a delay amount (delay time) which is transmitted by the cable 25 and subjected to A / D conversion and then delayed until it is actually input to the white defect correction circuit 22.
  • the memory 41 may be provided outside the white defect correction circuit 22. Further, the information required by the white defect correction circuit 22 may be read from the memory 27 without providing the memory 41.
  • the pixel signal imaged by the CCD 16 and subjected to CDS processing is transmitted by the cable 25, converted into a digital pixel signal by the A / D conversion circuit 19 a in the AFE 19, and input to the white defect pixel correction circuit 42 in the white defect correction circuit 22. And input to one input terminal sa of the selector 43.
  • the white defect pixel correction circuit 42 outputs a pixel signal obtained by correcting the white defect pixel to the other input terminal sb of the selector 43.
  • the white line address of the memory 41 selects (selects) the selector 43 so that one of the two pixel signals input to the two input terminals sa and sb of the selector 43 is selected and output from the selector 43. Used to control. Specifically, when a white scratch pixel is input into the white scratch correction circuit 22, the white scratch address is selected and output from the pixel signal Pcor that has been white scratch corrected by the white scratch pixel correction circuit 42. The selector 43 is switched (selected), and when the normal pixel Pn is input instead of the white scratch pixel, the selector 43 is switched (selected) so as to select and output the normal pixel Pn.
  • FIG. 4 shows white scratched pixels Pw in the CCD 16 and the surrounding eight pixels. These pixels are sequentially read out line by line from the left side to the right side along the horizontal direction as a predetermined direction.
  • the white defect pixel correction circuit 42 provided in the white defect correction circuit 22 is one pixel read out next to the white defect pixel Pw (in FIG. 4, the white defect pixel Pw
  • the pixel signal of the white defect pixel Pw is corrected using the white defect correction value Pav calculated from the pixel signal of the seven pixels surrounding the white defect excluding the adjacent pixel Pwr.
  • the normal pixel Pn input to the white defect correction circuit 22 is output to the next-stage image processing circuit 23 via the selector 43 and also input to the white defect pixel correction circuit 42, and white pixels in the eight pixels surrounding the white defect are detected.
  • the pixel signal of 7 pixels around the white scratch excluding the adjacent pixel (pixel output after one pixel of the white scratch pixel signal) Pwr adjacent to the right side of the scratch pixel Pw is corrected for the pixel signal of the white scratch pixel Pw. Used to do.
  • the white defect surrounding 7 pixel circuit 44 provided in the white defect pixel correction circuit 42 calculates an average value Pav of the pixel signals of the white defect surrounding 7 pixels as a white defect correction value for correcting the white defect pixel Pw.
  • the average value Pav is output to the selector 43 as a pixel signal Pcor for correcting the white scratch pixel Pw.
  • the selector 43 selects (switches) one of the two pixel signals Pn and Pcor input to the two input ends sa and sb as described above, and outputs the selected signal from one output end. That is, the selector 43 selects and outputs the image signal of the normal pixel Pn when the normal pixel Pn is input, and outputs the pixel signal of 7 pixels around the white scratch when the white scratch pixel Pw is input.
  • the average value Pav is output as a pixel signal Pcor for correcting the white scratch pixel Pw.
  • the endoscope apparatus 1 including the imaging device of the present invention has a plurality of pixels arranged in a two-dimensional manner for imaging a subject, and outputs a pixel signal imaged by the plurality of pixels.
  • the CCD 16 as an image sensor
  • a memory 27 as a white defect position information storage unit for storing position information of white defect pixels as defective pixels existing in the image sensor
  • the image sensor By applying a signal, the CCD drive unit 21 as an image sensor drive unit that outputs the pixel signal along a predetermined direction from the plurality of pixels constituting the image sensor, and the white spot position information storage unit Based on the read position information of the white scratched pixel, when it is determined that the pixel signal output from the image sensor by applying the transfer signal is a white scratch pixel, the pixel signal is output from the image sensor.
  • a white flaw correction circuit 22 serving as a white flaw correction unit that performs white flaw correction on a pixel signal of a pixel determined to be the white flaw pixel based on the calculated white flaw correction value; .
  • the white defect correction circuit 22 in the present embodiment has the operation as described with reference to FIG. Therefore, according to the endoscope apparatus 1 of the present embodiment, even when the waveform of the analog pixel signal is reduced by the cable 25, the pixel signal caused by the white scratch pixel as the defective pixel can be corrected appropriately. Even when the endoscopes 2 having different lengths or the like of the CCD 16 or the cable 25 as the mounted image pickup device are used, the memory 27 as the endoscope information storage means mounted on each endoscope 2 is used. Since the position information and the like of the white scratched pixel Pw existing in the mounted CCD 16 is stored, the pixel signal caused by the white scratched pixel can be appropriately corrected.
  • the processor side performs line clamping with a digital circuit.
  • line clamping In order to accurately perform this line clamping, it is necessary to effectively remove noise including white flaw pixels with respect to the data of the horizontal OB portion including the white flaw pixels as a basis. Specifically, out of about 10 pixels in the center of one line, several pixels having the maximum pixel value and several pixels having the minimum pixel value are removed using a ranking filter, and line clamping is performed with the remaining OB pixels. Thus, it becomes possible to perform line clamping accurately.
  • the ringing in this specification is a phenomenon in which when a white scratched pixel is generated in a waveform that is convex upward in a stepped manner, a waveform that protrudes downward, that is, a valley appears after the white scratched pixel as described below. This is different from ringing in which a vibration waveform is generated at the rising and falling portions of a normal pulse.
  • a phenomenon abnormal pixel caused by white scratched pixels
  • FIG. 5 shows a configuration of an imaging system portion in the endoscope apparatus of the present embodiment.
  • the configuration shown in FIG. 5 is a configuration in which a ringing correction circuit 61 as an addition correction means for correcting abnormal pixels due to ringing is provided in the preceding stage of the white defect correction circuit 22 in the configuration of FIG. Since the configuration and operation of the white defect correction circuit 22 are the same as those described in the first embodiment, description thereof is omitted.
  • the white defect correction circuit 22 may include a ringing correction circuit 61 therein. That is, the white defect correction unit may include a ringing correction circuit 61 as a ringing correction unit that corrects abnormal pixels due to ringing.
  • an abnormality called a black scratch (counted) from the white scratch pixel Pw in advance.
  • Information on the position (number of pixels position) of the pixel where the pixel is generated, and the signal value ratio (level ratio) or ratio that decreases as the pixel signal value (level) of the abnormal pixel with respect to the pixel signal value (level) of the white scratch pixel Pw are stored as correction parameters.
  • the memory 27 stores N information in advance.
  • m is the maximum number of abnormal pixels Pa.
  • a correction value obtained by multiplying the pixel signal value Vai of the abnormal pixel Pai by (Vw ⁇ Vai) ⁇ ki is added to correct the pixel signal value Vai of the abnormal pixel Pai (in the abnormal pixel Pai or the like). If i is removed, the correction is made for one abnormal pixel Pa).
  • FIG. 5 shows a schematic waveform example in which an abnormal pixel Pa or Pai is generated by the pixel signal of the white scratch pixel Pw and the pixel signal of the white scratch pixel Pw.
  • (A) and (B) in FIG. 6 have shown the case where cable length differs, for example. In addition to the cable length, the type of cable and the end of the cable affect the occurrence of ringing.
  • FIG. 6 shows a CDS output waveform.
  • the horizontal axis indicates time, and the vertical axis indicates pixel signal value (level).
  • the horizontal axis indicates the position of the subsequent pixel in pixel units with the pixel position of the white scratch pixel Pw as a reference.
  • the output signal of the CDS circuit 17 is transmitted by the cable 25. Due to ringing, the pixel signal of the white pixel Pw is a pulse waveform having a stepped shape as shown in the waveform after cable transmission in FIG.
  • the pixel signal having such a waveform is A / D converted by the AFE 19 to be converted into a digital pixel signal, and has a stepped waveform as shown by the waveform after AFE in FIG.
  • the pixel signal having the waveform after the AFE is input to a ringing correction circuit 61 as addition correction means for correcting ringing due to white scratches through a short cable in the processor 4. That is, the AFE output waveform is almost the input waveform to the ringing correction circuit 61. Note that the time delay is usually negligible due to the short cable in the processor 4.
  • an abnormal pixel Pa that has a valley-like depression occurs in the second pixel from the white scratch pixel Pw.
  • abnormal pixels Pa1 and Pa2 that are concave in a valley shape are generated in the second pixel and the third pixel from the white scratch pixel Pw.
  • the ringing correction circuit 61 constituting the addition correction means performs an abnormal pixel Pai (note that an abnormal pixel Pai is added to the input digital pixel signal. , Pa is omitted, but Pai includes the case of Pa).
  • the pixel signal corrected by the ringing correction circuit 61 is input to the white defect correction circuit 22, and the white defect pixel Pw is corrected as described above and output to the image processing circuit 23.
  • FIG. 7 shows a detailed configuration of the ringing correction circuit 61 as addition correction means.
  • the ringing correction circuit 61 uses the positional information of the white scratch pixel Pw in the memory 41 to input the pixel signal value Vw of the white scratch pixel Pw from the input pixel signal.
  • a multiplication circuit 65 that multiplies the value Vw and the correction coefficient ki, and a correction value holding circuit 66 that holds (stores) the multiplied correction value Vw ⁇ ki.
  • the multiplication circuit 65 and the correction value holding circuit 66 constitute a correction value calculation holding circuit 67 for calculating and holding a correction value for correcting the pixel signal value Vai of the abnormal pixel Pai based on the pixel signal value Vw of the white scratch pixel Pw. To do.
  • the ringing correction circuit 61 performs correction by adding the pixel signal value Vai and the correction value held by the correction value holding circuit 66 to the abnormal pixel Pai input after the white scratch pixel Pw. And an addition correction circuit 68 for outputting to the white defect correction circuit 22 via the selector 69.
  • the selector 69 selects the pixel signal value Vw of the white scratch pixel Pw when the ringing correction is turned on by the switch 70 for turning on / off the ringing correction, and sets the correction value by the addition correction circuit 68 when the switch 69 is turned on.
  • the added pixel signal is selected and output to the white defect correction circuit 22.
  • the pixel signal having the AFE output waveform described in FIG. 6 is input to the ringing correction circuit 61.
  • the multiplication circuit 65 in the ringing correction circuit 61 multiplies the pixel signal value Vw and the correction coefficient ki at the timing when the white scratch pixel Pw is input as shown in the lowermost stage of FIG. 6 to obtain a correction value Vw ⁇ ki.
  • the correction value holding circuit 66 holds the correction value Vw ⁇ ki.
  • the addition correction circuit 68 as the addition correction means receives the pixel signal value Va of the abnormal pixel Pa input after the white scratch pixel Pw, and sets the pixel signal value Va to the pixel signal value Va.
  • the correction value Vw ⁇ ki held by the correction value holding circuit 66 is added and output. That is, when the pixel signal value Va of the abnormal pixel Pa is input, the addition correction circuit 68 corrects the corrected pixel signal value Va + Vw ⁇ ki and outputs it to the white defect correction circuit 22.
  • correction coefficients k1 and k2 are used for the abnormal pixels Pa1 and Pa2, and the same correction as described above.
  • the average of the pixel signals of the seven pixels surrounding the white defect is used as the white defect correction value except for the pixel signal of the adjacent pixel (horizontal adjacent pixel) that is output one pixel after one white defect pixel.
  • the value Pav is calculated, since the CCD has relevance in the horizontal direction due to the principle of the transfer method, one pixel output one pixel before the pixel signal of the white scratch pixel is also white. You may make it consider the influence with respect to a wound pixel. For example, calculating an average value of pixel signals of 6 pixels around the white scratch excluding two adjacent pixels adjacent to the white scratch pixel in the horizontal direction (front and back). Furthermore, it is also possible to prepare a correction coefficient for each and correct two adjacent pixels.
  • the white defect correction circuit 22 performs the white defect correction after the ringing correction circuit 61 performs the ringing correction.
  • the ringing correction circuit 61 may perform the ringing correction. In this case, even when white defect correction is performed by the white defect correction circuit 22, the pixel signal value Vw of the white defect pixel Pw before white defect correction is held, and ringing is performed using the pixel signal value Vw.
  • the correction circuit 61 performs ringing correction.
  • the white scratch pixel Pw is rarely generated with respect to the normal pixel Pn, the effect of performing the ringing correction before and after the white scratch correction circuit 22 is almost the same.
  • FIG. 8 shows a portion where a plurality of white scratch pixels Pw1 and Pw2 in the CCD 16 are close to each other.
  • the pixel signal value of the white scratch pixel Pw necessary for correcting the influence due to ringing is corrected.
  • the processing method for correcting the influence becomes complicated and simple. It becomes difficult to correct.
  • the influence of ringing is removed (or reduced) by the ringing correction circuit 61 first, the rest is mostly caused by the white defect pixel Pw and the dullness of cable transmission. For this reason, the remaining white pixel Pw and the dull cable transmission may be corrected so as to remove it as in the first embodiment. Can be corrected.
  • FIG. 9 shows the configuration of the adjacent pixel correction circuit 71 in the third embodiment.
  • an adjacent pixel correction circuit 71 is provided as an adjacent pixel correction unit that performs correction on the adjacent pixel Pwr adjacent to the white scratch pixel Pw.
  • the pixel signals output from the AFE 19 are input to, for example, a three-line memory 72 that constitutes the adjacent pixel correction circuit 71, and pixel signals for three horizontal lines that maintain the relationship in which the three pixels are adjacent in the vertical direction are sequentially generated.
  • the pixel signal read from the output end of the center line is input to the comparator 73 that forms the determination means, and is output to the input end c through one input end a of the switching circuit 74 and the ringing circuit 61. .
  • the comparator 73 compares the image signal with the threshold set by the threshold setting circuit 75, and controls the signal switching of the switching circuit 74 according to the comparison result. In other words, the comparator 73 forms determination means for determining whether or not the image signal is within a range to be corrected, using the threshold value.
  • the threshold setting circuit 75 is configured to be able to select and use a threshold to be actually used from a plurality of thresholds according to the usage situation.
  • a plurality of threshold values for example, a first threshold value generation circuit 76a, a second threshold value generation circuit 76b, and a third threshold value generation circuit 76c that respectively generate a first threshold value, a second threshold value, and a third threshold value are provided.
  • the threshold connected to the comparator 73 can be selected via the selection switch 78.
  • the first threshold value is set as a threshold value for determining a dark current (or black level) level
  • the second threshold value is set as a threshold value for determining a level closer to 0 that is lower than the dark current level.
  • the third threshold value is set as a threshold value for determining whether or not the average value described below has decreased to a predetermined ratio or more.
  • the first threshold value or the second threshold value determines whether or not the adjacent pixel Pwr has been reduced to near the lower limit of the dark current level or the conversion range (range) of the A / D conversion circuit 19a by ringing.
  • the third threshold value is a usage environment in which the white pixel Pw has a larger waveform dull due to the capacitive load during transmission by the cable 25 than the influence of ringing, and the dullness extends to the adjacent pixel Pwr. It is for judging the case of.
  • the comparator 73 averages the influence of the vertical adjacent pixel influence on the signal value of the image signal of the adjacent pixel Pwr adjacent to the vertical direction (vertical direction) of the adjacent pixel Pwr (not affected by cable transmission by the white scratch pixel Pw). By comparing with a third threshold value obtained by multiplying the value Vav by a predetermined coefficient C, it is determined whether or not it is influenced by cable transmission by the white scratch pixel Pw.
  • the comparator 73 outputs, for example, one pixel after the white spot pixel Pw from the position information of the white spot pixel Pw stored in the memory 27 or 41 and the information delayed by the cable 25. Control is performed so that the comparison operation is performed at the timing when the adjacent pixel Pwr is actually input to the comparator 73.
  • a circuit for controlling the comparator 73 may be provided so as to perform this comparison operation.
  • the adjacent pixel correction circuit 71 has an average value calculation circuit 79 that calculates an average value of the pixel signal one line before the center line and the pixel signal after the one line from the three-line memory 72.
  • the average value calculation circuit 79 calculates the average value Vav of the pixel signals of two pixels adjacent in the vertical direction one line before and after the adjacent pixel Pwr, and outputs the average value Vav to the other input terminal b of the switching circuit 74. At the same time, it is output to the third threshold value generation circuit 76c.
  • the comparator 73 switches to select the input terminal b when the signal value of the pixel signal of the adjacent pixel Pwr is equal to or less than the threshold value, and switches to select the input end b, instead of the image signal of the adjacent pixel Pwr.
  • the image signal of the average value Vav of the average value calculation circuit 79 is output to the white defect correction circuit 22 via the switching circuit 74. Note that switching may be performed so as to select c instead of the input terminal b depending on a threshold connected to the comparator 73.
  • the comparator 73 switches to select the input terminal a when the signal value of the pixel signal of the adjacent pixel Pwr exceeds the threshold value, and the pixel signal of the adjacent pixel Pwr passes through the switching circuit 74.
  • the adjacent pixel Pwr is shifted from the original signal value due to blunting due to ringing or cable transmission due to the white scratch pixel Pw.
  • the correction is performed by replacing with the average value of adjacent pixels adjacent in the vertical direction, so that it is possible to correct the image quality.
  • the threshold value is not limited to the case where it is determined whether the influence of ringing is equal to or less than the lower limit value of the conversion range by the A / D conversion circuit 19a. It is also possible to perform correction on the adjacent pixel Pwr by determining whether or not.
  • Embodiments configured by partially combining the above-described embodiments and the like also belong to the present invention.
  • FIG. 1 shows an example in which the AFE 19 is provided in the signal connector 9a.
  • the AFE 19 may be arranged in another place, for example, in the operation unit 7 of the endoscope 2.
  • the AFE 19 and the A / D conversion circuit 19a may be arranged in the processor 4.
  • the phenomenon depends on the type of CCD 16 (difference in the number of pixels and difference in operating frequency), not individual differences in the CCD 16. In addition, the phenomenon may vary depending on the type of the CCD 16, and there are some cases where there is a feature that the saturation roughness is continuous in the vertical direction.
  • the memory 27 may store the position of a pixel that causes saturation roughness (simply abbreviated as “unsaturated pixel”) in the CCD 16 and performs interpolation (correction) based on the position information. For the interpolation (correction) method, as described above, an average value using surrounding pixels may be applied. The method will be described with reference to FIG. FIG.
  • FIG. 10 shows an unsaturated pixel (indicated by diagonal lines) to be interpolated (corrected) and peripheral 8 pixels (A to H) adjacent to the unsaturated pixel.
  • an average value that simply uses all the surrounding pixels can be adopted.
  • (A + B + C + D + E + F + G + H) ⁇ 8 is obtained.
  • the following average value is used. In this case, it is obtained by (A + C + 2D + 2E + F + H) ⁇ 8.
  • Interpolation will depend primarily on the characteristics of the unsaturated pixels produced by the CCD 16. Therefore, the method for calculating the average value may be changed depending on the type of the CCD 16. Although the position information is used in the interpolation method of the unsaturated pixels, it is desirable to interpolate effectively because the storage capacity is limited. Specifically, the interpolation using the position information and the interpolation not using the position information are combined.
  • the position information is stored in the memory 27.
  • the interpolation threshold for example, 90 IRE
  • the high luminance determination threshold 96 IRE
  • the position information is stored in the memory 27.
  • One IRE corresponds to a level of 7.14 mV.
  • interpolation is performed to improve the saturation roughness. By doing so, the image signal that should be saturated can be changed as sufficient saturation.
  • the determination is further performed using the threshold value for determination of unsaturation (98IRE). In this determination, interpolation is not performed if 98 to 100 IRE, but interpolation is performed if 96 to 98 IRE.
  • the memory 27 stores the position of the white-scratched pixel and the position of the unsaturated pixel, a flag that can be identified is provided in the MSB (the most significant bit of 16-bit data) or the storage area is divided. Good. Also, until now, it was a combination of a method that uses pixel position information and a method that does not use pixel information. However, if there is an endoscope that does not have pixel position information, the above-described method that does not use pixel position information is used. What is necessary is just to interpolate. For example, an interpolation method that replaces the average value of the surrounding 8 pixels when the threshold value of the high luminance determination is below the threshold value can be mentioned.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

撮像装置は、被写体を撮像するために２次元状に配列された複数の画素により撮像した画素信号を出力する撮像素子と、撮像素子に存在する白傷画素の位置情報を記憶するメモリ４１と、撮像素子から画素信号を出力させる撮像素子駆動部と、メモリ４１から読み出した白傷画素の位置情報に基づき、撮像素子から出力される画素信号が白傷画素のものと判定された時、白傷画素と判定された画素を囲む周囲８画素の画素信号のうちの、白傷画素と判定された画素の１画素後に出力される隣接画素の画素信号を除いた７個の画素により算出された白傷補正値に基づき、白傷画素と判定された画素の画素信号に対して補正を行う白傷補正回路４２と、を備える。

Description

撮像装置
　本発明は、被写体を撮像する撮像素子に対する画像処理を行う撮像装置に関する。
　近年、被写体を撮像する撮像素子は、内視鏡装置等の撮像装置に広く用いられるようになっている。　
　また、撮像素子は、最近、ますます高画素化、微細化されており、撮像素子に欠陥を持つ画素或いはノイズを発生する画素を皆無に製造することは不可能に近い。　
　このため、画像処理によって、撮像素子の通常画素とは異なるが画素信号を発生する欠陥画素や固定パターンのノイズを補正する技術が多数提案されている。　
　例えば、第１の従来例としての日本国特開２００３－１１６０６０号公報には、欠陥画素補正部は、その内部に事前の検査により入手した欠陥画素の位置情報を記録する欠陥位置記録ＲＯＭを有し、該欠陥位置記録ＲＯＭから特定できる欠陥画素の周囲画素から相関性が高い方向を求め、その方向に属する周囲画素を用いて欠陥画素の補正値を算出する。
　また、第２の従来例としての日本国特開平１０－４２２０１号公報の段落［００１６］には、「主に前ライン上の映像情報及び後ライン上の映像情報を利用して、欠陥画素と同一ライン上の画像情報については、欠陥画素及びその前後の画素のデータを除いて補間に利用する。前ライン上の映像情報及び後ライン上の映像情報を用いて補正を行うため、欠陥画素だけでなく、その前後の信号についても補間が可能である。」と記載されている。
　しかしながらアナログの画素信号を伝送するケーブルを有する撮像装置の場合には、ケーブルにより画素信号の波形が鈍り、第１の従来例のように欠陥画素による画素信号に対する補正を行った場合には、十分に補正できない。
　一方、第２の従来例のように欠陥画素と共に、欠陥画素の前後の画素による画素信号に対する補正を行った場合には、補間が必要でない欠陥画素の前の画素に対しても補間を行うため、本来の画像信号の値を変更させてしまう過補正を行う欠点がある。　
　このため、ケーブルによりアナログの画素信号の波形がなまるような場合にも、欠陥画素としての白傷画素に起因する画素信号を適切に補正できる撮像装置が望まれる。　
　本発明は上述した点に鑑みてなされたもので、撮像素子における白傷画素の後に読み出される画素に対する白傷画素による影響を適切に補正できる撮像装置を提供することを目的とする。
　本発明の一態様に係る撮像装置は、被写体を撮像するために２次元状に配列された複数の画素を有し、該複数の画素により撮像した画素信号を出力する撮像素子と、前記撮像素子に存在する欠陥画素としての白傷画素の位置情報を記憶する白傷位置情報記憶部と、前記撮像素子に対して転送信号を印加することにより、前記撮像素子を構成する前記複数の画素から所定の方向に沿って前記画素信号を出力させる撮像素子駆動部と、前記白傷位置情報記憶部から読み出した前記白傷画素の位置情報に基づき、前記転送信号の印加により前記撮像素子から出力される前記画素信号が白傷画素のものと判定された時、前記撮像素子から出力される、前記白傷画素と判定された画素を囲む周囲８画素の画素信号のうちの、前記白傷画素と判定された画素の１画素後に出力される隣接画素の画素信号を除いた７個の画素により算出された白傷補正値に基づき、前記白傷画素と判定された画素の画素信号に対して白傷補正を行う白傷補正部と、を備える。
図１は本発明の第１の実施形態の内視鏡装置の全体構成を示す図。 図２は図１における撮像系部分の構成を示すブロック図。 図３は白傷補正回路の構成を示すブロック図。 図４は白傷画素とその周辺画素を示す図。 図５は本発明の第２の実施形態における撮像系部分の構成を示すブロック図。 図６は第２の実施形態におけるリンギング補正を行うための説明図。 図７はリンギング補正回路の構成を示すブロック図。 図８は撮像素子に複数の白傷画素が近接して存在する場合の画素を示す図。 図９は本発明の第３の実施形態における隣接画素補正部の構成を示すブロック図。 図１０は本発明の第３の実施形態における飽和ザラの補間方法を示すための説明図。
　以下、図面を参照して本発明の実施形態を説明する。　
（第１の実施形態）
　図１に示すように本発明の撮像装置を構成する第１の実施形態の内視鏡装置１は、内視鏡検査を行うための電子内視鏡（以下、単に内視鏡と略記）２と、この内視鏡２に対して照明光を供給する光源装置３と、内視鏡２の撮像素子等に対する信号処理（画像処理）を行う信号処理装置（画像処理装置）としてのプロセッサ４と、プロセッサ４により生成された映像信号を表示する表示装置としてのモニタ５とを有する。　
　内視鏡２は、患者の体腔内等に挿入される挿入部６と、この挿入部６の基端（後端）に設けられた操作部７と、この操作部７から延出されたケーブル部８とを有する。このケーブル部８の端部の光源コネクタ９ｂは、光源装置３に着脱自在に接続され、また信号コネクタ９ａは、プロセッサ４に着脱自在に接続される。
　なお、図１に示すようにケーブル部８の端部側が分岐した構成のものに限らず、例えば光源コネクタから接続ケーブルを介してその端部の信号コネクタをプロセッサ４に着脱自在に接続する構成にしても良い。また、光源装置３とプロセッサ４とが一体化した構成にしても良い。　
　また、図１のプロセッサ４には、図１に示す内視鏡２とはケーブル長等が異なる内視鏡を接続して使用することもできる。　
　上記内視鏡２における挿入部６、操作部７，ケーブル部８内には照明光を伝送するライトガイド１１が挿通され、その基端は光源コネクタ９ｂに至る。ユーザは、この光源コネクタ９ｂを光源装置３に接続することにより、光源装置３内の光源ランプ１２により発生した照明光がコンデンサレンズ１３により集光されてライトガイド１１の基端に入射される。
　この照明光は、ライトガイド１１により伝送され、挿入部６の先端部１４の照明窓から出射され、体腔内の患部等の被写体を照明する。照明された被写体は、照明窓に隣接して設けられた観察窓に取り付けられた対物レンズ１５により、その結像位置に被写体の光学像を結ぶ。結像位置には固体撮像素子（撮像素子）として電荷結合素子（ＣＣＤと略記）１６の受光面が配置され、受光面には２次元的に配列された光電変換する機能を備えたフォトダイオードによる画素が形成されている。　
　また、先端部１４内にはＣＣＤ１６と、図示しないＣＣＤを駆動するタイミングジェネレータ（ＴＧ）と、該ＣＣＤ１６に対する信号成分の抽出を行うＣＤＳ回路１７とを一つのパッケージ組み込んだシステムインチップ部（ＳＩＰと略記）１８が配置してある。また、本実施形態に係る内視鏡２においては、例えば信号コネクタ９ａ内にアナログ・デジタル変換手段としてのＡ／Ｄ変換回路１９ａを内蔵したアナログフロントエンド（ＡＦＥ）１９が配置されている。
　プロセッサ４内には、ＣＣＤ１６を駆動するＣＣＤ駆動信号（単に駆動信号とも転送する転送信号とも言う）を生成する撮像素子駆動手段又は撮像素子駆動部としてのＣＣＤ駆動部２１と、ＣＣＤ１６により撮像され、ＣＣＤ１６から出力される画素信号におけるＣＤＳ回路１７、ＡＦＥ１９を経た後の画素信号に対して、欠陥画素としての白傷（又は白傷画素）に対する補正（白傷補正と言う）を行う白傷補正手段又は白傷補正部としての白傷補正回路２２及び画像処理を行う画像処理回路２３を有する画像処理手段としての画像処理部２４とが設けてある。　
　欠陥画素としての白傷又は白傷画素は、正常な光電変換機能を有せず、転送信号の印加に対して信号レベルが高い白に近い画素信号（白信号）を出力する。
　ＣＣＤ駆動部２１は、生成したＣＣＤ駆動信号を、内視鏡２内のケーブル２５を介して、ＣＣＤ１６に印加し、ＣＣＤ１６を形成する受光部の画素は、光電変換した信号電荷を画素信号として出力する。　
　この画素信号は、ＣＣＤ駆動信号における一部の信号（リセット信号）をノイズとして含むため、ＣＤＳ回路１７は、画素信号中の信号成分を抽出して、ノイズを除去した画素信号を出力する。なお、ＣＤＳ回路１７は、ＣＣＤ駆動信号から信号成分を抽出するためのサンプリング信号を生成し、該サンプリング信号を用いてノイズを除去した画素信号を生成する。
　ＣＤＳ回路１７をＣＣＤ１６から離した位置に設けた場合には、ＣＣＤ１６の出力信号をＣＤＳ回路１７に入力するまでの信号伝送するケーブルによる信号遅延の影響を受け易くなるが、本実施形態においては、このＣＤＳ回路１７をＣＣＤ１６の近傍に配置しているため、ケーブルによる信号遅延の影響を受けないため、高精度でＣＣＤ１６の信号成分を抽出することが可能となる。　
　ＣＤＳ回路１７によってノイズが除去されたベースバンドのアナログの画素信号は、挿入部６、操作部７，ケーブル部８内の信号伝送路又は信号伝送線を形成するケーブル２５を介してＡＦＥ１９に入力される。このＡＦＥ１９において、画素信号は、ＡＦＥ１９内のアンプで増幅された後、アナログ・デジタル変換手段又はアナログ・デジタル変換部としてのＡ／Ｄ変換回路１９ａによって、アナログの画素信号からデジタルの画素信号に変換される。
　なお、ＣＣＤ駆動部２１は、プロセッサ４内部に設けてあるので、ＣＣＤ駆動波形は、挿入部６の先端部１４まで伝送する際に、内視鏡２内のケーブル２５によってなまるが、ＳＩＰ１８内においてその波形補正して、ＣＣＤ１６を駆動する。
　ＡＦＥ１９内のＡ／Ｄ変換回路１９ａを経たデジタルの画素信号は、画像処理部２４内の白傷補正回路２２に入力され、白傷補正回路２２は、白傷と判定された画素、つまり白傷画素に対する補正の画像処理を行う。　
　白傷補正回路２２により白傷画素の補正が行われた画素信号は、画像処理回路２３により標準的な映像信号に変換され、モニタ５に出力される。モニタ５の表示面には、ＣＣＤ１６により撮像された被写体の画像が内視鏡画像として表示される。　
　また、内視鏡２は、該内視鏡２に搭載されているＣＣＤ１６において予め調べられた白傷画素の２次元位置（単に位置と略記）情報を格納した白傷位置情報記憶手段又は白傷位置情報記憶部としてのメモリ２７を内蔵している。例えば図１の例では信号コネクタ９ａ内にメモリ２７が設けられている。このメモリ２７には、ＣＣＤ１６の水平及び垂直の画素数の情報も格納している。
　このメモリ２７は、信号コネクタ９ａがプロセッサ４に接続された場合、白傷補正回路２２と電気的に接続される。白傷補正回路２２は、メモリ２７から白傷画素の２次元の位置情報を読み出し、例えば白傷補正回路２２内に設けたメモリ４１（図３参照）に白傷画素アドレスとして格納する。従って、メモリ４１もＣＣＤ１６に存在する白傷画素の２次元位置を記憶する白傷位置情報記憶手段を構成すると見なすこともできる。　
　後述するように、白傷補正回路２２は、メモリ４１内に格納された白傷画素アドレスを用いて、この白傷補正回路２２に入力される画素信号のアドレスから白傷画素アドレスに一致する場合には白傷画素と判定し、一致しない場合には白傷画素でない通常画素と判定する。
　白傷補正回路２２に入力される画素信号のタイミングは、ＣＣＤ駆動信号のタイミングとケーブル２５の長さに応じてずれる（ＣＣＤ駆動信号のタイミングから遅れる）ため、メモリ２７には、このケーブル２５の長さによるタイミングずれの情報も格納されている。　
　例えば、ＣＣＤ駆動信号がＣＣＤ１６の水平方向のｉ番目及び垂直方向にｊ番目の画素Ｐ（ｉ，ｊ）を駆動するタイミングの時、ケーブル２５の長さによる遅延量のため、ＡＦＥ１９を経て白傷補正回路２２に実際に入力される画素信号が（水平方向に配置された画素を単位として）画素数ｎ分だけ遅れる場合には、その画素数ｎ分だけ遅れる情報がメモリ２７に予め格納されている。つまり、ＣＣＤ駆動信号が画素Ｐ（ｉ，ｊ）を駆動するタイミングの時、ケーブル２５の長さによる遅延量のため、前記画素Ｐ（ｉ，ｊ）の画素信号が白傷補正回路２２に実際に入力されるタイミングは、Ｐ（ｉ＋ｎ，ｊ）にずれる。
　換言すると、白傷補正回路２２は、各画素からこの白傷補正回路２２に実際に入力される画素信号のタイミングや、実際に入力された画素の撮像面上での２次元位置（アドレス）を把握できるようになっている。なお、図１に示すようにプロセッサ４内に白傷補正回路２２とＣＣＤ駆動部２１とを配置した場合、ＣＣＤ駆動部２１に出力されたＣＣＤ駆動信号（転送信号）がＣＣＤ１６に印加されるまでの遅延量と、ＣＣＤ１６の出力信号が白傷補正回路２２に入力されるまでの遅延量とは同じであると近似できる。
　図２は、図１における画像処理系の概略の構成を示す。図２に示すようにＣＣＤ１６を含むＳＩＰ１８は、内視鏡２内の極細のケーブル（実際には同軸ケーブル）２５を介してＡＦＥ１９と接続されている。　
　このため、ＳＩＰ１８から出力されるアナログの画素信号をケーブル２５により伝送した場合、ＣＣＤ自身の水平転送効率劣化や、ノイズ抑制のためのローパスフィルタや、ケーブル２５を同軸ケーブルにした場合の長さの増大と共に、（内側導体と外側導体間の）容量が増大して容量性負荷が増大する等のために、白傷画素の画素信号もその波形が鈍り、白傷画素の画素信号と共に、この白傷画素の画素信号の後に（ＣＣＤ駆動信号の印加により読み出されて）出力される所定の画素の画素信号がその影響を受ける。
　従って、本実施形態においては、以下に説明するように白傷補正回路２２は、白傷画素の画素信号に対して、白傷画素の周囲画素における該白傷画素の画素信号の１画素分後に出力される１画素（隣接画素という）の画素信号を除いて補正を行うようにする。　
　この白傷補正回路２２により補正された画素信号は、画像処理回路２３を構成するＯＢクランプ回路３１により、ＯＢ部の信号レベルがクランプされる。なお、ＯＢはオプティカルブラックの略であり、ＯＢ部は、撮像素子としてのＣＣＤ１６の撮像面の画素を光学的に遮光して、遮光された画素から出力される画素信号のレベルを、遮光されていない画素の画素信号の黒レベルとして用いる。このＯＢクランプ回路３１から出力される画素信号は、ホワイトバランス回路３３に入力され、ホワイトバランスの調整が行われる。つまり、白い被写体を撮像した場合のＲ，Ｇ，Ｂの画素信号のレベルが１：１：１となるようにホワイトバランス回路３３内のアンプのゲインが調整される。
　このホワイトバランス回路３３から出力される画素信号は、水平輪郭、垂直輪郭の強調や、ガンマ補正等の各種の画像処理を行う各種画像回路３４を経て標準的な映像信号に変換され、モニタ５に出力される。　
　図３は図１及び図２の白傷補正回路２２の構成を示す。　
　白傷補正回路２２内のメモリ４１は、メモリ２７から読み出された白傷画素の位置情報としての白傷画素アドレスのデータと、ＣＣＤ１６及びＣＤＳ回路１７を経て出力されたアナログの画素信号が、ケーブル２５により伝送され、Ａ／Ｄ変換された後、白傷補正回路２２に実際に入力されるまでの時間遅延する遅延量（遅延時間）のデータとの情報を格納している。
　なお、メモリ４１を白傷補正回路２２の外部に設けるようにしても良い。また、メモリ４１を設けることなく、メモリ２７から白傷補正回路２２が必要とする情報を読み出すようにしても良い。　
　ＣＣＤ１６により撮像され、ＣＤＳ処理された画素信号はケーブル２５により伝送され、ＡＦＥ１９内のＡ／Ｄ変換回路１９ａによりデジタルの画素信号となり、白傷補正回路２２内の白傷画素補正回路４２に入力されると共に、セレクタ４３の一方の入力端ｓａに入力される。白傷画素補正回路４２は、白傷画素を補正した画素信号をセレクタ４３の他方の入力端ｓｂに出力する。また、メモリ４１の白傷アドレスは、セレクタ４３の２つの入力端ｓａ，ｓｂに入力される２つの画素信号の一方を選択して、セレクタ４３から出力させるようにセレクタ４３の切替（選択）を制御するのに用いられる。
　具体的には、白傷補正回路２２内に白傷画素が入力された場合には、白傷アドレスは白傷画素補正回路４２により白傷補正がされた画素信号Ｐｃｏｒを選択して出力するようにセレクタ４３の切替（選択）を制御し、白傷画素ではなく通常画素Ｐｎが入力された場合にはこの通常画素Ｐｎを選択して出力するようにセレクタ４３の切替（選択）を制御する。
　図４はＣＣＤ１６における白傷画素Ｐｗとその周囲８画素を示し、これらの画素は所定方向としての水平方向に沿って左側から右側に沿って１ライン毎に順次読み出される。本実施形態においては、以下に説明するように白傷補正回路２２に設けた白傷画素補正回路４２は、白傷画素Ｐｗの次に読み出される１画素（図４中では、白傷画素Ｐｗの右横となる隣接画素）Ｐｗｒを除く白傷周囲７画素の画素信号により算出される白傷補正値Ｐａｖを用いて白傷画素Ｐｗの画素信号を補正する。　
　白傷補正回路２２に入力された通常画素Ｐｎは、セレクタ４３を介して、次段の画像処理回路２３に出力されると共に、白傷画素補正回路４２に入力され、白傷周囲８画素における白傷画素Ｐｗの右横に隣接する隣接画素（白傷の画素信号の１画素分後に出力される画素）Ｐｗｒを除外した白傷周囲７画素の画素信号は、白傷画素Ｐｗの画素信号を補正するために用いられる。そして、白傷画素補正回路４２内に設けた白傷周囲７画素回路４４は、白傷画素Ｐｗを補正する白傷補正値として上記白傷周囲７画素の画素信号の平均値Ｐａｖを算出して、平均値Ｐａｖを白傷画素Ｐｗを補正する画素信号Ｐｃｏｒとしてセレクタ４３に出力する。
　なお、セレクタ４３は、上記のように２つの入力端ｓａ，ｓｂに入力される２つの画素信号Ｐｎ，Ｐｃｏｒの１つをセレクト（切替）して１つの出力端から出力する。つまり、セレクタ４３は、通常画素Ｐｎが入力される場合には通常画素Ｐｎの画像信号を選択して出力し、白傷画素Ｐｗが入力される場合には、白傷周囲７画素の画素信号の平均値Ｐａｖを白傷画素Ｐｗを補正する画素信号Ｐｃｏｒとして出力する。このように本発明の撮像装置を備えた内視鏡装置１は、被写体を撮像するために２次元状に配列された複数の画素を有し、該複数の画素により撮像した画素信号を出力する撮像素子としてのＣＣＤ１６と、前記撮像素子に存在する欠陥画素としての白傷画素の（２次元の）位置情報を記憶する白傷位置情報記憶部としてのメモリ２７と、前記撮像素子に対して転送信号を印加することにより、前記撮像素子を構成する前記複数の画素から所定の方向に沿って前記画素信号を出力させる撮像素子駆動部としてのＣＣＤ駆動部２１と、前記白傷位置情報記憶部から読み出した前記白傷画素の位置情報に基づき、前記転送信号の印加により前記撮像素子から出力される前記画素信号が白傷画素のものと判定された時、前記撮像素子から出力される、前記白傷画素と判定された画素を囲む周囲８画素の画素信号のうちの、前記白傷画素と判定された画素の１画素後に出力される隣接画素の画素信号を除いた７個の画素により算出された白傷補正値に基づき、前記白傷画素と判定された画素の画素信号に対して白傷補正を行う白傷補正部としての白傷補正回路２２と、を備えることを特徴とする。
　そして、本実施形態における白傷補正回路２２は、図３にて説明したような作用を有する。　
　従って、本実施形態の内視鏡装置１によれば、ケーブル２５によりアナログの画素信号の波形がなまる場合にも欠陥画素としての白傷画素に起因する画素信号を適切に補正できる。　
　また、搭載された撮像素子としてのＣＣＤ１６やケーブル２５の長さ等が異なる内視鏡２を用いた場合にも、各内視鏡２に搭載された内視鏡情報記憶手段としてのメモリ２７には、搭載されたＣＣＤ１６に存在する白傷画素Ｐｗの位置情報等が格納されているので、白傷画素に起因する画素信号を適切に補正できる。
　（ＯＢ部白傷補正）尚、図示しない３０画素程度の水平ＯＢ部に対して、プロセッサ側(図１の２４)では、デジタル回路にてラインクランプを行っている。このラインクランプを正確に行うためには、その基となる白傷画素を含む水平ＯＢ部のデータに対して、効果的に白傷画素を含むノイズ除去を行う必要がある。具体的には、1ライン中央１０画素程度のうち、ランキングフィルタを用いて、最大画素値を持つ数画素、最小画素値を持つ数画素を除去して、残りのＯＢ画素でラインクランプを行うことで、正確にラインクランプを行うことが可能になる。
（第２の実施形態）
　次に本発明の第２の実施形態を説明する。第１の実施形態においては、主に白傷画素の画素信号がケーブル２５によって鈍ることを考慮して、鈍った場合の白傷画素の画素信号に対する補正を行うようにしていた。　
　白傷画素による画素信号のようにステップ状に変化した場合、信号伝送路を形成するケーブル２５のケーブル長等に依存して、ケーブル２５により伝送される画素信号が減衰振動的に変化するリンギングが発生する場合がある。本明細書におけるリンギングは、白傷画素がステップ状に上に凸となる波形で発生した場合、以下に記載のようにその白傷画素の後に下に凸、つまり谷となる波形が現れる現象を指し、通常のパルスの立ち上がり部分と立ち下がり部分とでそれぞれ振動波形が発生するリンギングとは異なる。
　白傷画素によるリンギング（白傷画素のリンギングと略記）が発生すると、白傷画素から所定の画素数（例えば数画素数）程度だけ後に出力される（補正することが望まれる）所定の画素又は補正対象の画素の画素信号に対して、（白傷画素の画素信号が）その画素の画素信号の本来の信号レベル値（画素信号値）から谷状に出力レベルを低下させ、その為に黒点のように表示又は視認されるようにする現象（白傷画素起因の異常画素）が発生する。　
　このため、本実施形態においては、第１の実施形態において、さらに白傷画素のリンギングによる異常画素を補正するリンギング補正手段、換言すると谷状に下がる異常画素の画素値を加算により補正する加算補正手段を設けるようにしている。図５は本実施形態の内視鏡装置における撮像系部分の構成を示す。　
　図５に示す構成は、図２の構成において、白傷補正回路２２の前段にリンギングによる異常画素を補正する加算補正手段としてのリンギング補正回路６１を設けた構成である。白傷補正回路２２の構成及び作用は、第１の実施形態において説明した内容と同じであるため、その説明を省略する。なお、白傷補正回路２２が、その内部にリンギング補正回路６１を備えた構成にしても良い。つまり、白傷補正手段がリンギングによる異常画素を補正するリンギング補正手段としてのリンギング補正回路６１を備えた構成でも良い。
　（リンギング補正）
　また、本実施形態においては、各内視鏡２に設けたメモリ２７内に、上述した白傷画素Ｐｗの位置情報等の他に、予め白傷画素Ｐｗから（数えて）黒傷と呼ばれる異常画素が発生する画素の位置（画素数位置）の情報と、白傷画素Ｐｗの画素信号値（レベル）に対する異常画素の画素信号値（レベル）として低下する信号値比（レベル比）又は割合等の情報とを補正パラメータとして格納する。　
　例えば、白傷画素ＰｗからＮ番目の画素が異常画素又は補正対象の画素である場合には、メモリ２７は、Ｎの情報を予め記憶している。　
　また、白傷画素Ｐｗの画素信号値をＶｗとし、異常画素Ｐａの谷状に低下する低下画素信号値がＶａとなる場合には、メモリ２７は、Ｖａ／（Ｖｗ－Ｖａ）＝ｋとなる補正係数ｋの情報を予め記憶している。
　なお、異常画素Ｐａが複数発生する場合には、その異常画素をＰａｉ、谷状に低下する低下画素信号値をＶａｉとした場合、補正情報記憶手段を構成するメモリ２７は、Ｖａｉ／（Ｖｗ－Ｖａｉ）＝ｋｉとなる補正係数ｋｉの情報を予め記憶している。なお、ｉは、ｉ＝１，２，３，…，ｍとなり、ｍは異常画素Ｐａの最大数である。　
　そして、異常画素Ｐａｉの画素信号値Ｖａｉに対して、（Ｖｗ－Ｖａｉ）×ｋｉを乗算した補正値を加算して、異常画素Ｐａｉの画素信号値Ｖａｉを補正する（なお、異常画素Ｐａｉなどにおけるｉを除去すると、１つの異常画素Ｐａに対する補正となる）。
　図５に示す構成例では、メモリ４１を白傷補正回路２２の外部に設けた例を示しているが、上述した構成例のように白傷補正回路２２の内部に設けても良い。このメモリ４１は、メモリ２７の情報を読み込みメモリ４１内部に格納する。リンギング補正回路６１は、リンギング補正を行う場合、その補正に必要な補正パラメータなどをメモリ４１から取得する。なお、メモリ４１を設けないで、メモリ２７から補正等に必要な情報を取得する構成にしても良い。　
　図６は、白傷画素Ｐｗの画素信号とその白傷画素Ｐｗの画素信号により異常画素Ｐａ又はＰａｉが発生する概略の波形例を示している。なお、図６における（Ａ）と（Ｂ）は、例えばケーブル長が異なる場合を示している。ケーブル長の他に、ケーブルの種類や、ケーブルの端部等もリンギングの発生に影響する。
　ＣＣＤ１６において発生した白傷画素Ｐｗの画素信号は、ＣＤＳ回路１７を経てパルス状に出力される。図６ではＣＤＳ出力波形を示している。なお、図６における横軸は時間、縦軸は画素信号値（レベル）を示す。但し、ＡＦＥ出力波形では、横軸を白傷画素Ｐｗの画素位置を基準として後続する画素の位置を画素単位で示している。　
　上記ＣＤＳ回路１７の出力信号は、ケーブル２５によって伝送されるが、リンギングにより白傷画素Ｐｗの画素信号は、図６のケーブル伝送後の波形で示すようにその画素信号自体が段差状のパルス波形から山状に（鈍った）凸部の波形に変形すると共に、その白傷画素Ｐｗの後に出力される画素部分側において谷状に凹部となる波形に変形する。つまり、白傷画素Ｐｗにより、その白傷画素Ｐｗに後続する画素の画素信号値は谷状に小さくなってしまう。
　このような波形の画素信号は、ＡＦＥ１９においてＡ／Ｄ変換されてデジタルの画素信号に変換され、図６のＡＦＥ後の波形で示すように段差状の波形となる。このＡＦＥ後の波形の画素信号が、プロセッサ４内の短いケーブルを経て白傷によるリンギングを補正する加算補正手段としてのリンギング補正回路６１に入力される。つまり、ＡＦＥ出力波形は、殆どリンギング補正回路６１への入力波形となる。なお、プロセッサ４内での短いケーブルにより時間遅延は、通常無視できる。　
　図６（Ａ）のＡＦＥ後の波形においては、白傷画素Ｐｗから２画素目に谷状に凹部となる異常画素Ｐａが発生している。　
　一方、図６（Ｂ）のＡＦＥ後の波形においては、白傷画素Ｐｗから２画素目と３画素目に谷状に凹部となる異常画素Ｐａ１，Ｐａ２が発生している。
（リンギング補正）
　このような異常画素Ｐａ（Ｐａ１、Ｐａ２等）を補正するため、本実施形態においては、加算補正手段を構成するリンギング補正回路６１は、入力されるデジタルの画素信号に対して異常画素Ｐａｉ（なお、Ｐａの並列表記を省略するが、Ｐａｉは、Ｐａの場合も含むとする）に対する補正を行う。このリンギング補正回路６１により補正がされた画素信号は、白傷補正回路２２に入力され、上述したように、白傷画素Ｐｗに対する補正がされて、画像処理回路２３に出力される。　
　図７は、加算補正手段としてのリンギング補正回路６１の詳細な構成を示す。このリンギング補正回路６１は、入力される画素信号から、メモリ４１の白傷画素Ｐｗの位置情報を用いて白傷画素Ｐｗの画素信号値Ｖｗが入力されるタイミングにおいて、白傷画素Ｐｗの画素信号値Ｖｗと、補正係数ｋｉとを乗算する乗算回路６５と、乗算した補正値Ｖｗ×ｋｉを保持（記憶）する補正値保持回路６６を有する。この乗算回路６５と、補正値保持回路６６とにより白傷画素Ｐｗの画素信号値Ｖｗによる異常画素Ｐａｉの画素信号値Ｖａｉを補正する補正値を算出して保持する補正値算出保持回路６７を構成する。
　（リンギング補正）
　また、このリンギング補正回路６１は、白傷画素Ｐｗの後に入力される異常画素Ｐａｉに対してその画素信号値Ｖａｉと、上記補正値保持回路６６により保持された補正値とを加算した補正を行い、セレクタ６９を介して白傷補正回路２２に出力する加算補正回路６８を有する。なお、セレクタ６９は、リンギング補正のＯＮ／ＯＦＦを行うスイッチ７０により、ＯＦＦの場合には白傷画素Ｐｗの画素信号値Ｖｗを選択し、ＯＮの場合には加算補正回路６８により、補正値を加算した画素信号を選択して、白傷補正回路２２に出力する。　
　この様な構成による本実施形態におけるリンギング補正回路６１の動作を説明する。　
　上述したように、リンギング補正回路６１には、図６で説明したＡＦＥ出力波形の画素信号が入力される。　
　リンギング補正回路６１内の乗算回路６５は、図６の最下段に示すように白傷画素Ｐｗが入力されたタイミングでその画素信号値Ｖｗと補正係数ｋｉとを乗算して補正値Ｖｗ×ｋｉを算出し、補正値保持回路６６はその補正値Ｖｗ×ｋｉを保持する。
　（リンギング補正）
　なお、この白傷画素Ｐｗの画素信号は、リンギング補正回路６１を経由して、白傷補正回路２２に入力される。　
　また、加算補正手段としての加算補正回路６８は、図６（Ａ）に示すように白傷画素Ｐｗ後に入力される異常画素Ｐａの画素信号値Ｖａが入力されると、その画素信号値Ｖａに、補正値保持回路６６により保持された補正値Ｖｗ×ｋｉを加算して、出力する。つまり、加算補正回路６８は、異常画素Ｐａの画素信号値Ｖａが入力されると、補正された画素信号値Ｖａ＋Ｖｗ×ｋｉに補正して、白傷補正回路２２に出力する。　
　また、図６（Ｂ）に示すように複数の異常画素Ｐａ１，Ｐａ２が発生する場合には、各異常画素Ｐａ１，Ｐａ２に対して、補正係数ｋ１，ｋ２を用いて、上記の補正と同様の補正を行う。　
　前述したように、白傷画素1つに対して１画素分後に出力される隣接画素（水平隣接画素）の画素信号を除いて、白傷補正値として上記白傷周囲７画素の画素信号の平均値Ｐａｖを算出することを説明したが、ＣＣＤにおいては転送方式の原理から、水平方向に関連性を持つため、該白傷画素の画素信号の1画素分前に出力される1画素についても白傷画素に対する影響を考慮するようにしても良い。　
　例えば、白傷画素の水平方向に（前後に）隣接する隣接画素2つを除いた白傷周囲6画素の画素信号の平均値を算出することが挙げられる。更に、補正係数をそれぞれに準備し、隣接画素2つを補正することも挙げられる。
　（リンギング補正）
　このようにして、リンギング補正回路６１から図６の最下段に示すように異常画素Ｐａ、Ｐａｉ（ｉ＝１，２）の画素信号値Ｖａｉが補正された画素信号が白傷補正回路２２側に出力され、白傷補正回路２２は、上述したように白傷画素Ｐｗに対する補正を行う。　
　このような構成及び作用を有する本実施形態によれば、第１の実施形態のようにケーブルによりアナログの画素信号の波形がなまる場合にも欠陥画素としての白傷画素に起因する画素信号を適切に補正できると共に、白傷によるリンギングによってその周囲に谷状に画素信号値を低下させる異常画素Ｐａが発生した場合にも、その異常画素Ｐａの画素信号値を適正な画素信号値に補正することができる。従って、本実施形態によれば、リンギングにより黒点状に画質が劣化する現象が発生した場合にも、その画質の劣化を軽減ないしは解消することができる。
　なお、上述した第２の実施形態においては、リンギング補正回路６１により、リンギング補正を行った後に、白傷補正回路２２により白傷補正を行う構成を説明したが、白傷補正回路２２により白傷補正を行った後にリンギング補正回路６１により、リンギング補正を行うようにしても良い。　
　この場合には、白傷補正回路２２により白傷補正を行った場合にも、白傷補正を行う前の白傷画素Ｐｗの画素信号値Ｖｗを保持し、その画素信号値Ｖｗを用いてリンギング補正回路６１はリンギング補正を行うようにする。　
　白傷画素Ｐｗが通常画素Ｐｎに対して、まれに発生するような場合には、リンギング補正を白傷補正回路２２の前に行う場合と後に行う場合との作用効果は殆ど同じである。
　（白傷補正とリンギング補正の回路構成）
　しかし、以下に説明するように、白傷画素Ｐｗが近接（接近）して発生するような場合があり得る。このような場合を考慮すると、以下に説明するようにリンギング補正を行った後、白傷補正を行う方が、複雑化しない処理方法で簡単に補正することができる。　
　図８は、ＣＣＤ１６における複数の白傷画素Ｐｗ１，Ｐｗ２が接近して存在している部分を示す。図８のように複数の白傷画素Ｐｗ１，Ｐｗ２が水平方向に接近して存在する場合には、リンギングによる影響とケーブル２５の鈍りによる影響が混在した状態となるため、例えば先に白傷補正回路２２により白傷補正を行った場合には、リンギングによる影響を補正する際必要となる白傷画素Ｐｗの画素信号値が補正されてしまう等、その影響を補正する処理方法が複雑化し簡単に補正し難くなる。　
　これに対して、上述したように先にリンギング補正回路６１によってリンギングによる影響を除去（又は軽減）すると、残りは殆ど白傷画素Ｐｗとケーブル伝送の鈍りに起因するものとなる。このため、残りの白傷画素Ｐｗとケーブル伝送の鈍りによるものに対して、第１の実施形態のようにそれを除去するように補正を行えば良く、処理が複雑化することなく、簡単に補正ができる。
（リンギング補正）
（第３の実施形態）
　図９は、第３の実施形態における隣接画素補正回路７１の構成を示す。本実施形態は、例えば第２の実施形態において、さらに白傷画素Ｐｗに隣接する隣接画素Ｐｗｒに対する補正を行う隣接画素補正手段としての隣接画素補正回路７１を設けたものである。　
　ＡＦＥ１９から出力される画素信号は、隣接画素補正回路７１を構成する例えば３ラインメモリ７２に入力され、垂直方向に３つの画素が隣接する関係を保つようにした３水平ライン分の画素信号が順次記憶される。そして、中央ラインの出力端から読み出される画素信号は、判定手段を形成する比較器７３に入力されると共に、切り換え回路７４の一方の入力端ａ及びリンギング回路６１を経て入力端ｃに出力される。　
　比較器７３は、上記画像信号と、閾値設定回路７５により設定される閾値と比較し、比較結果により、上記切り換え回路７４の信号切り換えを制御する。換言すると、比較器７３は、閾値を用いて、上記画像信号が補正すべき範囲内は否かを判定する判定手段を形成する。
　本実施形態においては、閾値設定回路７５は、使用状況に応じて、複数の閾値から実際に使用する閾値を選択して使用できる構成にしている。複数の閾値として、例えば第１閾値、第２閾値、第３閾値をそれぞれ発生する第１閾値発生回路７６ａ、第２閾値発生回路７６ｂ、第３閾値発生回路７６ｃを有し、閾値選択部７７により、選択スイッチ７８を介して比較器７３に接続する閾値を選択することができるようにしている。　
　例えば第１の閾値は、暗電流（又は黒レベル）のレベルを判定する閾値に設定されており、第２の閾値は暗電流のレベルよりもさらに低い０に近いレベルを判定する閾値に設定されており、第３の閾値は以下に説明する平均値から所定割合以上に低下しているか否かを判定する閾値に設定されている。
　第１の閾値又は第２の閾値は、隣接画素Ｐｗｒがリンギングにより、暗電流レベル、又はＡ／Ｄ変換回路１９ａの変換範囲（レンジ）の下限付近まで低減されたか否かを判定する。　
　一方、第３の閾値は、リンギングの影響よりも、白傷画素Ｐｗがケーブル２５による伝送の際の容量性負荷のために波形の鈍りが大きく、その鈍りが隣接画素Ｐｗｒまで及ぶような使用環境の場合を判定するためのものである。　
　そして、比較器７３は、隣接画素Ｐｗｒの画像信号の信号値を、該隣接画素Ｐｗｒの垂直方向（上下方向）に隣接する（白傷画素Ｐｗによるケーブル伝送に影響されない）垂直隣接画素影響の平均値Ｖａｖに所定の係数Ｃを乗じた第３の閾値とを比較することにより、白傷画素Ｐｗによるケーブル伝送により影響されているか否かを判定する。
　（リンギング補正）上記比較器７３は、例えば上述したメモリ２７又は４１に格納された白傷画素Ｐｗの位置情報とケーブル２５により時間遅延される情報とから、白傷画素Ｐｗから１画素分後に出力される隣接画素Ｐｗｒがこの比較器７３に実際に入力されるタイミングにおいて、比較動作を行うように制御される。この比較動作を行うように比較器７３を制御する回路を設けるようにしても良い。　
　また、隣接画素補正回路７１は、３ラインメモリ７２から上記中央ラインの１ライン前の画素信号と、１ライン後の画素信号との平均値を算出する平均値算出回路７９を有する。この平均値算出回路７９は、隣接画素Ｐｗｒの１ライン前と後との垂直方向に隣接する２画素の画素信号の平均値Ｖａｖを算出して、切り換え回路７４の他方の入力端ｂに出力すると共に、第３の閾値発生回路７６ｃに出力する。　
　第３の閾値発生回路７６ｃは、平均値Ｖａｖに所定割合の係数Ｃ（例えばＣ＝０．７－０．８程度）を乗算して、第３の閾値を発生する。
　比較器７３は、上記隣接画素Ｐｗｒの画素信号の信号値が閾値以下となる比較結果の判定情報となる場合には、入力端ｂを選択するように切り換え、隣接画素Ｐｗｒの画像信号の代わりに平均値算出回路７９の平均値Ｖａｖの画像信号が切り換え回路７４を経て白傷補正回路２２に出力される。なお、比較器７３に接続される閾値により、入力端ｂの代わりにｃを選択するように切り換えても良い。　
　一方、比較器７３は、上記隣接画素Ｐｗｒの画素信号の信号値が閾値を超える比較結果の場合には、入力端ａを選択するように切り換え、隣接画素Ｐｗｒの画素信号が切り換え回路７４を経て白傷補正回路２２に出力される。
　このような構成及び動作をする本実施形態によれば、第２の実施形態の作用効果の他に、さらに隣接画素Ｐｗｒが白傷画素Ｐｗによりリンギングやケーブル伝送による鈍りで本来の信号値からずれた値となるような場合においては、その垂直方向に隣接する隣接画素の平均値で置換する補正を行うため、良好な画質に補正できる。
　なお、閾値を用いてリンギングによる影響がＡ／Ｄ変換回路１９ａによる変換範囲の下限側の値以下になるか否かを判定する場合に限らず、上限側にも閾値を設定してその閾値以上になるか否かの判定により、隣接画素Ｐｗｒに対する補正を行うようにしても良い。　
　上述した実施形態等を部分的に組み合わせる等して構成される実施形態も本発明に属する。また、図１においては、ＡＦＥ１９を信号コネクタ９ａ内に設けた例を示しているが、例えば内視鏡２の操作部７内等、他の場所に配置しても良い。また、ＡＦＥ１９やＡ／Ｄ変換回路１９ａをプロセッサ４内に配置しても良い。
　また、画像信号が比較的高い場合に限られた課題もある。画像信号はＣＣＤ１６により得られることは言うまでもないが、画像信号の最大値はＣＣＤ１６の画素毎に異なる場合がある。　
　一般的には飽和ザラと呼ばれる現象である。飽和ザラはモニタ５に見えないような構成になっていれば問題は無い。例えば、ＣＣＤ１６の画像信号の最大値が、十分に得られる場合、ダイナミックレンジが広いと考えられ、飽和ザラが出ない範囲でモニタ５に映るようにすればよい。通常は、飽和クリップという手段で、飽和ザラが出ない画像信号レベルで制限を掛ける。飽和クリップの閾値以上の画像信号を飽和クリップの閾値に置き換える。
　ＣＣＤ１６の全ての画素で飽和クリップの閾値以上の画像信号を得ることができるなら問題は無い。　
　なお、画像信号の最大値が十分であるか否かを判定する場合、ＣＣＤ１６の画像信号が線形である範囲で考えるべきである。線形であれば、受光した光量に比例して画像信号が得られ、適正な画像を作ることができる。
　一般的に、線形な範囲での画像信号の最大値よりも高い信号レベルに注目すると、画素毎に光量に対する信号が非線形で得られることとなり、飽和ザラになると考える。　
　こうしたことから、ＣＣＤ１６の画像信号の最大値が十分でないことで、いくつかの画素では飽和クリップの閾値を下回る場合、飽和ザラがモニタ５に見えてしまう。　
　また、そのようなときには、モニタ５に表示するまでの画像処理におけるゲイン調整（ホワイトバランス調整を含む）やガンマ補正が影響して、飽和ザラが目立ってしまうこともある。　
　なお、こうした現象はＣＣＤ１６の性能に強く依存する為、ＣＣＤ１６の特徴に応じて対応することが望ましい。その現象はＣＣＤ１６の個体差ではなく、ＣＣＤ１６の種類（画素数の違いや、動作周波数の違い）に依存する。また、その現象がＣＣＤ１６の種類によって変わることもあり、飽和ザラが縦方向に連続する特徴があるものと無いものがある。　
　このような課題に対して、メモリ２７に、ＣＣＤ１６において飽和ザラを起こす（単に未飽和画素と略記）ような画素の位置を記憶させ、その位置情報を元に補間（補正）をすると良い。補間（補正）方法はこれまで述べてきたように、周囲の画素を用いた平均値を適用すればよい。その方法を図１０により説明する。図１０は補間（補正）対象となる（斜線で示す）未飽和画素及び未飽和画素に隣接する周辺の８画素（Ａ～Ｈ）を示す。なお、以下においては、画素Ｉ（Ｉ＝Ａ～Ｈ）の画素値も簡略的にＩにより示す。
　未飽和画素を簡単に補間する１つの方法として、単純に周囲の画素を全て用いる平均値を採用することができ、この場合には、（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ＋Ｆ＋Ｇ＋Ｈ）÷８によって求まる。また、未飽和画素が上下方向に連続する特徴があった場合には、以下の平均値とする。　
この場合には、（Ａ＋Ｃ＋２Ｄ＋２Ｅ＋Ｆ＋Ｈ）÷８によって求まる。画素ＢとＧの代わりに、画素ＤとＥを用いることで、平均値が小さくならず、十分高い信号レベルで補間することができる。同様に、周囲の画素の中で平均値を求めるのに不適切な画素があれば、その代わりに適切な画素と置き換えることで、適切な補間が可能となる。　
　補間は、主に、ＣＣＤ１６により生じる未飽和画素の特徴に依存することとなる。従って、ＣＣＤ１６の種類によって、平均値の算出方法を変えればよい。　
　未飽和画素の補間方法では前記位置情報を用いたが、記憶容量は有限の為、効果的に補間することが望ましい。具体的には位置情報を用いた補間と位置情報を用いない補間を組み合わせることである。
　まず、前記画像位置を準備するには、対象画素について、画像信号が補間用閾値（例えば９０ＩＲＥ）を超えて、高輝度判定の閾値（９６ＩＲＥ）を下回る場合に、その位置情報をメモリ２７に記憶させる。なお、１ＩＲＥは７．１４ｍＶのレベルに相当する。　
　具体的には、ＣＣＤ１６を製造して出荷する際の検査で対応することが望ましい。なぜなら、画像信号を正確に測定したり、ＣＣＤ１６へ適正な光を与えたりする必要があるから。　
　前記位置情報に基づく画素の位置では、画像信号が補間用閾値を超えた時に補間を実行して飽和ザラを改善する。そうすることで、飽和するはずの画像信号を十分な飽和として変えることができる。画像信号が補間用閾値よりも小さいときには、飽和しなくてよいので、補間をしないようにする。　
　次に、前記位置情報に基づかない画素の位置では、対象画素に対して、高輝度判定の閾値を超えた時、更に未飽和判定の閾値（９８ＩＲＥ）を用いて判定を行う。この判定では、９８～１００ＩＲＥであれば補間をしないが、９６～９８ＩＲＥであれば補間をするようになる。
　９８～１００ＩＲＥの時は補間をしないのは、ほとんど飽和しているので飽和ザラが目立たないからである。そうすることで必要な場合にのみ効果的に補間を行える。　
　なお、メモリ２７に、白傷画素の位置と未飽和画素の位置を記憶する場合、いづれかが分かるようなフラグをＭＳＢ（１６ｂｉｔデータの最上位ｂｉｔ）に設けたり、記憶領域を分けることとすればよい。　
　また、これまでは画素の位置情報を用いる方法と用いない方法の組合せであったが、もし画素の位置情報が無い内視鏡があれば、前記に説明した画素の位置情報を用いない方法で補間をすればよい。　
　例えば、高輝度判定の閾値を下回った場合、周辺８画素の平均値で置き換える補間方法が挙げられる。
　本出願は、２０１２年４月１０日に日本国に出願された特願２０１２－８９４３７号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (15)

  1. 　被写体を撮像するために２次元状に配列された複数の画素を有し、該複数の画素により撮像した画素信号を出力する撮像素子と、
    　前記撮像素子に存在する欠陥画素としての白傷画素の位置情報を記憶する白傷位置情報記憶部と、
    　前記撮像素子に対して転送信号を印加することにより、前記撮像素子を構成する前記複数の画素から所定の方向に沿って前記画素信号を出力させる撮像素子駆動部と、
    　前記白傷位置情報記憶部から読み出した前記白傷画素の位置情報に基づき、前記転送信号の印加により前記撮像素子から出力される前記画素信号が白傷画素のものと判定された時、前記撮像素子から出力される、前記白傷画素と判定された画素を囲む周囲８画素の画素信号のうちの、前記白傷画素と判定された画素の１画素後に出力される隣接画素の画素信号を除いた７個の画素により算出された白傷補正値に基づき、前記白傷画素と判定された画素の画素信号に対して白傷補正を行う白傷補正部と、
    　を備えることを特徴とする撮像装置。
  2. 　前記白傷補正部は、前記白傷画素と判定された画素に対して、前記７個の画素の画素信号の平均値を前記白傷補正値として算出する白傷補正回路と、
    　前記白傷位置情報記憶部の前記白傷画素の位置情報に基づく切替信号により、前記白傷画素と判定されない通常画素が入力された場合には、該通常画素の画素信号を選択して出力し、前記白傷画素と判定された画素の画素信号が入力された場合には、前記白傷補正回路により算出された前記白傷補正値の画素信号を選択して出力するセレクタと、
    　を有することを特徴とする請求項１に記載の撮像装置。
  3. 　前記撮像素子を構成する各画素のアナログの画素信号を伝送するケーブルと、前記ケーブルにより伝送された前記アナログの画素信号をデジタルの画素信号に変換して前記白傷補正部に出力するアナログ・デジタル変換部とを有し、
    　更に、前記白傷画素と判定された画素から１画素数以上となる所定の画素数だけ後に出力される所定の画素の画素信号に対して、前記白傷画素と判定された画素の画素信号値の所定の割合を加算する補正を行う加算補正部を有することを特徴とする請求項１に記載の撮像装置。
  4. 　前記撮像素子を構成する各画素のアナログの画素信号を伝送するケーブルと、前記ケーブルにより伝送された前記アナログの画素信号をデジタルの画素信号に変換して前記白傷補正手段に出力するアナログ・デジタル変換部とを有し、
    　更に、前記白傷画素と判定された画素から１画素数以上となる所定の画素数だけ後に出力される所定の画素の画素信号に対して、前記白傷画素と判定された画素の画素信号値の所定の割合を加算する補正を行う加算補正部を有することを特徴とする請求項２に記載の撮像装置。
  5. 　前記白傷画素と判定された画素から前記所定の画素数だけ後に出力される前記所定の画素の位置と、前記所定の割合との補正情報を、予め記憶する補正情報記憶部を有し、
    　前記加算補正部は、前記補正情報記憶部の前記位置の情報を用いて前記所定の画素の画素信号が該加算補正部に入力されるタイミングにおいて、当該画素信号に対して前記白傷画素と判定された画素の画素信号値の所定の割合を加算する加算補正を行うことを特徴とする請求項３に記載の撮像装置。
  6. 　前記白傷画素と判定された画素から前記所定の画素数だけ後に出力される前記所定の画素の位置と、前記所定の割合との補正情報を、予め記憶する補正情報記憶部を有し、
    　前記加算補正部は、前記補正情報記憶部の前記位置の情報を用いて前記所定の画素の画素信号が該加算補正部に入力されるタイミングにおいて、当該画素信号に対して前記白傷画素と判定された画素の画素信号値の所定の割合を加算する加算補正を行うことを特徴とする請求項４に記載の撮像装置。
  7. 　更に、前記白傷画素と判定された画素の１画素後に出力される前記隣接画素の画素信号の信号値を、閾値を用いて補正すべき範囲内か否かを判定する判定部と、
    　前記判定部が補正すべきと判定した場合に、前記隣接画素の画素信号を、該隣接画素を前記所定の方向と直交する方向に隣接する２画素の画素信号の平均値で置換する補正を行う隣接画素補正部を有することを特徴とする請求項５に記載の撮像装置。
  8. 　更に、前記白傷画素と判定された画素の１画素後に出力される前記隣接画素の画素信号の信号値を、閾値を用いて補正すべき範囲内か否かを判定する判定部と、
    　前記判定部が補正すべきと判定した場合に、前記隣接画素の画素信号を、該隣接画素を前記所定の方向と直交する方向に隣接する２画素の画素信号の平均値で置換する補正を行う隣接画素補正部を有することを特徴とする請求項６に記載の撮像装置。
  9. 　前記加算補正部は前記白傷補正部の前段側に設けられ、前記白傷補正部は、前記加算補正部による加算補正された後の画素信号に対して前記白傷補正を行うことを特徴とする請求項５に記載の撮像装置。
  10. 　前記加算補正部は前記白傷補正部の前段側に設けられ、前記白傷補正部は、前記加算補正部による加算補正された後の画素信号に対して前記白傷補正を行うことを特徴とする請求項７に記載の撮像装置。
  11. 　前記判定部は、前記隣接画素の画素信号の信号値と、前記閾値としての前記隣接画素に隣接する前記２画素の画素信号の平均値に所定係数を乗算した値とを比較することにより、前記判定を行うことを特徴とする請求項８に記載の撮像装置。
  12. 　前記補正情報記憶部は、前記白傷画素と判定された１つの画素に対して、前記所定の画素の位置として第１の位置及び第２の位置とを含む複数の位置と、前記第１の位置及び前記第２の位置に対応して、前記所定の割合を表す第１の係数と第２の係数とを前記補正情報として予め記憶しており、
    　前記加算補正部は、前記第１の位置及び第２の位置の前記所定の画素それぞれに対して、前記第１の係数と前記第２の係数を前記白傷画素と判定された画素の画素信号値にそれぞれ乗算した値を用いて前記加算補正を行うことを特徴とする請求項５に記載の撮像装置。
  13. 　前記補正情報記憶部は、前記白傷画素と判定された１つの画素に対して、前記所定の画素の位置として第１の位置及び第２の位置とを含む複数の位置と、前記第１の位置及び前記第２の位置に対応して、前記所定の割合を表す第１の係数と第２の係数とを前記補正情報として予め記憶しており、
    　前記加算補正部は、前記第１の位置及び第２の位置の前記所定の画素それぞれに対して、前記第１の係数と前記第２の係数を前記白傷画素と判定された画素の画素信号値にそれぞれ乗算した値を用いて前記加算補正を行うことを特徴とする請求項６に記載の撮像装置。
  14. 　前記撮像素子と前記白傷位置情報記憶部とを備え、一端が前記撮像素子に接続された前記ケーブルが挿通された内視鏡と、前記ケーブルの他端が着脱自在に接続され、前記撮像素子駆動部と前記白傷補正部と、を備えた信号処理装置とを備えることを特徴とする請求項３に記載の記載の撮像装置。
  15. 　前記撮像素子と前記白傷位置情報記憶部と前記補正情報記憶部とを備え、一端が前記撮像素子に接続された前記ケーブルが挿通された内視鏡と、前記ケーブルの他端が着脱自在に接続され、前記撮像素子駆動部と前記白傷補正部とを備えた信号処理装置と、を備えることを特徴とする請求項６に記載の記載の撮像装置。
PCT/JP2013/060726 2012-04-10 2013-04-09 撮像装置 WO2013154105A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201380003425.1A CN103858422B (zh) 2012-04-10 2013-04-09 摄像装置
EP13775185.5A EP2750373B1 (en) 2012-04-10 2013-04-09 Imaging device
JP2013544603A JP5458223B1 (ja) 2012-04-10 2013-04-09 撮像装置
US14/212,244 US8866940B2 (en) 2012-04-10 2014-03-14 Image pickup apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012089437 2012-04-10
JP2012-089437 2012-04-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/212,244 Continuation US8866940B2 (en) 2012-04-10 2014-03-14 Image pickup apparatus

Publications (1)

Publication Number Publication Date
WO2013154105A1 true WO2013154105A1 (ja) 2013-10-17

Family

ID=49327667

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/060726 WO2013154105A1 (ja) 2012-04-10 2013-04-09 撮像装置

Country Status (5)

Country Link
US (1) US8866940B2 (ja)
EP (1) EP2750373B1 (ja)
JP (1) JP5458223B1 (ja)
CN (1) CN103858422B (ja)
WO (1) WO2013154105A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015126333A (ja) * 2013-12-26 2015-07-06 セイコーエプソン株式会社 カメラ、及び画像処理方法
WO2018020685A1 (ja) * 2016-07-29 2018-02-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2018020687A1 (ja) * 2016-07-29 2018-02-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5893813B1 (ja) * 2014-09-03 2016-03-23 オリンパス株式会社 内視鏡装置
CN104363391B (zh) * 2014-11-28 2018-11-27 广东欧珀移动通信有限公司 图像坏点补偿方法、系统及拍照设备
CN107613229A (zh) * 2017-09-30 2018-01-19 杭州雄迈集成电路技术有限公司 一种图像传感器坏点检测校正装置及方法
KR20200129388A (ko) * 2019-05-08 2020-11-18 엘지이노텍 주식회사 카메라 모듈
US11509845B2 (en) * 2021-03-05 2022-11-22 Black Sesame Technologies Inc. Multiple frame defect pixel detection and correction
US20230096874A1 (en) * 2021-09-29 2023-03-30 Ati Technologies Ulc Content adaptive filtering via ringing estimation and suppression

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1042201A (ja) 1996-07-26 1998-02-13 Hitachi Denshi Ltd 画像欠陥補正回路
JPH1051693A (ja) * 1996-07-30 1998-02-20 Toshiba Medical Eng Co Ltd 撮像素子の欠陥画素補正処理装置
JP2003116060A (ja) 2001-10-03 2003-04-18 Olympus Optical Co Ltd 欠陥画素補正装置
JP2004241600A (ja) * 2003-02-06 2004-08-26 Sony Corp 欠陥検出回路及び欠陥検出方法
JP2006109067A (ja) * 2004-10-05 2006-04-20 Ikegami Tsushinki Co Ltd 欠陥画素処理装置及び方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5521639A (en) * 1992-04-30 1996-05-28 Sony Corporation Solid-state imaging apparatus including a reference pixel in the optically-black region
JP2003078821A (ja) * 2001-08-31 2003-03-14 Hitachi Kokusai Electric Inc 撮像装置
JP3941698B2 (ja) * 2003-01-23 2007-07-04 ソニー株式会社 画素補正回路及び画素補正方法
JP4305777B2 (ja) * 2006-11-20 2009-07-29 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
EP2015562A1 (en) * 2007-07-10 2009-01-14 Thomson Licensing S.A. Processing device for correcting defect pixel values of an image sensor unit, image sensor unit with the processing device and method
US20090091642A1 (en) * 2007-10-03 2009-04-09 Winbond Electronics Corp. Image defect correction system using directional detection
JP5060535B2 (ja) * 2009-09-24 2012-10-31 株式会社東芝 画像処理装置
JP5269841B2 (ja) * 2010-07-22 2013-08-21 株式会社東芝 画像処理装置
JP5306298B2 (ja) * 2010-09-01 2013-10-02 株式会社東芝 画像処理装置
KR101243363B1 (ko) * 2010-11-12 2013-03-13 에스케이하이닉스 주식회사 불량픽셀 제거 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1042201A (ja) 1996-07-26 1998-02-13 Hitachi Denshi Ltd 画像欠陥補正回路
JPH1051693A (ja) * 1996-07-30 1998-02-20 Toshiba Medical Eng Co Ltd 撮像素子の欠陥画素補正処理装置
JP2003116060A (ja) 2001-10-03 2003-04-18 Olympus Optical Co Ltd 欠陥画素補正装置
JP2004241600A (ja) * 2003-02-06 2004-08-26 Sony Corp 欠陥検出回路及び欠陥検出方法
JP2006109067A (ja) * 2004-10-05 2006-04-20 Ikegami Tsushinki Co Ltd 欠陥画素処理装置及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2750373A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015126333A (ja) * 2013-12-26 2015-07-06 セイコーエプソン株式会社 カメラ、及び画像処理方法
WO2018020685A1 (ja) * 2016-07-29 2018-02-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2018020687A1 (ja) * 2016-07-29 2018-02-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
CN109479100A (zh) * 2016-07-29 2019-03-15 奥林巴斯株式会社 图像处理装置、图像处理方法和程序
JPWO2018020685A1 (ja) * 2016-07-29 2019-05-09 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
US10791289B2 (en) 2016-07-29 2020-09-29 Olympus Corporation Image processing apparatus, image processing method, and non-transitory computer readable recording medium
US10791290B2 (en) 2016-07-29 2020-09-29 Olympus Corporation Image processing apparatus, image processing method, and non-transitory computer readable recording medium
CN109479100B (zh) * 2016-07-29 2021-02-09 奥林巴斯株式会社 图像处理装置、图像处理方法和程序

Also Published As

Publication number Publication date
EP2750373A1 (en) 2014-07-02
CN103858422A (zh) 2014-06-11
JP5458223B1 (ja) 2014-04-02
CN103858422B (zh) 2016-11-23
US8866940B2 (en) 2014-10-21
EP2750373A4 (en) 2015-04-22
US20140211049A1 (en) 2014-07-31
JPWO2013154105A1 (ja) 2015-12-17
EP2750373B1 (en) 2017-10-25

Similar Documents

Publication Publication Date Title
JP5458223B1 (ja) 撮像装置
US9769394B2 (en) Image pickup apparatus, image processing apparatus, and computer-readable storage device
US20130041220A1 (en) Endoscope system
JP5097308B2 (ja) インピーダンスマッチング装置及びこれを備えた内視鏡
US8243172B2 (en) Image pickup system
JP5244164B2 (ja) 内視鏡装置
JP6013647B1 (ja) 内視鏡
EP2589329B1 (en) Endoscope and endoscopic system
JP2008109639A (ja) 撮像装置および撮像方法
JP5959331B2 (ja) 内視鏡装置
WO2018079397A1 (ja) 内視鏡装置
JP6192671B2 (ja) 内視鏡システム、内視鏡システムの作動方法
JP5411322B2 (ja) 撮像装置および撮像方法
JP2000342533A (ja) 内視鏡装置
US10484626B2 (en) Gain adjustment unit, recording medium holding gain adjustment program, endoscope and endoscope apparatus
JP2016158940A (ja) 撮像装置及びその作動方法
JP5322633B2 (ja) 撮像装置
JP6150969B1 (ja) ゲイン調整装置、ゲイン調整プログラム、内視鏡及び内視鏡装置
JP5827868B2 (ja) 電子内視鏡及び固定パターンノイズ除去方法
JPH11164195A (ja) 撮像装置
JP2013141474A (ja) 色調調整装置および電子内視鏡装置
US9888836B2 (en) Endoscope
JP2009095525A (ja) 内視鏡装置の電子内視鏡
JP2006340173A (ja) 画像入力装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013544603

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13775185

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2013775185

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE