WO2018025323A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2018025323A1
WO2018025323A1 PCT/JP2016/072640 JP2016072640W WO2018025323A1 WO 2018025323 A1 WO2018025323 A1 WO 2018025323A1 JP 2016072640 W JP2016072640 W JP 2016072640W WO 2018025323 A1 WO2018025323 A1 WO 2018025323A1
Authority
WO
WIPO (PCT)
Prior art keywords
noise
correction
pixel
unit
image processing
Prior art date
Application number
PCT/JP2016/072640
Other languages
English (en)
French (fr)
Inventor
裕輝 丸山
学 市川
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2016/072640 priority Critical patent/WO2018025323A1/ja
Priority to CN201680088002.8A priority patent/CN109565556B/zh
Priority to JP2018531010A priority patent/JP6762365B2/ja
Publication of WO2018025323A1 publication Critical patent/WO2018025323A1/ja
Priority to US16/260,196 priority patent/US10630924B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7908—Suppression of interfering signals at the reproducing side, e.g. noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and a program for correcting noise generated in an imaging device having a plurality of pixels.
  • Patent No. 5425343 gazette
  • noise white flaw or pixel defect
  • noise white flaw or pixel defect
  • dispersion of transmittance of a color filter Noise spectral sensitivity variation noise or sensitivity variation noise
  • noise RTS noise or blinking defect
  • the present invention has been made in view of the above, and in the case where a plurality of noises occur in image data, it is possible to prevent the deterioration of the image quality due to the order of incorrect correction processing and to realize a high quality image. It is an object of the present invention to provide an image processing apparatus capable of image processing, an image processing method, and a program.
  • an image processing apparatus receives a light and generates a signal corresponding to the amount of light received, and the signal of each pixel is a pixel
  • An image processing apparatus capable of executing a plurality of correction processes for correcting each of a plurality of noises having different characteristics, which are included in image data generated by an imaging device having a plurality of readout circuits that read out as values.
  • a noise correction unit that executes the plurality of correction processes in an order determined according to characteristics of a plurality of noises and a process until the light is received by the pixels and read and output as the pixel values; It is characterized by having.
  • the noise correction unit classifies the plurality of correction processes into a plurality of groups based on the characteristics of the plurality of noises, and the plurality of groups and the plurality of groups.
  • the plurality of correction processes are performed in an order determined in accordance with the process.
  • the plurality of noises are noises generated in any of the optical system provided on the light receiving surface of the pixel, the pixel, and the readout circuit.
  • the noise correction unit is characterized in that the plurality of correction processes included in each of the plurality of groups are performed in an order determined in the reverse order of the noise generation order in the process.
  • the noise correction unit executes the plurality of correction processes included in each of the plurality of groups in an order determined according to the noise level of the noise. It is characterized by
  • the noise correction unit executes the plurality of correction processes included in each of the plurality of groups in an order determined according to a range in which the noise occurs. It is characterized by
  • the noise correction unit may set the order of the correction process in which the correction content is switched according to a specific condition to the plurality of correction processes included in each of the plurality of groups. It is characterized in that it is performed after the correction process.
  • the noise correction unit generates similar noise similar to the noise to be corrected in the correction processing performed in the subsequent stage as a result of the correction processing performed in the previous stage.
  • the similar noise is corrected by a correction process at a later stage including other noises.
  • the plurality of correction processes include a correction process for correcting the noise while detecting the noise using the image data, and the noise correction unit
  • the classification is made into a detected group to be corrected while being detected and a group having a detected and not detected group, and the plurality of correction processes are executed in the order of the detected and non-detected group.
  • the noise correction unit classifies the plurality of correction processes into the plurality of groups according to the level of the noise corrected by each of the plurality of correction processes.
  • the plurality of correction processes are performed in the order of the group in which the noise level is large.
  • the noise correction unit performs the plurality of correction processes according to the generation range of the noise corrected by each of the plurality of correction processes.
  • the plurality of correction processes are performed in the order of the group having the smaller occurrence range while being classified into the group.
  • the image processing apparatus is characterized in that, in the above-mentioned invention, the image processing apparatus further comprises a noise information recording unit for recording noise information on each of the plurality of noises.
  • an imaging having a plurality of pixels that receive light and generate a signal according to the amount of received light, and a plurality of readout circuits that read out the signal of each pixel as a pixel value
  • the method further includes a noise correction step of executing the plurality of correction processes in the order of the correction process determined according to the process from the light being received by the pixels to being read and output as the pixel value.
  • a program according to the present invention is an imaging device having a plurality of pixels that receive light and generate a signal according to the amount of received light, and a plurality of readout circuits that read out the signal of each pixel as a pixel value.
  • the image processing apparatus capable of executing a plurality of correction processes for correcting a plurality of noises having different characteristics which are included in the generated image data, the characteristics of the plurality of noises and the light are received by the pixels and the light is received
  • the present invention is characterized in that a noise correction step of executing the plurality of correction processes is performed in an order determined according to a process of reading and outputting as a pixel value.
  • the present invention when a plurality of noises occur in image data, it is possible to prevent deterioration of the image quality due to the order of incorrect correction processing and to realize an image of high quality.
  • FIG. 1 is a block diagram schematically showing a configuration of an imaging system according to Embodiment 1 of the present invention.
  • FIG. 2 is a schematic view schematically showing the configuration of the main part of the imaging device according to Embodiment 1 of the present invention.
  • FIG. 3 is a diagram showing an example of the characteristic of each noise generated in the imaging device according to Embodiment 1 of the present invention.
  • FIG. 4 is a figure which shows typically the example of generation
  • FIG. 5 is a view schematically showing an example of the occurrence of a white scratch in the imaging device according to Embodiment 1 of the present invention.
  • FIG. 1 is a block diagram schematically showing a configuration of an imaging system according to Embodiment 1 of the present invention.
  • FIG. 2 is a schematic view schematically showing the configuration of the main part of the imaging device according to Embodiment
  • FIG. 6 is a view schematically showing a generation example of RTS noise in the imaging device according to Embodiment 1 of the present invention.
  • FIG. 7 is a view schematically showing a generation example of the spectral sensitivity variation in the imaging device according to Embodiment 1 of the present invention.
  • FIG. 8 is a view schematically showing a generation example of defective pixels and low saturation pixels in the imaging device according to Embodiment 1 of the present invention.
  • FIG. 9 is a view schematically showing an example of low saturation pixel information included in noise information recorded by the noise information recording unit according to Embodiment 1 of the present invention.
  • FIG. 10 is a view schematically showing an example of low saturation pixel information included in noise information recorded by the noise information recording unit according to the first embodiment of the present invention.
  • FIG. 11 is a flowchart showing an outline of noise processing performed by the image processing apparatus according to the first embodiment of the present invention.
  • FIG. 12A is a diagram schematically illustrating a method of determining the order of the plurality of correction processes by the noise correction unit according to Embodiment 1 of the present invention.
  • FIG. 12B is a diagram schematically illustrating a method of determining the order of the plurality of correction processes by the noise correction unit according to Embodiment 1 of the present invention.
  • FIG. 12C is a diagram schematically illustrating a method of determining the order of the plurality of correction processes by the noise correction unit according to Embodiment 1 of the present invention.
  • FIG. 13 is a diagram schematically showing a configuration of the noise correction unit according to Embodiment 1 of the present invention.
  • FIG. 14 is a flowchart showing an outline of noise processing performed by the image processing apparatus according to the modification of the first embodiment of the present invention.
  • FIG. 15A is a diagram schematically illustrating a method of determining the order of the plurality of correction processes by the noise correction unit according to the modification of the first embodiment of the present invention.
  • FIG. 15B is a diagram schematically illustrating a method of determining the order of the plurality of correction processes by the noise correction unit according to the modification of the first embodiment of the present invention.
  • FIG. 15C is a diagram schematically illustrating a method of determining the order of the plurality of correction processes by the noise correction unit according to the modification of the first embodiment of the present invention.
  • FIG. 15A is a diagram schematically illustrating a method of determining the order of the plurality of correction processes by the noise correction unit according to the modification of the first embodiment of the present invention.
  • FIG. 15B is a diagram schematically illustrating a method of determining the order of the plurality of correction processes by the noise
  • FIG. 16 is a diagram schematically showing a configuration of a noise correction unit according to a modification of the first embodiment of the present invention.
  • FIG. 17 is a flowchart showing an outline of noise processing performed by the image processing apparatus according to the second embodiment of the present invention.
  • FIG. 18A is a diagram schematically illustrating a method of determining the order of the plurality of correction processes by the noise correction unit according to Embodiment 2 of the present invention.
  • FIG. 18B is a diagram schematically illustrating a method of determining the order of the plurality of correction processes by the noise correction unit according to Embodiment 2 of the present invention.
  • FIG. 18C is a diagram schematically illustrating a method of determining the order of the plurality of correction processes by the noise correction unit according to Embodiment 2 of the present invention.
  • FIG. 19 is a diagram schematically showing a configuration of a noise correction unit according to Embodiment 2 of the present invention.
  • FIG. 20 is a flowchart showing an outline of noise processing performed by the image processing apparatus according to the third embodiment of the present invention.
  • FIG. 21A is a diagram schematically illustrating a method of determining the order of the plurality of correction processes by the noise correction unit according to Embodiment 3 of the present invention.
  • FIG. 21B is a diagram schematically illustrating a method of determining the order of the plurality of correction processes by the noise correction unit according to Embodiment 3 of the present invention.
  • FIG. 21C is a diagram schematically illustrating a method of determining the order of the plurality of correction processes by the noise correction unit according to Embodiment 3 of the present invention.
  • FIG. 22 is a diagram schematically showing a configuration of a noise correction unit according to Embodiment 3 of the present invention.
  • FIG. 1 is a block diagram schematically showing a configuration of an imaging system according to Embodiment 1 of the present invention.
  • An imaging system 1 shown in FIG. 1 includes an imaging device 10, an image processing device 20, and a display device 30.
  • the imaging apparatus 10 includes an optical system 101, an aperture 102, a shutter 103, a driver 104, an imaging element 105, an analog processing unit 106, an A / D conversion unit 107, and an operation unit.
  • the optical system 101 is configured using a plurality of lenses.
  • the optical system 101 is configured using, for example, a focus lens and a zoom lens.
  • the diaphragm 102 adjusts exposure by limiting the amount of incident light collected by the optical system 101.
  • the diaphragm 102 limits the amount of incident light collected by the optical system 101 under the control of the imaging control unit 114.
  • the shutter 103 sets the state of the imaging element 105 to an exposure state or a light blocking state.
  • the shutter 103 is configured using, for example, a focal plane shutter or the like.
  • the driver 104 drives the optical system 101, the diaphragm 102, and the shutter 103 under the control of the imaging control unit 114 described later.
  • the driver 104 changes the zoom magnification of the imaging device 10 or adjusts the focus position by moving the optical system 101 along the optical axis O1.
  • the imaging element 105 receives light collected by the optical system 101 under control of an imaging control unit 114 described later, converts the light into image data (electric signal), and outputs the image data.
  • the imaging device 105 is configured using a complementary metal oxide semiconductor (CMOS) or the like in which a plurality of pixels are two-dimensionally arranged.
  • CMOS complementary metal oxide semiconductor
  • a Bayer arrangement RGB filter is disposed in front of each pixel.
  • the imaging device 105 is not limited to the Bayer arrangement, and may of course be a laminated type such as Fovion.
  • the filter to be used is not limited to RGB, and an optional filter such as a complementary color filter can be applied.
  • a light source capable of irradiating different color light in time division is disposed, and a filter is not disposed in the imaging element 105, and a color image is configured using images sequentially captured while changing the color to be irradiated. It may be possible.
  • FIG. 2 is a schematic view schematically showing the configuration of the main part of the imaging device 105.
  • the imaging device 105 illustrated in FIG. 2 illustrates an example in which a read out circuit is shared by a plurality of pixels in order to improve sensitivity by improving the aperture ratio of the pixels.
  • the image sensor 105 will be described as an example in which one readout circuit is arranged for eight pixels of four pixels in the horizontal direction (horizontal direction) ⁇ the vertical direction (vertical direction).
  • the above-described pixel and the readout circuit are arranged side by side in the horizontal direction and the vertical direction.
  • a plurality of pixels (shared blocks) sharing the readout circuit are arranged.
  • the imaging device 105 includes a micro lens 105 a for condensing light, a color filter 105 b formed by forming a predetermined array pattern using a plurality of filters having different spectral transmittances, and a micro A plurality of pixels 105c (photodiodes) that generate charges corresponding to an exposure amount by receiving light transmitted through the lens 105a and the color filter 105b and performing photoelectric conversion, and provided in each of the plurality of pixels 105c;
  • a first switch 105d that opens and closes according to control of the imaging control unit 114, a transfer line 105e for transferring a signal (charge) output from each of the plurality of pixels 105c, and a signal output from each of the plurality of pixels 105c Section 105 f (Floating Diffusion) for storing the signals, and an amplifier for amplifying the signal output from the FD section 105 f.
  • Control unit 105g a second switch 105h that opens and closes according to the control of the imaging control unit 114, a control line 105i that controls the second switch 105h, and a transfer line 105j that transfers the electrical signal amplified by the amplifier unit 105g.
  • the color filter 105b uses two G filters transmitting light in the green wavelength band, an R filter transmitting light in the red wavelength band, and a B filter transmitting light in the blue wavelength band. It is formed by Bayer arrangement.
  • the imaging element 105 When reading out a signal corresponding to the exposure amount in the pixel 105c as a pixel value as indicated by an arrow A, the imaging element 105 configured in this way first resets the FD unit 105f and the imaging control unit 114 By turning on only the first switch 105d (1), the charge generated in the pixel 105c (1) is transferred to the FD unit 105f. Thereafter, when the imaging control unit 114 turns on the second switch 105h, the imaging device 105 amplifies the charge accumulated in the FD unit 105f by the amplifier unit 105g and reads out (outputs) it as a pixel value.
  • the imaging element 105 resets the FD unit 105f, and the imaging control unit 114 turns on only the first switch 105d (2), whereby the charge generated in the pixel 105c (2) is transferred to the FD unit 105f. Transfer to Thereafter, when the imaging control unit 114 turns on the second switch 105h, the imaging device 105 amplifies the charge accumulated in the FD unit 105f by the amplifier unit 105g and reads it as a pixel value. The imaging device 105 can sequentially output a signal corresponding to the exposure amount of each pixel 105 c as a pixel value by sequentially performing such a reading operation.
  • the FD unit 105 f and the subsequent units function as a reading circuit that reads charges or pixel values from each of the plurality of pixels 105 c.
  • the analog processing unit 106 performs predetermined analog processing on an analog signal input from the imaging device 105 and outputs the analog signal to the A / D conversion unit 107. Specifically, the analog processing unit 106 performs noise reduction processing, gain up processing, and the like on the analog signal input from the imaging device 105. For example, the analog processing unit 106 performs waveform shaping on an analog signal after reducing reset noise and the like, and further performs gain-up processing so as to achieve target brightness.
  • the A / D conversion unit 107 generates digital image data (hereinafter referred to as “RAW image data”) by performing A / D conversion on the analog signal input from the analog processing unit 106, and the bus 113 Output to the volatile memory 111.
  • RAW image data digital image data
  • the A / D conversion unit 107 may directly output RAW image data to each unit of the imaging device 10 described later.
  • the above-described analog processing unit 106 and A / D conversion unit 107 may be provided in the imaging device 105 so that the imaging device 105 directly outputs digital RAW image data.
  • the operation unit 108 gives various instructions of the imaging device 10.
  • the operation unit 108 is a power switch that switches the power state of the imaging device 10 to the on state or the off state, a release switch that gives an instruction for still image shooting, an operation switch that switches various settings of the imaging device 10, and moving image shooting The video switch etc. which give instructions of.
  • the recording medium 110 is configured using a memory card mounted from the outside of the imaging device 10, and is detachably mounted to the imaging device 10 via the memory I / F unit 109.
  • the recording medium 110 may output the program and various information to the non-volatile memory 112 through the memory I / F unit 109 under the control of the imaging control unit 114.
  • the volatile memory 111 temporarily stores image data input from the A / D converter 107 via the bus 113.
  • the volatile memory 111 temporarily stores image data sequentially output for each frame by the imaging device 105 via the analog processing unit 106, the A / D conversion unit 107, and the bus 113.
  • the volatile memory 111 is configured using an SDRAM (Synchronous Dynamic Random Access Memory) or the like.
  • the non-volatile memory 112 is configured using a flash memory or the like. Various programs for operating the imaging device 10 and various data used during execution of the programs are recorded. Further, the non-volatile memory 112 includes a program recording unit 112 a and a noise information recording unit 112 b that records noise information on various types of noise in the imaging device 105.
  • the noise information includes RTS noise information, spectral sensitivity variation information, defective pixel information, and low saturation pixel information.
  • the RTS noise information includes RTS noise positional information, level information, and a random noise model of the RTS noise in the imaging device 105.
  • the spectral sensitivity variation information includes a correction coefficient for correcting the variation in spectral sensitivity of each of the plurality of pixels constituting the image sensor 105.
  • a correction coefficient for correcting the variation in spectral sensitivity of each of the plurality of pixels constituting the image sensor 105 may be stored (or may be included) with respect to RTS noise information.
  • the dispersion of the spectral sensitivity is noise caused by a manufacturing process by an optical system provided on the light receiving surface of each of the plurality of pixels constituting the imaging device 105.
  • the optical system is a micro lens provided on the light receiving surface of the pixel, various filters (for example, a color filter, an infrared cut filter, a low pass filter, etc.).
  • position information of the defective pixel according to the position of the pixel in the imaging device 105 is a readout circuit (position information of the amplifier unit 105g) for reading the pixel value or positional information of the pixel where the defective pixel occurs Includes one or both) and level information.
  • the defect pixel information may include information on FD white flaws and white flaws.
  • position information of a low saturation pixel according to the position of the pixel in the imaging device 105 position information is a reading circuit for reading a pixel value (position information of the amplifier unit 105g) or a low saturation pixel Including location information (either or both) and level information. Note that level information may not be present for any noise information.
  • the bus 113 is configured by using a transmission path or the like connecting each component of the imaging device 10, and transfers various data generated inside the imaging device 10 to each component of the imaging device 10.
  • the imaging control unit 114 is configured using a CPU (Central Processing Unit) or the like, performs imaging by performing instructions or data transfer to each unit configuring the imaging device 10 according to an instruction signal from the operation unit 108 or a release signal. It centrally controls the operation of the apparatus 10. For example, when the second release signal is input from the operation unit 108, the imaging control unit 114 performs control to start the imaging operation in the imaging device 10.
  • the imaging operation in the imaging device 10 refers to an operation in which the analog processing unit 106 and the A / D conversion unit 107 perform predetermined processing on the image data output from the imaging element 105.
  • the image data thus processed is recorded on the recording medium 110 via the bus 113 and the memory I / F unit 109 under the control of the imaging control unit 114.
  • the first external I / F unit 115 outputs information input from an external device via the bus 113 to the non-volatile memory 112 or the volatile memory 111, while the volatile memory 111 records the information to the external device via the bus 113. , The information recorded by the non-volatile memory 112, and the image data generated by the image sensor 105. Specifically, the first external I / F unit 115 outputs the image data generated by the imaging device 105 to the image processing apparatus 20 via the bus 113.
  • the image processing apparatus 20 includes a second external I / F unit 21, a noise correction unit 22, and an image processing unit 23.
  • the second external I / F unit 21 acquires RAW image data generated by the imaging device 105 via the first external I / F unit 115 of the imaging device 10, and transmits the acquired RAW image data to the noise correction unit 22. Output. Further, the second external I / F unit 21 acquires noise information recorded by the noise information recording unit 112 b of the non-volatile memory 112 via the first external I / F unit 115 of the imaging device 10, and acquires the acquired noise information. Output to the noise correction unit 22.
  • the noise correction unit 22 performs noise correction processing for correcting noise on the RAW image data input from the second external I / F unit 21, and outputs the noise correction processing to the image processing unit 23. Specifically, the noise correction unit 22 processes the characteristics of a plurality of noises and the process of light being transmitted through the filter 105b and received by the pixel 105c and read and output as a pixel value (arrow in FIG. 2 By executing a plurality of correction processes in the order determined according to A) and A), a plurality of noises generated in the RAW image data are corrected and output to the image processing unit 23.
  • the noise correction unit 22 includes an FD white defect correction unit 221, a white defect correction unit 222, an RTS noise correction unit 223, a spectral sensitivity variation correction unit 224, and a low saturation pixel correction unit 225.
  • the FD white defect correction unit 221 corrects and outputs an FD white defect caused by a defect of the FD with respect to the RAW image data acquired by the second external I / F unit 21.
  • the FD white defect correction unit 221 includes a defective block detection unit 221 a and a defective block correction unit 221 b.
  • the defective block detection unit 221a determines a pixel value of a pixel in a shared block including a plurality of pixels sharing the readout circuit based on the RAW image data acquired by the second external I / F unit 21 and the pixel value outside the shared block.
  • the offset component of the pixel value generated in the shared block is detected using the pixel value of the pixel, and the detection result is output to the defective block correction unit 221b.
  • the defective block detection unit 221a determines, in the shared block, the difference between the pixel value of the pixel in the shared block and the pixel value of the pixel outside the shared block adjacent to the pixel in the shared block.
  • the offset component of the resulting pixel value is detected.
  • the defective block detection unit 221a uses the pixel value of the pixel in the shared block and the pixel value of the pixel outside the shared block based on the RAW image data acquired by the second external I / F unit 21.
  • the position of the shared block (defective block) where the FD white defect occurs may be detected, and the detection result may be output to the defective block correction unit 221b.
  • the defective block correction unit 221b calculates a correction amount for correcting the pixel value of the pixel in the common block based on the offset component detected by the defective block detection unit 221a, and uses this correction amount to calculate the correction amount of the pixel in the common block. Correct the pixel value and output.
  • the white defect correction unit 222 corrects and outputs a white defect caused by a defect in the PD with respect to the RAW image data acquired by the second external I / F unit 21. Specifically, the white defect correction unit 222 uses, for RAW image data, the pixel values of the pixels around the white defect based on the position information of the white defect included in the noise information recorded by the noise information recording unit 112 b. Execute and output the white blemish correction process to correct.
  • the white defect correction unit 222 includes a defective pixel detection unit 222 a and a defective pixel correction unit 222 b.
  • the white defect correction unit 222 may execute the white defect correction process using a known technique (see, for example, Japanese Patent No. 4453332).
  • the defective pixel detection unit 222a detects a defective pixel of the RAW image data based on the noise information recorded by the noise information recording unit 112b, and outputs the detected defective pixel to the defective pixel correction unit 222b.
  • the defective pixel detection unit 222a detects a defective pixel of the RAW image data based on the position information of the white flaw included in the noise information recorded by the noise information recording unit 112b, and outputs the detected defective pixel to the defective pixel correction unit 222b.
  • the defective pixel detection unit 222a may detect a defective pixel using a known technique.
  • the defective pixel correction unit 222 b corrects and outputs the pixel value of the defective pixel detected by the defective pixel detection unit 222 a.
  • the RTS noise correction unit 223 corrects the RTS noise with respect to the RAW image data based on the RTS noise information included in the noise information recorded in the noise information recording unit 112 b of the nonvolatile memory 112 of the imaging device 10. Perform correction processing and output.
  • the RTS noise correction unit 223 includes an RTS noise pixel determination unit 223a, a candidate value calculation unit 223b, a representative value calculation unit 223c, a random noise amount estimation unit 223d, and a correction value calculation unit 223e. Note that the RTS noise correction unit 223 may execute the RTS noise correction processing using a peripheral technology (see, for example, Japanese Patent Application Laid-Open No. 2012-105063).
  • the RTS noise pixel determination unit 223 a obtains noise information recorded in the noise information recording unit 112 b of the imaging device 10 via the second external I / F unit 21, the first external I / F unit 115, and the bus 113. Then, it is determined whether or not RTS noise occurs in the pixels on the acquired RAW image, and the determination result is output to the candidate value calculation unit 223b and the representative value calculation unit 223c. Specifically, when the position of a pixel is input to the RTS noise pixel determination unit 223a, it is determined whether the RTS noise information corresponding to the pixel is recorded in the noise information recording unit 112b of the imaging device 10, and recording is performed.
  • RTS noise information (information indicating the presence of RTS noise) is output, while if it is not recorded in the noise information recording unit 112b of the imaging device 10, it is regarded as a pixel where RTS noise does not occur, and RTS noise information is Do not output.
  • the candidate value calculation unit 223 b determines that the RTS noise is generated in the target pixel by the RTS noise pixel determination unit 223 a based on the pixel value in the RAW image of the target pixel and the determination result of the RTS noise pixel determination unit 223 a In this case, a plurality of candidate values of the correction amount for the pixel value of the pixel of interest are calculated, and the pixel value of the RAW image of the pixel of interest and the plurality of candidate values calculated are the representative value calculator 223c, the random noise amount estimation unit 223d, and the correction value It outputs to each calculation part 223e.
  • the representative value calculation unit 223c determines that RTS noise is not generated by at least the RTS noise pixel determination unit 223a around the pixel of interest.
  • the representative value corresponding to the pixel value in the case where RTS noise does not occur is calculated based on the selected pixel and the reference value of the random noise amount corresponding to the target pixel calculated by the random noise amount estimation unit 223d described later.
  • the representative value calculation unit 223c outputs the pixel value in the RAW image of the pixel of interest, the plurality of candidate values, and the representative value calculated above to the correction value calculation unit 223e.
  • the random noise amount estimation unit 223d estimates the random noise amount corresponding to the pixel value based on the random noise model included in the noise information recorded by the noise information recording unit 112b of the imaging device 10, and calculates the estimation result as a representative value It outputs to the part 223c. That is, when a pixel value is input to the random noise amount estimation unit 223d, the random noise amount corresponding to the pixel value is output.
  • the correction value calculation unit 223e determines the correction value calculation unit 223e based on the plurality of candidate values calculated by the candidate value calculation unit 223b. Correct the pixel value of the target pixel. Specifically, the correction value calculation unit 223e calculates the pixel value of the RAW image of the pixel of interest, the plurality of candidate values calculated by the candidate value calculation unit 223b, and the representative value calculated by the representative value calculation unit 223c. , And calculates and outputs a pixel value obtained by correcting the RTS noise.
  • the correction value calculation unit 223e is a candidate value such that the correction result is closest to the representative value calculated by the representative value calculation unit 223c. , And corrects and outputs the pixel value of the target pixel.
  • the correction value calculation unit 223e outputs the pixel value in the RAW image of the target pixel as it is.
  • the spectral sensitivity variation correction unit 224 corrects the spectral sensitivity variation of each filter with respect to the RAW image based on the noise information recorded in the noise information recording unit 112 b of the nonvolatile memory 112 of the imaging device 10. Perform correction processing and output.
  • the spectral sensitivity variation correction unit 224 includes a correction amount calculation unit 224 a and a pixel value correction unit 224 b.
  • the correction amount calculation unit 224a calculates a correction amount for correcting the pixel value of the pixel of interest based on the correction coefficient of the pixel of interest recorded by the noise information recording unit 112b and the pixel values of surrounding pixels of the pixel of interest. Output. Also, the correction amount calculation unit 224a calculates a correction amount for correcting the pixel value of the target pixel based on the pixel values of the target pixel and the surrounding pixels.
  • the surrounding pixels are pixels adjacent to the target pixel or pixels located in the vicinity of the target pixel. Further, the pixel adjacent to the target pixel is a pixel located in the left, right, upper, and lower directions with reference to the target pixel. Further, the pixel located in the vicinity of the pixel of interest is a pixel located in an oblique direction with respect to the pixel of interest or a pixel closest to the pixel of interest in the same color as the pixel of interest.
  • the pixel value correction unit 224 b corrects and outputs the pixel value of the target pixel using the correction amount calculated by the correction amount calculation unit 224 a.
  • the low saturation pixel correction unit 225 performs low saturation pixel correction processing for correcting a low saturation pixel based on the noise information recorded by the noise information recording unit 112 b and outputs the result.
  • the image processing unit 23 performs predetermined image processing on the image data whose noise has been corrected by the noise correction unit 22, and outputs the image data to the display device 30.
  • predetermined image processing includes at least optical black subtraction processing, white balance adjustment processing, image data synchronization processing when the imaging device has a Bayer array, color matrix arithmetic processing, ⁇ correction processing, color reproduction processing And basic image processing including edge enhancement processing, noise reduction processing, and the like.
  • the image processing unit 23 performs image processing for reproducing a natural image based on parameters of each image processing set in advance.
  • the parameters of each image processing are values of contrast, sharpness, saturation, white balance, and gradation.
  • the display device 30 displays an image corresponding to the image data input from the image processing device 20.
  • the display device 30 is configured using a display panel such as liquid crystal or organic EL (Electro Luminescence), or the like.
  • the image processing device 20 corrects the noise of the RAW image data generated by the imaging device 105, and the display device 30 corresponds to the image data subjected to the image processing by the image processing device 20. Display an image.
  • FIG. 3 is a diagram showing a list of the characteristics of each noise.
  • Table T1 describes five noises of FD white blemish, white blemish, RTS noise, spectral sensitivity variation, and low saturation pixel in the noise name.
  • Table T1 also describes, for each noise, information about the location of occurrence, the level of noise, the range of occurrence, the presence or absence of detection at correction, and correction on / off switching where the correction content is switched depending on the specific condition. ing.
  • the occurrence point is a point of the image sensor 105 which causes noise.
  • the noise level is the amount of deviation from the normal value of the pixel value caused by the noise.
  • the generation range is the size of the pixel range affected by noise (minimum unit) when noise is generated.
  • the detection presence / absence at the time of correction is information indicating that correction is performed while detecting noise generation pixels at the time of correction (detection present) and information indicating that correction is performed without detection of noise generation pixels at the correction (detection nothing) Is one of the described information.
  • the correction on / off switching is information indicating whether or not the correction content is to be switched according to a specific condition. In FIG.
  • the above-described five noises are described as an example, it is needless to say that noises other than five, for example, black scratches and the like may be included.
  • the characteristics of the table T1 of FIG. 3 are an example, and may be changed according to the characteristics of the imaging device 105.
  • FIG. 4 is a view schematically showing an example of the occurrence of the FD white defect caused by the defect of the FD in the imaging device 105.
  • FIG. 4 shows the case of a shared block in which signals are read out by one read out circuit with respect to eight pixels of 2 pixels in the horizontal direction ⁇ 4 pixels in the vertical direction, as in FIG. 2 described above.
  • a square formed by the thin line L1 indicates each pixel, and a white square indicates a normal pixel P1.
  • a frame G1 of a thick line L2 indicates a shared block outputting a normal value
  • a group G2 including a hatched pixel P2 is a part of a readout circuit and a noise is generated due to a defect of the FD.
  • the pixel value of each pixel read out through this readout circuit is uniformly higher than the pixel value of the surrounding, or uniformly.
  • An unusual shared block or pixel that gets low. Therefore, the pixel value of the pixel P2 in which the FD white defect occurs is output as a value obtained by adding a fixed offset amount to the normal value. The offset amount is equal if the pixel is in the shared block.
  • FIG. 5 is a view schematically showing an example of the occurrence of a white flaw in the imaging device 105.
  • the hatched pixel P3 indicates either a white scratch or a black scratch defective pixel.
  • the white defect is a phenomenon in which the pixel value is increased by a fixed level with respect to the pixel value of the normal pixel P1.
  • the level changes with exposure time, temperature and gain.
  • a black scratch is a phenomenon in which the pixel value is lowered by a fixed level with respect to the pixel value of the normal pixel P1 contrary to the white scratch.
  • FIG. 6 is a view schematically showing a generation example of RTS noise in the imaging device 105.
  • FIG. 6 shows the case of a shared block in which signals are read out by one read out circuit with respect to eight pixels of 2 pixels in the horizontal direction ⁇ 4 pixels in the vertical direction, as in FIG. 2 described above.
  • a square formed by thin lines L1 indicates each pixel, and a white square indicates a normal pixel P1.
  • a frame G1 of a thick line L2 indicates a shared block that outputs a normal value
  • a group G4 of the shaded pixels P4 indicates a defective block.
  • the pixel P4 in which the RTS noise occurs blinks in a random cycle.
  • the maximum offset amount is equivalent.
  • FIG. 7 is a view schematically showing an example of occurrence of spectral sensitivity variation in the imaging device 105. As shown in FIG. In FIG. 7, the pixels P5 (black spots and bright spots) having poor sensitivity are indicated by hatching. Even in the case of the normal image P1, minute spectral sensitivity variations occur.
  • the pixel P5 is a phenomenon in which the sensitivity to light is extremely high or the sensitivity is extremely low with respect to the normal pixel P1. For this reason, the spectral sensitivity variation targets a pixel having a large difference from the normal pixel P1.
  • a sensitivity defect pixel is a phenomenon which a difference produces in sensitivity like spectral sensitivity variation, it may correct by spectral sensitivity variation correction processing.
  • FIG. 8 is a view schematically showing a generation example of a defective pixel and a low saturation pixel in the imaging device.
  • a pixel P6 (with a hatch) indicates a defective pixel such as a white scratch or a black scratch
  • a pixel P7 indicates a low saturation pixel.
  • the pixel P7 has a maximum pixel value (for example, 12 bits) for the normal pixel P1 even when capturing a bright flat subject without contrast and bright , 4095), a pixel value which does not reach the maximum value appears.
  • a maximum pixel value for example, 12 bits
  • FIG. 9 is a view schematically showing an example of the low saturation pixel information included in the noise information recorded by the noise information recording unit 112 b.
  • FIG. 10 is a diagram schematically showing an example of low saturation pixel information included in the noise information.
  • the pixel P10 and the pixel P11 show a low saturation pixel.
  • the corresponding saturation level is used, while when coordinates to be referred to are not recorded, saturation levels of pixels other than the low saturation pixel are used. However, for pixels that are not low saturation pixels, if saturation is sufficient, the maximum value of the pixel values (for example, 4095 for 12 bits) may be set as the saturation level.
  • the saturation level is recorded to correspond to the position of the pixel, when the saturation level falls due to a part of the read out circuit, the position corresponds to the position of the read out circuit.
  • the saturation level may be recorded (of course, the saturation level may be recorded by the method shown in FIGS. 9 and 10). In that case, after reading out the recorded information, the information converted into the saturation level in units of pixels may be used as the low saturation pixel information, such as setting the same saturation level to the pixels sharing the readout circuit.
  • the saturation level of each pixel in consideration of the linearity (linearity) of pixel values, random noise, and the like. For example, a value obtained by reducing the value based on the random noise amount of the luminance from the pixel value of the image obtained by exposure under the condition that the image completely saturates may be used as the saturation level of the pixel. Alternatively, pixel values at which the linearity is broken may be used as the saturation level. Of course, the saturation level may be set in consideration of both.
  • FIG. 11 is a flowchart showing an outline of the noise processing performed by the image processing apparatus 20.
  • 12A to 12C are diagrams schematically illustrating a method of determining the order of the plurality of correction processes by the noise correction unit 22.
  • FIG. 10 and 12A to 12C each correction process will be described in the case where the correction amount or the interpolation value is calculated from surrounding pixels without excluding other noises in surrounding pixels of the pixel of interest.
  • the noise correction unit 22 receives the noise information and the non-volatile memory 112 from the noise information recording unit 112 b via the second external I / F unit 21, the first external I / F unit 115, and the bus 113.
  • the RAW image data is acquired, and the plurality of correction processes are classified into a plurality of groups according to the noise level based on the acquired noise information (step S101).
  • the noise correction unit 22 performs correction processing with a large noise level based on the noise information (see table T1 in FIG. 3) acquired from the noise information recording unit 112b. Are first classified into a group to be subjected to the correction process.
  • the noise correction unit 22 classifies the plurality of correction processes into three groups (high level, middle level and low level). Furthermore, the noise correction unit 22 sets, for the three groups, an order for executing the correction process according to the noise level. Specifically, the noise correction unit 22 determines the order of the groups in which the noise level is large (group 1 ⁇ group 2 ⁇ group 3).
  • the noise correction unit 22 determines the order of the correction processing according to the reverse order of the generation order of the noise (step S102). Specifically, as shown in FIGS. 12B and 12C, the noise correction unit 22 performs correction processing in each group based on the noise information (see table T1 in FIG. 3) acquired from the noise information recording unit 112b. On the other hand, the order of the correction processing determined in the reverse order of the occurrence place where the noise occurs is determined. The reason for determining the order according to the reverse order of the generation order is that if noise is added by arithmetic operations along the signal flow, appropriate correction can be performed by performing the inverse arithmetic operations. When the order of the correction process is not determined in the processes of steps S101 and S102, the noise correction unit 22 may determine the order of the correction process based on another noise characteristic.
  • the noise correction unit 22 corrects the noise on the RAW image data in the order of the correction process determined in step S102 described above (step S103). Specifically, as shown in FIG. 13, the noise correction unit 22 applies white noise correction unit 222, low saturation pixel correction unit 225, RTS noise correction unit 223, and FD white defect correction unit 221 to RAW image data. And correction processing is executed in the order of the spectral sensitivity variation correction unit 224 to correct noise. Thus, even when a plurality of noises are generated, accurate correction can be performed, so that a high quality image can be generated. After step S103, the image processing apparatus 20 ends the present process.
  • the modification of the first embodiment has a configuration similar to that of the imaging system 1 according to the first embodiment described above, but differs in the processing performed by the image processing apparatus. Specifically, in the modification of the first embodiment, a group of correction processes for correcting noise having a small level is classified first to determine the order of the correction processes. In the following, processing executed by the image processing apparatus according to the modification of the first embodiment will be described.
  • the same components as those of the imaging system 1 according to the first embodiment described above are assigned the same reference numerals and descriptions thereof will be omitted.
  • FIG. 14 is a flowchart showing an outline of the noise processing performed by the image processing apparatus 20 according to the modification of the first embodiment.
  • 15A to 15C are diagrams schematically illustrating the determination of the order of the plurality of correction processes by the noise correction unit 22.
  • FIG. 14 and FIGS. 15A to 15C each correction process will be described for the case where the correction amount or the interpolation value is calculated from surrounding pixels excluding other noises present in the surrounding pixels of the target pixel.
  • the noise correction unit 22 receives the noise information and the non-volatile memory 112 from the noise information recording unit 112 b via the second external I / F unit 21, the first external I / F unit 115 and the bus 113.
  • the RAW image data is acquired, and the plurality of correction processes are classified into a plurality of groups according to the noise level based on the acquired noise information (step S201).
  • the noise correction unit 22 performs correction processing with a small noise level based on the noise information (see table T1 in FIG. 3) acquired from the noise information recording unit 112b. Are first classified into a group to be subjected to the correction process.
  • the noise correction unit 22 classifies a group of correction processes having a small noise level into a group to be subjected to the correction process first with respect to a plurality of correction processes.
  • Steps S202 and S203 correspond to steps S102 and S103 in FIG. 11 described above.
  • the noise correction unit 22 determines the order of the correction processing that is determined in the reverse order of the occurrence place of the noise generation with respect to the correction processing in each group (FIG. 15B ⁇ FIG. 15C). Then, as shown in FIG. 16, the noise correction unit 22 converts the RAW image data into an RTS noise correction unit 223, an FD white defect correction unit 221, a spectral sensitivity variation correction unit 224, a low saturation pixel correction unit 225, and white.
  • the correction processing is executed in the order of the scratch correction unit 222 to correct the noise.
  • the image processing apparatus 20 ends the present process.
  • the imaging system according to the second embodiment has the same configuration as the imaging system 1 according to the above-described first embodiment, and the processing executed by the image processing apparatus is different.
  • the processing executed by the image processing apparatus according to the second embodiment will be described below.
  • the same components as those of the imaging system 1 according to the first embodiment described above are assigned the same reference numerals and descriptions thereof will be omitted.
  • FIG. 17 is a flowchart showing an outline of noise processing performed by the image processing apparatus according to the second embodiment of the present invention.
  • 18A to 18C are diagrams schematically illustrating a method of determining the order of a plurality of correction processes by the noise correction unit according to Embodiment 2 of the present invention.
  • the noise correction unit 22 receives the noise information and the non-volatile memory 112 from the noise information recording unit 112 b via the second external I / F unit 21, the first external I / F unit 115, and the bus 113.
  • RAW image data is acquired, and the plurality of correction processes are classified into a plurality of groups according to the noise generation range based on the acquired noise information (step S301).
  • the noise correction unit 22 performs correction processing with a small noise generation range based on the noise information (see table T1 in FIG. 3) acquired from the noise information recording unit 112b.
  • the groups are first classified into groups to be subjected to the correction process.
  • the noise correction unit 22 determines groups of correction processes having a small noise generation range in the order in which the correction processes are performed first.
  • Steps S302 and S303 correspond to steps S102 and S103 in FIG. 12 described above, respectively.
  • the noise correction unit 22 determines the order of the correction processing that is determined in the reverse order of the occurrence place of the noise generation with respect to the correction processing in each group (FIG. 18B ⁇ FIG. 18C). Then, as shown in FIG. 19, the noise correction unit 22 applies white noise correction unit 222, low saturation pixel correction unit 225, RTS noise correction unit 223, FD white defect correction unit 221, and spectral sensitivity to the RAW image data.
  • the correction processing is executed in the order of the variation correction unit 224 to correct the noise.
  • the image processing apparatus 20 ends the present process.
  • the imaging system according to the third embodiment has the same configuration as that of the imaging system 1 according to the first embodiment described above, and the processing executed by the image processing apparatus is different.
  • the processing executed by the image processing apparatus according to the third embodiment will be described below.
  • the same components as those of the imaging system 1 according to the first embodiment described above are assigned the same reference numerals and descriptions thereof will be omitted.
  • FIG. 20 is a flowchart showing an outline of noise processing performed by the image processing apparatus according to the third embodiment of the present invention.
  • 21A to 21C are diagrams schematically illustrating a method of determining the order of a plurality of correction processes by the noise correction unit according to the third embodiment of the present invention.
  • the noise correction unit 22 transmits the noise information and the non-volatile memory 112 from the noise information recording unit 112 b via the second external I / F unit 21, the first external I / F unit 115 and the bus 113.
  • RAW image data is acquired, and based on the acquired noise information, a plurality of correction processes are classified into a plurality of groups according to the presence or absence of detection at the time of correction (step S401).
  • the noise correction unit 22 detects and does not detect at the time of correction.
  • Classification is made into groups, and groups having detection at the time of correction are classified into groups to be subjected to correction processing first.
  • the detection operation is performed based on the image data captured under the conditions optimal for the detection of each noise in the factory shipment value, and noise information (position and noise level) is acquired. For this reason, this method is effective because noise to be corrected is not detected and it is unlikely that noise will be generated in a new pixel later.
  • the noise to be corrected by the method with detection may be generated at the time of correction because noise may be generated later in a new pixel, so these noises also need to be corrected. While correction method is effective.
  • the noise correction unit 22 when correcting the target noise in any of the corrections, the noise correction unit 22 also corrects in consideration of other noise positional information acquired at the time of factory shipment whether there is other noise in the surrounding pixels. In this case, the noise correction unit 22 can correct the plurality of noises without being affected by the noise generated later by performing the correction processing having the detection first.
  • Step S402 corresponds to step S102 of FIG. 12 described above. Specifically, the noise correction unit 22 determines the order according to the reverse order of the generation order for the correction process in each group (FIG. 21B). After step S402, the image processing apparatus 20 proceeds to step S403.
  • the noise correction unit 22 determines the order so that the correction process in which on / off of the correction is switched under a specific condition is performed at the rear (step S403). Specifically, the noise correction unit 22 determines the order so that the low saturation pixel correction process is performed after the spectral sensitivity variation correction process (FIG. 21B ⁇ FIG. 21C).
  • the low saturation pixel correction process performs correction in a high brightness scene in which the pixel value is near saturation, but does not perform correction in the case of low or middle brightness.
  • the correction process on the rear side takes account of the on / off of the correction, the process becomes complicated and the scale of the process may be increased. Therefore, it is preferable that the correction process in which the on / off of the correction is switched depending on the specific condition be performed at the rear.
  • the noise correction unit 22 corrects the noise in the order of the correction processing determined in step S403 described above (step S404). Specifically, as shown in FIG. 22, the noise correction unit 22 performs an FD white scratch correction unit 221, a white scratch correction unit 222, an RTS noise correction unit 223, and a spectral sensitivity variation correction unit 224 on the RAW image data. Then, correction processing is performed in the order of the low saturation pixel correction unit 225 to correct noise. Thus, even when a plurality of noises are generated, accurate correction can be performed, so that a high quality image can be generated.
  • the noise correction unit 22 when similar noise similar to the noise to be corrected in the correction process performed in the subsequent stage is generated as a result of the correction process performed in the former stage, the noise correction unit 22 generates the similar noise. It may be made to correct by the correction process of the latter stage including other noises. Specifically, the noise correction unit 22 changes the noise to a noise similar to the low saturation pixel when the white defect correction processing is performed when the low saturation pixel is present around the white defect. Correction is performed in the correction processing to be performed.
  • an image pickup apparatus for photographing an object through an optical apparatus such as a portable device provided with an image pickup element in a mobile phone or smart phone, a video camera, an endoscope, a surveillance camera, or a microscope
  • an optical apparatus such as a portable device provided with an image pickup element in a mobile phone or smart phone, a video camera, an endoscope, a surveillance camera, or a microscope
  • the present invention can be applied to any device capable of capturing an object, such as a device.
  • the method of each process by the image processing apparatus in the embodiment described above can be recorded as a program that can be executed by a control unit such as a CPU.
  • a control unit such as a CPU
  • memory cards ROM cards, RAM cards, etc.
  • magnetic disks floppy disks (registered trademark), hard disks, etc.
  • optical disks CD-ROM, DVD, etc.
  • storage in external storage devices such as semiconductor memory etc.
  • a control unit such as a CPU can read the program stored in the storage medium of the external storage device, and can execute the above-described processing by controlling the operation by the read program.
  • the present invention is not limited to the above-described embodiment and modification as it is, and at the implementation stage, the constituent elements can be modified and embodied without departing from the scope of the invention.
  • various inventions can be formed by appropriately combining a plurality of components disclosed in the above-described embodiment. For example, some components may be deleted from all the components described in the above-described embodiment and modifications. Furthermore, the components described in the embodiments and the modifications may be combined as appropriate.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

画像データに複数のノイズが発生する場合において、誤った補正処理の順序による画質の劣化を防止するとともに、高画質な画像を実現することができる画像処理装置、画像処理方法およびプログラムを提供する。画像処理装置２０は、複数のノイズの特性と、光が画素において受光されて画素値として読み出されて出力されるまでの過程と、に応じて定まる順序で複数の補正処理を実行するノイズ補正部２２を備える。

Description

画像処理装置、画像処理方法およびプログラム
　本発明は、複数の画素を有する撮像素子に生じるノイズを補正する画像処理装置、画像処理方法およびプログラムに関する。
　従来、撮像装置に用いられる撮像素子によって生成された画像データに対し、撮像素子の使用条件によって発生する混色やランダムノイズを補正する技術が知られている（特許文献１参照）。この技術では、混色を補正する混色補正処理と、ランダムノイズを低減するランダムノイズ補正処理と、を最適な処理順序で行うことによって、画質の劣化を防止する。
特許第５４２５３４３号公報
　ところで、画像データに含まれる様々なノイズの中には、例えば、画素を構成するフォトダイオードにおける過度な暗電流に起因するノイズ（白傷、または画素欠陥）、カラーフィルタの透過率のばらつきに起因するノイズ（分光感度ばらつきノイズ、または感度ばらつきノイズ）、および画素から信号を読み出す読み出し回路の不良に起因するノイズ（ＲＴＳノイズ、または点滅欠陥）等がある。このため、上述した特許文献１のように混色とランダムノイズを補正しただけでは、十分な画質を実現することができないという問題点があった。
　また、発生しうる複数のノイズそれぞれに応じた複数の補正処理を行ったとしても、無作為の順序で複数の補正処理を行った場合、それぞれの補正処理による影響を考慮していないため、却って画質が劣化してしまうという問題点があった。
　本発明は、上記に鑑みてなされたものであって、画像データに複数のノイズが発生する場合において、誤った補正処理の順序による画質の劣化を防止するとともに、高画質な画像を実現することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、光を受光して、受光量に応じた信号を生成する複数の画素と、各画素の前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子によって生成された画像データに含まれる、互いに特性が異なる複数のノイズそれぞれを補正する複数の補正処理を実行可能な画像処理装置であって、前記複数のノイズの特性と、前記光が前記画素において受光されて前記画素値として読み出されて出力されるまでの過程と、に応じて定まる順序で前記複数の補正処理を実行するノイズ補正部を備えることを特徴とする。
　また、本発明に係る画像処理装置は、上記発明において、前記ノイズ補正部は、前記複数のノイズの特性に基づいて、前記複数の補正処理を複数のグループに分類し、該複数のグループと前記過程とに応じて定まる順序で前記複数の補正処理を実行することを特徴とする。
　また、本発明に係る画像処理装置は、上記発明において、前記複数のノイズは、前記画素の受光面に設けられた光学系、前記画素および前記読み出し回路のいずれかにおいて発生するノイズであり、前記ノイズ補正部は、前記複数のグループそれぞれに含まれる前記複数の補正処理を、前記過程においてノイズの発生順の逆順で定まる順序で実行することを特徴とする。
　また、本発明に係る画像処理装置は、上記発明において、前記ノイズ補正部は、前記複数のグループそれぞれに含まれる前記複数の補正処理を、前記ノイズのノイズレベルに応じて定まる順序で実行することを特徴とする。
　また、本発明に係る画像処理装置は、上記発明において、前記ノイズ補正部は、前記複数のグループそれぞれに含まれる前記複数の補正処理を、前記ノイズの発生する範囲に応じて定まる順序で実行することを特徴とする。
　また、本発明に係る画像処理装置は、上記発明において、前記ノイズ補正部は、前記複数のグループそれぞれに含まれる前記複数の補正処理を、特定条件によって補正内容が切り替わる補正処理の順序を他の補正処理より後段にして実行することを特徴とする。
　また、本発明に係る画像処理装置は、上記発明において、前記ノイズ補正部は、前段で実行した補正処理の結果、後段で実行する補正処理で補正するノイズに類似する類似ノイズを生じさせた場合、該類似ノイズを他のノイズを含め後段の補正処理によって補正することを特徴とする。
　また、本発明に係る画像処理装置は、上記発明において、前記複数の補正処理は、前記画像データを用いて前記ノイズを検出しながら補正する補正処理を含み、前記ノイズ補正部は、前記ノイズを検出しながら補正する検出有のグループと、それ以外の検出無のグループとに分類するとともに、前記検出有のグループおよび前記検出無のグループの順序で前記複数の補正処理を実行することを特徴とする。
　また、本発明に係る画像処理装置は、上記発明において、前記ノイズ補正部は、前記複数の補正処理それぞれが補正する前記ノイズのレベルに応じて、前記複数の補正処理を前記複数のグループに分類するとともに、前記ノイズのレベルが大きいグループの順序で前記複数の補正処理を実行することを特徴とする。
　また、本発明に係る画像処理装置は、上記発明において、前記ノイズ補正部は、前記複数の補正処理それぞれが補正する前記ノイズの発生する発生範囲に応じて、前記複数の補正処理を前記複数のグループに分類するとともに、前記発生範囲が小さいグループの順序で前記複数の補正処理を実行することを特徴とする。
　また、本発明に係る画像処理装置は、上記発明において、前記複数のノイズそれぞれに関するノイズ情報を記録するノイズ情報記録部をさらに備えることを特徴とする。
　また、本発明に係る画像処理方法は、光を受光して、受光量に応じた信号を生成する複数の画素と、各画素の前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子によって生成された画像データに含まれる、互いに特性が異なる複数のノイズを補正する複数の補正処理を実行可能な画像処理装置が実行する画像処理方法であって、前記複数のノイズの特性と、前記光が前記画素において受光されて前記画素値として読み出されて出力されるまでの過程と、に応じて定まる補正処理の順序で前記複数の補正処理を実行するノイズ補正ステップを含むことを特徴とする。
　また、本発明に係るプログラムは、光を受光して、受光量に応じた信号を生成する複数の画素と、各画素の前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子によって生成された画像データに含まれる、互いに特性が異なる複数のノイズを補正する複数の補正処理を実行可能な画像処理装置に、前記複数のノイズの特性と、前記光が前記画素において受光されて前記画素値として読み出されて出力されるまでの過程と、に応じて定まる順序で前記複数の補正処理を実行するノイズ補正ステップを実行させることを特徴とする。
　本発明によれば、画像データに複数のノイズが発生する場合において、誤った補正処理の順序による画質の劣化を防止するとともに、高画質な画像を実現することができるという効果を奏する。
図１は、本発明の実施の形態１に係る撮像システムの構成を模式的に示すブロック図である。 図２は、本発明の実施の形態１に係る撮像素子の要部の構成を模式的に示す概略図である。 図３は、本発明の実施の形態１に係る撮像素子に発生する各ノイズの特性の一例を示す図である。 図４は、本発明の実施の形態１に係る撮像素子における読み出し回路に起因するＦＤ白傷の発生例を模式的に示す図である。 図５は、本発明の実施の形態１に係る撮像素子における白傷の発生例を模式的に示す図である。 図６は、本発明の実施の形態１に係る撮像素子におけるＲＴＳノイズの発生例を模式的に示す図である。 図７は、本発明の実施の形態１に係る撮像素子における分光感度ばらつきの発生例を模式的に示す図である。 図８は、本発明の実施の形態１に係る撮像素子における欠陥画素と低飽和画素の発生例を模式的に示す図である。 図９は、本発明の実施の形態１に係るノイズ情報記録部が記録するノイズ情報に含まれる低飽和画素情報の一例を模式的に示す図である。 図１０は、本発明の実施の形態１に係るノイズ情報記録部が記録するノイズ情報に含まれる低飽和画素情報の一例を模式的に示す図である。 図１１は、本発明の実施の形態１に係る画像処理装置が実行するノイズ処理の概要を示すフローチャートである。 図１２Ａは、本発明の実施の形態１に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。 図１２Ｂは、本発明の実施の形態１に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。 図１２Ｃは、本発明の実施の形態１に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。 図１３は、本発明の実施の形態１に係るノイズ補正部の構成を模式的に示す図である。 図１４は、本発明の実施の形態１の変形例に係る画像処理装置が実行するノイズ処理の概要を示すフローチャートである。 図１５Ａは、本発明の実施の形態１の変形例に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。 図１５Ｂは、本発明の実施の形態１の変形例に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。 図１５Ｃは、本発明の実施の形態１の変形例に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。 図１６は、本発明の実施の形態１の変形例に係るノイズ補正部の構成を模式的に示す図である。 図１７は、本発明の実施の形態２に係る画像処理装置が実行するノイズ処理の概要を示すフローチャートである。 図１８Ａは、本発明の実施の形態２に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。 図１８Ｂは、本発明の実施の形態２に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。 図１８Ｃは、本発明の実施の形態２に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。 図１９は、本発明の実施の形態２に係るノイズ補正部の構成を模式的に示す図である。 図２０は、本発明の実施の形態３に係る画像処理装置が実行するノイズ処理の概要を示すフローチャートである。 図２１Ａは、本発明の実施の形態３に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。 図２１Ｂは、本発明の実施の形態３に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。 図２１Ｃは、本発明の実施の形態３に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。 図２２は、本発明の実施の形態３に係るノイズ補正部の構成を模式的に示す図である。
　以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。
（実施の形態１）
　〔撮像システムの構成〕
　図１は、本発明の実施の形態１に係る撮像システムの構成を模式的に示すブロック図である。図１に示す撮像システム１は、撮像装置１０と、画像処理装置２０と、表示装置３０と、を備える。
　〔撮像装置の構成〕
　まず、撮像装置１０の構成について説明する。撮像装置１０は、図１に示すように、光学系１０１と、絞り１０２と、シャッタ１０３と、ドライバ１０４と、撮像素子１０５と、アナログ処理部１０６と、Ａ／Ｄ変換部１０７と、操作部１０８と、メモリＩ／Ｆ部１０９と、記録媒体１１０と、揮発メモリ１１１と、不揮発メモリ１１２と、バス１１３と、撮像制御部１１４と、第１外部Ｉ／Ｆ部１１５と、を備える。
　光学系１０１は、複数のレンズを用いて構成される。光学系１０１は、例えばフォーカスレンズとズームレンズとを用いて構成される。
　絞り１０２は、光学系１０１が集光した光の入射量を制限することで露出の調整を行う。絞り１０２は、撮像制御部１１４の制御のもと、光学系１０１が集光した光の入射量を制限する。
　シャッタ１０３は、撮像素子１０５の状態を露光状態または遮光状態に設定する。シャッタ１０３は、例えばフォーカルプレーンシャッタ等を用いて構成される。
　ドライバ１０４は、後述する撮像制御部１１４の制御のもと、光学系１０１、絞り１０２およびシャッタ１０３を駆動する。例えば、ドライバ１０４は、光学系１０１を光軸Ｏ１に沿って移動させることによって、撮像装置１０のズーム倍率の変更またはピント位置の調整を行う。
　撮像素子１０５は、後述する撮像制御部１１４の制御のもと、光学系１０１が集光した光を受光して画像データ（電気信号）に変換して出力する。撮像素子１０５は、複数の画素が二次元状に配置されたＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）等を用いて構成される。この各画素の前面には、ベイヤー配列のＲＧＢフィルタが配置されている。なお、撮像素子１０５は、ベイヤー配列に限定されず、例えばＦｏｖｉｏｎのような積層型の形式でも勿論かまわない。また、用いるフィルタはＲＧＢに限定されず、補色フィルタ等任意のフィルタを適用できる。また、別途、異なるカラー光を時分割で照射可能な光源を配置し、撮像素子１０５には、フィルタを配置せず、照射する色を変更しながら順次取り込んだ画像を使用してカラー画像を構成できるようにしてもよい。
　ここで、撮像素子１０５の構成について詳細に説明する。図２は、撮像素子１０５の要部の構成を模式的に示す概略図である。なお、図２に示す撮像素子１０５は、画素の開口率向上により感度を向上させるため、複数の画素で読み出し回路を共有している例を示す。以下において、撮像素子１０５は、水平方向（横方向）に２画素×垂直方向（縦方向）に４画素の８画素に対して、１つの読み出し回路が配置されているものを一例として説明する。また、撮像素子１０５上には、上述した画素および読み出し回路が、水平方向および垂直方向に並んで配置されているものとする。さらに、撮像素子１０５には、読み出し回路を共有している複数の画素（共有ブロック）が複数配置されているものとする。
　図２に示すように、撮像素子１０５は、光を集光するマイクロレンズ１０５ａと、互いに異なる分光透過率を有する複数のフィルタを用いて所定の配列パターンを形成してなるカラーフィルタ１０５ｂと、マイクロレンズ１０５ａおよびカラーフィルタ１０５ｂを透過した光を受光し、光電変換を行うことによって、露光量に対応した電荷を発生する複数の画素１０５ｃ（フォトダイオード）と、複数の画素１０５ｃの各々に設けられ、撮像制御部１１４の制御に応じて開閉する第１スイッチ１０５ｄと、複数の画素１０５ｃの各々から出力された信号（電荷）を転送する転送線１０５ｅと、複数の画素１０５ｃの各々から出力された信号を蓄積するＦＤ部１０５ｆ（Floating　Diffusion）と、ＦＤ部１０５ｆから出力された信号を増幅するアンプ部１０５ｇと、撮像制御部１１４の制御に応じて開閉する第２スイッチ１０５ｈと、第２スイッチ１０５ｈを制御する制御線１０５ｉと、アンプ部１０５ｇで増幅された電気信号を転送する転送線１０５ｊと、を備える。また、カラーフィルタ１０５ｂは、緑色の波長帯域の光を透過する２つのＧフィルタと、赤色の波長帯域の光を透過するＲフィルタと、青色の波長帯域の光を透過するＢフィルタとを用いてベイヤー配列によって形成されてなる。
　このように構成された撮像素子１０５は、矢印Ａに示すように、画素１０５ｃにおける露光量に対応する信号を画素値として読み出す場合、まず、ＦＤ部１０５ｆをリセット状態にして、撮像制御部１１４が第１スイッチ１０５ｄ（１）のみをオンとすることで、画素１０５ｃ（１）に発生した電荷をＦＤ部１０５ｆに転送する。その後、撮像素子１０５は、撮像制御部１１４が第２スイッチ１０５ｈをオンとすることで、ＦＤ部１０５ｆに蓄積された電荷をアンプ部１０５ｇによって増幅させて画素値として読み出す（出力する）。次に、撮像素子１０５は、ＦＤ部１０５ｆをリセット状態にして、撮像制御部１１４が第１スイッチ１０５ｄ（２）のみをオンとすることで、画素１０５ｃ（２）に発生した電荷をＦＤ部１０５ｆに転送する。その後、撮像素子１０５は、撮像制御部１１４が第２スイッチ１０５ｈをオンとすることで、ＦＤ部１０５ｆに蓄積された電荷をアンプ部１０５ｇによって増幅させて画素値として読み出す。撮像素子１０５は、このような読み出し動作を順次行うことによって、各画素１０５ｃにおける露光量に対応する信号を順次画素値として出力することができる。なお、本実施の形態１では、ＦＤ部１０５ｆ以降が複数の画素１０５ｃの各々から電荷または画素値を読み出す読み出し回路として機能する。
　図１に戻り、撮像装置１０の構成の説明を続ける。
　アナログ処理部１０６は、撮像素子１０５から入力されるアナログ信号に対して、所定のアナログ処理を施してＡ／Ｄ変換部１０７へ出力する。具体的には、アナログ処理部１０６は、撮像素子１０５から入力されるアナログ信号に対して、ノイズ低減処理およびゲインアップ処理等を行う。例えば、アナログ処理部１０６は、アナログ信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップ処理を行う。
　Ａ／Ｄ変換部１０７は、アナログ処理部１０６から入力されるアナログ信号に対して、Ａ／Ｄ変換を行うことによってデジタルの画像データ（以下、「ＲＡＷ画像データ」という）を生成し、バス１１３を介して揮発メモリ１１１に出力する。なお、Ａ／Ｄ変換部１０７は、後述する撮像装置１０の各部に対してＲＡＷ画像データを直接出力するようにしてもよい。なお、上述したアナログ処理部１０６とＡ／Ｄ変換部１０７を撮像素子１０５に設け、撮像素子１０５がデジタルのＲＡＷ画像データを直接出力するようにしても良い。
　操作部１０８は、撮像装置１０の各種の指示を与える。具体的には、操作部１０８は、撮像装置１０の電源状態をオン状態またはオフ状態に切り替える電源スイッチ、静止画撮影の指示を与えるレリーズスイッチ、撮像装置１０の各種設定を切り替える操作スイッチおよび動画撮影の指示を与える動画スイッチ等を有する。
　記録媒体１１０は、撮像装置１０の外部から装着されるメモリカードを用いて構成され、メモリＩ／Ｆ部１０９を介して撮像装置１０に着脱自在に装着される。また、記録媒体１１０は、撮像制御部１１４の制御のもと、メモリＩ／Ｆ部１０９を介してプログラムおよび各種情報それぞれを不揮発メモリ１１２に出力してもよい。
　揮発メモリ１１１は、バス１１３を介してＡ／Ｄ変換部１０７から入力される画像データを一時的に記憶する。例えば、揮発メモリ１１１は、アナログ処理部１０６、Ａ／Ｄ変換部１０７およびバス１１３を介して、撮像素子１０５が１フレーム毎に順次出力する画像データを一時的に記憶する。揮発メモリ１１１は、ＳＤＲＡＭ（Synchronous　Dynamic　Random　Access　Memory）等を用いて構成される。
　不揮発メモリ１１２は、Ｆｌａｓｈメモリ等を用いて構成される。撮像装置１０を動作させるための各種プログラム、プログラムの実行中に使用される各種データを記録する。また、不揮発メモリ１１２は、プログラム記録部１１２ａと、撮像素子１０５における各種ノイズに関するノイズ情報を記録するノイズ情報記録部１１２ｂを有する。ノイズ情報には、ＲＴＳノイズ情報、分光感度ばらつき情報、欠陥画素情報、低飽和画素情報が含まれる。
　ここで、ＲＴＳノイズ情報には、撮像素子１０５におけるＲＴＳノイズのＲＴＳノイズ位置情報、レベル情報およびランダムノイズモデルが含まれる。
　分光感度ばらつき情報には、撮像素子１０５を構成する複数の画素の各々の分光感度のばらつきを補正するための補正係数が含まれる。なお、ＲＴＳノイズ情報に対して、ばらつきが大きい一部の画素に対する補正係数のみを保持（含めるようにしてもよい。）するようにしても良い。また、分光感度のばらつきとは、撮像素子１０５を構成する複数の画素の各々の受光面に設けられた光学系による製造過程によって生じるノイズである。ここで、光学系とは、画素の受光面に設けられるマイクロレンズ、各種フィルタ（例えばカラーフィルタ、赤外カットフィルタおよびローパスフィルタ等）である。
　欠陥画素情報には、撮像素子１０５における画素の位置に応じた欠陥画素の位置情報（位置情報は、画素値を読み出す読み出し回路（アンプ部１０５ｇの位置情報）または欠陥画素が生じる画素の位置情報のいずれか一方または両方を含む）およびレベル情報を含む。なお、欠陥画素情報に、ＦＤ白傷および白傷に関する情報を含めてもよい。
　低飽和画素情報には、撮像素子１０５における画素の位置に応じた低飽和画素の位置情報（位置情報は、画素値を読み出す読み出し回路（アンプ部１０５ｇの位置情報）または低飽和画素が生じる画素の位置情報のいずれか一方または両方を含む）およびレベル情報を含む。なお、いずれのノイズ情報についてもレベル情報はなくてもよい。
　バス１１３は、撮像装置１０の各構成部位を接続する伝送路等を用いて構成され、撮像装置１０の内部で発生した各種データを撮像装置１０の各構成部位に転送する。
　撮像制御部１１４は、ＣＰＵ（Central　Processing　Unit）等を用いて構成され、操作部１０８からの指示信号やレリーズ信号に応じて撮像装置１０を構成する各部に対する指示やデータの転送等を行って撮像装置１０の動作を統括的に制御する。例えば、撮像制御部１１４は、操作部１０８からセカンドレリーズ信号が入力された場合、撮像装置１０における撮影動作を開始する制御を行う。ここで、撮像装置１０における撮影動作とは、撮像素子１０５が出力した画像データに対し、アナログ処理部１０６およびＡ／Ｄ変換部１０７が所定の処理を施す動作をいう。このように処理が施された画像データは、撮像制御部１１４の制御のもと、バス１１３およびメモリＩ／Ｆ部１０９を介して記録媒体１１０に記録される。
　第１外部Ｉ／Ｆ部１１５は、バス１１３を介して外部の機器から入力される情報を不揮発メモリ１１２または揮発メモリ１１１へ出力する一方、バス１１３を介して外部の機器へ揮発メモリ１１１が記録する情報、不揮発メモリ１１２が記録する情報および撮像素子１０５が生成した画像データを出力する。具体的には、第１外部Ｉ／Ｆ部１１５は、バス１１３を介して画像処理装置２０に撮像素子１０５が生成した画像データを出力する。
　〔画像処理装置の構成〕
　次に、画像処理装置２０の構成について説明する。画像処理装置２０は、第２外部Ｉ／Ｆ部２１と、ノイズ補正部２２と、画像処理部２３と、を備える。
　第２外部Ｉ／Ｆ部２１は、撮像装置１０の第１外部Ｉ／Ｆ部１１５を介して撮像素子１０５によって生成されたＲＡＷ画像データを取得し、取得したＲＡＷ画像データをノイズ補正部２２へ出力する。また、第２外部Ｉ／Ｆ部２１は、撮像装置１０の第１外部Ｉ／Ｆ部１１５を介して不揮発メモリ１１２のノイズ情報記録部１１２ｂが記録するノイズ情報を取得し、取得したノイズ情報をノイズ補正部２２へ出力する。
　ノイズ補正部２２は、第２外部Ｉ／Ｆ部２１から入力されたＲＡＷ画像データに対して、ノイズを補正するノイズ補正処理を行って画像処理部２３へ出力する。具体的には、ノイズ補正部２２は、複数のノイズの特性と、光がフィルタ１０５ｂを透過し、画素１０５ｃにおいて受光されて画素値として読み出されて出力されるまでの過程（図２の矢印Ａを参照）と、に応じて定まる順序で複数の補正処理を実行することによって、ＲＡＷ画像データに発生する複数のノイズを補正して画像処理部２３へ出力する。ノイズ補正部２２は、ＦＤ白傷補正部２２１と、白傷補正部２２２と、ＲＴＳノイズ補正部２２３と、分光感度ばらつき補正部２２４と、低飽和画素補正部２２５と、を有する。
　ＦＤ白傷補正部２２１は、第２外部Ｉ／Ｆ部２１が取得したＲＡＷ画像データに対して、ＦＤの不良に起因するＦＤ白傷を補正して出力する。ＦＤ白傷補正部２２１は、欠陥ブロック検出部２２１ａと、欠陥ブロック補正部２２１ｂと、を有する。
　欠陥ブロック検出部２２１ａは、第２外部Ｉ／Ｆ部２１が取得したＲＡＷ画像データに基づいて、読み出し回路を共有する複数の画素からなる共有ブロック内における画素の画素値と、この共有ブロック外における画素の画素値とを用いて、共有ブロック内で生じる画素値のオフセット成分を検出し、この検出結果を欠陥ブロック補正部２２１ｂへ出力する。具体的には、欠陥ブロック検出部２２１ａは、共有ブロック内における画素の画素値と、この共有ブロック内における画素に隣接する共有ブロック外における画素の画素値との差に基づいて、共有ブロック内で生じる画素値のオフセット成分を検出する。なお、欠陥ブロック検出部２２１ａは、第２外部Ｉ／Ｆ部２１が取得したＲＡＷ画像データに基づいて、共有ブロック内における画素の画素値と、この共有ブロック外における画素の画素値とを用いて、ＦＤ白傷が生じる共有ブロック（欠陥ブロック）の位置を検出し、この検出結果を欠陥ブロック補正部２２１ｂへ出力してもよい。
　欠陥ブロック補正部２２１ｂは、欠陥ブロック検出部２２１ａが検出したオフセット成分に基づいて、共有ブロック内における画素の画素値を補正する補正量を算出し、この補正量を用いて共有ブロック内における画素の画素値を補正して出力する。
　白傷補正部２２２は、第２外部Ｉ／Ｆ部２１が取得したＲＡＷ画像データに対して、ＰＤの不良に起因する白傷を補正して出力する。具体的には、白傷補正部２２２は、ＲＡＷ画像データに対し、ノイズ情報記録部１１２ｂが記録するノイズ情報に含まれる白傷の位置情報に基づいて、白傷の周辺画素の画素値を用いて補正する白傷補正処理を実行して出力する。白傷補正部２２２は、欠陥画素検出部２２２ａと、欠陥画素補正部２２２ｂと、を有する。なお、白傷補正部２２２は、周知の技術（例えば特許第４４５３３３２号公報を参照）を用いて白傷補正処理を実行してもよい。
　欠陥画素検出部２２２ａは、ノイズ情報記録部１１２ｂが記録するノイズ情報に基づいて、ＲＡＷ画像データの欠陥画素を検出して欠陥画素補正部２２２ｂへ出力する。例えば、欠陥画素検出部２２２ａは、ノイズ情報記録部１１２ｂが記録するノイズ情報に含まれる白傷の位置情報に基づいて、ＲＡＷ画像データの欠陥画素を検出して欠陥画素補正部２２２ｂへ出力する。なお、欠陥画素検出部２２２ａは、周知の技術を用いて欠陥画素を検出してもよい。
　欠陥画素補正部２２２ｂは、欠陥画素検出部２２２ａが検出した欠陥画素の画素値を補正して出力する。
　ＲＴＳノイズ補正部２２３は、撮像装置１０の不揮発メモリ１１２のノイズ情報記録部１１２ｂに記録されているノイズ情報に含まれるＲＴＳノイズ情報に基づいて、ＲＡＷ画像データに対してＲＴＳノイズを補正するＲＴＳノイズ補正処理を行って出力する。ＲＴＳノイズ補正部２２３は、ＲＴＳノイズ画素判定部２２３ａと、候補値算出部２２３ｂと、代表値算出部２２３ｃと、ランダムノイズ量推定部２２３ｄと、補正値算出部２２３ｅと、を有する。なお、ＲＴＳノイズ補正部２２３は、周囲の技術（例えば特開２０１２－１０５０６３号公報を参照）を用いて、ＲＴＳノイズ補正処理を実行してもよい。
　ＲＴＳノイズ画素判定部２２３ａは、撮像装置１０のノイズ情報記録部１１２ｂに記録されているノイズ情報を、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介して取得し、取得したＲＡＷ画像上の画素においてＲＴＳノイズが発生するか否かを判定し、判定結果を候補値算出部２２３ｂおよび代表値算出部２２３ｃへ出力する。具体的には、ＲＴＳノイズ画素判定部２２３ａに対して画素の位置を入力されると、その画素に対応するＲＴＳノイズ情報が撮像装置１０のノイズ情報記録部１１２ｂに記録されているか判定し、記録されていればＲＴＳノイズ情報（ＲＴＳノイズが有りを示す情報）を出力する一方、撮像装置１０のノイズ情報記録部１１２ｂに記録されていなければ、ＲＴＳノイズが発生しない画素と見なし、ＲＴＳノイズ情報を出力しない。
　候補値算出部２２３ｂは、注目画素のＲＡＷ画像における画素値と、ＲＴＳノイズ画素判定部２２３ａの判定結果とに基づいて、ＲＴＳノイズ画素判定部２２３ａによって注目画素においてＲＴＳノイズが発生すると判定されている場合、注目画素の画素値に対する補正量の候補値を複数算出し、注目画素のＲＡＷ画像における画素値と、算出した複数の候補値を代表値算出部２２３ｃ、ランダムノイズ量推定部２２３ｄおよび補正値算出部２２３ｅそれぞれへ出力する。
　代表値算出部２２３ｃは、ＲＴＳノイズ画素判定部２２３ａによって注目画素においてＲＴＳノイズが発生すると判定されている場合には、注目画素における周囲の少なくともＲＴＳノイズ画素判定部２２３ａによってＲＴＳノイズが発生しないと判定されている画素と、後述するランダムノイズ量推定部２２３ｄが算出した注目画素に対応するランダムノイズ量の参照値とに基づいて、ＲＴＳノイズが発生しない場合の画素値に相当する代表値を算出する。代表値算出部２２３ｃは、注目画素のＲＡＷ画像における画素値と、複数の候補値と、上述で算出した代表値と、を補正値算出部２２３ｅへ出力する。
　ランダムノイズ量推定部２２３ｄは、撮像装置１０のノイズ情報記録部１１２ｂが記録するノイズ情報に含まれるランダムノイズモデルに基づいて、画素値に対応するランダムノイズ量を推定し、推定結果を代表値算出部２２３ｃへ出力する。即ち、ランダムノイズ量推定部２２３ｄに対して画素値を入力すると、その画素値に対応するランダムノイズ量が出力される。
　補正値算出部２２３ｅは、ＲＴＳノイズ画素判定部２２３ａによって注目画素においてＲＴＳノイズが発生する可能性がある画素と判定されている場合、候補値算出部２２３ｂが算出した複数の候補値に基づいて、注目画素の画素値を補正する。具体的には、補正値算出部２２３ｅは、注目画素のＲＡＷ画像における画素値と、候補値算出部２２３ｂによって算出された複数の候補値と、代表値算出部２２３ｃによって算出された代表値と、に基づいて、ＲＴＳノイズを補正した画素値を算出して出力する。より具体的には、補正値算出部２２３ｅは、候補値算出部２２３ｂが算出した複数の候補値の中から、代表値算出部２２３ｃが算出した代表値に補正結果が最も近くなるような候補値に基づいて、注目画素の画素値を補正して出力する。これに対して、補正値算出部２２３ｅは、ＲＴＳノイズ画素判定部２２３ａによって注目画素においてＲＴＳノイズが発生しない画素と判定されている場合、注目画素のＲＡＷ画像における画素値をそのまま出力する。
　分光感度ばらつき補正部２２４は、撮像装置１０の不揮発メモリ１１２のノイズ情報記録部１１２ｂに記録されているノイズ情報に基づいて、ＲＡＷ画像に対して各フィルタの分光感度のばらつきを補正する分光感度ばらつき補正処理を行って出力する。分光感度ばらつき補正部２２４は、補正量算出部２２４ａと、画素値補正部２２４ｂと、を有する。
　補正量算出部２２４ａは、ノイズ情報記録部１１２ｂが記録する注目画素における補正係数と注目画素における周囲の画素の画素値とに基づいて、注目画素の画素値を補正するための補正量を算出して出力する。また、補正量算出部２２４ａは、注目画素と周囲の画素の画素値に基づいて、注目画素の画素値を補正するための補正量を算出する。ここで、周囲の画素とは、注目画素に隣接する画素または注目画素の近傍に位置する画素である。また、注目画素に隣接する画素とは、注目画素を基準に左右上下方向に位置する画素である。さらに、注目画素の近傍に位置する画素とは、注目画素を基準に斜め方向に位置する画素、または、注目画素と同色で最も注目画素に近い画素である。
　画素値補正部２２４ｂは、補正量算出部２２４ａが算出した補正量を用いて注目画素の画素値を補正して出力する。
　低飽和画素補正部２２５は、ノイズ情報記録部１１２ｂが記録するノイズ情報に基づいて、低飽和画素を補正する低飽和画素補正処理を行って出力する。
　画像処理部２３は、ノイズ補正部２２によってノイズが補正された画像データに対して、所定の画像処理を行って表示装置３０へ出力する。ここで、所定の画像処理とは、少なくとも、オプティカルブラック減算処理、ホワイトバランス調整処理、撮像素子がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理、ノイズ低減処理等を含む基本の画像処理を行う。また、画像処理部２３は、予め設定された各画像処理のパラメータに基づいて、自然な画像を再現する画像処理を行う。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。
　〔表示装置の構成〕
　次に、表示装置３０の構成について説明する。表示装置３０は、画像処理装置２０から入力される画像データに対応する画像を表示する。表示装置３０は、液晶または有機ＥＬ（Electro　Luminescence）等の表示パネル等を用いて構成される。
　以上の構成を有する撮像システム１は、画像処理装置２０が撮像素子１０５によって生成されたＲＡＷ画像データのノイズを補正し、表示装置３０が画像処理装置２０によって画像処理が施された画像データに対応する画像を表示する。
　〔各ノイズの特性〕
　次に、撮像素子１０５に発生する各ノイズの特性について説明する。図３は、各ノイズの特性の一覧を示す図である。
　図３に示すように、表Ｔ１には、ノイズ名とノイズ特性とが対応付けてられて記載されている。具体的には、表Ｔ１には、ノイズ名に、ＦＤ白傷、白傷、ＲＴＳノイズ、分光感度ばらつき、および低飽和画素の５つのノイズが記載されている。また、表Ｔ１には、各ノイズに対し、発生箇所、ノイズのレベル、発生範囲、補正時の検出有無、および特定条件によって補正内容が切り替わる補正オン／オフ切替に関する情報が対応付けられて記載されている。
　ここで、発生箇所とは、ノイズの発生原因となる撮像素子１０５の箇所である。ノイズのレベルとは、ノイズによって生じる画素値の正常値からのずれ量の大きさである。発生範囲とは、ノイズが発生した場合にノイズの影響を受ける画素範囲の大きさである（最小単位）。補正時の検出有無とは、補正時にノイズの発生画素を検出しながら補正することを示す情報（検出有）および補正時にノイズの発生画素を検出せずに補正することを示す情報（検出無）のいずれかが記載された情報である。補正オン／オフ切替とは、特定条件によって補正内容を切り替えるか否かを示す情報である。なお、図３では、上述した５つのノイズを例に説明するが、もちろん、５つ以外のノイズ、例えば黒傷等も含めてもよい。さらに、図３の表Ｔ１の特性は、一例であり、撮像素子１０５の特性によって変更してもよい。
　〔各ノイズの発生例〕
　次に、各ノイズの発生例について説明する。以下においては、図３に示す表Ｔ１の順番に各ノイズの発生例について説明する。
　〔ＦＤ白傷〕
　まず、撮像素子１０５におけるＦＤの不良に起因するＦＤ白傷の発生例について説明する。図４は、撮像素子１０５におけるＦＤの不良に起因するＦＤ白傷の発生例を模式的に示す図である。図４において、上述した図２と同様に、横方向に２画素×縦方向に４画素の８画素に対して、１つの読み出し回路で信号を読み出す共有ブロックの場合を示す。また、図４において、細線Ｌ１で形成された正方形が各画素を示し、この白色の正方形が正常な画素Ｐ１を示す。さらに、図４において、太線Ｌ２の枠Ｇ１が正常値を出力する共有ブロックを示し、斜線が施された画素Ｐ２を含むグループＧ２が読み出し回路の一部であるＦＤの不良によってノイズが発生するＦＤ白傷（欠陥ブロック）を示す。
　図４に示すように、ＦＤ白傷は、不良のＦＤを含む読み出し回路の場合、この読み出し回路を介して読み出される各画素の画素値が周囲の画素値より一律に高くなったり、または一律に低くなったりする異常な共有ブロック、または画素である。このため、ＦＤ白傷が発生している画素Ｐ２の画素値は、正常値に対して一定のオフセット量が加算された値を出力する。なお、共有ブロック内の画素であれば、オフセット量は、同等である。
　〔白傷〕
　次に、撮像素子１０５に発生する白傷の発生例について説明する。図５は、撮像素子１０５における白傷の発生例を模式的に示す図である。図５において、ハッチングを施した画素Ｐ３が白傷または黒傷のいずれかの欠陥画素を示す。
　図５に示すように、白傷（画素Ｐ３）は、正常な画素Ｐ１の画素値に対して、一定のレベル分だけ画素値が高くなる現象である。そのレベルは、露光時間、温度およびゲインによって変化する。また、黒傷は、白傷と逆に正常な画素Ｐ１の画素値に対して、一定のレベル分だけ画素値が低くなる現象である。
　〔ＲＴＳノイズ〕
　次に、撮像素子１０５に発生するＲＴＳノイズの発生例について説明する。図６は、撮像素子１０５におけるＲＴＳノイズの発生例を模式的に示す図である。図６において、上述した図２と同様に、横方向に２画素×縦方向に４画素の８画素に対して、１つの読み出し回路で信号を読み出す共有ブロックの場合を示す。また、図６において、細線Ｌ１で形成された正方形が各画素を示し、この白色の正方形が正常な画素Ｐ１を示す。さらに、図６において、太線Ｌ２の枠Ｇ１が正常値を出力する共有ブロックを示し、斜線が施された画素Ｐ４のグループＧ４が欠陥ブロックを示す。
　図６に示すように、ＲＴＳノイズが発生する画素Ｐ４は、ランダムな周期で点滅する。なお、共有ブロック内の画素であれば、最大のオフセット量は、同等である。
　〔分光感度ばらつき〕
　次に、撮像素子１０５に発生する分光感度ばらつきの発生例について説明する。図７は、撮像素子１０５における分光感度ばらつきの発生例を模式的に示す図である。図７においては、ハッチングによって感度不良な画素Ｐ５（黒点や輝点）を示す。なお、正常な画像Ｐ１であっても、微小な分光感度ばらつきが発生する。
　図７に示すように、画素Ｐ５は、正常な画素Ｐ１に対して、光に対する感度が著しく高くなる、または感度が著しく低くなる現象である。このため、分光感度ばらつきは、正常な画素Ｐ１との感度との差が大きい画素を対象とする。なお、感度不良画素は、分光感度ばらつきと同様に、感度に差が生じる現象であるため、分光感度ばらつき補正処理によって補正してもよい。
　〔低飽和画素〕
　次に、撮像素子１０５に発生する低飽和画素の発生例について説明する。図８は、撮像素子における欠陥画素と低飽和画素の発生例を模式的に示す図である。図８において、画素Ｐ６（ハッチあり）が白傷や黒傷等の欠陥画素を示し、画素Ｐ７（ハッチあり）が低飽和画素を示す。
　図８に示すように、画素Ｐ７は、正常な画素Ｐ１に対して、コントラストがなく明るい平坦な被写体を撮像した場合であっても、他の画素の画素値が最大値（例えば１２ビットの場合、４０９５）に達しているにも関わらず、最大値に達しない画素値が現れる現象である。
　図９は、ノイズ情報記録部１１２ｂが記録するノイズ情報に含まれる低飽和画素情報の一例を模式的に示す図である。図１０は、ノイズ情報に含まれる低飽和画素情報の一例を模式的に示す図である。また、図９において、画素Ｐ１０、画素Ｐ１１が低飽和画素を示す。
　図８～図１０に示すように、低飽和画素情報には、画素毎の位置情報と、検出装置等によって予め検出された飽和レベルとが関連付けられて記録されている。この記録方法としては、撮像素子１０５によって生成されたＲＡＷ画像データにおける複数の画素の各々に飽和レベルが設定された飽和レベルマップを取得する方法（図９を参照）と、低飽和画素の座標（アドレス）と飽和レベルとを関連付けて取得する方法（図１０を参照）とがある。低飽和画素の座標（アドレス）と飽和レベルとを関連付けて取得する方法を行う場合、低飽和画素は、その座標と飽和レベルと、低飽和画素以外の画素の飽和レベルを記録し、飽和レベルを参照する座標が記録されている場合には対応する飽和レベルを用いる一方、飽和レベルを参照する座標が記録されていない場合には低飽和画素以外の画素の飽和レベルを用いる。ただし、低飽和画素ではない画素については、十分に飽和する場合、画素値の最大値（例えば１２ビットの場合、４０９５）を飽和レベルとしてもよい。
　なお、図９および図１０では、画素の位置に対応するように飽和レベルを記録したが、読み出し回路の一部が起因して飽和レベルが下がる場合には、読み出し回路の位置に対応するように飽和レベルを記録しても良い（勿論、図９および図１０で示した方法で飽和レベルを記録しても良い）。その場合、記録されている情報を読み出した後、読み出し回路を共有する画素に対して同じ飽和レベルにするなど、画素単位の飽和レベルに変換した情報を低飽和画素情報とすればよい。
　また、各画素の飽和レベルについては、画素値の線形性（リニアティ）とランダムノイズ等を考慮して決定することが望ましい。例えば、完全に飽和するような条件で露光して得られる画像の画素値から、その輝度のランダムノイズ量に基づく値だけ下げた値を、その画素の飽和レベルとしてもよい。また、線形性が崩れる画素値を飽和レベルとしてもよい。もちろん、両方を考慮して飽和レベルを設定してもよい。
　〔画像処理装置の処理〕
　次に、画像処理装置２０が実行する処理について説明する。図１１は、画像処理装置２０が実行するノイズ処理の概要を示すフローチャートである。図１２Ａ～図１２Ｃは、ノイズ補正部２２による複数の補正処理の順序の決定方法を模式的に説明する図である。また、図１１および図１２Ａ～図１２Ｃにおいて、各補正処理は、注目画素の周囲画素にある他ノイズを除外せずに、周囲画素から補正量または補間値を算出する場合について説明する。
　図１１に示すように、まず、ノイズ補正部２２は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介してノイズ情報記録部１１２ｂからノイズ情報と不揮発メモリ１１２からＲＡＷ画像データとを取得し、取得したノイズ情報に基づいて、複数の補正処理をノイズのレベルに応じて、複数のグループに分類する（ステップＳ１０１）。具体的には、図１２Ａに示すように、ノイズ補正部２２は、ノイズ情報記録部１１２ｂから取得したノイズ情報（図３の表Ｔ１を参照）に基づいて、ノイズのレベルが大きい補正処理のグループを先に補正処理を実施するグループに分類する。その理由は、対象ノイズを周囲画素にある他ノイズを除外せずに、補正量または補間値を算出する場合において、対象ノイズに対してノイズのレベルが大きいノイズが周囲画素に存在するとき、補正量または補間値が理想値からのずれ量が大きくなることによって不適正な値となり、誤補正となる恐れがある一方、対象ノイズに対してノイズのレベルが小さいノイズが周囲にある場合、補正量または補間値が理想値からのずれ量が小さいからである。このため、図１２Ａに示すように、ノイズ補正部２２は、複数の補正処理を３つのグループに分類する（レベル大、レベル中およびレベル小）。さらに、ノイズ補正部２２は、３つのグループに対して、ノイズのレベルに応じて補正処理を実行するための順序を設定する。具体的には、ノイズ補正部２２は、ノイズのレベルが大きいグループの順に順序を決定する（グループ１→グループ２→グループ３）。
　続いて、ノイズ補正部２２は、各グループ内の補正処理に対し、ノイズの発生順序の逆順に応じて補正処理の順序を決定する（ステップＳ１０２）。具体的には、図１２Ｂおよび図１２Ｃに示すように、ノイズ補正部２２は、ノイズ情報記録部１１２ｂから取得したノイズ情報（図３の表Ｔ１を参照）に基づいて、各グループ内の補正処理に対し、ノイズが発生する発生箇所の逆順で定まる補正処理の順序を決定する。発生順序の逆順に応じた順序に決定する理由は、信号の流れに沿って四則演算によりノイズが付加された場合、逆の四則演算を行うことによって適正な補正を行うことができるからである。なお、ノイズ補正部２２は、ステップＳ１０１およびステップＳ１０２の処理で補正処理の順序が決定しない場合、別のノイズ特性に基づいて、補正処理の順序を決定してもよい。
　その後、ノイズ補正部２２は、ＲＡＷ画像データに対して、上述したステップＳ１０２で決定した補正処理の順序でノイズを補正する（ステップＳ１０３）。具体的には、図１３に示すように、ノイズ補正部２２は、ＲＡＷ画像データに対して、白傷補正部２２２、低飽和画素補正部２２５、ＲＴＳノイズ補正部２２３、ＦＤ白傷補正部２２１および分光感度ばらつき補正部２２４の順序で補正処理を実行させてノイズを補正する。これにより、複数のノイズが発生する場合においても、精度の高い補正を行うことができるので、高画質な画像を生成することができる。ステップＳ１０３の後、画像処理装置２０は、本処理を終了する。
　以上説明した本発明の実施の形態１によれば、画像データに複数のノイズが発生する場合において、誤った補正処理の順序による画質の劣化を防止するとともに、高画質な画像を実現することができる。
（実施の形態１の変形例）
　次に、本発明の実施の形態１の変形例について説明する。本実施の形態１の変形例は、上述した実施の形態１に係る撮像システム１と同様の構成を有し、画像処理装置が実行する処理が異なる。具体的には、本実施の形態１の変形例では、レベルが小さいノイズを補正する補正処理のグループを先に分類して補正処理の順序を決定する。以下においては、本実施の形態１の変形例に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。
　〔画像処理装置の処理〕
　図１４は、本実施の形態１の変形例に係る画像処理装置２０が実行するノイズ処理の概要を示すフローチャートである。図１５Ａ～図１５Ｃは、ノイズ補正部２２による複数の補正処理の順序の決定を模式的に説明する図である。また、図１４および図１５Ａ～図１５Ｃにおいて、各補正処理は、注目画素の周囲画素にある他ノイズを除外して、周囲画素から補正量または補間値を算出する場合について説明する。
　図１４に示すように、まず、ノイズ補正部２２は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介してノイズ情報記録部１１２ｂからノイズ情報と不揮発メモリ１１２からＲＡＷ画像データとを取得し、取得したノイズ情報に基づいて、ノイズのレベルに応じて、複数の補正処理を複数のグループに分類する（ステップＳ２０１）。具体的には、図１５Ａに示すように、ノイズ補正部２２は、ノイズ情報記録部１１２ｂから取得したノイズ情報（図３の表Ｔ１を参照）に基づいて、ノイズのレベルが小さい補正処理のグループを先に補正処理を実施するグループに分類する。その理由は、対象ノイズを周囲画素にある他ノイズを除外して補正量または補間値を算出する場合、他ノイズのレベルが大きい方がノイズであることが容易に検出することができ、適切に除外することができるからである。このため、ノイズ補正部２２は、図１５Ａに示すように、複数の補正処理に対し、ノイズのレベルが小さい補正処理のグループを先に補正処理を実施するグループに分類する。
　ステップＳ２０２およびステップＳ２０３は、上述した図１１のステップＳ１０２およびステップＳ１０３それぞれに対応する。具体的には、ノイズ補正部２２は、各グループ内の補正処理に対し、ノイズが発生する発生箇所の逆順で定まる補正処理の順序を決定する（図１５Ｂ→図１５Ｃ）。そして、図１６に示すように、ノイズ補正部２２は、ＲＡＷ画像データに対して、ＲＴＳノイズ補正部２２３、ＦＤ白傷補正部２２１、分光感度ばらつき補正部２２４、低飽和画素補正部２２５および白傷補正部２２２の順序に、それぞれ補正処理を実行させてノイズを補正する。ステップＳ２０３の後、画像処理装置２０は、本処理を終了する。
　以上説明した本発明の実施の形態１の変形例によれば、画像データに複数のノイズが発生する場合において、誤った補正処理の順序による画質の劣化を防止するとともに、高画質な画像を実現することができる。
（実施の形態２）
　次に、本発明の実施の形態２について説明する。本実施の形態２に係る撮像システムは、上述した実施の形態１に係る撮像システム１と同一の構成を有し、画像処理装置が実行する処理が異なる。以下において、本実施の形態２に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。
　〔画像処理装置の処理〕
　図１７は、本発明の実施の形態２に係る画像処理装置が実行するノイズ処理の概要を示すフローチャートである。図１８Ａ～図１８Ｃは、本発明の実施の形態２に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。
　図１７に示すように、まず、ノイズ補正部２２は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介してノイズ情報記録部１１２ｂからノイズ情報と不揮発メモリ１１２からＲＡＷ画像データとを取得し、取得したノイズ情報に基づいて、複数の補正処理をノイズの発生範囲に応じて複数のグループに分類する（ステップＳ３０１）。具体的には、図１８Ａに示すように、ノイズ補正部２２は、ノイズ情報記録部１１２ｂから取得したノイズ情報（図３の表Ｔ１を参照）に基づいて、ノイズの発生範囲が小さい補正処理のグループを先に補正処理を実施するグループに分類する。この理由は、いずれの補正も周囲画素に基づいて補正を行うため、補正の結果、補正した画素の画素値にＬＰＦ処理を施した値に近づく傾向がある。この結果、発生範囲が広いノイズの補正処理から実施した場合、周囲画素にあるノイズを拡大させる恐れがある。このため、ノイズ補正部２２は、ノイズの発生範囲が小さい補正処理のグループを先に補正処理を実施する順序に決定する。
　ステップＳ３０２およびステップＳ３０３は、上述した図１２のステップＳ１０２およびステップＳ１０３それぞれに対応する。具体的には、ノイズ補正部２２は、各グループ内の補正処理に対し、ノイズが発生する発生箇所の逆順で定まる補正処理の順序を決定する（図１８Ｂ→図１８Ｃ）。そして、図１９に示すように、ノイズ補正部２２は、ＲＡＷ画像データに対して、白傷補正部２２２、低飽和画素補正部２２５、ＲＴＳノイズ補正部２２３、ＦＤ白傷補正部２２１および分光感度ばらつき補正部２２４の順序で、それぞれ補正処理を実行させてノイズを補正する。ステップＳ３０３の後、画像処理装置２０は、本処理を終了する。
　以上説明した本発明の実施の形態２によれば、画像データに複数のノイズが発生する場合において、誤った補正処理の順序による画質の劣化を防止するとともに、高画質な画像を実現することができる。
（実施の形態３）
　次に、本発明の実施の形態３について説明する。本実施の形態３に係る撮像システムは、上述した実施の形態１に係る撮像システム１と同一の構成を有し、画像処理装置が実行する処理が異なる。以下において、本実施の形態３に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。
　〔画像処理装置の処理〕
　図２０は、本発明の実施の形態３に係る画像処理装置が実行するノイズ処理の概要を示すフローチャートである。図２１Ａ～図２１Ｃは、本発明の実施の形態３に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。
　図２０に示すように、まず、ノイズ補正部２２は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介してノイズ情報記録部１１２ｂからノイズ情報と不揮発メモリ１１２からＲＡＷ画像データとを取得し、取得したノイズ情報に基づいて、複数の補正処理を補正時の検出有無に応じて複数のグループに分類する（ステップＳ４０１）。具体的には、図２１Ａに示すように、ノイズ補正部２２は、ノイズ情報記録部１１２ｂから取得したノイズ情報（図３の表Ｔ１を参照）に基づいて、補正時の検出有と検出無のグループに分類し、補正時の検出有のグループを先に補正処理を実施するグループに分類する。検出無の補正においては、工場出荷値に各ノイズの検出に最適な条件で撮影された画像データに基づき検出作業が行われ、ノイズ情報（位置およびノイズのレベル）が取得される。このため、補正するノイズは、検出無の補正で、後発的に新たな画素でノイズが発生することが考えにくいため、この方法が有効となる。これに対して、検出有の方法で補正するノイズは、後発的に新たな画素でノイズが発生することがあるため、それらのノイズに対しても補正される必要があるので、補正時に検出しながら補正する方法が有効となる。また、ノイズ補正部２２は、いずれの補正も対象ノイズを補正する場合、周囲画素に他ノイズがあるか工場出荷時に取得した他ノイズの位置情報も考慮して補正する。この場合、ノイズ補正部２２は、検出有の補正処理を先に実施することで、後発的に生じたノイズの影響を受けず、複数のノイズを補正することができる。
　ステップＳ４０２は、上述した図１２のステップＳ１０２に対応する。具体的には、ノイズ補正部２２は、各グループ内の補正処理に対し、発生順序の逆順に応じた順序を決定する（図２１Ｂ）。ステップＳ４０２の後、画像処理装置２０は、ステップＳ４０３へ移行する。
　続いて、ノイズ補正部２２は、ノイズ情報に基づいて、補正のオン／オフが特定条件で切り替わる補正処理を後方で実施されるように順序を決定する（ステップＳ４０３）。具体的には、ノイズ補正部２２は、低飽和画素補正処理が分光感度ばらつき補正処理より後で実施されるように順序を決定する（図２１Ｂ→図２１Ｃ）。低飽和画素補正処理は、画素値が飽和付近の高輝度なシーンにおいて補正を実施する一方、低または中輝度の場合、補正を実施しない。このように特定条件によって補正のオン／オフが切り替わる場合、低飽和画素処理より後方で実施する補正処理は、補正のオン／オフを考慮して補正することが望ましい。この場合、後方の補正処理は、補正のオン／オフを考慮するため、処理が複雑となり、処理規模が大きくなる恐れがある。従って、特定条件によって補正のオン／オフが切り替わる補正処理は、後方で実施することが好ましい。
　その後、ノイズ補正部２２は、上述したステップＳ４０３で決定した補正処理の順序でノイズを補正する（ステップＳ４０４）。具体的には、図２２に示すように、ノイズ補正部２２は、ＲＡＷ画像データに対して、ＦＤ白傷補正部２２１、白傷補正部２２２、ＲＴＳノイズ補正部２２３、分光感度ばらつき補正部２２４および低飽和画素補正部２２５の順序で補正処理を実行させてノイズを補正する。これにより、複数のノイズが発生する場合においても、精度の高い補正を行うことができるので、高画質な画像を生成することができる。
　以上説明した本発明の実施の形態３によれば、画像データに複数のノイズが発生する場合において、誤った補正処理の順序による画質の劣化を防止するとともに、高画質な画像を実現することができる。
　なお、本発明の実施の形態３では、前段で実行した補正処理の結果、後段で実行する補正処理で補正するノイズに類似する類似ノイズを生じさせた場合、ノイズ補正部２２は、類似ノイズを他のノイズを含め後段の補正処理によって補正するようにしてもよい。具体的には、ノイズ補正部２２は、白傷の周囲に低飽和画素があった場合、白傷補正処理を行った場合、白傷が低飽和画素に類似したノイズに変化するため、後段で行う補正処理において補正する。
（その他の実施の形態）
　本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、本発明の説明に用いた撮像装置以外にも、携帯電話やスマートフォンにおける撮像素子を備えた携帯機器、ビデオカメラ、内視鏡、監視カメラ、顕微鏡のような光学機器を通して被写体を撮影する撮像装置等、被写体を撮像可能ないずれの機器にも適用できる。
　また、本明細書において、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」、「続いて」、「その後」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
　また、上述した実施形態における画像処理装置による各処理の手法、即ち、各フローチャートに示す処理は、いずれもＣＰＵ等の制御部に実行させることができるプログラムとして記録させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク（登録商標）、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ等の制御部は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
　また、本発明は、上述した実施の形態および変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上述した実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態および変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、各実施例および変形例で説明した構成要素を適宜組み合わせてもよい。
　また、明細書または図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書または図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
　１　撮像システム
　１０　撮像装置
　２０　画像処理装置
　２１　第２外部Ｉ／Ｆ部
　２２　ノイズ補正部
　２３　画像処理部
　３０　表示装置
　１０１　光学系
　１０２　絞り
　１０３　シャッタ
　１０４　ドライバ
　１０５　撮像素子
　１０５ａ　マイクロレンズ
　１０５ｂ　カラーフィルタ
　１０５ｃ　画素
　１０５ｄ　第１スイッチ
　１０５ｅ　垂直転送線
　１０５ｆ　ＦＤ部
　１０５ｈ　第２スイッチ
　１０５ｉ　制御線
　１０５ｊ　転送線
　１０６　アナログ処理部
　１０７　Ａ／Ｄ変換部
　１０８　操作部
　１０９　メモリＩ／Ｆ部
　１１０　記録媒体
　１１１　揮発メモリ
　１１２　不揮発メモリ
　１１２ａ　プログラム記録部
　１１２ｂ　ノイズ情報記録部
　１１３　バス
　１１４　撮像制御部
　１１５　第１外部Ｉ／Ｆ部
　２２１　ＦＤ白傷補正部
　２２１ａ　欠陥ブロック検出部
　２２１ｂ　欠陥ブロック補正部
　２２２　　白傷補正部
　２２３　　ＲＴＳノイズ補正部
　２２３ａ　ＲＴＳノイズ画素判定部
　２２３ｂ　候補値算出部
　２２３ｃ　代表値算出部
　２２３ｄ　ランダムノイズ量推定部
　２２３ｅ　補正値算出部
　２２４　　分光感度ばらつき補正部
　２２４ａ　補正量算出部
　２２４ｂ　画素値補正部
　２２５　　低飽和画素補正部

Claims (13)

  1. 　光を受光して、受光量に応じた信号を生成する複数の画素と、各画素の前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子によって生成された画像データに含まれる、互いに特性が異なる複数のノイズそれぞれを補正する複数の補正処理を実行可能な画像処理装置であって、
    　前記複数のノイズの特性と、前記光が前記画素において受光されて前記画素値として読み出されて出力されるまでの過程と、に応じて定まる順序で前記複数の補正処理を実行するノイズ補正部を備えることを特徴とする画像処理装置。
  2. 　前記ノイズ補正部は、前記複数のノイズの特性に基づいて、前記複数の補正処理を複数のグループに分類し、該複数のグループと前記過程とに応じて定まる順序で前記複数の補正処理を実行することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記複数のノイズは、前記画素の受光面に設けられた光学系、前記画素および前記読み出し回路のいずれかにおいて発生するノイズであり、
    　前記ノイズ補正部は、前記複数のグループそれぞれに含まれる前記複数の補正処理を、前記過程においてノイズの発生順の逆順で定まる順序で実行することを特徴とする請求項２に記載の画像処理装置。
  4. 　前記ノイズ補正部は、前記複数のグループそれぞれに含まれる前記複数の補正処理を、前記ノイズのノイズレベルに応じて定まる順序で実行することを特徴とする請求項２に記載の画像処理装置。
  5. 　前記ノイズ補正部は、前記複数のグループそれぞれに含まれる前記複数の補正処理を、前記ノイズの発生する範囲に応じて定まる順序で実行することを特徴とする請求項２に記載の画像処理装置。
  6. 　前記ノイズ補正部は、前記複数のグループそれぞれに含まれる前記複数の補正処理を、特定条件によって補正内容が切り替わる補正処理の順序を他の補正処理より後段にして実行することを特徴とする請求項２に記載の画像処理装置。
  7. 　前記ノイズ補正部は、前段で実行した補正処理の結果、後段で実行する補正処理で補正するノイズに類似する類似ノイズを生じさせた場合、該類似ノイズを他のノイズを含め後段の補正処理によって補正することを特徴とする請求項２に記載の画像処理装置。
  8. 　前記複数の補正処理は、前記画像データを用いて前記ノイズを検出しながら補正する補正処理を含み、
    　前記ノイズ補正部は、
    　前記ノイズを検出しながら補正する検出有のグループと、それ以外の検出無のグループとに分類するとともに、
    　前記検出有のグループおよび前記検出無のグループの順序で前記複数の補正処理を実行することを特徴とする請求項２に記載の画像処理装置。
  9. 　前記ノイズ補正部は、
    　前記複数の補正処理それぞれが補正する前記ノイズのレベルに応じて、前記複数の補正処理を前記複数のグループに分類するとともに、
    　前記ノイズのレベルが大きいグループの順序で前記複数の補正処理を実行することを特徴とする請求項２に記載の画像処理装置。
  10. 　前記ノイズ補正部は、
    　前記複数の補正処理それぞれが補正する前記ノイズの発生する発生範囲に応じて、前記複数の補正処理を前記複数のグループに分類するとともに、
    　前記発生範囲が小さいグループの順序で前記複数の補正処理を実行することを特徴とする請求項２に記載の画像処理装置。
  11. 　前記複数のノイズそれぞれに関するノイズ情報を記録するノイズ情報記録部をさらに備えることを特徴とする請求項１～１０のいずれか１つに記載の画像処理装置。
  12. 　光を受光して、受光量に応じた信号を生成する複数の画素と、各画素の前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子によって生成された画像データに含まれる、互いに特性が異なる複数のノイズを補正する複数の補正処理を実行可能な画像処理装置が実行する画像処理方法であって、
    　前記複数のノイズの特性と、前記光が前記画素において受光されて前記画素値として読み出されて出力されるまでの過程と、に応じて定まる補正処理の順序で前記複数の補正処理を実行するノイズ補正ステップを含むことを特徴とする画像処理方法。
  13. 　光を受光して、受光量に応じた信号を生成する複数の画素と、各画素の前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子によって生成された画像データに含まれる、互いに特性が異なる複数のノイズを補正する複数の補正処理を実行可能な画像処理装置に、
    　前記複数のノイズの特性と、前記光が前記画素において受光されて前記画素値として読み出されて出力されるまでの過程と、に応じて定まる順序で前記複数の補正処理を実行するノイズ補正ステップを実行させることを特徴とするプログラム。
PCT/JP2016/072640 2016-08-02 2016-08-02 画像処理装置、画像処理方法およびプログラム WO2018025323A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2016/072640 WO2018025323A1 (ja) 2016-08-02 2016-08-02 画像処理装置、画像処理方法およびプログラム
CN201680088002.8A CN109565556B (zh) 2016-08-02 2016-08-02 图像处理装置、图像处理方法和存储介质
JP2018531010A JP6762365B2 (ja) 2016-08-02 2016-08-02 画像処理装置、画像処理方法およびプログラム
US16/260,196 US10630924B2 (en) 2016-08-02 2019-01-29 Image processing apparatus, image processing method, and non-transitory computer readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/072640 WO2018025323A1 (ja) 2016-08-02 2016-08-02 画像処理装置、画像処理方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/260,196 Continuation US10630924B2 (en) 2016-08-02 2019-01-29 Image processing apparatus, image processing method, and non-transitory computer readable recording medium

Publications (1)

Publication Number Publication Date
WO2018025323A1 true WO2018025323A1 (ja) 2018-02-08

Family

ID=61073347

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/072640 WO2018025323A1 (ja) 2016-08-02 2016-08-02 画像処理装置、画像処理方法およびプログラム

Country Status (4)

Country Link
US (1) US10630924B2 (ja)
JP (1) JP6762365B2 (ja)
CN (1) CN109565556B (ja)
WO (1) WO2018025323A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109565558B (zh) * 2016-07-29 2021-03-26 奥林巴斯株式会社 图像处理装置、图像处理方法和存储介质
CN109479100B (zh) * 2016-07-29 2021-02-09 奥林巴斯株式会社 图像处理装置、图像处理方法和程序
TWI698129B (zh) * 2019-03-08 2020-07-01 瑞昱半導體股份有限公司 影像處理方法及其電子裝置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003333435A (ja) * 2002-03-08 2003-11-21 Canon Inc 補正処理装置、撮像装置、補正処理方法、補正処理コンピュータプログラム
WO2006043563A1 (ja) * 2004-10-22 2006-04-27 Sanyo Electric Co., Ltd ノイズ除去装置
JP2011059911A (ja) * 2009-09-09 2011-03-24 Renesas Electronics Corp 画像処理装置
JP2015072583A (ja) * 2013-10-02 2015-04-16 オリンパス株式会社 画像処理装置、画像処理方法、および撮像装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7301572B2 (en) 2002-03-08 2007-11-27 Canon Kabushiki Kaisha Pixel correction processing apparatus, image processing apparatus, pixel correction processing method, program, and storage medium
JP5425343B2 (ja) 2011-06-30 2014-02-26 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
JP5887303B2 (ja) * 2013-06-19 2016-03-16 株式会社 日立産業制御ソリューションズ 画像信号処理装置，撮像装置および画像処理プログラム
US9648265B2 (en) * 2014-04-29 2017-05-09 Semiconductor Components Industries, Llc Imaging systems and methods for mitigating pixel data quantization error
CN105787902B (zh) * 2016-03-22 2018-11-27 天津大学 利用分块排序检测噪声的图像降噪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003333435A (ja) * 2002-03-08 2003-11-21 Canon Inc 補正処理装置、撮像装置、補正処理方法、補正処理コンピュータプログラム
WO2006043563A1 (ja) * 2004-10-22 2006-04-27 Sanyo Electric Co., Ltd ノイズ除去装置
JP2011059911A (ja) * 2009-09-09 2011-03-24 Renesas Electronics Corp 画像処理装置
JP2015072583A (ja) * 2013-10-02 2015-04-16 オリンパス株式会社 画像処理装置、画像処理方法、および撮像装置

Also Published As

Publication number Publication date
US20190174081A1 (en) 2019-06-06
CN109565556B (zh) 2021-02-09
JPWO2018025323A1 (ja) 2019-05-23
JP6762365B2 (ja) 2020-09-30
US10630924B2 (en) 2020-04-21
CN109565556A (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
US8634002B2 (en) Image processing device and method for image correction
US10630920B2 (en) Image processing apparatus
JP6227084B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP5526014B2 (ja) 撮像装置
TWI524781B (zh) 信號處理裝置及信號處理方法、固態攝像裝置、電子資訊機器、信號處理程式以及電腦可讀取儲存媒體
JP2008113236A (ja) 撮像装置におけるシェーディング補正方法と装置
US10630924B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable recording medium
JP2015069180A (ja) カメラシステム及び焦点検出画素の補正方法
US10623674B2 (en) Image processing device, image processing method and computer readable recording medium
JP4977541B2 (ja) ディジタル・カメラおよびその動作制御方法
US20180115728A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium
US20210218911A1 (en) Image capturing apparatus and control method thereof
US10791289B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable recording medium
JP2012029194A (ja) 電子カメラおよび露出制御プログラム
US10063767B2 (en) Image pickup device and image pickup apparatus including image pixels and phase difference pixels having basic arrangement pattern of filters
JP5950552B2 (ja) 撮像装置、及び撮像装置の制御方法
JP5121498B2 (ja) 撮像装置及び画像データの補正方法
JP2011041039A (ja) 撮像装置およびプログラム
WO2018020685A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP5404217B2 (ja) 撮像装置及びその制御方法
WO2015182021A1 (ja) 撮像制御装置、撮像装置および撮像制御方法
JP6904560B2 (ja) 信号処理装置
JP2024000839A (ja) 撮像装置および画像処理方法
JP2018151422A (ja) 焦点検出装置
JP2017041738A (ja) 固体撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16911584

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018531010

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16911584

Country of ref document: EP

Kind code of ref document: A1