WO2009014051A1 - 映像処理装置および映像処理プログラム - Google Patents

映像処理装置および映像処理プログラム Download PDF

Info

Publication number
WO2009014051A1
WO2009014051A1 PCT/JP2008/062872 JP2008062872W WO2009014051A1 WO 2009014051 A1 WO2009014051 A1 WO 2009014051A1 JP 2008062872 W JP2008062872 W JP 2008062872W WO 2009014051 A1 WO2009014051 A1 WO 2009014051A1
Authority
WO
WIPO (PCT)
Prior art keywords
noise
color
signal
unit
luminance
Prior art date
Application number
PCT/JP2008/062872
Other languages
English (en)
French (fr)
Inventor
Takao Tsuruoka
Original Assignee
Olympus Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corporation filed Critical Olympus Corporation
Publication of WO2009014051A1 publication Critical patent/WO2009014051A1/ja
Priority to US12/690,332 priority Critical patent/US8223226B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Definitions

  • the present invention relates to placement of random noise caused by an imaging system, and in particular, the color noise component can be made highly accurate by enhancing the color noise amount related to the color noise.
  • An image signal obtained from an imaging system including an imaging ladder, an analog circuit attached thereto, an AZD converter, etc. generally contains a noise component.
  • the above noise components can be fixed pattern noise and random noise; ⁇ SIJ.
  • Fixed pattern noise is noise mainly caused by an imaging element represented by a defective pixel or the like.
  • random noise is generated by the imaging sensor circuit and is close to white noise and has special characteristics.
  • an elephant signal is separated into a luminance signal and a color difficulty, and an edge is determined from the luminance signal and the color difficulty.
  • a method of performing the ossification process in the area other than the edge part, and the color f is disclosed.
  • an elephant signal is separated into a luminance signal and a color code, and the amount of noise noise and the amount of color noise are estimated in predetermined area units. place An example of doing business is disclosed. This makes possible: 5 noises per region.
  • a motion component is detected from a video signal, and a signal that has been dispersed based on the detected motion component.
  • Limit values and;) controlling the ⁇ coefficient are disclosed. This makes it possible to perform noise reduction processing in which side effects such as afterimage caused by motion components are suppressed.
  • JP-A JP-A
  • the purpose is to obtain a high-quality image signal by applying a colored noise
  • the location according to an aspect of the present invention is taken from the shooting position
  • An analysis unit that noises an elephant signal, separates a ttflSI ⁇ elephant signal into a luminance signal and a color signal, and then extracts an area of a predetermined size, and Based on the luminance signal of the area extracted by the And Daikazari calculation unit for calculating a, based on the color signals of ⁇ region, and Er representative hue calculation unit that calculates a representative eye value of his own region, ⁇ & ⁇ 5 generations 2 1 4 1
  • Color noise estimation for removing the amount of color noise based on the representative ⁇ value calculated by the 3 ⁇ 4 ⁇ degree calculation unit and the representative hue value calculated by the l & t's own representative fef eye calculation unit; tfifB color noise Based on the color noise amount estimated by estimation, the color noise is resolved by providing color noise processing to the color signal of the dislike region.
  • the position of IJ H is a position where noise ⁇ ⁇ is applied to a 53 ⁇ f image signal taken in time series from the image
  • the image signal of ⁇ IJ is a luminance signal and a color
  • the luminance signal of the divided portion that separates into the signal and sequentially extracts the region of a predetermined size, and the luminance signal of the region extracted by the divided portion, the representative luminance value of the shaded region Calculated by the substitution degree calculation unit that calculates the value of t, and the generation phase calculation unit that calculates representative eye values of the self-region based on the color signal of the tfit self-region, and the self-expression calculation unit
  • the color noise estimation for estimating the amount of color noise, the color signal of the above-mentioned region
  • the signal calculation unit that calculates the signal from the color signal of the past region where the corresponding noise processing was performed, and tin self-color noise estimation ⁇ Based on the representative luminance value and the representative hue value calculated by the representative hue calculation unit, the color noise estimation for
  • a program according to another aspect of the present invention is a program for performing noise processing on an image signal captured from a camera, and separating the ttlf signal into a luminance signal and a color signal.
  • a logic program is an S wave processing program that performs noise processing on a video signal captured in time series from shooting, and includes a luminance signal and a color signal of the S motion signal.
  • the delivery step which separates into areas and sequentially extracts areas of a predetermined size, and in the above difficult step!
  • the representative calculation step Based on the luminance signal of the extracted region, the representative calculation step of calculating the representative luminance value of the self region, and the representative hue value of the self region based on the color signal of the knitting region
  • the color noise estimation step for estimating the amount of color noise based on the representative calculation step of calculating the color noise, the representative luminance value and the lift self representative eye value, and the color signal and the color space of the color region.
  • the color brightness is estimated by obtaining a representative luminance value and a tabular hue value for each area of a predetermined size, and the color noise is calculated based on the estimated color noise. Because it does, it is possible to do high precision color noise «w. Brief description of the drawings
  • FIG. 1 is a diagram for explaining a configuration of a projector in the first embodiment.
  • FIG. 2A is a diagram showing a configuration of a ⁇ ya Ml ⁇ color filter.
  • 8 062872 1 6-FIG. 2B is an explanatory diagram regarding separation of luminance signal / color signal and extraction of IS area.
  • FIG. 3 is a diagram for explaining four hue regions.
  • Fig. 4 is a block diagram of color noise estimation.
  • FIG. 5A is a diagram showing a system of color noise amount which is equal to the signal level.
  • FIG. 5B is a diagram plotting the amount of color noise in four hue regions of 45 °, 135 °, 225 °, and 315 °.
  • FIG. 5C is a diagram for explaining the simplicity of the color noise model.
  • FIG. 5D is a diagram showing the amount of color noise CN S calculated from the simplified color noise model
  • Fig. 6 is a block diagram of the color noise estimation of the ⁇ I avoidance component.
  • Figure 7 is a block diagram of color noise ifi ⁇ .
  • FIG. 8A is a view showing an example of another configuration of the color noise.
  • Fig. 8 ⁇ shows an example of filter coefficients that are conflicted with the relation ROM.
  • Figure 8 C is a diagram showing an example of the relationship between the color noise amount CN S and filter ⁇ Type.
  • Figure 9 is a block diagram of noise estimation.
  • FIG. 10 is a block diagram of luminance noise estimation; of ⁇ ij configuration.
  • Figure 11 is a block diagram of the luminance noise IS ⁇ .
  • Figure 12 is a diagram of the luminance noise in the ⁇ IJ configuration.
  • Fig. 13 ⁇ shows the configuration of the complementary color filter.
  • FIG. 13B is an explanatory diagram regarding separation of the luminance signal Z color signal and extraction of the area.
  • FIG. 14 is another configuration diagram of the arrangement in the first form of 1 ⁇ 4 fe.
  • Figure 15 shows the overall processing flow of the signal processing flow in the first embodiment. is there.
  • Figure 15B shows the color noise estimation of the signal flow.
  • Figure 15 C is the color noise processing flow of the signal processing flow.
  • Fig. 15D is a flow of luminance noise estimation processing in the flow of signal processing.
  • Figure 15 E is the flow of luminance noise in the flow of the signal
  • FIG. 16 is a diagram for explaining the configuration of a projector in the second embodiment.
  • FIG. 17A is a diagram showing the configuration of a color difference line injection-type complementary color filter.
  • FIG. 17B is a diagram showing an example in which a luminance signal Y and color signals Cb and Cr are extracted from a woven field signal.
  • Fig. 17C is a diagram showing an example in which the luminance signal Y and the color codes Cb and Cr are extracted from the fine field signal.
  • FIG. 18 is a block diagram of color noise estimation 15 in the second embodiment.
  • Fig. 19 A shows a color signal Cr on the shelf and a color signal Cb on the red. Red (R), magenta (Ma), blue (B), cyan (Cy), green (G), yellow (Cr) in the CrCb plane It is a figure which shows each square area of Ye).
  • Fig. 19 B is a diagram for explaining the estimation of the color noise amount.
  • FIG. 20 is a block diagram of the color noise in the second embodiment.
  • FIG. 21 is a block diagram of color noise in the SIJ configuration in the second row.
  • FIG. 22 is a block diagram of the luminance noise in the second embodiment.
  • FIG. 24A shows the flow of the entire processing of the flow of signal processing in the second example of the embodiment.
  • Figure 24 B shows the color noise estimation process of the flow of the signal ⁇ in the second ⁇ 3 ⁇ 4 form example Is the flow of
  • FIG. 24 C is a flow of color noise in the flow of signal processing in the second embodiment.
  • FIG. 24 D is a flow of luminance noise processing in the flow of signal processing in the second! ⁇ Embodiment.
  • Figure 1 is a block diagram of the first form of this work.
  • the target signal received through the lens 100, the aperture 101, and the CCD 102 is amplified by an amplifier ("Gain” in the figure) 104, and is amplified by an A / D comparator ("A / D" in the figure) 105.
  • a / D comparator A / D in the figure
  • the buffer 106 is also connected to a pre-white balance adjustment unit (“PreWB” in the figure) 107, a photometric evaluation unit 108, and a point detection unit 109.
  • the pre-white balance 107 is connected to a gain ⁇ separation 104
  • the light measurement B 108 is connected to a reflection 101
  • a CCD 102 is connected to an amplifier 104
  • a point detection unit 109 is connected to an AF motor 110.
  • the division and integration unit 111 is provided with a representative hue calculation unit 112, an alternative degree calculation unit 113, a color noise 115, and a luminance noise 117 ⁇ .
  • the alternative calculation unit 112 is connected to the buffer 118 via the color noise estimation 114 and the color noise 115.
  • the sub-degree calculation unit 113 is subjected to color noise 114, luminance noise estimation 116, and luminance noise 1 117 ⁇ .
  • the noise reduction 116 is connected to the buffer 118 via the luminance noise 117.
  • the buffer 118 is a signal processor 119. It is continued.
  • the signal processing unit 119 is connected to the output unit 120 such as a memory card.
  • a control unit 121 such as a microcomputer includes an amplifier 104, an A / D converter 105, a pre-conversion tolerance f, a photometric detection unit 108, a point detection unit 109, a difficult-to-go-out unit 111, a substitution calculation unit 112,
  • the luminance calculation unit 113, the color noise estimation 13 114, the color noise 115, the luminance noise estimation 15 116, the luminance noise 117, the signal unit 119, and the output unit 120 are bi-directionally connected.
  • an external I / F unit 122 provided with an interface for performing setting of switching of various modes at the time of the switch, the shutter button, and the like is also bidirectionally performed by the control unit 121.
  • the signal from the sensor 103 disposed in the vicinity of the CCD 102 is controlled by the control unit 121 ⁇ .
  • the g3 ⁇ 4f signal will be described with reference to FIG. After setting the conditions such as ISO via the external I / F section 122, the pre-imaging mode is entered by pressing the shutter button. The image signal that has been sent via the lens 100, the aperture 101, and the CCD 102 is output as an analog signal.
  • the CCD 102 is a negative CCD in which a ⁇ f (Bayer) color filter is disposed on the front surface.
  • Fig. 2A shows the configuration of the color reduction filter. In the YEAR type, 2 ⁇ 2 pixels are placed at the 3 ⁇ 4 position, one red (R) filter and one blue (B) filter, and two green (G) filters.
  • the analog signal is given a predetermined ftt
  • the 1 «signal in the buffer 106 is subjected to the pre-white balance adjustment 107, the photometric evaluation unit 108, and the in-focus detection unit based on the control of the control unit 121. 8 062872
  • pre-white balance 107 a simple white balance coefficient is calculated by integrating a signal of a predetermined level for each color signal corresponding to a color filter. White balance is performed by multiplying the above coefficients into the amplifier 104 and multiplying the color signals by different gains.
  • the photometric surface unit 108 the set ISO speed and camera shake limit shutter etc. are added, and the electronic shutter data of the aperture stop 101 and the CCD 102 etc. are controlled so as to obtain 3 ⁇ 4 E exposure. .
  • the point detection unit 109 detects an edge key in the image signal, and obtains an ⁇ ! Signal by controlling the AF motor 110 so as to maximize this.
  • the labor hard part 111 separates the elephant signal into a luminance signal and a color signal based on the f IJ signal of the control unit 121, and longitudinally extracts a region where noise is to be treated from then on.
  • the luminance signal ⁇ and the color signals Cb and Cr are calculated in 2 ⁇ 2 pixel units with respect to the W-one-color filter. For example, 3 ⁇ 4, with respect to the 2X2 pixels G 10 G 01 B u, ( 1) as shown in the formula, the luminance signal Y ⁇ and color signals Cb ⁇ , is c R ⁇ force S calculated.
  • Luminance signal in area 3 ⁇ 4 Is a substitution degree calculation unit 113, to the declination noise ⁇ 117, the color signals 03 ⁇ 4 and 03 ⁇ 4 are represented by a substitution coefficient calculation unit 112, and color noise 115 ⁇ 3 ⁇ 4.
  • the substitute calculation unit 112 obtains the averages AV-Cb and AV-Cr of the color signals 03 and as indicated by the equation (2). ⁇ ⁇ Cb i; j
  • the 1 ⁇ 4 ⁇ ⁇ eye calculation unit 112 further obtains a representative eye value H of the fiber from the average AV-Cb and AV-Cr of the color signal.
  • a representative eye value H of the fiber from the average AV-Cb and AV-Cr of the color signal.
  • the hue range from 0 ° to less than 90 ° (hereinafter referred to as the 45 ° hue range), from 90 ° to less than 180 ° (hereinafter referred to as the 135 ° hue range), from 180 ° to less than 270 ° It shows four eye regions of the hue range (hereinafter referred to as 225 ° eye region) and the eye region of 270 ° or more and less than 360 ° (hereinafter referred to as 315 ° eye region).
  • the part 112 performs classification into the above four hue regions based on the positive and negative of the average AV-Cb and AV__Cr of the color signal as shown in Table 1.
  • the synthetic fineness calculation unit 113 obtains the average AV of the luminance signal as shown in equation (3).
  • the average AV 1 Y of the above-mentioned fullness signal is converted to color noise 3 ⁇ 4
  • the color noise, ft 3 ⁇ 4 11 is calculated based on the representative eye value H from the representative eye calculation unit 112 and the representative luminance value L of the IK intensity calculation unit 113, etc.
  • Estimated Honirre, Te Ko ⁇ Ru is of color noisyzu amount CN S.
  • Color noise 115 under the control of the control unit 121, based on the color noise estimation 15 of 114 force the color noisy's amount CN S, the color signal in the region of the partial ⁇ 111 Chikarara (3 ⁇ 4, color noise against CTij
  • the color signal Cb, Cr ' ⁇ after the color noise processing is stored in the buffer 118.
  • the luminance noise estimation 116 controls the control unit 121.
  • the luminance noise amount L is estimated based on the representative luminance value L of the light intensity calculation unit 113 and the like, and is distributed to the luminance noise 117.
  • the luminance noise 117 is based on the control of the control unit 121.
  • the noise removal amount ⁇ from the noise reduction 116 the luminance noise reduction is performed on the noise reduction signal 111 of the area 111, which is a difficult-to-reach part. Is stored in buffer 118 and saved 62872
  • the processing in the part extraction part 111, the substitution mesh calculating part 112, the substitution degree calculating part 113, the color noise estimation & 114, the color noise separation 115, the luminance noise estimation ⁇ 116, and the luminance noise 117 Based on the control of the control unit 121, synchronization is performed in area units.
  • the buffer 118 has been 3 ⁇ 4 ⁇ when it has been completed in the ⁇ tl area of one video signal! ⁇
  • the luminance signal Y 'after luminance noise reduction processing for the elephant signal and the color signals Cb, Cr, Cr' after color noise reduction processing will be performed.
  • the signal key unit 119 Based on the control of the control unit 121, the signal key unit 119 generates the luminance signal Y after luminance noise iSW and the color signals Cb and Cr ′ after color noise iS ⁇ W to the original image signal In the form of, convert to R, G, B signals). For example, '00, color signals Cb ⁇ , color relates Cr ⁇ noise! Color signals Cb after, ⁇ , Cr' luminance signal Y after the luminance noise management relating to the luminance signal Y ⁇ shown in (1) to oo In this case, as shown in equation (4), the noise-processed R'oo,
  • the signal processing unit 119 performs an emphasis key, a key, a contraction, and the like on the R, G, and B ′ signals subjected to the above-mentioned noise, and performs an output unit 120 ⁇ .
  • the output unit 120 describes the image signal to a word medium such as a magnetic disk or a memory card.
  • Fig. 4 shows an example of the configuration of the color noise estimation 114.
  • the mode selection HI selection unit 200, for parameter R0M 201, the gay output unit 202, the direct light application unit 203, the parameter length unit 204, the noise interpolation unit 205 , Noises section 206 consists of.
  • the representative hue calculation unit 112 and the parameter R0M 201 are connected to the model selection unit 200.
  • the fineness calculation unit 113, the model length unit 200, the gain calculation unit 202, and the gutter direct attachment unit 203 are parameter measurement units 204 ⁇ ⁇ .
  • the parameter measuring unit 20 has a noise interpolation unit 205 and a noise unit 206 ⁇ .
  • the noise interpolation unit 205 is connected to the noise capture unit 206, and the noise correction unit 206 is connected to the color noise 115 ⁇ .
  • the control unit 121 is bidirectionally disliked from the model unit 200, the gain calculation unit 202, the standard assignment unit 203, the parameter return length unit 204, the noise capture unit 205, and the noise IE unit 206.
  • the model and model selection unit 200 reads a representative eye value H of the t3 ⁇ 4 ⁇ eye calculation unit 112 and the like, and selects a color noise noise model to be used for parameter R0M201 force color noise estimation. Do.
  • FIG. 5A to 5D are explanatory diagrams of the »color noise model.
  • FIG. 5A is a diagram showing a curve obtained by plotting the color noise amount C at the signal level L. As shown in FIG. 5A, the signal level L increases in a quadratic curve.
  • (5) can be obtained by modeling the curve shown in Fig. 5 A with a quadratic function.
  • j and j are constant terms.
  • the color noise amount CN varies not only with the signal level, but also with the gain of the imaging device and the gain.
  • Figure 5A plots the amount of color noise with a ISO sensitivity of 100, 200, and 400 at 3% associated with the gain below as an example.
  • the color noise amount C also changes according to the hue range.
  • Figure 5 ⁇ is 45 °, 135 °, 225 °, 5 °. It plots the amount of color noise in the four eyes of. The individual curves have the form shown in the equation, but their coefficients depend on the ISO sensitivity, step, and eye area associated with the gain. It is different. Assuming that the gain is g, t is t, and the eye area is ⁇ , the color noise model is converted to ⁇ in consideration of the above to obtain equation (6).
  • a color noise model that gives the maximum color noise amount is selected as a reference color noise model in a certain eye area, and this is approximated by a predetermined number of broken lines.
  • the inflection point of the $ 3 ⁇ 4 ⁇ line is represented by coordinate data (L n , CN an ) consisting of the signal level L and the color noise amount CN e .
  • n indicates the number of inflection points.
  • a ⁇ coefficient sgt B for preparing another color noise model from the above-mentioned ⁇ ⁇ ⁇ color noise model is also prepared.
  • the 3E coefficient k sgte is calculated by the least squares method between each color noise model and light color noise model.
  • the standard color noise model is multiplied by the upper UE SUE coefficient k sgte .
  • Fig. 5D shows the calculation of the color noise amount C S from the Tffi simplified color noise model shown in Fig. 5C.
  • the gain is g, t
  • CN, CNen + 1 one CNe . (/-LJ + CN en (8)
  • the color noise amount C S is obtained by multiplying the obtained noise amount 03 ⁇ 4 by a coefficient ⁇ e !
  • the parameter R0M201 records the coordinate data (L n , CNJ and the positive coefficient k sgt e ) of the »color noise model corresponding to a plurality of eye areas 0.
  • the model section «! Part 112 Determines the eye area 0 based on the representative eye value H of the area, and reads out the reference color noise model and the coefficient for the color ROM corresponding to the calculated eye area ⁇ .
  • the noise model and the coefficient are transferred to the parameter length section 204.
  • the gain calculation section 202 increases the amplification amount at 104 based on the ISO sensitivity to be controlled by the control section 121 and the resistance value. Then, the control unit 121 obtains S3 ff ff of the CCM 02 from the sensor 103, and sends it to the parameter measurement unit 204.
  • the parameter control unit 121 controls the representative brightness value L force signal level 1 of the substitution degree calculation unit 113, and the gain g from the gain ⁇ of the 202 output unit of the gay output unit Set ⁇ from '
  • the noise interpolation unit 205 uses the signal level 1 from the parameter selection unit 204 and the coordinate data of the section (L n , C en ) and (CN fl n + 1 ) based on the equation (8).
  • the »color noise amount CN X in the bright noise model is calculated, and the noise is corrected to the noise correction unit 206.
  • the noise reduction unit 206 calculates the color noise amount based on the equation (9) from the color reduction noise amount from the parameter 31 scale 204 and the noise interpolation unit 205 force etc. to calculate the CN S.
  • the calculated color noise amount C S is calculated.
  • FIG. 6 shows an example of another configuration of the color noise estimation 114, shown in FIG.
  • the noise 3 ⁇ 4 E unit 206 force S is omitted, and the configuration has a noise tape 207 force 3 ⁇ 3 3 ⁇ 4. Since the configuration is equivalent to the color noise estimation 15 114 shown in FIG. 4, the same configuration is assigned the same name and number. Below, only the differences will be explained.
  • the noise calculation unit 112, the noise calculation unit 113, the gain calculation unit 202, and the direct marking application unit 203 perform noise calculation as noise noise.
  • the noise table section 207 is a series of color noises ⁇ S ⁇ 3 ⁇ 4 115 ⁇ .
  • the control unit 121 is disliked in both directions with the noise tape 207. 2872
  • the noise tape 207 calculates the representative luminance value gain of the area from the representative field value of the area, the representative field value of the area 112, and the substitution @ degree calculation section 113 based on the control of the control section 121. Read the gain g from the part 202 and t of the control part 121 force.
  • the noise tape 207 has a look-up table in which the relationship between the signal level, the gain and the noise amount is recorded. This look-up table is constructed by the same method as the one shown in FIG. 4 for calculating the amount of color noise and the amount of S color noise! /.
  • Color noisyzu amount CN S obtained by the noise table unit 207 is a color noisyzu 115.
  • FIG. 7 shows an example of the configuration of the color noise S ⁇ IS 115, which comprises an average color calculation unit 300 and a coring unit 301.
  • the minute output part 111 has an average color calculation part 300 and a coring part 301 ⁇ .
  • the color noise estimation unit 114 and the average color calculation unit 300 are sold on the coring unit 301.
  • the coring unit 301 has a buffer 118 ⁇ .
  • the control unit 121 is disliked in both directions with the average color calculation unit 300 and the coring unit 301.
  • the average color calculation unit 300 reads the color signals 03 ⁇ 4 and Cr ⁇ . From the diversion unit 111 based on the control of the control unit 121. After that, the average AV-Cb and AV_Cr of the color signal shown in the equation (4) are calculated and transferred to the coring unit 301. Based on the control of the control unit 121, the coring unit 301 generates color signals 03 ⁇ 4 and C from the division / extraction unit 111, averages AV1 Cb and AV_Cr of the average color calculation unit 300 color signals, and color noise 114 Roh read the I's amount of C S. After this, coring shown in the equations (10) and (11) is performed to obtain color signals Cb and Cr, which have been subjected to color noise.
  • the configuration to perform the color noise processing by the coring processing is not necessary to be limited to such a configuration.
  • An example of performing color noise reduction by filtering processing using a low pass filter will be described with reference to FIGS. 8A to 8C.
  • FIG. 8A shows an example of another configuration of the color noise 115.
  • the pixel that becomes the edge of the color noise WW is 2 ⁇ 2 pixels as shown in FIG. 2B, but for filtering processing, 4X4 including surrounding pixels Pixels shall be input.
  • the color noise iS ⁇ f 115 consists of a part R0 M 302, a finoleta measuring part 303, and a fino lettering part 30.
  • the color noise 114 and the R0M 302 have the filter Fujibe 303 ⁇ 3 ⁇ 4.
  • the difficult-to-understand part 111 and the filter selection part 303 are connected to the filtering part 304 ⁇ PC leak 008/062872
  • the funo lettering section 304 has a buffer 118 ⁇ .
  • the control unit 121 is bi-directionally converted to the fiinoleter selection unit 303 and the fizo lettering unit 30.
  • the filter section 303 reads the color noise amount C S from the color noise estimation 13 114 based on the control of the control section 121. Then, on the basis of the color noise amount CN S, read by 3 ⁇ 4 scale the filter coefficients used for Kakariga R0M302 force et Ropasufu filter processing.
  • Figure 8 B is, shows an example of a great-2 ⁇ has been that the filter coefficients in engagement R0M302, size is 3X3 pixels, frequency characteristics I 1 Raw 4 ⁇ up Typel ⁇ Type4 are saying.
  • Typel has high-frequency components remaining, and it has frequency characteristics that suppress the JllT-order and high-frequency components to Typel, Type2, Type3, and Type4.
  • Filter ⁇ unit 303 scale the frequency characteristics 1 "raw Typ e l ⁇ Type4 from the color noisyzu amount CN S. This selection, for example, the amount of color noisyzu shown in FIG. 8 C CN S and between the filters of Type As the color noise amount is larger, the frequency characteristic I "that suppresses high frequency components is selected.
  • the selected finoreta coefficients are ⁇ ! To the fino lettering section 304.
  • the filtering unit 304 reads the color signal Cb (and surrounding pixels from the diversion unit 111 based on the control of the control unit 121, and performs filtering processing using the filter coefficients of the filter length unit 303 force.
  • color signals Cb color noisyzu is reduced, u, the Cr 'upsilon, which is buffer 118 are stored.
  • Fig. 9 shows an example of the configuration of a luminance noise 3 ⁇ 43 ⁇ 43 ⁇ 4 116, the gain calculation unit 400, Tadashi Shimegi imparting unit 401, for parameter R0M402, parameter selection section 403, noise interpolation section 404, noise correction section 405.
  • the section 403 ⁇ ⁇ continues as the noise meter section 03 and the noise interpolation section 404 2008/062872
  • the noise interpolation unit 404 is noise; to the HE unit 05, the noise capture unit 405 3 ⁇ 4 ⁇ noise 117 ⁇ ⁇ .
  • the control unit 121 is bi-directionally connected to a gay output unit 400, a symbol direct assignment unit 401, a parameter scale unit 403, a noise interpolation unit 404, and a noise fcE unit 405.
  • the parameter scale unit 03 reads the representative luminance value L from the compensation degree calculation unit 113 under the control of the control unit 121.
  • the gain calculation unit 400 obtains the amplification amount in the amplifier 104 based on the information on the ISO sensitivity and the exposure condition that is controlled by the control unit 121 3, and performs the parameter selection unit 403 ⁇ 3. Further, the control unit 121 obtains S3 '(tfR of the CCD 102 from the sensor 103 and sends it to the parameter selection unit 403.
  • the parameter selection unit 403 calculates the substitution degree calculation unit 113, representative threshold value L
  • the luminance noise amount LN is estimated based on the information on the gain of the output portion 400 power and the control portion 121. The estimation of the luminance noise amount LN is as shown in Fig.
  • Equation (13) al + B, + ygt (13) where ⁇ ⁇ , ⁇ ⁇ and ⁇ are the gains g and 3 ⁇ 4 t, respectively. Similar to the color noise, multiply the function of equation (13) and calculate the luminance noise ⁇ by calculation each time. 008/062872
  • the maximum luminance noise, the luminance noise giving the amount, the mode, and the noise are selected as the reference luminance noise model, and these are simulated on the ⁇ 3 ⁇ 4 ⁇ line.
  • the inflection point of the broken line is represented by coordinate data (L n , n ) which is the signal level L and the luminance noise amount L force.
  • n indicates the number of inflection points.
  • a correction coefficient 13 ⁇ 4 is also prepared for deriving another luminance noise model from the upper woven quasi-brightness noise model.
  • the correction coefficient 13 ⁇ 4 is calculated by the least squares method between each luminance noise model and the reference luminance noise model.
  • the other luminance noise model can be derived from the reference luminance noise model by multiplying the »luminance noise model by the above-mentioned 33 ⁇ 4 E coefficient 13 ⁇ 4.
  • the method of calculating the luminance noise amount from the simplified luminance noise model is shown below. For example, assume that the noise amount L corresponding to a given signal level 1, gain g, «t is determined. First, it is searched to which section of the signal level 1 force s fresh luminance noise model belongs.
  • LN; LN n + 1 -LN n (/ _ L + LNn (1 4)
  • the luminance noise amount L is obtained by multiplying the calculated luminance noise amount 1 ⁇ by the second coefficient.
  • the parameter R0M402 records the coordinate data (L n , L n ) and the positive correlation of the above-mentioned 33 ⁇ 4 quasi-luminance noise model.
  • the Norma meter selector 403 separates the representative luminance signal level 1 from the decoration degree calculator 113, the gain g from the gain calculator 400, f from the gain g from the controller 121, and t from the controller 121.
  • the noise interpolation unit 404 Based on the control of the control unit 121, the noise interpolation unit 404 generates the signal level 1 from the parameter selection unit 403 and the coordinate data (L n , LN n ) of the section and (L n +1 , LN ⁇ ) ) Calculate 3 ⁇ 4 ⁇ luminance noise 3 ⁇ 4 L ⁇ in the reference luminance noise model based on the equation), noise ffi! E! 3 ⁇ 405 ⁇ 3 ⁇ 4 Based on the control of the control unit 121, the noise correction unit 405 uses the correction coefficient lV from the parameter selection unit 403 and the reference luminance noises * from the noise acquisition gap 404 based on the equations (15), calculate. The upper noise level is reduced to the luminance noise level.
  • FIG. 10 shows an example of another configuration of the luminance noise estimation unit 116, which is shown in FIG.
  • noise table portion 406 is omitted by 405 and omitted.
  • the configuration is equivalent to the luminance noise estimation 116 shown in FIG. 9, and the same configuration is assigned the same name and number. Only the differences will be described below.
  • the principle calculation unit 113, the gain calculation unit 400, and the standard groove direct attachment wedge P 401 are connected to the noise table unit 406.
  • the noise table unit 406 is connected to the luminance noise reduction unit 117.
  • Control unit 121 Is bi-directionally converted to the noise tapino 406.
  • the noise table unit 406 reads the representative brightness of the area from the representative frequency calculation unit 113, the gain g from the gain calculation unit 400, and the? Tt from the control unit 121 under the control of the control unit 121. Noise Tape, Nore Sound IM06,? There is a look-up table that records the relationship between gain and noise amount, and the look-up table is shown in FIG. It is constructed by the same method as the method of calculating
  • the noise table unit 406 obtains luminance noise 3 ⁇ L by referring to the Norec up table based on the representative luminance # 1, gain g, and the like.
  • the luminance noise obtained by the noise table unit 406 is subjected to the luminance noise ⁇ 3 ⁇ 4 117 ⁇ 3 ⁇ 4.
  • FIG. 11 shows an example of the configuration of the luminance noise ⁇
  • the separation and extraction unit 111, the representative luminance calculation unit 113, and the luminance noise estimation 13116 are connected to the coring unit 500.
  • the coring unit 500 has a buffer 118 ⁇ .
  • the control unit 121 is bi-directionally converted to the coring unit 500.
  • the coring unit 500 substitutes the luminance signal from the delivery / extraction unit 111 under the control of the control unit 121.
  • the representative brightness is read from the degree calculation unit 113, and the brightness noise 4L is read from the brightness noise estimation S3 ⁇ 4 i6. After that, the coring processing shown in equation (16) is performed to obtain the luminance signal Y, u subjected to the luminance noise “factor”.
  • the luminance signal Y which has been subjected to luminance noise ⁇ 3 ⁇ 4 ⁇ ⁇ , is stored in the buffer 118.
  • the configuration in which luminance noise is reduced by coring processing is not limited to such a configuration.
  • a configuration that performs luminance noise reduction by filtering ⁇ using a low pass filter is also possible.
  • FIG. 12 shows an example of another configuration of the luminance noise reduction portion 117.
  • the luminance noise area 117 shown in FIG. 12 although the pixel which becomes the luminance noise area is 2/2 pixels as shown in FIG. 2A, 4 ⁇ 4 pixels including surrounding pixels are input for the filtering process. It shall be.
  • the luminance noise drop section 117 includes a copy R0M 501, a filter selection section 502, and a filtering section 503.
  • the luminance noise estimation unit 116 and the number R 0 M 501 are connected to the filter selection unit 502.
  • the division output unit 111 and the filter selection unit 502 are connected to the filtering unit 503.
  • the filtering unit 503 is connected to the buffer 118.
  • the control unit 121 is bi-directionally connected to the filter selection unit 502 and the filtering unit 503. In the configuration of the luminance noise reduction unit 117 shown in FIG. 12, the input f from the representative degree calculation unit 113 shown in FIG. 1 is omitted because it is not necessary.
  • the filter selection unit 502 reads the luminance noise SL from the luminance noise estimation 15116 based on the control of the control unit 121. After that, based on the upper noise degree * LM, a filter coefficient to be used for low-pass filter processing is selected and read from the patch R0M501. As the filter coefficient, force S such as the coefficient shown in Fig. 8B is used. The filter selection unit 502 scales the filter coefficient based on the luminance noise. This selection is performed, for example, in the same manner as the relationship between the color noise amount and the filter shown in FIG. 8C. The selected filter coefficient is sent to the filtering unit 503. 2
  • the filtering unit 503 reads the luminance signal and surrounding pixels from the diversion unit 111, and performs filtering using the filter coefficient from the filter selection unit 502. Luminance noise is suppressed by the filtering process, and the d ⁇ degree signal Y 'is ⁇ !
  • the representative luminance value and the representative color phase value are determined in predetermined area units, and the color noise amount is applied based on the representative luminance value and the representative color value.
  • the above-mentioned color noise amount estimation processing is performed dynamically under different conditions for each bulging, and since different color fading noise models are used for each power region, it is possible to estimate the color noise amount with high accuracy and stability. It becomes. Further, the age at which the interpolation calculation is performed to calculate the amount of color noise is a line where interpolation calculation is difficult, and it is possible to reduce the cost of placement. On the other hand, a look-up tape is used to calculate the amount of color noise ⁇ , which makes it possible to quickly estimate the amount of color noise.
  • the estimation processing of the amount of noise is performed dynamically under different conditions for each bulging, and using the force-based luminance noise model, it is possible to estimate the amount of luminance noise with high accuracy and stability. Complement the calculation of the amount of luminance noise 2008/062872
  • Interpolation is a difficult line for ⁇ , which makes it possible to reduce the cost of ⁇ .
  • using a look-up table to calculate the luminance noise amount ⁇ enables fast estimation of the luminance noise amount.
  • Luminance noises ffi ⁇ Use coring processing for logic ⁇ 1 to focus on luminance noise components only, and ensure consistency with pixels other than luminance noise such as strong edges, so high-quality 13 ⁇ 4 phenomenon A signal is obtained.
  • filtering processing for luminance noise ⁇ ⁇ processing it is possible to focus on only the luminance noise component and obtain high-quality S ⁇ image signals.
  • low-pass filters are relatively difficult and allow speeding up and costing of the entire system.
  • the use of the imaging filter with the ⁇ -ya-mach filter placed on the front makes it possible to have high affinity with the imaging system of the product, and to be able to be combined with various systems.
  • the ⁇ f color filter is used as an imaging element, but it is not necessary to be limited to such a configuration.
  • Fig. 13 A shows the configuration of the color ⁇ ) 111 »complementary color filter.
  • the color ⁇ ) injection ⁇ is based on 2 ⁇ 2 pixels, and magenta (Mg), green (G), yellow (Ye) and cyan (Cy) are arranged one by one. However, the positions of Mg and G are reversed line by line.
  • Color ⁇ ) In the case of a complementary type complementary color filter, the light emitting part 111 is a luminance signal in 2 2 pixel units? And Iroshin ⁇ (3 ⁇ 4, calculates the Cr.
  • the representative hue calculator 112 calculates the representative hue control
  • the average of the color signal shown in equation (2) is calculated as the representative luminance calculator 113 calculates the representative luminance correction.
  • the configuration using the average of the luminance signal shown in equation (3) does not have to be limited to such a configuration.
  • a configuration using «I-wave components by low-pass filter processing, or a configuration using ⁇ ffl of adaptive filtering processing such as a bilateral filter may be possible.
  • the calculation accuracy and stability of the representative hue control and the representative luminance are improved, and it is possible to estimate the noise amount of the 3 ⁇ 4 g color with high accuracy.
  • the lens system 100 the aperture 101, the CCM 02, the temperature sensor 103, the amplifier 104, the A / D converter 105, the pre-white balance, the photometry tt
  • the configuration is integrated with the imaging unit including the unit 108, ⁇ 1 point detection unit 109, and AF motor 110, it is not necessary to be limited to such a configuration.
  • an elephant signal captured by a separate imaging unit is represented as raw data in the form of unprocessed raw data, and additional information such as exposure conditions for color filters of the CCD 102 is added to the header unit. It is also possible to reach from the language mentioned.
  • FIG. 14 shows a lens system 100, an aperture 101, a CCD 102, a temperature sensor 103, an amplifier 104, an A / D converter 105, a pre-white balance adjustment 107, a photometric evaluation unit 108, an in-focus point.
  • the detection unit 109 and the AF motor 110 are omitted, and the input unit 600 and the header reed angle portion 601 are operated.
  • the composition is the same as the composition shown in Fig. 1, and the same configuration is assigned the same name and number. Only the differences will be described below.
  • the input section 600 is connected to the buffer 106 and the data section 601 of the false alarm.
  • the control unit 121 is bidirectionally connected to the input unit 600 and the header information corner unit 601.
  • an external I / F unit 122 such as a mouse or keyboard, ⁇ (an elephant signal and data stored in the word medium are read from the input unit 600).
  • the g3 ⁇ f signal from the input unit 600 is sent to the puffer 106, and the header information is sent to the header information ⁇ part 601 ⁇ .
  • the header section 601 extracts the time frame from the header information and transfers it to the control section 121.
  • the subsequent flooding is equivalent to those performed in Figure: U3 ⁇ 4 ⁇ 1t.
  • the processing by hardware is described as It ⁇ , but it is not necessary to be limited to such a configuration.
  • the control unit 121 outputs additional information such as exposure conditions at the time of color filter ⁇
  • Fig. 15 ⁇ shows the flow of the software key used to make the computer process the above signal processing. Hereinafter, the image of each step will be described.
  • step S1 header information such as the projection signal and the exposure condition at the time of the color filter are read, and the process proceeds to step S2.
  • step S2 the image signal is separated into a luminance signal and a color signal as shown in equation (1), the eyebrow extraction is performed in a region of a predetermined size, for example, 2 ⁇ 2 pixels, and the process proceeds to step S3.
  • step S3 the color signal shown in equation (2) is averaged, and classified into the color phase range shown in Table 1 to obtain an “ ⁇ ⁇ eye value”.
  • step S4 by calculating the average of the luminance signal shown in equation (3), a representative luminance value is obtained. 2008/062872
  • step S5 color noise amount estimation processing is performed. This is followed according to the flow in Figure 15 B below.
  • step S6 the color noise of is performed. This process is carried out according to the flow of FIG. 15 C which will be described later.
  • step S7 the process of estimating the luminance noise amount is performed. This process is performed according to the flow of FIG. 15 D which will be described later.
  • step S8 the luminance noise is processed This process is performed in accordance with the flow in Fig. 15 E.
  • step S9 the noise-processed color signal and intensity signal are output.
  • step S10 it is determined whether the processing for all the areas in one g3 ⁇ f image signal has been completed, and it is determined that the processing has not been completed.
  • step S11 as shown in equation (4), ⁇ is converted into the original image signal of the imaging system, and the emphasis processing, ⁇ IS processing, processing, etc. are performed. Then, the process proceeds to step S 12.
  • step S12 the process is completed.
  • ⁇ (Output an elephant signal and finish.
  • Fig. 15 B is a flow related to the color noise estimation process performed at step S5 in Fig. 15 A. Each step will be described below.
  • step S20 information such as temperature and gain is set from the read header information, and the process proceeds to step S21, where a parameter necessary for the header information is assigned, and a predetermined symbol or impact is assigned.
  • step S21 a plurality of reference color noise model coefficients for all hue regions are input, and the process proceeds to step S22
  • step S22 the reference color noise model and the positive coefficient are selected based on the representative hue value. 2008/062872
  • step S23 the coordinate data of the section of the color noise model to which the representative luminance value belongs and the corresponding correction coefficient are selected, and the process proceeds to step S24.
  • step S24 the amount of fine color noise is determined by the interpolation wedge shown in equation (8), and the process proceeds to step S25.
  • step S25 the color noise amount is determined by the correction process shown in equation (9), and the process proceeds to step S26.
  • step S26 the color noise amount is output and the process ends.
  • FIG. 15C is a flow relating to the color noise processing performed at step S6 of FIG. 15A. The process of each step will be described below.
  • step S30 the color noise amount estimated in step S5 of FIG.
  • step S31 the average of the color signal represented by equation (2) is calculated, and the process proceeds to step S32.
  • step S32 the coring process shown in equations (10) and (11) is performed, and the process proceeds to step S33.
  • step S33 the color signal subjected to the color noise ffi processing is output and the process ends.
  • Fig. 15D shows the luminance noise and estimation process performed at step S7 in Fig. 15A.
  • step S40 information such as gain is set from the read header information. However, if the header information does not have the required parameters, it assigns a predetermined symbol.
  • step S41 the reference luminance noise model and the coefficient are input, and the process proceeds to step S42.
  • step S42 the coordinate data of the section of the reference luminance noise model to which the representative luminance value belongs and the corresponding correction coefficient are selected, and the flow proceeds to step S43.
  • step S43 the reference luminance noise amount is obtained by the inter-capture process shown in equation (14), and the process proceeds to step S44.
  • step S44 it is represented by equation (15); The luminance noise amount is obtained by HE, and the process proceeds to step S45.
  • Fig. 15 E relates to luminance noise, which is performed at step S8 in Fig. 15 A. The process of each step will be described below.
  • step S50 the luminance noise amount estimated in step S7 of FIG. 15A is input, and the process proceeds to step S51.
  • step S51 a representative luminance value is input, and the process proceeds to step S52.
  • step S52 the coring process shown in equation (16) is performed, and the process proceeds to step S53.
  • step S53 the luminance noise ⁇ is outputted and the process ends.
  • the signal processing may be performed by software, and the same operation and effect can be obtained when connected by node software.
  • FIG. 16 is a block diagram of the second embodiment.
  • the calculation unit 700 is added to the configuration of the first embodiment shown in FIG. 1, and the color noise estimation S color noise estimation 701, the color noise 115, the color noise ® ⁇ 702, The luminance noise 3 ⁇ 43 ⁇ 4 1 ⁇ 4 7 is replaced with the luminance noise low ⁇ 03.
  • the configuration is equivalent to the first configuration, and the same configuration is assigned the same name and number.
  • the division unit 111 is connected to the representative hue calculation unit 112, the representative calculation unit 113, the ⁇ ′ ′ calculation unit 700, the color noise viewing unit 702, and the luminance noise reduction unit 703.
  • the representative hue calculation unit 112 Buffer 118 ⁇ is processed through noise estimation and color noise 702.
  • the substitution calculation unit 113 is connected to the color noise estimation and luminance noise estimation 15116.
  • the luminance noise estimation unit 116 is
  • the luminance noise reduction unit 703 is connected to the buffer 118.
  • the knocker 118 is connected to the signal processing unit 119 and the scattering calculation unit 700. 2008/062872
  • the 700 is the color noise
  • the control unit 121 is bi-directionally configured as a 3 ⁇ 4 ⁇ calculation unit 700, color noise estimation; 3 ⁇ 4 ⁇ 701, color noise, and luminance noise if i 415 415 703.
  • Fig. 17 A shows the configuration of the fine-flow complementary color filter.
  • the color injection 3 ⁇ 4fo ⁇ is 2 ⁇ 2 pixels, and cyan (Cy), magenta (Mg), yellow (Ye), and green (G) are arranged one by one. However, the positions of Mg and G are reversed line by line.
  • the image signal from the CCD 102 is calculated from upper and lower line forces, as shown in Fig. 17 A, and is composed of two field signals ( «field signal and odd field signal) separated into a line and a line. Ru.
  • 1 field time 1/60 seconds (hereinafter referred to as 1 field time) is assumed as the predetermined time interval, but the invention is not limited to 1/60 seconds.
  • One elephant signal can be obtained by combining the ⁇ and »field signals, but one ⁇ (the elephant signal is described as a frame signal.
  • the above frame signals are synthesized at intervals of 1/30 seconds.
  • the analog signal from the CCD 102 is given a predetermined width * by the amplifier 104, converted to a digital word by the A / D converter 105, and transferred to the buffer 106.
  • the two-field signal In other words, one frame signal can be stated, and it will be written in order according to. 2872
  • the frame signal in the buffer 106 is intermittently transferred to the pre-white balance adjustment unit 107, the photometric evaluation unit 108, and the focus control unit 109 at predetermined frame time intervals under the control of the control unit 121.
  • Ru Based on the control of the control unit 121, the minute sleeping unit 111 converts the even and 3 ⁇ 4 m field signals into a luminance signal Y and color signals ⁇ Cb and Cr as shown in equation (17). After that, an I1T-order extraction is performed on a region of interest pixels located near the attention pixel and a pixel of interest that is to be used for subsequent noise processing. In the present embodiment, 5 ⁇ 5 pixels are assumed as the area.
  • the luminance signal Y is a signal of 5 ⁇ 5 pixels
  • Cr is a 5 ⁇ 3 pixel or 5 ⁇ 2 pixel.
  • Figures 17 B and 17 C show an example of the regions extracted from the »: and 3 ⁇ 4 field signals, respectively. Fig.
  • 1 7 B shows an example of extracting the luminance signal Y and the color signals "Cb and Cr from the field signal.”
  • Color ⁇ word ⁇ Cr is 5 x 3 pixels
  • color word ⁇ 3 ⁇ 4 is 5 x 2
  • the target pixel to be the edge of the noise processing is the luminance signal Y and the color signal ⁇ Cr
  • the color signal ⁇ Cb It should be noted that if the target pixel position is different, conversely to the above There are color words and color quotients "3 ⁇ 4 r ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ , examples also occur.
  • Fig. 17 C shows an example of extracting the luminance signal Y and the color division numbers Cb and Cr from the odd field signal.
  • Color ⁇ Probable ⁇ Cb is 5 ⁇ 3 pixels
  • Color ⁇ f word ⁇ Cr is 5 ⁇ 2 pixels.
  • the target pixels that become this ⁇ , noise logic ⁇ are the luminance signal ⁇ and the color signal ⁇ "Cb
  • the color signal ⁇ Cr is 3 ⁇ 4 f ⁇ . Note that if the target pixel position is different, the colors are reversed split word ⁇ Cr is OMRON will Ironan ⁇ Cb is ⁇ Shinare example also occur.
  • the pixel value of interest is ⁇ ⁇ for the luminance signal, C r T or Cb T 3 ⁇ 4 for the color signal, and of the field signal :!
  • the luminance signal is ⁇
  • the chrominance signal is C r ⁇ or Cb T 25 .
  • even field signals as shown in FIG. 17B and the forces performed by the pixel of interest with respect to Y T 24 and C r ⁇ are also referred to as “field signal and pixel power of interest, Cb 3 ⁇ 43 ⁇ 4 ⁇ 4 field signal The same holds true only for the different configuration.
  • the luminance signal ⁇ ⁇ in the region is transferred to the representative luminance calculation unit 113 and the luminance noise reduction unit 703, and the color signal Cb ⁇ Cr ⁇ is transferred to the representative hue calculation unit 112 and the color noise reduction unit 702.
  • the representative hue calculation unit 112 obtains the averages AV ⁇ Cb and AV_Cr of the color signals Cr T u under the control of the control unit 121. Further, from the averages AV_Cb and AV_Cr of the above color signals, the eye area 0 of the area is obtained by the equation (18).
  • the representative luminance calculation unit 113 obtains the average AV-Y of the luminance signal ⁇ and obtains the representative luminance L, as in the first embodiment.
  • the representative luminance ⁇ is estimated to be 15101 for color noise and ⁇ ⁇ ⁇ 3 ⁇ 4116 for luminance noise.
  • the luminance noise estimation 116 estimates the luminance noise SLN based on the representative luminance iilL from the proxy degree calculation unit 113 based on the control of the control unit 121, and carries out a luminance noise reduction ⁇ S3 ⁇ 4703 ⁇ . Based on the control of the control unit 121, the difference calculation unit 700 reads the target pixel in the region from the separation and extraction unit 111, and the target pixel in the region subjected to noise reduction processing two fields before from the knocker 118.
  • ⁇ Cr 24 Cr T 24 1 Cr, ⁇ 3 ⁇ 4 4 degree signal ⁇ ⁇ ⁇ degree noise «3 ⁇ 4703, the signal ACb or ACr is colored noise ⁇ noise portion 702 ⁇ 1.
  • the color noise section 702 is based on the control of the control section 121, based on the amount of color noise from the color noise estimation and the wording of the color signal from the scattering calculation section 700, Color noise processing is performed on the color signal of the target pixel. Color noise
  • the processed color signal is stored as a buffer 118 ⁇ 3 ⁇ 4.
  • the luminance noise reduction unit 703 is based on the control of the control unit 121 and based on the luminance noise amount from the luminance noise reduction mi 6 and the scattered signal of the luminance signal from the calculation unit 700, Perform luminance noise processing on the key signal of the target pixel of.
  • Luminance noise The luminance signal after resolution is stored in the buffer 118. 2008/062872
  • the knot 118 is assumed to be able to write two noise-free signals, ie one-frame signal, which is noise-processed, that is, it can be written along withrind
  • the processing in the division extraction unit 111, the representative hue calculation unit 112, the alternative degree calculation unit 113, the color noise estimation & 70 color noise estimation 702, the luminance noise estimation 15116, the luminance noise calculation 703, and the calculation unit 700. Is performed synchronously at the commanding position under the control of the control unit 121.
  • the buffer 118 receives the luminance signal ⁇ after the luminance noise reduction processing and the color signals Cb, Cr, after the color noise reduction processing for the 2-field signal that has been processed. It will be.
  • the signal processing unit 119 performs, on the basis of the control of the control unit 121, the same B f processing, emphasizing processing, translation processing, and ⁇ ⁇ ⁇ ⁇ processing on the Y, Cb, and Cr ′ signals subjected to the noise processing. Perform processing, etc., and send to output unit 120.
  • the output unit 120 stores the image signal on a medium such as a magnetic disk or memory card.
  • Fig. 18 shows an example of the configuration of the color noise estimation 15701, and the configuration section 200 power S is omitted from the configuration of the color noise estimation 114 shown in Fig. 4; , A correction accounting unit 802 is configured.
  • the configuration is equivalent to that of the color noise estimation unit 114 shown in FIG. 4, and the same configuration is assigned the same name and number. Only the differences will be explained below.
  • the representative luminance calculation unit 113, the parameter R 0 M 201, the gain calculation unit 202, and the standard direct assignment unit 203 are connected to the parameter selection unit 204.
  • the representative item calculation unit 112 and the R0M 800 are connected to the correction selection unit 801.
  • the correction coefficient selection unit 801 and the noise correction unit 206 are connected to the correction coefficient multiplication unit 802.
  • the third accounting unit 802 is connected to the color noise unit 702.
  • the control unit 121 is bi-directionally connected to the measurement unit 801 and the correction accounting unit 802.
  • the parameter selection unit 204 receives representative brightness from the substitution degree calculation unit 113. 2872
  • the gain calculation unit 202 obtains the amplification amount in the amplifier 104 based on the ISO sensitivity and the 'f ⁇ related to the exposure condition from the control unit 121, and transmits it to the meter scale unit 204.
  • the control unit 121 obtains the value of the CCD 102 from the sensor 103 and sends it to the parameter distance unit 204.
  • the parameter measurement unit 204 uses the representative luminance #L from the male calculation unit 113 to the signal level 1, the gain ff from the gain calculation unit 202 to the gain g, and the overhead information from the control unit 121? Set t. Next, read the reference color noise model and the positive coefficient from the parameter R0M201.
  • FIG. 1 ⁇ has color x ⁇ Cr on the horizontal axis and color x ⁇ Cb on the vertical axis Red (R), magenta (Ma), blue (B), cyan (Cy), green (G (G) on the CrCb plane ) And yellow (Ye) are shown.
  • a configuration using 12 eyes with an intermediate hue range of the above 6 eyes, and a memory color such as skin color, sky blue, and plant color ⁇ a structure to TO the eye area And any other configuration is possible.
  • RGB red
  • o blue
  • G green
  • FIG. 19B shows the inflection point of the broken line of the selected reference color noise model.
  • the inflection point is represented by coordinate data (L n , CN n ) consisting of signal level L and color noise 4CN.
  • n indicates the number of inflection points.
  • a correction signal k sgt is also provided for deriving another color noise model having different color signals s, gain g, and «t from the upper-erasing quasi-color noise model with respect to the eye area to which the reference color noise model belongs. .
  • the 3 ⁇ 4 PE coefficient k sgt is calculated by the least squares method between each color noise model and the male noise model. Deriving the other color noise model from the reference color noise model is performed by multiplying the fresh color noise model by the 3 ⁇ 4 ft E sharp sgl mentioned above. Furthermore, as shown in FIG. 19 B, a correction processor 8 is also provided for converting the color noise model of the other hue area from the eye area to which the reference color noise model belongs.
  • the correction coefficient i 3 ⁇ 4 fl is calculated by the least square method in the same manner as the « ⁇ coefficient k sgt, and conversion is performed by multiplication.
  • the parameter R0M 201 recognizes the coordinate data (L n , C n ) and the positive coefficient k sgt of the quasi-color noise model described above.
  • 3 ⁇ 4E Kakari ⁇ R0M800 is saying the UeTakeshi Seikakari cut off e.
  • the parameter unit 204 searches which section of the signal level 1 force reference color noise model it belongs to, and reads the coordinate data of the section from the parameter R0M 201.
  • the corresponding ffiE relation is read from the color signal s, gain g, and.
  • the section of the reference color noise model is sent to the noise interpolation unit 205, and the capture relation 3 ⁇ 4 k sgt is sent to the noise ffi! E unit 206.
  • the noise interpolation unit 205 Based on the control of the control unit 121, the noise interpolation unit 205 generates signal level 1 from the parameter selection unit 204 and coordinate data (L n , CN n ) of the section and (L n + 1 , C 3 ⁇ 4) to (20) Based on the equation, the door color noise in the reference color noise model is calculated, and noise; 2008/062872
  • CN, CN . "— CNn (/-L n ) + CN n (20)
  • the L n + 1 -L n noise correction unit 206 Based on the control of the control unit 121, the L n + 1 -L n noise correction unit 206 generates the correction coefficient k sgt from the parameter selection unit 204 and the reference color noise * 0 from the noise reduction unit 205 (21 ) calculates color noisyzu amount SC S shown in formula.
  • This color noise amount SCNJ is the color noise amount in the hue range to which the reference color noise model belongs.
  • Correction coefficient selecting unit 801 under the control of the control unit 121, the representative color calculation unit 112 reads the representative eye your region from Reads a correction coefficient 3 ⁇ 4K e corresponding to representative hues control from the correction coefficient transliteration R0M800.
  • the ffi E clerk fl is ff !!
  • ToTadashigakari calculation unit 802 under the control of the control unit 121, (22) As shown in equation, the noise, the color noisyzu 4SCN S from 3 ⁇ 4IE portion 206, 3 ⁇ 4E engagement 3 ⁇ 4k from the correction coefficient # 51 selecting section 801
  • the color noise * CS is calculated by multiplying e .
  • the calculated color noise SCN S is sent to the color noise 702.
  • a reference color noise model is set for each of a plurality of hue areas, and a mode selected using representative hue control is used. It is also possible. Furthermore, as with the color noise estimation 114 shown in FIG. 6 in the first embodiment, a configuration using a look-up table is also possible. Conversely, the first real 62872
  • FIG. 20 shows an example of the configuration of color noise ⁇ S 3 ⁇ 470 2, which is composed of upper PS ffi ⁇ 15 900, buffer 901, pixel extraction unit 902, and subtraction unit 903.
  • the minute sleeper 111 extends to the pixel extraction unit 902, and the pixel extraction unit 902 extends to the buttock 903.
  • the calculation unit 700 and the color noise estimation unit 1501 are connected to the upper unit 900.
  • the upper layer ⁇ 900 is connected to the ridge portion 903 via the buffer 901.
  • the part 903 is connected to the buffer 118.
  • the control unit 121 is bi-directionally connected to the upper 900, the pixel extraction unit 902, and the dark portion 903.
  • the following description is given for the even field signal and the target pixel Y T 3 ⁇ 4 C r ⁇ 24 as shown in FIG. 17 ⁇ , but even for the even field signal and the target pixel Y T Cb T and the field signal The same holds true only for the configuration of the area.
  • CN2 cr one CN cr ( ⁇ CN or ⁇ ACr 24 )
  • Equation (23) means that the ⁇ ⁇ signal exceeds the amount of color noise ( ⁇ ⁇ signal is less than negative) ⁇ imposes a restriction with the amount of color noise as the upper limit. As a result, the motion component is removed from the 1 ⁇ 2 signal, and only the color noise component is obtained. Above second color noise * C 2 PT / JP2008 / 062872
  • the pixel extraction unit 902 reads the target pixel C r from the distribution unit 111 based on the control of the control unit 121 and proceeds to the calculation unit 903.
  • the subtraction unit 903 reads the target color C r from the pixel extraction unit 902 and the second color noise from the buffer 901, and performs an eyebrow processing between the two as shown in equation (24).
  • Do color noise iS ⁇ by doing.
  • Cr ⁇ 3 ⁇ 4 ' Cr T 3 ⁇ 4 one (24) of interest noodles Cr color noise ⁇ ®3 ⁇ 4 ⁇ 3 ⁇ 4 is made' is fiber to the buffer 118.
  • the second color noise amount is determined by performing upper measurement on the signal, and color noise reduction processing is performed by subtraction processing.
  • the present invention is limited to such a configuration. It does not have to be done.
  • the second color noise amount may be determined by replacing the word with a zero value, and color noise may be generated by coring thigh.
  • FIG. 21 shows an example of another configuration of color noise.
  • the color noise ⁇ circle around (4) ⁇ 4702 comprises a replacing unit 904, an average color calculating unit 905, a coring unit 906, and a buffer 907.
  • the distributing unit 111 is connected to the average color calculating unit 905 and the coring unit 906.
  • the average color calculation unit 905 is connected to the coring unit 906.
  • the scatter calculation unit 700 and the color noise estimation; 3 ⁇ 4 ⁇ 4701 are connected to the hard part 904.
  • the permutation unit 904 is connected to the coring unit 906 via the buffer 907.
  • the coring unit 906 is connected to the buffer 118.
  • the control unit 121 is bi-directionally ⁇ with a replacement unit 904, an average color calculation unit 905, and a coring unit 906.
  • the average color calculation unit 905 reads the color signal Cr Cr ⁇ in the area from the distribution unit 111 based on the control of the control unit 121, and calculates the average HAV_Cr.
  • tAV_Cr is ⁇ 3 ⁇ 4 into the coring unit 906.
  • the substitution unit 904 causes the diffusion calculation unit 700 to give ⁇ 1 ⁇ 2 shown in equation (19). 2008/062872
  • the signal Deruta0tau 3 ⁇ 4 reads the color noise from the color noise estimation (5701, a comparison of both upper Symbol comparison which determines a force not force absolute value of the signal Derutaomikurontau 3 ⁇ 4 is included color noisyzu 4CfU this in, delta Ci ⁇ C ⁇ or a ⁇ delta noisyzu outside for Cr, the C or> and the # ⁇ 1 or noise range of a Cr 3 ⁇ 4>.
  • ⁇ results ⁇ 1 ⁇ 2 signal ACr «
  • the coring unit 906 in the latter stage performs coring processing between the pixel of interest Cr T and the second color noise, so The reason is that nothing is done in the moving area.
  • the noise component is inconspicuous, and it is possible to cope with the above setting ⁇ .
  • the above arrangement is more difficult than the J Sf measurement process shown in Fig. 20, and the cost of the system can be reduced.
  • the second noise is sent to buffer 907.
  • Coring unit 906 under the control of the control unit 121, a pixel of interest 3 ⁇ 4 from the frequency ⁇ unit 111, the average ⁇ of No. Iroshin from the average color calculation unit 905
  • FIG. 22 shows an example of the configuration of the luminance noise ⁇ circle around (7) ⁇ , which is composed of the upper part of 1313;
  • the extracting unit 111 is connected to the pixel extracting unit 1002, and the pixel extracting unit 1002 is connected to the ridge unit 1003.
  • the upper 3rd half 1000 is connected to the first side 1003 via a buffer 1001.
  • the subtractor unit 1003 is connected to the buffer 118.
  • the control unit 121 is bi-directionally connected to the upper limit 31000, the pixel extraction unit 1002, and the ridge portion 1003.
  • the upper frame mOOO reads the luminance signal amount shown in equation (19) from the scatter calculation unit 700 and the luminance noise amount m from the luminance noise estimation 116, and compares the two.
  • Upper word ⁇ are to determine the force which the yarn tree value of 3 ⁇ 4 ⁇ degree signal ⁇ 24 is included in the luminance noise * ⁇ at determine shall, 3 ⁇ 4 ⁇ noise outside of AY ⁇ LN or a L ⁇ AY M, L>AY>-Let ⁇ of L be within the noise range.
  • LN 2 ⁇ 24 (LN> ⁇ 24 > One LN) ( 27 )
  • LN2 -LN (one LN ⁇ ⁇ 24 )
  • the equation (27) means that the age of the degree signal exceeds the amount of luminance noise (the negative signal is less than the value of the ⁇ 7 degree signal). By this, the motion component is removed from the ⁇ degree signal, and only the luminance noise component is obtained.
  • the above second luminance noise Sue is ⁇ 3 ⁇ 4 into ⁇ ⁇ ⁇ ⁇ 5 ⁇ .
  • the pixel extraction unit 1002 sends the target pixel ⁇ ⁇ 24 to the reading calculation unit 1003 from the distribution unit 111. ⁇ 1003, under the control of the control unit 121, the note target pixel Upsilon T 24 from the pixel extracting unit 1002, the buffer 1001 reads the second luminance noise * L 2, as shown in (28), We perform noise reduction by doing Fujitsu between both parties. ⁇ ⁇ 45-
  • the second luminance noise amount is determined by performing the upper determination on the language, and the luminance noise processing is performed by processing, and the data is generated.
  • FIG. 23 is a diagram showing an example of another configuration of the luminance noise reduction system 4703.
  • the luminance noise ⁇ ® ⁇ 703 includes a replacement unit 1004, a coring unit 1005, and a buffer 1006.
  • the heterogeneity calculation unit 113 shown in FIG. 16 is omitted.
  • the diversion part 111 and the decoration degree calculation part 113 are connected to the coring part 1005.
  • the scattering unit 700 and the luminance noise estimation unit 116 are connected to the replacement unit 1004.
  • the replacement unit 1004 is connected to the coring unit 1005 via the buffer 1006.
  • the coring unit 1005 is connected to the non-poor 118.
  • the control unit 121 is bi-directionally connected to the replacement unit 1004 and the coring unit 1005.
  • LN 2 ⁇ 2 (LN> ⁇ 24 > Primary LN) (29)
  • the coring unit 1005 in the latter stage performs coring processing between the pixel of interest and the second luminance noise * L 2.
  • the logic means that nothing is done in the moving area. In general, in the moving region, the ItSiJ ability in the high frequency region is visually reduced so that noise components are less noticeable, and even the above arrangement can be coped with. The above difficulties are more difficult than the upper setting processing shown in Fig. 2 and it is possible to reduce the cost of the system.
  • the obtained second luminance noise 3 ⁇ 4 L 2 is identified to the buffer 1006.
  • the coring unit 1005 receives the attention pixel ⁇ ⁇ from the diversion unit 111, the representative brightness f fiL from the degree calculation unit 113, and the second brightness noise * LN2 from the notch 1006. As shown in equation (30), luminance noise ⁇ is performed by coring.
  • ⁇ ' ⁇ 24 ⁇ ⁇ 24 + LN 2 (L-LN 2 ⁇ ⁇ 24 )
  • the pixel is stitched to the buffer 118 to the pixel of interest ⁇ ' where the luminance noise is made.
  • representative luminance values and representative hue values are determined in predetermined area units with respect to time-sequentially captured elephant signals, and representative luminance values and representative luminance values are obtained.
  • the color noise amount is adaptively estimated based on the eye value, and the motion component is removed from the color noise amount estimated for the 3 ⁇ 4 ⁇ signal obtained from the color signal of the past region where the noise has been made.
  • the system to calculate the color noise of This makes it possible to perform high-precision color noise, and high-quality image signals can be obtained.
  • the above-described color noise amount estimation process dynamically calculates ⁇ under different conditions for each expansion, and performs appropriate correction for each power range, so that highly accurate and stable color noise amount estimation becomes possible. Also, the color As far as the calculation of noise amount is carried out, the interpolation operation is a difficult task S, and the low cost H ⁇ of the system becomes possible. On the other hand, if the lookup table is ffled to calculate the color noise amount, it is possible to estimate the color noise amount at high speed.
  • the luminance noise amount is adaptively estimated based on the representative luminance value, and the motion component is removed from the luminance noise amount estimated with respect to the luminance signal obtained from the luminance signal of the past region subjected to noise reduction processing.
  • the luminance noise amount of 2 it becomes possible to carry out highly accurate luminance noise processing, and high quality image signals can be obtained.
  • the estimation process of the noise amount is performed dynamically under different conditions for each case, and the luminance noise model is used, so that it is possible to obtain a highly accurate and stable luminance noise amount.
  • ⁇ is relatively difficult, and enables speeding up and costing of the entire system.
  • the setting process enables easy control and improves operability.
  • using age to zero is relatively easy, and makes the whole system faster and more cost effective.
  • Luminance noise processing ⁇ processing is a line that makes it possible to increase the speed and cost of the entire system.
  • coring processing for luminance noise « ⁇ reason only the luminance noise component can be focused on, and integration with pixels other than luminance noise such as power edges can be ensured, so high quality An elephant signal is obtained.
  • an imaging element having a color-difference surface-type complementary color filter disposed on the front side affinity with the imaging system of eyelids is high, and combination with various systems becomes possible.
  • the color concealed complementary color filter is used as the image pickup element, but it is necessary to be limited to such a structure.
  • the 3 ⁇ 4 ⁇ calculation unit 700 is configured to obtain the ⁇ term from the signal one frame before.
  • a plurality of time-sequentially continuous image signals captured by a separate imaging unit are processed in raw Raw data form, Furthermore, it is also possible to process from the word saying the accompanying “lf3 ⁇ 4” such as the color filter of the CCD 102 and the exposure condition at 3 ⁇ 4 to the header. 008/062872
  • the force of hardware is not limited to such a configuration.
  • a plurality of time-series video signals from the CCD 102 are treated as unprocessed raw data, and the exposure at the time of the color filter of the control unit 121 to the CCD 102
  • Fig. 2 4 A shows the flow related to software processing of the age that causes the computer to renew the above signal processing Description of the key of each step below Note that the same step numbers are assigned to steps that perform the same processing as the flow of signal processing in the first mode shown in Fig. 15 A.
  • step S1 a plurality of elephant signals are assigned.
  • step S60 After reading header information such as the exposure condition at the time of and color filter ⁇ , the process proceeds to step S60 In step S60, from one video signal, that is, the frame signal, the ⁇ field signal and The field signal is sequentially extracted, and the process proceeds to step S2.
  • step S2 as shown in equation (17), the 1 ⁇ image signal is separated into a luminance signal and a color signal, and a predetermined size, for example, 5 ⁇ 5 pixels
  • step S3 the hue area shown in equation (18) is determined, and classified into the six hue areas shown in FIG.
  • step S4 the display luminance value is determined by calculating the average of the luminance signal of the region, and the process proceeds to step S61, and in step S61, the past field signal subjected to the noise fiber processing, In the present embodiment, the field signal of 2 fields past is input, and the process proceeds to step S 62.
  • step S 62 it is expressed by equation (19) between the field signal of and the past field signal subjected to noise processing. ⁇ ⁇ Degree signal Calculating the noise signal and proceeding to step S63
  • the color noise amount is estimated. It is chrysanthemum according to the flow of B.
  • step S64 the color noise is reduced. This process is performed in accordance with the flowchart of FIG.
  • step S7 the luminance noise amount estimation process is performed in the same manner as the luminance noise estimation in the form of 1 ⁇ 1 shown in FIG. 15D, and the process proceeds to step S65.
  • step S65 the luminance noise ⁇ ®) ⁇ ⁇ is performed. This process is chrysanthemum according to the flow in Fig. 24 D.
  • step S9 the noised color signal and the luminance signal are output and a step is performed. Go to S10.
  • step S10 it is determined whether or not the processing for all the areas in one video signal has been completed, and then completed! If it is determined that / is determined to be ⁇ , the process proceeds to step S2, and if it is determined that the process is completed, the process proceeds to step S11.
  • step S11 the same process, emphasizing process, gradation process, process and the like are performed, and the process proceeds to step S66.
  • step S66 one S signal (an elephant signal, ie, a frame signal, synthesized from the noise and odd field signals and the odd field signal is output, and the process proceeds to step S67.
  • step S67 all are performed. It is determined whether or not the processing for the field signal is completed, and if it is determined that it is not completed, the process proceeds to step S60, and if it is determined that it is completed, the process is ended.
  • Fig. 24 B relates to the color noise estimation process performed at step S63 in Fig. 24 A.
  • the same step numbers are assigned to steps performing the same process as the flow of the color noise estimation process in the form of 1 ⁇ 1 shown in FIG. 15B. The process of each step will be described below.
  • step S20 a separation such as gain is set from the read header information. However, if there is a required parameter in the header information, the class # ⁇ assigns a predetermined mark ' ⁇ PC leak 008/062872
  • step S21 a reference color noise model and a positive coefficient are input, and the process proceeds to step S23.
  • step S23 coordinate data of the section of the reference color noise model to which the representative luminance value belongs and the corresponding HE data are stored, and the process proceeds to step S24.
  • step S24 the reference color noise amount is determined by the interpolation processing expressed by equation (20), and the process proceeds to step S25.
  • step S25 the color noise amount is determined by the ffiE process shown in equation (21), and the process proceeds to step S70.
  • step S70 3 ⁇ 4 IE coefficients for converting the eye area are input, and the process proceeds to step S71.
  • step S71 the ffiE coefficient for converting the hue range is selected based on the representative hue value, and the process proceeds to step S72.
  • step S72 the color noise amount is corrected by the correction process shown in equation (22) using the selected ffiE coefficient, and the process proceeds to step S26.
  • step S26 the corrected color noise amount is output and the process ends.
  • Fig.24C shows the color noise processing performed at step S64 in Fig.24A. The same step numbers are assigned to steps performing the same processing as the flow of color noise in the second embodiment shown in FIG. 15C. The process of each step will be described below.
  • step S30 the color noise amount estimated in step S63 in FIG. 24 is input, and the process proceeds to step S80.
  • step S80 the ⁇ 1 ⁇ 2 signal shown in equation (19) is input, and the process proceeds to step S81.
  • step S81 on the basis of the color noise amount, the upper Pfif direct setting shown in equation (23) is performed on the ⁇ 1 ⁇ 2 signal to obtain a second color noise amount.
  • step S 82 color noise processing is performed by performing subtraction processing of the second color noise amount shown in equation (24) for the pixel of interest in the region, and the process proceeds to step S 33.
  • step S33 the process is finished by outputting the color signal subjected to the color noise.
  • Fig. 24 D is the luminance noise performed in step S65 of Fig. 24 A! It is a flow of science. The same step number is assigned to the step of performing the same process as that of the luminance noise in the form of 1 shown in FIG. 15E. The following explains each step.
  • step S50 the luminance noise amount estimated in step S7 of FIG. 24A is input, and the process proceeds to step S90.
  • step S90 the ⁇ 3 ⁇ 4 degree signal shown in equation (19) is input, and the process proceeds to step S91.
  • step S91 the upper noise level shown in equation (27) is set for the ⁇ degree signal based on the luminance noise amount, and the second noise amount is obtained.
  • step S92 by performing the second luminance noise amount represented by equation (28) for the target pixel in the area, the luminance noise iS! M is selected, and the process proceeds to step S53.
  • step S53 the boat noise is generated and the signal is output with the fe3 ⁇ 4 degree and the process ends.
  • the signal processing may be performed by software, and the same function and effect as the age processed by hardware can be obtained.
  • the force described in the respective forms of the present invention is merely an example of application of the present invention, and the scope of the present invention is limited to the specific configuration of the form of the cat. is not.
  • a part of the configurations described in the first form of difficulty and the second male form may be combined to form another configuration.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

撮像系から取り込まれた映像信号に対しノイズ低減処理を行う映像処理装置は、映像信号を輝度信号および色信号へ分離して、所定サイズの領域を順次抽出する分離抽出部（１１１）と、抽出された領域の輝度信号に基づいて、領域の代表的輝度値を算出する代表輝度算出部（１１３）と、領域の色信号に基づいて、領域の代表的色相値を算出する代表色相算出部（１１２）と、代表的輝度値および代表的色相値に基づいて、色ノイズ量を推定する色ノイズ推定部（１１４）と、推定された色ノイズ量に基づいて、領域の色信号に対して色ノイズ低減処理を行う色ノイズ低減部（１１５）とを備える。

Description

明 細 書 置およ ϋ¾¾^» 口グラム 鎌分野
本発明は、 撮像系に起因するランダムノィズの を行う g¾i»a¾置に係わり、 特に色ノィズ に関連する色ノィズ量の «を高精度化することで色ノィズ成分を 高精度に ί繊可能とする 置に関する。 背景鎌
撮纏子とそれに付随するアナログ回路および AZDコンバータ等から構成される撮像 系から得られる 象信号は、 一般にノイズ成分を含有する。 上記ノイズ成分は、 固定バタ ーンノイズとランダムノイズに; ^SIJできる。 固定パターンノイズは、 欠陥画素などに代表 される主に撮像素子に起因するノイズである。 一方、 ランダムノイズは撮像素子おょぴァ ナログ回路で発生するもので、 ホワイトノィズ特 f生に近、特 (·生を有する。
静止画像のランダムノイズの に関しては、 例えば特開 2001-175843号 〖 されるように、 象信号を輝度信号と色難号に分離し、輝度信号および色難号からェ ッジ弓艘を求め、 ェッジ部以外の領域にぉレ、て色^ f言号に 骨化処理を行う手法が開示さ れている。 これにより、 エッジ部を保存して平坦部のみに色ノイズ 理を行うことが 可 gとなる。
また、 特開 2005- 175718号公報に示されるように、 象信号を輝度信号と色 言号に分 離し、 所定領域単位で褲度ノイズ量および色ノイズ量を推定し、領域単位でノイズ ί赚処 理を行う例が開示されている。 これにより、領域ごとに: 5 化されたノイズ が可 能となる。
一方、 動画像におけるランダムノイズの Μ»としては、 時間軸方向の相関性を用い た巡回型のノイズ がある。 巡回型のノイズ は、 ^(象信号自体は過去の映 像信号と相関性が高く、 一方、 ランダムノイズは過去の 象信号と相関性が低いことを利 用し、 と過去の e¾ (象信号間にて 、処理を行うことでランダムノイズのみを抽出し、
Figure imgf000004_0001
ものである。
このような巡回型のノイズ ί® ^理としては、 例えば特開平 10 - 13734号公報では、 映 像信号から動き成分を検出し、検出された動き成分に基づいて、 散擁をおこなった信 号に财るリミット値と;)竊係数を制御する ^去が開示されている。 これにより、 動き成 分に起因する残像などの副作用を抑制したノイズ低減処理が可能となる。 また、 特開
2000-209507号 では散処理をおこなつた信^直から驟係数を制御する：^去が開示 されている。 これにより、 比較的少ない演算量で副作用を抑制したノイズ赚処理が可能 となる。 発明の開示
特開 2001-175843号公報では、 エッジ部]^の平坦な領域における色 言号に5 P 化処 理を行っているが、 上記平滑化処理は固定的に行われている。 しかしながら、 色ノイズ量 は信号レべノ 時の^^， ゲインなどにより異なるため、 骨化処理を髓に制御す ることはできない。 このため、 色ノイズ成分の残存や原信号の劣化など力 S発生するという ■がある。 また、 B寺間軸方向の相関性を用いた巡回型のノイズ 処理とは独立してお り、相互を纖に活用できないという誦がある。 P 漏 008/062872
- 3 - 特開 2005-175718号^ ¾では、領»位で色ノイズ量を信号レべノ1^¾時の？ 、 ゲ インに基づき している。 しかし、 色ノイズは色相域によりその発生量が異なるため、 推定される色ノィズ量は平均値的には正しレヽが、 個々の色相域単位では + な精度ではな い。 このため、 各色相域に最適な色ノイズ成分の 処理がなされないという,があ る。 また、 時間軸方向の相関性を用いた巡回型のノイズ 理とは独立しており、相互 を :1®に活用できないという がある。 特開平 10 - 13734号 では、動き成分を検出することで高精度なノイズ ί«βが可 能となる力 S、 一般に動き成分の検出処理は計算量が多く処理時間力 S長くなり、 システム全 体としてコストが高くなるという讓がある。 また、 動き成分とランダムノイズという性 質が異なる信号間の処理は、 制御のためのパラメータ設定が娜になり、 操作性が低下す るという がある。
特開 2000-209507号公報では、 ^«をおこなった信 値で制御を行うため計算量が 少なく低コス M匕が可能であるが、 動き成分とランダムノィズの分離精度が低く高品位な (象信号が得られなレ、という籠がある。 本発明は上記問題点に着目し、 信号レベル、 、 ゲインなどの動的に変化する 状 況ぉよ 色相域に対応した色ノィズ量の推定を行レヽ、 # 況のみならず色相域に: ¾ 化された色ノィズ を行うことで、 高品位な 象信号を得ることを目的とする。 本発明のある態様に係る 置は、撮舰から取り込まれた 象信号に対しノィ ズ を行う S¾f «^置であって、 ttflSI ^象信号を輝度信号および色信号へ分離し て、 所定サイズの領域を 次抽出する分离融出部と、 黼己分纖出部によって抽出された 領域の輝度信号に基づいて、 ΙϋΙΒ領域の代表的輝度値を算出する代飾度算出部と、 ΙΙίΙΒ 領域の色信号に基づいて、 爾己領域の代表的 目値を算出する代表色相算出部と、 Ι&Ϊ5代 2 一 4一
¾ ^度算出部によって算出された代表的^値およひ l&t己代表 fef目算出部によって算出さ れた代表的色相値に基づいて、 色ノイズ量を撤する色ノイズ推 と、 tfifB色ノイズ推 によって推定された色ノィズ量に基づ 、て、嫌己領域の色信号に対して色ノィズ赚 処理を行う色ノィズ«¾とを備えることにより、 した讓を解決する。 本発明の另 IJの: H にィ系る 置は、 撮 «から時系列的に取り込まれた 5¾f象信号 に対しノィズδ βを行う 置であって、 の!^象信号を輝度信号および色 信号へ分離して、 所定サイズの領域を順次抽出する分難出部と、廳己分難出部によつ て抽出された領域の輝度信号に基づレヽて、 ΙϋΐΗ領域の代表的輝度値を算出する代麟度算 出部と、 tfit己領域の色信号に基づいて、膽己領域の代表的 目値を算出する代雄相算出 部と、 in己代 »度算出部によって算出された代表的輝度値およひ mt己代表色相算出部に よって算出された代表的色相値に基づいて、 色ノイズ量を推定する色ノイズ推 と、 前 記領域の色信号およ υ¾ϋ!己領域に対応するノィズ 理がなされた過去の領域の色信号 から、 信号を算出する^ 信号算出部と、 tin己色ノイズ推^^こよって推定され た色ノィズ量おょひ窗己^ ^信号算出部によつて算出された¾^&信号に基づレヽて、 前 記領域の色信号に対して色ノイズ 理を行う色ノイズ とを備えることにより、 した廳を解決する。
本発明の別の態様に係る プログラムは、 撮 ί絲から取り込まれた S¾f象信号に対 しノィズ を行う Β¾ί繞理プログラムにぉレ、て、 ttlf己 象信号を輝度信号および色 信号へ分離して、所定サイズの領域を »次抽出する分纖出ステップと、謂己分纖出ス テツプにおいて抽出された領域の輝度信号に基づいて、 tiff己領域の代表的輝度値を算出す る代簿度算出ステップと、嫌己領域の色信号に基づいて、 tflt己領域の代表的 目値を算 出する代鋪相算出ステップと、 廳己代表的輝度値およひ mta代表的 目値に基づいて、 色ノィズ量を推定する色ノィズ推定ステップと、 t9f己色ノィズ推定ステップにおレヽて推定 された色ノィズ量に基づレ、て、 Ιϋΐ¾Β域の色ィ言号に対して色ノィズ 理を行う色ノィ ズ観ステップとを備えることにより、 ±¾&した廳¾ ^決する。
本発明の別の態様に係る 理プログラムは、撮 から時系列的に取り込まれた映 像信号に対しノイズ « ^理を行う S¾f 理プログラムであって、 雞の S¾象信号を輝度 信号および色信号へ分離して、所定サイズの領域を順次抽出する分謹出ステップと、 前 記分難出ステップにお！、て抽出された領域の輝度信号に基づ 、て、 歸己領域の代表的輝 度値を算出する代 算出ステップと、 編己領域の色信号に基づいて、肅己領域の代表 的色相値を算出する代 相算出ステップと、廳己代表的輝度値およひ lift己代表的 目値 に基づいて、 色ノイズ量を推定する色ノイズ推定ステップと、膽己領域の色信号およひ 記領域に対応するノィズ がなされた過去の領域の色信号から、 ^^信号を算出 する^ ½信号算出ステップと、 嫌己色ノィズ推定ステップにぉ ヽて推定された色ノィズ 量おょひ蕭己 ¾ ^信号算出ステップにおレ、て算出された^ ½信号に基づレ、て、 膽己領 域の色信号に対して色ノィズ«処理を行う色ノィズ ί赚ステップとを備えることによ り、 した, ¾τ ^決する。
本発明によれば、 所定サイズの領域ごとに代表的輝度値およ 弋表的色相値を求めて色 ノィズ量を推定し、 推定した色ノィズ量に基づレ、て色ノィズ «½理を行うので、 高精度 な色ノィズ «wを行うことができる。 図面の簡単な説明
図 1は、第 1の実施の形態における映 置の構成を説明するための図である 図 2 Aは、 ^ ヤー Ml ^色フィルタの構成を示す図である。 8 062872 一 6 - 図 2 Bは、輝度信号/色信号の分離および IS域の抽出に関する説明図である。
図 3は、 4つの色相域を説明するための図である。
図 4は、 色ノイズ推 |5の構成図である。
図 5 Aは、信号レベルに ¾ "る色ノィズ量の 系を示す図である。
図 5 Bは、 45° 、 135° 、 225° 、 315° の 4つの色相域における色ノイズ量をプロット した図である。
図 5 Cは、 色ノィズモデルの簡晰匕を説明するための図である。
図 5 Dは、簡易化された色ノイズモデルから、 色ノイズ量 CNSを算出する;^去を示す図 である。
図 6は、另 I避成の色ノイズ推 の構成図である。
図 7は、 色ノィズ ifii^の構成図である。
図 8 Aは、色ノィズ の別構成の一例を示す図である。
図 8 Βは、係翻 ROMに曾藤されて ヽるフィルタ係数の一例を示す図である。
図 8 Cは、 色ノイズ量 CNSとフィルタの觀 Type間の関係の一例を示す図である。
図 9は、 ノイズ推^ ¾の構成図である。
図 1 0は、另 ij構成の輝度ノイズ推; の構成図である。
図 1 1は、輝度ノイズ IS ^の構成図である。
図 1 2は、另 IJ構成の輝度ノイズ の構成図である。
図 1 3 Αは、 色謹 補色フィルタの構成を示す図である。
図 1 3 Bは、輝度信号 Z色信号の分離および領域の抽出に関する説明図である。
図 1 4は、第 1の! ¾feの形態における 置の別構成図である。
図 1 5 Αは、 第 1の ¾の形態における信号処理のフローのうち、 全体処理のフローで ある。
図 1 5 Bは、信号 のフローのうち、色ノィズ推定 «のフ口一である。
図 1 5 Cは、信号処理のフローのうち、色ノイズ 理のフローである。
図 1 5 Dは、 信号処理のフローのうち、輝度ノイズ推定処理のフローである。
図 1 5 Eは、信号; のフローのうち、輝度ノイズ のフローである。
図 1 6は、第 2の実施の形態における映 置の構成を説明するための図である。 図 1 7 Aは、色差線噴次型補色フィルタの構成を示す図である。
図 1 7 Bは、 織フィールド信号から輝度信号 Yと色信号 Cb、 Crを抽出した例を示す 図である。
図 1 7 Cは、微フィールド信号から輝度信号 Yと色 言号 Cb、 Crを抽出した例を示 す図である。
図 1 8は、第 2の の形態における色ノィズ推 15の構成図である。
図 1 9 Aは、棚を色信号 Cr、垂を色信号 Cbとする CrCb平面における赤 (R)、 マゼ ンタ (Ma)、青 (B)、 シアン (Cy)、緑 (G)、黄 (Ye)の各餅目域を示す図である。
図 1 9 Bは、 色ノィズ量の推定にっ、て説明するための図である。
図 2 0は、 第 2の の形態における色ノィズ の構成図である。
図 2 1は、第 2の の开纖において、 SIJ構成の色ノイズ の構成図である。 図 2 2は、第 2の の形態における輝度ノィズ«¾の構成図である。
図 2 3は、第 2の! ^の开$態において、別構成の) ノイズ の構成図である。 図 2 4 Aは、 第 2の難の形態例における信号処理のフローのうち、 全体処理のフロー である。
図 2 4 Bは、 第 2の^ ¾の形態例における信号 βのフローのうち、 色ノイズ推定処理 のフローである。
図 2 4 Cは、 第 2の の形態例における信号処理のフローのうち、 色ノィズ のフローである。
図 2 4 Dは、 第 2の! ^の形態例における信号処理のフローのうち、輝度ノィズ«½ 理のフローである。 発明を するための最良の开 n
以下、 滴寸図面を参照しながら、本発明の各難の形態について説明する。
一第 1の雄の形態一
図 1は、 本努明の第 1の の形態の構成図である。 レンズ 100、 絞り 101、 CCD102 を介して された ϊ¾ί象信号は、増幅器 （図中 "Gain" ) 104にて増幅され、 A/D コンパ ータ （図中 "A/D" ) 105にてデジタノ W言号へ ^される。 A/Dコンバータ 105からの §¾{象 信号は、 バッファ 106を介して分纖出部 111 ^¾される。
バッファ 106は、 プリホワイトパランス調整部 （図中 "PreWB" ) 107、 測光評価部 108、 点検出部 109へも纖されている。 プリホワイトバランス 107は増 Φ離 104へ、測光 B¾ 108は铰り 101、 CCD102、増幅器 104へ、 点検出部 109は AFモー タ 110へ接続されている。 分离融出部 111 は、 代表色相算出部 112、 代講度算出部 113、 色ノイズ 115、輝度ノイズ 117 ^¾されている。
代 ¾ ^目算出部 112は、 色ノイズ推^ ¾ 114および色ノイズ 115を介して、バッ ファ 118 ^続されている。 代講度算出部 113は、 色ノイズ 114、輝度ノイズ推 ¾ 116、輝度ノイズ雄 1 117 ^^^されている。 纖ノイズ推 116は、輝度ノィ ズ 117を介してバッファ 118 ^続されている。 バッファ 118は、信号処理部 119 続されている。 信号処理部 119は、 メモリカードなどの出力部 120に接続されてい る。
マイクロコンピュータなどの制御部 121は、増幅器 104、 A/Dコンバータ 105、 プリホヮ ィトパランス f|¾¾ 107、 測光識部 108、 点検出部 109、 分難出部 111、 代 ¾ ^目 算出部 112、 代 Λ度算出部 113、 色ノイズ推 13 114、色ノイズ 115、輝度ノイズ 推 15 116、輝度ノイズ 117、信号 «部 119、 出力部 120と双方向に換続されてい る。 また、 應スィッチ、 シャッターポタン、 時の各種モードの切り替えの設定を行 うためのィンターフェースを備えた外部 I/F部 122も制御部 121に双方向に »されてい る。 さらに、 CCD102の近傍に配置された センサ 103からの信号は、制御部 121 ^^^ されている。
続いて、信号処理の内容について説明する。
図 1を参照しながら、 g¾f象信号の を説明する。 外部 I/F部 122を介して ISO «な どの 条件を設定した後、 シャッタ一ボタンを しにすることでプリ撮像モードに入 る。 レンズ 100、絞り 101、 CCD102を介して された | ^象信号は、 アナログ信号とし て出力される。
なお、本 の形態においては、 CCD102 として^ fヤー （Bayer) 色フィルタを前 面に配置した稱反 CCDを想定する。 図 2 Aは、 ャー麵色フィルタの構成を示してレヽ る。 ヤー型は 2X2画素を¾«位とし、 赤 (R)，青 (B)フィルタが 1画素ずつ、 緑 (G) フィルタが 2画素配置される。
上記アナログ信号は増幅器 104にて所定 ftt|幅され、 A/Dコンバータ 105にてデジタル 信号へ変換されてパッファ 106 ϋされる。 バッファ 106内の 1«信号は、 制御部 121 の制御に基づき、 プリホワイトバランス調 107、 測光評価部 108および合焦点検出部 8 062872
- 10 -
109へ^!される。
プリホワイトバランス 107では、所定レベルの信号を色フィルタに対応する色信 号ごとに積算することで、 簡易ホワイトバランス係数を算出する。 上記係数を増幅器 104 へ^ ¾し、 色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。 測光 面部 108では、設定された ISO感度、 手ぶれ限界のシャッター體などを加味 し、 ¾E露光となるように、絞り 101や CCD102の電子シャツタ Η¾¾^ |ι畐器 10 の増 Φΐ率などを制御する。 点検出部 109は、 象信号中のエッジ鍵を検出し、 これが最 大となるように AFモータ 110を制御することで^!信号を得る。
続いて、 外部 I/F部 122を介してシャッターボタンを:^しにすることにより ^が 行われ、 ^(象信号はプリ撮像と同様にバッファ 106へ縫される。 は、 プリホワイ トバランス f¾tl5 107にて求められた簡易ホワイトパランス係数、 測光言¾¾¾ 108にて求 められた露) ^件、 、点検出部 109にて求められた^!^ f牛に基づき行われ、 これらの ¾ ^時の条件は制御部 121へ される。
分离難出部 111は、 制御部 121 の f IJ御に基づき、 象信号を輝度信号と色信号へ分離 し、 以後のノイズ 理の となる領域を縦次抽出する。 本 の形態においては、 輝度信号 γと色信号 Cb、 Crは、 Wャ一麵色フィルタに対して 2X2画素単位で算出さ れる。 例えば、 ¾、 G10 G01 Buの 2X2画素に関しては、 （1)式に示されるように、輝度信 号 Y∞と色信号 Cb∞, cr∞力 S算出される。 Yoo = (G10+G01)/2 Cboo = Bu一 Yoo (1)
C¾― ¾)— Yoo
また、 ノィズ繊 «の¾ ^となる領域としては、 図 2 Bに示されるように、輝度信号 08 062872
- 11 -
Y と色信号 Cb、 Crの組に関して、 2X 2画素を想定する。 以降は、 領域内の輝度信号を Y 色信号を ( 、 (iは X座標で i=0〜： 1、 jは Y座標で j=0〜： L) で表記する。 領域内 の輝度信号 ¾は、 代簿度算出部 113、離ノイズ «^ 117へ、 色信号 0¾、 0¾は、 代 ¾ ^目算出部 112、 色ノィズ 115 ^¾される。
代¾ ^目算出部 112は、 制御部 121の制御に基づき、 （2)式に示すように、 色信号 0¾、 の平均 AV— Cb、 AV— Crを求める。 ∑ ∑Cbi;j
AV Cb = ^i ^ ~~ f 、
一 (2)
∑∑¾
AV cr = ^i±^ ^
一 4 代¾ ^目算出部 112は、 さらに、 上記色信号の平均 AV— Cb、 AV— Crから、繊の代表的 目値 Hを求める。 本 の形態においては、代表的 目値として、 図 3に示される 4つ の細域のい "f bかを想定する。 図 3は、灘を色信号 Cr、繊を色信号 Cbとする CrCb 平面において、 0° 以上 90° 未満の色相域 （以後 45° の色相域と表記する） 、 90° 以上 180° 未満の色相域 （以後 135° の色相域と表記する） 、 180° 以上 270° 未満の色相域 (以後 225° の 目域と表記する） 、 270° 以上 360° 未満の 目域 （以後 315° の 目域 と表記する） の 4つの 目域を示している。 代 ¾ ^目算出部 112は、表 1に示されるよう に色信号の平均 AV— Cb、 AV__Crの正負に基づき、 上記 4つの色相域への分類を行う。
[表 1 ]
AV—Cb AV_Cr 色相域
正または零 正 4 5° の飾域
正 負または零 1 3 5° の飾域
負または零 貞 2 2 5° の飾域 2008/062872
- 12 - 正または零 3 1 5° の飾域 上記 4つの色相域への分!^果は、領域の代表的 目値 Hとして、 色ノイズ推 IU14 へ される。
一方、 代繊度算出部 113は、制御部 121 の制御に基づき、 （3)式に示すように、輝度 信号 ¾の平均 AV一 Υを求める。
AV Υ
Figure imgf000014_0001
(3)
一 4 上言満度信号の平均 AV一 Yは、領域の代表的輝度値 Lとして、 色ノイズ ¾^|Π14、輝度 ノィズ推 116、輝度ノィズ、«¾ 117へ転 される。
色ノイズ、ft¾¾ 11 は、制御部 121の制御に基づき、代¾^目算出部 112からの代表的 目値 Hおよ IK弋麵度算出部 113力、らの代表的輝度値 Lに基づき、色ノイズ量 C S (s= Cb、 Cr)を推定し、 色ノィズ ifi^l! 115 ^^する。 色ノィズ量 CNSの推 法にっレ、ては 後财る。
色ノイズ 115は、制御部 121の制御に基づき、色ノイズ推 15 114力 の色ノィ ズ量 CNSに基づき、 分瞧出部 111力らの領域の色信号 (¾、 CTijに対して色ノイズ 理を行う。 色ノイズの {«処»法については後述する。 色ノイズ 処理後の色信号 Cb， Cr' ^は、 バッファ 118 され保存される。 輝度ノイズ推; 116は、制御部 121の制御に基づき、 代麵度算出部 113力らの代表 的輝度値 Lに基づいて輝度ノイズ量 L を推定し、輝度ノイズ 117へ繊する。輝 度ノイズ«¾ 117は、制御部 121の制御に基づき、贿ノイズ推 116からの離ノ ィズ量^に基づいて、分難出部 111力、らの領域の赚信号 ¾に対して輝度ノイズ赚 鍵を行う。 輝度ノイズ 理後の輝度信号 Y， は、 バッファ 118へ され保存さ 62872
- 13 - れる。
なお、 した分誦出部 111、 代繊目算出部 112、代舊度算出部 113、色ノイズ推 & 114, 色ノイズ離 115、輝度ノイズ推 β 116、 および、輝度ノイズ 117に おける処理は、 制御部 121の制御に基づき、領域単位で同期して行われる。 1枚の映像信 号における^ tl域に文 る達が完了した時点で、 バッファ 118には、 ¾ ^された！ ^象信 号に関する輝度ノイズ低減処理後の輝度信号 Y' および色ノイズ低減処理後の色信号 Cb， 、 Cr' 力 することになる。
信号鍵部 119は、制御部 121の制御に基づき、輝度ノイズ iS W後の輝度信号 Y， および色ノイズ iS^W後の色信号 Cb， 、 Cr' を、摇絲本来の 象信号 （本難の形態 においては、 R、 G、 B信号） へ変換する。 例えば、 （1)式に示される輝度信号 Y∞に関する 輝度ノイズ 理後の輝度信号 Y' 00と、色信号 Cb∞、 Cr∞に関する色ノイズ! 後 の色信号 Cb， ∞、 Cr' ooに対しては、 （4)式に示されるように、 ノイズ 理後の R' oo、
G' oo、 B' oo信号へ変換される。
Λ οο = Cr oo + Y oo
G' oo = Y' oo (4)
D oo ~ Cb oo + Y oo
信号処理部 119は、 上記ノイズ がなされた R, 、 G, 、 B' 信号に対して の 強調鍵、 鍵、 縮麵などを行い、 出力部 120 ^¾する。 出力部 120は、 磁気 ディスクやメモリカードなどの言 媒体に 象信号を言 呆存する。
図 4は、 色ノイズ推 114の構成の一例を示すもので、 モデノ HI択部 200、 パラメ一 タ用 R0M201、 ゲイ 出部 202、標晴直付与部 203、パラメータ 尺部 204、 ノイズ補間 部 205、 ノィズ¾£部 206からなる。 代表色相算出部 112およびパラメータ用 R0M201は、 モデル選択部 200 へ接続してい る。 代繊度算出部 113、 モデノ«尺部 200、 ゲイン算出部 202、標溝直付与部 203は、 パ ラメ一タ遨尺部 204 ^^している。 パラメータ邀尺部 20 は、 ノイズ補間部 205および ノィズ «ΙΕ部 206 ^^してレ、る。 ノィズ補間部 205はノィズ捕正部 206へ、 ノィズ補正 部 206は色ノイズ 115 ^続している。 制御部 121は、 モデノ «部 200、 ゲイン 算出部 202、標 直付与部 203、 パラメータ還尺部 204、 ノイズ捕間部 205、 ノイズ ¾IE部 206と双方向に嫌されている。
モデ、ノ 択部 200は、 制御部 121の制御に基づき、 t¾^目算出部 112力ら領域の代表 的 目値 Hを読み 、 パラメータ用 R0M201力ら色ノイズ推定に用いる誘色ノイズモ デルを選択する。
図 5 A〜図 5 Dは、 »色ノイズモデルに関する説明図である。 図 5 Aは、信号レベル Lに る色ノィズ量 C をプロットして得られる曲線を示す図である。 図 5 Aに示すよう に、信号レベル Lに対して、 2次曲線的に増加している。 図 5 Aに示す曲線を 2次関数で モデル化すると、 （5)式が得られる。 （5)式において、 、 j3、 はそれぞれ定数項であ る。
CN = aL2 + J3L + γ (5)
しかしながら、 色ノイズ量 CNは、信号レベルだけではなく、撮像素子の やゲイン によっても変化する。 図 5 Aは、 一例としてある 下においてゲインに関連する 3觀 の ISO感度 100、 200、 400に る色ノィズ量をプロットしている。
また、 色ノイズ量 C は、 色相域に応じても変化する。 図 5 Βは、 45° 、 135° 、 225 ° 、 5。 の 4つの 目域における色ノイズ量をプロットしている。 個々の曲線は ( 式に 示される形態をしているが、 その係数はゲインに関連する ISO感度、 踏、 餅目域により 異なる。 ゲインを g、 を t、 目域を Θとし、 上記を考慮した形で色ノイズモデルの ^：化を行うと、 （6)式が得られる。
C = + β^Ι + 7 gte (6)
(6)式において、 ひ^、 8、 7 gt 0はそれぞれ、 ゲイン g、 S¾ t、 目域 Θに応じた定 数項である。 さらに、 （6)式に示される色ノイズモデルは、色信号 Cb と Crでニ觀雜 することになる。 以後、色信号 Cbの色ノィズ量を 、 色信号 Crの色ノィズ量を と し、 両者を CNS (s=Cb、 Cr)で表記する。 二翻の色信号に関して、 （6)式は以下のように なる。
(Es = a¾tflL2 + L + γ (7)
なお、 （7)式の関数を複¾»し、 その都度演算により色ノイズ量 CNSを算出することは 処理的に煩雑である。 このため、 図 5 Cに示すように、 特定の色相域単位で色ノイズモデ ルの簡晰匕を行う。 図 5 Cにおレ、ては、 ある 目域 Θにお 、て、最大の色ノィズ量を与え る色ノィズモデルを基準色ノィズモデルとして選択し、 これを所定数の折れ線で近似す る。 $¾τ線の変曲点は、信号レベル Lと色ノイズ量 CNeからなる座標データ (Ln, CNan)で表 す。 ここで、 nは変曲点の数を示す。
また、 上言 Ε£ί色ノイズモデルから他の色ノイズモデルを導出するための赃係数 sgt B も用意される。 ¾E係数 ksgteは、各色ノイズモデルと薄色ノイズモデル間から最小自乗 法により算出される。 講色ノィズモデルから他の色ノィズモデルを導出するには、 基準 色ノィズモデルに上曾 SUE係数 ksgteを乗算することで行われる。
図 5 Dは、 図 5 Cに示" Tffi易化された色ノイズモデルから、 色ノイズ量 C Sを算出する 去を示している。 例えば、 与えられた信号レベルが 1、 ゲインが g、 が t、 目域が Θに対応する色ノィズ量 CNSを求めることを想定する。 まず、 目域 Θに対応する »色 2008/062872
- 16 - ノィズモデルおよ Ό¾係数 ksgteを顧する。 次に信号レベル 1力腳色ノイズモデルのどの区間に属するかを探針る。 ここでは、 (Ln， CNen)と (Ln+1， CNentl)間の区間に属するとする。 御色ノイズモデルにおける講色ノ ィズ量 0¾を、 （8)式に示すように、線开湖間にて求める。
CN, = CNen+1一 CNe。（/- lJ+ CNen (8)
Ln+1 - 次に、 （9)式に示すように、求めたノイズ量 0¾に¾£係数! ¾eを乗算することで、 色ノ ィズ量 C Sを求める。
Figure imgf000018_0001
パラメータ用 R0M201 は、 複数の 目域 0に対応する »色ノイズモデルの座標データ (Ln, CNJおよ «正係数 ksgt eを記録している。 モデゾ《！択部 200は、 代表色相算出部 112力ら領域の代表的 目値 Hに基づき 目域 0を求め、求めた 目域 Θに対応する基準 色ノイズモデルおよ υ¾係数をパラメータ用 ROM201カゝら読み出す。 読み出された鮮 色ノィズモデルおよ Ό¾Ε係数は、パラメ一タ邀尺部 204へ^^される。 ゲイン算出部 202は、 制御部 121力ゝら される ISO感度および露條件に関する†謙 に基づき増 104における増幅量を求め、ノ ラメータ激尺部 204 ^^する。 また、制 御部 121は、 センサ 103から CCM02の S¾†ff|を得て、 これをパラメータ邀尺部 204 へ^!する。
ノ、。ラメータ激尺部 204は、 制御部 121の制御に基づき、 代繊度算出部 113力 の代表 的輝度値 L力 信号レベル 1を、 ゲイ 出部 202力らのゲインの '歸からゲイン gを、 制御部 121カ^の '|f¾から ΐを設定する。 次に、 信号レベル 1力 S属する区間の座 標データ (Ln， CN8n)と（Ln+1, 。Νθη+1)を探索し、 これをノイズ補間部 205 ヘ^!する。 さら 2008/062872
- 17 - に、 ¾E係数 ksgteを探索し、 これをノイズ ¾Ε部 206 する。 ノイズ補間部 205は、制御部 121の制御に基づき、 パラメータ選択部 204からの信号レ ベル 1および区間の座標データ (Ln, C en)と ( CNfln+1)から (8)式に基づき、 鮮色ノィ ズモデルにおける »色ノィズ量 CNXを算出し、 ノィズ補正部 206へ繊する。 ノィズ¾£部 206は、 制御部 121の制御に基づき、パラメータ 31ί尺部 204からの ¾Ε係 数 kS8teおよびノイズ補間部 205力らの講色ノイズ量 から (9)式に基づき、 色ノイズ量 CNSを算出する。 算出された色ノィズ量 C Sは、 色ノィズ«¾ 115 される。 なお、 上記色ノイズ量算出の過程において、 t， ゲイン gなどの f謙を職ごとに 求める必要はない。任意の 定の標 直） を標 直付与部 203に曾藤させておき、 t， ゲイン gなどの' fffftを算出する過程を省略する構成も可能である。 これにより、 高 化などが できる。 さらに、 上言 成で ^色ノイズモデルに基づき色ノイズ量を補間演算により算出す る構成となっていたが、 このような構成に限定される必要はない。 例えば、 ルックアップ テープノレを用いる構成も可倉 gである。 図 6は、 色ノィズ推 114の別構成の一例を示すもので、 図 4に示す色ノィズ推 114におけるモデノ^31択部 200、 パラメータ用 ROM201、 パラメータ選択咅 15 204、 ノイズ捕 間部 205、 ノイズ ¾E部 206力 S省略され、 ノイズテーフ 207力 ¾ ¾口された構成となつ ている。 ¾Φ«成は図 4に示す色ノイズ推 15 114と同等であるため、 同一の構成には同 一の名称と番号を割り当てている。 以下、 異なる部分のみ説明する。 代 目算出部 112、 代^ t算出部 113、 ゲイン算出部 202、標稱直付与部 203は、 ノ ィズテープノ |5 207 してレヽる。 ノィズテーブル部 207は、色ノィズ、{S^¾ 115 ^ 続している。 制御部 121は、 ノイズテープ 207と双方向に嫌されている。 2872
- 18 - ノイズテープ 207は、 制御部 121の制御に基づき、 代¾ ^目算出部 112力 ら領域の 代表的 目値 Η、 代 ¾@度算出部 113から領域の代表的輝度値レ ゲイン算出部 202から ゲイン g、 制御部 121力 の tを読み込む。 ノイズテープ、ノ 207は、 、 信^ f直 レベル、 およびゲインとノイズ量との関係を記録したルックアップテーブルを有してい る。 このルックアップテーブルは、 図 4に示す色ノイズ推^ ¾ 114力 S色ノイズ量を算出す る 去と同等の手法により構築されて!/、る。
ノイズテープ 207は、 上記代表的 目値 Η、 代表的輝度値レ ゲイン g、 ？ tに基 づレ、て、 ルツクァップテーブルを参照することにより、 色ノィズ量 CNSを求める。 ノイズ テーブル部 207で求められた色ノィズ量 CNSは、 色ノィズ 115 される。
なお、 上記色ノイズ難出の過程において、 ¾ ゲイン gなどの' (^を膨ごとに 求める必要はない。 任意の†*# (pj定の標 直） を標 直付与部 203に言藤させておき、 算出過程を省略する構成も可能である。 これにより、 高 化など力 S難でき る。
続いて、 色ノイズ 115につい Τ|¾ する。 図 7は、 色ノイズS^IS 115の構成の 一例を示すもので、 平均色算出部 300およびコアリング部 301からなる。
分難出部 111は、 平均色算出部 300およびコアリング部 301 ^^镜している。 色ノィ ズ推定部 114および平均色算出部 300は、 コアリング部 301 ϋ売している。 コアリング 部 301は、 バッファ 118 ^^している。 制御部 121は、 平均色算出部 300、 コアリング 部 301と双方向に嫌されている。
平均色算出部 300は、 制御部 121の制御に基づき、 分難出部 111から色信号 0¾、 Cr^. を読み込む。 この後、 （4)式に示される色信号の平均 AV— Cb、 AV_Crを算出し、 コアリング 部 301へ転送する。 コアリング部 301は、 制御部 121の制御に基づき、 分离融出部 111から色信号 0¾、 C を、 平均色算出部 300力ら色信号の平均 AV一 Cb、 AV_Crを、 色ノイズ 114から色ノ ィズ量 C Sを読み込む。 この後、 （10)式、 （11)式に示されるコアリング鍾を行い、 色ノ ィズ がなされた色信号 Cb， Cr， を求める。
Cb， ij = Cbij - CNcb (Cbu≥ AV_Cb + CNcb)
Cb' ij = AV_Cb (AV_Cb + CNob > Cbij > AV_Cb - CNcb) 0)
Cb' ij = Cbij + CNcb (AV— Cb - CNor≥ Cbu)
Cr, ij = Cnj 一 CNcr (Ci-ij ≥ AV— Cr + CNcr)
Cr' ij = AV— Cr (AV一 Cr + CNcr > Cnj > AV— Cr— CNor)
Cr' ij = Crij + CNcr (AV_Cr 一 CNcr≥ Cbij) 色ノイズ {»2¾がなされた色信号 Cb， 、 Cr' は、 バッファ 118 され保存さ れる。
なお、 上言 at成では、 コアリング処理により色ノイズの を行う構成となっていた 力 このような構成に限定される必要はなレ、。 例えば、 ローパスフィルタを用いたフィル タリング処理により色ノイズの低減を行う構成も可能である。 ローパスフィルタを用いた フィルタリング処理により色ノィズの ίΙ¾を行う例を図 8 A〜図 8 Cを参照しながら説明 する。
図 8 Aは、 色ノイズ 115の別構成の一例を示している。 なお、 図 8 Aに示す色ノ ィズ膽 115では、 色ノィズ WWの纖となる画素は、 図 2 Bに示されるように 2 X2画素であるが、 フィルタリング 理のため、 周囲画素を含め 4X4画素を入力するもの とする。
色ノイズ iS^f 115は、 係 R0M302, フィノレタ邀尺部 303、 フィノレタリング部 30 か らなる。 色ノイズ 114およ 翻 R0M302は、 フィルタ藤部 303 ^¾铳してい る。 分難出部 111およびフィルタ選択部 303は、 フィルタリング部 304 ^^続してい PC漏 008/062872
- 20 - る。 フイノレタリング部 304は、 バッファ 118 ^铳している。 制御部 121は、 フイノレタ選 択部 303、 フィゾレタリング部 30 と双方向に換镜されて ヽる。 フィルタ職部 303は、 制御部 121の制御に基づき、 色ノイズ推 13 114から色ノイズ 量 C Sを読み込む。 その後、 上記色ノイズ量 CNSに基づき、 係画 R0M302力らローパスフ ィルタ処理に用いるフィルタ係数を ¾尺して読み込む。 図 8 Bは、 係 R0M302 に曾 2^されているフィルタ係数の一例を示すもので、 サイズ が 3X3画素で、 Typel~Type4までの 4觀の周波数特 I1生が言 されている。 なお、 德 数は 128倍されている。 Typelは高周波成分を残存し、 Typel, Type2、 Type3、 Type4へと JllT次、 高周波成分を抑制する周波数特性となっている。 フィルタ邀尺部 303は、 色ノィズ量 CNSから Typel〜Type4の周波数特 1"生を 尺する。 こ の選択は、 例えば図 8 Cに示される色ノィズ量 CNSとフィルタの Type間の関係に基づ き行われる。 色ノイズ量 カ大きいほど、 高周波成分を抑制する周波数特 I"生が選択され ることになる。 選択されたフィノレタ係数は、 フィノレタリング部 304へ^!される。 フィルタリング部 304 は、 制御部 121 の制御に基づき、 分難出部 111 から色信号 Cb （ および周囲画素を読み込み、 フィルタ邀尺部 303力 のフィルタ係数を用いてフ ィルタリング処理を行う。 フィルタリング処理により色ノィズが低減された色信号 Cb， u、 Cr' υは、 バッファ 118 され保存される。 図 9は、 輝度ノイズ ¾¾¾ 116の構成の一例を示すもので、 ゲイン算出部 400、 標 直 付与部 401、 パラメータ用 R0M402、 パラメータ選択部 403、 ノイズ補間部 404、 ノイズ補 正部 405からなる。 代簿度算出部 113、 ゲイン算出部 400、 標簡直付与部 401、 パラメータ用 R0M402は、 パラメータ激尺部 403 ^^続している。 ノ ラメータ邀尺部 03は、 ノイズ補間部 404およ 2008/062872
- 21 - びノィズ ffi!E部 405 ^镜している。 ノィズ補間部 404はノィズ； HE部 05へ、 ノィズ捕 正部 405 ¾βノイズ 117 ^^している。 制御部 121は、 ゲイ ^出部 400、標 直付与部 401、パラメータ邀尺部 403、 ノイズ補間部 404、 ノイズfcE部 405と双方向に 镜されている。
パラメータ遨尺部 03は、 制御部 121の制御に基づき、 代麵度算出部 113から代表的 輝度値 Lを読み込む。 ゲイン算出部 400は、制御部 121力 ^ ¾される ISO感度および露 光条件に関する情報に基づいて、 増幅器 104における増幅量を求め、 パラメータ選択部 403 ^¾する。 また、制御部 121は、 センサ 103から CCD102の S¾'(tfRを得て、 こ れをパラメータ選択部 403へ する。 パラメータ選択部 403は、代麵度算出部 113力、ら代表的嫩値 L、 ゲイ 出部 400 力 のゲインの情報、 制御部 121力 の? '隨に基づき、輝度ノイズ量 LNを推定す る。 輝度ノイズ量 LNの推定^去は、 »的には、 図 5 A〜図 5 Dを用いて説明した色ノ ィズ量の推 ¾¾¾と同等である。 図 5 Aに示される色ノイズの例と同様に、輝度ノイズ も信号レベル Lに対して 2次曲線的に増加し、 これを (12)式に示すように、 2次関数でモ デルイ ることができる。 （12)式において、 α、 ]3、 γはそれぞれ 項である。 IN = alz + βΙ + γ (12) しかしながら輝度ノイズ は、信号レベルだけではなく、撮 ί纏子の やゲインに よっても変はる。 離を t、 ゲインを g とし、 上記を考慮した形でモデルの^;化を行 うと、 （13)式が得られる。 m = a l + B , +ygt (13) ここで、 α≠, β ^, γ はそれぞれ、 ゲイン g、 ¾ tに応じた 項である。 色ノィ ズと同様に、 （13)式の関数を複歸己録し、 その都度演算により輝度ノイズ] ^を算出する 008/062872
- 22 - ことは^!的に!)； である。 このため、輝度ノイズ'モデ'ノレの簡 Β&ί匕を行う。 最大の輝度ノィズ、量を与える輝度ノィズ、モデ、ノレを基準輝度ノィズモデルとして選択し、 これを所 の ί¾τ線で ϋ£似する。 折れ線の変曲点は、信号レベル L と輝度ノイズ量 L 力 なる座標データ (Ln， n)で表す。 ここで、 nは変曲点の数を示す。 また、 上織準輝 度ノィズモデルから、 他の輝度ノィズモデルを導出するための補正係数 1¾も用意され る。 補正係数 1¾は、 各輝度ノイズモデルと基準輝度ノイズモデル間から最小自乗法によ り算出される。 基準輝度ノイズモデルから他の輝度ノイズモデルを導出するには、 »輝 度ノイズモデルに上言 3¾E係数 1¾を乗算することで行われる。 簡易化された輝度ノィズモデルから輝度ノィズ量を算出する方法を以下に示す。 例え ば、 与えられた信号レベル 1、 ゲイン g、 « tに対応する纖ノィズ量 L を求めること を想定する。 まず、信号レベル 1力 s鮮輝度ノイズモデルのどの区間に属するかを探^ る。 ここでは、 (Ln, LNn)と (Ln+1, LfU間の区間に属するとする。 鮮輝度ノイズモデルに おける挪輝度ノィズ量 ^は、 (14)式に示すように、線應間にて求める。
LN; = LNn+1 -LNn (/ _L + LNn (1 4)
Ln+1一 次に、 （15)式に示すように、求めた講輝度ノイズ量 1^に¾£係数 を乗算すること で、輝度ノイズ量 L を求める。
1^ = 1^· ^ (15)
パラメータ用 R0M402は、 上言 3¾準輝度ノィズモデルの座標データ (Ln， L n)およ Ό¾正係 斷 を記録している。 ノ ラメータ選択部 403は、 代飾度算出部 113からの代表的輝度 力 信号レベル 1を、 ゲイン算出部 400からのゲインの '[f#からゲイン gを、 制御部 121から の ' から離 tを設定する。 次に、信号レベル 1力 S属する区間の座標データ (Ln， L n) 8 062872
- 23 - と（ ， L n+1)をパラメータ用 R0M402から探索し、 これをノイズ補間部 404^¾する。 さ らに、 補正係数 をパラメータ用 R0M402から探索し、 これをノイズ補正部 405ヘ^!す る。
ノィズ補間部 404は、 制御部 121の制御に基づき、 パラメータ選択部 403からの信号レべ ル 1および区間の座標データ (Ln, LNn)と (Ln+1, LN^)から（14)式に基づき、 基準輝度ノイズ モデルにおける ¾ ^輝度ノィズ ¾L^を算出し、 ノィズ ffi!Eき！ ¾05^¾する。 ノイズ補正部 405は、 制御部 121の制御に基づき、 パラメータ選択部 403からの補正係数 lVおよぴノィズ捕間部 404からの基準輝度ノィズ *^から（15)式に基づき、輝度ノィズ量 を算出する。 上講度ノイズ細は、輝度ノイズ «¾117へ される。 なお、 上言 度ノイズ量算出の過程において、 figt、 ゲイン gなどの '»¾を¾ごとに 求める必要はない。 任意の情報を標簡直付与部 401に記録させておき、 算出過程を省略す る構成も可會である。 これにより、 高 «^¾、m¾化などが »できる。 なお、 上 |E«成では、鮮輝度ノイズモデルに基づき輝度ノイズ量を補間演算により算 出する構成となっていたが、 このような構成に限定される必要はない。 例えば、 ルックァ ップテープ'ノレを用いる構成も可能である。 図 1 0は、 輝度ノィズ推定部 116の別構成の一例を示すもので、 図 9に示す輝度ノィズ 推 ^^116におけるパラメータ用 R0M402、 パラメータ選択部 403、 ノイズ'補間部 404、 ノィ ズ補正部 405カ省略され、 ノイズテーブル部 406が 口された構成となっている。 成 は図 9に示す輝度ノィズ推 ¾¾116と同等であり、 同一の構成には同一の名称と番号を割 り当てている。 以下、異なる部分のみ説明する。
代 度算出部 113、 ゲイン算出部 400、標溝直付与眘 P401は、 ノイズテーブル部 406へ接 続している。 ノイズテーブル部 406は、輝度ノイズ繊部 117へ接続している。 制御部 121 は、 ノイズテープノ 406と双方向に換镜されている。
ノイズテーブル部 406は、 制御部 121の制御に基づき、 代 ¾ ^度算出部 113から領域の代 表的輝度 、 ゲイン算出部 400からゲイン g、 制御部 121からの? ttを読み込む。 ノイズ テープ、ノレ音 IM06は、 ？¾、信"^直レべノレ、 およびゲインとノイズ量との関係を記録したル ックアップテーブルを有している。 このルックアップテーブルは、 図 9に示す輝度ノイズ 推 ¾¾116が輝度ノィズ、細を算出する手法と同等の 去により構築されてレヽる。
ノイズテーブル部 406は、 代表的輝度 #1、 ゲイン g、 に基づいて、 ノレックアップテ 一ブルを参照することにより、 輝度ノイズ ¾Lを求める。 ノイズテーブル部 406で求めら れたき輝度ノイズ は、輝度ノイズ {«¾117^¾される。
なお、 上言 度ノイズ量算出の過程において、？ t、 ゲイン gなどの'赚を娜ごとに 求める必要はない。 任意の情報 （所定の標、 直） を標衝直付与部 401に曾 させておき、 算出過程を省略する構成も可能である。
続いて、輝度ノイズ «¾117について説明する。 図 1 1は、輝度ノイズ {赚|5117の構 成の一例を示すもので、 コアリング部 500からなる。 分離抽出部 111、 代表輝度算出部 113、 輝度ノイズ推 13116は、 コアリング部 500へ接続している。 コアリング部 500は、 パ ッファ 118^镜している。 制御部 121は、 コアリング部 500と双方向に換镜されている。 コアリング部 500は、 制御部 121の制御に基づき、 分纖出部 111から輝度信号 を、 代
^度算出部 113から代表的輝度 を、輝度ノィズ推 S¾ i6から輝度ノィズ 4Lを読み 込む。 この後、 （16)式に示されるコアリング処理を行い、輝度ノイズ" ¾^理がなされた 輝度信号 Y， uを求める。
Y， ij = Yy一 LN (Yij≥ L + LN)
Y' ij = L (L + LN > Yij > L - LN) (16)
Y' ij = Yij + LN (L - LN≥ Yij) 62872
- 25 - 輝度ノイズ ί¾^βがなされた輝度信号 Y， は、 バッファ 118へ され保存される。 なお、 上 13»成では、 コアリング処理により輝度ノイズの ί«を行う構成となっていた 力 このような構成に限定される必要はない。 例えば、 ローパスフィルタを用いたフィル タリング βにより輝度ノイズの を行う構成も可能である。
図 1 2は、輝度ノィズ赚部 117の別構成の一例を示す。 なお、 図 1 2に示す輝度ノィ ズ^ ¾117では、輝度ノィズ の となる画素は、 図 2 Βに示されるように 2Χ 2画素であるが、 フィルタリング処理のため、 周囲画素を含め 4X4画素を入力するものと する。
輝度ノイズ鎌部 117は、係画 R0M501、 フィルタ選択部 502、 フィルタリング部 503か らなる。 輝度ノイズ推定部 116およ 数用 R0M501は、 フィルタ選択部 502へ接続してい る。 分議出部 111およびフィルタ選択部 502は、 フィルタリング部 503へ接続している。 フィルタリング部 503は、 バッファ 118へ接続している。 制御部 121は、 フィルタ選択部 502、 フィルタリング部 503と双方向に接続されている。 なお、 図 1 2に示す輝度ノイズ低 總 117の構成では、 図 1に示される代講度算出部 113からの入力 f 、要としないため省 略している。
フィルタ選択部 502は、 制御部 121の制御に基づき、 輝度ノイズ推 15116から輝度ノィ ズ SLを読み込む。 その後、 上 ΙΕ»度ノイズ *LMこ基づき、係關 R0M501からローパスフ ィルタ処理に用いるフィルタ係数を選択して読み込む。 フィルタ係数としては、 図 8 Bに 示される係数など力 S使用される。 フィルタ選択部 502は、輝度ノイズ に基づきフィル タ係数を邀尺する。 この選択は、 例えば図 8 Cに示される色ノイズ量とフィルタの 間 の関係と同様に行われる。 選択されたフィルタ係数は、 フィルタリング部 503へ され る。 2
- 26 - フィルタリング部 503は、 制御部 121の制御に基づき、 分難出部 111から輝度信号 お よび周囲画素を読み込み、 フィルタ選択部 502からのフィルタ係数を用いてフィルタリン グ麵を行う。 フィルタリング処理により輝度ノイズが赚されd^度信号 Y' は、 パッ ファ 118へ^!され {呆存される。
した第 1の の开態の構成により、 所定領域単位に代表的輝度値およ 弋表的色 相値を求め、 代表的輝度値およ 弋表的色相値に基づき、適用的に色ノイズ量を求める映 {»蝶置が »できる。 これにより、 高精度な色ノイズ «wを行うことが可能とな り、 高 な I ^象信号が得られる。
上記色ノイズ量の推定処理は、膨ごとに異なる条件に動的に «し、 力つ飾域ごと に異なる挪色ノイズモデルを用いるため、 高精度力つ安定的な色ノイズ量の推定が可能 となる。 また、 色ノイズ量の算出に補間演算を棚する齢は、補間演算は難が線で あり、 g¾f»a¾置の低コスト化が可能となる。 一方、色ノイズ量の算出にルックアップ テープノレを する ^は、 高速な色ノィズ'量の推定が可肯 となる。
色ノイズ 理にコアリング処理を用いる は、 色ノイズ成分のみを重点的に纖 でき、 カゝっエッジなどの色ノイズ以外の画素との連続性が確保できるため、 高口 立な 象 信号が得られる。 一方、 色ノイズ繊鍵にフィルタリング処理を用いる は、 色ノィ ズ成分のみを重点的に繊でき、高品位な 象信号が得られる。 また、 ローパスフィルタ は難が比較的 で、 I^W^置全体の高速化およ確コスト化を可能とする。
また、 代表的輝度値に基づき、 適用的に輝度ノイズ量を推針ることで高精度な輝度ノ ィズ観処理を行うことが可能となり、 高品位な 象信号が得られる。 上言 度ノイズ量 の推定処理は、膨ごとに異なる条件に動的に し、 力 基準輝度ノイズモデルを用い るため、 高精度かつ安定的な輝度ノイズ量の推定が可能となる。輝度ノイズ量の算出に補 2008/062872
- 27 - 間演算を価する^^は、補間演算は難が線であり、 繞 «置の低コスト化が可 能となる。 一方、輝度ノイズ量の算出にルックアップテーブルを使用する^^は、 高速な 輝度ノィズ量の推定が可能となる。
輝度ノィズ ffi^理にコアリング処理を用いる^ 1ま、輝度ノィズ成分のみを重点的に «でき、 力つエッジなどの輝度ノイズ以外の画素との 镜性が確保できるため、 高品位 な 1¾ί象信号が得られる。 一方、 輝度ノイズ赚処理にフィルタリング処理を用いる は、輝度ノイズ成分のみを重点的に赚でき、 高品位な S ^象信号が得られる。 また、 ロー パスフィルタは難が比較的容易で、 置全体の高速化およ コスト化を可能 とする。
また、 ^^ヤー醒色フィルタを前面に配置した撮 ί纏子を用いるため、 献の撮像系 との親和'性が高く、 多様なシステムとの組み合; ¾ "が可能となる。
なお、 した第 1の麵の形態では、撮像素子として^ fヤー 色フィルタを用 、 る構成となっていたが、 このような構成に限定される必要はなレ、。 例えば、 図 1 3Aに示 される色^!)頃次型捕色フイノレタを用いることも可 であるし、 二板， 三板撮 i ¾子の利 用も可能である。
図 1 3 Aは、色^) 111»補色フィルタの構成を示す。 色^)噴^^:は 2X2画素を基 本単位とし、 マゼンタ (Mg)、 緑 (G)、 イェロー (Ye)、 シアン (Cy)が 1画素ずつ配置され る。 ただし、 Mgと Gの位置はラインごとに反転している。 色^)頼次型補色フィルタの場 合、 分纖出部 111は、 2 2画素単位で輝度信号？と色信^(¾、 Crを算出する。 例えば、 MgTO、 G1Q、 Ye01, Cyuの 2X2画素に関しては、 （17)式に示されるように、輝度信号 Υ∞と色信 ^•Cb∞、 Cr∞が算出される。 8 062872
- 28 -
Y。o = Mg00 + Gio + Ye0i + Cyu
Cb00 = Mg。。 + Cyu 一 Gio 一 Ye01 (17)
Cr00 = Mg00 + Ye0i 一 G10 一 Cyu また、 ノイズ の となる領域としては、 図 1 3 Bに示されるように、輝度信 号 Yと色信 ^€b、 Crの組に関して、 2X2画素を用いる。
なお、 上記難の形態では、 代表色相算出部 112での代表的色相御の算出時に、 （2)式 に示される色信号の平均を、 代舊度算出部 113での代表的輝度修の算出時に、 （3)式に 示される輝度信号の平均を用いる構成となってレ、た力 このような構成に限定される必要 はない。 例えば、 ローパスフィルタ処理による «I波成分を使用する構成や、 バイラテラ ルフィルタ （Bilateral filter) のような適用的なフィルタ処理を^ fflする構成も可能で ある。 この 、 代表的色相御および代表的輝度 の算出精度および安定性が向上し、 高精度な色およぶ) ¾gのノィズ量の推定が可能となる。
また、 上記難の形態では、 1枚の s¾i象信号に ¾ "る処理を説明したが、 上記処理を連 続的に行うことで動画 にも することが可能である。
さらに、 上述した第 1の実施の形態では、 ノィズ ί«処理を行う構成がレンズ系 100、 絞り 101、 CCM02、 温度センサ 103、 増幅器 104、 A/Dコンバータ 105、 プリホワイトパラン ス ϋ¾¾107、 測光 tt部 108、 ^1点検出部 109、 AFモータ 110からなる撮像部と一体化し た構成になっていたが、 このような構成に限定される必要はなレ、。 例えば、 図 1 4に示さ れるように、 別体の撮像部で撮像された 象信号を未処理の Rawデータ形態で、 さらに CCD102の色フィルタゃ 時の露光条件などの付随情報をへッダ部に言 した言 媒体か ら達をすることも可能である。
図 1 4は、 第 1図に示す構成から、 レンズ系 100、 絞り 101、 CCD102、 温度センサ 103、 増幅器 104， A/Dコンバータ 105、 プリホワイトパランス調 ¾¾107、 測光評価部 108、 合焦点 検出部 109、 AFモータ 110を省略し、 入力部 600、 ヘッダ†鎌角晰部 601を働口した形態とな つている。 成は図 1に示 Hi成と同等であり、 同一の構成には同一の名称と番号を 割り当てている。 以下、異なる部分のみ説明する。
入力部 600は、 バッファ 106およ ッダ隋報角晰部 601^続している。 制御部 121は、 入力部 600、ヘッダ情報角浙部 601と双方向に接続している。 マウス、 キーボードなどの外 部 I/F部 122を介して m¾作を開始することで、言 媒体に保存された ^(象信号およ ッダ歸が入力部 600から読み込まれる。
入力部 600からの g¾f象信号はパッファ 106へ、 へッダ情報はへッダ情報^部 601ヘ^^ される。 ヘッダ議靳部 601は、 ヘッダ 報から娜時の'歸を抽出して制御部 121へ転 送する。 以後の纖は、 図: U¾^1t成で行われる達と同等である。
また、 上記雞の形態では、ハードウェアによる処理を It ^としていたが、 このような 構成に限定される必要はない。 例えば、 CCD102からの ¾¾ί象信号を未処理のままの Raw^— タとして、 制御部 121から CCD102の色フィルタゃ ί|¾時の露光条件などの付随情報などを ヘッダ »#として出力し、 別途ソフトウェアにて処理する構成も可能である。
図 1 5 Αは、 上記信号処理をコンピュータに 亍させる^のソフトウェア鍵に関す るフローを示している。 以下、各ステップの画について説明する。
ステツプ S1では、 映象信号およぴ色フィルタゃ ¾時の露光条件などのへッダ情報を読 み込んで、 ステップ S2に進む。 ステップ S2では、 象信号を (1)式に示されるように輝度 信号と色信号に分離し、所定サイズ、 例えば 2X2画素の領域単位で歐抽出して、 ステツ プ S3に進む。 ステップ S3では、 （2)式に示される色信号の平均を求め、 表 1に示される色 相域へ分類することで、 ί弋表的 "^目値を求める。
ステツプ S4では、 （3)式に示される輝度信号の平均を求めることによつて代表的輝度値 2008/062872
- 30 - を求めて、 ステップ S5に進む。 ステップ S5では、 色ノイズ量の推定処理を行う。 この は、 後财る図 1 5 Bのフローに従って節される。 ステップ S6では、 色ノイズの を行う。 この処理は、 後 ¾E1 "る図 1 5 Cのフロー に従って 亍される。 ステップ S7では、 輝度ノィズ量の推定処理を行う。 この処理は、 後旨る図 1 5 Dのフ ローに従って紫亍される。 ステップ S8では、 輝度ノイズの 理を行う。 この処理は、 後 る図 1 5 Eのフロ 一に従って菊亍される。 ステップ S9では、 ノイズ 理がなされた色信号およひ 度信号を出力して、 ステツ プ S10に進む。 ステップ S10では、 1枚の g¾f象信号における全ての領域に る処理が完了 した力 かを判断し、 完了していないと判断した^ 1まステップ S2へ進み、 完了したと判 断した^はステップ S11へ進む。 ステップ S11では、 （4)式に示されるように、 撮像系本来の 象信号へ変換し、 の強 調処理， ^IS処理， 処理等を行って、 ステップ S12に進む。 ステップ S12では、 処理が 完了した^ (象信号を出力して、 終了する。 図 1 5 Bは、 図 1 5 Aのステップ S5におレ、て行われる色ノィズ推定処理に関するフロー である。 以下、 各ステップの について説明する。 ステップ S20では、 読み込まれたヘッダ情報から温度、 ゲインなどの情報を設定して、 ステップ S21に進む。 ただし、 ヘッダ情報に必要なパラメータが しなレ、 は、 所定 の標、衝直を割り当てる。 ステップ S21では、 全ての色相域に る複数の基準色ノイズモ デルお 係数を入力して、 ステップ S22に進む。 ステツプ S22では、 代表的色相値に基づき、 基準色ノィズモデルおよ υ¾正係数を選択 2008/062872
- 31 - して、 ステップ S23に進む。 ステップ S23では、 代表的輝度値が属する 色ノイズモデル の区間の座標データおよび対応する補正係数を選択して、 ステップ S24に進む。 ステップ S24では、 （8)式に示される補間纏にて細色ノイズ量を求めて、 ステップ S25に進む。 ステップ S25では、 （9)式に示される捕正処理にて色ノイズ量を求めて、 ステップ S26に 進む。 ステップ S26では、 色ノイズ量を出力して終了する。 図 1 5 Cは、 図 1 5 Aのステップ S6におレヽて行われる色ノィズ«処理に関するフロー である。 以下、 各ステップの処理について説明する。 ステップ S30では、 図 1 5 Aのステップ S5で推定された色ノィズ量を入力して、 ステッ プ S31に進む。 ステップ S31では、 （2)式に示される色信号の平均を算出して、 ステップ S32 に進む。 ステップ S32では、 （10)式、 （11)式に示されるコアリング処理を行って、 ステツ プ S33に進む。 ステップ S33では、 色ノイズ ffi 処理がなされた色信号を出力して終了す る。 図 1 5 Dは、 図 1 5 Aのステツプ S7におレ、て行われる輝度ノィズ、推定処理に関するフ口 一である。 以下、 各ステップの連について説明する。 ステップ S40では、 読み込まれたヘッダ情報から 、 ゲインなどの情報を設定する。 ただし、 ヘッダ情報に必要なパラメータが存在しない は、 所定の標輔を割り当て る。 ステップ S41では、 基準輝度ノイズモデルおよ Ό¾係数を入力して、 ステップ S42に 進む。 ステップ S42では、 代表的輝度値が属する基準輝度ノィズモデルの区間の座標データお よび対応する補正係数を選択して、 ステップ S43に進む。 ステップ S43では、 （14)式に示さ れる捕間処理にて基準輝度ノイズ量を求めて、 ステップ S44に進む。 ステップ S44では、 (15)式に示される; HE にて輝度ノイズ量を求めて、 ステップ S45に進む。 ステップ S45 P 画 008/062872
- 32 - では、輝度ノイズ量を出力して終了する。
図 1 5 Eは、 図 1 5 Aのステップ S8におレ、て行われる輝度ノィズ、 に関するフ口 一である。 以下、 各ステップの処理について説明する。
ステップ S50では、 図 1 5 Aのステップ S7で推定された輝度ノィズ量を入力して、 ステ ップ S51に進む。 ステップ S51では、 代表的輝度値を入力して、 ステップ S52に進む。 ステ ップ S52では、 （16)式に示されるコアリング処理を行って、 ステップ S53に進む。 ステップ S53では、輝度ノィズ {©»理がなされた道信号を出力して終了する。
このように、信号処理をソフトウェアにより行う構成としてもよく、ノヽードウエアによ り連する と同じ作用効果が奏される。
一第 2の の形態一
続いて、本発明の第 2の の形態について説明する。 図 1 6は、 第 2の実施の形態の構成図である。 本実施の形態は、 図 1に示す第 1の実施 の形態における構成に、 算出部 700が 口され、 色ノイズ推 力 S色ノイズ推 701へ、 色ノイズ «¾115が色ノイズ®^ 702へ、輝度ノイズ ¾¾¾1Γ7が輝度ノイズ低 灘 03へ置換された構成になっている。 ¾Φ«成は第 1の建の形態と同等であり、 同 一の構成には同一の名称と番号を割り当てている。 以下、異なる部分のみを説明する。 分 «出部 111は、代表色相算出部 112、代 度算出部 113、 ^"算出部 700、 色ノイズ 観部 702、輝度ノイズ赚部 703へ接続されている。 代表色相算出部 112は、 色ノイズ推 ¾¾701、 色ノイズ {¾»702を介して、バッファ 118^^されている。 代 度算出部 113は、 色ノイズ推 ¾¾701、 輝度ノイズ推 15116へ接続されている。 輝度ノイズ推定部 116は、 輝度ノイズ «部 703を介して、 バッファ 118へ接続されてい る。 ノ ッファ 118は、 信号処理部 119および散算出部 700へ接続されている。 ^^算出部 2008/062872
- 33 -
700は、 色ノイズ |g^¾702およぴ輝度ノイズ «¾5703^镜されている。 制御部 121は、 ¾ ^算出部 700、 色ノイズ推; ¾^701、 色ノイズ «¾5702、輝度ノイズ ifi¾15703と双方向 に されている。
続レヽて信号処理の内容にっ 、て説明する。 基本的に第 1の実施の形態と同等であるの で、異なる部分のみ説明する。
図 1 6を参照しながら、 ！¾{象信号の流れを説明する。 外部 I/F部 122を介してシャッター ボタンを押すことで撮像モードに入る。 レンズ系 100、 絞り 101、 CCD102を介して され た 象信号は、 アナログ信号として所定時間間隔で灘的に出力される。
なお、 本雄の形態においては、 また、 CCD102としては、 色纖 I1T次型捕色フィルタを 前面に配置した戦反 CCDを想定する。 図 1 7 Aは、 色細噴次型補色フィルタの構成を示 している。 色讓噴 ¾fo ^は 2 X 2画素を 位とし、 シアン (Cy)、 マゼンタ (Mg)、 イエ ロー (Ye)、 緑 (G)が 1画素ずつ配置される。 ただし、 Mgと Gの位置はラインごとに反転して いる。
CCD102からの 象信号は、 図 1 7 Aに示されるように上下のライン力幼ロ算され、 籠ラ インと ラインに分離した 2つのフィールド信号（«フィールド信号と奇数フィール ド信号） から構成される。 また、 上記所定時間間隔として 1/60秒 （以後は 1フィールド時 間と表記する） を想定するが、 1/60秒に限定されることはない。 βおよび »フィール ド信号を合成することで 1枚の 象信号が得られるが、 1枚の^ (象信号をフレーム信号と 表記する。 上記フレーム信号は、 1/30秒間隔で合成されることになる。 CCD102からのアナログ信号は増幅器 104にて所定 *i幅され、 A/Dコンバータ 105にてデ ジタノ W言号へ変換されてバッファ 106へ される。 ノ ッファ 106は、 2フィールド信号、 すなわち 1フレーム信号を言 可能で、 にともなレ、順 ¾ 書きされることになる。 バ 2872
- 34 - ッファ 106内のフレーム信号は、 制御部 121の制御に基づき、所定のフレーム時間間隔で間 欠的にプリホワイトバランス調整部 107および測光評価部 108および合焦点検出部 109へ転 送される。 分睡出部 111は、制御部 121の制御に基づき、 偶数および ¾mフィールド信号を (17)式 に示されるように、輝度信号 Yと色信^ Cb、 Crへ変換する。 その後、 以後のノイズ難処 理の となる注目画素および注目画素の近傍に位置する近麵素からなる領域を) I1T次抽 出する。 本難の形態においては、領域として 5X5画素を想定する。 ただし、輝度信号 Y は 5X5画素全てに する力 色信 、 Crは 5X3画素または 5X2画素となる。 図 1 7 B、 図 1 7 Cは、 »：および ¾フィールド信号から抽出された領域の一例をそ れぞれ示して 、る。 図 1 7 Bは、 «フィールド信号から輝度信号 Yと色信 " Cb、 Crを抽 出した例を示している。 色^ ί言^ Crは 5 X 3画素、 色 言^ ¾は 5 X 2画素となる。 この場 合、 ノィズ繊処理の纖となる注目画素は輝度信号 Yと色信^ Crで、 色信^ Cbは となる。 なお、 注目画素位置が異なれば、 上記とは逆に色 言 が し、 色割言 "¾ r が ϊ¾しなレ、例も発生する。 図 1 7 Cは、 奇数フィールド信号から輝度信号 Yと色割言号 Cb、 Crを抽出した例を示 す。 色^ ί言^ Cbは 5X3画素、 色^ f言^ Crは 5X2画素となる。 この^、 ノイズ 理の ¾ ^となる注目画素は輝度信号 Υと色信^ "Cbで、 色信^ Crは ¾f ^となる。 なお、 注目画 素位置が異なれば、 上記とは逆に色割言^ Crが械し、 色難^ Cbが雜しなレ、例も発生 する。 以降は、 時刻 Tにおける領域内の輝度信号を Υ 、 色信号を Cb 、 CrT u (ifま X座標で i=0〜 4、 jは Y座標で偶数フイ^"ルド信号の は j =0、 2、 4、 6、 8、 奇数フィールド信号の場 合は 1、 3、 5、 7、 9、 kは Y座標で偶数フィールド信号の ^»k=0、 4、 8または k=2、 6、 8 062872
- 35 - フィールド信号の^ ^は k=3、 7または k=l、 5、 9、 1は Y座標で βフィールド信号の は 1=2、 6または 1=0、 4、 8、 奇数フィールド信号の場合は 1=1、 5、 9または 1=3、 7) で 表記する。
注目画素値は、 偶数フィールド信号の場合、 輝度信号が Υτ、 色信号が C r T または CbT ¾、 フィールド信号の:！^、輝度信号が 、 色信号が C r ^または CbT 25となる。 以後 の説明は、 図 1 7 Bに示されるような偶数フィールド信号かつ注目画素が YT 24、 C r τに関 して行う力 «フィールド信号かつ注目画素力 、 Cb ¾¾フィールド信号に関して も領域の構成が異なるだけで同様に成立する。
領域内の輝度信号 Υτ は、 代表輝度算出部 113、 輝度ノイズ低減部 703へ、 色信号 Cb^ Cr^は代表色相算出部 112、 色ノイズ低減部 702へ転送される。 代表色相算出部 112 は、 制御部 121の制御に基づき、色信号 CrT uの平均 AV— Cb、 AV_Crを求める。 さらに、 上記色信号の平均 AV_Cb, AV_Crから、 （18)式によって、領域の 目域 0を求める。
Θ = tan ^V.Cb/AV^r) (18)
本難の形態においては、 代表的色相値として、 後财る図 1 9 Aに示される 6つの色 相域のいずれかを想定し、 （18)式で得られた 目域 Θ力 S上記 6つの色相域のいずれに属す るかを判 ることで、領域の代表的色相御を得る。 代表的"^目御は、 色ノイズ推 13 701^¾される。
一方、 代表輝度算出部 113は、 第 1の難の形態と同様に、 輝度信号 Υ の平均 AV— Yを求 め、 代表的輝度 Lを得る。 代表的輝度紘は、 色ノイズ推 15701、輝度ノイズ推^ ¾116 へ^ ¾される。 色ノイズ推 ¾¾701は、 制御部 121の制御に基づき、 代表色相算出部 112か らの代表的色相御および代講度算出部 113からの代表的輝度慨に基づき、 色ノイズ量 CNS (s=Cb、 Cr)を推定し、 色ノイズ «¾702へ^ する。 JP2008/062872
- 36 - なお、 標明では、 図 1 7 Bに示される βフィールド信号かつ注目画素力 SYT ¾、 C r T ¾ を想定しているが、 この は色ノィズ のみが推定される。 輝度ノイズ推 ¾¾116は、 制御部 121の制御に基づき、 代講度算出部 113からの代表的 輝度 iilLに基づき輝度ノィズ SLNを推定し、輝度ノィズ {S ¾703へ^ ¾する。 差分算出部 700は、 制御部 121の制御に基づき、 分離抽出部 111から領域内の注目画素 を、 ノ ッファ 118から 2フィールド前のノイズ低減処理がなされた領域内の注目画素を読 み込み、 ^^度信号 ΔΥ、 信号厶 Cb、 を算出する。 ここでは、 偶数フィール ド信号かつ注目画 «Υτ、 C r を想定しているため、 分誰出部 111から YT 24、 CrT ¾を、 バッ ファ 118から Y， T—2 24、 Cr， τ— 2 ¾を読み込む。 その後、 （19)式より、 両者の^ S度信号厶 ¾ およひ^ &信号 ACrを算出する。
ΔΥ24 = Υ½ ― Υ' τ-¾4 ( 1 9)
厶 Cr24 = CrT 24 一 Cr， τ— ¾4 度信号 ΔΥίί^度ノィズ«¾703へ、 信号 ACbまたは ACrは色ノィズ{赚 部 702^1される。 色ノイズ «部 702は、 制御部 121の制御に基づき、 色ノイズ推 ¾¾701からの色ノイズ 量および散算出部 700からの色信号の^ 言号に基づいて、 分難出部 111からの領域の 注目画素の色信号に対して色ノイズ 理を行う。 色ノイズ 理後の色信号は、 バ ッファ 118^¾され保存される。 輝度ノイズ繊部 703は、 制御部 121の制御に基づき、 輝度ノイズ推 mi6からの輝度 ノィズ量および 算出部 700からの輝度信号の散信号に基づレ、て、 分難出部 111から の領域の注目画素の鍵信号に対して輝度ノイズ 理を行う。 輝度ノイズ «^理後 の輝度信号は、 バッファ 118へ繊され保存される。 2008/062872
- 37 - ノ ッファ 118は、 ノィズ«処理がなされた 2ブイ一ノレド信号、 すなわち 1フレーム信 号を言藤可能で、 »にともない 書きされることを想定する。
なお、 上述した分离融出部 111、 代表色相算出部 112、 代講度算出部 113、 色ノイズ推 & 70 色ノイズ«^702、輝度ノイズ推 15116、輝度ノイズ {«^703、 算出部 700における処理は、 制御部 121の制御に基づき、領鮮位で同期して行われる。
員域に する処理が完了した時点で、 バッファ 118には、 ίϋίされた 2フィールド信 号に関する輝度ノィズ低減処理後の輝度信号 Υ， および色ノィズ低減処理後の色信号 Cb， 、 Cr， が することになる。 信号処理部 119は、 制御部 121の制御に基づき、 上記ノ ィズ麵処理がなされた Y， 、 Cb， 、 Cr' 信号に対して、 の同 B f匕処理、 強調処理、 翻処理、歸処理などを行い、 出力部 120へ する。 出力部 120は、磁気ディスクゃメ モリカードなどの |5¾媒体に 象信号を言 »呆存する。
図 1 8は、 色ノイズ推 15701の構成の一例を示すもので、 図 4に示す色ノイズ推 114の構成からモデノ 択部 200力 S省略され、 捕正係数用 ROM800、 補正係麵択部 801、 補 正係縣算部 802が勒口された構成になっている。 成は、 図 4に示す色ノイズ推定 部 114と同等であり、 同一の構成には同一の名称と番号を割り当てている。 以下、 異なる 部分のみ説明する。
代表輝度算出部 113、 パラメータ用 R0M201、 ゲイン算出部 202、 標 直付与部 203は、 パ ラメータ選択部 204へ接続している。 代表 目算出部 112およ Ό¾ΙΕ係翻 R0M800は、補正 係麵択部 801へ接続している。 補正係数選択部 801およびノイズ補正部 206は、 補正係数 乗算部 802へ接続している。 ¾Ε係聽算部 802は、 色ノイズ繊部 702へ接続している。 制御部 121は、 ¾Ε係^ 1ί尺部 801、補正係聽算部 802と双方向に接続されている。
パラメータ選択部 204は、 制御部 121の制御に基づき、 代纏度算出部 113から代表的輝 2872
- 38 - 度修を読み込む。 ゲイン算出部 202は、 制御部 121から される ISO感度およぴ露條件 に関する' f鎌に基づき、増幅器 104における増幅量を求め、 ノ メータ潘尺部 204へ^ す る。 制御部 121は、 センサ 103から CCD102の を得て、 これをパラメータ遠尺部 204へ する。 パラメータ遨尺部 204は、 代雄度算出部 113からの代表的輝度 #Lから信号レベル 1を、 ゲイン算出部 202からのゲインの†f¾からゲイン gを、 制御部 121からの赌情報から? t を設定する。 次に、 パラメータ用 R0M201から基準色ノイズモデルおよ Ό¾正係数を読み込 む。 ここで使用される講色ノィズモデルおよ ϋ¾正係数は、 図 5に示 1の難の形 態における基準色ノィズモデルおよ Ό¾Ε係数と若干異なる形態を想定するため、 以下で 説明する。 図 5にお！/、ては、 複数の色相域ごとに基準色ノィズモデルが設定され、代表的色相御 を用レ、て謝尺する形態となつてレ、た。 以下では、 図 1 9 Α、 図 1 9 Βに示されるように、 全ての色相域に対して共通に使われる単一の基準色ノィズモデルを用いる形態を使用す る。 図 1 9 Αは、横軸を色信 ^Cr、 縦軸を色信^ Cbとする CrCb平面における赤 (R)、 マゼン タ (Ma)、 青 (B)、 シアン (Cy)、 緑 (G)、 黄 (Ye)の各色相域を示す。 第 2の実施の形態におい ては、 目域として、 図 1 9 Aに示される 6つの^ =目域を想定する。 なお、 上記のような 6つの 目域に限定される必要はなく、 低コスト化を優先するため 赤 (R)、 青お)、 緑 (G)の 3つの色相域を TOする構成や、 高精度化を優先させるため、 上 記 6つの 目域の中間の色相域を加えた 12の 目域を使用する構成や、肌色、 空色、植物 の などの記憶色に関する^ :目域を TOする構成など、任意の構成が可能である。 上記 6つの色相域に関して、 図 5 B、 ひ)式に示されるように、 個々の色ノイズモデル 2872
- 39 - 力 S ¾する。 これらの全ての色ノィズモデルから最大の色ノィズ量を与える色ノィズモデ ルを »色ノイズモデルとして凝尺し、 これを ¾:の ί^ 泉で近似する。 図 1 9 Bは、選択された基準色ノイズモデルの折れ線の変曲点を示す。 変曲点は、信号 レベル Lと色ノイズ 4CNからなる座標データ（Ln, CNn)で表す。 ここで、 nは変曲点の数を示 す。 また、 上滅準色ノイズモデルから、 基準色ノイズモデルが属する 目域に関して、 色信号 s、 ゲイン g、 «tが異なる他の色ノイズモデルを導出するための補正係数 ksgtも用 意される。 ¾PE係 ¾ksgtは、各色ノイズモデルと雄色ノイズモデル間から最小自乗法によ り算出される。 基準色ノイズモデルから他の色ノイズモデルを導出するには、 鮮色ノィ ズモデルに、 上言 ¾ftE係鋭 sglを乗算することで行われる。 さらに、 図 1 9 Bに示されるように、 基準色ノイズモデルが属する 目域から他の色相 域の色ノィズモデルを^ ¾するための補正係斷8も用意される。 補正係 i¾flは、 «ΙΕ係数 ksgtと同様に最小自乗法により算出され、乗算することで変換が行われる。 パラメータ用 R0M201は、 上言 Β¾準色ノイズモデルの座標データ (Ln, C n)およ υ¾正係数 ksgtを識している。 また、 ¾E係關 R0M800は、 上雄正係斷 eを言 している。 パラメータ 部 204は、信号レベル 1力基準色ノイズモデルのどの区間に属するかを探 索し、 区間の座標データをパラメータ用 R0M201から読み込む。 ここでは、 (Ln, C n)と（Ln+1, CNn+1)間の区間に属するとする。 また、 色信号 s、 ゲイン g、 から対応する ffiE係微 を読み込む。 基準色ノイズモデルの区間はノイズ補間部 205へ、 捕正係 ¾ksgtはノイズ ffi!E 部 206へ ¾ される。 ノイズ補間部 205は、 制御部 121の制御に基づき、 パラメータ選択部 204からの信号レべ ル 1および区間の座標データ (Ln, CNn)と (Ln+1, C¾)から (20)式に基づき、 基準色ノイズモ デルにおける扉色ノィズ細，を算出し、 ノィズ; lilE部 206へ^^する。 2008/062872
- 0 -
CN, = CN。"— CNn (/-Ln)+ CNn (20)
Ln+1 - Ln ノイズ補正部 206は、 制御部 121の制御に基づき、 パラメータ選択部 204からの補正係数 ksgtおよぴノィズ捕間部 205からの基準色ノィズ *0 から、 （21)式に示される色ノィズ量 SC Sを算出する。 この色ノイズ量 SCNJま、 基準色ノイズモデルが属する色相域での色ノィ ズ '量となる。
Figure imgf000042_0001
補正係数選択部 801は、 制御部 121の制御に基づき、 代表色相算出部 112から領域の代表 的 目御を読み込み、 補正係翻 R0M800から代表的色相御に対応する補正係 ¾keを読み 込む。 ffiE係 flは、 ffi!E係匿算部 802^ 1される。
捕正係 算部 802は、 制御部 121の制御に基づき、 （22)式に示すように、 ノイズ、¾IE部 206からの色ノィズ 4SCNSに、補正係 #51択部 801からの ¾E係 ¾keを乗算することで、 色 ノイズ *C Sを算出する。
C s = ke- SCNs (22)
算出された色ノィズ SCNSは、 色ノィズ 702へ される。
なお、 上記色ノイズ量算出の過程において、 ¾gt、 ゲイン gなどの情報を ごとに求 める必要はない。 任意の情報 （所定の標 直） を標衝直付与部 203に記録させておき、 温 度 t、 ゲインなどの' lf¾を算出する過程を省略する構成も可能である。
また、 第 1の ¾feの形態における図 4に示される色ノイズ推 ¾¾114と同様に、 複数の 色相域ごとに基準色ノイズモデルが設定され、 代表的色相御を用いて選択する形態を使 用することも可能である。 さらに、 第 1の ¾ϋの形態における図 6に示される色ノイズ推 ¾¾114と同様に、 ルックアップテーブルを使用する構成も可能である。 逆に、 第 1の実 62872
- 41 - 施の形態に、第 2の «の形態の色ノィズ推; ¾¾701を適用する構成も可能である。 続いて、 色ノイズ ί®¾| 702について説明する。 図 2 0は、 色ノイズ {S ¾702の構成の 一例を示すもので、 上 PSffi^ 15900、 バッファ 901、 画素抽出部 902、 減算部 903からな る。 分睡出部 111は画素抽出部 902へ、 画素抽出部 902は體部 903へ赚している。 算出部 700および色ノイズ推 ¾¾5701は、 上陋 ϋ¾έ¾900へ接続している。 上酣纖 β 900は、 バッファ 901を介して灘部 903へ接続している。 部 903は、 バッファ 118へ接 続している。 制御部 121は、 上 900、 画素抽出部 902、濃部 903と双方向に接続 されている。 以後の説明は、 図 1 7 Βに示されるような偶数フィールド信号かつ注目画素 YT ¾ C r τ 24 に関して行うが、 偶数フィールド信号かつ注目画素 YT CbTや、 フィールド信号に関 しても、領域の構成が異なるだけで同様に成立する。
上陋鐵 900は、 制御部 121の制御に基づき、 難算出部 700から（19)式に示される 信号 ΔΟτΜを、 色ノイズ推 15701から色ノイズ 4θ を読み込み、 両者の比較を行 う。 上記比較は、 信号厶 Cr24の 値が色ノイズ *QUこ含まれるカ かを判 る もので、 または一 θ ^ ΔΟ^の #^1まノイズ範囲外、 C cr> ACr24>-CNcr( ^ 合はノイズ範囲内とする。 上記比 ¾結果に基づき^ ½信号 ACrに補正を行うことで、 (23)式に示すように、 第 2の色ノィズ *^2 を求める。 CN2cr = CNcr ( ACr24≥ CNcr)
CN2or = ACr24 (CNcr > ACr24 > 一 CNcr) (23)
CN2cr = 一 CNcr (~CNor≥ ACr24)
(23)式は、 ^^信号が色ノイズ量を上回る （^^信号が負の は下回る） ^に 色ノイズ量を上限とする制約を設けることを意味する。 これにより、 ^½信号から動き 成分が除去され、 色ノィズ成分のみが得られることになる。 上記第 2の色ノィズ *C 2 P T/JP2008/062872
- 2 - は、 バッファ 901 ^^され識される。
一方、画素抽出部 902は、 制御部 121の制御に基づき、 分离鼬出部 111から注目画素 C r を読み込^^算部 903ヘ^ する。 減算部 903は、 制御部 121の制御に基づき、 画素抽出部 902からの注目應 C r を、 バッファ 901から第 2の色ノイズ を読み込み、 （24)式に 示すように、 両者間で灘処理を行うことで色ノイズ iS ^理を行う。 Cr' = CrT ¾一 (24) 色ノイズ ί®¾α¾がなされた注目麵 Cr' τ ¾は、 バッファ 118へ繊される。
なお、 上言满成では、 信号に上陋鐵定を行うことで第 2の色ノイズ量を求め、 減 算処理により色ノイズ ί赚処理を行う構成となっていたが、 このような構成に限定される 必要はない。 例えば、 言号を零値と置換することで第 2の色ノイズ量を求め、 コアリ ング腿により色ノイズ {©¾0¾を行う構成も可能である。
図 2 1は、色ノイズ ί¾¾702の別構成の一例を示している。 色ノイズ «¾702は、 置 換部 904、 平均色算出部 905、 コアリング部 906、 バッファ 907からなる。 分 出部 111 は、 平均色算出部 905およびコアリング部 906へ接続している。 平均色算出部 905は、 コア リング部 906へ接続している。 散算出部 700および色ノイズ推; ¾¾701は、 難部 904へ接 続している。 置換部 904は、 バッファ 907を介してコアリング部 906へ接続している。 コア リング部 906は、 バッファ 118へ接続している。 制御部 121は、 置換部 904、 平均色算出部 905、 コアリング部 906と双方向に^^されている。
平均色算出部 905は、制御部 121の制御に基づき、 分离鼬出部 111から領域内の色信^ Cr^ を読み込み、 その平均 HAV_Crを算出する。 算出された平均 |tAV_Crは、 コアリング部 906 へ^ ¾される。
置換部 904は、 制御部 121の制御に基づき、 散算出部 700から（19)式に示される^ ½ 2008/062872
- 3 - 信号 Δ0τ¾を、 色ノイズ推 (5701から色ノイズ を読み込み、 両者の比較を行う。 上 記比較は、 信号 ΔΟτ¾の絶対値が色ノィズ 4CfUこ含まれる力否力を判断するもの で、 Δ Ci^^C^または一 ≥ Δ Crの場合はノィズ範囲外、 C or> A Cr¾ > の #^1ま ノイズ範囲内とする。 上記比^結果に基づき^ ½信号 ACr に «ΙΕを行うことで、 （25) 式に示すように、 第 2の色ノイズ ioe^を求める。 CN2cr = 0 ( ACr24 ≥ CNor)
CN2or = ACr2 (CNcr > ACr24 > -CNcr) (25)
CN20r = 0 (— CNcr≥ 厶 Cr24) 後段のコアリング部 906は、 注目画素 CrT と第 2の色ノィズ 間にてコアリング処理 を行うため、 （25)式に示される置^!;理は、 動領域において何も処理を行わないことを意 味する。 一般に、 動領域では視覚的に高周波域の鑭リ能が低下するため、 ノイズ成分が目 立ちにくく、 上記置^ βにお ヽても対応することができる。 上記置 »理は、 図 2 0に 示す J Sf鐵定処理よりも難が容易であり、 システムの低コスト化が可能となる。
上記第 2のノイズ は、 バッファ 907へ され諭される。 コアリング部 906は、 制御部 121の制御に基づき、 分隱出部 111から注目画素 ¾を、 平均色算出部 905から色信 号の平均 {|Λν— Crを、 バッファ 907から第 2のノィズ 4 N2crを読み込み、 （26)式に示すよう に、 コアリング処理を行うことで色ノイズ を行う。
Cr' T24 = Cr½一 CN2cr (CrT 24 ≥ AV_Cr + CN2cr)
Cr' T24 = AV— Cr (AV— Cr + CN2cr > CrT 24 > AV_Cr 一 CN2or) (26) Cr' ½ = CrT 24 + CN2cr (AV—Cr ― CN2cr≥ CrT 24) 色ノイズ がなされた注目画素 Cr' τ ¾は、バッファ 118へ される。 図 2 2は、輝度ノイズ {£ 703の構成の一例を示すもので、 上 1¾¾；¾¾1000、 パッ ファ 1001、 画素抽出部 1002、減算部 1003からなる。 分 出部 111は画素抽出部 1002へ、 画素抽出部 1002は體部 1003へ接続している。 算出部 700および輝度ノイズ推; ¾¾116 は、 上陋鐵 151000へ接続している。 上随鐵 ¾¾1000は、バッファ 1001を介して藝 部 1003へ接続している。 減算部 1003は、 バッファ 118へ接続している。 制御部 121は、 上限 ¾¾1000、画素抽出部 1002、灘部 1003と双方向に接続されている。
以後の説明は、 図 1 7 Bに示されるような «フィールド信号かつ注目画素 YT ¾、 C r T ¾ に関して行うが、 偶数フィールド信号かつ注目画素 YT、 CbT ^数フィールド信号に関し ても、領域の構成が異なるだけで同様に成立する。
上陋鐵 mOOOは、 制御部 121の制御に基づき、 散算出部 700から（19)式に示される 度信号厶 ¾を、輝度ノイズ推 116から輝度ノイズ量 mを読み込み、 両者の比較 を行う。 上言 匕較は、 ¾ ^度信号 ΔΥ24の糸樹値が輝度ノイズ *^に含まれる力 かを判 るもので、 AY ≥LNまたは一L≥AYMの ¾ ^はノイズ範囲外、 L > AY >— Lの^ はノイズ範囲内とする。 上記比較結果に基づき差分輝度信号 ΔΥ¾に補正を行うことで、 (27)式に示すように、第 2の) ノィズ *L 2を求める。 LN2 = LN ( ΔΥ2 ≥ LN)
LN2 = ΔΥ24 (LN > ΔΥ24 > 一 LN) (27)
LN2 = -LN (一 LN≥ ΔΥ24)
(27)式は、 度信号が輝度ノイズ量を上回る （^7 度信号が負の齡は下回る） 齢に、輝度ノイズ量を上限とする制約を設けることを意味する。 これにより、 ^^度 信号から動き成分が除去され、輝度ノイズ成分のみが得られることになる。 上記第 2の輝 度ノイズ Sueは、 バッファ 1001へ^ ¾され曾 5^される。
一方、 画素抽出部 1002は、制御部 121の制御に基づき、分离鼬出部 111から注目画素 Υτ 24を 読み込 算部 1003へ する。 體部 1003は、 制御部 121の制御に基づき、 画素抽出部 1002からの注自画素 ΥΤ24を、 バッファ 1001から第 2の輝度ノイズ *L 2を読み込み、 （28)式 に示すように、 両者間で藤麵を行うことで纖ノィズ を行う。 賺麵 45 -
Y' = \ 一 W2 (28) 輝度ノイズ がなされた注目画素 Υ' τは、バッファ 118^^される。
なお、 上謙成では、 言号に上陋鐵定を行うことで第 2の輝度ノィズ量を求め、 処理により輝度ノィズ 理を行う構成となってレヽたが、 このような構成に限定さ れる必要はない。 例えば、 言号を零値と置換することで第 2の輝度ノイズ量を求め、 コアリング により輝度ノィズ 理を行う構成も可能である。
図 2 3は、輝度ノィズ«¾703の別構成の一例を示す図である。 輝度ノィズ ί®^ 703 は、置換部 1004、 コアリング部 1005、 バッファ 1006からなる。 なお、 図 2 3に示す輝度ノ ィズ «¾703の構成では、 図 1 6に示される代雄度算出部 113が纖される形態となつ ている。
分難出部 111およ 弋飾度算出部 113は、 コアリング部 1005へ接続している。 散算 出部 700およぴ輝度ノイズ推 ¾¾116は、 置換部 1004へ接続している。 置換部 1004は、 バッ ファ 1006を介してコアリング部 1005へ接続している。 コアリング部 1005は、 ノ ンプア 118 へ接続している。 制御部 121は、 置換部 1004、 コアリング部 1005と双方向に接続されてい る。
置換部 1004は、 制御部 121の制御に基づき、 算出部 700から（19)式に示される^^ 度信号 ΔΥΜを、 輝度ノイズ推定部 116から輝度ノイズ量 L を読み込み、 両者の比較を行 う。 上言 B1:匕較は、 度信号 ΔΥ¾の糸谢値が輝度ノイズ * ^に含まれる力 かを判 D T るもので、 AY¾^ または一 L ΔΥの まノイズ範囲外、 1^> ΔΥ >— の;^はノ ィズ範囲内とする。 上記比^果に基づき、 （29)式に示すように、 度信号 ΔΥ¾に捕 正を行うことで、 第 2の輝度ノィズ *2¾を求める。 T細 08/062872
- 6 -
LN2 = 0 ( ΔΥ24 ≥ LN)
LN2 = ΔΥ2 (LN > ΔΥ24 > 一 LN) (29)
LN2 = 0 (一 LN ≥ ΔΥ2 ) 後段のコアリング部 1005は、 注目画素 と第 2の輝度ノイズ *L 2間にてコアリング処 理を行うため、 （29)式に示される置^;理は、動領域において何も処理を行わないことを 意味する。 一般に動領域では、視覚的に高周波域の ItSiJ能が低下するため、 ノイズ成分が 目立ちにくく、 上記置雖理におレ、ても対応することができる。 上記置難理は、 図 2 2 に示す上陋鐵定処理よりも難が容易であり、 システムの低コスト化が可能となる。 求 められた第 2の輝度ノィズ ¾L 2は、 バッファ 1006へ繊され識される。
コアリング部 1005は、 制御部 121の制御に基づき、 分難出部 111から注目画素 Υτを、 代 度算出部 113から代表的輝度 ffiLを、 ノ ッファ 1006から第 2の輝度ノィズ *LN2を読み 込み、 （30)式に示すように、 コアリング鍾を行うことで輝度ノイズ^ を行う。
Y' τ24 = Υτ24 一 LN2 (YT24 ≥ L + LN2)
Y' τ24 = L (L + LN2 > Υτ24 > L - LN2) (30)
Υ' τ 24 = Υτ24 + LN2 (L― LN2≥ Υτ 24) 輝度ノイズ がなされた注目画素 Υ' ま、 バッファ 118へ縫される。
±¾Eした第 2の の形態の構成により、 時系列的に取り込まれた 象信号に対して所 定領域単位に代表的輝度値および代表的色相値を求め、 代表的輝度値およ 弋表的 目値 に基づき適用的に色ノイズ量を推定し、 ノイズ がなされた過去の領域の色信号か ら求めた ¾ ^信号に対して推定した色ノィズ量から動き成分を除去することで、 第 2の 色ノィズ量を求めるシステムが できる。 これにより、 高精度な色ノィズ を行 うこと力可能となり、 高品位な 象信号が得られる。
上記色ノイズ量の推定処理は、 膨ごとに異なる条件に動的に ¾δし、 力つ 目域ごと に適切な補正を行うため、 高精度かつ安定的な色ノイズ量の推定が可能となる。 また、 色 ノイズ量の算出に捕間演算を棚する齡は、 補間演算は難力 S であり、 システムの 低コス H匕が可能となる。 一方、 色ノィズ量の算出にルツクアツプテーブルを^ fflする場 合は、 高速な色ノイズ量の推定が可能となる。
信号から動き成分を除去する際に、 色ノィズ量に基づく上闘直の設定処理を用!/ヽ る は、 が比較的 ^で、 システム全体の高速化およ 氐コスト化を可能とする。 また、 設定処理は制御の簡 匕が可能となり、操作性が向上する。 一方、 零値への置換処 理を用いる は、 が比較的容易で、 システム全体の高速化およ コスト化を可能 とする。
色ノイズ に蘭処理を用いる ¾ ^は、 難が額で、 システム全体の高速化お よび低コスト化を可能とする。 一方、 色ノイズ «処理にコアリング処理を用いる は、 色ノイズ成分のみを重点的に でき、 力つエッジなどの色ノイズ以外の画素との連 続性が確保できるため、高口 ¾|立な 象信号が得られる。
代表的輝度値に基づき適用的に輝度ノィズ量を推定し、 ノィズ赚処理がなされた過去 の領域の輝度信号から求めた 度信号に対して推定した輝度ノィズ量から動き成分を 除去することにより第 2の輝度ノィズ量を求めることで、 高精度な輝度ノィズ 理を 行うことが可能となり、 高品位な 象信号が得られる。 上言 度ノイズ量の推定処理は、 ごとに異なる条件に動的に »し、 力 御輝度ノイズモデルを用いるため、 高精度 力つ安定的な輝度ノイズ量の が可能となる。
輝度ノイズ量の算出に補間演算を使用する ^は、補間演算は難が線であり、 シス テムの低コスト化が可能となる。 一方、輝度ノイズ量の算出にルックアップテーブルを使 用する は、高速な) g¾ノイズ量の推定が可能となる。
度信号から動き成分を除去する際に、輝度ノイズ量に基づく上酣直の設定 を P 画 008/062872
- 48 - 用いる ^は、 難が比較的線で、 システム全体の高速化およ 氐コスト化を可能とす る。 また、設定処理は制御の簡 匕が可能となり、 操作性が向上する。 一方、零値への置 »理を用いる齢は、 難が比較的容易で、 システム全体の高速化およ 氐コスト化を 可言 とする。
輝度ノイズ赚処理に藝処理を用いる^^は、 難が線で、 システム全体の高速化 およ 氐コスト—化を可能とする。 一方、輝度ノイズ «^理にコアリング処理を用いる場 合は、輝度ノイズ成分のみを重点的に纖でき、 力 エッジなどの輝度ノイズ以外の画素 との纖 ι·生が確保できるため、高品位な 象信号が得られる。 また、 色辯劍面次型補色フィルタを前面に配置した撮像素子を用いるため、灘の撮像 系との親和†生が高く、 多様なシステムとの組み合わせが可能となる。 なお、 した第 2の難の形態では、撮像素子として色蠻劍匿次型補色フィルタを用 いる構成となっていたが、 このような構成に限定される必要はなレヽ。 例えば、 第 1の^ i の形態と同様に、 ^ヤー 色フィルタを用いる構成も可能である。 この^^、欠落す る RGB信号を^！の補間 により補い、 （31)式に基づき、 信号と色信号を求める。 Y = 0. 29900R + 0. 58700G + 0. 11400B
Cb = -0. 16874R一 0. 33126G + 0. 50000B (31)
Cr = 0. 50000R 一 0. 41869G 一 0. 08131B この 、 フレーム信号のみでフィーノレド信号が しないことになる。 ¾ ^算出部 700は、 1フレーム前の信号から^ 言号を求める構成となる。
また、 第 1の^の形態における図 1 4に示される形態と同様に、 別体の撮像部で撮像 された時系列的に連続する複数の §¾f象信号を未処理の Rawデータ形態で、 さらに CCD102の 色フィルタゃ ¾時の露光条件などの付随 'lf¾をへッダ部に言 した言 «某体から処理を することも可能である。 008/062872
- 49 - さらに、 した難の形態では、 ハードウェアによる を碰としていた力 この ような構成に限定される必要はない。 例えば、 CCD102からの時系列的に 镜する複数の映 像信号を未処理のままの Rawデータとして、制御部 121から CCD102の色フィルタゃ 時の 露光^ (牛などの付随' などをヘッダ,として出力し、 別途ソフトウェアにて処理する 構成も可能である。 図 2 4 Aは、 上記信号処理をコンピュータに新させる齢のソフトウェア処理に関す るフローを示している。 以下、各ステップの鍵について説明する。 なお、 図 1 5 Aに示 す第 1の の形態における信号処理のフロ一と同一の処理を行ぅステップに関しては、 同一のステップ番号を割り当てている。 ステップ S1では、複数の 象信号および色フィルタ^^時の露光条件などのヘッダ情 報を読み込んで、 ステップ S60に進む。 ステップ S60では、 1枚の映像信号、すなわちフレ ーム信号から、 謹フィールド信号およぴ¾¾フィールド信号を順次抽出して、 ステップ S2に進む。 ステップ S2では、 （17)式に示されるように、 1 ^象信号を輝度信号と色信号に 分離し、所定サイズ、 例えば 5X5画素の «単位で順 出する。 ステップ S3では、 （18)式に示される色相域を求め、 図 1 9 Aに示される 6つの色相域へ 分類することで代表的^目値を求めて、 ステップ S4に進む。 ステツフ。 S4では、領域の輝度 信号の平均を求めることによって、 ィ弋表的輝度値を求めて、 ステップ S61に進む。 ステツ プ S61では、 ノィズ繊処理がなされた過去のフィールド信号、 本難の形態では 2フィ ールド過去のフィールド信号を入力して、 ステップ S62に進む。 ステップ S62では、 のフィールド信号とノィズ 処理がなされた過去のフィール ド信号間で、 （19)式に示される^^度信号および^ 信号を算出して、 ステップ S63 に進む。 ステップ S63では、 色ノイズ量の推定処理を行う。 この処理は、 後述する図 2 4 Bのフローに従って菊亍される。
ステップ S64では、 色ノイズの低 ^理を行う。 この処理は、 後述する図 2 4 Cのフロ 一に従って^ される。
ステップ S7では、 図 1 5 Dに示 1^ 1の^ ¾の形態における輝度ノイズ推定^ Μと同様 に、 輝度ノイズ量の推定処理を行って、 ステップ S65に進む。 ステップ S65では、 輝度ノィ ズの ί®)^βを行う。 この処理は、 後 ¾ ^る図 2 4 Dのフローに従って菊 ΐされる。
ステップ S9では、 ノィズ がなされた色信号およひ輝度信号を出力して、 ステッ フ。 S10に進む。 ステップ S10では、 1枚の映像信号における全ての領域に対する処理が完了 した力 かを判断し、 完了して 、な！/ヽと判断した^はステップ S2へ進み、 完了したと判 断した場合はステップ S11へ進む。
ステップ S11では、 の同 匕処理、 強調処理、 階調処理、 処理等を行って、 ス テツプ S66に進む。 ステップ S66では、 ノイズ ifi^理がなされた «フィールド信号およ び奇数フィールド信号から合成された 1枚の S¾ (象信号、 すなわちフレーム信号を出力し て、 ステップ S67に進む。 ステップ S67では、 全てのフィールド信号に対する処理が完了し た力 かを判断し、 完了していないと判断した はステップ S60へ進み、 完了したと判 断した は終了する。
図 2 4 Bは、 図 2 4 Aのステップ S63におレ、て行われる色ノィズ推定処理に関するフ口 一である。 なお、 図 1 5 Bに示 1^ 1の «の形態における色ノイズ推定処理のフローと 同一の処理を行うステップに関しては、 同一のステップ番号を割り当てている。 以下、 各 ステップの処理について説明する。
ステップ S20では、 読み込まれたヘッダ情報から 、 ゲインなどの'離を設定する。 ただし、 ヘッダ情報に必要なパラメータが存在しなレヽ# ^は、 所定の標'雜を割り当て PC漏 008/062872
~ 51 - る。 ステップ S21では、 基準色ノイズモデルおよ Ό¾正係数を入力して、 ステップ S23に進 む。 ステップ S23では、 代表的輝度値が属する基準色ノィズモデルの区間の座標データおよ び対応する； HE係数を蔵して、 ステップ S24に進む。 ステップ S24では、 （20)式に示され る補間処理にて基準色ノイズ量を求めて、 ステップ S25に進む。 ステップ S25では、 (21)式 に示される ffiE処理にて色ノィズ量を求めて、 ステップ S70に進む。 ステップ S70では、 目域を変換するための ¾IE係数を入力して、 ステップ S71に進む。 ステップ S71では、 代表的色相値に基づいて、 色相域を変換するための ffiE係数を選択し て、 ステップ S72に進む。 ステップ S72では、 選択された ffiE係数を用いて (22)式に示され る補正処理にて色ノイズ量を補正して、 ステップ S26に進む。 ステップ S26では、 補正され た色ノィズ量を出力して終了する。 図 2 4 Cは、 図 2 4 Aのステップ S64におレヽて行われる色ノィズ 処理に関するフ口 一である。 なお、 図 1 5 Cに示 の ¾の形態における色ノイズ のフローと 同一の処理を行うステップに関しては、 同一のステップ番号を割り当てている。 以下、 各 ステップの処理について説明する。 ステップ S30では、 図 2 4 Αのステップ S63におレ、て推定された色ノィズ量を入力して、 ステップ S80に進む。 ステップ S80では、 （19)式に示される^ ½信号を入力して、 ステツ プ S81に進む。 ステップ S81では、 ^ ½信号に対して色ノイズ量に基づき、 （23)式に示さ れる上 Pfif直の設定を行い、 第 2の色ノイズ量を求める。 ステップ S82では、 領域内の注目画素に関して、 （24)式に示される第 2の色ノイズ量の 減算処理を行うことで、 色ノイズ «処理を行い、 ステップ S33に進む。 ステップ S33で は、 色ノイズ がなされた色信号を出力して終了する。 図 2 4 Dは、 図 2 4 Aのステップ S65において行われる輝度ノイズ！ 理に関するフ ローである。 なお、 図 1 5 Eに示 1の の形態における輝度ノィズ のフ口 一と同一の処理を行うステップに関しては、 同一のステップ番号を割り当てている。 以 下、各ステップの について説明する。
ステップ S50では、 図 2 4 Aのステップ S7において推定された輝度ノイズ量を入力し て、 ステップ S90に進む。 ステップ S90では、 （19)式に示される^ ¾度信号を入力して、 ステップ S91に進む。 ステップ S91では、 ^^度信号に対して輝度ノイズ量に基づき（27) 式に示される上! ¾ί直の設定を行い、 第 2の ノイズ量を求める。
ステツプ S92では、領域内の注目画素に関して (28)式に示される第 2の輝度ノィズ量の を行うことで、輝度ノィズ iS! Mを行レ、、 ステツプ S53に進む。 ステツプ S53で - は、艇ノイズ がなされ fe¾度信号を出力して終了する。
このように、信号処理をソフトウェアにより行う構成としてもよく、 ハードゥヱァによ り処理する齢と同じ作用効果が奏される。
以上、本発明の各難の形態について説明した力 上記難の形態は、本発明の適用例 を示したに過ぎず、 本発明の漏的範囲を上記猫の形態の具体的構成に限定する趣旨で はない。 また、第 1の難の形態、 第 2の雄の形態でそれぞれ説明した構成の一部を組 み合わせて、別の構成とすることもできる。
； は 2007年 7月 23日に日本国特許庁に出願された特願 2007-190990に基づく^ fe権 を主張し、 特願 2007- 190990の全ての内容は参照により本明細書に組み込まれる。

Claims

請 求 の 範 囲
1. 撮 ί縣から取り込まれた 象信号に対しノイズ 理を行う 置であつ て、
廳¾¾ (象信号を輝度信号および色信号へ分離して、 所定サイズの領域を順次抽出する分 纖出部と、
觸己分難出部によつて抽出された領域の輝度信号に基づレ、て、 廳己領域の代表的輝度 値を算出する代 算出部と、
嫌己領域の色信号に基づレ、て、 黼己領域の代表的 目値を算出する代 相算出部と、 lilt己代 «度算出部によって算出された代表的輝度値おょひ舊己代 目算出部によつ て算出された代表的色相値に基づレ、て、 色ノィズ量を難する色ノィズ ii¾と、 鍵己色ノィズ推 13によって推定された色ノィズ量に基づ！/、て、 嫌己領域の色信号に対 して色ノィズ を行う色ノィズ と、
を備える g ^維職鼠 2. ΙίίΙΕ 値に基づヽて、 ノイズ、量を する離ノイス ¾¾¾と、
Ι!ΙΙ3@¾ノイズ ¾¾¾によって ί!¾され ノイズ ¾こ づぃて、 ltlt¾g¾の 信号に 対して ¾ ^ノイズ ¾Wを行う) ^ノイズ と、
をさらに備える言青求項 1に記載の
3. 撮 «から時系列的に取り込まれた S¾i象信号に対しノィズ繊鍵を行う » ^理 装置であって、
¾¾4の 象信号を輝度信号および色信号へ分離して、所定サイズの領域を順 出する 分難出部と、
ffJlB分難出部によって抽出された領域の輝度信号に基づいて、 嫌己領域の代表的輝度 値を算出する代 «度算出部と、
嫌己領域の色信号に基づレ、て、 肅己領域の代表的 目値を算出する代細目算出部と、 嫌己代 度算出部によって算出された代表的輝度値およひ雷己代 目算出部によつ て算出された代表的飾値に基づレヽて、 色ノィズ量を m¾する色ノィズ 11^と、
tfif己領域の色信号およひ mt己領域に対応するノィズ © がなされた過去の領域の色 信号から、 信号を算出する 信号算出部と、
tffiE色ノィズ推 によつて推定された色ノィズ量およひ mt己^ ½信号算出部によつ て算出された ¾ ½信号に基づいて、 嫌己領域の色信号に対して色ノイズ を行う 色ノイズ' と、
を備える？ ^itW^
4. till己代表的輝度値に基づレヽて、輝度ノィズ量を撤する輝度ノィズ推 と、 I己領域の輝度信号およひ mt己s域に対応するノィズ 理がなされた過去の領域の 輝度信号から、 ^0度信号を算出する^^度信号算出部と、
ttltS¾度ノィズ推^^によって推定された輝度ノィズ量およひ it己 ^^度信号算出部 によつて算出された^^度信号に基づレ、て、 歸己領域の輝度信号に対して輝度ノィズ低 ¾βを行う輝度ノィズ«¾と、
をさらに備える請求項 3に記載の
5. tffia色ノイズ推 は. ΙίίΙΕ撮 i ¾の湄度値およひ f信己^ ί象信号に对するゲインに関する を収集する収集部 と、
ΙίίΙΒΚ集部で得られない',に対して所定の標 直を付与する付与部と、
所 の色相域に対応する複数の »色ノィズモデルに関するパラメ一タ群を記録する ノ ラメータ 音 13と、
嫌己代表的 目値に基づレヽて、 ΙίίΐΕ»色ノィズモデルを磨尺するモデノ HI択部と、 tti IX集部または編己付与部からの およひ窗己代表的輝度値に基づいて、編己モデ ノ 択部によって選択された ¾ ^色ノィズモデフレに関して必要となるパラメータを it己パ ラメータ言 部に言 されているパラメータ群から邀尺するパラメータ藤部と、
tiiia代表的輝度値おょひ爾 、°ラメータ選択部によって顧されたパラメータに基づい て、捕間演算により色ノイズ量を求める補間部と、
を備える請求項 1力ら請求項 4の か一項に記載の
6. tiff己色ノイズ推 は、
ia撮 i ^の? 直およひ Kill己映像信号に対するゲインに関する情報を収集する収集部 と、
ΙϋΐΑφί集部で得られなレヽ†f¾に対して標衝直を付与する付与部と、
鮮色ノィズモデルに関するパラメ一タ群を言 するパラメ一タ言藤部と、
編 集部または ΐϋΐ己付与部からの情報およひ蕭己代表的輝度値に基づレヽて、 膽 as準 色ノィズモデルに関して必要となるパラメータを嫌己パラメータ言職部に言 されている パラメータ群から邀尺するパラメータ激尺部と、
ttilB代表的輝度値およひ ラメータ選択部によって藤されたパラメータに基づい て、補間演算により色ノイズ量を求める補間部と、
嫌己代表的 目値に基づレヽて、 編識間部によつて求められた色ノィズ量を赃する色 ノイズ'補正咅 15と、
を備える請求項 1から請求項 4のい か一項に記載の » ^^
7. ttita色ノイズ補正部は、
所定の 域に対応する 係数を言 する ¾£係¾»部と、
嫌己代表的 目値に基づいて、 必要な補正係数を ΙίίΙ3¾正係鍵 部から選択する 係麵尺部と、
Ιϋ|2¾ΙΕ係 #3！択部によって選択された補正係数を ItJlEM間部によって求められた色ノ ィズ量に乗算する補正係 算部と、
を備える請求項 6に記載の I ^繞職 So
8. 嫌己色ノイズ推 は、
撮 it¾の Sit値およひ ¾UI5«信号に るゲインに関する' を収集する収集部と、 liJlBIfX集部で得られな、'[^に対して標霸を付与する付与部と、
ΐίϋΗΦ集部または t&t己付与部からの' ft¾、 tut己代表的輝度値、 およひ mi己代表的^!値 を入力として色ノィズ量を出力する色ノィズテープ と、
を備える請求項 1から請求項 4のいずれか一項に記載の
9. 黼3¾ノィズ推 ま、
ttit己撮像系の温度値およひίίίΐ己!^象信号に刘するゲインに関する情報を収集する収集部 と、
ΙίίΙΒΐΧ集部で得られなレヽ',に対して標^ ί直を付与する付与部と、
基準輝度ノィズモデルに関するパラメ一タ群を言 » るパラメータ言膽部と、
IfrlBlx集部または ΙίίΙ己付与部からの',およひ IB代表的輝度値に基づいて、 tfH5¾準 輝度ノィズモデレレに関して必要となるパラメータを |ίί|5/、°ラメータ記 «に言 されてレヽ る/ ラメ一タ群から選キ尺するパラメータ選択部と、
爾己代表的輝度値およひ ラメータ選択部によって還尺されたノ ラメータに基づレヽ て、 補間演算により輝度ノイズ量を求める補間部と、
を備える請求項 2または請求項 4に言 の §¾»«go
1 0. 嫌 3¾度ノィズ推; は、
ΐϋΐ己撮 の温度値およひ mis 象信号に するゲインに関する',を収集する収集部 と、
ΙϋΙΒΦΐ集部で得られない',に対して標^ (直を付与する付与部と、
ΙΐΤΐΕΦί集部または ΙΒ付与部からの およひ Ml己代表的輝度値を入力として輝度ノィ ズ量を出力する輝度ノィズテープ Λ¾と、
を備える言青求項 2または請求項 4に の «^0«¾
1 1. 嫌己色ノイズ ISl^は、
it己領域の色信号の代 ¾ ^値を算出する代 ¾ ^出部と、
嫌己代他値おょひ窗己色ノイズ量に基づレ、てコアリング鍵を行うコアリング部と、 を備える請求項 1または請求項 2に言 3«の
1 2. ΙίίϊΕ色ノイズ は、
所定の周波数特 I·生を有する複数のローパスフィルタを言職するフィルタ言^ ¾と、 tillB色ノィズ量に基づレ、て、 籠己フィルタ言^^に言 されている複数のローパスフィ ルタの中から、 フィルタリング処理に用いるローパスフィルタを選択するフィルタ選択部 と、
tGIBフィルタ選択部によつて選択された口一パスフィルタを用レ、て、 ttif己領域の色信号 に対してフィルタリング処理を行うフィルタリング部と、
を備える請求項 1または請求項 2に |B¾の
1 3. 歸5¾度ノィズ は、
嫌己代表的輝度値おょひ駕彌度ノイズ量に基づいて、 コアリング βを行うコアリン グ部を備える請求項 2に記載の 1 4. 觸3¾度ノィズ«¾は、
所定の周波数特性を有する複数の口一パスフィルタを言職するフィルタ言繊と、 tiftSS度ノィズ量に基づレヽて、 嫌己フィルタ言凝部に記録されている複数の口一パスフ ィルタの中から、 フィルタリング処理に用いるローパスフィルタを選択するフィルタ選択 部と、
tffiBフィルタ選択部によつて選択された口一パスフィルタを用レ、て、 tina領域の輝度信 号に対してフィルタリング処理を行うフィルタリング部と、
を備える請求項 2に記載の
1 5. l己色ノイズ は、
嫌己色ノィズ量に基づ、て、嫌己¾½信号に対して補正醒を行う ¾IE部と、 t!rlB領域の色信号と liJlEffiiE部によって ¾Eされた^ ½信号との間で 処理を行う 贿部と、
を備える請求項 3または請求項 4 ^m ^n.
1 6. 嫌己色ノイズ は、
嫌己色ノイズ量に基づいて、謙己^^信号に対して ¾E鍵を行う赃部と、
IB領域における色信号の代 値を算出する代 算出部と、
tfif己代表色算出部によって算出された代表色値およひ mi¾iiE部によって補正された差 信号に基づいて、 コアリング麵を行うコアリング部と、
を備える請求項 3または請求項 4に言 の 1 7. tfj|5¾度ノィズSl^は、
譜 s¾度ノィズ量に基づレヽて、
Figure imgf000061_0001
Ifit己領域の輝度信号と tilt¾i正部によって «ΊΕされた ¾ ^^度信号との間で «処理を 行う 部と、
を備える請求項 4に記載の «職氍
1 8 · tfilS^度ノィズ、 I® ^は、
嫌御度ノィズ量に基づレヽて、 m mi して ¾IE«を行う 部と、 ΙίίΙΒ代表的輝度値およぴ上繊正部によって補正された^ W度信号に基づいて、 コア リング麵を行うコアリング部と、
を備える請求項 4に記載の 1 9. 廳己橱絲は、べィヤー麵色フィルタを前面に配置した撮髓子、 または色差 繃 IIT次型補色フィルタを前面に配置した撮像素子を備える請求項 1から請求項 1 8のいず れか一項に纖の? «0¾¾氍
2 0. 撮 i ^から取り込まれた g¾i象信号に対しノィズ を行う プロダラ ムであって、
IES ^象信号を輝度信号および色信"^分離して、 所定サイズの領域を順次抽出する分 β出ステップと、
ΙίίΙΕ分難出ステップにお 、て抽出された領域の輝度信号に基づ V、て、術己領域の代表 的輝度値を算出する代表輝度算出ステップと、
嫌己領域の色信号に基づいて、 謂己領域の代表的色相値を算出する代賴相算出ステツ プと、
tfriB代表的輝度値およひ mi己代表的細値に基づレ、て、 色ノィズ量を推定する色ノィズ 推定ステップと、
tfrlE色ノィズ推定ステップにおレ、て推定された色ノィズ量に基づレヽて、 鍵己領域の色信 号に対して色ノィズ^^理を行う色ノィズ {©¾ステップと、
を備える プロダラム。 2 1 · 撮像系から時系列的に取り込まれた 象信号に対しノイズ を行う 理プログラムであって、
難の ifti象信号を輝度信号および色信号へ分離して、所定サイズの領域を順次抽出する 分 »出ステップと、
ΙίίΙΒ分纖出ステップにおいて抽出された領域の輝度信号に基づいて、 編己領域の代表 的輝度値を算出する代 «度算出ステップと、
l己領域の色信号に基づレ、て、 前記領域の代表的色相値を算出する代表色相算出ステッ プと、
編己代表的輝度値およひ tot己代表的飾値に基づレ、て、 色ノィズ量を推定する色ノィズ 推定ステップと、
爾己領域の色信号およひ mt己領域に対応するノィズ がなされた過去の領域の色 信号から、 信号を算出する 信号算出ステップと、
嫌己色ノィズ推定ステップにおレヽて推定された色ノィズ量およひ mt己^ 信号算出ス テップにぉヽて算出された 信号に基づレヽて、 嫌己領域の色信号に対して色ノィズ低 ^理を行う色ノイズ «ステップと、
を備える 5»βプロダラム。
2 2. ttjf己色ノィズ f|¾ステップは、
tut己撮 «の温度値およひ ita¾f象信号に するゲインに関する情報を収集する収集ス テツプと、
t&tBfX集ステップで得られない'隨に対して所定の標職を付与する付与ステップと、 所^:の色相域に対応する複数の基準色ノィズモデルに関するパラメ一タ群を記録する ノ ラメータ識ステップと、
ΙΐΠΒ代表的 目値に基づいて、 ttftS¾ ^色ノイズモデルを選択するモデノ «1択ステップ と、
|&¾集ステップで収集される' [f¾または Ml己付与ステップで付与される情報およひ¾ 記代表的輝度値に基づいて、 選択された基準色ノイズモデルに関して必要となるパラメ一 タを 尺するノ ラメータ選択ステップと、
編己代表的輝度値、 および選択されたパラメータに基づいて、 補間演算により色ノイズ 量を求める補間ステップと、
を備える請求項 2 0または請求項 2 1に言己載の »理プログラム。
2 3. lilt己色ノィズ推定ステップは、
lift己 の as値およひ ew象信号に するゲインに関する' ff¾を収集する収集ス テツプと、
ΙϋΙΒΦΐ集ステップで得られな！/ヽ',に対して標 直を付与する付与ステップと、
ノィズモデルに関するパラメ一タ群を言 するパラメータ言職ステップと、 ilBiR集ステップで収集される 'ff¾または Iff!己付与ステップで付与される情報およひ 記代表的輝度値に基づレヽて、 tfHB»色ノィズモデルに関して必要となるパラメータを選 択するパラメータ舰ステップと、
嫌己代表的輝度値、 および選択されたパラメータに基づいて、 補間演算により色ノイズ 量を求める補間ステップと、
籠己代表的 目値に基づレ、て、 色ノィズ量を赃する色ノィズ ¾ϊΕステップと、 を備える請求項 2 0または請求項 2 1に記載の «プロダラム。 2 4 · lift己色ノィズ、 ffi!Eステップは、
所定の 目域に対応する ¾E係数を言職する ¾E係 ステップと、
嫌己代表的 目値に基づレヽて、 必要な補正係数を邇尺する ¾E係 « ^ステップと、 選択された ¾E係数を t&t己色ノィズ量に乗算する補正係 算ステップと、
を備える請求項 2 3に の g¾f»理プロダラム。
2 5 · ΙίίΐΒ色ノィズ推定ステップは、
撮 i ^の温度値およ tmta ^象信号に *Η "るゲインに関する情報を収集する収集ステッ プと、
tiitBiR集ステップで得られなレヽ†f#に対して標萌直を付与する付与ステップと、
¾集ステップで収集される' lf#または t&t己付与ステップで付与されるf¾、 嫌己代 表的輝度値およひ mt己代表的 目値を入力として色ノィズ量を出力する色ノィズテーブル ステップと、
を備える請求項 2 0または請求項 2 1に記載の プロダラム。
2 6. ΙϋΙΕ色ノィズ«ステップは、
嫌己領域の色信号の代賴値を算出する代 算出ステップと、
ttiiE代 ¾^値およひ 己色ノイズ量に基づレ、てコアリング処理を行うコアリングステツ プと、
を備える請求項 2 0に言織の プロダラム。
2 7. tOlE色ノィズ ® ステップは、
所定の周波数特性を有する複数の口一パスフィルタを記録するフィルタ記録ステップ と、
膽己色ノイズ量に基づいて、 フィルタリング処理に用いるローパスフィルタを選択する フィルタ選択ステップと、
選択されたローパスフィルタを用いて、 Ιίίΐ己領域の色信号に対してフィルタリング処理
Figure imgf000066_0001
を備える請求項 2 0に！ ¾の»«プロダラム。 2 8. 嫌己色ノィズ ステップは、
tfflB色ノィズ量に基づレ、て、 編己 ¾ ½信号に対して 鍵を行う ¾IEステップと、 tiilB領域の色信号と ¾Εされた^ 信号との間で灘麵を行う浦ステップと、 を備える請求項 2 1に の 繞理プログラム。 2 9. ΙΐίΙ己色ノィズ «ステップは、
tiflS色ノィズ量に基づレ、て、 嫌己 ¾^fef言号に対して補正鍵を行う ¾Eステップと、 tfit己領域における色信号の代 値を算出する代表色算出ステップと、
編己代他値およ Ό¾正された^ &信号に基づいて、 コアリング処理を行うコアリン グステップと、
を備える請求項 2 1に記載の プログラム。
PCT/JP2008/062872 2007-07-23 2008-07-10 映像処理装置および映像処理プログラム WO2009014051A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/690,332 US8223226B2 (en) 2007-07-23 2010-01-20 Image processing apparatus and storage medium storing image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007190990A JP5165300B2 (ja) 2007-07-23 2007-07-23 映像処理装置および映像処理プログラム
JP2007-190990 2007-07-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/690,332 Continuation US8223226B2 (en) 2007-07-23 2010-01-20 Image processing apparatus and storage medium storing image processing program

Publications (1)

Publication Number Publication Date
WO2009014051A1 true WO2009014051A1 (ja) 2009-01-29

Family

ID=40281307

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/062872 WO2009014051A1 (ja) 2007-07-23 2008-07-10 映像処理装置および映像処理プログラム

Country Status (3)

Country Link
US (1) US8223226B2 (ja)
JP (1) JP5165300B2 (ja)
WO (1) WO2009014051A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5067852B2 (ja) * 2007-08-10 2012-11-07 キヤノン株式会社 画像処理方法及び画像処理装置
JP5529424B2 (ja) 2009-03-11 2014-06-25 ソニー株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
US8692906B2 (en) * 2010-07-13 2014-04-08 Canon Kabushiki Kaisha Luminance signal generation apparatus, luminance signal generation method, image pickup apparatus, and storage medium
JP2013162248A (ja) * 2012-02-02 2013-08-19 Canon Inc 撮像装置及びその制御方法
JP6083897B2 (ja) * 2013-02-28 2017-02-22 株式会社 日立産業制御ソリューションズ 撮像装置及び画像信号処理装置
JP2015073452A (ja) * 2013-10-07 2015-04-20 株式会社エルメックス コロニーのカウント方法およびコロニー計数装置
JP2015127680A (ja) * 2013-12-27 2015-07-09 スリーエム イノベイティブ プロパティズ カンパニー 計測装置、システムおよびプログラム
TWI573464B (zh) * 2014-04-17 2017-03-01 Morpho Inc An image processing apparatus, an image processing method, an image processing program, and a recording medium
KR102415312B1 (ko) * 2017-10-30 2022-07-01 삼성디스플레이 주식회사 색 변환 장치, 이를 포함하는 표시 장치, 및 색 변환 방법
JP7311994B2 (ja) * 2019-03-27 2023-07-20 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005130297A (ja) * 2003-10-24 2005-05-19 Olympus Corp 信号処理システム、信号処理方法、信号処理プログラム
JP2005347821A (ja) * 2004-05-31 2005-12-15 Toshiba Corp ノイズ除去装置及び画像表示装置
JP2006023959A (ja) * 2004-07-07 2006-01-26 Olympus Corp 信号処理システム及び信号処理プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6320970A (ja) * 1986-07-15 1988-01-28 Matsushita Electric Ind Co Ltd テレビジヨン信号の雑音抑圧装置
JPH0369276A (ja) * 1989-08-08 1991-03-25 Sharp Corp ノイズ低減回路
JP2946585B2 (ja) * 1990-01-09 1999-09-06 ソニー株式会社 ノイズ低減回路
JPH1013734A (ja) 1996-06-18 1998-01-16 Canon Inc 撮像装置
JP2000209507A (ja) 1999-01-12 2000-07-28 Toshiba Corp 固体撮像装置の低ノイズ化回路
JP3689607B2 (ja) 1999-12-15 2005-08-31 キヤノン株式会社 画像処理方法、装置および記憶媒体
US6738510B2 (en) * 2000-02-22 2004-05-18 Olympus Optical Co., Ltd. Image processing apparatus
JP3934506B2 (ja) * 2002-08-06 2007-06-20 オリンパス株式会社 撮像システムおよび画像処理プログラム
JP3762725B2 (ja) * 2002-08-22 2006-04-05 オリンパス株式会社 撮像システムおよび画像処理プログラム
JP3893099B2 (ja) * 2002-10-03 2007-03-14 オリンパス株式会社 撮像システムおよび撮像プログラム
JP3934597B2 (ja) * 2003-12-09 2007-06-20 オリンパス株式会社 撮像システムおよび画像処理プログラム
JP4547223B2 (ja) * 2004-09-28 2010-09-22 オリンパス株式会社 撮像システム、ノイズ低減処理装置及び撮像処理プログラム
EP1976268A1 (en) * 2005-12-28 2008-10-01 Olympus Corporation Imaging system and image processing program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005130297A (ja) * 2003-10-24 2005-05-19 Olympus Corp 信号処理システム、信号処理方法、信号処理プログラム
JP2005347821A (ja) * 2004-05-31 2005-12-15 Toshiba Corp ノイズ除去装置及び画像表示装置
JP2006023959A (ja) * 2004-07-07 2006-01-26 Olympus Corp 信号処理システム及び信号処理プログラム

Also Published As

Publication number Publication date
US8223226B2 (en) 2012-07-17
JP5165300B2 (ja) 2013-03-21
JP2009027619A (ja) 2009-02-05
US20100188529A1 (en) 2010-07-29

Similar Documents

Publication Publication Date Title
WO2009014051A1 (ja) 映像処理装置および映像処理プログラム
RU2338330C2 (ru) Устройство обработки изображения, способ обработки изображения и компьютерная программа
JP4718952B2 (ja) 画像補正方法および画像補正システム
US8666153B2 (en) Image input apparatus
JP6006543B2 (ja) 画像処理装置および画像処理方法
KR100809351B1 (ko) 투사 영상을 보정하는 방법 및 장치
JP2006319781A (ja) 画像処理装置、画像処理プログラム
CN104869380A (zh) 图像处理设备和图像处理方法
WO2007007788A1 (ja) 色補正方法および色補正装置
JP2005130297A (ja) 信号処理システム、信号処理方法、信号処理プログラム
CN103813097A (zh) 摄像装置以及摄像方法
JP5917048B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP4959237B2 (ja) 撮像システム及び撮像プログラム
JP4328956B2 (ja) デジタルカメラの制御方法及び装置
JP2009124580A (ja) 画像処理装置及び画像処理方法
JP2009284009A (ja) 画像処理装置、撮像装置及び画像処理方法
JP5372586B2 (ja) 画像処理装置
JP4916341B2 (ja) 画像処理装置及び画像処理プログラム
JP7423033B2 (ja) 画像信号処理方法
JP2006114006A (ja) 階調変換装置、プログラム、電子カメラ、およびその方法
JP2012165271A (ja) 画像処理装置、画像処理方法及びプログラム
JP5693647B2 (ja) 画像処理方法、画像処理装置、及び撮像装置
JP2006148326A (ja) 撮像装置及び撮像装置の制御方法
JP5264695B2 (ja) 画像処理方法、画像処理装置、及び撮像装置
JP3899144B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08778223

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08778223

Country of ref document: EP

Kind code of ref document: A1