WO2007011067A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2007011067A1
WO2007011067A1 PCT/JP2006/314935 JP2006314935W WO2007011067A1 WO 2007011067 A1 WO2007011067 A1 WO 2007011067A1 JP 2006314935 W JP2006314935 W JP 2006314935W WO 2007011067 A1 WO2007011067 A1 WO 2007011067A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
frequency
threshold
frequency component
horizontal
Prior art date
Application number
PCT/JP2006/314935
Other languages
English (en)
French (fr)
Inventor
Gen Horie
Original Assignee
Olympus Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corporation filed Critical Olympus Corporation
Publication of WO2007011067A1 publication Critical patent/WO2007011067A1/ja
Priority to US12/006,872 priority Critical patent/US20080112637A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Definitions

  • the present invention relates to an image processing apparatus that performs image processing such as noise reduction by decomposing a processing target image into a plurality of frequency components and processing the decomposed frequency components.
  • the present invention has been made in view of such problems of the prior art, and can prevent artifacts caused by noise and can achieve both appropriate noise reduction and image detail retention.
  • Provide image processing equipment The purpose is to do.
  • an image processing apparatus includes a low-frequency component generation unit that generates a low-frequency component of the target image from the target image, and the target image from the target image.
  • a high-frequency component generation unit that generates at least two high-frequency components, and a high-frequency component conversion unit that emphasizes or suppresses an element having a predetermined absolute value range in a predetermined high-frequency component of the at least two high-frequency components,
  • a threshold setting unit that sets at least two thresholds for determining the predetermined absolute value range for a high-frequency component along a direction similar to each other among the at least two high-frequency components, and the high-frequency component converter
  • An image generation unit that generates an image using the at least two high-frequency components after conversion and the target image or the low-frequency component; And wherein the door.
  • Embodiments relating to the invention of (1) correspond to the first to fifth embodiments.
  • the low frequency component creation unit according to the configuration of the invention of (1) corresponds to the low frequency extraction unit 20 0 0 in this embodiment, and the high frequency component creation unit is the horizontal vertical high frequency extraction unit 2 0 1, 45 degrees.
  • the diagonal high-frequency extraction unit 2 0 3, 1 3 5 degree diagonal high-frequency extraction unit 2 0 5, horizontal high-frequency extraction unit 4 0 1, vertical high-frequency extraction unit 4 0 3, and diagonal high-frequency extraction unit 4 0 5 are applicable.
  • the high-frequency component converter is a horizontal vertical high-frequency converter 2 0 2, 45 degrees oblique high-frequency converter 2 0 4, 1 3 5 degrees oblique high-frequency converter 2 0 6, horizontal high-frequency converter 4 0 2, vertical high frequency This corresponds to the converter 4 0 4 and the oblique high-frequency converter 4 ⁇ 6.
  • the threshold setting unit according to the configuration of the invention of (1) includes a horizontal vertical high frequency threshold calculation unit 3009, a residual high frequency threshold calculation unit 90, 0, a high frequency threshold calculation unit 4 51, and a horizontal high frequency threshold calculation unit 4 7 1.
  • Vertical high frequency threshold calculation unit 4 7 2, slant noise amount estimation unit 8 2 5, and image generation unit corresponds to synthesis unit 2 0 9.
  • the low frequency component is generated by the low frequency component creation unit.
  • a high-frequency component is created at the formation section.
  • the threshold value setting unit sets a threshold value for each similar direction of the high frequency component.
  • the high frequency component conversion unit performs high frequency component conversion processing based on the set threshold value.
  • the synthesis unit synthesizes the low frequency component and the converted high frequency component. According to this configuration, a threshold value is generated for each direction in which high-frequency components are similar, and it is possible to prevent a component in a specific direction from remaining, thereby preventing generation of artifacts.
  • the invention of (2) is characterized in that the threshold setting unit of the invention of (1) sets the threshold based on a predetermined high frequency component of the at least two high frequency components.
  • the embodiment relating to the invention of (2) corresponds to the first and second embodiments.
  • the threshold value setting unit of the configuration according to the invention of (2) corresponds to the horizontal / vertical threshold value calculation unit 3009 of the first embodiment shown in FIGS.
  • a similar threshold calculation unit is also provided for high frequencies in the 45 ° diagonal direction and 1 35 ° diagonal direction.
  • the horizontal high-frequency converter 40 2, the vertical high-frequency converter 4 0 4, and the oblique high-frequency converter 4 0 6 are arranged in the horizontal direction shown in FIG. 7 and FIG. This corresponds to having a threshold value calculation unit in each direction similar to the vertical threshold value calculation unit 30 9.
  • the first embodiment it is used for conversion of high-frequency components in the horizontal and vertical directions, 45 degrees oblique, 1 35 degrees oblique directions, and in the second embodiment in the horizontal, vertical and oblique directions.
  • a threshold can be determined based on the high frequency components in each direction.
  • the threshold value setting unit of the invention of (2) further includes an average value calculating unit for calculating an average value of a predetermined high frequency component among the at least two high frequency components, and the average value Is adjusted and input to the high-frequency component converter.
  • the embodiment relating to the invention of (3) corresponds to the first to third embodiments.
  • the average value calculation unit of the configuration according to the invention of (3) is The absolute value calculation unit 8 01, the average value calculation unit 8 0 2 and the average value adjustment unit 8 0 3 shown in FIG.
  • the horizontal high-frequency conversion unit 40 2, the vertical high-frequency conversion unit 4 0 4, and the oblique high-frequency conversion unit 4 0 6 calculate the horizontal and vertical threshold values shown in FIG. 7 and FIG.
  • the threshold calculation unit in each direction is the same as that of the unit 3009, and the threshold value calculation unit includes an absolute value calculation unit 8 0 1, an average value calculation unit 8 0 2, and an average value adjustment unit 8 0 3. This is true.
  • the noise reduction processing unit 10 4 shown in FIG. 20 has the same configuration as that of the first embodiment of FIG. 1, and the absolute value calculation unit 8 0 1 shown in FIG. This corresponds to having a value calculation unit 8 0 2 and an average value adjustment unit 8 0 3.
  • the outputs of the first to fourth horizontal and vertical high frequency extraction units are converted into absolute values, and the average value of the four absolute values is calculated. Since this average value is adjusted based on the adjustment value given from the control, the high-frequency component conversion unit in the corresponding direction performs an appropriate conversion process.
  • the average value calculation unit of the invention of (2) or (3) further includes a gain adjustment unit for adjusting a gain of the predetermined high-frequency component among the at least two high-frequency components. It is characterized by that.
  • the embodiment relating to the invention of (4) corresponds to the first and third embodiments.
  • the gain adjusting unit having the configuration according to the invention of (4) corresponds to the residual high frequency correcting unit 9009 shown in FIG. 9 in the first embodiment.
  • the noise reduction processing unit 104 shown in FIG. 20 has the same configuration as that of the first embodiment of FIG. 1, and the residual high-frequency conversion unit shown in FIG. This corresponds to the provision of the remaining high-frequency correction unit 9 09.
  • the residual high-frequency correction unit 90 9 can correct the residual high-frequency component so as to have the same gain as other high-frequency components.
  • the threshold setting unit of the invention of (1) is estimated to be included in a predetermined high-frequency component among the at least two high-frequency components. It further has a noise amount estimation unit for estimating a noise amount.
  • the embodiment relating to the invention of (5) corresponds to the third to fifth embodiments.
  • the noise amount estimation unit having the configuration according to the invention of (5) corresponds to the noise amount estimation unit 86 shown in FIG. 21 in the third embodiment.
  • the amount of noise can be estimated by a noise model at the time of high sensitivity or low sensitivity according to the shooting sensitivity setting of the camera.
  • the invention of (6) is characterized in that the threshold value setting unit of the invention of (1) further includes a threshold value limiting unit that limits the threshold value.
  • the embodiment relating to the invention of (6) corresponds to the first to third embodiments.
  • the threshold limiting unit having the configuration according to the invention (6) is the noise amount estimating unit 8 0 6, the lower limit setting unit 8 0 7, and the upper limit setting unit 8 0 8 shown in FIG. 1st restriction part 8 0 4 and 2nd restriction part 8 0 5 correspond.
  • the horizontal high-frequency conversion unit 40 2, the vertical high-frequency conversion unit 40 4, and the oblique high-frequency conversion unit 40 06 shown in FIG. 14 have the same high frequency as shown in FIGS.
  • This high frequency threshold calculation unit includes a noise amount estimation unit 8 0 6, a lower limit value setting unit 8 0 7, an upper limit value setting unit 8 0 8, a first limit unit 8 0 4, a second limit This corresponds to the provision of the part 8 0 5.
  • the noise reduction processing unit 10 04 in FIG. 20 includes the noise amount estimation unit 8 0 6, the lower limit setting unit 8 0 7, the upper limit setting unit 8 0 8, and the like shown in FIG. This corresponds to having the first restriction part 8 0 4. and the second restriction part 8 0 5.
  • the invention of (6) is based on each high frequency component, and the first limiter is used for the threshold values calculated in the absolute value calculator 8 0 1, the average value calculator 8 0 2 and the average value adjuster 8 0 3. 8 0 4 and 2nd limit part 8 0 5 Add a limit so that it is between the limits. According to this configuration, it is possible to prevent the problem that the threshold is too small and noise reduction is insufficient, or the threshold is too large and detailed information of the image is lost.
  • the invention of (7) is characterized in that the threshold limiting unit of the invention of (6) is a lower limit limiting unit that limits the threshold to a predetermined lower limit value or more.
  • the embodiment relating to the invention of (7) corresponds to the first to third embodiments.
  • the threshold limiting unit of the configuration according to the invention of (7) is the noise amount estimating unit 8 06, the lower limit setting unit 8 0 7, the first limiting unit 8 0 shown in FIG. 4 is applicable.
  • the horizontal high-frequency conversion unit 40 2, the vertical high-frequency conversion unit 40 4, and the oblique high-frequency conversion unit 40 06 in FIG. 14 perform the same high-frequency threshold calculation as shown in FIGS. 7 and 8.
  • This high frequency threshold calculation unit is provided with a noise amount estimation unit 8 0 6, a lower limit setting unit 8 0 7, and a first limiting unit 8 0 4 similar to those shown in FIG. Is applicable.
  • the noise reduction processing unit 10 4 in FIG. 20 includes the noise amount estimation unit 8 0 6, the lower limit value setting unit 8 0 7, and the first limiting unit 8 0 4 shown in FIG. This is true.
  • the lower limit value of the threshold corresponding to the signal that is considered to be all noise can be limited for signals having an amplitude smaller than this.
  • the invention of (8) is characterized in that the threshold limiting unit of the invention of (6) is an upper limit limiting unit that limits the threshold to a predetermined upper limit value or less.
  • the embodiment relating to the invention of (8) corresponds to the first to third embodiments.
  • the threshold limiting unit of the configuration according to the invention of (8) is the noise amount estimating unit 8 06, the upper limit setting unit 8 0 8, and the second limiting unit 8 0 shown in FIG. 5 is applicable.
  • the horizontal high-frequency conversion unit 40 2, the vertical high-frequency conversion unit 40 4, and the oblique high-frequency conversion unit 40 06 in FIG. 14 perform the same high-frequency threshold calculation as shown in FIGS. 7 and 8.
  • a noise amount estimation unit 8 0 6 similar to that shown in FIG. This corresponds to the provision of the upper limit setting unit 8 0 8 and the second limiting unit 8 0 5.
  • the noise amount estimating unit 8 0 6, the upper limit setting unit 8 0 8, and the second limiting unit 8 0 5 shown in FIG. It is applicable. According to this configuration, all signals with larger amplitude than this are not noise, and the upper limit value of the threshold corresponding to the signal regarded as the original information included in the image can be limited.
  • the threshold limiting unit of the invention of (6) includes a noise amount estimation unit for estimating a noise amount estimated to be included in a predetermined high-frequency component among the at least two high-frequency components. Furthermore, it is characterized by having.
  • the embodiment relating to the invention of (9) corresponds to the first to third embodiments.
  • the noise estimation unit having the configuration according to the invention (9) corresponds to the total noise estimation unit 8 06 shown in Fig. 8.
  • the horizontal high frequency shown in Fig. 14 is used.
  • the conversion unit 40 2, the vertical high-frequency conversion unit 40 4, and the oblique high-frequency conversion unit 40 6 correspond to the provision of a noise amount estimation unit 8 06 similar to that shown in FIGS.
  • the noise reduction processing unit 10 4 shown in Fig. 20 is provided with the noise amount estimation unit 8 06 shown in Fig. 8. According to this configuration, the camera is photographed.
  • the amount of noise can be estimated using a noise model for high sensitivity or low sensitivity according to the sensitivity setting.
  • the noise amount estimation unit of the invention of (5) or (9) includes a noise amount estimated to be included in a predetermined high-frequency component in other predetermined high-frequency components And a noise amount adjusting unit for adjusting to the estimated noise amount.
  • the embodiment relating to the invention of (1 0) corresponds to the fourth embodiment.
  • the threshold value limiting unit of the configuration according to the invention of (1 0) corresponds to the noise amount adjusting unit 9 20 shown in FIG. According to this configuration, the noise amount estimated by the noise amount estimation unit is converted into a difference in filter gain by the noise amount adjustment unit. It can be corrected accordingly.
  • a threshold value is generated for each direction in which high frequency components are similar, and it is possible to prevent a component in a specific direction from remaining, thereby preventing generation of artifacts. In this way, it is possible to provide an image processing apparatus that can prevent artifacts due to noise and can achieve both appropriate noise reduction and image detail retention.
  • FIG. 1 is a block diagram showing a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a partial configuration of FIG.
  • FIG. 3 is an explanatory view showing a bay arrangement block.
  • FIG. 4 is an explanatory diagram showing an example of a low-frequency extraction filter.
  • FIG. 5 is an explanatory diagram showing an example of a residual high-frequency extraction filter.
  • FIG. 6 is an explanatory diagram showing an example of a horizontal / vertical high-frequency extraction filter.
  • FIG. 7 is a block diagram showing a partial configuration of FIG.
  • FIG. 8 is a block diagram showing a partial configuration of FIG.
  • FIG. 9 is a block diagram showing a partial configuration of FIG.
  • FIG. 10 is a characteristic diagram showing an example of a noise model.
  • Figure 11 is a characteristic diagram showing the noise generation probability.
  • Fig. 12 is a characteristic diagram showing the amplitude distribution of noise and edges.
  • FIG. 13 is a characteristic diagram showing an example of coring conversion processing.
  • FIG. 14 is a block diagram showing a second embodiment of the present invention.
  • FIG. 15 is an explanatory diagram showing a bay array block.
  • FIG. 16 is an explanatory diagram showing generation of a color difference signal.
  • FIG. 17 is an explanatory diagram showing processing unit blocks for color difference signals.
  • FIG. 18 is an explanatory diagram showing an example of a low-frequency extraction filter.
  • FIG. 19 is an explanatory diagram showing an example of a high-frequency extraction filter.
  • FIG. 20 is a configuration diagram showing a configuration according to the third embodiment.
  • FIG. 21 is a block diagram showing a partial configuration of FIG.
  • FIG. 22 is a block diagram of the fourth embodiment.
  • FIG. 23 is a block diagram of the fifth embodiment.
  • FIG. 24 is a block diagram showing a partial configuration of FIG.
  • Fig. 25 is a characteristic diagram showing an example of a noise model.
  • FIG. 1 is a block diagram showing a first embodiment of the present invention
  • FIG. 2 is a block diagram showing a partial configuration of FIG. 1
  • FIG. 3 is an explanatory diagram showing a bay arrangement block
  • FIG. Fig. 5 is an explanatory diagram showing an example of a residual high frequency extraction filter
  • Fig. 6 is an explanatory diagram showing an example of a high frequency extraction filter
  • Fig. 7 is a partial configuration of Fig. 2.
  • FIG. 8 is a configuration diagram showing a partial configuration of FIG. 7
  • FIG. 9 is a configuration diagram showing a partial configuration of FIG. 2, FIG.
  • FIG. 10 is a characteristic diagram showing an example of a noise model
  • FIG. I is a characteristic diagram showing the probability of noise occurrence
  • Fig. 12 is a characteristic diagram showing the amplitude distribution of noise and edges
  • Fig. 13 is a characteristic diagram showing an example of the coring conversion process.
  • Fig. 1 is a block diagram of the first embodiment.
  • This embodiment assumes a digital camera, and realizes a function of photographing a subject and recording the obtained digital data on a storage medium.
  • An image photographed through the lens system 100 and the CCD 10 1 is converted into a digital signal by the AZD 1 0 2 and temporarily stored in the buffer 1 0 3.
  • the output of the buffer 103 is inputted to the output unit 106 through the noise reduction processing unit 104 and the signal processing unit 105 in order.
  • a control unit (not shown), such as a microphone computer, is connected to each unit in both directions. It has been continued.
  • the image signal read from the buffer 103 is subjected to noise reduction processing unit 10 4, after the noise included in the image signal is reduced, the signal processing unit 1 0 5 performs white balance, color interpolation processing, Signal processing such as edge emphasis processing and compression processing is performed, and the data is stored in the recording medium by the output unit 106.
  • the noise reduction processing is performed using a region consisting of a vertical array of 5 pixels and 5 pixels as a processing unit.
  • the signal of the G pixel at the center of the region is converted. By repeating the same process while moving the area two pixels at a time, the entire image is processed. These processes are performed based on the control of the control unit.
  • FIG. 2 shows a configuration diagram of the noise reduction processing unit 104.
  • the noise reduction processing unit 104 decomposes the image signal read from the buffer 103 into a plurality of frequency components, performs conversion processing on each of the decomposed components, and then recombines them to reduce noise.
  • frequency decomposition is performed by a high-frequency extraction filter with directionality, and different conversion processing is performed for each direction.
  • a low-frequency extraction unit 200 applies a low-frequency extraction filter shown in FIG. 4 to the image signal read from the notifier 100 3 to extract low-frequency components.
  • the low-frequency component extracted by the low-frequency extraction filter is output to the synthesizer 2 09.
  • the high-frequency extraction unit is composed of a horizontal vertical high-frequency extraction unit 20 0 1 and a 45-degree oblique high-frequency extraction unit 2 0 3 and 1 3 5-degree oblique high-frequency extraction unit 2 0 5 and a residual high-frequency extraction unit 2 0 7.
  • the high-frequency conversion unit includes a horizontal and vertical high-frequency conversion unit 20 0 2, a 45-degree oblique high-frequency conversion unit 2 0 4, a 13.5-degree oblique high-frequency conversion unit 2 0 6, and a residual high-frequency conversion unit 2 8 8.
  • the horizontal / vertical high-frequency extraction unit 201 applies a horizontal / vertical high-frequency extraction filter (H9 to H12) shown in FIG. 6 to the image signal read from the buffer 103, and Extract vertical high frequency components.
  • the horizontal / vertical high-frequency conversion unit 202 performs a conversion process on the horizontal / vertical high-frequency component extracted by the horizontal / vertical high-frequency extraction unit 202 to reduce noise included in the horizontal / vertical high-frequency component.
  • the horizontal vertical high-frequency component with reduced noise is combined with other components by the combining unit 209.
  • the coefficient 1/16 in Fig. 4 is a divisor for level adjustment that is bit-shifted.
  • Figure 6 shows a 45 degree oblique high frequency extraction filter (a), a 135 degree oblique high frequency extraction filter (b), and a horizontal and vertical high frequency extraction filter (c).
  • the horizontal / vertical high-frequency extraction filter includes first to fourth high-frequency extraction filters H9 to H12.
  • the 45 degree oblique high frequency extraction filter is composed of fourth high frequency extraction filters HI to H4, and the 135 degree oblique high frequency extraction filter is composed of fourth high frequency extraction filter filters H5 to H8.
  • the 45 degree oblique high frequency extraction unit 203 applies the 45 degree oblique high frequency extraction filter (H1 to H4) shown in FIG. 6 to the image signal read from the nother 103.
  • 45 degree oblique high frequency components are extracted.
  • the 45 degree oblique high frequency conversion unit 204 converts the 45 degree oblique high frequency component extracted by the 45 degree oblique high frequency extraction unit 203 to reduce noise included in the 45 degree oblique high frequency component.
  • the 45-degree oblique high-frequency component with the noise reduced is synthesized with other components by the synthesis unit 209.
  • 1 35 degree oblique high frequency extraction unit 205 applies the 1 35 degree oblique high frequency extraction filter (H5 to H8) shown in Fig. 6 to the image signal read out from nother 103, and 1 35 degree oblique high frequency component To extract.
  • 1 35 5 degree oblique high frequency converter 206 is 1 35 degree oblique high frequency extractor 205 By converting the extracted 1 35 degree oblique high frequency component, noise contained in the 1 35 degree oblique high frequency component is reduced.
  • the 1 35 degree oblique high frequency component with reduced noise is synthesized with other components in the synthesis unit 20 9.
  • the residual high frequency extraction unit 20 7 applies the residual high frequency extraction filter shown in FIG. 5 to the image signal read from the buffer 103 and extracts the residual high frequency component.
  • the residual high frequency conversion unit 20 8 reduces the noise contained in the residual high frequency component by performing conversion processing on the residual high frequency component extracted by the residual high frequency extraction unit 20 07.
  • the remaining high frequency components with reduced noise are combined with other components by the combining unit 20 9.
  • the residual high-frequency component is the remaining component after extracting the low-frequency component, the horizontal and vertical high-frequency component, the 45-degree oblique high-frequency component, and the 135-degree oblique high-frequency component from the original signal.
  • the residual high-frequency extraction unit 2 0 7 and the residual high-frequency conversion unit 2 0 8 are all components of the low frequency component, horizontal vertical high frequency component, 45 degree oblique high frequency component, 1 35 degree oblique high frequency component, and residual high frequency component. It is provided so that the original signal can be completely restored by combining.
  • FIG. 7 shows a configuration diagram of the horizontal / vertical high-frequency extraction unit 20 0 1 and the horizontal / vertical high-frequency conversion unit 2 02 described in FIG.
  • the horizontal / vertical high-frequency extraction unit 2 0 1 is composed of four horizontal and vertical high-frequency extraction units 3 0 1, 3 0 3, 3 0 '5, and 3 0 7. Each corresponds to four horizontal and vertical high-frequency extraction filters (H9 to H12) as shown in Fig. 6.
  • the horizontal / vertical high-frequency converter 2 0 2 has four horizontal vertical high-frequency converters 1 to 4, 3 4, 3 0 6, 3 0 8 and a horizontal / vertical high-frequency threshold calculator 3 ⁇ It consists of nine.
  • the outputs (A) of the horizontal / vertical high-frequency conversion units 3 0 2, 3 0 4, 3 0 6, 3 0 8 are input to the horizontal / vertical high-frequency threshold calculation unit 3 0 9.
  • Horizontal / vertical high-frequency component extracted by the first horizontal / vertical high-frequency extraction unit 3 0 1 Is converted by the first horizontal / vertical high-frequency converter 3 0 2 based on the threshold (B) obtained by the horizontal / vertical high-frequency threshold calculator 3 09 and output to the combiner 2 0 9.
  • the horizontal / vertical high-frequency threshold calculation unit 3009 includes outputs from the low-frequency extraction unit 20 00 and the first to fourth horizontal / vertical high-frequency extraction units 3 0 1, 3 0 3, 3 0 5, 3 0 7 Based on the above, the threshold value (B) used in the first to fourth horizontal / vertical high-frequency converters 3 0 2, 3 0 4, 3 0 6 and 3 0 8 is determined. In this way, in FIG. 7, the threshold used for the conversion of the horizontal / vertical high-frequency component is determined based on the horizontal / vertical high-frequency component.
  • FIG. 8 shows a configuration diagram of the horizontal / vertical high-frequency threshold calculation unit 309 described in FIG.
  • the outputs of the first to fourth horizontal / vertical high-frequency extraction units 3 0 1, 3 0 3, 3 0 5, 3 0 7 are converted into absolute values by the absolute value calculation unit 8 0 1, and the average value calculation unit 8 0 In 2, the average of the four absolute values is calculated.
  • the average value adjusting unit 8 0 3 the average value is adjusted based on the adjustment value given from the control unit.
  • the output of the average value calculation unit 822 is multiplied by the adjustment value.
  • This adjustment value is a value for adjusting the strength of the conversion processing performed in the first to fourth horizontal / vertical high-frequency converters 30 2, 3 0 4, 3 0 6, 3 0 8. In order to obtain the value, the value determined by performing the adjustment work in advance is set.
  • the horizontal / vertical high-frequency threshold calculation unit 3 0 9 in FIG. 8 includes an absolute value calculation unit 8 0 1, an average value calculation unit 8 0 2, an average value adjustment unit 8 0 3, a first restriction unit 8 0 4, and a second restriction Part 8 0 5, noise amount estimation part 8 0 6, lower limit value setting part 8 0 7, upper limit value A setting unit 8 0 8 is provided.
  • the noise amount estimation unit 80 6 estimates the amount of noise estimated to be included in the image signal based on the output of the low frequency extraction unit 20 0 and the noise model set by the control unit. As shown in Fig. 10, the noise model gives the amount of noise estimated to be included in the image signal as a function of the level of the image signal, and is preset based on theoretical calculations and actual measurements. . As shown in Fig. 10, the noise model can be switched according to the camera's shooting sensitivity setting (high sensitivity or low sensitivity).
  • the noise amount estimated by the noise amount estimation unit 8 06 is added to the lower limit value setting unit 8 07 and the upper limit value setting unit 8 0 8.
  • the lower limit setting unit 8 07 calculates the lower limit value of the threshold based on the amount of noise.
  • the lower limit of the threshold corresponds to a signal that considers all signals with smaller amplitudes to be noise.
  • the upper limit setting unit 8 0 8 calculates the upper limit value of the threshold based on the amount of noise.
  • the upper limit value of the threshold corresponds to a signal that is considered to be the original information contained in the image, not all noise for signals with larger amplitude.
  • the lower limit value calculated by the lower limit value setting unit 8 0 7 and the upper limit value calculated by the upper limit value setting unit 8 0 8 are determined based on the statistical properties of the noise, and are obtained from the noise model. It is set in advance as a coefficient value based on the noise amount. The lower limit value and the upper limit value are set based on the difference in amplitude value histogram between noise and edge (original information included in the image) as shown in FIG.
  • noise has a high peak in a region with a small amplitude value, and an edge has a peak in a region with a larger amplitude value.
  • the amplitude distribution of noise and edge has an overlap, but the lower frequency is set at the lower limit of the amplitude where the frequency of occurrence is sufficiently low at the lower end of the edge distribution, and the frequency of occurrence at the upper end of the noise distribution. It is desirable to set the amplitude at which the is sufficiently small to the upper limit.
  • the lower limit set by the lower limit setting unit 8 07 is output to the first limiting unit 8 0 4
  • the upper limit set by the upper limit setting unit 8 0 8 is the second limiting unit.
  • Output to 8 0 5 The output of the average value adjusting unit 80 3 is compared with the lower limit value in the first limiting unit 80 04, and if it is smaller than the lower limit value, it is converted into the lower limit value.
  • the output of the first limiting unit 8 0 4 is compared with the upper limit value in the second limiting unit 8 0 5, and if it is larger than the upper limit value, it is converted into the upper limit value.
  • each direction high-frequency extraction unit and each direction high-frequency conversion unit have the same configuration as the horizontal vertical high-frequency extraction unit 2 0 1 and horizontal vertical high-frequency conversion unit 2 02 described in FIG.
  • the conversion unit is provided with a high-frequency threshold value calculation unit for each direction.
  • the high frequency threshold value calculation unit in each direction performs the same operation as the horizontal vertical high frequency threshold value calculation unit 30 9, thereby calculating the threshold value used for the conversion process of each high frequency component based on the high frequency component in each direction. Is done.
  • FIG. 9 shows a configuration diagram of the residual high-frequency extraction unit 2 07 and the residual high-frequency conversion unit 2 0 8.
  • the residual high-frequency threshold value calculation unit 90 0 in FIG. 9 is different from the horizontal and vertical high-frequency threshold value calculation unit 3 0 9 in FIG. 8 in that the signal input to the absolute value calculation unit 8 0 1 is in a specific direction. Not only high-frequency components but also horizontal and vertical high-frequency components, 45-degree oblique high-frequency components, 135-degree oblique high-frequency components, and remaining high-frequency components.
  • a residual high frequency correction unit 90 9 to which the output of the residual high frequency extraction unit 20 07 is input is provided.
  • the residual high frequency correction unit 109 has a function of a gain adjustment unit that adjusts a predetermined high frequency component.
  • the absolute value calculation unit other than the residual high frequency correction unit 9009, the average value calculation unit 80.2, the average value adjustment unit 803, the first restriction unit 804, the second restriction The configuration of the unit 8 0 5, the noise amount estimation unit 8 0 6, the lower limit value setting unit 8 0 7, and the upper limit value setting unit 8 0 8 is the same as that shown in FIG. Note that the residual high-frequency component extracted by the residual high-frequency extraction unit 2 07 is input to the residual high-frequency conversion processing unit 2 0 8.
  • the threshold used for the conversion processing of the residual high-frequency component is determined based on all the high-frequency components. Further, the residual high-frequency extraction filter constituting the residual high-frequency extraction unit 20 07 shown in FIG. 5 is different in filter gain from the other high-frequency extraction filters shown in FIG. For this reason, the residual high-frequency correction unit 90 9 corrects the gain to be equal to other high-frequency components.
  • Figure 13 shows the threshold processing performed in the horizontal and vertical high-frequency converters 20 2, 45 5 ° diagonal high-frequency converter 2 0 4, 1 3 5 ° diagonal high-frequency converter 2 0 6, and residual high-frequency converter 2 0 8.
  • a coring process is shown. By such a coring process, signals below the threshold that are considered to be noise (the part marked with ⁇ ) are deleted, so noise contained in the image signal can be reduced.
  • FIG. 14 to FIG. 19 are diagrams showing a second embodiment of the present invention.
  • Fig. 14 is a block diagram showing a second embodiment of the present invention
  • Fig. 15 is an explanatory diagram showing a Bayer arrangement block
  • Fig. 16 is an explanatory diagram showing generation of a color difference signal
  • Fig. 17 is a color difference signal.
  • FIG. 18 is an explanatory diagram showing an example of a low frequency extraction filter
  • FIG. 19 is an explanatory diagram showing an example of a high frequency extraction filter.
  • FIG. 14 shows a noise reduction processing unit 104 in the second embodiment of the present invention. 2 is different from the noise reduction processing unit 100 of the first embodiment shown in FIG.
  • the bay array block which is a processing unit is 6 pixels wide and 6 pixels vertical.
  • the color difference signal generation unit 400 uses the R or B signal value of the target pixel and the G signal values on the left and upper sides thereof as shown in FIG.
  • Color difference signal R—G ′ or B—G ′ is generated.
  • G ' is the average value of two G pixels.
  • three horizontal pixels and three vertical pixels are output as one color difference signal processing block.
  • the low-frequency extraction unit 200 in FIG. 14 is configured by the filter shown in FIG.
  • the horizontal high-frequency extraction unit 40 1 includes the high-frequency extraction filters H 1-1 to H 1-4 shown in FIG.
  • the vertical high-frequency extraction unit 40 3 includes the high-frequency extraction filters H I-5 to H 1-8 shown in FIG.
  • the oblique high-frequency extraction unit 4 0 5 includes the high-frequency extraction filters H I-9 to H 1-12 shown in FIG.
  • the noise reduction processing unit 10 4 shown in Fig. 4 has different processing block sizes and filter coefficients in the horizontal direction, vertical direction, and diagonal direction high-frequency extraction units 4 0 1 to 4 0 5. Except for this, the configuration and operation are the same as those of the horizontal / vertical high-frequency extraction unit 2 0 1 shown in FIG. Further, the horizontal high-frequency conversion unit 40 2, the vertical high-frequency conversion unit 40 4, and the oblique high-frequency conversion unit 40 6 have the same configuration and operation as the horizontal / vertical high-frequency conversion unit 20 2 shown in FIG. That is, it has first to fourth high-frequency conversion units and a high-frequency threshold calculation unit. Note that the inverse of the conversion shown in Fig. 16 is the signal processing unit 1 0 5 in Fig. 14.
  • the primary color signals R and B are regenerated from the color difference signals R—G ′ and B—G ′.
  • the configuration can be simplified because there is no residual high-frequency extraction unit as shown in FIG.
  • FIG. 20 and FIG. 21 are views showing a third embodiment of the present invention.
  • FIG. 20 is a configuration diagram showing a configuration according to the third embodiment
  • FIG. 21 is a configuration diagram showing a partial configuration of FIG.
  • a color difference noise reduction processing unit 450 is added to the configuration of the first embodiment shown in FIG.
  • a noise reduction process is performed on each of the luminance signal (G) and the color signals (RG, BG). That is, the noise reduction processing unit 104 performs noise reduction processing on the luminance signal (G), and the color difference noise reduction processing unit 450 performs noise reduction processing on the color signals (RG, BG). Therefore, in the third embodiment shown in FIG. 20, the configuration and operation of the noise reduction processing unit 104 are the same as those in the first embodiment shown in FIG.
  • Figure 21 shows the color difference noise reduction processing unit 450.
  • the horizontal high-frequency threshold calculation unit 451 is composed of a noise amount estimation unit 806 and a threshold adjustment unit 449, as in the second embodiment shown in FIG. Different.
  • the horizontal high-frequency extraction unit 40 1 includes first to fourth horizontal high-frequency extraction units 44 1 to 447.
  • the horizontal high-frequency conversion unit 40'2 includes first to fourth horizontal high-frequency conversion units 442 to 448.
  • the vertical high-frequency extraction unit 403 and the oblique high-frequency extraction unit 405 are also composed of four high-frequency extraction cities.
  • the vertical high-frequency converter 404 and the oblique high-frequency converter 404 are also composed of four high-frequency converters.
  • the threshold adjustment unit 4 4 9 the noise amount obtained by the noise amount estimation unit 8 06 is adjusted based on the adjustment value set by the control unit.
  • the output (B) of this adjustment value is a value for adjusting the strength of the conversion processing performed in the horizontal, vertical, and diagonal high-frequency conversion units 4 0 2, 4 0 4 and 4 0 6. Part 4 0 2, 4 0 4, 4 0 6.
  • the adjustment value output (B) is set to a value determined in advance through adjustment work so that a desired image quality can be obtained.
  • the third embodiment shown in FIGS. 20 and 21 is characterized in that the threshold value determination method for conversion processing for luminance signals is different from the threshold value determination method for conversion processing for color difference signals. There is no need to refer to each high-frequency component when determining the threshold value used for the color difference signal conversion process, which has the effect of simplifying the configuration.
  • FIG. 22 is a block diagram showing a fourth embodiment of the present invention.
  • the configuration of the noise reduction processing unit 104 is the configuration shown in FIG.
  • the high-frequency extraction unit is the same as in Fig. 2.
  • the high-frequency converter is composed of a horizontal and vertical high-frequency converter 20 0, 45 degree oblique high frequency converter 2 0 4, 1 3 5 degree oblique high frequency converter 2 0 6 and a residual high frequency converter 2 0 8. .
  • the threshold value (B) determined by the threshold adjustment unit 4 4 9 of the high frequency threshold calculation unit 4 5 1 is horizontal / vertical, 45 ° diagonal, and 1 35 ° diagonal high frequency conversion processing units 2 0 2 to 2 0 6 Given to. Further, the threshold given to the residual high frequency conversion processing unit 9 10 is determined by the threshold adjustment unit 4 4 9 of the residual high frequency threshold calculation unit 90 0. High-frequency threshold calculation unit 4 5 1 Noise amount estimation unit 8 1 The configuration and operation of the threshold adjustment unit 4 4 9 are the same as those shown in the third embodiment in FIG.
  • the residual high-frequency threshold calculation unit 900 includes a noise amount adjustment unit 9 20 and a threshold adjustment unit 44 9.
  • the residual high-frequency extraction filter shown in FIG. 5 constituting the residual high-frequency extraction unit 20 7 and the high-frequency extraction filter constituting the other high-frequency extraction units shown in FIG. 6 are different. Therefore, the noise amount adjustment unit 9 20 corrects the noise amount estimated by the noise amount estimation unit 8 06 according to the difference in filter gain.
  • the noise model set in the noise amount estimation unit 8 06 can use a common noise model for each high-frequency component, and is necessary for the storage means for storing the noise model. The capacity can be reduced.
  • 23 and 24 are configuration diagrams showing a fifth embodiment of the present invention. In the fifth embodiment, in the configuration of the third embodiment shown in FIG.
  • the configuration of the color difference noise reduction processing unit 45 50 is changed to the configuration shown in FIG.
  • the frequency components extracted by the low-frequency extraction unit 200 are input to the horizontal high-frequency threshold calculation unit 4 71, the vertical high-frequency threshold calculation unit 4 7 2, and the skew high-frequency threshold calculation unit 4 7 3.
  • the horizontal high-frequency threshold calculation unit 4 7 1 includes a horizontal noise amount estimation unit 8 2 1 and a horizontal threshold adjustment unit 8 2 2.
  • the vertical high-frequency threshold calculation unit 4 7 2 includes a vertical noise amount estimation unit 8 2 3 and a vertical threshold adjustment unit 8 2 4.
  • the oblique high-frequency threshold value calculation unit 4 7 3 includes an oblique noise amount estimation unit 8 2 5 and an oblique threshold adjustment unit 8 2 6.
  • the threshold (B) given to the horizontal high-frequency converter 4 0 2 is the horizontal high-frequency threshold calculator 4 7 1
  • the threshold (C) given to the vertical high-frequency converter 4 0 4 is the vertical high-frequency threshold calculator 4 7 1. 2
  • the threshold value (D) given to the oblique high-frequency conversion unit 4 06 is determined by the oblique high-frequency threshold calculation unit 4 73, respectively.
  • Horizontal high frequency converter 4 0 2 Vertical high frequency converter 4 0 4, Diagonal high frequency converter
  • the outputs of the conversion unit 4 06 and the low frequency extraction unit 2 0 0 are synthesized by the synthesis unit 2 09 and input to the signal processing unit 1 0 5.
  • the noise model as shown in the characteristic diagram of the noise model in Fig. 25 is converted into a horizontal high-frequency threshold value calculation unit 4 7 1, a vertical high-frequency threshold value calculation unit 4 7 2, and an oblique high-frequency threshold value calculation unit 4. 7 Set individually in 3.
  • the threshold adjustment value is set individually. In this way, by setting the noise model and the adjustment value individually in each high-frequency threshold calculation unit, the degree of noise reduction can be changed for each direction of the high-frequency component.
  • FIG. 24 shows the details of the horizontal high-frequency component extraction unit 4 0 1, the horizontal high-frequency conversion unit 4 0 2, and the horizontal high-frequency threshold calculation unit 4 7 1 in FIG. 2 3.
  • the horizontal high-frequency component extraction unit 40 1 includes first to fourth horizontal high-frequency extraction units 4 4 1 to 4 47.
  • the horizontal high-frequency converter 4 0 2 includes first to fourth horizontal high-frequency converters 4 4 2 to 4 4 8.
  • the horizontal high-frequency threshold calculation unit 4 71 includes a horizontal noise amount estimation unit 8 2 1 and a horizontal threshold adjustment unit 8 2 2.
  • a threshold value calculation unit is provided for each of the horizontal direction, the vertical direction, and the oblique direction. Therefore, by performing threshold processing for each different direction, it is possible to prevent the occurrence of artifacts due to the remaining high-frequency components in a specific direction.
  • artifacts caused by noise are prevented by decomposing a processing target image into a plurality of frequency components and processing the decomposed frequency components.
  • an image processing apparatus capable of achieving both appropriate noise reduction and image detail retention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

レンズ系（１００）、ＣＣＤ（１０１）を介して撮影された画像は、Ａ／Ｄ（１０２）においてデジタル信号に変換され、バッファ（１０３）に記憶される。バッファ（１０３）の出力は、ノイズ低減処理部（１０４）、信号処理部（１０５）を順次介して、出力部（１０６）に入力されている。ノイズ低減処理部（１０４）においては、低周波成分作成部で低周波成分が、高周波成分作成部で高周波成分が作成される。また、閾値設定部によって、高周波成分の類似した方向ごとに閾値が設定される。さらに、高周波成分変換部によって、設定された閾値に基づいて、高周波成分の変換処理が行われ、合成部で、低周波成分と変換処理された高周波成分が合成される。

Description

明 細 書
画像処理装置
技 術 分 野
本発明は、 処理対象画像を複数の周波数成分に分解し、 分解された 周波数成分に対して処理を行うことにより、 ノィズ低減等の画像処理 を行う画像処理装置に関するものである。 背 景 技 術
画像処理において、 画像に含まれるノィズを抑制する手法が種々提案 されている。 例えば特許 3 1 9 3 8 0 6号公報には、 画像を多解像度 レベルのデテール像に分解し、 各デテール像の局所分散ヒス トグラム からノイズ分散を求める。 このようにして求めた、 ノイズ分散をパラ メータとするノィズ抑制関数によつて各デテール像を変換処理した後、 すべてのデテール像を合成することにより、 画像に含まれるノイズを 抑制することが示されて.いる。 このような処理をすることにより、 有 益な情報を表す画像デテールを保持するとともに、 各デテール像に含 まれるノイズを減衰させている。 '
しかしながら、 上記特許 3 1 9 3 8 0 6号公報に記載の従来技術は、 各デテール像に対して一つの変換関数を用いるため、 ノイズに起因す る特定方向の成分が残存するこ とによ り発生するァーティ フ ァク トを 防止することができないという問題があった。 また、 従来技術は、 各 デテール像のみから変換関数を求めるため、 極端な変換結果を与える 変換関数を発生させ、 ノイズ低減が不十分であり、 また、 画像の細部 の情報が失われてしまうという問題があった。
本発明は、 従来技術のこのような問題点に鑑みてなされたものであ り、 ノイズに起因するアーティ ファク トを防止可能とすると共に、 適 切なノィズ低減と画像細部の保持の両立が可能な画像処理装置を提供 することを目的とする。
発 明 の 開 示
( 1 ) . 上記目的を達成するために、 本発明にかかる画像処理装置 は、 対象画像,から当該対象画像の低周波成分を作成する低周波成分作 成部と、 前記対象画像から当該対象画像の、 少なく とも二つの高周波 成分を作成する高周波成分作成部と、 前記少なく とも二つの高周波成 分のうち所定の高周波成分における所定の絶対値範囲を有する要素を 強調または抑制する高周波成分変換部と、 前記少なく とも二つの高周 波成分のうち、 互いに類似した方向に沿った高周波成分に対する前記 所定の絶対値範囲を決める少なく とも二つの閾値を設定 る閾値設定 部と、 前記高周波成分変換部により変換された後の前記少なく とも二 つの高周波成分と、 前記対象画像または前記低周波成分とを用いて画 像を生成する画像生成部と、 を有することを特徴とする。
( 1 ) の発明に関する実施形態は、 第 1 から第 5の実施形態が対応 する。 （ 1 ) の発明の構成にかかる低周波成分作成部は、 この実施形態 では低周波抽出部 2 0 0が該当し、 高周波成分作成部は、 水平垂直高 周波抽出部 2 0 1、 4 5度斜め高周波抽出部 2 0 3、 1 3 5度斜め高 周波抽出部 2 0 5、 水平高周波抽出部 4 0 1、 垂直高周波抽出部 4 0 3、 斜め高周波抽出部 4 0 5が該当する。 また、 高周波成分変換部は、 水平垂直高周波変換部 2 0 2、 4 5度斜め高周波変換部 2 0 4、 1 3 5度斜め高周波変換部 2 0 6、 水平高周波変換部 4 0 2、 垂直高周波 変換部 4 0 4、 斜め高周波変換部 4◦ 6が該当する。 さらに、 （ 1 ) の 発明の構成にかかる閾値設定部は、 水平垂直高周波閾値算出部 3 0 9、 残余高周波閾値算出部 9 0 0、 高周波閾値算出部 4 5 1、 水平高周波 閾値算出部 4 7 1、 垂直高周波閾値算出部 4 7 2、 斜めノ ィズ量推定 部 8 2 5が該当し、 画像生成部は、 合成部 2 0 9が該当する。
( 1 ) の発明は、 低周波成分作成部で低周波成分が、 高周波成分作 成部で高周波成分が作成される。 また、 閾値設定部によって、 高周波 成分の類似した方向ごとに閾値が設定される。 さらに、 高周波成分変 換部によって、 設定された閾値に基づいて、 高周波成分の変換処理が 行われる。 最終的には、 合成部で、 前記低周波成分と変換 ¾理された 高周波成分が合成される。 この構成によれば、 高周波成分の類似した 方向ごとに閾値が生成され、 特定の方向の成分が残存することを防止 できるので、 アーティ ファク トの発生が防止できる。
( 2 ) の発明は、 （ 1 ) の発明の前記閾値設定部は、 前記少なく とも 二つの高周波成分のうち所定の高周波成分に基づいて前記閾値を設定 することを特徴とする。
( 2 ) の発明に関する実施形態は、 第 1 と第 2の実施形態が対応す る。 （2 ) の発明にかかる構成の閾値設定部は、 図 7、 図 8に示した第 1 の実施形態の水平垂直閾値算出部 3 0 9が該当する。 なお、 4 5度 斜め方向、 1 3 5度斜め方向の各方向高周波に対しても同様の閾値算 出部が設けられている。 また、 図 1 4に示した第 2の実施形態で、 水 平高周波変換部 4 0 2、 垂直高周波変換部 4 0 4、 斜め高周波変換部 4 0 6は、 図 7、 図 8に示した水平垂直閾値算出部 3 0 9 と同様の各 方向の閾値算出部を有していることが該当する。 この構成によれば、 第 1 の実施形態では、 水平垂直、 4 5度斜め、 1 3 5度斜め各方向、 第 2の実施形態では水平、 垂直、 斜め各方向の高周波成分の変換に用 いる閾値を、 各方向高周波成分に基づき決定することができる。
( 3 ) の発明は、 （2 ) の発明の前記閾値設定部は、 前記少なく とも 二つの高周波成分のうち所定の高周波成分の平均値を算出する平均値 算出部をさらに有し、 前記平均値を調整して前記高周波成分変換部に 入力することを特徴とする。
( 3 ) の発明に関する実施形態は、 第 1〜第 3の実施形態が対応す る。 （3 ) の発明にかかる構成の平均値算出部は、 第 1 の実施形態では、 図 8に示した絶対値算出部 8 0 1、 平均値算出部 8 0 2 と平均値調整 部 8 0 3が該当する。 第 2の実施形態では、 図 1 4において、 水平高 周波変換部 4 0 2、 垂直高周波変換部 4 0 4、 斜め高周波変換部 4 0 6は、 図 7、 図 8に示した水平垂直閾値算出部 3 0 9 と同様の各方向 の閾値算出部を有しており、 この閾値算出部に絶対値算出部 8 0 1、 平均値算出部 8 0 2 と平均値調整部 8 0 3を設けていることが該当す る。 第 3の実施形態では、 図 2 0に示されたノィズ低減処理部 1 0 4 が図 1 の第 1 の実施形態と同じ構成であり、 図 8に示した絶対値算出 部 8 0 1、 平均値算出部 8 0 2 と平均値調整部 8 0 3を有することが 該当する。 この構成によれば、 例えば水平垂直高周波の場合には、 第 一から第四の水平垂直高周波抽出部の出力を絶対値に変換して、 前記 四つの絶対値の平均値が算出される。 この平均値は、 制御剖から与え られた調整値に基づき調整されるので、 対応する方向の高周波成分変 換部で、 適切な変換処理が行われる。
( 4 ) の発明は、 （2 ) または （3 ) の発明の前記平均値算出部は、 前記少なく とも二つの高周波成分のうち前記所定の高周波成分のゲイ ンを調整するゲイン調整部をさらに有することを特徴とする。
( 4 ) の発明に関する実施形態は、 第 1 と第 3の実施形態が対応す る。 （4 ) の発明にかかる構成のゲイン調整部は、 第 1 の実施形態では、 図 9に示された残余高周波補正部 9 0 9が該当する。 第 3の実施形態 では、 図 2 0に示されたノィズ低減処理部 1 0 4が図 1 の第 1 の実施 形態と同じ構成であり、 図 2に示されている残余高周波変換部に図 9 の残余高周波補正部 9 0 9が設けられていることが該当する。 この構 成によれば、 残余高周波補正部 9 0 9において、 残余高周波成分を他 の高周波成分と等しいゲインとなるように補正することができる。
( 5 ) の発明は、 （ 1 ) の発明の前記閾値設定部は、 前記少なく とも 二つの高周波成分のうち、 所定の高周波成分に含まれると推定される ノィズ量を推定するノィズ量推定部をさらに有することを特徴とする。
( 5 ) の発明に関する実施の形態は、 第 3〜第 5の実施形態が対応 する。 （5 ) の発明にかかる構成のノイズ量推定部は、 第 3の実施形態 では、 図 2 1 に示されたノ ィズ量推定部 8 0 6が該当する。 第 4の実 施形態では、 図 2 2に示されているノィズ量推定部 8 0 6が該当する。 第 5の実施形態では、 図 2 4に示されている水平ノィズ量推定部 8 2
1が該当する。 この構成によれば、 カメ ラの撮影感度設定に応じた高 感度時または低感度時のノィズモデルにより、 ノィズ量を推定するこ とができる。
( 6 ) の発明は、 （ 1 ) の発明の前記閾値設定部は、 前記閾値に対し て、 制限を加える閾値制限部をさらに有することを特徴とする。
( 6 ) の発明に関する実施の形態は、 第 1〜第 3の実施形態が対応 する。 （6 ) の発明にかかる構成の閾値制限部は、 第 1 の実施形態では、 図 8に示されたノイズ量推定部 8 0 6、 下限値設定部 8 0 7、 上限値 設定部 8 0 8、 第一制限部 8 0 4、 第二制限部 8 0 5が該当する。 第 2の実施形態では、 図 1 4に示された水平高周波変換部 4 0 2、 垂直 高周波変換部 4 0 4、 斜め高周波変換部 4 0 6は、 図 7、 図 8に示し たと同様の高周波閾値算出部を有しており、 この高周波閾値算出部に ノイズ量推定部 8 0 6、 下限値設定部 8 0 7、 上限値設定部 8 0 8、 第一制限部 8 0 4、 第二制限部 8 0 5を設けていることが該当する。 第 3の実施形態では、 図 2 0のノィズ低減処理部 1 0 4が、 図 8に示 されたノイズ量推定部 8 0 6、 下限値設定部 8 0 7、 上限値設定部 8 0 8、 第一制限部 8 0 4.、 第二制限部 8 0 5を有していることが該当 する。
( 6 ) の発明は、 各高周波成分に基づいて、 絶対値算出部 8 0 1、 平均値算出部 8 0 2 と平均値調整部 8 0 3において算出された閾値に 対して、 第一制限部 8 0 4、 第二制限部 8 0 5によって、 上限値と下 限値の間になるように制限を加える。 この構成によれば、 閾値が小さ すぎてノィズ低減が不十分であつたり、 閾値が大きすぎて画像の細部 の情報が失われてしまうという問題が防止できる。
( 7 ) の発明は、 （6 ) の発明の前記閾値制限部は、 前記閾値を所定 の下限値以上に制限する下限制限部であることを特徴とする。
( 7 ) の発明に関する実施形態は、 第 1〜第 3の実施形態が対応す る。 （7 ) の発明にかかる構成の閾値制限部は、 第 1 の実施形態では、 図 8に示されたノイズ量推定部 8 0 6、 下限値設定部 8 0 7、 第一制 限部 8 0 4が該当する。 第 2の実施形態では、 図 1 4の水平高周波変 換部 4 0 2、 垂直高周波変換部 4 0 4、 斜め高周波変換部 4 0 6は、 図 7、 図 8に示したと同様の高周波閾値算出部を有しており、 この高 周波閾値算出部に、 図 8に示されたと同様のノィズ量推定部 8 0 6、 下限値設定部 8 0 7、 第一制限部 8 0 4を設けたことが該当する。 第 3の実施形態では、 図 2 0のノイズ低減処理部 1 0 4が、 図 8に示さ れたノイズ量推定部 8 0 6、 下限値設定部 8 0 7、 第一制限部 8 0 4 を有することが該当する。 この構成によれば、 これより小さい振幅の 信号は、 すべてノイズであると見なす信号に対応する閾値の下限値を 制限することができる。
( 8 ) の発明は、 （6 ) の発明の前記閾値制限部は、 前記閾値を所定 の上限値以下に制限する上限制限部であることを特徴とする。
( 8 ) の発明に関する実施形態は、 第 1〜第 3の実施形態が対応す る。 （8 ) の発明にかかる構成の閾値制限部は、 第 1 の実施形態では、 図 8に示されたノイズ量推定部 8 0 6、 上限値設定部 8 0 8、 第二制 限部 8 0 5が該当する。 第 2の実施形態では、 図 1 4の水平高周波変 換部 4 0 2、 垂直高周波変換部 4 0 4、 斜め高周波変換部 4 0 6は、 図 7、 図 8に示したと同様の高周波閾値算出部を有しており、 この高 周波閾値算出部に、 図 8に示されたと同様のノィズ量推定部 8 0 6、 上限値設定部 8 0 8、 第二制限部 8 0 5を設けたことが該当する。 第 3の実施形態では、 図 2 0のノィズ低減処理部 1 0 4に、 図 8に示さ れたノイズ量推定部 8 0 6、 上限値設定部 8 0 8、 第二制限部 8 0 5 を設けたことが該当する。. この構成によれば、 これより大きい振幅の 信号は、 すべてノイズではなく、 画像に含まれる本来の情報と見なす 信号に対応する閾値の上限値を制限することができる。
( 9 ) の発明は、 （6 ) の発明の前記閾値制限部は、 前記少なく とも 二つの高周波成分のうち、 所定の高周波成分に含まれると推定される ノィズ量を推定するノィズ量推定部をさらに有することを特徴とする。
( 9 ) の発明に関する実施形態は、 第 1 〜第 3の実施形態が対応す る。 （9〉 の発明にかかる構成のノイズ推定部は、 第 1 の実施形態では、 図 8に示したノイズ全推定部 8 0 6が該当する。 第 2の実施形態では、 図 1 4の水平高周波変換部 4 0 2、 垂直高周波変換部 4 0 4、 斜め高 周波変換部 4 0 6は、 図 7、 図 8に示したと同様のノイズ量推定部 8 0 6を設けたことが該当する。 第 3の実施形態では、 図 2 0のノイズ 低減処理部 1 0 4に、 図 8に示されたノィズ量推定部 8 0 6を設けた ことが該当する。 この構成によれば、 カメ ラの撮影感度設定に応じた 高感度時または低感度時のノィズモデルにより、 ノィズ量を推定する ことができる。
• ( 1 0 ) の発明は、 （5 ) または （9 ) の発明の前記ノイズ量推定部 は、 所定の高周波成分に含まれると推定されるノイズ量を、 他の所定 の高周波成分に含まれると推定されるノィズ量に調整するノィズ量調 整部をさらに有することを特徴とする。
( 1 0 ) の発明に関する実施形態は、 第 4の実施形態が対応する。 ( 1 0 ) の発明にかかる構成の閾値制限部は、 図 2 2に示したノイズ 量調整部 9 2 0が該当する。 この構成によれば、 ノイズ量推定部で推 定されたノィズ量を、 ノィズ量調整部によりフィルタゲイ ンの違いに 応じて補正することができる。
本発明においては、 高周波成分の類似した方向ごとに閾値が生成さ れ、 特定の方向の成分が残存することを防止できるので、 アーティ フ ァク トの発生が防止できる。 このように、 ノイズに起因するアーティ フ ァク トを防止可能とすると共に、 適切なノィズ低減と画像細部の保 持の両立が可能な画像処理装置を提供することができる。 図面の簡単な説明
図 1 は本発明の第 1の実施形態を示す構成図である。
図 2は図 1の部分的な構成を示す構成図である。
図 3はべィヤー配列プロックを示す説明図である。
図 4は低周波抽出フィルタの例を示す説明図である。
図 5は残余高周波抽出フィルタの例を示す説明図である。
図 6は水平垂直高周波抽出フィルタの例を示す説明図である。
図 7は図 2の部分的な構成を示す構成図である。
図 8は図 7の部分的な構成を示す構成図である。
図 9は図 2の部分的な構成を示す構成図である。
図 1 0はノイズモデルの例を示す特性図である。
図 1 1 はノイズ発生確率を示す特性図である。
図 1 2はノイズとエツジの振幅分布を示す特性図である。
図 1 3はコアリング変換処理の例を示す特性図である。
図 1 4は本発明の第 2の実施形態を示す構成図である。
図 1 5はべィヤー配列ブロックを示す説明図である。
図 1 6は色差信号の生成を示す説明図である。
図 1 7は色差信号の処理単位ブロックを示す説明図である。
図 1 8は低周波抽出フ ィ ルタの例を示す説明図である。
図 1 9は高周波抽出フ ィ ルタの例を示す説明図である。 図 2 0は第 3の実施形態にかかる構成を示す構成図である。
図 2 1 は図 2 0の部分的な構成を示す構成図である。
図 2 2は第 4の実施形態の構成図である。
図 2 3は第 5の実施形態の構成図である。
図 2 4は図 2 3の部分的な構成を示す構成図である。
図 2 5はノイズモデルの例を示す特性図である。 発明を実施するための最良の形態
以下、 本発明の第 1 の実施形態について図を参照して説明する。 図 1〜図 1 3は本発明の第 1 の実施形態を示す図である。 図 1 は本発明 の第 1 の実施形態を示す構成図、 図 2は図 1 の部分的な構成を示す構 成図、 図 3はべィャ一配列プロックを示す説明図、 図 4は低周波抽出 フ ィルタの例を示す説明図、 図 5は残余高周波抽出フイルクの例を示 す説明図、 図 6は高周波抽出フィルタの例を示す説明図、 図 7は図 2 の部分的な構成を示す構成図、 図 8は図 7の部分的な構成を示す構成 図、 図 9は図 2の部分的な構成を示す構成図、 図 1 0はノイズモデル の例を示す特性図、 図 1 1 はノイズ発生確率を示す特性図、 図 1 2は ノイズとエツジの振幅分布を示す特性図、 図 1 3はコアリ ング変換処 理の例を示す特性図である。
• 図 1 は、 第 1 の実施形態の構成図である。 この実施形態は、 デジタ ルカメラを想定しており、 被写体を撮影し、 得られたデジタルデータ を記憶媒体に記録する機能を実現するものである。 レンズ系 1 0 0、 C C D 1 0 1 を介して撮影された画像は、 A Z D 1 0 2においてデジ タル信号に変換され、 バッファ 1 0 3に一時的に記憶される。 パッフ ァ 1 0 3の出力は、 ノィズ低減処理部 1 0 4、 信号処理部 1 0 5を順 次介して、 出力部 1 0 6に入力されている。 さらに、 図示しない、 マ イク口コンピュータ等により構成される制御部が、 各部と双方向に接 続されている。
バッファ 1 0 3から読み出された画像信号は、 ノィズ低減処理部 1 0 4で、 画像信号に含まれるノィズが低減された後、 信号処理部 1 0 5において、 ホワイ トバランス、 色補間処理、 エッジ強調処理、 圧縮 処理などの信号処理が行われ、 出力部 1 0 6で記録媒体に保存される。 ノイズ低減処理は、 図 3に示すような、 縦 5画素、 横 5画素のべィャ 一配列からなる領域を処理単位として行われる。 ノィズ低減処理が行 われると、 領域中心の G画素の信号が変換される。 領域を 2画素ずつ 移動させながら、 同様の処理を行うことを繰り返すことにより、 画像 全体に処理が行われる。 これらの処理は、 制御部の制御に基づき行わ れる。
図 2にノィズ低減処理部 1 0 4の構成図を示す。 ノィズ低減処理部 1 0 4は、 バッファ 1 0 3から読み出した画像信号を、 複数の周波数 成分に分解し、 分解した各成分に変換処理を施した後、 再合成し、 ノ ィズを低減する。 こ こでは、 周波数分解は、 方向性のある高周波抽出 フィルタによつて行われ、 方向ごとに異なる変換処理が行われる。
図 2において、 低周波抽出部 2 0 0は、 ノ ッファ 1 0 3から読み出 された画像信号に対して、 図 4に示す低周波抽出フ ィルタを適用し、 低周波成分を抽出する。 低周波抽出フィルタで抽出された低周波成分 は、 合成部 2 0 9に出力される。 高周波抽出部は、 水平垂直高周波抽 出部 2 0 1、 4 5度斜め高周波抽出部 2 0 3、 1 3 5度斜め高周波抽 出部 2 0 5、 残余高周波抽出部 2 0 7からなる。 また、 高周波変換部 は、 水平垂直高周波変換部 2 0 2、 4 5度斜め高周波変換部 2 0 4、 1 3 5度斜め高周波変換部 2 0 6、 残余高周波変換部 2 0 8からなる。 水平垂直高周波抽出部 2 0 1 は、 バッファ 1 0 3から読み出された画 像信号に対して、 図 6に示す水平垂直高周波抽出フ ィ ルタ （H 9〜H 1 2 ) を適用し、 水平垂直高周波成分を抽出する。 水平垂直高周波変換部 202は、 水平垂直高周波抽出部 202で抽 出された水平垂直高周波成分に変換処理を行うことにより、 水平垂直 高周波成分に含まれているノィズを低減する。 ノィズが低減された水 平垂直高周波成分は、 合成部 209にて他の成分と合成される。 なお、 図 4の係数 1 / 1 6は、 ビッ トシフ ト演算される レベル調整用の除数 である。
図 6には、 45度斜め高周波抽出フィルタ （a)、 1 35度斜め高周 波抽出フィルタ （b)、 水平垂直高周波抽出フィルタ （c) が示されて いる。 水平垂直高周波抽出フィルタは、 第一〜第四高周波抽出フ ィル タ H9〜H 1 2からなる。 第 第四高周波抽出フィルタ H 9〜 H I
2は、 図 7で説明するように、 第 第四水平垂直高周波抽出部 30
1〜 307に対応している。 同様に、 45度斜め高周波抽出フィルタ は、 第 第四の高周波抽出フ ィルタ H I〜H4からなり、 1 35度 斜め高周波抽出フイルクは、 第 第四の高周波抽出フィルタフ ィル タ H5〜H8からなる。
図 2において、 45度斜め高周波抽出部 203は、 ノ ッファ 1 03 から読み出された画像信号に対して、 図 6に示す 45度斜め高周波抽 出フィ ルタ （H 1〜H4) を適用し、 45度斜め高周波成分を抽出す る。 45度斜め高周波変換部 204は、 45度斜め高周波抽出部 20 3で抽出された 45度斜め高周波成分に変換処理を行うことにより、 45度斜め高周波成分に含まれているノィズを低減する。 ノィズが低 減された 45度斜め高周波成分は、 合成部 209にて他の成分と合成 される。
1 35度斜め高周波抽出部 205は、 ノ ッファ 1 03から読み出さ れた画像信号に対して、 図 6に示す 1 35度斜め高周波抽出フィルタ (H5〜H8) を適用し、 1 35度斜め高周波成分を抽出する。 1 3 5度斜め高周波変換部 206は、 1 35度斜め高周波抽出部 205で 抽出された 1 3 5度斜め高周波成分に変換処理を行うことにより、 1 3 5度斜め高周波成分に含まれているノィズを低減する。 ノィズが低 減された 1 3 5度斜め高周波成分は、 合成部 2 0 9にて他の成分と合 成される。
残余高周波抽出部 2 0 7は、 バッファ 1 0 3から読み出された画像 信号に図 5に示す残余高周波抽出フィルタを適用し、 残余高周波成分 を抽出する。 残余高周波変換部 2 0 8は、 残余高周波抽出部 2 0 7で 抽出された残余高周波成分に変換処理を行う ことにより、 残余高周波 成分に含まれているノイズを低減する。 ノィズが低減された残余高周 波成分は、 合成部 2 0 9にて他の成分と合成される。 残余高周波成分 は、 原信号から、 低周波成分、 水平垂直高周波成分、 4 5度斜め高周 波成分、 1 3 5度斜め高周波成分を抽出した後の残りの成分である。 残余高周波抽出部 2 0 7、 残余高周波変換部 2 0 8は、 低周波成分、 水平垂直高周波成分、 4 5度斜め高周波成分、 1 3 5度斜め高周波成 分、 残余高周波成分のすべての成分を合成することにより、 原信号が 完全に復元されるようにするために設けられている。
図 7に、 図 2で説明した水平垂直高周波抽出部 2 0 1 と水平垂直高 周波変換部 2 0 2の構成図を示す。 水平垂直高周波抽出部 2 0 1 は、 第一から第四の、 四つの水平垂直高周波抽出部 3 0 1、 3 0 3、 3 0 '5、 3 0 7から構成されている。 それぞれ、 図 6に示したような、 四 つの水平垂直高周波抽出フィルタ （H 9〜H 1 2 ) に対応している。 水平垂直高周波変換部 2 0 2は、 第一から第四の、 四つの水平垂直高 周波変換部 3 0 2、 3 ひ 4、 3 0 6、 3 0 8と水平垂直高周波閾値算 出部 3◦ 9 とから構成されている。 各水平垂直高周波変換部 3 0 2、 3 0 4、 3 0 6、 3 0 8の出力 （A ) は、 水平垂直高周波閾値算出部 3 0 9に入力される。
第一水平垂直高周波抽出部 3 0 1 で抽出された水平垂直高周波成分 は、 水平垂直高周波閾値算出部 3 0 9により求められた閾値 （B ) に 基づき、 第一水平垂直高周波変換部 3 0 2で変換され、 合成部 2 0 9 に出力される。 また、 水平垂直高周波閾値算出部 3 0 9は、 低周波抽 出部 2 0 0、 第一から第四の水平垂直高周波抽出部 3 0 1、 3 0 3、 3 0 5、 3 0 7の出力に基づき、 第一から第四の水平垂直高周波変換 部 3 0 2、 3 0 4、 3 0 6、 3 0 8で用いられる閾値 （B ) を決定す る。 このように、 図 7では水平垂直高周波成分の変換に用いる閾値を、 水平垂直高周波成分に基づき決定する。
図 2に示した 4 5度斜め高周波抽出部 2 0 3と 4 5度斜め高周波変 換部 2 0 4、 および 1 3 5度斜め高周波抽出部 2 0 5 と 1 3 5度斜め 高周波変換部 2 0 6についても、 図 7で説明した水平垂直高周波抽出 部 2 0 1 と水平垂直高周波変換部 2 0 2の構成と同様の構成と してい る。 すなわち、 各方向の高周波変換部には、 各方向高周波の閾値算出 部 （図 7の図示番号 3 0 9に相当） を設けている。
図 8に、 図 7で説明した水平垂直高周波閾値算出部 3 0 9の構成図 を示す。 第一から第四の水平垂直高周波抽出部 3 0 1、 3 0 3、 3 0 5、 3 0 7の出力は、 絶対値算出部 8 0 1 において絶対値に変換され、 平均値算出部 8 0 2で、 四つの絶対値の平均値が算出される。 平均値 調整部 8 0 3では、 制御部から与えられた調整値に基づき平均値が調 '整される。 本実施形態においては、 平均値算出部 8 0 2の出力に調整 値が乗算される。 この調整値は、 第一から第四の水平垂直高周波変換 部 3 0 2、 3 0 4、 3 0 6、 3 0 8において行われる変換処理の強度 を調整するための値で、 所望の画質が得られるように、 予め調整作業 を行って決定された値が設定されている。
図 8の水平垂直高周波閾値算出部 3 0 9には、 絶対値算出部 8 0 1、 平均値算出部 8 0 2、 平均値調整部 8 0 3、 第一制限部 8 0 4、 第二 制限部 8 0 5、 ノイズ量推定部 8 0 6、 下限値設定部 8 0 7、 上限値 設定部 8 0 8が設けられている。
ノイズ量推定部 8 0 6では、 低周波抽出部 2 0 0の出力と、 制御部 によって設定されたノイズモデルに基づいて、 画像信号に含まれると 推定されるノイズ量を推定する。 ノイズモデルは、 図 1 0に示すよう に、 画像信号のレベルの関数として、 画像信号に含まれると推定され るノイズ量を与えるもので、 理論計算や実測に基づいて、 予め設定さ れている。 ノイズモデルは、 図 1 0に示すように、 カメラの撮影感度 設定 （高感度時または低感度時） に応じて、 切り換えられる。
ノィズ量推定部 8 0 6で推定されたノィズ量は、 下限値設定部 8 0 7、 上限値設定部 8 0 8に加えられる。 下限値設定部 8 0 7では、 ノ ィズ量に基づいて、 閾値の下限値を算出する。 閾値の下限値は、 これ より小さい振幅の信号は、 すべてノイズであると見なす信号に対応す る。 上限値設定部 8 0 8では、 ノイズ量に基づいて、 閾値の上限値を 算出する。 閾値の上限値は、 これより大きい振幅の信号は、 すべてノ ィズではなく、 画像に含まれる本来の情報と見なす信号に対応する。 下限値設定部 8 0 7で算出された下限値、 および上限値設定部 8 0 8で算出された上限値は、 ノィズの統計的な性質に基づいて定められ るもので、 ノィズモデルから求められたノィズ量を基準と し 係数値 と して、 予め設定されている。 前記下限値、 上限値は、 図 1 2に示す ように、 ノイズとエッジ （画像に含まれる本来の情報） の振幅値ヒス トグラムの違いに基づいて設定される。
一般に、 ノイズは、 振幅値の小さい領域に高いピークを持ち、 エツ ジは、 それよりも大きい振幅値の領域にピークを持つ。 ノイズとエツ ジのそれ 'それの振幅分布は、 重なりを持つが、 エッジの分布の下端側 において発生頻度が充分に小さく なった振幅を下限値に設定し、 ノィ ズの分布の上端において発生頻度が充分に小さく なつた振幅を上限値 に設定することが望ましい。 図 8において、 下限値設定部 8 0 7で設定された下限値は、 第一制 限部 8 0 4に出力され、 上限値設定部 8 0 8で設定された上限値は、 第二制限部 8 0 5に出力される。 平均値調整部 8 0 3の出力は、 第一 制限部 8 0 4において、 下限値と比較され、 下限値より小さければ、 下限値に変換される。 第一制限部 8 0 4の出力は、 第二制限部 8 0 5 において、 上限値と比較され、 上限値より大きければ、 上限値に変換 される。
図 2で説明した、 4 5度斜め高周波変換部 2 0 4と 1 3 5度斜め高 周波変換部 2 0 6にも、 上記水平垂直高周波閾値算出部 3 0 9に対応 する構成が含まれている。 すなわち、 図 7で説明した水平垂直高周波 抽出部 2 0 1 と水平垂直高周波変換部 2 0 2の構成と同様の、 各方向 高周波抽出部と各方向高周波変換部を有しており、 各方向高周波変換 部には各方向高周波閾値算出部が設けられている。 これらの各方向高 周波閾値算出部が水平垂直高周波閾値算出部 3 0 9と同様の作用を行 うことにより、 各方向の高周波成分に基づいて、 各高周波成分の変換 処理に用いられる閾値が算出される。
図 9に、 残余高周波抽出部 2 0 7 と残余高周波変換部 2 0 8の構成 図を示す。 図 9の残余高周波閾値算出部 9 0 0が、 図 8の水平垂直高 周波閾値算出部 3 0 9と異なるのは、 絶対値算出部 8 0 1 に入力され 'る信号が、 特定の方向の高周波成分だけではなく、 水平垂直高周波成 分、 4 5度斜め高周波成分、 1 3 5度斜め高周波成分、 残余高周波成 分の、 すべての高周波成分であることである。 また、 残余高周波抽出 部 2 0 7の出力が入力される残余高周波補正部 9 0 9が設けられてい ることである。 残余高周波補正部 9 0 9は、 所定の高周波成分を調整 するゲイン調整部の機能を有している。
図 9の、 残余高周波補正部 9 0 9以外の絶対値算出部 8 0 1、 平均 値算出部 8 0 2、 平均値調整部 8 0 3、 第一制限部 8 0 4、 第二制限 部 8 0 5、 ノイズ量推定部 8 0 6、 下限値設定部 8 0 7、 上限値設定 部 8 0 8の構成は、 図 8と同じ構成である。 なお、 残余高周波抽出部 2 0 7で抽出された残余高周波成分は、 残余高周波変換処理部 2 0 8 に入力される。
図 9の残余高周波閾値算出部 9 0 0は、 このような構成になってい るため、 残余高周波成分の変換処理に用いられる閾値は、 すべての高 周波成分に基づいて決定される。 また、 図 5で示した残余高周波抽出 部 2 0 7を構成する残余高周波抽出フィルタは、 図 6で示した他の高 周波抽出フィルタとフィルタゲインが異なる。 このため、 残余高周波 補正部 9 0 9において、 他の高周波成分と等しいゲイ ンとなるように 補正している。
図 1 3は、 水平垂直高周波変換部 2 0 2 , 4 5度斜め高周波変換部 2 0 4、 1 3 5度斜め高周波変換部 2 0 6、 残余高周波変換部 2 0 8 において行われる閾値処理であるコアリ ング処理を示したものである。 このようなコアリ ング処理により、 ノィズと見做される閾値以下の信 号 （〇の部分） が削除されるため、 画像信号に含まれるノイズを低減 することができる。
図 9において、 以上の残余高周波変換部 2 0 8の処理の後、 図 2で 説明したと同様に合成部 2 0 9にて、 低周波成分と、 残余高周波変換 部 2 0 8で変換処理がなされた高周波成分を合成することにより、 ノ ィズが低減された画像信号が得られる。
図 1 4〜図 1 9は、 本発明の第 2の実施形態を示す図である。 図 1 4は本発明の第 2の実施形態を示す構成図、 図 1 5はべィヤー配列ブ ロックを示す説明図、 図 1 6は色差信号の生成を示す説明図、 図 1 7 は色差信号の処理単位プロックを示す説明図、 図 1 8は低周波抽出フ イ ルタの例を示す説明図、 図 1 9は高周波抽出フ ィルタの例を示す説 明図である。 図 1 4に、 本発明の第 2の実施形態におけるノィズ低減処理部 1 0 4を示す。 図 2に示した第 1 の実施形態のノィズ低減処理部 1 0 4と 異なるのは、 色差信号生成部 4 0 0を有すること、 高周波成分の分解 方法が、 水平方向、 垂直方向、 斜め方向の三つの方向になっているこ と、 残余高周波成分がないことである。 また、 処理単位となるべィャ 一配列プロックを、 図 1 5に示すように、 横 6画素、 縦 6画素と して いる。
図 1 4において、 色差信号生成部 4 0 0は、 図 1 6に示すように、 注目画素の Rも しく は Bの信号値、 および、 その左側と上側の Gの信 号値を用いて、 色差信号 R— G ' も しく は B— G ' を生成する。 なお、 G ' は、 二つの G画素の平均値である。 さらに、 図 1 7に示すように、 横 3画素、 縦 3画素をひとつの色差信号の処理プロックと して出力す る。
図 1 4の低周波抽出部 2 0 0は、 図 1 8に示すフ ィルタにより構成 される。 水平高周波抽出部 4 0 1 は、 図 1 9の高周波抽出フ ィルタ H 1— 1 〜H 1—4で構成される。 垂直高周波抽出部 4 0 3は、 図 1 9 の高周波抽出フィルタ H I— 5〜H 1—8で構成される。 斜め高周波 抽出部 4 0 5は、 図 1 9の高周波抽出フィルタ H I— 9〜H 1— 1 2 で構成される。
図 1 4に示したノィズ低減処理部 1 0 4の、 水平方向、 垂直方向、 斜め方向の各方向高周波抽出部 4 0 1 〜 4 0 5は、 処理ブロックのサ ィズとフィルタ係数が異なること以外は、 構成、 作用とも図 7に示す 水平垂直高周波抽出部 2 0 1 と同じである。 また、 水平高周波変換部 4 0 2、 垂直高周波変換部 4 0 4、 斜め高周波変換部 4 0 6は、 図 7 に示す水平垂直高周波変換部 2 0 2と同じ構成、 作用である。 すなわ ち、 第一〜第四高周波変換部と、 高周波閾値算出部とを有している。 なお、 図 1 6に示す変換と逆の変換が、 図 1 4の信号処理部 1 0 5 で行われて、 色差信号 R— G'、 B— G' から原色信号 R、 Bが再生成 される。 このように、 図 1 4で説明した周波数変換の処理を行うと、 図 2に示したような残余高周波抽出部がないので、 構成を簡単にする ことができる。
図 2 0、 図 2 1は本発明の第 3の実施形態を示す図である。 図 20 は第 3の実施形態にかかる構成を示す構成図、 図 2 1 は図 2 0の部分 的な構成を示す構成図である。
図 2 0の構成においては、 図 1 に示した第 1の実施形態の構成に、 色差ノィズ低減処理部 450が加えられている。 図 20に示された第 3の実施形態では、 輝度信号 （G) と色信号 （R— G、 B— G) に対 して、 それぞれにノイズ低減処理が行われる。 すなわち、 ノイズ低減 処理部 1 04で輝度信号 （G) のノィズ低減処理を行い、 色差ノィズ 低減処理部 45 0で色信号 （R— G、 B— G) に対してノイズ低減処 理を行う。 したがって、 図 2 0に示した第 3の実施形態において、 ノ ィズ低減処理部 1 04の構成、 作用は、 図 1 に示した第 1の実施形態 と同じである。
図 2 1 に、 色差ノィズ低減処理部 450を示す。 図 2 1の例では、 水平高周波閾値算出部 45 1が、 ノィズ量推定部 80 6と閾値調整部 44 9から構成されていることが、 図 1 4に示された第 2の実施形態 'と異なる。 また、 水平高周波抽出部 40 1 は、 第一〜第四水平高周波 抽出部 44 1〜 447からなる。 また、 水平高周波変換部 4 0'2は、 第一〜第四水平高周波変換部 442〜 448からなる。 垂直高周波柚 出部 403、 斜め高周波抽出部 405も、 水平高周波抽出部 40 1 と 同様に、 四つの高周波抽出都から構成されている。 また、 垂直高周波 変換部 404、 斜め高周波変換部 40 6も、 水平高周波変換部 402 と同様に、 四つの高周波変換部から構成されている。
水平高周波閾値算出部 45 1 による閾値の算出に際して、 水平方向、 垂直方向、 斜め方向の方向成分によりそれぞれの閾値が算出されるの ではなく、 すべての方向の成分に対して、 同一の閾値が用いられる。 閾値調整部 4 4 9では、 ノィズ量推定部 8 0 6で求められたノィズ量 が、 制御部から設定された調整値に基づき調整される。 この調整値の 出力 （B ) は、 水平、 垂直、 斜めの高周波変換部 4 0 2、 4 0 4、 4 0 6において行われる変換処理の強度を調整するための値で、 各高周 波変換部 4 0 2、 4 0 4、 4 0 6に入力される。 調整値の出力 （B ) は、 所望の画質が得られるように、 予め調整作業を行って決定された 値が設定されている。
図 2 0、 図 2 1 に示された第 3の実施形態は、 輝度信号に対する変 換処理の閾値決定方法と、 色差信号に対する変換処理の閾値決定方法 が異なることが特徴である。 色差信号の変換処理に用いられる閾値を 決定する際に、 各高周波成分を参照する必要がないので、 構成が簡単 になる効果がある。
図 2 2は、 本発明の第 4の実施形態を示す構成図である。 図 2 0に 示した第 3の実施形態の構成において、 ノィズ低減処理部 1 0 4の構 成を図 2 2に示す構成としたものである。 高周波抽出部は、 図 2と同 様に水平垂直高周波抽出部 2 0 1、 4 5度斜め高周波抽出部 2 0 3、 1 3 5度斜め高周波抽出部 2 0 5、 残余高周波抽出部 2 0 7からなる。 また、 高周波変換部は、 水平垂直高周波変換部 2 0 2、 4 5度斜め高 周波変換部 2 0 4、 1 3 5度斜め高周波変換部 2 0 6、 残余高周波変 換部 2 0 8からなる。
高周波閾値算出部 4 5 1 の閾値調整部 4 4 9で決定された閾値 ( B ) は、 水平垂直、 4 5度斜め、 1 3 5度斜めの各高周波変換処理 部 2 0 2〜 2 0 6に与えられる。 また、 残余高周波変換処理部 9 1 0 に与えられる閾値は、 残余高周波閾値算出部 9 0 0の閾値調整部 4 4 9で決定される。 高周波閾値算出部 4 5 1 におけるノィズ量推定部 8 0 6、 閾値調整部 4 4 9の構成、 作用は、 図 2 1 の第 3の実施形態に 示したものと同様である。
残余高周波閾値算出部 9 0 0は、 ノィズ量調整部 9 2 0と閾値調整 部 4 4 9からなる。 残余高周波抽出部 2 0 7を構成する図 5に示す残 余高周波抽出フィルタと、 図 6に示すその他の高周波抽出部を構成す る高周波抽出フィルタのゲイ ンは異なっている。 このため、 ノイズ量 調整部 9 2 0は、 ノイズ量推定部 8 0 6で推定されたノイズ量を、 フ ィルタゲイ ンの違いに応じて補正している。 このような構成とするこ とにより、 ノィズ量推定部 8 0 6に設定されているノィズモデルは、 各高周波成分に対して共通のものを使用することができ、 ノイズモデ ルを記憶させる記憶手段に必要とする容量を少なくすることができる。 図 2 3、 図 2 4は、 本発明の第 5の実施形態を示す構成図である。 第 5の実施形態は、 図 2 1 に示した第 3の実施形態の構成において、 色差ノィズ低減処理部 4 5 0の構成を図 2 3に示す構成にしたもので ある。 図 2 3において、 低周波抽出部 2 0 0で抽出された周波数成分 は、 水平高周波閾値算出部 4 7 1、 垂直高周波閾値算出部 4 7 2、 斜 め高周波閾値算出部 4 7 3に入力される。
水平高周波閾値算出部 4 7 1 は、 水平ノィズ量推定部 8 2 1、 水平 閾値調整部 8 2 2からなる。 垂直高周波閾値算出部 4 7 2は、 垂直ノ ィズ量推定部 8 2 3、 垂直閾値調整部 8 2 4からなる。 斜め高周波閾 値算出部 4 7 3は、 斜めノィズ量推定部 8 2 5、 斜め閾値調整部 8 2 6からなる。 水平高周波変換部 4 0 2に与えられる閾値 （B ) は、 水 平高周波閾値算出部 4 7 1で、 垂直高周波変換部 4 0 4に与えられる 閾値 （C ) は、 垂直高周波閾値算出部 4 7 2で、 斜め高周波変換部 4 0 6に与えられる閾値 （D ) は、 斜め高周波閾値算出部 4 7 3で、 そ れぞれ決定される。
水平高周波変換部 4 0 2、 垂直高周波変換部 4 0 4、 斜め高周波変 換部 4 0 6、 低周波抽出部 2 0 0の出力は、 合成部 2 0 9で合成され、 信号処理部 1 0 5に入力される。 図 2 3においては、 図 2 5のノイズ モデルの特性図に示されているようなノィズモデルを、 水平高周波閾 値算出部 4 7 1、 垂直高周波閾値算出部 4 7 2、 斜め高周波閾値算出 部 4 7 3で個別に設定する。 また、 閾値の調整値を個別に設定する。 このように、 各高周波閾値算出部においてノイズモデル、 調整値を個 別に設定することにより、 高周波成分の方向ごとにノィズ低減の度合 を変更することができる。
図 2 4に、 図 2 3の中で水平高周波成分抽出部 4 0 1、 水平高周波 変換部 4 0 2、 水平高周波閾値算出部 4 7 1 の詳細を示す。 水平高周 波成分抽出部 4 0 1 は、 図 2 1 に示されているように、 第一〜第四水 平高周波抽出部 4 4 1 〜4 4 7からなる。 また、 水平高周波変換部 4 0 2は、 第一〜第四水平高周波変換部 4 4 2〜4 4 8からなる。 さら に、 水平高周波閾値算出部 4 7 1 は、 水平ノィズ量推定部 8 2 1 と水 平閾値調整部 8 2 2からなる。
図 2 3、 図 2 4に示す第 5の実施形態においては、 水平方向、 垂直 方向、 斜め方向の方向ごとに閾値算出部を有する。 このため、 異なる 方向ごとに閾値処理を行うことにより、 特定の方向の高周波成分が残 存することによるアーティ ファク トの発生が防止できる。 産業上の利用可能性
以上説明したように、 本発明によれば、 処理対象画像を複数の周波 数成分に分解し、 分解された周波数成分に対して処理を行うことによ り、 ノイズに起因するアーティ ファク トを防止可能とすると共に、 適 切なノィズ低減と画像細部の保持の両立が可能な画像処理装置を提供 することができる。

Claims

請 求 の 範 囲
1 . 対象画像から当該対象画像の低周波成分を作成する低周波成分作 成部と、 前記対象画像から当該対象画像の、 少なく とも二つの高周波 成分を作-成する高周波成分作成部と、 前記少なく とも二つの高周波成 分のうち所定の高周波成分における所定の絶対値範囲を有する要素を 強調または抑制する高周波成分変換部と、 前記少なく とも二つの高周 波成分のうち互いに類似した方向に沿った高周波成分に対する前記所 定の絶対値範囲を決める少なく とも二つの閾値を,設定する閾値設定部 と、 前記高周波成分変換部により変換された後の前記少なく とも二つ の高周波成分と、 前記対象画像または前記低周波成分とを用いて画像 を生成する画像生成部と、 を有することを特徴とする画像処理装置。
2 . 前記閾値設定部は、 前記少なく とも二つの高周波成分のうち所 定の高周波成分に基づいて前記閾値を設定することを特徴とする請求 項 1 に記載の画像処理装置。
3 . 前記閾値設定部は、 前記少なく とも二つの高周波成分のうち所 定の高周波成分の平均値を算出する平均値算出部をさらに有し、 前記 平均値を調整して前記高周波成分変換部に入力することを特徴とする 請求項 2に記載の画像処理装置。
4 . 前記平均値算出部は、 前記少なく とも二つの高周波成分のうち 前記所定の高周波成分のゲイ ンを調整するゲイ ン調整部をさらに有す ることを特徴とする請求項 2または請求項 3に記載の画像処理装置。
5 . 前記閾値設定部は、 前記少なく とも二つの高周波成分のうち、 所定の高周波成分に含まれると推定されるノィズ量を推定するノィズ 量推定部をさらに有することを特徴とする請求項 1 に記載の画像処理 装置。
6 . 前記閾値設定部は、 前記閾値に対して、 制限を加える閾値制限 部をさらに有することを特徴とする請求項 1 に記載の画像処理装置。
7 . 前記閾値制限部は、 前記閾値を所定の下限値以上に制限する下 限制限部であることを特徴とする請求項 6に記載の画像処理装置。
8 . 前記閾値制限部は、 前記閾値を所定の上限値以下に制限する上 限制限部であることを特徴とする請求項 6に記載の画像処理装置。
9 . 前記閾値制限部は、 前記少なく とも二つの高周波成分のうち、 所定の高周波成分に含まれると推定されるノイズ量を推定するノイズ 量推定部をさらに有することを特徴とする請求項 6に記載の画像処理 装置。
1 0 . 前記ノイズ量推定部は、 所定の高周波成分に含まれると推定 されるノイズ量を、 他の所定の高周波成分に含まれると推定されるノ ィズ量に調整するノィズ量調整部をさらに有することを特徴とする請 求項 5または請求項 9に記載の画像処理装置。
PCT/JP2006/314935 2005-07-21 2006-07-21 画像処理装置 WO2007011067A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/006,872 US20080112637A1 (en) 2005-07-21 2008-01-07 Image Processor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005210709A JP2007026334A (ja) 2005-07-21 2005-07-21 画像処理装置
JP2005-210709 2005-07-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/006,872 Continuation US20080112637A1 (en) 2005-07-21 2008-01-07 Image Processor

Publications (1)

Publication Number Publication Date
WO2007011067A1 true WO2007011067A1 (ja) 2007-01-25

Family

ID=37668934

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/314935 WO2007011067A1 (ja) 2005-07-21 2006-07-21 画像処理装置

Country Status (3)

Country Link
US (1) US20080112637A1 (ja)
JP (1) JP2007026334A (ja)
WO (1) WO2007011067A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4789854B2 (ja) 2007-05-09 2011-10-12 株式会社日立メディコ 超音波診断装置および超音波診断装置の画質改善方法
US8391635B2 (en) * 2007-08-31 2013-03-05 Olympus Corporation Noise removal device, noise removal method, and computer readable recording medium
JP4569697B2 (ja) * 2008-01-08 2010-10-27 三菱電機株式会社 画像処理装置、画像表示装置、及び画像処理方法
US8934720B2 (en) * 2011-06-24 2015-01-13 Panasonic Intellectual Property Corporation Of America Image processing device, image processing method, and integrated circuit in which super resolution process data is output as output data for input pixel data that is classified as high-frequency region data and that has noise less than or equal to a threshold
JP5595988B2 (ja) * 2011-07-19 2014-09-24 株式会社日立メディコ 超音波診断装置および超音波診断装置の画質改善方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003134352A (ja) * 2001-10-26 2003-05-09 Konica Corp 画像処理方法及び装置並びにプログラム
JP2004127064A (ja) * 2002-10-04 2004-04-22 Konica Minolta Holdings Inc 画像処理方法、画像処理装置、画像処理プログラム及び画像記録装置
JP2004318423A (ja) * 2003-04-15 2004-11-11 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像処理プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004193957A (ja) * 2002-12-11 2004-07-08 Konica Minolta Holdings Inc 画像処理装置、画像処理方法、画像処理プログラムおよび画像記録装置
US7903902B2 (en) * 2004-07-26 2011-03-08 Sheraizin Semion M Adaptive image improvement

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003134352A (ja) * 2001-10-26 2003-05-09 Konica Corp 画像処理方法及び装置並びにプログラム
JP2004127064A (ja) * 2002-10-04 2004-04-22 Konica Minolta Holdings Inc 画像処理方法、画像処理装置、画像処理プログラム及び画像記録装置
JP2004318423A (ja) * 2003-04-15 2004-11-11 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像処理プログラム

Also Published As

Publication number Publication date
JP2007026334A (ja) 2007-02-01
US20080112637A1 (en) 2008-05-15

Similar Documents

Publication Publication Date Title
US8248492B2 (en) Edge preserving and tone correcting image processing apparatus and method
JP4869653B2 (ja) 画像処理装置
JP5191224B2 (ja) 画像処理装置
JP2007188493A (ja) 動きボケ画像中の動きボケを減らす方法、それぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する方法、動きボケ画像中の動きボケを減らす装置、およびそれぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する装置
EP1931134A1 (en) Imaging device
WO2006134872A1 (ja) 撮像装置
US7903900B2 (en) Low complexity color de-noising filter
JP2011018141A (ja) 画像処理装置、及び画像処理プログラム
JP3208762B2 (ja) 画像処理装置及び画像処理方法
US8396291B2 (en) Component extraction/correction device, component extraction/correction method, storage medium and electronic equipment
WO2007011067A1 (ja) 画像処理装置
JP5185849B2 (ja) 画像処理装置、プログラム、及び方法、並びに撮像システム
JP5376202B2 (ja) ノイズ除去装置，ノイズ除去方法及びノイズ除去プログラム
US8385671B1 (en) Digital camera and method
JP5092536B2 (ja) 画像処理装置及びそのプログラム
JP5259616B2 (ja) 画像処理システムおよび画像処理プログラム
JP5249111B2 (ja) 画像処理装置、方法、プログラム、及び撮像システム
JP4202395B2 (ja) 画像変換方法、変換画像生成方法、および画像補正装置
JP3233114B2 (ja) 画像処理装置及び画像処理方法
JP4965903B2 (ja) 画像処理装置及び方法
JP5135134B2 (ja) 画像処理装置及びその方法
JP5242750B2 (ja) 画像処理装置
JP2009027537A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP4632568B2 (ja) 撮像装置
JPH07298100A (ja) ネガ撮像装置におけるノイズ除去回路

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 12006872

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06781846

Country of ref document: EP

Kind code of ref document: A1