WO2004032486A1 - 撮像システムおよび再生システム - Google Patents

撮像システムおよび再生システム Download PDF

Info

Publication number
WO2004032486A1
WO2004032486A1 PCT/JP2003/012653 JP0312653W WO2004032486A1 WO 2004032486 A1 WO2004032486 A1 WO 2004032486A1 JP 0312653 W JP0312653 W JP 0312653W WO 2004032486 A1 WO2004032486 A1 WO 2004032486A1
Authority
WO
WIPO (PCT)
Prior art keywords
noise
zero
order component
frequency
signal
Prior art date
Application number
PCT/JP2003/012653
Other languages
English (en)
French (fr)
Inventor
Takao Tsuruoka
Original Assignee
Olympus Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corporation filed Critical Olympus Corporation
Priority to US10/530,085 priority Critical patent/US7598989B2/en
Priority to EP03753990A priority patent/EP1555809A4/en
Publication of WO2004032486A1 publication Critical patent/WO2004032486A1/ja
Priority to US12/276,797 priority patent/US8040401B2/en
Priority to US12/276,760 priority patent/US7847841B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Definitions

  • the present invention is intended to reduce the random noise caused by the imaging element system with high precision at the same time as performing compression processing using a frequency space such as JPEG or MPEG or performing expansion processing.
  • the present invention relates to an imaging system and a reproduction system. Background art
  • a digitized signal obtained from the image sensor and its associated analog circuit and A / D converter generally contains a noise component. They can be broadly divided into random noise.
  • the fixed pattern noise is noise mainly caused by an image sensor, such as a defective pixel.
  • random noise is generated in an image sensor and an analog circuit, and has characteristics close to white noise characteristics.
  • Japanese Patent Application Laid-Open No. 200-5790 The difference value ⁇ between the pixel of interest and its neighboring pixels is calculated, and the average pixel number n used in the moving average method is calculated using the obtained difference value ⁇ and the constant terms a and b that are given statically.
  • a technique is described in which a function is controlled by a / (m + b) and the moving average is not performed when the obtained difference value ⁇ is equal to or larger than a predetermined threshold value.
  • noise reduction processing is performed without deteriorating the original signal such as edges.
  • the signal after the noise reduction is subjected to a compression process using a frequency space such as JPEG or MPEG, and is recorded and stored. During reproduction, the compressed signal is subjected to an expansion process. ing.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide an imaging system and a reproduction system capable of obtaining high-quality images at low cost and at high speed. Another object of the present invention is to provide an imaging system and a reproduction system capable of obtaining a high-quality image flexibly in various systems. Disclosure of the invention
  • An imaging system includes: an extraction unit that extracts a block area of a predetermined size from a signal of an imaging element; a conversion unit that converts the extracted signal of the block area into a signal in a frequency space; An estimator for estimating a noise amount related to a frequency component other than the zero-order component based on the zero-order component of the signal in the converted frequency space; and an estimator other than the zero-order component based on the estimated noise amount.
  • a noise reduction unit that reduces noise related to the frequency component of the second order and a compression unit that compresses the zero-order component and frequency components other than the zero-order component whose noise is reduced.
  • Figure 1 Block diagram showing the configuration of the imaging system according to the first embodiment of the present invention
  • Figure 2 Block diagram showing the configuration of the noise estimator in the first embodiment.
  • FIG. 3A Diagram for explaining DCT conversion in the first embodiment.
  • FIG. 3B Diagram for explaining DCT conversion in the first embodiment.
  • FIG. 4A Diagram for explaining formulation of noise amount in the first embodiment.
  • Fig. 4B Diagram for explaining formulation of noise amount in the first embodiment.
  • FIG. 5A Diagram for explaining parameters used for formulation of noise amount in the first embodiment.
  • FIG. 5B Diagram for explaining the parameters used for formulating the noise amount in the first embodiment.
  • FIG. 5C Diagram for explaining parameters used for formulation of noise amount in the first embodiment.
  • Figure 6 Block diagram showing the configuration of the noise reduction unit in the first embodiment.
  • Fig. 7A Flow chart showing software processing for noise reduction and compression in the first embodiment.
  • Fig. 7B Flow chart showing software processing for noise reduction and compression in the first embodiment.
  • Fig. 8 Block diagram showing the configuration of the imaging system according to the second embodiment of the present invention.
  • Figure 9A Diagram for explaining wavelet transform in the second embodiment.
  • FIG. 9B Diagram for explaining wavelet transform in the second embodiment.
  • Fig. 9C Diagram for explaining the wavelet transformation in the second embodiment.
  • Fig. 10 Block diagram showing the configuration of the noise estimator in the second embodiment.
  • Fig. 11 Block diagram showing the configuration of the noise reduction unit in the second embodiment.
  • Figure 12 Block diagram showing the configuration of the playback system according to the third embodiment of the present invention
  • Fig. 13A Flowchart showing software processing for decompression and noise reduction in the third embodiment.
  • Fig. 13B Flowchart showing software processing for decompression and noise reduction in the third embodiment.
  • Figure 14 Configuration of the imaging system according to the fourth embodiment of the present invention Showing block diagram
  • Figure 15 Flowchart showing software processing for parameter calibration used for noise reduction processing in the fourth embodiment. Best Mode for Carrying Out the Invention
  • FIGS. 1 to 7B show a first embodiment of the present invention.
  • FIG. 1 is a block diagram showing a configuration of an imaging system
  • FIG. 2 is a block diagram showing a configuration of a noise estimating unit.
  • Figure, Figure 3A, Figure 3B are diagrams to explain DCT transform
  • Figure 4A, Figure 4B are diagrams to explain the formulation of noise
  • Fig. 5C is a diagram for explaining the parameters used to formulate the noise amount
  • Fig. 6 is a block diagram showing the configuration of the noise reduction unit
  • Figs. 7A and 7B are the noise diagrams.
  • 5 is a flowchart showing software processing for reduction and compression.
  • this imaging system includes a lens system 1 for forming an image of a subject and a lens system 1 arranged in the lens system 1 for defining a light beam passing range in the lens system 1.
  • the diaphragm 2, a low-pass filter 3 for removing unnecessary high-frequency components from the light beam formed by the lens system 1, and an optical object image formed through the mouth-pass filter 3 are photoelectrically converted.
  • CCD 4 that is an image sensor that outputs electrical video signals
  • a / D converter 5 that converts analog video signals output from CCD 4 to digital signals
  • AD converter 5 A first buffer 6 for temporarily storing the digital image data obtained from the first buffer 6, and a photometric evaluation of the subject is performed using the image data stored in the first buffer 6, and the aperture 2 and the CCD 4 are controlled based on the evaluation result.
  • a photometric evaluation section 7 for controlling the camera; a focus point detection section 8 for performing AF detection using the image data stored in the first buffer 6 and driving an AF motor 9 based on the detection result;
  • the above lens is controlled by the in-focus detection unit 8
  • An AF motor 9 that drives the focus lens and the like included in the system 1 and reads out the video signal stored in the first buffer 6 and performs general signal processing such as white balance processing, interpolation processing, and enhancement processing.
  • a block extraction unit 12 which sequentially reads out the block size units of the block extraction unit 12.
  • the block-unit RGB signals read by the block extraction unit 12 are converted into a luminance signal Y and a chrominance signal C b
  • the YZC separation unit 13 for separating into the C r and the luminance signal Y separated by the YZC separation unit 13 are transformed into a frequency space signal by performing a well-known DCT (Discrete Cosine Transform) transformation.
  • the above-described DCT conversion is performed on the down-sampled chrominance signals Cb and Cr to convert the chrominance signals Cb and Cr into a signal in the frequency space.
  • the 0th order component is extracted from the output of the chrominance DCT unit 18, and the 0th order component is extracted from the output of the color difference DCT unit 18.
  • the 0th order component extracted by the 0th order extraction unit 15 is quantized.
  • Noise estimation as a noise estimating means for estimating a noise amount related to a frequency component other than the zero-order component from the zero-order component extracted by the second-order quantization unit 16 and the zero-order extraction unit 15 described above.
  • Unit 20 and the luminance component other than the zero-order component are extracted from the output of the DCT unit 14
  • High-frequency extraction block from the output of the DCT unit 1 8 extracts a frequency component other than the zero-order component
  • an output unit 24 that outputs to record on a recording medium such as a memory card, and an interface to a power switch, a shutter button, and a mode switch to switch various shooting modes.
  • An external I / F unit 26 having a photometric evaluation unit 7, a focus detection unit 8, a signal processing unit 10, a Y / C separation unit 13, a zero-order extraction unit 15, and a zero-order quantization unit 16, high frequency extraction section 19, noise estimation section 20, noise reduction section 21, high frequency quantization section 22, compression section 23, output section 24, external I / F section 26, It is a control means consisting of a micro computer, etc., which is bidirectionally connected and integrally controls this and other imaging systems.
  • a control unit 2 5 which also serves as a
  • This imaging system is configured so that shooting conditions such as ISO sensitivity can be set via the external I / F section 26. After these settings are made, a two-stage push Press the shutter button halfway down with the button switch to enter the pre-imaging mode.
  • the optical image formed through the lens system 1, the aperture 2, and the low-pass filter 3 is captured by the CCD 4, output as an analog image signal, and output by the A / D converter 5.
  • the signal is converted to a digital signal and transferred to the first amplifier 6.
  • the CCD 4 is configured as a single-panel primary color CCD in which primary RGB filters are arranged in front of the imaging surface.
  • the photometric evaluation unit 7 calculates the appropriate exposure value in consideration of the set ISO sensitivity and the shutter speed at the limit of camera shake, etc., and calculates the appropriate exposure value. To control the aperture value and CCD 4 electronic shutter speed.
  • the in-focus detection unit 8 detects the edge intensity in the image, controls the AF motor 9 so that the edge intensity is maximized, and controls the in-focus image -a: 1 ⁇ 2 o o
  • This actual photographing is performed based on the exposure conditions obtained by the photometric evaluation unit 7 and the focusing conditions obtained by the focus point detecting unit 8, and these photographing conditions are obtained by the control unit 2 as an acquisition unit. Transferred to 5.
  • the video signal is transferred to the first buffer 6 and stored in the same manner as in the pre-imaging.
  • the video signal in the first buffer 6 is transferred to the signal processing unit 10, and subjected to well-known white balance processing, interpolation processing, enhancement processing, and the like, and then transferred to the second buffer 11. .
  • the block extraction unit 12 converts the video signal stored in the second buffer 11 into a block of a predetermined size, for example, 8 ⁇ 8 pixels, based on the control of the control unit 25. Are sequentially read out as a unit and transferred to the Y / C separation unit 13.
  • the Y / C separation section 13 converts the RGB video signal from the block extraction section 12 into a luminance signal Y and color difference signals Cb and Cr based on a conversion formula as shown in the following equation 1. Convert.
  • the luminance signal Y generated by the Y / C separation unit 13 is sent to the luminance DCT unit 14 and the color difference signals Cb and Cr are sent to the down-sampling unit 17. Each is transferred.
  • the down-sampling section 17 down-samples the color difference signals Cb and Cr at a predetermined ratio, and then transfers the signals to the color difference DCT section 18.
  • the luminance DCT section 14 and the chrominance DCT section 18 convert the video signal in the real space into the frequency space by performing the Koyaguchi DCT (Discrete Cosine Transform) transformation. Convert to a signal.
  • Koyaguchi DCT Discrete Cosine Transform
  • the signal converted to the frequency space is subjected to noise reduction processing and compression processing in the order of the luminance signal ⁇ , the color difference signal Cb, and the color difference signal Cr based on the control of the control unit 25 as shown below. Is performed.
  • the 0th-order extraction unit 15 extracts the 0th-order component from the signal in the frequency space converted by the luminance DCT unit 14 and the color difference DCT unit 18.
  • the zero-order quantization unit 16 quantizes the zero-order components extracted by the zero-order extraction unit 15 at predetermined intervals.
  • the compression unit 23 compresses the quantized 0-order component using a known Huffman code, an arithmetic code, or the like.
  • the signal thus compressed is sequentially transferred to the output unit 24 and stored in a memory card or the like as described above.
  • the noise estimating unit 20 obtains the 0th-order component from the 0th-order extracting unit 15 and obtains information at the time of shooting from the control unit 25, and based on the information, obtains information other than the 0th-order component. Calculate the noise amount for the frequency component.
  • the high-frequency extraction unit 19 obtains the zero-order component or less from the frequency space signal converted by the luminance DCT unit 14 and the color difference DCT unit 18. Extract outside frequency components.
  • the noise reduction unit 21 performs a noise reduction process on frequency components other than the zero-order component from the high-frequency extraction unit 19 based on the noise amount from the noise estimation unit 20. I do.
  • the high-frequency quantization unit 22 quantizes the high-frequency components subjected to the noise reduction processing by the noise reduction unit 21 at predetermined intervals.
  • the compression unit 23 also uses a well-known Huffman for the high-frequency component quantized by the high-frequency quantization unit 22, similarly to the zero-order component quantized by the zero-order quantization unit 16. Compress using codes or arithmetic codes. The signal thus compressed is sequentially transferred to the output unit 24 and stored in a memory card or the like as described above. Note that the compression processing by the compression unit 23 is performed in accordance with, for example, a known JPEG compression processing.
  • the YZC separation unit 13, the zero-order extraction unit 15, the zero-order quantization unit 16, the high-frequency extraction unit 19, the noise estimation unit 20, the noise reduction unit 21, and the high-frequency quantum The respective processes by the conversion unit 22 and the compression unit 23 are performed in block units based on the control of the control unit 25 in synchronization with the operation of the block extraction unit 12 extracting blocks.
  • the noise estimating unit 20 includes a standard value assigning unit 31 serving as an assigning unit that transfers a standard temperature of the CCD 4 to a coefficient calculating unit 32 described later, and a noise estimating unit 30 that is used when estimating the noise amount.
  • Parameter ROM 33 as a coefficient calculation means for storing parameters relating to the function to be performed, parameters from the parameter ROM 33, the zero-order component from the zero-order extraction unit 15 and the control unit
  • Coefficient calculating means for calculating a coefficient according to a predetermined formula for estimating the noise amount of high-frequency components other than the zero-order component based on the gain from 25 and the temperature information from the standard value providing unit 31
  • the coefficient calculation unit 32 and the coefficient calculated by the coefficient calculation unit 32 A noise calculation unit 34 which is a noise calculation means for calculating a noise amount using a function formulated as described later using the number and transferring the noise amount to the noise reduction unit 21 1. It is configured.
  • the standard value assigning unit 31, the coefficient calculating unit 32, and the noise calculating unit 34 are bidirectionally connected to and controlled by the control unit 25. Further, the control unit 25 obtains the gain for the signal from the photometry evaluation unit 7, the signal processing unit 10, and the like, and transfers the gain to the coefficient calculation unit 32.
  • FIG. 3A shows an 8 ⁇ 8 pixel block in the real space
  • FIG. 3B shows an 8 ⁇ 8 pixel block in the frequency space.
  • the zero-order extracting unit 15 performs a process of extracting the pixel located at the upper left as a zero-order component in the frequency space shown in FIG.
  • FIG. 4A is a plot of the noise amount N with respect to the zero-order component, and the function is formulated as shown in Equation 2 below.
  • N AL ⁇ + C
  • A, B, and C are constant terms, and the constant term is added to a function that is a power of zero-order component.
  • the noise amount N does not depend only on the 0th-order component L of the signal value level, but also changes depending on the temperature of the CCD 4 serving as an image sensor and the signal gain. Therefore, the example shown in Figure 4B takes these factors into account.
  • Equation 3 instead of the constant terms A, B, and C in Equation 2, as shown in Equation 3, three functions a (T, G), b with parameters of T and gain G are used. (T, G) and c (T, G) are introduced.
  • N a (T, G) and b (T 'G) + c (T, G) the curve shown Ri by this equation 3, a plurality of temperature T (the temperature T 1 ⁇ T 3 in the illustrated example)
  • Fig. 4 (1) shows a plot for multiple gains G (1, 2, and 4 times in the example shown).
  • Fig. 4 shows the independent variable as the zero-order component and the dependent variable as the noise amount ⁇ .
  • the change of the curve shape due to the gain G which is a parameter, is represented by drawing a plurality of curves in each plane.
  • Each curve represented by each parameter has a form almost similar to the curve according to Equation 2 as shown in Fig. 4 ⁇ , but naturally, the coefficients A and B obtained from the functions a, b, and c B and C are different depending on each value of the temperature T and the gain G.
  • FIGS. 5A to 5C are plotted as three-dimensional coordinates. It is a curved surface in a cut space. However, here, instead of showing a specific curved surface shape, a rough change in characteristics is shown using a curved line.
  • the coefficient calculating section 32 receives the gain G from the control section 25 and the temperature from the standard value providing section 31 as input parameters and records them in the ROM 33 for the temperature setting.
  • the constant terms A, B, and C are obtained from the three functions a, b, and c, and transferred to the noise calculator 34.
  • the noise calculating unit 34 calculates the noise amount N based on the above equation 2 using the zero-order component L and the constant terms A, B, and C from the coefficient calculating unit 32, and calculates the calculated noise.
  • the amount N is transferred to the noise reduction unit 21.
  • the temperature of the CCD 4 serving as the image sensor is fixedly provided from the standard value providing unit 31.
  • the present invention is not limited to this.
  • the standard value providing unit 31 may provide a predetermined value.
  • Equation 2 a power function as shown in Equation 2 was used in formulating the noise amount, but the function shape is not limited to this.
  • N AL 2 + BL + C trough ivy with quadratic expression it is also possible to formulate, may be used and other polynomial Ya spline function.
  • the noise reduction unit 21 is a determination unit 41 that is a selection unit that estimates a threshold n of a high-frequency component whose information is not stored based on the image quality mode information (including the information of the compression ratio) from the control unit 25. And an average value calculation unit 42 as an average value calculation means for calculating an average value AV of the frequency components other than the zero-order component transferred from the high frequency extraction unit 19, and an average value from the average value calculation unit 42. Using the AV and the noise amount N from the noise estimating unit 20, the upper limit value T up and the lower limit value T low for the high frequency component are set as described later.
  • Section 43 a separating section 44 as frequency separating means for extracting a high-frequency component belonging to a predetermined frequency band among the frequency components other than the zero-order component transferred from the high-frequency extracting section 19, and the determining section 4 Threshold n from 1 and upper limit value T up from tolerance range setting section 4 3
  • the determination unit 41, the average value calculation unit 42, the allowable range setting unit 43, the separation unit 4 ′ 4, and the correction unit 45 are bidirectional with the control unit 25. O is connected to and controlled by
  • the separation unit 44 extracts the high-frequency component belonging to the predetermined frequency band and transfers it to the correction unit 45 based on the control of the control unit 25, as described above. As shown in FIG. 3B, since the high-frequency components belonging to the predetermined frequency band are arranged on a concentric circle having the origin at the upper left, the separation unit 44 generates the first-order or higher-order high-frequency components based on this arrangement. Are sequentially extracted.
  • the allowable range setting unit 43 determines the upper limit value T up and the lower limit value for the high frequency component based on the noise amount N from the noise estimating unit 20 and the average value AV from the average value calculating unit 42.
  • T low is set based on the following equation 4. And transfer it to the correction unit 45.
  • the judging unit 41 obtains the information of the image quality mode set by the external I / F unit 26 from the control unit 25, and calculates the corresponding compression rate from this image quality mode. . Then, the judging unit 41 estimates a threshold n of a high-frequency component in which information is not stored at the obtained compression ratio, that is, a high-frequency component in which a noise component is not stored, and corrects the threshold n by a correction unit 45 To turn to 13 ⁇ 4 0
  • the correction unit 45 determines the frequency component from the separation unit 44 based on Is performed. First, based on the threshold value n from the determination unit 41, the correction unit 45 targets only frequency components equal to or less than the n-th component to noise reduction processing, and has a higher order than this n-order component. The frequency component is output to the high-frequency quantization unit 22 without any processing. On the other hand, when the frequency component is a frequency component equal to or less than the n-th component, the correction unit 45 calculates the following equation 5 based on the upper limit value Tup and the lower limit value Tlow for the element S of each frequency component. Select one of the three types of processing shown below to correct the element S.
  • the correction unit 45 sequentially outputs the elements of the respective frequency components subjected to the correction processing by Expression 5 to the high-frequency quantization unit 22.
  • the processing is performed in hardware, but the processing is not limited to this, and the processing may be performed in software.
  • the signal from the CCD 4 is used as unprocessed raw data, and the gain from the control unit 25 and the temperature at the time of shooting are added as header information of the raw data. It is conceivable that the Raw data to which the header information is added is processed by a separate software in a short time.
  • FIGS. 7A and 7B show the software processing separately.
  • a video signal obtained as Raw data, and header information such as temperature and gain are read into a computer (step S1). It is to be noted that this header information is used in the processing of step S13 and step S15 described later.
  • the read raw data is subjected to general signal processing such as white X lance processing, interpolation processing, and enhancement processing (step S2), and a block of a predetermined size is obtained from the processed signal.
  • a block area for example, a block area of 8 ⁇ 8 pixels is extracted (step S 3).
  • the video signal (RGB signal, etc.) of each pixel in the block is converted into a luminance signal Y and color difference signals Cb, Cr (step S4).
  • step S5 the luminance signal Y is converted into a frequency space signal by DCT (step S5), and thereafter, the process proceeds to step S11 and step S12 as shown in FIG. 7B. I do.
  • the processing of FIG. 7B will be described later.
  • step S6 The process up to step S21 shown in Fig. 7B Then, the processing shifts to the processing shown in FIG. 7A again, and the luminance signal Y subjected to the compression processing and the noise reduction processing is output (step S6).
  • step S4 the chrominance signals Cb and C "separated in step S4 are downsampled at a predetermined ratio (step S7), and are converted into frequency space signals by DCT conversion (step S8). ) 0 After that, the processing shifts to the processing of step S11 and the processing of step S12 (see Fig. 7B).
  • Step S9 After the processing up to step S21 shown in FIG. 7B has been performed, the processing shifts to the processing shown in FIG. 7A again, and the color difference signals Cb and Cr subjected to the compression processing and the noise reduction processing are output. Yes (Step S9) ⁇
  • step S10 it is determined whether or not the processing for all blocks is completed. Returning to, the operation described above is repeated for the next block. If it is determined in step S10 that the processing has been completed for all the blocks, the processing ends.
  • This processing is common to the luminance signal Y and the color difference signals Cb and Cr.
  • step S11 the 0th-order component is extracted (step S11), and the high-frequency components other than the 0th-order component are extracted (step S12) ) o
  • step S13 it is determined whether or not to perform noise reduction processing based on the header information read in step S1 (step S13).
  • step S14 the average value of the high frequency component is calculated (step S14). Then, using the 0-order component extracted in the step S11 and the header information read in the step S1, the noise amount is calculated based on the above formula 2 (step S15).
  • step S16 an allowable range is set based on the above equation 4 (step S16), and noise reduction processing is performed based on the equation 5 (step S17) o
  • step S17 When the processing in step S17 is completed, or when it is determined that the noise reduction processing is not performed in step S13, whether processing for all high-frequency components has been completed is determined. Is determined (step S18). If not completed, the flow returns to step S12 to perform the above-described operation for the next high-frequency component.
  • the high-frequency components are quantized (step S 20).
  • step S19 quantization is performed on the 0-order component extracted in step S11 (step S19).
  • step S21 When the quantization processing in step S19 and step S20 is completed, the quantized zero-order component and high-frequency component are compressed (step S21), and the processing shifts to the processing shown in FIG. 7A. I do.
  • the primary color type single-plate CCD has been described as an example.
  • the present invention is not limited to this.
  • a complementary color type single-plate CCD can be similarly applied. The same can be applied to the case of a flat CCD or a triple CCD.
  • a low-cost imaging that can obtain a high-quality image can be obtained.
  • a system can be built.
  • the zero-order component related to the noise amount, the temperature of the image sensor during shooting is the zero-order component related to the noise amount, the temperature of the image sensor during shooting
  • Gain and other parameters are dynamically determined for each shot. Since the noise amount is calculated based on these parameters, the noise amount can be estimated with high accuracy. At this time, since the function is used when calculating the noise amount, the required memory amount can be reduced, and the cost can be reduced.
  • the noise component is corrected by setting the upper and lower limits based on the estimated noise amount and the average value of the frequency components, only the noise component is removed, and other noise components are removed.
  • the signal is stored as the original signal. As a result, a high-quality image with reduced noise alone can be obtained.
  • the noise can be effectively reduced. Furthermore, when parameters such as temperature and gain required for calculating the noise amount cannot be obtained, the standard value is used, so that the noise reduction processing can always be performed. . In addition, by intentionally omitting some of the parameter calculations, it is possible to construct an imaging system that achieves low cost and low power consumption.
  • the signal of the frequency component is separated into each frequency band, and whether or not to perform noise reduction processing for each frequency band is selected according to the compression ratio, and unnecessary noise is removed for high-frequency components that are cut off by the compression processing. Since the noise reduction processing is performed only on the necessary frequency band without performing the noise reduction processing, the processing can be speeded up. FIGS.
  • FIG. 8 to 11 show a second embodiment of the present invention.
  • FIG. 8 is a block diagram showing the configuration of the imaging system
  • FIG. 9A, FIG. 9B, and FIG. 9C are diagrams for explaining wavelet transform
  • FIG. FIG. 11 is a block diagram showing the configuration of the noise estimating unit
  • FIG. 11 is a block diagram showing the configuration of the noise reducing unit.
  • the imaging system of this embodiment has substantially the same configuration as that of the above-described first embodiment shown in FIG. 1, except that a wavelet (Wavelet) conversion unit 50 as a conversion unit is provided.
  • the configuration is such that the luminance DCT section 14, the down-sample section 17, and the color difference DCT section 18 are deleted.
  • the wavelet transform unit 50 processes the output of the YZC separation unit 13 and outputs the processing result to the zero-order extraction unit 15 and the high-frequency extraction unit 19.
  • the luminance signal Y and the chrominance signals Cb and Cr obtained by the Y / C separation unit 13 are transferred to a wavelet conversion unit 50, where they are converted into a frequency space by the wavelet conversion unit 50.
  • 9A, 9B, and 9C show a state of wavelet conversion performed in the wavelet conversion unit 50.
  • FIG. 9A shows an 8 ⁇ 8 pixel block in the real space.
  • FIG. 9B shows an 8 ⁇ 8 pixel block in the frequency space obtained by performing a single wavelet transform on the 8 ⁇ 8 pixel block shown in FIG. 9A.
  • the upper left 4 ⁇ 4 pixel indicates the 0th order component L, and the others are the primary high frequency components, that is, the upper right 4 ⁇ 4 pixel is the primary horizontal component.
  • H h 1 the lower left 4 ⁇ 4 pixel indicates a primary vertical component H v 1
  • the lower right 4 ⁇ 4 pixel indicates a primary diagonal component H s 1, respectively.
  • FIG. 9C shows an 8 ⁇ 8 pixel block in the frequency space obtained by performing a wavelet transform twice on the 8 ⁇ 8 pixel block shown in FIG. 9A, and is shown in FIG. 9B.
  • the zeroth-order component L is obtained by performing another wavelet transform once.
  • the upper left 4 ⁇ 4 pixel shown in FIG. 9C the upper left 2 ⁇ 2 pixel indicates the 0th order component, and the others are
  • the second high-frequency component that is, the upper right 2 x 2 pixel is the second water component H h 2
  • the lower left 2 X 2 pixel is the second vertical component H v 2
  • the lower right 2 X 2 pixel is 2
  • the following oblique components H s 2 are shown.
  • a description will be given using a frequency space in which wavelet conversion is performed twice as shown in FIG. 9C as an example.
  • the 0th-order component is extracted by the 0th-order extraction unit 15 from the signal converted into the signal in the frequency space by the wavelet conversion unit 50 in this manner, and the high-frequency component is extracted by the high-frequency extraction unit 19. Compression processing and noise reduction processing are performed in the same manner as in the first embodiment described above.
  • the noise estimating unit 20 of the present embodiment includes a standard value assigning unit 51 serving as an assigning means for transferring a standard temperature of the CCD 4 to a lookup table unit 52 described later, and a zero-order extracting unit 15.
  • a lookup table that records the relationship between the zero-order component of the noise and the amount of noise with respect to the temperature from the standard value providing unit 51 and the gain from the control unit 25 is stored, and the noise is obtained by referring to the lookup table.
  • a lookup table section 52 as a lookup table means for outputting the noise amount to the noise reduction section 21.
  • the standard value assigning section 51 and the lookup table section 5 2 Is controlled bidirectionally with the control unit 25.
  • the 0th-order extraction unit 15 extracts the 0th-order component based on the control of the control unit 25 and transfers it to the lookup table unit 52. Further, the control unit 25 obtains the gain for the signal based on the photometric evaluation result by the photometric evaluation unit 7 and the set value in the signal processing unit 10, and the obtained gain is looked up in the look-up table unit 5. Transfer to 2. Further, the standard value providing section 51 stores the standard temperature of the image sensor in a lookup table section. 5 Transfer to 2.
  • the look-up table section 52 holds a look-up table that records the relationship between the zero-order component, the temperature, the gain, and the noise amount. This look-up table is the same as in the first embodiment. It was constructed by the means described above.
  • the look-up table section 52 uses the 0-order component from the 0-order extraction section 15, the temperature from the standard value providing section 51, and the gain from the control section 25 to obtain the look-up table section.
  • the noise amount is obtained by referring to the pull, and the obtained noise amount is transferred to the noise reduction unit 21.
  • the noise amount corresponding to these is 4 ⁇ 2 pixels. Is calculated.
  • the high-frequency component is a second-order high-frequency component (second-order horizontal component H h 2, second-order vertical component ⁇ ⁇ 2, second-order oblique component H s 2)
  • the 2 X 2 image In order to obtain the elementary configuration, the pixels are used in a one-to-one relationship with the corresponding pixels.
  • the high-frequency component is the first-order high-frequency component (first-order horizontal component Hh1, first-order vertical component Hv1, first-order diagonal component Hs1)
  • first-order horizontal component Hh1, first-order vertical component Hv1, first-order diagonal component Hs1 the configuration of 4 x 4 pixels
  • the noise amount of one pixel is enlarged twice in the vertical and horizontal directions, and used in units of 2 X 2 pixels.
  • the noise reduction unit 21 includes a horizontal line extraction unit 61 that is a frequency separation unit that extracts a horizontal line from high-frequency components other than the zero-order component extracted by the high-frequency extraction unit 19.
  • a first smoothing unit 62 as smoothing means for performing smoothing on the horizontal lines extracted by the horizontal line extracting unit 61; and a first smoothing unit 62.
  • a vertical line extracting unit 64 serving as a frequency separating means for reading the data after horizontal smoothing stored in the buffer 63 in the vertical direction, and the vertical line extracting unit 64
  • a second smoothing section 65 as smoothing means for performing smoothing of the vertical line read out by the first section and outputting the result to the high-frequency quantization section 22;
  • Threshold setting for performing smoothing based on the noise value estimated by the estimator 20 and setting the threshold to output to the first smoothing unit 62 and the second smoothing unit 65
  • the first smoothing unit 62 and the second smoothing unit estimating a threshold n of a high-frequency component for which information is not stored based on the image quality mode acquired from the control unit and a threshold setting unit 66 serving as a means. 6 and 7 as a selection means for outputting to To have.
  • the horizontal line extraction unit 61, the vertical line extraction unit 64, the threshold value setting unit 66, and the judgment unit 67 are connected bidirectionally to the control unit 25 so as to be controlled. Has become.
  • the operation of the noise reduction unit 21 having such a configuration is as follows.
  • the threshold setting unit 66 estimates the noise amount corresponding to the high-frequency component of the horizontal line unit extracted by the horizontal line extraction unit 61, It is obtained from the section 20 and transferred to the first smoothing section 62 as a threshold value.
  • the determination unit 67 obtains information on the image quality mode set by the external IZF unit 26 from the control unit 25, and obtains a corresponding compression ratio from this image quality mode. Then, the determination unit 67 determines that the high-frequency component for which information is not stored at the obtained compression ratio, that is, the noise component, is not stored. The threshold n of the high-frequency component is estimated, and the threshold n is transferred to the first smoothing unit 62 and the second smoothing unit 65.
  • the first smoothing unit 62 Based on the threshold value n obtained from the determination unit 67, the first smoothing unit 62 sets only the frequency components equal to or lower than the n-order component to the noise reduction processing, The high-order frequency components are output to the buffer 63 without any processing. On the other hand, when the frequency component is the nth-order component or less, the first smoothing unit 62 scans the high-frequency component from the horizontal line extraction unit 61 in pixel units.
  • the threshold value from the threshold value setting unit 66 is used as a noise amount, for example, to perform known hysteresis smoothing. The results are sequentially output and stored in the buffer 63.
  • the hysteresis smoothing operation of the first smoothing unit 62 is synchronized with the operation of the noise estimating unit 20 and the operation of the threshold setting unit 66 under the control of the control unit 25. It is done.
  • the vertical line extraction unit 64 When all the high-frequency components output from the high-frequency extraction unit 19 are processed in the first smoothing unit 62, the vertical line extraction unit 64 outputs a signal to the buffer 6 based on the control of the control unit 25.
  • the threshold value setting unit 66 calculates the noise amount corresponding to the high-frequency component of the vertical line unit extracted by the vertical line extraction unit 64, 20 and transfer this noise amount to the second smoothing unit 65 as a threshold value.
  • the second smoothing unit 65 Based on the threshold value ⁇ obtained from the determination unit 67, the second smoothing unit 65 directly sends the frequency component having a higher order than the ⁇ order component to the high-frequency quantization unit 22 without performing processing. Output.
  • the second smoothing unit 65 increases the high frequency from the vertical line extraction unit 64. The components are scanned in pixel units, and the threshold value from the threshold value setting unit 66 is used as the noise amount, for example, a known hysteresis smoothing is performed. The result is sequentially output to the high frequency quantization unit 22.
  • the operation of the hysteresis smoothing of the second smoothing unit 65 is synchronized with the operation of the noise estimating unit 20 and the operation of the threshold setting unit 66 under the control of the control unit 25. Done.
  • compression processing is performed by the compression unit 23, and the compressed signal is recorded and stored in a memory card or the like by the output unit 24.
  • the compression process at this time is performed in accordance with, for example, the well-known JPEG 2000 compression process.
  • the hysteresis smoothing is used for the noise reduction processing.
  • the present invention is not limited to this.
  • the reduction processing shown in Expression 5 is performed. It is also possible to apply.
  • the second embodiment by integrating the compression processing using the frequency space and the noise reduction processing, a low-cost image that can obtain a high-quality image can be obtained.
  • An imaging system can be built. .
  • various parameters such as the zero-order component related to the noise amount, the temperature of the image sensor at the time of imaging, and the gain are dynamically determined for each imaging, and the amount of noise is calculated using a table based on these parameters. Since the calculation is performed, the noise amount can be estimated with high accuracy and high speed.
  • the noise amount is set as a threshold and only signals below this threshold are smoothed, signals other than noise components are stored as original signals, and only noise is processed. A reduced high-quality image can be obtained.
  • the processing can be sped up.
  • FIGS. 12, 13A, and 13B show a third embodiment of the present invention.
  • FIG. 12 is a block diagram showing the configuration of a playback system.
  • 13B is a flow chart showing soft air processing for extension and noise reduction.
  • the third embodiment relates to a reproduction system, but has the same components as those in the first and second embodiments described above for noise reduction processing and the like. Therefore, the same portions are denoted by the same reference numerals and the description thereof will be omitted, and only different points will be mainly described.
  • This reproduction system has a 0th-order extraction unit 15, a high-frequency extraction unit 19, a noise estimation unit 20, a noise reduction unit 21, similar to that shown in FIG.
  • An input unit 71 that has an output unit 24, a control unit 25, and an external IZF unit 26, and that reads a compressed signal stored in a recording medium such as a memory card;
  • a decompression unit 72 which is a decompression means for decompressing the compressed signal from the input unit 71 and outputting it to the zero-order extraction unit 15 and the high-frequency extraction unit 19;
  • a luminance inverse DCT unit 73 which is an inverse transform means for performing an inverse DCT transform between the luminance component of the component and the luminance component of the noise-reduced high-frequency component from the noise reduction unit 21 1 and the 0th-order extraction unit 15 0th order from
  • a color difference inverse DCT unit 74 which is an inverse transform means for inverse DCT transforming the color difference component of the minute and the color difference component of the noise-
  • the external I / F section 26 is bidirectionally connected to and controlled by a control section 25 such as a micro computer.
  • the external I / F section 26 of the present embodiment is provided with interfaces such as a power switch and a play button.
  • a compressed signal stored in a recording medium such as a memory card is read from the input section 71.
  • the compressed signal is transferred to a decompression unit 72, subjected to decompression processing based on a known Huffman code, arithmetic code, or the like, and converted into a signal in a frequency space.
  • the 0th-order extraction unit 15 extracts the 0th-order component from the signal in this frequency space, and transfers it to the noise estimation unit 20.
  • the noise estimating unit 20 receives the information at the time of photographing recorded as the header information of the image from the control unit 25, and similarly to the first embodiment described above, The noise amount for the frequency component is calculated and transferred to the noise reduction unit 21.
  • the high frequency extracting section 19 extracts a frequency component other than the zero-order component from the signal in the frequency space expanded by the expanding section 72 and transfers the frequency component to the noise reducing section 21.
  • the noise reduction unit 21 generates a frequency component other than the zero-order component from the high frequency extraction unit 19 based on the noise amount from the noise estimation unit 20. Perform noise reduction processing.
  • the 0th-order component extracted by the 0th-order extraction unit 15 and the high-frequency component subjected to noise reduction processing in the noise reduction unit 21 are transferred to the luminance inverse DCT unit 73 or the color difference inverse DCT unit 74. Is converted into a real-space signal. Switching between the luminance signal and the color difference signal at this time is performed based on the control of the control unit 25, and is processed in units of blocks obtained from the expansion unit 72.
  • the luminance signal from the luminance inverse DCT unit 73 is directly transferred to the Y / C synthesis unit 76, while the color difference signal from the color inverse DCT unit 74 is upsampled at a predetermined rate in the upsampler 75. After being processed, it is transferred to the Y / C synthesis unit 76.
  • the YZC synthesis section 76 Based on the control of the control section 25, the YZC synthesis section 76 performs the YZC synthesis based on the following Equation 6 when the luminance signal for each block and the color difference signal for each block are aligned. Performs processing and generates RGB signals.
  • the playback processing is configured to be performed in hardware.
  • a computer reads a compressed signal stored in a recording medium such as a memory card and header information such as a temperature at the time of shooting and a gain, and reads the software. Can also be processed separately.
  • FIG. 13A shows the main flow of this software processing
  • FIG. 13B shows the processing commonly performed for the luminance signal and the color difference signal.
  • a compressed signal and header information such as temperature and gain are read (step S31).
  • the header information read here is transferred to the processing in steps S41 and S43 described later.
  • step S32 expansion processing based on Huffman code, arithmetic code, or the like is performed on a per-processor basis to generate a luminance signal Y and color difference signals Cb and Cr in the frequency space (step S32).
  • the luminance signal Y generated here is used in the processing in steps S39 and S40, which will be described later, and is performed in the processing in step S33 after the processing up to step S46 described later is performed. Transition.
  • the generated color difference signals C b and C r are used in the processing of steps S 39 and S 40, which will be described later, and after the processing up to step S 46, which will be described later, is performed. 3 Move to the process of 4.
  • the luminance signal Y is inverse DCT-transformed (step S33), and the color difference signals Cb and Cr are also inverse DCT-transformed (step S34).
  • the color difference signals Cb and Cr are further sampled at a predetermined ratio (step S35). Then, the luminance signal Y converted in step S33 and the luminance signal Y in step S34 are increased.
  • the sampled color difference signals Cb and Cr are combined to generate an RGB signal (step S36), and the combined RGB signal is output (step S37). Thereafter, it is determined whether or not the processing for all blocks has been completed (step S38). If not, the process returns to step S32 and the processing for the next block is performed as described above. If it has been completed, this series of processing ends.
  • step S39 the noise reduction processing of steps S39 to S46 shown in FIG. 13B will be described.
  • This processing is performed in common for the luminance signal Y and the color difference signals Cb and Cr, as described above.
  • step S39 extracting the high frequency components other than the 0th order component of the luminance signal Y or the color difference signals Cb and Cr (step S39) S40).
  • step S31 it is determined whether or not to perform the noise reduction processing based on the header information read in step S31 (step S31).
  • the average value of the high frequency component is calculated (step S42).
  • a noise amount is calculated based on the above equation 2 (step S43).
  • step S44 an allowable range is set based on the above equation 4 (step S44), and noise reduction processing is performed based on the equation 5 (step S4).
  • step S45 it is determined whether or not the processing has been completed for all high frequency components (step S46). If not completed, the flow returns to step S40 to perform the above-described processing for other high-frequency components. On the other hand, if completed, the flow returns to step S33 or step S34. Transition.
  • an example of an independent playback system is described.
  • the present invention is not limited to this.
  • the first or second embodiment described above may be used.
  • the imaging and reproducing system may be configured in combination with the imaging system of the embodiment. In this case, high-speed continuous shooting can be performed by omitting the noise reduction processing at the time of shooting, and a high-quality image can be obtained by separately performing the noise reduction processing after shooting.
  • a low-cost image that can obtain a high-quality image can be obtained.
  • a reproduction system can be built.
  • the noise amount is obtained for each image as the header information and the noise amount is calculated based on the information, the noise amount can be estimated with high accuracy.
  • the noise can be effectively reduced.
  • the standard value is used, so that the noise reduction processing can always be performed. It becomes.
  • FIGS. 14 and 15 show a fourth embodiment of the present invention.
  • FIG. 14 is a block diagram showing the configuration of an imaging system
  • FIG. 15 is a parameter used for noise reduction processing.
  • 5 is a flowchart showing a calibration software process.
  • the imaging system according to the fourth embodiment is configured so that parameters used for noise reduction processing can be calibrated. That is, as shown in FIG. 14, the imaging system of the present embodiment is different from the configuration of the first embodiment described above in that the block extraction unit 12, the zero-order quantization unit 16, and the noise The estimation unit 20, the noise reduction unit 21, the high-frequency quantization unit 22, and the compression unit 23 are deleted, and three or more types of grays having different reflectances from white to black are removed.
  • a block extracting means that extracts a chart from the calibration image 80 as a unit and the video signal stored in the second buffer 11 and outputs it to the Y / C separation unit 13.
  • the channel extracting unit 81 serving as a unit for separating data
  • the variance calculating unit 82 serving as a variance calculating unit for calculating the variance of the high frequency components extracted from the high frequency extracting unit 19, and the variance calculating unit 82
  • filter the output of the zero-order extraction unit 15 to feed it to the output unit 24.
  • a tee ring means serving Fi Tti ring section 8 3 has a configuration obtained by adding a.
  • the fitting section 83 in the added configuration is connected to and controlled bidirectionally with the control section 25.
  • the calibration image 80 is taken.
  • the photographing distance is adjusted so that the calibration image 80 is displayed on the entire screen, and the illumination light is adjusted so that the entire calibration image 80 is uniformly illuminated.
  • a video signal obtained by capturing such a calibration image 80 is stored in the second buffer 11 after being processed in the same manner as in the first embodiment.
  • the chart extracting section 81 separates each gray block in the image signal of the entire screen, and divides a block area of a predetermined size that is slightly smaller than each gray chart into a portion corresponding to the gray block. , And sequentially transfer them to the YZC separation unit 13. In such a separation operation of each corresponding part of the gray scale, the calibration image 80 appears on the entire screen. If the adjustment is made and the arrangement of the gray chart is known, it can be done automatically.
  • the Y / C separation unit 13 converts the RGB signal into a luminance signal Y and color difference signals Cb and Cr based on Equation 1. Thereafter, the luminance signal Y is transferred to the luminance DCT section 14, and the color difference signals Cb and Cr are transferred to the color difference DCT section 18 via the down-sampling section 17, respectively.
  • the luminance DCT unit 14 and the chrominance DCT unit 18 convert a signal in the real space into a signal in the frequency space by a known DCT (Discrete Cosine Transform) conversion.
  • DCT Discrete Cosine Transform
  • the 0th-order component is extracted in the 0th-order extraction unit 15 in the order of the luminance signal Y, the color difference signal Cb, and the color difference signal Cr under the control of the control unit 25.
  • High frequency components are extracted in a high frequency extraction unit 19.
  • the 0-order component extracted by the 0-order extraction unit 15 is transferred to the fitting unit 83, and the high-frequency component extracted by the high-frequency extraction unit 19 is transferred to the variance calculation unit 82.
  • the variance calculation unit 82 calculates the variance value of the high frequency component as a value corresponding to the noise amount, and transfers the calculated variance value to the fitting unit 83. This is done for all charts o
  • the fitting unit 83 calculates the 0th-order component extracted by the 0th-order extraction unit 15 and the variance value N calculated by the variance calculation unit 82.
  • the noise amount is formulated.
  • This formulation is performed by plotting the zero-order component of each gray scale and the variance ⁇ ⁇ ⁇ , and obtaining the constant terms A, B, and C by the known least squares method. These constant terms are individually calculated for the three types of data of the luminance signal Y, the color difference signal Cb, and the color difference signal Cr.
  • the constant terms A, B, and C calculated in this way are transferred to the output unit 24 as coefficient storage means, and are recorded and stored.
  • parameters used for noise reduction processing can be calibrated. Can be.
  • the calibration processing is performed in a hard-air manner.
  • the video signal from the CCD 4 may be used as unprocessed Raw data.
  • the video signal of the calibration image 80 obtained as Raw data, the header information such as temperature gain, and the like are read into the computer (step S5). 1).
  • step S52 general signal processing such as white balance processing, interpolation processing, and emphasis processing is performed (step S52), and thereafter, each portion corresponding to each gray channel is individually extracted (step S53).
  • the video signal of each pixel in the chart is converted into a luminance signal Y and color difference signals Cb and Cr (step S54).
  • the luminance signal Y is converted into a frequency space signal by DCT (step S55), the 0th-order component is extracted (step S56), and the high-frequency components other than the 0th-order component are extracted. Extract (Step S57). For these high-frequency components, the variance is calculated (step S58).
  • step S59 the zero-order component extracted in step S56 and the variance calculated in step S58 are output (step S59).
  • the color difference signals Cb and Cr separated in the above step S54 are downsampled at a predetermined ratio (step S60), and are converted into a signal in a frequency space by performing DCT conversion ( Step S61).
  • step S62 the zero-order component is extracted (step S62), high-frequency components other than the zero-order component are extracted (step S63), and the variance value is calculated for the high-frequency components in these (step S62) 6 4
  • step S65 the zero-order component extracted in step S62 and the variance calculated in step S64 are output (step S65).
  • step S66 it is determined whether or not the processing has been completed for all the corresponding portions of the gray chart. If not completed, the process returns to step S53 to return to the other corresponding portions of the gray chart. Is performed as described above.
  • step S67 If the processing has been completed for all gray scales, fitting based on the least squares method is performed, and the parameters required for the noise reduction processing are set to the luminance signal Y, the color difference signal Cb, and the color difference signal C. The calculation is performed for each of r (step S67).
  • step S67 the parameters required for the noise reduction processing calculated in step S67 are output (step S68), and this series of processing ends.
  • N AL 2 + BL + C trough ivy with quadratic expression it is also possible to formulate, may be used and other polynomial Ya spline function.
  • noise reduction processing is required only by photographing a calibration image that is a standard grayscale image. Because parameters can be calculated easily, the system can flexibly respond to systems where no parameters have been calculated, if the system has changed over time, or if the system configuration has changed. Thus, the noise amount can be estimated with high accuracy. For example, by combining the configuration of the present embodiment with the configuration of the above-described third embodiment, highly accurate noise can be obtained even for a system in which the parameters required for noise reduction processing have not been calculated. It is possible to perform the noise reduction processing.
  • the noise reduction processing can be performed outside the imaging system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本発明の撮像システムは、撮像素子の信号から所定サイズのブロック領域を抽出する抽出部と、該抽出されたブロック領域の信号を周波数空間における信号に変換する変換部と、該変換された周波数空間における信号の内の0次成分に基づいて0次成分以外の周波数成分に関するノイズ量を推定する推定部と、該推定されたノイズ量に基づいて0次成分以外の周波数成分に関するノイズを低減するノイズ低減部と上記0次成分とノイズを低減された0次成分以外の周波数成分とを圧縮処理する圧縮部とを具備する。

Description

明 細 書 撮像システムおよび再生システム 技術分野
本発明は、 J P E Gあるいは M P E Gなどの周波数空間を利用 する圧縮処理を行う際または伸張処理を行う際に、 同時的に、 撮 像素子系に起因するランダムノ ィズを高精度に低減するようにし た撮像システムおよび再生システムに関する。 背景技術
撮像素子とそれに付随するアナログ回路および A / Dコ ンパ一 夕から得られるデジタル化された信号中には、 一般にノ ィズ成分 が含まれており、 このノ イズ成分は、 固定パターンノ イズとラン ダムノ ィズとに大別することができる。
上記固定パターンノ イズは、 欠陥画素などに代表されるような 、 主に撮像素子に起因するノ イズである。
—方、 ランダムノ イズは、 撮像素子およびアナログ回路におい て発生するものであり、 ホワイ 卜 ノ ィズ特性に近い特性を有して いる。
後者のランダムノ イズに関しては、 例えば特開 2 0 0 1 — 1 5 7 0 5 7号公報において、 静的に与えられる定数項 a , b , c と 濃度値に変換した信号レベル Dとを用いて、 ノ イズ量 Nを、 N = a b cDによ り関数化し、 この関数から信号レベル Dに対するノ ィ ズ量 Nを推定して、 推定したノ イズ量 Nに基づきフィ ルタ リ ング の周波数特性を制御する技術が開示されていて、 これによ り、 信 号レベルに対して適応的なノ ィズ低減処理が行われるようになつ ている。
また、 他の例と して、 特開 2 0 0 2 — 5 7 9 0 0号公報には、 注目画素とその近傍画素との差分値 Δを求めて、 求めた差分値 Δ と静的に与えられる定数項 a， bとを用いて、 移動平均法で用い る平均画素数 nを、 n = a / (厶 + b ) により関数化して制御す るとともに、 求めた差分値 Δが所定の閾値以上である場合には移 動平均を行わないようにする技術が記載されている。 このような 技術を用いることによ り、 エッジなどの原信号を劣化させること なく ノ ィズ低減処理が行われるようにしている。 さらに、 ノ イズ 低減後の信号は、 J P E Gや M P E Gなどの周波数空間を利用し た圧縮処理が行われて記録保存され、 再生時には該圧縮された信 号に対して伸張処理が行われるようになつている。
上述したような特開 2 0 0 1 — 1 5 7 0 5 7号公報および特開 2 0 0 2 — 5 7 9 0 0号公報における関数は、 何れも実空間で定 義された関数であるために、 ノ イズ低減処理は、 これらの関数を 用いて実空間で行う ことになる。 これに対して、 圧縮伸張処理は 、 一般的に周波数空間で行われるために、 ノ イズ低減処理とは独 立して行わなければならない。
このように、 従来の構成では、 ノ ィズ低減処理と圧縮伸張処理 とを別個の独立したシステムによ り処理しなければならないため に、 高速処理を行う ことが可能な撮像システムや再生システムを 低コス 卜に構築しょう とする際の課題となっている。
また、 上述したような関数で使用する定数項は固定的に与えら れたものであるために、 システムの一部が更新された場合や経時 変化が生じた場合などに対応することができず、 柔軟性に欠ける という課題がある。 さらに、 上記各文献に記載された技術で構築 されたシステムは、 関数で使用する定数項が算出されていないと 、 ノ ィズ低減処理を行う ことができないという課題がある。
本発明は上記事情に鑑みてなされたものであり、 高画質な画像 を低コス 卜かつ高速処理で得ることが可能な撮像システム及び再 生システムを提供することを目的と している。 また本発明は、 多様なシステムに柔軟に対応して高画質な画像 を得ることが可能な撮像システムおよび再生システムを提供する ことを目的と している。 発明の開示
本発明の撮像システムは、 撮像素子の信号から所定サイズのブ ロ ック領域を抽出する抽出部と、 該抽出されたブロ ック領域の信 号を周波数空間における信号に変換する変換部と、 該変換された 周波数空間における信号の内の 0次成分に基づいて 0次成分以外 の周波数成分に関するノ イズ量を推定する推定部と、 該推定され たノ ィズ量に基づいて 0次成分以外の周波数成分に関するノ ィズ を低減するノ ィズ低減部と上記 0次成分とノ イズを低減された 0 次成分以外の周波数成分とを圧縮処理する圧縮部とを具備する。 図面の簡単な説明
図 1 ： 本発明の第 1 の実施形態における撮像システムの構成を 示すプロック図
図 2 ： 上記第 1 の実施形態におけるノ ィズ推定部の構成を示す プロ ック図
図 3 A ： 上記第 1 の実施形態において、 D C T変換を説明する ための図
図 3 B ： 上記第 1 の実施形態において、 D C T変換を説明する ための図
図 4 A ： 上記第 1 の実施形態におけるノ ィズ量の定式化を説明 するための線図
図 4 B ： 上記第 1 の実施形態におけるノ ィズ量の定式化を説明 するための線図
図 5 A ： 上記第 1 の実施形態においてノ イズ量の定式化に用い るパラメータを説明するための線図 図 5 B ： 上記第 1 の実施形態においてノ ィズ量の定式化に用い るパラメ一タを説明するための線図
図 5 C ： 上記第 1 の実施形態においてノ ィズ量の定式化に用い るパラメータを説明するための線図
図 6 ： 上記第 1 の実施形態におけるノ ィズ低減部の構成を示す プロ ック図
図 7 A ： 上記第 1 の実施形態におけるノ イズ低減および圧縮の ソフ ト ウエア処理を示すフローチヤ一 ト
図 7 B ： 上記第 1 の実施形態におけるノ ィズ低減および圧縮の ソフ ト ウェア処理を示すフローチャー ト
図 8 ： 本発明の第 2の実施形態における撮像システムの構成を 示すブロ ック図
図 9 A ： 上記第 2の実施形態において、 ウェーブレッ ト変換を 説明するための図
図 9 B ： 上記第 2の実施形態において、 ウェーブレツ 卜変換を 説明するための図
図 9 C ： 上記第 2の実施形態において、 ウエーブレツ 卜変換を 説明するための図
図 1 0 ： 上記第 2の実施形態におけるノ ィズ推定部の構成を示 すブロック図
図 1 1 ： 上記第 2の実施形態におけるノ イズ低減部の構成を示 すブロック図
図 1 2 ： 本発明の第 3の実施形態における再生システムの構成 を示すブロ ック図
図 1 3 A ： 上記第 3の実施形態における伸張およびノ ィズ低減 のソフ 卜ウェア処理を示すフローチヤ一 卜
図 1 3 B ： 上記第 3 の実施形態における伸張およびノ ィズ低減 のソフ 卜ウェア処理を示すフローチヤ一 卜
図 1 4 ： 本発明の第 4の実施形態における撮像システムの構成 を示すプロック図
図 1 5 ： 上記第 4の実施形態におけるノ イズ低減処理に使用す るパラメータ校正のソフ トウエア処理を示すフローチヤ一 ト 発明を実施するための最良の形態
以下、 図面を参照して本発明の実施の形態を説明する。
図 1 から図 7 Bは本発明の第 1 の実施形態を示したものであり 、 図 1 は撮像システムの構成を示すプロ ヅク図、 図 2はノ イズ推 定部の構成を示すプロ ック図、 図 3 A、 図 3 Bは D C T変換を説 明するための図、 図 4 A、 図 4 Bはノ イズ量の定式化を説明する ための線図、 図 5 A、 図 5 B、 図 5 Cはノ イズ量の定式化に用い るパラメータを説明するための線図、 図 6はノ ィズ低減部の構成 を示すブロ ック図、 図 7 A、 図 7 Bはノ ィズ低減および圧縮のソ フ ト ウエア処理を示すフローチヤ— トである。
この撮像システムは、 図 1 に示すように、 被写体像を結像する ためのレンズ系 1 と、 このレンズ系 1 内に配置されていて該レン ズ系 1 における光束の通過範囲を規定するための絞り 2 と、 上記 レンズ系 1 による結像光束から不要な高周波成分を除去するため のローパスフィ ルタ 3 と、 この口一パスフィ ルタ 3 を介して結像 される光学的な被写体像を光電変換して電気的な映像信号を出力 する撮像素子たる C C D 4 と、 この C C D 4から出力されるアナ ログの映像信号をデジタル信号へ変換する A / D変換器 5 と、 こ の A D変換器 5から出力されたデジタルの画像データを一時的 に記憶する第 1 バッファ 6 と、 この第 1 バッファ 6に記憶された 画像データを用いて被写体に関する測光評価を行いその評価結果 に基づき上記絞り 2および C C D 4の制御を行う測光評価部 7 と 、 上記第 1 バッファ 6に記憶された画像データを用いて合焦点検 出を行い検出結果に基づき後述する A Fモータ 9を駆動する合焦 点検出部 8 と、 この合焦点検出部 8により制御されて上記レンズ 系 1 に含まれるフォーカスレンズ等の駆動を行う A Fモータ 9 と 、 上記第 1 バッファ 6に記憶された映像信号を読み出してホワイ トバランス処理や補間処理、 強調処理などの一般的な信号処理を 行う信号処理部 1 0 と、 この信号処理部 1 0によ り処理された映 像信号を一時的に記憶する第 2バッファ 1 1 と、 この第 2バッフ ァ 1 1 に記憶された映像信号を所定のプロ ックサイズ単位で順次 読み出すブロ ック抽出手段たるブロ ック抽出部 1 2 と、 このプロ ック抽出部 1 2により読み出されたブロック単位の R G B信号を 輝度信号 Yと色差信号 C b , C r とに分離する YZC分離部 1 3 と、 この YZC分離部 1 3により分離された輝度信号 Yについて 公知の D C T ( Di screte Cosi ne Transform) 変換を ί亍ぅ ことに より周波数空間の信号に変換する変換手段たる輝度 D C Τ部 1 4 と、 上記 Y ZC分離部 1 3によ り分離された色差信号 C b , C r について所定の比率でダウンサンプリ ングを行うダウンサンプル 部 1 7 と、 このダウンサンプル部 1 7によ りダウンサンプリ ング された色差信号 C b , C r に上記 D C T変換を行う ことによ り周 波数空間の信号に変換する変換手段たる色差 D C T部 1 8 と、 上 記輝度 D C T部 1 4の出力から 0次成分を抽出しさらに上記色差 D C T部 1 8の出力から 0次成分を抽出する 0次抽出部 1 5 と、 この 0次抽出部 1 5 により抽出された 0次成分を量子化する 0次 量子化部 1 6 と、 上記 0次抽出部 1 5 によ り抽出された 0次成分 から 0次成分以外の周波数成分に関するノ イ ズ量を推定するノ ィ ズ推定手段たるノ ィズ推定部 2 0 と、 上記輝度 D C T部 1 4の出 力から 0次成分以外の周波成分を抽出しさ らに上記色差 D C T部 1 8の出力から 0次成分以外の周波成分を抽出する高周波抽出部
1 9 と、 上記ノ イズ推定部 2 0により推定されたノ イズ量に基づ き上記高周波抽出部 1 9により抽出された高周波成分のノ イズを 低減するノ ィズ低減手段たるノ ィズ低減部 2 1 と、 このノ ィズ低 減部 2 によ り処理された高周波成分を量子化する高周波量子化 部 2 2 と、 上記 0次量子化部 1 6 の出力と高周波量子化部 2 2 の 出力とを圧縮処理する圧縮手段たる圧縮部 2 3 と、 この圧縮部 2 3により圧縮された画像データを例えばメモリ力一 ド等の記録媒 体に記録するために出力する出力部 2 4 と、 電源スィ ッチ， シャ ッタボタン， 各種の撮影モー ドを切り替えるためモー ドスィ ッチ 等へのイ ンタ一フェースを備えた外部 I / F部 2 6 と、 上記測光 評価部 7 ， 合焦点検出部 8 , 信号処理部 1 0 ， Y / C分離部 1 3 , 0次抽出部 1 5 , 0次量子化部 1 6 , 高周波抽出部 1 9 , ノ ィ ズ推定部 2 0 , ノ ィズ低減部 2 1 , 高周波量子化部 2 2 , 圧縮部 2 3 ， 出力部 2 4 ， 外部 I / F部 2 6 と双方向に接続されていて これらを含むこの撮像システムを統合的に制御するマイ ク ロコ ン ピュー夕等でなる制御手段であり取得手段を兼ねた制御部 2 5 と
、 を有して構成されている。
次に、 図 1 に示したような撮像システムにおける信号の流れに ついて説明する。
• この撮像システムは、 外部 I / F部 2 6を介して I S O感度な どの撮影条件を設定することができるように構成されており、 こ れらの設定がなされた後に、 2段式の押しボタンスィ ッチでなる シャ ツ夕ボタンを半押しすることによ り、 プリ撮像モー ドに入る o
上記レンズ系 1 , 絞り 2 , ロ ーパスフィ ルタ 3を介して結像さ れた光学像は、 C C D 4により撮影されてアナ口グの映像信号と して出力され、 A / D変換器 5 によ りデジタル信号へ変換されて 、 第 1 ノ ヅ フ ァ 6へ転送される。
なお、 上記 C C D 4は、 本実施形態に示す例においては、 撮像 面の前面に原色 R G B色フィ ルタが配置された単板式原色カラー C C Dと して構成されたものである。
第 1 バッファ 6内の映像信号は、 その後に、 測光評価部 7 と合 焦点検出部 8 とへ各転送される。 測光評価部 7は、 画像中の輝度レベルを求めて、 設定された I S O感度や手ぶれ限界のシャ ツ夕速度などを考慮して適正露光値 を算出し、 この適正露光値となるように絞り 2による絞り値や C C D 4の電子シャツタ速度などを制御する。
また、 合焦点検出部 8は、 画像中のエッジ強度を検出して、 こ のエッジ強度が最大となるように A Fモータ 9を制御し合焦画像 -a: ½ o o
このようなプリ撮像モー ドを行う ことにより本撮影の準備が整 つたところで、 次に、 シャツタボタ ンが全押しにされたことを外 部 I / F部 2 6を介して検出すると、 本撮影が行われる。
この本撮影は、 測光評価部 7により求められた露光条件と合焦 点検出部 8により求められた合焦条件とに基づいて行われ、 これ らの撮影時の条件は取得手段たる制御部 2 5へ転送される。
こう して本撮影が行われると、 映像信号が、 プリ撮像のときと 同様にして、 第 1 バッファ 6へ転送され記憶される。
この第 1 バッファ 6内の映像信号は、 信号処理部 1 0へ転送さ れて、 公知のホワイ トバランス処理， 補間処理， 強調処理などが 行われた後に、 第 2バッファ 1 1 へ転送される。
プロ ック抽出部 1 2は、 制御部 2 5の制御に基づいて、 上記第 2バッファ 1 1 に記憶されている映像信号を、 所定のプロヅクサ ィズ、 例えば 8 X 8画素でなるブロ ックを単位と して順次読み出 し、 Y /C分離部 1 3へ転送する。
Y /C分離部 1 3は、 次の数式 1 に示すような変換式に基づい て、 ブロック抽出部 1 2 からの R G B信号でなる映像信号を輝度 信号 Yと色差信号 C b , C r とへ変換する。
【数 1 】
Y = 0.29900R + 0.58700G + 0.11400B
Cb = -0.16874R 一 0.33126G + 0.50000B Cr = 0.50000R - 0.41869G - 0.08131B こう して Y /C分離部 1 3により生成された輝度信号 Yは輝度 D C T部 1 4へ、 色差信号 C b , C rはダウンサンプル部 1 7へ 、 それぞれ転送される。
ダウンサンプル部 1 7は、 色差信号 C b， C r を所定の比率で ダウンサンプリ ングした後に、 色差 D C T部 1 8へ転送する。 上記輝度 D C T部 1 4 と色差 D C T部 1 8とは、 上述したよう に、 公矢口の D C T ( Di screte Cosi ne Transform) 変換を 亍ぅ こ とによ り、 実空間における映像信号を周波数空間における信号に 変換する。
上記周波数空間へ変換された信号は、 制御部 2 5の制御に基づ いて、 輝度信号 Υ ， 色差信号 C b , 色差信号 C rの順に、 以下に 示すように、 ノ イズ低減処理と圧縮処理とが行われる。
まず、 0次抽出部 1 5が、 上記輝度 D C T部 1 4 と色差 D C T 部 1 8 とにより変換された周波数空間の信号から、 0次成分を抽 出する。
次に、 0次量子化部 1 6が、 この 0次抽出部 1 5 によ り抽出さ れた 0次成分を所定間隔で量子化する。
そして、 圧縮部 2 3が、 この量子化後の 0次成分に公知のハフ マン符号や算術符号などによ り圧縮する。 こう して圧縮された信 号は、 出力部 2 4に順次転送されて、 上述したようにメモリ力一 ド等に保存される。
ノ ィズ推定部 2 0は、 0次抽出部 1 5から 0次成分を取得する とともに、 制御部 2 5から撮影時の情報を取得して、 これらの情 報に基づき、 0次成分以外の周波数成分に対するノ イズ量を算出 する。
一方、 高周波抽出部 1 9は、 上記輝度 D C T部 1 4と色差 D C T部 1 8 とにより変換された周波数空間の信号から、 0次成分以 外の周波数成分を抽出する。
ノ ィズ低減部 2 1 は、 ノ ィズ推定部 2 0からのノ ィズ量に基づ き、 高周波抽出部' 1 9からの 0次成分以外の周波数成分に対して ノ ィズ低減処理を行う。
高周波量子化部 2 2は、 ノ ィズ低減部 2 1 によ り ノ ィズ低減処 理された高周波成分を所定間隔で量子化する。
上記圧縮部 2 3は、 この高周波量子化部 2 2 によ り量子化され た高周波成分についても、 上記 0次量子化部 1 6 により量子化さ れた 0次成分と同様に、 公知のハフマン符号や算術符号などによ り圧縮する。 こう して圧縮された信号は、 出力部 2 4に順次転送 されて、 上述したようにメモリカー ド等に保存される。 なお、 こ の圧縮部 2 3による圧縮処理は、 例えば、 公知の J P E G圧縮処 理に準拠してなされている。
なお、 上述したような Y Z C分離部 1 3 , 0次抽出部 1 5 , 0 次量子化部 1 6 , 高周波抽出部 1 9 ， ノ ィズ推定部 2 0 , ノ イズ 低減部 2 1 ， 高周波量子化部 2 2 , 圧縮部 2 3 によるそれぞれの 処理は、 制御部 2 5 の制御に基づき、 ブロ ック抽出部 1 2がプロ ックを抽出する動作に同期して、 ブロック単位で行われる。
次に、 図 2を参照して、 ノ ィズ推定部 2 0の構成の一例につい て説明する。
このノ イ ズ推定部 2 0は、 C C D 4の標準的な温度を後述する 係数算出部 3 2へ転送する付与手段たる標準値付与部 3 1 と、 ノ ィズ量を推定する際に用いる後述する関数に係るパラメータを記 憶する係数算出手段たるパラメ一タ用 R O M 3 3 と、 このパラメ —タ用 R O M 3 3からのパラメータと上記 0次抽出部 1 5からの 0次成分と上記制御部 2 5からのゲイ ンと上記標準値付与部 3 1 からの温度情報とに基づいて 0次成分以外の高周波成分のノ イズ 量を推定するための所定の式に係る係数を算出する係数算出手段 たる係数算出部 3 2 と、 この係数算出部 3 2 によ り算出された係 数を用いて後述するように定式化される関数を用いノ イズ量を算 出してノ ィズ低減部 2 1 へ転送するノ ィズ算出手段たるノ ィズ算 出部 3 4と、 を有して構成されている。
なお、 これら標準値付与部 3 1 ， 係数算出部 3 2 ， ノ イズ算出 部 3 4は、 制御部 2 5 と双方向に接続されて制御されるようにな つている。 また、 制御部 2 5は、 測光評価部 7や信号処理部 1 0 などから信号に対するゲイ ンを求めて、 係数算出部 3 2へ転送す るようになっている。
ここで、 図 3 A、 図 3 Bを参照して、 D C T変換を行って周波 数空間に変換したときの次数成分について説明する。 図 3 Aは実 空間における 8 X 8画素のブロックを、 図 3 Bは周波数空間にお ける 8 x 8画素のプロックを、 それぞれ示している。
図 3 Aに示すような実空間における画素プロックの信号を D C T変換すると、 図 3 日に示すような周波数空間における画素プロ ックの成分が得られる。 この図 3 Bの周波数空間においては、 左 上を原点、 すなわち 0次成分と しており、 1 次以上の高周波成分 は、 この原点を中心とする同心円上に配置されることになる。 従 つて、 上記 0次抽出部 1 5は、 この図 3 B Iこ示す周波数空間にお いて、 左上に位置する画素を 0次成分と して抽出する処理を行う o
次に、 図 4 A、 図 4 Bを参照して、 ノ イズ量の定式化について 説明する。 図 4 Aは、 0次成分しに対するノ イズ量 Nをプロ ッ ト したものであり、 その関数は、 以下の数式 2 に示すように定式化 される。
【数 2】
N = A L β + C ここに、 A， B , Cは定数項であり、 0次成分しのべき乗をなす 関数に定数項が付加されたものとなっている。 しかしながら、 ノ ィズ量 Nは信号値レベルの 0次成分 Lのみに 依存するのではなく 、 それ以外にも、 撮像素子である C C D 4の 温度や信号のゲイ ンによっても変化する。 従って、 これらの要因 も考慮に入れたものが、 図 4 Bに示す例となっている。
すなわち、 上記数式 2では定数項であった A , B , Cの代わり に、 数式 3に示すように、 溫度 Tとゲイ ン G とをパラメータとす る 3つの関数 a ( T， G ) , b ( T , G ) , c ( T , G ) を導入 する。
【数 3】
N = a ( T , G ) し b(T'G)+ c ( T , G ) この数式 3 によ り示される曲線を、 複数の温度 T (図示の例で は温度 T 1 ~ T 3 ) (こおける複数のゲイ ン G (図示の例では 1 , 2 , 4倍） の場合にプロ ッ ト したのが図 4 Βである。
図 4 Βは、 独立変数を 0次成分し、 従属変数をノ イズ量 Νと し て表したものであるが、 パラメータである温度 Τをこれらの変数 に直交する方向に座標軸と してプロヅ 卜 している。 従って、 Τ = Τ 1 で表される平面内、 Τ = Τ 2で表される平面内、 Τ = Τ 3で 表される平面内、 のそれぞれで、 0次成分 Lによるノ イズ量 Νを 読み取ることになる。 このとき、 さらに、 パラメータであるゲイ ン Gによる曲線形状の変化を、 各平面内で複数本の曲線を描く こ とによ り表している。
各パラメータで示される個々の曲線は、 図 4 Αに示したような 数式 2による曲線とほぼ類似した形態をなしているが、 当然にし て、 各関数 a , b， cから得られる係数 A , B , Cは、 温度 Tや ゲイ ン Gの各値に応じて異なっている。
図 5 Aは上記関数 a ( T , G ) の、 図 5 Bは上記関数 b ( 丁 ， G ) の、 図 5 Cは上記関数 c ( T， G ) の特性の概略の様子をそ れぞれ示したものである。 これらの各関数は、 温度 Tとゲイ ン G とを独立変数とする 2変 数関数であるために、 図 5 A〜図 5 Cは 3次元座標と してプロ ヅ 卜されており、 このプロ ッ 卜された空間における曲面となってい る。 ただし、 こ こでは具体的な曲面形状を図示する代わりに、 曲 線を用いて大まかな特性変化の様子を示している。
このような関数 a , b , cに温度 Τとゲイ ン Gとをパラメータ と して入力することにより、 各定数項 A , B， Cが出力される。 そして、 これらの関数の具体的な形状は、 事前に、 C C D 4を含 む撮像素子系の特性を測定することによ り、 容易に取得すること ができる。
係数算出部 3 2は、 制御部 2 5 からのゲイ ン Gと標準値付与部 3 1 からの温度丁とを入力パラメ一夕と して、 ノ\°ラメ一夕用 R O M 3 3に記録される 3つの関数 a , b ， cから定数項 A , B , C を求め、 ノ イズ算出部 3 4へ転送する。
ノ イズ算出部 3 4は、 この係数算出部 3 2 からの 0次成分 L と 定数項 A , B， Cとを用いて、 上記数式 2 に基づきノ イズ量 Nを 算出し、 算出したノ イズ量 Nをノ イズ低減部 2 1 へ転送する。
なお、 上述では撮像素子である C C D 4の温度を標準値付与部 3 1 から固定的に与えていたが、 これに限定されるものではない 。 例えば、 温度センサなどを C C D 4の近傍に配置して、 リアル タィムで温度情報を取得し取得手段たる制御部 2 5へ転送するよ うに構成することも可能である。 これとは逆に、 ゲイ ン Gを動的 に得ることができない場合には、 標準値付与部 3 1 から所定の値 を付与するようにしても構わない。
また、 上述ではノ イズ量に対する定式化において、 数式 2 に示 したようなべき乗の関数を用いたが、 このような関数形状のもの に限定されるものでもない。 例えば、 N = A L 2 + B L + Cとい つた 2次式を用いて定式化することも可能である し、 その他の多 項式ゃスプライ ン関数などを使用するようにしても構わない。 次に、 図 6を参照して、 ノ ィズ低減部 2 1 の構成の一例につい て説明する。
このノ ィズ低減部 2 1 は、 制御部 2 5からの画質モ— ド情報 （ 圧縮率の情報を含む） に基づき情報が保存されない高周波成分の 閾値 nを推定する選択手段たる判断部 4 1 と、 高周波抽出部 1 9 から転送された 0次成分以外の周波数成分の平均値 A Vを算出す る平均値算出手段たる平均値算出部 4 2 と、 この平均値算出部 4 2からの平均値 A Vと上記ノ ィズ推定部 2 0からのノ ィズ量 N と を用いて高周波成分に対する上限値 T upおよび下限値 T l ow を後 述するように設定する許容範囲設定手段たる許容範囲設定部 4 3 と、 上記高周波抽出部 1 9から転送された 0次成分以外の周波数 成 の内の所定の周波数帯域に属する高周波成分を抽出する周波 数分離手段たる分離部 4 4 と、 上記判断部 4 1 からの閾値 n と許 容範囲設定部 4 3からの上限値 T upおよび下限値 T l ow とに基づ き分離部 4 4によ り抽出された周波数帯域の周波数成分をノ イズ 低減処理して上記高周波量子化部 2 2へ転送する補正手段たる補 正部 4 5 と、 を有して構成されていて、 これら判断部 4 1 , 平均 値算出部 4 2 , 許容範囲設定部 4 3 , 分離部 4 '4 , 補正部 4 5は 、 制御部 2 5 と双方向に接続されて制御されるようになっている o
上記分離部 4 4は、 制御部 2 5の制御に基づいて、 上述したよ うに、 所定の周波数帯域に属する高周波成分を抽出し補正部 4 5 へ転送するが、 D C T変換の場合には、 上記図 3 Bに示したよう に、 所定の周波数帯域に属する高周波成分が左上を原点とする同 心円上に配置されるために、 分離部 4 4はこの配置に基づいて 1 次以上の高周波成分を順次抽出する処理を行う。
許容範囲設定部 4 3は、 ノ ィズ推定部 2 0からのノ ィズ量 N と 平均値算出部 4 2からの平均値 A Vとに基づき、 高周波成分に対 する上限値 T upおよび下限値 T l ow を、 次の数式 4に基づいて設 定し、 補正部 4 5へ転送する。
【数 4】
Tup = A V + N / 2
Tlow = A V— N/ 2 判断部 4 1 は、 外部 I/F部 2 6により設定される画質モー ド の情報を制御部 2 5から取得して、 この画質モー ドから対応する 圧縮率を求める。 そして、 判断部 4 1 は、 求めた圧縮率では、 情 報が保存されない高周波成分、 すなわちノ イズ成分も保存されな い高周波成分、 の閾値 nを推定して、 この閾値 nを補正部 4 5へ 転； 1¾する 0
補正部 4 5は、 判断部 4 1 からの閾値 nと、 許容範囲設定部 4 3からの上限値 T upおよび下限値 T low と、 に基づいて、 分離部 44からの各周波数成分に対しての処理を行う。 まず、 補正部 4 5は、 判断部 4 1 からの閾値 nに基づき、 n次成分以下の周波数 成分のみをノ ィズ低減処理の対象と して、 この n次成分よ りも次 数の大きい周波数成分については処理を行う ことなく そのまま高 周波量子化部 2 2へ出力する。 一方、 補正部 4 5は、 周波数成分 が n次成分以下の周波数成分である場合には、 各周波数成分の要 素 Sに対して、 上限値 Tupと下限値 Tlow とに基づき次の数式 5 に示すような 3通りの処理の何れかを選択して、 要素 Sを補正す る o 【数 5】
S = S - N / 2 ( T upく Sのとき）
S = A V ( T low ≤ S≤ T upのとき）
S = S + N / 2 ( Sく Tlow のとき） 補正部 4 5は、 数式 5による補正処理がなされた各周波数成分 の要素を、 高周波量子化部 2 2へ順次出力する。
なお、 上述ではハー ドウエア的に処理を行う構成と しているが 、 これに限るものではなく 、 ソフ トウェア的に処理するようにし ても構わない。 例えば、 C C D 4からの信号を未処理のままの R a wデータ と し、 制御部 2 5からのゲイ ンや撮影時の温度などを この R a wデータのへッダ情報と して付加して、 このへヅダ情報 が付加された R a wデータを別途のソフ トウエアにより コ ンビュ 一夕で処理するようにすることが考えられる。
図 7 A、 図 7 Bを参照して、 ノ ィズ低減および圧縮のソフ ト ゥ エア処理について説明する。 図 7 Aと図 7 Bは、 このソフ ト ゥェ ァ処理を分割してそれぞれ示したものである。
この処理を開始すると、 R a wデータと して得られる映像信号 と、 温度やゲイ ンなどのヘッダ情報と、 をコ ンピュータに読み込 む （ステップ S 1 ) 。 なお、 このヘッダ情報は、 後述するステツ プ S 1 3およびステップ S 1 5の処理において使用されるように なっている。
次に、 読み込んだ R a wデータについて、 ホワイ 卜ノ Xランス処 理， 補間処理， 強調処理などの一般的な信号処理を行い （ステツ プ S 2 ) 、 処理後の信号から所定のサイズのブロ ック領域、 例え ば 8 X 8画素単位のブロック領域を抽出する （ステップ S 3 ) 。
そして、 ブロ ック内の各画素の映像信号 （ R G B信号など） を 、 輝度信号 Y と色差信号 C b， C r とに変換する （ステップ S 4
) o
次に、 輝度信号 Yを D C T変換によ り周波数空間の信号に変換 し （ステップ S 5 ) 、 その後は、 図 7 Bに示すようなステップ S 1 1 の処理およびステップ S 1 2の処理へ移行する。 この図 7 B の処理については後で説明する。
この図 7 Bに示すステップ S 2 1 までの処理が行われたところ で、 再び図 7 Aに示す処理に移行し、 圧縮処理およびノ ィズ低減 処理がなされた輝度信号 Yを出力する （ステップ S 6 ) 。
一方、 上記ステップ S 4において分離された色差信号 C b ， C 「は、 所定の割合でダウンサンプリ ングされ （ステップ S 7 ) 、 D C T変換によ り周波数空間の信号に変換される （ステップ S 8 ) 0 その後は、 ステップ S 1 1 の処理およびステップ S 1 2の処 理 （図 7 B参照） へ移行する。
この図 7 Bに示すステップ S 2 1 までの処理が行われたところ で、 再び図 7 Aに示す処理に移行し、 圧縮処理およびノ イズ低減 処理がなされた色差信号 C b ， C r を出力する （ステップ S 9 ) ο
上記ステップ S 6の処理およびステップ S 9の処理が終了した ら、 全ブロックについての処理が完了したか否かを判断し （ステ ヅプ S 1 0 ) 、 完了していない場合は上記ステップ S 3へ戻って 次のブロックについて上述したような動作を繰り返して行う。 ま た、 このステップ S 1 0において全てのブロックについての処理 が完了したと判断される場合は、 この処理を終了する。
次に、 図 7 Bに示す圧縮およびノ イズ低減処理について説明す る。 この処理は、 輝度信号 Yと色差信号 C b ， C r とに対して共 通に行われる処理となっている。
ステップ S 5 またはステップ S 8の処理によって周波数空間に 変換された成分の内の、 0次成分を抽出するとともに （ステップ S 1 1 ) 、 0次成分以外の高周波成分を抽出する （ステップ S 1 2 ) o
次に、 上記ステップ S 1 において読み込んだヘッダ情報に基づ いて、 ノ イズ低減処理を行うか否かを判断する （ステップ S 1 3 ) o
ここで、 ノ ィズ低減処理を行う と判断された場合には、 高周波 成分の平均値を算出する （ステップ S 1 4 ) 。 そして、 上記ステップ S 1 1 において抽出された 0次成分と、 上記ステップ S 1 において読み込んだへヅダ情報とを用いて、 上 記数式 2に基づきノ イズ量を算出する （ステップ S 1 5 ) 。
その後、 上記数式 4に基づいて許容範囲を設定し （ステップ S 1 6 ) 、 数式 5 に基づいてノ ィズ低減処理を行う （ステップ S 1 7 ) o
このステップ S 1 7の処理が終了した場合、 または、 上記ステ ップ S 1 3においてノ ィズ低減処理を行わないと判断された場合 には、 全ての高周波成分についての処理が完了したか否かを判断 する （ステップ S 1 8 ) 。 ここで、 完了していない場合は上記ス テツプ S 1 2へ戻って次の高周波成分について上述したような動 作を行う。
また、 全ての高周波成分についての処理が完了している場合に は、 高周波成分の量子化を行う （ステップ S 2 0 ) 。
その一方で、 上記ステップ S 1 1 において抽出した 0次成分に ついて、 量子化を行う （ステップ S 1 9 ) 。
ステップ S 1 9およびステップ S 2 0における量子化の処理が 完了したら、 量子化された 0次成分および高周波成分を圧縮処理 して （ステップ S 2 1 ) 、 上記図 7 Aに示した処理に移行する。 なお、 上述では原色型の単板 C C Dを例に挙げて説明したが、 これに限定されるものではなく 、 例えば、 補色型の単板 C C Dで も同様に適応可能である し、 さらには、 二板 C C Dや三板 C C D の場合にも同様に適用可能である。
このような第 1 の実施形態によれば、 周波数空間を利用する圧 縮処理とノ イズ低減処理とを一体化することによ り、 高画質な画 像を得ることができる低コス 卜な撮像システムを構築することが できる。
また、 ノ イズ量に関係する 0次成分、 撮影時の撮像素子の温度
、 ゲイ ンなどの各種のパラメータを撮影毎に動的に求めて、 これ らのパラメータに基づきノ ィズ量を算出しているために、 ノ ィズ 量を高精度に推定することができる。 このとき、 ノ イズ量を算出 する際に関数を用いているために、 必要となるメモリ量を少な く することができ、 低コス ト化を図ることが可能となる。
加えて、 推定されたノ イズ量と周波数成分の平均値とに基づき 上限値と下限値を設定してノ イズ成分を補正しているために、 ノ ィズ成分のみが除去され、 それ以外の信号は原信号と して保存さ れる。 これにより、 ノ イズのみが低減された高品位な画像を得る ことができる。
そして、 推定したノ ィズ量以下の信号のみをス厶ージング処理 しているために、 効果的にノ ィズを低減することが可能となる。 さらに、 ノ イズ量の算出に要する温度， ゲイ ンなどのパラメ一 タが得られない場合には、 標準値を用いるようにしているために 、 常にノ ィズ低減処理を行う ことが可能となる。 加えて、 一部の パラメ一夕算出を意図的に省略することによ り、 低コス 卜化およ び省電力化を図つた撮像システムを構築することが可能となる。 周波数成分の信号を各周波数帯域に分離して、 各周波数帯域毎 にノ ィズ低減処理を行うかどうかを圧縮率に応じて選択し、 圧縮 処理で切り捨てられる高周波成分に対しては不要なノ イズ低減処 理を行う ことなく 、 必要となる周波数帯域のみについてノ イズ低 減処理を行うようにしたために、 処理を高速化することができる 図 8から図 1 1 は本発明の第 2の実施形態を示したものであり 、 図 8は撮像システムの構成を示すブロ ック図、 図 9 A、 図 9 B 、 図 9 Cはウェーブレツ 卜変換を説明するための図、 図 1 0はノ ィズ推定部の構成を示すプロ ック図、 図 1 1 はノ イズ低減部の構 成を示すプロック図である。
この第 2の実施形態において、 上述の第 1 の実施形態と同様で ある部分については同一の符号を付して説明を省略し、 主と して 異なる点についてのみ説明する。
本実施形態の撮像システムは、 図 8に示すように、 上述した第 1 の実施形態の図 1 に示した構成とほぼ同様であるが、 変換手段 たるウェーブレツ 卜 （W a v e l e t ) 変換部 5 0を追加して、 輝度 D C T部 1 4とダウンサンプル部 1 7と色差 D C T部 1 8と を削除した構成となつている。 上記ウェーブレッ ト変換部 5 0は 、 YZC分離部 1 3の出力を処理して、 処理結果を 0次抽出部 1 5と高周波抽出部 1 9とへ出力するものである。
このような撮像システムの作用は、 基本的に上述した第 1 の実 施形態と同様であるために、 異なる部分についてのみ図 8の信号 の流れに沿って説明する。
Y/C分離部 1 3で得られた輝度信号 Yと色差信号 C b , C r は、 ウエーブレッ ト変換部 5 0へ転送されて、 該ウェーブレツ 卜 変換部 5 0において周波数空間へ変換される。
図 9 A、 図 9 B、 図 9 Cは、 このウエーブレツ ト変換部 5 0に おいて行われるウエーブレッ ト変換の様子を示している。
図 9 Aは実空間における 8 X 8画素のプロ ックを示している。 図 9 Bは、 図 9 Aに示すような 8 X 8画素のブロックを、 1 回 ウェーブレツ 卜変換した周波数空間における 8 X 8画素のプロ ヅ クを示している。 この図 9 Bにおいては、 左上を原点に取ってい るために、 左上 4 x4画素が 0次成分 Lを示し、 その他が 1 次の 高周波成分、 すなわち、 右上の 4 x4画素が 1 次の水平成分 H h 1 、 左下の 4 x4画素が 1 次の垂直成分 H v 1 、 右下の 4 X 4画 素が 1 次の斜め成分 H s 1 、 をそれぞれ示している。
図 9 Cは、 図 9 Aに示すような 8 X 8画素のブロ ックを、 2回 ウェーブレツ 卜変換した周波数空間における 8 X 8画素のブロ ヅ クを示しており、 図 9 Bに示した 0次成分 Lをさらに 1 回ウェ一 ブレツ ト変換したものとなっている。 この図 9 Cに示す左上 4 X 4画素において、 左上 2 X 2画素が 0次成分しを示し、 その他が 2次の高周波成分、 すなわち、 右上の 2 x 2画素が 2次の水平成 分 H h 2 、 左下の 2 X 2画素が 2次の垂直成分 H v 2 、 右下の 2 X 2画素が 2次の斜め成分 H s 2 、 をそれぞれ示している。 本実 施形態においては、 この図 9 Cに示すような、 ウエーブレッ ト変 換を 2回行った周波数空間を例に取って説明を行う。
このようにしてウェーブレツ 卜変換部 5 0によ り周波数空間に おける信号に変換された信号は、 0次抽出部 1 5 により 0次成分 が抽出されるとともに、 高周波抽出部 1 9により高周波成分が抽 出され、 上述した第 1 の実施形態と同様に、 圧縮処理とノ イズ低 減処理とが行われる。
図 1 0を参照して、 ノ イズ推定部 2 0の構成の一例について説 明する。
本実施形態のノ イズ推定部 2 0は、 C C D 4の標準的な温度を 後述するルックアップテーブル部 5 2へ転送する付与手段たる標 準値付与部 5 1 と、 0次抽出部 1 5からの 0次成分と標準値付与 部 5 1 からの温度と制御部 2 5からのゲイ ンとに対するノ イズ量 の関係を記録したルックアップテーブルを保持し該ルックアップ テーブルを参照して求めたノ ィズ量をノ ィズ低減部 2 1 へ出力す るルックアップテーブル手段たるルックアップテーブル部 5 2 と 、 を有して構成されていて、 これら標準値付与部 5 1 , ルックァ ップテーブル部 5 2は、 制御部 2 5 と双方向に接続されて制御さ れるようになっている。
このような構成における作用は、 次のようになっている。
0次抽出部 1 5は、 制御部 2 5の制御に基づいて 0次成分を抽 出し、 ルヅ クアップテーブル部 5 2へ転送する。 また、 制御部 2 5は、 測光評価部 7による測光評価結果や信号処理部 1 0におけ る設定値などに基づいて信号に対するゲイ ンを求め、 求めたゲイ ンをルックアップテ一ブル部 5 2へ転送する。 さ らに、 標準値付 与部 5 1 は、 撮像素子の標準的な温度をルックアップテーブル部 5 2へ転送する。
ルックァ ヅプテーブル部 5 2は、 0次成分， 温度， ゲイ ンと、 ノ イズ量と、 の間の関係を記録するルックアップテーブルを保持 しており、 このルックアップテーブルは第 1 の実施形態と同様の 手段によ り構築されたものである。 ルックアップテ一プル部 5 2 は、 0次抽出部 1 5からの 0次成分と、 標準値付与部 5 1 からの 温度と、 制御部 2 5 からのゲイ ンと、 を用いてルックァ ヅプテ一 プルを参照することによ り ノ ィズ量を求めて、 求めたノ ィズ量を ノ ィズ低減部 2 1 へ転送する。
なお、 本実施形態の場合には、 図 9 Cに示したように、 0次成 分が 2 X 2画素 （つまり、 4画素） となるために、 これらに対応 してノ ィズ量は 4つ算出されることになる。 算出されたノ ィズ量 を高周波成分に使用する場合には、 次のように行う。 まず、 高周 波成分が 2次の高周波成分 （ 2次の水平成分 H h 2 ， 2次の垂直 成分 Η ν 2 , 2次の斜め成分 H s 2 ) である場合には、 2 X 2画 素の構成となるために、 位置的に対応する画素に対して 1 対 1 の 関係で使用する。 一方、 高周波成分が 1 次の高周波成分 （ 1 次の 水平成分 H h 1 ， 1 次の垂直成分 H v 1 ， 1 次の斜め成分 H s 1 ) である場合には、 4 x 4画素の構成となるために、 1 画素のノ ィズ量を縦方向および横方向にそれぞれ 2倍拡大して、 2 X 2画 素単位にして使用する。
次に図 1 1 を参照して、 ノ ィズ低減部 2 1 の構成の一例につい て説明する。
本実施形態のノ ィズ低減部 2 1 は、 高周波抽出部 1 9により抽 出された 0次成分以外の高周波成分から水平ライ ンを抽出する周 波数分離手段たる水平ライ ン抽出部 6 1 と、 この水平ライ ン抽出 部 6 1 によ り抽出された水平ライ ンに対してス厶ージングを行う スム一ジング手段たる第 1 スム一ジング部 6 2 と、 この第 1 スム —ジング部 6 2 によるス厶ージング結果を一時的に保存するバッ ファ 6 3 と、 このバッファ 6 3 に蓄積された水平方向にスム一ジ ング後のデータを垂直方向に読み出す周波数分離手段たる垂直ラ イ ン抽出部 6 4 と、 この垂直ライ ン抽出部 6 4によ り読み出され た垂直方向のライ ンのス厶一 .ジングを行って高周波量子化部 2 2 へ出力するスム一ジング手段たる第 2スム一ジング部 6 5 と、 上 記ノ ィズ推定部 2 0により推定されたノ ィズ値に基づいてス厶一 ジングを行う際の閾値を設定し上記第 1 スム一ジング部 6 2およ び第 2スムージング部 6 5へ出力する閾値設定手段たる閾値設定 部 6 6 と、 上記制御部から取得した画質モー ドに基づき情報が保 存されない高周波成分の閾値 nを推定して上記第 1 スム—ジング 部 6 2および第 2 スム—ジング部 6 5へ出力する選択手段たる判 断部 6 7 と、 を有して構成されている。
なお、 上記水平ライ ン抽出部 6 1 , 垂直ライ ン抽出部 6 4 ， 閾 値設定部 6 6 , 判断部 6 7は、 上記制御部 2 5 と双方向に接続さ れて制御されるようになっている。
このような構成のノ ィズ低減部 2 1 の作用は、 次のようになつ ている。
上記水平ラィ ン抽出部 6 1 は、 制御部 2 5の制御に基づいて、 高周波抽出部 1 9から、 水平ライ ン単位で順次 3つの高周波成分 水平 H h i ， 垂直 H V i , 斜め H s i ( i = 1 , 2 ) を個別に抽 出し、 第 1 スム一ジング部 6 2へ転送する。
閾値設定部 6 6は、 制御部 2 5の制御に基づいて、 上記水平ラ ィ ン抽出部 6 1 により抽出された水平ライ ン単位の高周波成分に 対して、 対応するノ イズ量をノ イズ推定部 2 0から取得し、 これ を閾値と して第 1 スム—ジング部 6 2へ転送する。
判断部 6 7は、 外部 I Z F部 2 6 によ り設定される画質モー ド の情報を制御部 2 5から取得して、 この画質モー ドから対応する 圧縮率を求める。 そして、 判断部 6 7は、 求めた圧縮率では情報 が保存されない高周波成分、 すなわちノ ィズ成分も保存されない 高周波成分、 の閾値 nを推定して、 この閾値 nを第 1 スム一ジン グ部 6 2 と第 2スムージング部 6 5 とへ各転送する。
上記第 1 スム一ジング部 6 2は、 判断部 6 7から取得した閾値 nに基づいて、 n次成分以下の周波数成分のみをノ ィズ低減処理 の対象と し、 この n次成分よ りも次数の大きい周波数成分につい ては処理を行う ことなく そのままバッファ 6 3へ出力する。 一方 、 第 1 スム—ジング部 6 2は、 周波数成分が n次成分以下の周波 数成分である場合には、 水平ライ ン抽出部 6 1 からの高周波成分 に対して画素単位で走査して行き、 閾値設定部 6 6からの閾値を ノ イズ量と して、 例えば公知のヒステリ シススム一ジングを行う 。 この結果は、 順次出力されてバッファ 6 3に記憶される。
この第 1 ス厶一ジング部 6 2のヒステリ シスス厶一ジングの動 作は、 制御部 2 5の制御によ り、 ノ ィズ推定部 2 0の動作および 閾値設定部 6 6の動作と同期して行われる。
高周波抽出部 1 9から出力される全ての高周波成分が第 1 ス厶 -ジング部 6 2において処理されると、 垂直ラィ ン抽出部 6 4が 、 制御部 2 5の制御に基づいて、 バッファ 6 3から垂直ライ ン単 位で 3つの高周波成分水平 H h i ， 垂直 H v i ， 斜め H s i ( i = 1 , 2 ) を個別に順次抽出し、 第 2 スムージング部 6 5へ転送 する。
上記閾値設定部 6 6は、 制御部 2 5の制御に基づいて、 垂直ラ ィ ン抽出部 6 4が抽出した垂直ライ ン単位の高周波成分に対して 、 対応するノ イズ量をノ イズ推定部 2 0から取得し、 このノ イズ 量を閾値と して第 2ス厶ージング部 6 5へ転送する。
上記第 2 スム一ジング部 6 5は、 判断部 6 7から取得した閾値 ηに基づいて、 η次成分よ りも次数の大きい周波数成分について は処理を行う ことなく そのまま高周波量子化部 2 2へ出力する。 —方、 第 2スムージング部 6 5は、 周波数成分が η次成分以下の 周波数成分である場合には、 垂直ライ ン抽出部 6 4からの高周波 成分に対して画素単位で走査して行き、 閾値設定部 6 6からの閾 値をノ ィズ量と して、 例えば公知のヒステリ シススム一ジングを 行う。 この結果は、 高周波量子化部 2 2へ順次出力される。
この第 2ス厶一ジング部 6 5のヒステリシスス厶一ジングの動 作は、 制御部 2 5の制御によ り、 ノ イズ推定部 2 0の動作および 閾値設定部 6 6の動作と同期して行われる。
その後は、 上述した第 1 の実施形態と同様に、 圧縮部 2 3によ る圧縮処理が行われ、 圧縮された信号が出力部 2 4によってメモ リカー ド等に記録され保存される。 なお、 このときの圧縮処理は 、 例えば、 公知の J P E G 2 0 0 0圧縮処理に準拠してなされて いる。
なお、 上述ではノ ィズ低減処理にヒステリ シススム一ジングを 使用したが、 これに限定されるものではなく 、 例えば、 第 1 の実 施形態と同様に、 数式 5 に示したような低減処理を適用すること も可能である。
このような第 2の実施形態によれば、 周波数空間を利用する圧 縮処理とノ ィズ低減処理とを一体化することによ り、 高画質な画 像を得ることができる低コス 卜な撮像システムを構築することが でさる。.
また、 イズ量に関係する 0次成分、 撮影時の撮像素子の温度 、 ゲイ ンなどの各種のパラメータを撮影毎に動的に求めて、 これ らのパラメータに基づきノ イズ量をテーブルを用いて算出してい るために、 ノ イズ量を高精度かつ高速に推定することができる。
また、 ノ イズ量を閾値と して設定し、 この閾値以下の信号のみ をスム一ジング処理しているために、 ノ イズ成分以外の信号は原 信号と して保存され、 ノ ィズのみが低減された高品位な画像を得 ることができる。
さらに、 ノ イズ量の算出に要する温度， ゲイ ンなどのパラメ一 夕が得られない場合には、 標準値を用いるようにしているために 、 常にノ ィズ低減処理を行う ことが可能となる。 加えて、 一部の パラメータ算出を意図的に省略することによ り、 低コス ト化およ び省電力化を図つた撮像システムを構築することが可能となる。
そして、 圧縮率に応じて、 必要となる周波数帯域のみについて ノ ィズ低減処理を行うようにしたために、 処理を高速化すること ができる。
図 1 2、 図 1 3 A、 図 1 3 Bは本発明の第 3の実施形態を示し たものであり、 図 1 2は再生システムの構成を示すブロ ック図、 図 1 3 A、 図 1 3 Bは伸張およびノ ィズ低減のソフ 卜ゥエア処理 を示すフローチャー トである。
この第 3の実施形態は、 再生システムに関するものであるが、 ノ ィズ低減処理等に関しては上述した第 1 ， 第 2の実施形態と同 様な構成要素がある。 従って、 同様である部分については同一の 符号を付して説明を省略し、 主と して異なる点についてのみ説明 する。
また、 伸張処理に関しては、 第 1 の実施形態において説明した ような R G B信号に対する J P E G圧縮処理がなされたものを伸 張処理することを前提と し、 かつ、 へ、ソダ部に撮影時の情報が書 き込まれていることを前提と して説明する。
この再生システムは、 上記図 1 に示したのと同様の、 0次抽出 部 1 5 と、 高周波抽出部 1 9 と、 ノ ィズ推定部 2 0 と、 ノ ィズ低 減部 2 1 と、 出力部 2 4 と、 制御部 2 5 と、 外部 I Z F部 2 6 と 、 を有するとともに、 さ らに、 メモリカー ドなどの記録媒体に保 存されている圧縮信号を読み込む入力部 7 1 と、 この入力部 7 1 からの圧縮信号を伸張して上記 0次抽出部 1 5 と高周波抽出部 1 9 とへ出力する伸張手段たる伸張部 7 2 と、 上記 0次抽出部 1 5 からの 0次成分の輝度成分と上記ノ イズ低減部 2 1 からのノ イズ 低減された高周波成分の輝度成分とを逆 D C T変換する逆変換手 段たる輝度逆 D C T部 7 3 と、 上記 0次抽出部 1 5からの 0次成 分の色差成分と上記ノ ィズ低減部 2 1 からのノ ィズ低減された高 周波成分の色差成分とを逆 D C T変換する逆変換手段たる色差逆 D C T部 7 4と、 この色差逆 D C T部 7 4からの色差成分をアツ プサンプリ ングするアップサンプル部 7 5 と、 上記輝度逆 D C T 部 7 3の輝度成分と上記アップサンプル部 7 5からの色差成分と を合成して R G B信号を生成して C R Tモニタや液晶モニタなど の表示装置でなる上記出力部 2 4に出力する Y/C合成部 7 6 と 、 を有して構成されている。
なお、 上記入力部 Ί 1 , 伸張部 7 2 , 0次抽出部 1 5 , 高周波 抽出部 1 9 ， ノ ィズ推定部 2 0 ， ノ ィズ低減部 2 1 ， YZC合成 部 7 6 , 出力部 2 4 , 外部 I / F部 2 6は、 マイ ク ロコ ンピュー タなどでなる制御部 2 5 と双方向に接続されて制御されるように なっている。
また、 本実施形態の外部 I / F部 2 6は、 電源スィ ツチや再生 ボタンなどのイ ンターフェースを備えたものとなっている。
次に、 図 1 2 に示したような再生システムにおける信号の流れ について説明する。
外部 I Z F部 2 6を介して再生ボタンを操作することによ り、 メモリカー ドなどの記録媒体に保存された圧縮信号が入力部 7 1 から読み込まれる。
この圧縮信号は、 伸張部 7 2へ転送されて公知のハフマン符号 や算術符号などに基づき伸張処理が行われ、 周波数空間の信号に 変換される。
0次抽出部 1 5は、 この周波数空間の信号から 0次成分を抽出 して、 ノ イズ推定部 2 0へ転送する。
ノ イズ推定部 2 0は、 画像のへヅ ダ情報と して記録されている 撮影時の情報を制御部 2 5から受け取って、 上述した第 1 の実施 形態と同様に、 0次成分以外の周波数成分に対するノ ィズ量を算 出し、 ノ ィズ低減部 2 1 へ転送する。 一方、 高周波抽出部 1 9は、 伸張部 7 2 により伸張された周波 数空間の信号から 0次成分以外の周波数成分を抽出してノ ィズ低 減部 2 1 へ転送する。
ノ ィズ低減部 2 1 は、 第 1 の実施形態と同様に、 ノ ィズ推定部 2 0からのノ イズ量に基づき高周波抽出部 1 9からの 0次成分以 外の周波数成分に対してノ ィズ低減処理を行う。
0次抽出部 1 5 によ り抽出された 0次成分とノ イズ低減部 2 1 においてノ イズ低減処理された高周波成分とは、 輝度逆 D C T部 7 3 または色差逆 D C T部 7 4へ転送されて実空間の信号に変換 される。 このときの輝度信号と色差信号との切り替えは、 制御部 2 5の制御に基づいて行われるようになつており、 伸張部 7 2か ら得られるプロ ック単位で処理される。
輝度逆 D C T部 7 3からの輝度信号はそのまま Y / C合成部 7 6へ転送される一方で、 色差逆 D C T部 7 4からの色差信号は、 アップサンプル部 7 5において所定の割合でアップサンプリ ング 処理された後に Y /C合成部 7 6へ転送される。
Y ZC合成部 7 6は、 制御部 2 5の制御に基づいて、 ブロ ック 単位の輝度信号とプロ ック単位の色差信号とが揃った時点で、 次 の数式 6に基づいて Y ZC合成処理を行い、 R G B信号を生成す る。
【数 6】
R = Y + 1 . 4 0 2 0 0 C r
G = Y - 0 . 3 4 4 1 4 C b - 0 . 7 1 4 1 4 C r B = Y + 1 . 7 7 2 0 0 C b - 0 . 4 1 8 6 9 C r こう して Y/C合成部 7 6で生成された R G B信号は、 出力部 2 4内のバッファへ順次転送される。
なお、 上述ではハー ドウェア的に再生処理を行うように構成し ていたが、 これに限定されるものではなく 、 例えば、 メモリカー ドなどの記録媒体に保存された圧縮信号と撮影時の温度， ゲイ ン などのヘッダ情報とをコンピュータに読み込んで、 ソフ ト ウエア によって別途処理することも可能である。
図 1 3 A、 図 1 3 Bを参照して、 伸張およびノ イズ低減のソフ 卜ウェア処理について説明する。 図 1 3 Aはこのソフ ト ウェア処 理の主たる流れを示しており、 図 1 3 Bは輝度信号と色差信号と で共通に行われる処理について示している。
処理が開始されると、 図 1 3 Aに示すように、 まず、 圧縮信号 と、 温度やゲイ ンなどのヘッダ情報と、 を読み込む （ステップ S 3 1 ) 。 なお、 こ こで読み込んだヘッダ情報は、 後述するステツ プ S 4 1 , S 4 3の処理に転送される。
次に、 ハフマン符号や算術符号などに基づく伸張処理をプロ ヅ ク単位で行い、 周波数空間における輝度信号 Yと色差信号 C b， C r とを生成する （ステップ S 3 2 ) 。 こ こで生成された輝度信 号 Yは、 後述するステヅプ S 3 9 , S 4 0の処理で使用され、 後 述するステップ S 4 6 までの処理が行われた後にステップ S 3 3 の処理に移行する。 また、 生成された色差信号 C b , C r につい ても同様に、 後述するステップ S 3 9 , S 4 0の処理で使用され 、 後述するステップ S 4 6までの処理が行われた後にステップ S 3 4の処理に移行する。
すなわち、 輝度信号 Yが逆 D C T変換されるとともに （ステツ プ S 3 3 ) 、 色差信号 C b， C r についても逆 D C T変換される (ステップ S 3 4 ) 。 色差信号 C b， C r については、 さ らに、 所定の割合でァップサンプリ ングされる （ステップ S 3 5 ) o そして、 ステップ S 3 3で変換された輝度信号 Yと、 ステップ S 3 4でアップサンプリ ングされた色差信号 C b， C r とを合成 して、 R G B信号を生成し （ステップ S 3 6 ) 、 合成された R G B信号を出力する （ステップ S 3 7 ) 。 その後、 全ブロ ックについての処理が完了したか否かを判断し (ステップ S 3 8 ) 、 完了していない場合は上記ステップ S 3 2 へ戻って次のブロックについての処理を上述したように行い、 ― 方、 完了している場合には、 この一連の処理を終了する。
次に、 図 1 3 Bに示すステップ S 3 9〜S 4 6のノ イズ低減処 理について説明する。 この処理は、 上述したように、 輝度信号 Y と色差信号 C b， C r とに対して共通に行われるものである。 輝度信号 Y または色差信号 C b , C rの 0次成分を抽出すると ともに （ステップ S 3 9 ) 、 輝度信号 Yまたは色差信号 C b , C rの 0次成分以外の高周波成分を抽出する （ステップ S 4 0 ) 。 そして、 上記ステヅプ S 3 1 において読み込んだヘッダ情報に 基づいて、 ノ イズ低減処理を行うか否かを判断する （ステップ S
4 1 ) 。
ここでノ ィズ低減処理を行う場合には、 高周波成分の平均値を 算出する （ステップ S 4 2 ) 。
上記ステップ S 3 9において抽出された 0次成分と、 上記ステ ヅプ S 3 1 において読み込んだヘッダ情報とを用いて、 上記数式 2 に基づきノ イズ量を算出する （ステップ S 4 3 ) 。
そして、 上記数式 4に基づいて許容範囲を設定し （ステップ S 4 4 ) 、 数式 5 に基づいてノ ィズ低減処理を行う （ステップ S 4
5 )
このステップ S 4 5が終了するか、 または上記ステップ S 4 1 においてノ ィズ低減処理を行わない場合には、 全ての高周波成分 について処理が完了したか否かを判断し （ステップ S 4 6 ) 、 完 了していない場合は上記ステップ S 4 0へ戻って他の高周波成分 について上述したような処理を行い、 一方、 完了している場合に は、 上記ステップ S 3 3 またはステップ S 3 4へ移行する。
なお、 上述では独立した再生システムの例を記載しているが、 これに限るものではなく 、 例えば、 上述した第 1 または第 2の実 施形態の撮像システムと組み合わせて、 撮像再生システムと して 構成するようにしても良い。 この場合には、 撮影時にノ イズ低減 処理を省略することで高速な連写撮影が可能となり、 撮影後にノ ィズ低減処理を別途行う ことで高画質な画像を得ることが可能と なる。
このような第 3の実施形態によれば、 周波数空間を利用する伸 張処理とノ ィズ低減処理とを一体化することによ り、 高画質な画 像を得ることができる低コス 卜な再生システムを構築することが できる。
また、 ノ イズ量を算出する際に用いる 0次成分を画像毎に取得 するだけでなく 、 ノ ィズ量に関係する撮影時の撮像素子の温度、 ゲイ ンなどの各種のパラメ一夕をへッダ情報と して画像毎に取得 して、 これらに基づきノ イズ量を算出しているために、 ノ イズ量 を高精度に推定することができる。
そして、 推定したノ ィズ量以下の信号のみをス厶ージング処理 しているために、 効果的にノ ィズを低減することが可能となる。 さ らに、 ノ イズ量の算出に要する温度， ゲイ ンなどのパラメ一 タが得られない場合には、 標準値を用いるようにしているために 、 常にノ ィズ低減処理を行う ことが可能となる。
図 1 4、 図 1 5は本発明の第 4の実施形態を示したものであり 、 図 1 4は撮像システムの構成を示すプロ ヅク図、 図 1 5はノ ィ ズ低減処理に使用するパラメータ校正のソフ ト ゥヱァ処理を示す フローチヤ一 卜である。
この第 4の実施形態において、 上述の第 1 から第 3の実施形態 と同様である部分については同一の符号を付して説明を省略し、 主と して異なる点についてのみ説明する。
この第 4の実施形態の撮像システムは、 ノ ィズ低減処理に使用 するパラメータを校正することができるように構成したものであ る すなわち、 本実施形態の撮像システムは、 図 1 4に示すように 、 上述した第 1 の実施形態の構成から、 プロ ック抽出部 1 2 と、 0次量子化部 1 6 と、 ノ ィズ推定部 2 0 と、 ノ ィズ低減部 2 1 と 、 高周波量子化部 2 2 と、 圧縮部 2 3 と、 を削除して、 白から黒 までの互いに異なる反射率を有する 3種類以上のグレーチヤ一 卜 でなる校正用画像 8 0 と、 第 2バッファ 1 1 に記憶された映像信 号からチヤ一 トを抽出して Y / C分離部 1 3へ出力するブロ ック 抽出手段でありチヤ 一 卜分離手段たるチヤ一 卜抽出部 8 1 と、 高 周波抽出部 1 9から抽出された高周波成分の分散を算出する分散 算出手段たる分散算出部 8 2 と、 この分散算出部 8 2によ り算出 された分散を用いて 0次抽出部 1 5 の出力をフィ ヅテ ィ ングして 出力部 2 4へ耘送するフィ ヅティ ング手段たるフィ ッティ ング部 8 3 と、 を追加した構成となっている。
なお、 追加された構成の内のフ ィ ッティ ング部 8 3は、 制御部 2 5 と双方向に接続されて制御されるようになっている。
次に、 図 1 4に示したような撮像システムにおける信号の流れ について説明する。
外部 I / F部 2 6を介して I S O感度や画質モー ドなどの撮影 条件を設定した後に、 上記校正用画像 8 0を撮像する。 なお、 撮 影に際しては、 校正用画像 8 0が画面全体に写るように撮影距離 を調整するとともに、 校正用画像 8 0の全体に照明光が均一に照 射されるように調整する。 このような校正用画像 8 0を撮影して 得られる映像信号は、 上述した第 1 の実施形態と同様に処理され た後に、 第 2 ノ ッ ファ 1 1 に記憶される。
次に、 チャー ト抽出部 8 1 は、 画面全体の画像信号における各 グレーチヤ一卜を分離して、 各グレーチャー トよ りも一回り小さ い所定サイズのブロ ック領域をグレーチヤ一 卜該当部分と して抽 出し、 Y Z C分離部 1 3へ順次転送する。 このような各グレーチ ャ― ト該当部分の分離作業は、 校正用画像 8 0が画面全体に写る よう調整されていて、 かつグレーチャー トの配置状況が既知のも のである場合には、 自動的に行う ことが可能である。
Y/C分離部 1 3は、 数式 1 に基づいて R G B信号を輝度信号 Yと色差信号 C b , C rへ変換する。 この後に、 輝度信号 Yは輝 度 D C T部 1 4へ、 色差信号 C b , C rはダウンサンプル部 1 7 を介して色差 D C T部 1 8へ、 それぞれ転送される。
輝度 D C T部 1 4 と色差 D C T部 1 8 とは、 上述したように、 公知の D C T ( Discrete Cosine Transform) 変換によって、 実 空間の信号を周波数空間の信号へ変換する。
周波数空間へ変換された信号は、 制御部 2 5の制御に基づいて 、 輝度信号 Y、 色差信号 C b、 色差信号 C rの順に、 0次抽出部 1 5 において 0次成分が抽出されるとともに高周波抽出部 1 9 に おいて高周波成分が抽出される。 0次抽出部 1 5で抽出された 0 次成分はフィ ッティ ング部 8 3へ、 高周波抽出部 1 9で抽出され た高周波成分は分散算出部 8 2へ、 それぞれ転送される。
分散算出部 8 2は、 ノ イズ量に相当する値と して高周波成分の 分散値を算出し、 算出した分散値をフィ ッティ ング部 8 3へ転送 する。 このような処理が、 全てのグレーチャー トに対して行われ る o
フィ ッティ ング部 8 3は、 制御部 2 5の制御に基づいて、 0次 抽出部 1 5で抽出された 0次成分し と、 分散算出部 8 2で算出さ れた分散値 N と、 の各情報が全てのグレ一チヤ一 卜に関して集ま つた段階で、 ノ イズ量に対する定式化を行う。 こ こでは、 ノ イズ 量の定式と して、 例えば N = A L B+ C ( A , Β , Cは定数項） を用いている。 この定式化は、 各グレーチヤ一 卜の 0次成分し と 分散値 Ν とをプロ ッ 卜 して、 公知の最小自乗法によ り定数項 A , B , Cを求めることによ り行われる。 これらの定数項は、 輝度信 号 Y と、 色差信号 C bと、 色差信号 C r と、 の 3種類のデータに 関してそれぞれ個別に算出される。 こう して算出された定数項 A , B , Cは、 係数保存手段たる出 力部 2 4に転送されて記録され保存される。 このような処理を、 外部 I / F部 2 6を介して設定される I S O感度と画質モー ドと の全ての組み合わせについて行う ことによ り、 ノ ィズ低減処理に 使用するパラメータを校正することができる。
なお、 上述ではハー ドゥエア的に校正処理を行うように構成し ていたが、 これに限定されるものではなく 、 例えば、 C C D 4か らの映像信号を未処理のままの R a wデータと して出力するとと もに、 さらに制御部 2 5からの撮影時の温度やゲイ ンなどの情報 をへッダ情報と して出力 し、 ソフ トウェアによってコンピュータ により別途処理するようにすることも可能である。
図 1 5を参照して、 ノ ィズ低減処理に使用するパラメータ校正 のソフ 卜ウェア処理について説明する。
この処理が開始されると、 まず、 R a wデータと して得られる 校正用画像 8 0の映像信号と、 温度ゃゲィ ンなどのへッダ情報と 、 をコ ンピュータに読み込む （ステップ S 5 1 ) 。
次に、 ホワイ トバランス処理， 補間処理， 強調処理などの一般 的な信号処理を行い （ステップ S 5 2 ) 、 その後に各グレーチヤ — 卜該当部分を個別に抽出する （ステップ S 5 3 ) 。
そして、 チヤ一 卜内の各画素の映像信号を、 輝度信号 Yと色差 信号 C b , C r とに変換する （ステップ S 5 4 ) 。
これらの内の輝度信号 Yを D C T変換によ り周波数空間の信号 に変換して （ステップ S 5 5 ) 、 0次成分を抽出するとともに （ ステップ S 5 6 ) 、 0次成分以外の高周波成分を抽出する （ステ ヅプ S 5 7 ) 。 これらの内の高周波成分については、 分散値を算 出する （ステップ S 5 8 ) 。
その後、 上記ステップ S 5 6において抽出した 0次成分と、 上 記ステップ S 5 8において算出した分散値とを出力する （ステツ プ S 5 9 ) 。 一方、 上記ステップ S 5 4において分離された内の色差信号 C b , C rは、 所定の割合でダウンサンプリ ングし （ステップ S 6 0 ) 、 D C T変換を行って周波数空間の信号へ変換する （ステツ プ S 6 1 ) 。
そして、 0次成分を抽出するとともに （ステップ S 6 2 ) 、 0 次成分以外の高周波成分を抽出し （ステップ S 6 3 ) 、 これらの 内の高周波成分については、 分散値を算出する （ステップ S 6 4
) 0
次に、 上記ステップ S 6 2 において抽出した 0次成分と、 上記 ステップ S 6 4において算出した分散値とを出力する （ステップ S 6 5 ) 0
その後、 全てのグレーチヤ一 卜該当部分について処理が完了し たか否かを判断して （ステップ S 6 6 ) 、 完了していない場合に は上記ステップ S 5 3へ戻って他のグレーチヤ— ト該当部分につ いて上述したような処理を行う。
また、 全てのグレーチヤ一 卜について処理が完了している場合 には、 最小自乗法に基づく フィ ッティ ングを行って、 ノ イズ低減 処理に要するパラメータを輝度信号 Y、 色差信号 C b、 色差信号 C rのそれぞれについて算出する （ステップ S 6 7 ) 。
そして、 このステップ S 6 7によ り算出されたノ イズ低減処理 に要するパラメータを出力して （ステップ S 6 8 ) 、 この一連の 処理を終了する。
なお、 上述ではノ イズ量に対する定式化において、 数式 2 に示 したようなべき乗の関数を用いたが、 このような関数形状のもの に限定されるものでもない。 例えば、 N = A L 2 + B L + Cとい つた 2次式を用いて定式化することも可能である し、 その他の多 項式ゃスプライ ン関数などを使用するようにしても構わない。
このような第 4の実施形態によれば、 標準のグレースケール画 像でなる校正用画像を撮影するだけで、 ノ ィズ低減処理に要する パラメータを容易に算出することができるために、 パラメ一夕が 算出されていないシステムの場合、 システムに経時変化が生じて いる場合、 システムの構成が変更されている場合、 などに柔軟に 対応して、 高精度にノ イズ量を推定することが可能となる。 例え ば、 本実施形態の構成を上述した第 3の実施形態の構成と組み合 わせることにより、 ノ イズ低減処理に要するパラメータが算出さ れていないシステムに対しても、 高精度なノ ィズ低減処理を行う ことが可能となる。
また、 ノ イズ量推定を行うための関数に係る各パラメータを別 途に保存可能と しているために、 撮像システムの外部においても ノ ィズ低減処理を行う ことが可能となる。
なお、 本発明は上述した実施形態に限定されるものではな く 、 本発明の主旨を逸脱しない範囲内において種々の変形や応用が可 能であることは勿論である。 産業上の利用可能性
以上説明したように本発明によれば、 高画質な画像を低コス 卜 かつ高速処理で得ることが可能となる。
また本発明によれば、 多様なシステムに柔軟に対応して高画質 な画像を得ることが可能となる。
関連出願へのクロスリファ レンス
本出願は、 2 0 0 2年 1 0月 3 日に日本国に出願された特願 2 0 0 2 - 2 9 1 5 6 2号を優先権主張の基礎と して出願するもの であり、 上記の開示内容は、 本願明細書、 請求の範囲、 図面に引 用されたものとする。 .

Claims

請求の範囲
1 . 撮像システムは以下を含む。
撮像素子の信号から所定サイズのブロ ック領域を抽出するプロ ック抽出手段と、
このブロック抽出手段によ り抽出されたプロック領域の信号を 周波数空間における信号に変換する変換手段と、
この変換手段により変換された周波数空間における信号の内の 0次成分に基づいて、 0次成分以外の周波数成分に関するノ イズ 量を推定するノ ィズ推定手段と、
このノ イズ推定手段により推定されたノ イズ量に基づいて、 0 次成分以外の周波数成分に関するノ ィズを低減するノ ィズ低減手 段と、
上記 0次成分とノ イズを低減された 0次成分以外の周波数成分 とを圧縮処理する圧縮手段。
2 . ク レーム 1 の撮像システムにおいて、
上記ノ ィズ推定手段は、
上記撮像素子の温度 Tと上記信号に対するゲイ ン Gとを取得す る取得手段と、
上記撮像素子の温度 Tと上記信号に対するゲイ ン Gとに関する 標準値を与える付与手段と、
上記取得手段または上記付与手段から与えられる温度 Tと、 上 記取得手段または上記付与手段から与えられるゲイ ン Gと、 をパ ラメ一夕とする 3つの関数 a ( T , G ) ， b ( T , G ) , c ( T ， G ) に基づいて各係数 A , B , Cを求める係数算出手段と、 上記 0次成分の値 Lと上記係数 A , B， Cとを用いて、 ノ イズ 量 Nを、 関数式 N = A L B+ Cまたは N二 A L 2+ B L + Cにより 求めるノ イス算出手段と、
を有して構成されたものであることを特徴とする。
3 . ク レーム 1 の撮像システムにおいて、
上記ノ ィズ推定手段は、
上記撮像素子の温度 Tと上記信号に対するゲイ ン Gとを取得す る取得手段と、
上記撮像素子の温度 Tと上記信号に対するゲイ ン Gとに関する 標準値を与える付与手段と、
上記 0次成分の値 Lと、 上記取得手段または上記付与手段から 与えられる温度 Tと、 上記取得手段または上記付与手段から与え られるゲイ ン Gと、 を入力と して、 ノ イズ量 Nを求めるルックァ ップテーブル手段と、
を有して構成されたものであることを特徴とする。
4 . ク レーム 1 の撮像システムにおいて、
上記ノ ィズ低減手段は、
上記 0次成分以外の周波数成分の平均値を算出する平均値算出 手段と、
この平均値算出手段により算出された平均値と上記ノ ィズ推定 手段により推定されたノ イズ量とに基づいて、 上記 0次成分以外 の周波数成分に関する上限値および下限値を設定する許容範囲設 定手段と、
この許容範囲設定手段により設定された上限値および下限値に 基づいて、 0次成分以外の周波数成分を補正する補正手段と、 を有して構成されたものであることを特徴とする。
5 . ク レーム 4の撮像システムにおいて、
上記ノ ィズ低減手段は、
上記 0次成分以外の周波数成分を所定の周波数帯域毎に分離す る周波数分離手段と、
この周波数分離手段により分離された周波数帯域に関してノ ィ ズ低減処理を行うか否かを選択する選択手段と、
をさらに有して構成されたものであることを特徴とする。
6 . ク レーム 1 の撮像システムにおいて、
上記ノ ィズ低減手段は、
上記ノ ィズ推定手段によ り推定されたノ ィズ量に基づいて上記
0次成分以外の周波数成分に関するノ イズの振幅値を閾値と して 設定する閾値設定手段と、
上記 0次成分以外の周波数成分に関して上記閾値設定手段によ り設定された閾値以下の振幅成分を低減するス厶一ジング手段と を有して構成されたものであることを特徴とする。
Ί . ク レーム 6の撮像システムにおいて、
上記ノ ィズ低減手段は、
上記 0次成分以外の周波数成分を所定の周波数帯域毎に分離す る周波数分離手段と、
この周波数分離手段によ り分離された周波数帯域に関してノ ィ ズ低減処理を行うか否かを選択する選択手段と、
をさ らに有して構成されたものであることを特徴とする。
8 . ク レーム 1 の撮像システムにおいて、
上記プロ ック抽出手段は、 互いに反射率の異なる 3種類以上の グレーチヤ一 卜を含む校正用画像を上記撮像素子によ り撮像して 得られる信号から各グレーチヤ一 卜に該当する部分を分離するチ ャ一 卜分離手段を有してなり、
上記変換手段は、 このチャー ト分離手段によ り分離された各グ レーチヤ一 卜該当部分を周波数空間における信号に変換するもの であって、
上記各グレーチヤ一 ト該当部分の 0次成分以外の周波数成分の 分散 Nを求める分散算出手段と、
上記 0次成分の値 L と上記分散 N とを用いて関数式 N = A L B + Cまたは N = A L 2 + B L + Cに基づき係数 A， B， Cを算出 するフィ ッティ ング手段と、
をさらに具備したことを特徴とする。
9 . ク レーム 8の撮像システムにおいて、
上記フィ ッティ ング手段によ り算出された係数 A， B , Cを保 存する係数保存手段をさらに具備したことを特徴とする。
1 0 . 周波数空間における信号に変換された後に圧縮された信号 を処理する再生システムは、 以下を含む。
上記信号を周波数空間における信号と して伸張する伸張手段と この伸張手段により伸張された周波数空間における信号の内の 0次成分に基づいて、 0次成分以外の周波数成分に関するノ イズ 量を推定するノ イズ推定手段と、
このノ ィズ推定手段によ り推定されたノ ィズ量に基づいて、 0 次成分以外の周波数成分に関するノ イズを低減するノ ィズ低減手 段と、
上記 0次成分とノ ィズを低減された 0次成分以外の周波数成分 とを実空間における信号に変換する逆変換手段。
1 1 . ク レーム 1 0の撮像システムにおいて、
上記ノ ィズ推定手段は、
撮像素子の温度 T と上記信号に対するゲイ ン G とを取得する取 得手段と、
撮像素子の温度 Tと上記信号に対するゲイ ン Gとに関する標準 値を与える付与手段と、
上記取得手段または上記付与手段から与えられる温度 Tと、 上 記取得手段または上記付与手段から与えられるゲイ ン Gと、 をパ ラメータとする 3つの関数 a (丁， G ) ， b ( T , G ) , c ( T , G ) に基づいて各係数 A , B , Cを求める係数算出手段と、 上記 0次成分の値 L と上記係数 A , B， Cとを用いて、 ノ イズ 量 Nを、 関数式 N = A L B + Cまたは N = A L 2 + B L + Cによ り 求めるノ ィズ算出手段と、
を有して構成されたものであることを特徴とする。
1 2 . ク レーム 1 0の撮像システムにおいて、
上記ノ ィズ推定手段は、
撮像素子の温度 Tと上記信号に対するゲイ ン Gとを取得する取 得手段と、
撮像素子の温度 Tと上記信号に対するゲイ ン Gとに関する標準 値を与える付与手段と、
上記 0次成分の値 L と、 上記取得手段または上記付与手段から 与えられる温度 Tと、 上記取得手段または上記付与手段から与え られるゲイ ン Gと、 を入力と して、 ノ イズ量 Nを求めるルックァ ヅプテーブル手段と、
を有して構成されたものであることを特徴とする。
1 3 . ク レーム 1 0の撮像システムにおいて、
上記ノ ィズ低減手段は、
上記 0次成分以外の周波数成分の平均値を算出する平均値算出 手段と、
この平均値算出手段により算出された平均値と上記ノ イズ推定 手段により推定されたノ イズ量とに基づいて、 上記 0次成分以外 の周波数成分に関する上限値および下限値を設定する許容範囲設 定手段と、
この許容範囲設定手段によ り設定された上限値および下限値に 基づいて、 0次成分以外の周波数成分を補正する補正手段と、 を有して構成されたものであることを特徴とする。
1 4 . ク レーム 1 3の撮像システムにおいて、
上記ノ ィズ低減手段は、
上記 0次成分以外の周波数成分を所定の周波数帯域毎に分離す る周波数分離手段と、
この周波数分離手段によ り分離された周波数帯域に関してノ ィ ズ低減処理を行うか否かを選択する選択手段と、
をさらに有して構成されたものであることを特徴とする。
1 5 . ク レーム 1 0の撮像システムにおいて、
上記ノ ィズ低減手段は、
上記ノ イズ推定手段によ り推定されたノ イズ量に基づいて上記 0次成分以外の周波数成分に関するノ イズの振幅値を閾値と して 設定する閾値設定手段と、
上記 0次成分以外の周波数成分に関して上記閾値設定手段によ り設定された閾値以下の振幅成分を低減するス厶—ジング手段と を有して構成されたものであることを特徴とする。
1 6 . ク レーム 1 5の撮像システムにおいて、
上記ノ ィズ低減手段は、
上記 0次成分以外の周波数成分を所定の周波数帯域毎に分離す る周波数分離手段と、
この周波数分離手段によ り分離された周波数帯域に関してノ ィ ズ低減処理を行うか否かを選択する選択手段と、
をさらに有して構成されたものであることを特徴とする。
1 7 . 撮像プログラムは、 コ ンピュータに実行させる以下の手順 を有する。
撮像素子の信号から所定サイズのプロ ック領域を抽出するプロ ック抽出手順と、
このブロ ック抽出手順によ り抽出されたブロ ック領域の信号を 周波数空間における信号に変換する変換手順と、
この変換手順により変換された周波数空間における信号の内の 0次成分に基づいて、 0次成分以外の周波数成分に関するノ イズ 量を推定するノ ィズ推定手順と、
このノ ィズ推定手順によ り推定されたノ イズ量に基づいて、 0 次成分以外の周波数成分に関するノ ィズを低減するノ ィズ低減手 順と、
上記 0次成分とノ ィズを低減された 0次成分以外の周波数成分 とを圧縮処理する圧縮手順。
1 8 . ク レーム 1 7の撮像プログラムにおいて、
上記ノ ィズ低減手順は、
上記 0次成分以外の周波数成分の平均値を算出する平均値算出 手順と、
この平均値算出手順によ り算出された平均値と上記ノ ィズ推定 手順によ り推定されたノ ィズ量とに基づいて、 上記 0次成分以外 の周波数成分に関する上限値および下限値を設定する許容範囲設 定手順と、
この許容範囲設定手順により設定された上限値および下限値に 基づいて、 0次成分以外の周波数成分を補正する補正手順と、
¾ ¾—する。
1 9 . ク レーム 1 7の撮像プログラムにおいて、
上記プロック抽出手順は、 互いに反射率の異なる 3種類以上の グレ一チヤ一 卜を含む校正用画像を撮像素子により撮像して得ら れる信号から各グレーチヤ一 卜に該当する部分を分離するチヤ一 卜分離手順を有してなり、
上記変換手順は、 このチヤ一 卜分離手順によ り分離された各グ レ一チヤ一 卜該当部分を周波数空間における信号に変換するもの であって、 上記各グレーチヤ — 卜該当部分の 0次成分以外の周波数成分の 分散 Nを求める分散算出手順と、
上記 0次成分の値 Lと上記分散 N とを用いて関数式 N = A L B + Cまたは N = A L 2 + B L + Cに基づき係数 A ， B , Cを算出 するフィ ッティ ング手順と、
をさ らに有する。
2 0 . 再生プログラムは、 コ ンピュータに実行させる以下の手順 有 る。
周波数空間における信号に変換された後に圧縮された信号を、 周波数空間における信号と して伸張する伸張手順と、
この伸張手順により伸張された周波数空間における信号の内の 0次成分に基づいて、 0次成分以外の周波数成分に関するノ イズ 量を推定するノ ィズ推定手順と、
このノ ィズ推定手順によ り推定されたノ ィズ量に基づいて、 0 次成分以外の周波数成分に関するノ ィズを低減するノ ィズ低減手 順と、
上記 0次成分とノ ィズを低減された 0次成分以外の周波数成分 とを実空間における信号に変換する逆変換手順。
2 1 . ク レーム 2 0の再生プログラムにおいて、
上記ノ ィズ低減手順は、
上記 0次成分以外の周波数成分の平均値を算出する平均値算出 手順と、
この平均値算出手順によ り算出された平均値と上記ノ ィズ推定 手順によ り推定されたノ ィズ量とに基づいて、 上記 0次成分以外 の周波数成分に関する上限値および下限値を設定する許容範囲設 定手順と、
この許容範囲設定手順によ り設定された上限値および下限値 基づいて、 0次成分以外の周波数成分を補正する補正手順と、 を有する。
PCT/JP2003/012653 2002-10-03 2003-10-02 撮像システムおよび再生システム WO2004032486A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US10/530,085 US7598989B2 (en) 2002-10-03 2003-10-02 Image pickup system for reducing noise attributable to an image pickup device
EP03753990A EP1555809A4 (en) 2002-10-03 2003-10-02 IMAGING SYSTEM AND REPRODUCTION SYSTEM
US12/276,797 US8040401B2 (en) 2002-10-03 2008-11-24 Replay apparatus for noise reduction signal processing
US12/276,760 US7847841B2 (en) 2002-10-03 2008-11-24 Image pickup system for reducing noise attributable to an image pickup device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002291562A JP3893099B2 (ja) 2002-10-03 2002-10-03 撮像システムおよび撮像プログラム
JP2002-291562 2002-10-03

Related Child Applications (3)

Application Number Title Priority Date Filing Date
US10530085 A-371-Of-International 2003-10-02
US12/276,797 Division US8040401B2 (en) 2002-10-03 2008-11-24 Replay apparatus for noise reduction signal processing
US12/276,760 Division US7847841B2 (en) 2002-10-03 2008-11-24 Image pickup system for reducing noise attributable to an image pickup device

Publications (1)

Publication Number Publication Date
WO2004032486A1 true WO2004032486A1 (ja) 2004-04-15

Family

ID=32063845

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/012653 WO2004032486A1 (ja) 2002-10-03 2003-10-02 撮像システムおよび再生システム

Country Status (5)

Country Link
US (3) US7598989B2 (ja)
EP (1) EP1555809A4 (ja)
JP (1) JP3893099B2 (ja)
CN (1) CN100405824C (ja)
WO (1) WO2004032486A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7916187B2 (en) 2004-04-27 2011-03-29 Olympus Corporation Image processing apparatus, image processing method, and program
US8194160B2 (en) 2006-09-12 2012-06-05 Olympus Corporation Image gradation processing apparatus and recording
US8310566B2 (en) 2005-12-28 2012-11-13 Olympus Corporation Image pickup system and image processing method with an edge extraction section

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3934597B2 (ja) 2003-12-09 2007-06-20 オリンパス株式会社 撮像システムおよび画像処理プログラム
JP3899118B2 (ja) * 2004-02-19 2007-03-28 オリンパス株式会社 撮像システム、画像処理プログラム
JP2006023959A (ja) * 2004-07-07 2006-01-26 Olympus Corp 信号処理システム及び信号処理プログラム
JP4547223B2 (ja) * 2004-09-28 2010-09-22 オリンパス株式会社 撮像システム、ノイズ低減処理装置及び撮像処理プログラム
KR100698626B1 (ko) 2004-12-10 2007-03-21 삼성전자주식회사 에일리어싱을 방지하기 위한 영상 보간 장치 및 방법
JP4427001B2 (ja) 2005-05-13 2010-03-03 オリンパス株式会社 画像処理装置、画像処理プログラム
JP4837365B2 (ja) 2005-11-16 2011-12-14 オリンパス株式会社 画像処理システム、画像処理プログラム
KR101225056B1 (ko) 2006-01-27 2013-01-23 삼성전자주식회사 이미지 센서 노이즈 저감 장치 및 방법
US7587099B2 (en) * 2006-01-27 2009-09-08 Microsoft Corporation Region-based image denoising
US8237824B1 (en) * 2007-03-28 2012-08-07 Ambarella, Inc. Fixed pattern noise and bad pixel calibration
US8023013B1 (en) 2007-03-28 2011-09-20 Ambarella, Inc. Fixed pattern noise correction with compressed gain and offset
JP5165300B2 (ja) * 2007-07-23 2013-03-21 オリンパス株式会社 映像処理装置および映像処理プログラム
JP4479845B2 (ja) * 2008-09-30 2010-06-09 カシオ計算機株式会社 画像補正装置、画像補正方法、画像補正プログラム
JP5039017B2 (ja) * 2008-12-22 2012-10-03 日本放送協会 ノイズレベル検出装置
JP5091850B2 (ja) * 2008-12-22 2012-12-05 日本放送協会 ノイズレベル検出装置
JP5091880B2 (ja) * 2009-01-16 2012-12-05 日本放送協会 動画像ノイズ除去装置および動画像ノイズ除去プログラム
JP4656238B2 (ja) * 2009-01-19 2011-03-23 株式会社ニコン 画像処理装置およびデジタルカメラ
JP5743384B2 (ja) * 2009-04-14 2015-07-01 キヤノン株式会社 画像処理装置及び画像処理方法とコンピュータプログラム
KR101391161B1 (ko) * 2009-12-04 2014-05-07 캐논 가부시끼가이샤 화상처리장치
JP5370345B2 (ja) * 2010-11-25 2013-12-18 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
US8830359B2 (en) * 2010-03-30 2014-09-09 Nikon Corporation Image processing apparatus, imaging apparatus, and computer readable medium
JP5521778B2 (ja) * 2010-05-26 2014-06-18 富士通株式会社 計測装置及び制御装置
JP5524133B2 (ja) * 2011-06-07 2014-06-18 株式会社東芝 画像処理装置
JP5757565B2 (ja) * 2011-07-15 2015-07-29 国立大学法人東京工業大学 ノイズレベル推定装置、ノイズレベル推定方法及びプログラム
US9014504B2 (en) * 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
CN102801983A (zh) * 2012-08-29 2012-11-28 上海国茂数字技术有限公司 一种基于dct的去噪方法及装置
KR101962372B1 (ko) * 2013-04-16 2019-03-26 에스케이하이닉스 주식회사 영상의 잡음 제거 방법 및 장치
JP6338424B2 (ja) * 2014-04-03 2018-06-06 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム
CN105472205B (zh) * 2015-11-18 2020-01-24 腾讯科技（深圳）有限公司 编码过程中的实时视频降噪方法和装置
EP3759917A1 (en) * 2018-02-27 2021-01-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. A spectrally adaptive noise filling tool (sanft) for perceptual transform coding of still and moving images
CN113486720B (zh) * 2021-06-08 2023-12-08 浙江大学 一种基于智能终端设备开关电源高频噪声的视频播放内容推断方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03252274A (ja) * 1990-03-01 1991-11-11 Ricoh Co Ltd 電子スチルカメラ
JPH0898060A (ja) * 1994-09-28 1996-04-12 Matsushita Electric Ind Co Ltd 雑音除去装置
JPH11501195A (ja) * 1995-12-21 1999-01-26 フィリップス エレクトロニクス エヌ ベー 画像内のノイズ減少方法
JPH11355781A (ja) * 1998-06-12 1999-12-24 Sharp Corp 動画像符号化装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5046121A (en) * 1989-01-31 1991-09-03 Konica Corporation Image data compression apparatus
US5625714A (en) * 1991-01-10 1997-04-29 Olympus Optical Co., Ltd. Image signal decoding device capable of removing block distortion with simple structure
US6512791B1 (en) * 1991-05-15 2003-01-28 Canon Kabushiki Kaisha Image processing apparatus having means for controlling exposure using an orthogonal transformation coefficient
US5379122A (en) 1992-10-02 1995-01-03 Xerox Corporation Decompression of standard ADCT-compressed images
JP3495766B2 (ja) * 1993-10-01 2004-02-09 テキサス インスツルメンツ インコーポレイテツド 画像処理方法
US5629778A (en) * 1995-05-15 1997-05-13 Polaroid Corporation Method and apparatus for reduction of image data compression noise
JPH10304361A (ja) * 1997-04-25 1998-11-13 Matsushita Electric Ind Co Ltd 画像符号化装置およびノイズ成分検出方法並びにノイズ除去方法
JP2001157057A (ja) 1999-11-30 2001-06-08 Konica Corp 画像読取装置
JP3664231B2 (ja) 2000-08-09 2005-06-22 日本電気株式会社 カラー画像処理装置
JP2002218466A (ja) * 2001-01-24 2002-08-02 Nec Corp ノイズ除去装置、帯域分割型逆ｄｃｔ回路、及びこれらの方法、プログラム
US7102672B1 (en) * 2002-02-08 2006-09-05 Electro Optical Sciences Inc Integrated CMOS imaging array dark current monitor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03252274A (ja) * 1990-03-01 1991-11-11 Ricoh Co Ltd 電子スチルカメラ
JPH0898060A (ja) * 1994-09-28 1996-04-12 Matsushita Electric Ind Co Ltd 雑音除去装置
JPH11501195A (ja) * 1995-12-21 1999-01-26 フィリップス エレクトロニクス エヌ ベー 画像内のノイズ減少方法
JPH11355781A (ja) * 1998-06-12 1999-12-24 Sharp Corp 動画像符号化装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1555809A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7916187B2 (en) 2004-04-27 2011-03-29 Olympus Corporation Image processing apparatus, image processing method, and program
US8310566B2 (en) 2005-12-28 2012-11-13 Olympus Corporation Image pickup system and image processing method with an edge extraction section
US8194160B2 (en) 2006-09-12 2012-06-05 Olympus Corporation Image gradation processing apparatus and recording

Also Published As

Publication number Publication date
US20090073288A1 (en) 2009-03-19
JP2004128985A (ja) 2004-04-22
US7847841B2 (en) 2010-12-07
US8040401B2 (en) 2011-10-18
US20090086062A1 (en) 2009-04-02
JP3893099B2 (ja) 2007-03-14
EP1555809A4 (en) 2008-12-10
US7598989B2 (en) 2009-10-06
US20060050157A1 (en) 2006-03-09
EP1555809A1 (en) 2005-07-20
CN1703900A (zh) 2005-11-30
CN100405824C (zh) 2008-07-23

Similar Documents

Publication Publication Date Title
WO2004032486A1 (ja) 撮像システムおよび再生システム
EP1187455B1 (en) Image data processing apparatus and electronic camera
US10122947B2 (en) Image pickup apparatus and image processing method
US8072511B2 (en) Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus
US8320703B2 (en) Image processing method and apparatus
WO2007077730A1 (ja) 撮像システム、画像処理プログラム
WO2004064388A1 (ja) 画像処理装置および方法
JPH04284087A (ja) 電子スチルカメラ
WO2009060970A1 (ja) 信号処理装置及び信号処理プログラム
JP4433883B2 (ja) ホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置
US8792017B2 (en) Image processing device, image processing method, and image pickup apparatus
WO2008150017A1 (ja) 信号処理方法および信号処理装置
EP1542453B1 (en) Image pickup system
KR101003681B1 (ko) 화소보간회로, 화소보간방법 및 기록매체
JP2004363853A (ja) 画像信号のノイズ低減方法及びノイズ低減装置
JP5092536B2 (ja) 画像処理装置及びそのプログラム
JP5259616B2 (ja) 画像処理システムおよび画像処理プログラム
JP4074323B2 (ja) 再生システムおよび再生プログラム
JP4702088B2 (ja) 画像信号のノイズ低減方法、ノイズ低減装置及び撮像装置
JP4133179B2 (ja) 画像信号処理装置
JP3855256B2 (ja) 圧縮画像データ生成装置、圧縮画像データ生成方法および圧縮画像データ生成処理プログラムを記録した媒体
JP5586031B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
JP2002152580A (ja) ディジタル・カメラおよびその動作制御方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 20038A08814

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2003753990

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2003753990

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2006050157

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10530085

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10530085

Country of ref document: US