WO2008032610A1 - Système de traitement d'image et programme de traitement d'image - Google Patents

Système de traitement d'image et programme de traitement d'image Download PDF

Info

Publication number
WO2008032610A1
WO2008032610A1 PCT/JP2007/067222 JP2007067222W WO2008032610A1 WO 2008032610 A1 WO2008032610 A1 WO 2008032610A1 JP 2007067222 W JP2007067222 W JP 2007067222W WO 2008032610 A1 WO2008032610 A1 WO 2008032610A1
Authority
WO
WIPO (PCT)
Prior art keywords
frequency component
unit
image processing
gradation
component
Prior art date
Application number
PCT/JP2007/067222
Other languages
English (en)
French (fr)
Inventor
Takao Tsuruoka
Original Assignee
Olympus Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corporation filed Critical Olympus Corporation
Publication of WO2008032610A1 publication Critical patent/WO2008032610A1/ja
Priority to US12/400,028 priority Critical patent/US8194160B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]

Definitions

  • the present invention relates to an image processing system and an image processing program that perform gradation conversion on a video signal.
  • a space invariant method using a single gradation conversion curve for a video signal and a plurality of gradation conversion curves different for each local region are used. There is a space variant method.
  • a video signal is divided into a plurality of regions based on texture information, and a tone conversion process is performed by obtaining a tone conversion curve based on a histogram for each region.
  • a technique for performing weighted interpolation based on the distance between regions is described. This makes it possible to maintain space variant gradation processing and maintain continuity between regions, and to obtain a high-quality video signal that prevents collapse of light and darkness even for images with a wide dynamic range.
  • Japanese Patent Laid-Open No. 8-56316 discloses that a video signal is separated into a high frequency component and a low frequency component, a contrast enhancement process is performed on the low frequency component, and the low frequency component after the contrast enhancement process is applied to a high frequency component. Techniques for synthesizing with ingredients are described. By using such a technique, it is possible to prevent high-frequency component noise from being emphasized and to obtain a high-quality video signal.
  • Japanese Patent Application Laid-Open No. 2004-128985 describes a technique for estimating a noise amount in units of blocks based on a noise model and performing different noise reduction processing in units of blocks. By using such a technique, it is possible to perform space-noisy noise reduction processing and obtain a high-quality video signal with little deterioration of edge components.
  • the present invention has been made in view of the above circumstances, and enables generation of a high-quality video signal while suppressing an increase in noise in space invariant and space variant gradation processing.
  • the purpose is to provide an image processing system and an image processing program.
  • the present invention also provides an image processing system and an image processing program that can perform both gradation processing and noise reduction processing, and that can achieve high performance and low cost as a whole. Let's talk about that!
  • an image processing system is more effective than an image processing system that performs gradation conversion on a video signal, and the video signal is converted into an invalid component caused by noise.
  • Separation means for separating the effective component from the effective component, conversion means for performing gradation conversion on the effective component, and gradation conversion based on the effective component that has been subjected to the gradation conversion and the invalid component.
  • Synthesizing means for synthesizing the received video signal.
  • Embodiment 1 Embodiment 1, Embodiment 2, Embodiment 3, and Embodiment 4 correspond to this invention.
  • the separating means includes the frequency resolving unit 109 shown in FIGS. 1, 2, and 10, and the high frequency separating unit 112 shown in FIGS. 1, 5, and 10, and the frequency resolving unit 804 shown in FIG. 15 and FIG. 15, high frequency separation unit 806 shown in FIG. 20 and frequency decomposition unit 1200 shown in FIG. 26 and high frequency separation unit 1201 shown in FIG. 26, FIG. 28 and high frequency separation unit 1201 shown in FIG. 28, noise reduction unit 1400 shown in FIG.
  • the conversion unit 1401 converts the conversion means into the conversion characteristic calculation unit 111 shown in FIGS. 1, 4, 10, 26, and 31, and the gradation processing unit 113 shown in FIG. 1, FIG. 6, FIG. 10, and FIG. 19, the conversion characteristic calculation unit 805 shown in FIG.
  • a preferred application example of the present invention is as follows: frequency resolving unit 109, high frequency separating unit 112, frequency resolving unit 804, high frequency separating unit 806, frequency resolving unit 1200, high frequency separating unit 1201, noise reducing unit 1400, difference unit 1401 separates the video signal into an invalid component due to noise and other effective components, and conversion characteristic calculation unit 111, gradation processing unit 113, conversion characteristic calculation unit 80 5, gradation processing unit 807, gradation processing unit An image that performs gradation conversion on the effective component by 1402 and combines the effective component and the invalid component that have been converted by the frequency combining unit 115, frequency combining unit 808, frequency combining unit 1203, and signal combining unit 1403. Processing system
  • the video signal is separated into an invalid component caused by noise and other effective components, and after gradation conversion of the effective component, it is combined with the invalid component.
  • an image processing program is an image processing program for causing a computer to perform gradation conversion on a video signal, wherein the computer converts the video signal into an invalid component caused by noise. Separation step for separating into other effective components, conversion step for performing gradation conversion on the effective component, gradation conversion based on the effective component that has been subjected to the gradation conversion and the invalid component Step of synthesizing video signal
  • FIG. 1 is a block diagram showing a configuration of an image processing system in Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing an example of the configuration of a frequency resolving unit in the first embodiment.
  • FIG. 3A is a diagram for explaining wavelet transform in the first embodiment, and shows a video signal in real space.
  • FIG. 3B is a diagram for explaining the wavelet transformation in the first embodiment, and shows the signal after the first wavelet transformation.
  • FIG. 3C is a diagram for explaining wavelet transformation in the first embodiment, and shows a signal after performing the second wavelet transformation.
  • FIG. 4 is a block diagram showing an example of a configuration of a conversion characteristic calculation unit in the first embodiment.
  • FIG. 5 is a block diagram showing an example of a configuration of a high-frequency separation unit in the first embodiment.
  • FIG. 6 is a block diagram showing an example of a configuration of a gradation processing unit in the first embodiment.
  • FIG. 7 is a diagram for explaining the division of low-frequency components into regions in the tone conversion curve composition calculation in the first embodiment.
  • FIG. 8 is a diagram for explaining distances d to d between a pixel of interest and four neighboring regions in the gradation conversion curve composition calculation in the first embodiment.
  • FIG. 9 is a block diagram showing an example of a configuration of a frequency synthesizer in the first embodiment.
  • FIG. 10 is a diagram showing another configuration example of the image processing system in the first embodiment.
  • FIG. 11 is a flowchart showing a main routine of the image processing program in the first embodiment.
  • FIG. 11 is a flowchart showing a main routine of the image processing program in the first embodiment.
  • FIG. 13 is a flowchart showing high-frequency separation processing in step S4 of FIG. 11 in the first embodiment.
  • FIG. 14 is a flowchart showing the gradation processing in step S5 of FIG. 11 in the first embodiment.
  • a block diagram showing the configuration of the image processing system according to the second embodiment of the present invention 16] A diagram showing the configuration of a Bayer-type primary color filter in the second embodiment. 17] A diagram showing a configuration of a color difference line sequential complementary color filter in the second embodiment. 18] A block diagram showing an example of the configuration of the frequency resolving unit in the second embodiment. 19] A block diagram showing an example of the configuration of the conversion characteristic calculation unit in the second embodiment. 20] A block diagram showing an example of the configuration of the high-frequency separator in the second embodiment. 21] A block diagram showing an example of the configuration of the gradation processing unit in the second embodiment.
  • FIG. 22 is a flowchart showing the main routine of the image processing program in the second embodiment.
  • FIG. 23 is a flowchart showing conversion characteristic calculation processing in step S51 of FIG. 22 in the second embodiment.
  • FIG. 24 is a flowchart showing high-frequency separation processing in step S52 of FIG. 22 in the second embodiment.
  • FIG. 25 is a flowchart showing the gradation processing in step S53 of FIG. 22 in the second embodiment.
  • FIG. 26 A block diagram showing a configuration of an image processing system according to the third embodiment of the present invention.
  • FIG. 27A is a diagram for explaining DCT (Discrete Cosine Transform) conversion in the third embodiment, and shows a video signal in real space.
  • DCT Discrete Cosine Transform
  • FIG. 27B is a diagram for explaining DCT (Discrete Cosine Transform) transformation in the third embodiment, and shows a signal in a frequency space after DCT transformation.
  • DCT Discrete Cosine Transform
  • FIG. 29 is a flowchart showing the main routine of the image processing program in the third embodiment.
  • FIG. 30 is a flowchart showing high-frequency separation processing in step S80 of FIG. 29 in the third embodiment.
  • FIG. 31 is a block diagram showing a configuration of an image processing system in Embodiment 4 of the present invention.
  • FIG. 32 is a block diagram showing an example of a configuration of a noise reduction unit in the fourth embodiment.
  • FIG. 33 is a block diagram showing an example of the configuration of a gradation processing unit in the fourth embodiment.
  • FIG. 34 is a flowchart showing the main routine of the image processing program in the fourth embodiment.
  • FIG. 35 is a flowchart showing noise reduction processing in step S100 of FIG. 34 in the fourth embodiment.
  • FIG. 36 is a flowchart showing the gradation processing in step S102 of FIG. 34 in the fourth embodiment.
  • FIG. 1 to 14 show Embodiment 1 of the present invention
  • FIG. 1 is a block diagram showing the configuration of an image processing system.
  • the image processing system shown in FIG. 1 is an example configured as an imaging system including an imaging unit.
  • this image processing system includes a lens system 100, an aperture 101, a CCD 102, an amplification unit 103, and an A / D conversion unit (in the drawing, simply described as “A / D”).
  • a frequency synthesizing unit 115 as a certain frequency synthesizing means, a signal processing unit 116, an output unit 117, a control unit 118 which is a control means and serves as a noise estimating means and a collecting means, and an external I / F section 119 and temperature sensor 120 are provided.
  • An analog video signal photographed and output via the lens system 100, the aperture 101, and the CCD 102 is amplified by the amplification unit 103 and converted into a digital signal by the A / D conversion unit 104.
  • the video signal from the A / D conversion unit 104 is transferred to the frequency resolution unit 109 via the buffer 105.
  • the buffer 105 is also connected to the photometric evaluation unit 106 and the in-focus detection unit 107.
  • the photometric evaluation unit 106 is connected to the aperture 101, the CCD 102, and the amplification unit 103.
  • the in-focus detection unit 107 is connected to the AF motor 108.
  • a signal from the frequency resolution unit 109 is connected to the buffer 110.
  • the buffer 110 is connected to the conversion characteristic calculation unit 111, the high frequency separation unit 112, and the gradation processing unit 113.
  • the conversion characteristic calculation unit 111 is connected to the gradation processing unit 113.
  • the high frequency separator 112 is connected to the gradation processing unit 113.
  • the gradation processing unit 113 and the buffer 114 are connected.
  • the gradation processing unit 113 is a buffer 1
  • the notch 114 is connected to the output unit 117 such as a memory card via the frequency synthesis unit 115 and the signal processing unit 116.
  • the control unit 118 includes, for example, a microcomputer, and includes an amplification unit 103, an A / D conversion unit 104, a photometric evaluation unit 106, a focus detection unit 107, a frequency resolution unit 109, and a conversion characteristic calculation unit 111. , High-frequency separation unit 112, gradation processing unit 113, frequency synthesis unit 115, signal processing unit 116, and output unit 117 are bidirectionally connected to control them.
  • Reference numeral 19 denotes an interface including a power switch, a shirt button, a mode button for switching various modes at the time of shooting, and the like.
  • a signal from the temperature sensor 120 is also connected to the control unit 118.
  • the temperature sensor 120 is disposed in the vicinity of the CCD 102 and is used to substantially measure the temperature of the CCD 102.
  • the user Before shooting, the user can set shooting conditions such as ISO sensitivity via the external I / F unit 119.
  • the lens system 100 forms an optical image of the subject on the imaging surface of the CCD 102.
  • the diaphragm 101 changes the brightness of the optical image formed on the imaging surface of the CCD 102 by defining the passing range of the subject light beam formed by the lens system 100.
  • the CCD 102 photoelectrically converts the optical image to be formed and outputs it as an analog video signal.
  • the CCD 102 is assumed to be a monochrome single-plate CCD.
  • the image sensor is not limited to a CCD, and it is possible to use a CMOS or other image sensor.
  • the analog signal output from the CCD 102 in this manner is amplified by a predetermined amount in consideration of the ISO sensitivity by the amplifying unit 103, and then converted into a digital signal by the A / D converting unit 104, and is sent to the buffer 105. Transferred.
  • the gradation width of the digitized video signal is, for example, 12 bits.
  • the video signal stored in the buffer 105 is a photometric evaluation unit 106 and a focus detection unit 1
  • the photometric evaluation unit 106 considers the set ISO sensitivity, shutter speed at the limit of camera shake, etc. based on the video signal, and the aperture value of the aperture 101, the electronic shutter speed of the CCD 102, and the amplification unit 103. The gain is controlled so as to achieve proper exposure.
  • the focus detection unit 107 detects the edge intensity based on the video signal, and controls the AF motor 108 so that the edge intensity is maximized to obtain a focus signal.
  • this image processing system enters the actual shooting mode.
  • the video signal is transferred to the buffer 105 in the same manner as the pre-photographing.
  • the exposure condition obtained by the photometric evaluation unit 106 and the focus detection unit 107 are obtained. Based on the determined focusing conditions, these shooting conditions are transferred to the control unit 118.
  • the video signal in the buffer 105 obtained by the actual photographing is transferred to the frequency resolution unit 109.
  • the frequency decomposition unit 109 Based on the control of the control unit 118, the frequency decomposition unit 109 performs predetermined frequency decomposition on the transferred video signal to obtain a high frequency component and a low frequency component. Then, the frequency analysis unit 109 sequentially transfers the obtained high frequency component and low frequency component to the buffer 110. In the present embodiment, it is assumed that two wavelet transforms are used as frequency decomposition.
  • the conversion characteristic calculation unit 111 reads a low-frequency component from the buffer 110, and calculates gradation characteristics used for gradation conversion processing. In the present embodiment, a space variant process using a plurality of gradation characteristics that differ for each local region is assumed as the gradation conversion process. Then, the conversion characteristic calculation unit 111 transfers the calculated gradation characteristic to the gradation processing unit 113.
  • the high frequency separation unit 112 Based on the control of the control unit 118, the high frequency separation unit 112 reads a high frequency component from the buffer 110, and separates the high frequency component into an ineffective component caused by noise and another effective component. Then, the high frequency separation unit 112 transfers the separated effective component to the gradation processing unit 113 and the invalid component to the buffer 114.
  • the gradation processing unit 113 Based on the control of the control unit 118, the gradation processing unit 113 receives the low frequency component from the buffer 110, the effective component in the high frequency component from the high frequency separation unit 112, and the gradation characteristic from the conversion characteristic calculation unit 111. , Read each. Then, the gradation processing unit 113 performs gradation processing on the low frequency component and the effective component in the high frequency component based on the gradation characteristics. The gradation processing unit 113 transfers the low frequency component subjected to the gradation processing and the effective component in the high frequency component subjected to the gradation processing to the buffer 114.
  • the frequency synthesizer 115 Based on the control of the control unit 118, the frequency synthesizer 115 receives, from the buffer 114, the low-frequency component subjected to gradation processing, the effective component in the high-frequency component subjected to gradation processing, and the high-frequency component. And the video signal that has been subjected to gradation conversion based on these are synthesized. In this embodiment, inverse wavelet (Wavel) is used for frequency synthesis. et) is assumed to use transformations. Then, the frequency synthesis unit 115 transfers the synthesized video signal to the signal processing unit 116.
  • inverse wavelet Wivel
  • et inverse wavelet
  • the signal processing unit 116 Based on the control of the control unit 118, the signal processing unit 116 performs a known compression process on the video signal from the frequency synthesis unit 115 and transfers the processed signal to the output unit 117.
  • the output unit 117 records and stores the video signal output from the signal processing unit 116 in a recording medium such as a memory card.
  • FIG. 2 is a block diagram showing an example of the configuration of the frequency resolution unit 109.
  • the frequency resolution unit 109 includes a data reading unit 200, a notifier 201, a horizontal high-pass filter (in the figure, only “horizontal, i-pass”, the same applies hereinafter) 202, and a horizontal low-pass filter.
  • Pass filter in the figure, simply described as “horizontal low-pass”; the same applies hereinafter
  • sub-sampler 204 sub-sampler 205
  • vertical high-pass filter in the figure, described simply as “vertical high-pass”
  • vertical low-pass filter in the figure, only “vertical low-pass” is described.
  • 207 a vertical high-pass filter 208, a vertical low-pass filter 209, a subsampler 210, and a subsampler.
  • 211 subsampler 212, subsampler 213, switching unit 214, data transfer control unit 215, basis function ROM 216, and filter coefficient reading unit 217. It has been.
  • the buffer 105 is connected to the buffer 201 via the data reading unit 200.
  • the notaper 201 is connected to the horizontal high-pass filter 202 and the horizontal low-pass filter 203.
  • the horizontal high-pass filter 202 is connected to the vertical high-pass filter 206 and the vertical low-pass filter 207 via the subsampler 204.
  • the horizontal low-pass filter 203 is connected to a vertical high-pass filter 208 and a vertical low-pass filter 209 via a sub-sammbler 205.
  • the vertical high-pass filter 206 is connected to the sub-sampler 210, the vertical low-pass filter 207 is connected to the sub-sampler 211, the vertical high-pass filter 208 is connected to the sub-sampler 212, and the vertical low-pass filter 209 is connected to the sub-sampler 213.
  • the subsampler 210, the subsampler 211, and the subsampler 212 are connected to the switching unit 214.
  • the subsampler 213 is connected to the switching unit 214 and the data transfer control unit 215.
  • the switching unit 214 is connected to the buffer 110.
  • the data transfer control unit 215 is connected to the buffer 201.
  • the basis function ROM 216 is connected to the filter coefficient reading unit 217.
  • Filter coefficient reading unit 217 is connected to horizontal high-pass filter 202, horizontal low-pass filter 203, vertical high-pass filter 206, vertical low-pass filter 207, vertical high-pass filter 208, and vertical low-pass filter 209, respectively.
  • the control unit 118 is bi-directionally connected to the data reading unit 200, the switching unit 214, the data transfer control unit 215, and the filter coefficient reading unit 217, so as to control them.
  • filter coefficients used for wavelet transform such as Harr function and Daubechies function are recorded.
  • Harr function the high-pass filter coefficient in the Harr function
  • the low-pass filter coefficient is shown in Equation 2.
  • High-pass filter coefficient ⁇ 0 ⁇ 5,-0. 5 ⁇
  • the filter coefficient reading unit 217 reads the filter coefficient from the basis function ROM 216 based on the control of the control unit 118, and supplies the high-pass filter coefficient to the horizontal high-pass filter 202, the vertical high-pass filter 206, and the vertical high-pass filter 208.
  • the low-pass filter coefficients are transferred to the filter 203, the vertical low-pass filter 207, and the vertical low-pass filter 209, respectively.
  • the data reading unit 200 reads the video signal from the buffer 105 and transfers it to the buffer 201 under the control of the control unit 118. .
  • the video signal read from the buffer 105 and stored in the buffer 201 is set to L.
  • the video signal on the buffer 201 includes a horizontal high-pass filter 202 and a horizontal low-pass filter 20. 3.
  • the horizontal high-pass filter 206, the vertical low-pass filter 207, the vertical high-pass filter 208, and the vertical low-pass filter 209 perform horizontal and vertical filtering processing.
  • the subsampler 204 and the subsampler 205 subsample the input video signal by 1/2 in the horizontal direction
  • the subsampler 210, the subsampler 211, the subsampler 212, and the sampler 213 receive the input video signal by 1 in the vertical direction. Subsample to / 2.
  • the output of the subsampler 210 is the high-frequency component Hsl in the diagonal direction in the first conversion
  • the output of the subsampler 211 is the primary high-frequency component Hhl in the horizontal direction in the first conversion
  • the output of the subsampler 212 is 1 First-order high-frequency lj in the vertical direction in the second conversion
  • the component Hvl and the output of the sub sam- ber 213 give the first-order low frequency component L1 in the first conversion.
  • the subscripts i and j mean the coordinates in the X and y directions in the converted primary signal, respectively.
  • FIGS. 3A to 3C are diagrams for explaining the wavelet transform.
  • FIG. 3A is a video signal in real space
  • FIG. 3B is a signal after the first wavelet transform
  • Figure 3C shows the signal after the second wavelet transform.
  • the wave components Hsl, Hhl, and Hvl are all one pixel.
  • switching unit 214 Based on the control of control unit 118, switching unit 214 performs the above three primary high frequency components Hsl, Hh.
  • Hvl and primary low frequency component L1 are sequentially transferred to the buffer 110.
  • the data transfer control unit 215 transfers the primary low-frequency component L1 from the subsampler 213 to the buffer 201 based on the control of the control unit 118.
  • a filtering process similar to that described above is applied to the primary low-frequency component L1 on the noffer 201.
  • FIG. 3C shows a signal in such a second conversion.
  • the second low frequency component L2 of one pixel is
  • the high frequency components are Hsl, Hsl, Hsl, Hsl, Hsl, and the horizontal primary high frequency component is Hhl,
  • Hhl, Hhl, Hhl, vertical primary high frequency components are Hvl, Hvl, Hvl, Hvl, Hvl
  • 10 01 11 00 10 01 1 is all 4 pixels. The process described above is performed based on the control of the control unit 118.
  • FIG. 4 is a block diagram showing an example of the configuration of the conversion characteristic calculation unit 111.
  • This conversion characteristic calculation unit 111 includes a dividing unit 300 that is a dividing unit, a buffer 301, an appropriate region extracting unit 302 that is an appropriate region extracting unit, and an edge calculating unit that is a region of interest setting unit and is an edge calculating unit. 303, a histogram creation unit 304 as a histogram creation unit, a tone conversion curve calculation unit 305 as a tone conversion curve calculation unit, and a buffer 306.
  • the nother 110 is connected to the buffer 301 via the dividing unit 300.
  • the noffer 301 is connected to the appropriate range extraction unit 302 and the histogram creation unit 304.
  • the appropriate area extraction unit 302 is connected to the histogram creation unit 304 via the edge calculation unit 303.
  • the histogram creation unit 304 is connected to the gradation processing unit 113 via the gradation conversion curve calculation unit 305 and the buffer 306.
  • the control unit 118 is bi-directionally connected to the dividing unit 300, the appropriate area extracting unit 302, the edge calculating unit 303, the histogram generating unit 304, and the gradation conversion curve calculating unit 305 so as to control them. It has become.
  • the dividing unit 300 Based on the control of the control unit 118, the dividing unit 300 receives a low frequency signal from the buffer 110.
  • the components are read and divided into regions of a predetermined size as shown in FIG. 7, for example, 32 ⁇ 32 pixel size regions so that the regions do not overlap each other.
  • FIG. 7 is a diagram for explaining the division of the low-frequency component into regions in the synthesis operation of the gradation conversion curve. Then, the dividing unit 300 sequentially transfers the divided areas to the buffer 301.
  • the appropriate range extraction unit 302 reads a low-frequency component from the buffer 301 in units of regions, and sets a predetermined threshold value related to a dark portion (for example, 128 in the case of 12-bit gradation as an example). ) And a predetermined threshold value for bright areas (for example, 3968 in the case of this 12-bit gradation), a low frequency component that is equal to or higher than the buttocks threshold and equal to or lower than the bright threshold is determined as the appropriate exposure area. Transfer to the edge calculation unit 303.
  • the edge calculation unit 303 Based on the control of the control unit 118, the edge calculation unit 303 reads the low frequency component of the appropriate exposure region from the appropriate region extraction unit 302, and calculates a known edge intensity using a Laplacian filter or the like. The edge calculation unit 303 transfers the calculated edge strength to the histogram creation unit 304.
  • the histogram creation unit 304 is a pixel having an edge strength equal to or greater than a predetermined threshold (for example, 64 in the case of the 12-bit gradation described above) with respect to the edge strength from the edge calculation unit 303. And the low frequency component at the corresponding pixel position is read from the buffer 301. Then, the histogram creation unit 304 creates a histogram for the read low frequency component, and transfers the created histogram to the gradation conversion curve calculation unit 305.
  • a predetermined threshold for example, 64 in the case of the 12-bit gradation described above
  • the gradation conversion curve calculation unit 305 Based on the control of the control unit 118, the gradation conversion curve calculation unit 305 accumulates and further normalizes the histogram creation unit 304 and calculates the gradation conversion curve. This normalization is performed according to the gradation of the video signal, and in the case of the 12-bit gradation described above, it is normalized to be in the range of 0 to 4095.
  • the tone conversion curve calculation unit 305 transfers the calculated tone conversion curve to the nother 306.
  • FIG. 5 is a block diagram showing an example of the configuration of the high frequency separator 112.
  • the high-frequency separation unit 112 includes a low-frequency component extraction unit 400, a gain calculation unit 401 that is a noise estimation unit and collection unit, a standard value addition unit 402 that is a noise estimation unit and provision unit, and a noise estimation unit Parameter ROM 403 as a means and recording means, parameter selection section 404 as a noise estimation means and parameter selection means, interpolation section 405 as a noise estimation means and interpolation means, high-frequency component extraction section 406, setting means And an average calculating unit 407 that is an average calculating unit, an upper limit / lower limit setting unit 408 that is a setting unit and is an upper limit / lower limit setting unit, and a determination unit 409 that is a determination unit.
  • the buffer 110 is connected to the low frequency component extraction unit 400 and the high frequency component extraction unit 406.
  • the low frequency component extraction unit 400 is connected to the parameter selection unit 404.
  • the gain calculation unit 401, standard value assigning unit 402, and parameter ROM 403 are connected to the parameter selection unit 404.
  • the parameter selection unit 404 is connected to the upper / lower limit setting unit 408 via the interpolation unit 405.
  • the high frequency component extraction unit 406 is connected to the average calculation unit 407 and the determination unit 409.
  • the average calculation unit 407 is connected to the determination unit 409 via the upper limit / lower limit setting unit 408.
  • Determination unit 409 is connected to gradation processing unit 113 and buffer 114.
  • the control unit 118 includes a low frequency component extraction unit 400, a gain calculation unit 401, a standard value assigning unit 402, a parameter selection unit 404, an interpolation unit 405, a high frequency component extraction unit 406, an average calculation unit 407, and an upper and lower limit setting.
  • the unit 408 and the determination unit 409 are bidirectionally connected to control them.
  • the low frequency component extraction unit 400 sequentially extracts low frequency components from the buffer 110 in units of pixels based on the control of the control unit 118. In the present embodiment, it is assumed that wavelet conversion is performed twice. In this case, the low-frequency component extracted by the low-frequency component extraction unit 400 from the nother 110 is the second-order low-frequency component L2 as shown in FIG. 3C.
  • Gain calculation section 401 obtains gain information in amplification section 103 based on the ISO sensitivity and exposure condition information transferred from control section 118, and transfers the obtained gain information to parameter selection section 404. To do.
  • the control unit 118 acquires the temperature information of the CCD 102 from the temperature sensor 120, and transfers the acquired temperature information to the parameter selection unit 404.
  • standard value giving unit 402 transfers a standard value related to information that cannot be obtained to parameter selection unit 404 when at least one of the gain information and temperature information is not obtained. .
  • the parameter selection unit 404 includes the pixel value of the pixel of interest from the low frequency component extraction unit 400, the gain information from the gain calculation unit 401 or the standard value provision unit 402, and the control unit 118 or the standard value provision unit 402.
  • the parameter ROM 403 is searched for the parameter of the reference noise model used for estimating the noise amount based on the temperature information from the parameter ROM. Then, the parameter selection unit 404 transfers the searched parameters to the interpolation unit 405.
  • the parameter selection unit 404 also transfers the low frequency component video signal from the low frequency component extraction unit 400 to the interpolation unit 405.
  • Interpolation section 405 calculates noise amount N related to the low frequency component based on the parameters of the reference noise model, and transfers the calculated noise amount N to upper / lower limit setting section 408.
  • the high frequency component extraction unit 406 includes a high frequency component corresponding to the low frequency component extracted by the low frequency component extraction unit 400, and a high frequency component located in the vicinity of the high frequency component. , Extract.
  • a secondary low-frequency component L2 as shown in Fig. 3C was extracted as the low-frequency component.
  • the high frequency component corresponding to the secondary low frequency component L2 is the secondary high frequency component.
  • Hs2, Hh2, and Hv2 in total, and the primary high-frequency components Hsl, Hsl, Hsl,
  • Hsl, Hhl, Hhl, Hhl, Hhl, Hvl, Hvl, Hvl, Hvl, Hvl, Hvl, Hvl, Hvl total 12 pixels
  • the high-frequency component positioned in the vicinity of the high-frequency component for example, a 2 X 2 pixel region including the corresponding high-frequency component is selected.
  • the high frequency component extraction unit 406 includes a high frequency component corresponding to the low frequency component and the high frequency component.
  • the high-frequency component located in the vicinity of the minute is sequentially transferred to the average calculation unit 407, and the high-frequency component corresponding to the low-frequency component is sequentially transferred to the determination unit 409.
  • the average calculation unit 407 calculates the average value AV from the high-frequency component corresponding to the low-frequency component and the high-frequency component located in the vicinity of the high-frequency component.
  • the average value AV is transferred to the upper / lower limit setting unit 408.
  • the upper and lower limit setting unit 408 identifies an effective component and an ineffective component using the average value AV from the average calculation unit 407 and the noise amount N from the interpolation unit 405.
  • the upper limit App—Up and the lower limit App—Low are set as shown in Equation 3 below. 3
  • the upper limit / lower limit setting unit 408 transfers the upper limit App-Up and the lower limit App-Low set in this way to the determination unit 409.
  • the determination unit 409 reads the high-frequency component corresponding to the low-frequency component from the high-frequency component extraction unit 406, and the upper limit App-Up shown in Equation 3 from the upper and lower limit setting unit 408. And lower limit App—Read Low.
  • the high frequency component is within the range between the upper limit App—Up and the lower limit App—Low (for example, within the range between the lower limit App—Low and the upper limit App—Up)
  • the high frequency component is determined to be an invalid component caused by noise, and the high frequency component is transferred to the buffer 114.
  • the judgment part 409 the high frequency component exceeds the upper limit App—Up (larger than the upper limit App—Up!
  • the high frequency component is an effective component, and the high frequency component is transferred to the gradation processing unit 113.
  • FIG. 6 is a block diagram showing an example of the configuration of the gradation processing unit 113.
  • the gradation processing unit 113 includes a low frequency component extraction unit 500 serving as a first extraction unit, a distance calculation unit 501 serving as a distance calculation unit, and a gradation conversion equation setting unit 502 serving as a gradation conversion equation setting unit.
  • the buffer 503 includes a high-frequency component extraction unit 504 serving as second extraction means, and a gradation conversion unit 505 serving as gradation conversion means.
  • the conversion characteristic calculation unit 111 is connected to the gradation conversion formula setting unit 502.
  • the nother 110 is connected to the low-frequency component extraction unit 500.
  • the low frequency component extraction unit 500 is connected to the distance calculation unit 501 and the gradation conversion unit 505.
  • the distance calculation unit 501 is connected to the gradation conversion unit 505 via the gradation conversion formula setting unit 502 and the buffer 503.
  • the high frequency separation unit 112 is connected to the gradation conversion unit 505 via the high frequency component extraction unit 504.
  • the gradation conversion unit 505 is connected to the buffer 114.
  • the control unit 118 is bidirectionally connected to the low frequency component extraction unit 500, the distance calculation unit 501, the gradation conversion equation setting unit 502, the high frequency component extraction unit 504, and the gradation conversion unit 505. It is designed to control.
  • the low frequency component extraction unit 500 sequentially extracts low frequency components from the buffer 110 in units of pixels based on the control of the control unit 118. In the present embodiment, as described above, it is assumed that wavelet conversion is performed twice. In this case, the target pixel of the low frequency component extracted from the buffer 110 by the low frequency component extraction unit 500 is the secondary low frequency component L2 as shown in FIG. 3C.
  • Low frequency component extraction section 500 transfers the extracted low frequency components to distance calculation section 501 and gradation conversion section 505, respectively.
  • the distance calculation unit 501 calculates the distance between the four regions located in the vicinity of the target pixel with respect to the target pixel extracted by the low-frequency component extraction unit 500.
  • Figure 8 shows the distance d between the pixel of interest and the four neighboring regions in the tone conversion curve composition calculation.
  • the distance calculation unit 501 transfers the calculated distance d to the gradation conversion formula setting unit 502.
  • the gradation conversion formula setting unit 502 reads the distance d from the distance calculation unit 501, and the corresponding gradation conversion music m of the four neighboring regions from the conversion characteristic calculation unit 111.
  • Equation 4 means the pixel to be subjected to the gradation conversion process
  • P ′ means the pixel after the gradation conversion process
  • the tone conversion formula setting unit 502 transfers the tone conversion formula set as shown in Formula 4 to the buffer 503.
  • the high frequency component extraction unit 504 extracts, from the high frequency separation unit 112, a high frequency component corresponding to the low frequency component extracted by the low frequency component extraction unit 500 based on the control of the control unit 118.
  • the extracted high frequency components are the secondary high frequency components Hs2, Hh2.
  • the high frequency component extraction unit 504 transfers the extracted high frequency component to the gradation conversion unit 505.
  • the gradation conversion unit 505 reads the high-frequency component and also reads the gradation conversion equation shown in Equation 4 from the nother 503. Then, tone conversion is performed on the high frequency component based on the read tone conversion formula. The tone conversion unit 505 transfers the high frequency component after tone conversion to the buffer 114. On the other hand, the gradation conversion unit 505 determines that the corresponding high frequency component is an invalid component and extracts it. If there is no high frequency component to be transmitted, gradation conversion for the high frequency component is stopped based on the control of the control unit 118.
  • the gradation conversion unit 505 reads the low-frequency component from the low-frequency component extraction unit 500 and the gradation conversion formula shown in Equation 4 from the nother 503, respectively, and converts the gradation conversion for the low-frequency component. I do.
  • the tone conversion unit 505 transfers the low-frequency component after tone conversion to the buffer 114.
  • FIG. 9 is a block diagram showing an example of the configuration of the frequency synthesizer 115.
  • the frequency synthesizer 115 includes a data reading unit 600, a switching unit 601, an upsampler 602, an upsampler 603, an upsampler 604, an upsampler 605, a vertical high pass filter 606, and a vertical low pass.
  • the unit 615 includes a basis function ROM 616 and a filter coefficient reading unit 617.
  • the buffer 114 is connected to the switching unit 601 via the data reading unit 600.
  • Switching unit 601 is connected to upsampler 602, upsampler 603, upsampler 604, and upsampler 605, respectively.
  • Up-sampler 602 is connected to vertical high-pass filter 606, up-sampler 603 is connected to vertical low-pass filter 607, up-sampler 604 is connected to vertical high-pass filter 608, and up-sampler 605 is connected to vertical low-pass filter 609.
  • the vertical high-pass filter 606 and the vertical low-pass filter 607 are connected to the upsampler 610, and the vertical high-pass filter 608 and the vertical low-pass filter 609 are connected to the upsampler 611.
  • Upsampler 610 is connected to horizontal high pass filter 612
  • upsampler 611 is connected to horizontal low pass filter 613.
  • the horizontal high pass filter 612 and the horizontal low pass filter 613 are connected to the buffer 614.
  • the noffer 614 is connected to the signal processing unit 116 and the data transfer control unit 615.
  • Data transfer control unit 615 is connected to switching unit 601.
  • Basis function ROM 616 is connected to filter coefficient reading unit 617.
  • Filter coefficient reading unit 617 includes vertical high-pass filter 606, vertical low-pass filter 607, vertical high-pass filter Connected to filter 608, vertical low-pass filter 609, horizontal high-pass filter 612, and horizontal low-pass filter 613!
  • the control unit 118 is bi-directionally connected to the data reading unit 600, the switching unit 601, the data transfer control unit 615, and the filter coefficient reading unit 617!
  • the filter coefficient reading unit 617 reads the filter coefficient from the basis function ROM 616 based on the control of the control unit 118, and supplies the high-pass filter coefficient to the vertical high-pass filter 606, the vertical high-pass filter 608, and the horizontal high-pass filter 612, and the vertical low-pass filter.
  • the low-pass filter coefficients are transferred to filter 607, vertical low-pass filter 609, and horizontal low-pass filter 613, respectively.
  • the data reading unit 600 After the filter coefficient has been transferred, the data reading unit 600, based on the control of the control unit 118, the low-frequency component subjected to the gradation processing from the buffer 114 and the n-stage high frequency subjected to the gradation processing.
  • the active component in the component and the invalid component in the n-stage high frequency component are read and transferred to the switching unit 601.
  • the effective component in the n-stage high-frequency component and the ineffective component in the n-stage high-frequency component subjected to gradation processing are the integrated n-stage high-frequency components when read by the data reading unit 600. Become an ingredient.
  • switching unit 601 Based on the control of control unit 118, switching unit 601 converts the high-frequency component in the oblique direction to vertical high-pass filter 606 via upsampler 602 and the high-frequency component in the horizontal direction to vertical low-pass via upsampler 603.
  • the vertical high-frequency component is transferred to the filter 607 via the upsampler 604 to the vertical high-pass filter 608, and the low-frequency component is transferred via the upsampler 605 to the vertical low-pass filter 609 to execute vertical filtering processing. .
  • the frequency components from the vertical high-pass filter 606 and the vertical low-pass filter 607 go to the horizontal high-pass filter 612 through the up sampler 610, and the frequency components from the vertical high-pass filter 608 and the vertical low-pass filter 609 go through the up sampler 611.
  • the image is transferred to the horizontal low-pass filter 613 and subjected to horizontal filtering.
  • the frequency components from the horizontal high-pass filter 612 and the horizontal low-pass filter 613 are transferred to the buffer 614 and combined into one to generate (n-1) -stage low frequency components.
  • Upsampler 602, Upsampler 603, Upsampler 604, Upsampler 605 upsamples the input frequency component in the vertical direction
  • Data transfer control unit 615 transfers the low frequency component to switching unit 601 based on the control of control unit 118.
  • the data reading unit 600 reads (n ⁇ 1) stages of three types of oblique, horizontal, and vertical high-frequency components from the buffer 114 and transfers them to the switching unit 601. Then, the frequency components of the number of decomposition stages (n ⁇ 1) are subjected to the same filtering process as described above, whereby n ⁇ 2 low frequency components are output to the buffer 614.
  • the imaging unit may be a separate body. That is, the image processing system shown in FIG. 10 reads out from the recording medium a video signal captured by a separate imaging unit and recorded on a recording medium such as a memory card in an unprocessed raw data format. It is to be processed.
  • FIG. 10 is a diagram showing another configuration example of the image processing system.
  • the image processing system shown in FIG. 10 is different from the image processing system shown in FIG. 1 in that the lens system 100, the aperture 101, the CCD 102, the amplification unit 103, the A / D conversion unit 104, the photometric evaluation unit 106, and the focal point.
  • the detection unit 107, the AF motor 108, and the temperature sensor 120 are omitted, and an input unit 700 and a header information analysis unit 701 are added. Since the other basic configuration of the image processing system shown in FIG. 10 is the same as that shown in FIG. 1, the same name is assigned to the same configuration, and the description is omitted as appropriate. Only the differences will be explained.
  • Input unit 700 is connected to buffer 105 and header information analysis unit 701.
  • the control unit 118 is bidirectionally connected to the input unit 700 and the header information analysis unit 701, and controls them.
  • the video signal and header information stored in a recording medium such as a memory card are input to the input unit 70.
  • the video signal is transferred to the buffer 105, and the header information is transferred to the header information analysis unit 701.
  • the header information analysis unit 701 Based on the header information transferred from the input unit 700, the header information analysis unit 701 extracts information at the time of shooting (that is, the exposure conditions, the temperature of the image sensor, etc.) and controls the control unit 118. Forward to.
  • force based on hardware processing is not limited to such a configuration.
  • the video signal from the CCD 102 is recorded as raw raw data on a recording medium such as a memory card, and accompanying information such as imaging conditions (for example, an image sensor at the time of shooting from the control unit 118) Temperature and exposure conditions) are recorded on the recording medium as header information.
  • the image processing program which is separate software, is executed by the computer, and the information on the recording medium is read by the computer. It is also possible to process.
  • the transmission of various types of information from the imaging unit to the computer is not limited to being performed via a recording medium, but may be performed via a communication line or the like.
  • FIG. 11 is a flowchart showing the main routine of the image processing program.
  • step S2 frequency decomposition such as wavelet transform is performed to obtain a high-frequency component and a low-frequency component.
  • step S3 conversion characteristics are calculated.
  • the high frequency component is separated into an ineffective component caused by noise and another effective component (step S 4).
  • step S 5 gradation processing is performed on the low frequency component and the effective component in the high frequency component.
  • step S 7 signal processing such as known compression processing is performed.
  • step S8 the processed video signal is output (step S8), and this process ends.
  • FIG. 12 is a flowchart showing the conversion characteristic calculation processing in step S3.
  • step S10 When this process is started, as shown in FIG. 7, the low-frequency components are divided into regions of a predetermined size and sequentially extracted (step S10).
  • the low frequency component is compared with a predetermined threshold value for the dark portion and a predetermined threshold value for the bright portion, respectively, and a low frequency component that is equal to or higher than the dark portion threshold value and lower than the bright portion threshold value is determined. Extract as a proper exposure area (step S11).
  • a known edge intensity is calculated by using a Laplacian filter for the low-frequency component in the appropriate exposure area (step S12).
  • a pixel having an edge strength equal to or greater than a predetermined threshold is selected and a histogram is created (step S13).
  • the gradation conversion curve is calculated by accumulating the histogram and further normalizing it (step S14).
  • step S16 it is determined whether or not the processing has been completed for all regions. If it is determined that the processing has not been completed, the processing returns to step S10 and repeats the processing described above. On the other hand, if it is determined that the process has been completed, the process returns to the process shown in FIG.
  • FIG. 13 is a flowchart showing the high-frequency separation process in step S4.
  • step S20 low-frequency components are sequentially extracted in units of pixels.
  • step S21 information such as the temperature and gain of the image sensor is set from the read header information.
  • a predetermined standard value is assigned to the information (step S21).
  • step S23 the amount of noise related to the low frequency component is calculated by interpolation.
  • a high-frequency component corresponding to the low-frequency component and a high-frequency component located in the vicinity of the high-frequency component are sequentially extracted (step S24).
  • an average value is also calculated for the high-frequency component corresponding to the low-frequency component, the high-frequency component located in the vicinity of the high-frequency component, and the force (step S25).
  • step S26 based on the average value and the noise amount, the upper limit and the lower limit are set as shown in Equation 3 (step S26).
  • the high frequency component is within the range between the upper limit and the lower limit, it is determined to be an ineffective component due to noise. If the force exceeds the upper limit or falls below the lower limit, it is an active component. (Step S27).
  • step S28 the effective component and the ineffective component are separated and output (step S28).
  • step S29 it is determined whether or not processing of all high-frequency components has been completed. If it is determined that the processing has been completed! /, NA! /, The processing returns to step S24 as described above. Repeat the process Return and do.
  • step S30 it is determined whether or not all the low-frequency components have been processed. If it is determined that the process is not completed, the process returns to step S20 to repeat the above-described process. On the other hand, if it is determined that the process is completed, the process returns to the process shown in FIG.
  • FIG. 14 is a flowchart showing the gradation processing in step S5.
  • step S40 low frequency components are sequentially extracted in units of pixels.
  • step S41 the distance between the target pixel of the low frequency component and the center of the four neighboring areas is calculated.
  • Equation 4 a gradation conversion equation for the target pixel is set (step 1)
  • step S44 high-frequency components that are effective components corresponding to the low-frequency components are sequentially extracted.
  • step S45 it is determined whether or not there is a high-frequency component that is an effective component.
  • gradation conversion is performed by applying the gradation conversion formula shown in Equation 4 to the high-frequency component that is an effective component. (Step S46).
  • step S47 If it is determined that there is a force at which the process of step S46 is completed, or a high-frequency component that is an effective component is present in step S45,! / ,! On the other hand, gradation conversion is performed by applying the gradation conversion expression shown in Equation 4 (step S47).
  • step S48 the low frequency component that has been subjected to the gradation process and the effective component in the high frequency component that has been subjected to the gradation process are output (step S48).
  • step S49 it is determined whether or not all the low frequency components have been processed. If it is determined that the processing has not been completed, the process returns to step S40 to repeat the above-described processing. On the other hand, if it is determined that the process has been completed, the process returns to the process shown in FIG.
  • the force S adopting the configuration using the wavelet transform for frequency decomposition and frequency synthesis as described above is not necessarily limited to such a configuration.
  • a known transform for frequency decomposition or frequency synthesis such as Fourier transform or DCT (Discrete Cosine Transform) transform.
  • the number of wavelet transforms is two, but it is not necessary to be limited to such a configuration.
  • Embodiment 1 According to Embodiment 1 described above, only high-frequency components that are visually noticeable by noise are separated into invalid components and effective components, and gradation processing is performed on the effective components! Since the ineffective component is not subjected to gradation processing, an increase in noise associated with gradation processing is suppressed, so that a high-quality video signal can be generated.
  • the low-frequency component is excluded from the target to be processed separately into the active component and the ineffective component, the occurrence of side effects associated with the processing is reduced, and the stability can be improved.
  • the video signal is combined with the invalid component, it is possible to obtain a video signal that is visually uncomfortable, and to improve the stability and reliability of the processing.
  • tone conversion curve is obtained from the low-frequency component of the video signal and applied independently for each region, it is possible to perform highly accurate tone conversion on various video signals.
  • tone conversion formula used for tone conversion of the pixel of interest is set by synthesizing the tone conversion curves obtained independently for each region, discontinuity occurs between the regions. Therefore, a high-quality video signal can be obtained.
  • FIG. 15 to 25 show Embodiment 2 of the present invention
  • FIG. 15 is a block diagram showing the configuration of the image processing system.
  • the image processing system of the present embodiment is similar to the above-described image processing system shown in FIG. 1 of Embodiment 1, except that a pre-white balance unit 801, a Y / C separation unit 802, which is a Y / C separation unit, and a buffer 803.
  • Y / C synthesis unit 809 as Y / C synthesis means is added, CCD102, frequency resolution unit 109, conversion characteristic calculation unit 111, high frequency separation unit 112, gradation processing unit 113, frequency synthesis unit 1 15 are color CCD800, Frequency separation unit 804 as separation means and frequency decomposition means, conversion characteristic calculation unit 805 as conversion means and conversion characteristic calculation means, high frequency separation section 806 as separation means and high frequency separation means, conversion means and gradation processing means
  • the gradation processing unit 807 is a synthesizing unit and is replaced with a frequency synthesizing unit 808 which is a frequency synthesizing unit. Since the other basic configuration is the same as that of the first embodiment, the same configuration is denoted by the same name and reference numeral, description thereof is omitted as appropriate, and only different portions will be mainly described.
  • the buffer 105 includes a photometric evaluation unit 106, an in-focus detection unit 107, and a pre-white balance unit 801.
  • Y / C separator 802 is connected.
  • the pre-white balance unit 801 is connected to the amplification unit 103.
  • Y / C separation unit 802 to buffer 803, buffer 803 is frequency decomposition unit 804, conversion characteristics
  • the calculation unit 805 and the Y / C synthesis unit 809 are connected.
  • the frequency resolving unit 804 is connected to the buffer 110.
  • the buffer 110 is connected to the conversion characteristic calculation unit 805, the high frequency separation unit 806, and the gradation processing unit 807.
  • the conversion characteristic calculation unit 805 is connected to the gradation processing unit 807.
  • the high frequency separation unit 806 is connected to the buffer 114 and the gradation processing unit 807.
  • the gradation processing unit 807 is connected to the buffer 114.
  • the buffer 114 is connected to the signal processing unit 116 via the frequency synthesis unit 808 and the Y / C synthesis unit 809.
  • the control unit 118 includes a pre-white balance unit 801, a Y / C separation unit 802, a frequency decomposition unit 804, a conversion characteristic calculation unit 805, a high frequency separation unit 806, a gradation processing unit 807, a frequency synthesis unit 808, Y /
  • the C composition unit 809 is also connected in both directions, and these are also controlled.
  • the temperature sensor 120 of the present embodiment is disposed in the vicinity of the color CCD 800 described above! /, And the signal from the temperature sensor 120 is also connected to the control unit 118! /.
  • the image is transferred to the buffer 105 via the lens system 100, the aperture 101, the color video signal power amplifying unit 103 and the A / D conversion unit 104 photographed via the color CCD 800.
  • a single CCD having a Bayer primary color filter arranged on the front surface is assumed as the color CCD 800.
  • FIG. 16 is a diagram showing a configuration of a Bayer-type primary color filter.
  • the Bayer-type primary color filter has 2 X 2 pixels as the basic unit, and one red (R) and blue (B) filter is left at each diagonal pixel position in this basic unit.
  • a green (G) filter is placed at each pixel position on the opposite side of!
  • the color video signal in the buffer 105 is transferred to the pre-white balance unit 801.
  • the pre-white balance unit 801 integrates a predetermined level signal for each color signal (in other words, The simple white balance coefficient is calculated.
  • the pre-white noise unit 801 transfers the calculated coefficient to the amplifying unit 103, and multiplies a different gain for each color signal to perform white balance.
  • the digital camera When the user fully presses the shirt button consisting of a two-stage switch on the external I / F section 119, the digital camera enters the main shooting mode.
  • the color video signal is transferred to the buffer 105 in the same manner as in the pre-shooting.
  • the white balance coefficient obtained by the pre-white balance unit 801 is the control unit 1
  • the Y / C separation unit 802 Based on the control of the control unit 118, the Y / C separation unit 802 generates a color video signal composed of three plates R, G, and B by a known interpolation process, and further outputs the R, G, and B signals. As shown in Equation 5, the luminance signal Y and color difference signals Cb and Cr are separated.
  • the luminance signal and the color difference signal separated by the Y / C separation unit 802 are transferred to the buffer 803.
  • the frequency decomposition unit 804 Based on the control of the control unit 118, the frequency decomposition unit 804 performs frequency decomposition on the luminance signal in the buffer 105, and acquires a high frequency component and a low frequency component. Then, the frequency resolution unit 804 sequentially transfers the obtained high frequency component and low frequency component to the buffer 110.
  • the conversion characteristic calculation unit 805 Based on the control of the control unit 118, the conversion characteristic calculation unit 805 reads the low-frequency component from the buffer 110 and the color difference signal from the buffer 803, and calculates the gradation characteristic used for the gradation conversion processing. . In this embodiment, the space conversion method using a single gradation conversion curve for the video signal is assumed as the gradation conversion process. The Then, the conversion characteristic calculation unit 805 transfers the calculated gradation characteristic to the gradation processing unit 807.
  • the high-frequency separation unit 806 reads the high-frequency component from the buffer 110, and separates the high-frequency component into an ineffective component caused by noise and other effective components.
  • the high frequency separating unit 806 transfers the separated effective component to the gradation processing unit 807 and the invalid component to the buffer 114.
  • the gradation processing unit 807 Based on the control of the control unit 118, the gradation processing unit 807 converts the low frequency component from the buffer 110, the effective component in the high frequency component from the high frequency separation unit 806, and the gradation characteristic from the conversion characteristic calculation unit 805. Read each. Then, the gradation processing unit 807 performs gradation processing on the low frequency component and the effective component in the high frequency component based on the gradation characteristics. The gradation processing unit 807 transfers the low frequency component subjected to the gradation processing and the effective component in the high frequency component subjected to the gradation processing to the buffer 114.
  • the frequency synthesizer 808 receives from the buffer 114 the low-frequency component subjected to gradation processing, the effective component in the high-frequency component subjected to gradation processing, and the high-frequency component.
  • the ineffective component is read, and the luminance signal subjected to gradation conversion is synthesized by performing addition processing based on the ineffective component.
  • the frequency synthesizer 808 transfers the synthesized luminance signal to the Y / C synthesizer 809.
  • the Y / C synthesis unit 809 reads the luminance signal Y ′ that has undergone gradation conversion from the frequency synthesis unit 808 and the color difference signals Cb and Cr from the buffer 803, respectively. Then, as shown in the following Equation 6, the color video signals R ′, G ′, and B ′ that have undergone gradation conversion are synthesized.
  • the Y / C synthesis unit 809 transfers the synthesized color video signals R ′, G ′, B ′ to the signal processing unit 116.
  • the signal processing unit 116 receives the video signal from the Y / C synthesis unit 809 based on the control of the control unit 118.
  • the signal is subjected to known compression processing and the like, and the processed signal is transferred to the output unit 117.
  • the output unit 117 records and stores the video signal output from the signal processing unit 116 in a recording medium such as a memory card.
  • FIG. 18 is a block diagram showing an exemplary configuration of frequency resolving section 804.
  • the frequency resolving unit 804 includes a signal extracting unit 900, a low-pass filter unit 901, a low-frequency filter 902, and a differential filter unit 903.
  • the noffer 803 is connected to the signal extraction unit 900.
  • the signal extraction unit 900 is connected to the low-pass filter unit 901 and the difference filter unit 903.
  • the low pass filter unit 901 is connected to the low frequency buffer 902.
  • the low frequency buffer 902 is connected to the differential filter unit 903.
  • the difference filter unit 903 is connected to the buffer 110.
  • the control unit 118 is connected to the signal extraction unit 900, the low-pass filter unit 901, and the difference filter unit 903 in two directions, and controls them.
  • the signal extraction unit 900 reads the luminance signal from the buffer 803 and transfers it to the low-pass filter unit 901 and the difference filter unit 903.
  • the low-pass filter unit 901 Based on the control of the control unit 118, the low-pass filter unit 901 performs a known low-pass filter process on the luminance signal from the signal extraction unit 900 to calculate a low-frequency component of the luminance signal.
  • a known low-pass filter process on the luminance signal from the signal extraction unit 900 to calculate a low-frequency component of the luminance signal.
  • the low-pass filter used by the low-pass filter unit 901 for example, an average value filter having a size of 7 ⁇ 7 pixels is assumed.
  • the low pass filter unit 901 transfers the calculated low frequency component to the low frequency buffer 902.
  • the difference filter unit 903 reads the luminance signal from the signal extraction unit 900 and also reads the low-frequency component of the luminance signal from the low-frequency buffer 902 and obtains the difference between them to obtain the high-frequency component of the luminance signal. Is calculated. The difference filter unit 903 transfers the calculated high frequency component and the read low frequency component to the buffer 110.
  • FIG. 19 is a block diagram showing an example of the configuration of the conversion characteristic calculation unit 805.
  • This conversion characteristic calculation unit 805 is different from the conversion characteristic calculation unit 111 shown in FIG. 4 of Embodiment 1 described above in the hue calculation unit 1000 that is a region of interest setting unit, and the person determination unit 1001 that is a region of interest setting unit Weight coefficient setting means 1002, which is a weight coefficient setting means, and histogram correction means The histogram correction unit 1003 is added, and the dividing unit 300 and the buffer 301 are deleted. Since the other basic configuration is the same as that of the conversion characteristic calculation unit 111 shown in FIG. 4, the same name is assigned to the same configuration, and the description is omitted as appropriate. Explain only! /.
  • the buffer 803 and the buffer 110 are connected to the appropriate area extraction unit 302.
  • the appropriate area extraction unit 302 is connected to the edge calculation unit 303 and the hue calculation unit 1000.
  • the hue calculation unit 1000 is connected to the histogram correction unit 1003 via the person determination unit 1001 and the weighting factor setting unit 1002.
  • the histogram creation section 304 is connected to the histogram correction section 1003.
  • the histogram correction unit 1003 is connected to the gradation processing unit 807 via the gradation conversion curve calculation unit 305 and the buffer 306.
  • the control unit 118 is connected to the hue calculation unit 1000, the person determination unit 1001, the weighting factor setting unit 1002, and the histogram correction unit 1003 in both directions, and also controls them.
  • the appropriate range extraction unit 302 reads the luminance signal from the buffer 110, and determines a predetermined threshold value related to the dark part (for example, 128 in the case of 12-bit gradation as an example) and the bright signal.
  • a predetermined threshold value for this part for example 3968
  • a luminance signal that is not less than the dark portion threshold value and not more than the bright portion threshold value is transferred to the edge calculating unit 303 as a proper exposure area.
  • the appropriate area extraction unit 302 reads the color difference signals C b and Cr of coordinates corresponding to the luminance signal of the appropriate exposure area from the buffer 803 and transfers them to the hue calculation unit 1000.
  • the edge calculation unit 303 and the histogram creation unit 304 create a histogram of the edge portion from the luminance signal in the same manner as in the first embodiment, and transfer the created histogram to the histogram correction unit 1003.
  • the hue calculation unit 1000 reads the color difference signals Cb and Cr from the appropriate range extraction unit 302 and compares them with a predetermined threshold value, and extracts a skin color region.
  • the person determination unit 1001 is transferred.
  • the person determination unit 1001 uses the skin color area from the hue calculation unit 1000 and the edge amount information from the edge calculation unit 303 to determine a person's face. And the result is transferred to the weighting factor setting unit 1002.
  • the weighting factor setting unit 1002 Based on the control of the control unit 118, the weighting factor setting unit 1002 obtains luminance information in an area determined to be a human face, and multiplies the luminance information by a predetermined coefficient to correct each luminance level. Calculate the weighting factor. Note that the weighting factor is 0 for a luminance level that does not exist within the area determined to be a human face. The weighting factor setting unit 1002 transfers the calculated weighting factor to the histogram correction unit 1003.
  • the histogram correction unit 1003 reads the histogram from the histogram creation unit 304 and also reads the weighting factor from the weighting factor setting unit 1002, and applies the weighting factor to each luminance level of the histogram. Correction is performed by adding. The corrected histogram is transferred to the gradation conversion curve calculation unit 305, and a gradation conversion curve is calculated as in the first embodiment.
  • the calculated gradation conversion curve is transferred to the buffer 306, and transferred to the gradation processing unit 807 as necessary.
  • the calculated gradation conversion curve is one type.
  • FIG. 20 is a block diagram showing an example of the configuration of the high-frequency separator 806.
  • This high frequency separation unit 806 adds noise LUT1100, which is noise estimation means and table conversion means, to the high frequency separation part 112 shown in Fig. 5 of the first embodiment described above.
  • the selection unit 404 and the interpolation unit 405 are omitted. Since the other basic configuration is the same as that of the high-frequency separation unit 112 shown in FIG. 5, the same configuration is given the same name and symbol, and the description thereof is omitted as appropriate. Only explained.
  • the low-frequency component extraction unit 400, the gain calculation unit 401, and the standard value assigning unit 402 are connected to the noise LUT 1100.
  • the noise LUT 1100 is connected to the upper / lower limit setting unit 408.
  • Determination unit 409 is connected to gradation processing unit 807 and buffer 114.
  • control unit 118 is also connected bidirectionally to the noise LUT 1100, and controls this also. [0271] Next, the operation of such a high-frequency separator 806 will be described.
  • Gain calculation section 401 obtains gain information in amplification section 103 based on the ISO sensitivity, information on exposure conditions, and white balance coefficient transferred from control section 118, and transfers them to noise LUT 1100.
  • control unit 118 acquires temperature information of the color CCD 800 from the temperature sensor 120, and transfers the acquired temperature information to the noise LUT 1100.
  • the standard value assigning unit 402 when at least one of the gain information and the temperature information is not obtained, sets a standard value for information that cannot be obtained as a noise LUT.
  • the LUT 1100 is a lookup table that records the relationship between the signal value level of the video signal, the gain of the video signal, the operating temperature of the image sensor, and the amount of noise. This look-up table is designed using, for example, the technique described in Japanese Patent Application Laid-Open No. 2004-128985 described above.
  • the noise LUT 1100 includes the pixel value of the target pixel from the low frequency component extraction unit 400, the gain information from the gain calculation unit 401 or the standard value giving unit 402, the temperature information from the control unit 118 or the standard value giving unit 402, Based on, output the amount of noise. The output noise amount is transferred to the upper / lower limit setting unit 408.
  • the high-frequency component extraction unit 406 includes a high-frequency component corresponding to the low-frequency component extracted by the low-frequency component extraction unit 400 and a high-frequency component positioned in the vicinity of the high-frequency component. , Extract.
  • the frequency resolving unit 804 extracts the low-frequency component and the high-frequency component using the low-pass filter and the difference filter as described above, the low-frequency component and the low-frequency component are extracted.
  • the pixel configuration with the high frequency component is the same size, and the high frequency component corresponding to the low frequency component is one pixel.
  • the subsequent operation of the high frequency separation unit 806 is the same as that of the high frequency separation unit 112 of Embodiment 1 described above, and the high frequency component is separated into the effective component and the invalid component, and the effective component is subjected to gradation processing.
  • the invalid component is transferred to the buffer 114 to the unit 807.
  • FIG. 21 is a block diagram showing an example of the configuration of the gradation processing unit 807.
  • This gradation processing unit 807 is different from the gradation processing unit 113 shown in FIG.
  • the distance calculation unit 501, the gradation conversion formula setting unit 502, and the nota 503 are deleted. Since the other basic configuration is the same as that of the gradation processing unit 113 shown in FIG. 6, the same name is assigned the same configuration and the description is omitted as appropriate, and different portions are mainly described. Only explained.
  • the conversion characteristic calculation unit 805 is connected to the gradation conversion unit 505.
  • the buffer 110 is connected to the gradation conversion unit 505 via the low frequency component extraction unit 500.
  • the high frequency separation unit 806 is connected to the gradation conversion unit 505 via the high frequency component extraction unit 504.
  • the control unit 118 is bi-directionally connected to and controls the low-frequency component extraction unit 500, the high-frequency component extraction unit 504, and the gradation conversion unit 505.
  • the low-frequency component extraction unit 500 sequentially extracts low-frequency components from the buffer 110 in units of pixels based on the control of the control unit 118.
  • the low frequency component extraction unit 500 transfers the extracted low frequency component to the gradation conversion unit 505.
  • the high frequency component extraction unit 504 extracts a high frequency component corresponding to the low frequency component extracted by the low frequency component extraction unit 500 from the high frequency separation unit 806 based on the control of the control unit 118.
  • the pixel configuration of the low frequency component and the high frequency component are the same size, and the high frequency component corresponding to the low frequency component is one pixel.
  • the high frequency component extraction unit 504 transfers error information to the control unit 118.
  • the gradation conversion unit 505 Based on the control of the control unit 118, the gradation conversion unit 505 reads the low frequency component from the low frequency component extraction unit 500 and reads the gradation conversion curve from the conversion characteristic calculation unit 805 to obtain the low frequency component. Tone conversion is performed. The tone conversion unit 505 transfers the low frequency component after the tone conversion to the buffer 114.
  • the gradation conversion unit 505 reads the high-frequency component of the effective component corresponding to the low-frequency component from the high-frequency component extraction unit 504, and performs gradation conversion. Then, the gradation conversion unit 505 transfers the high-frequency component after gradation conversion to the buffer 114. Supports low frequency components When there is no effective high-frequency component to be performed, the gradation conversion unit 505 stops gradation conversion for the high-frequency component based on the control of the control unit 118.
  • an image processing system may be used in which the imaging unit is separate.
  • force based on hardware processing is not limited to such a configuration.
  • a color video signal from the color CCD 800 is recorded as raw raw data on a recording medium such as a memory card and accompanying information such as imaging conditions (for example, imaging at the time of shooting from the control unit 118) Record the element temperature, exposure conditions, etc.) on the recording medium as header information.
  • an image processing program which is separate software, to be executed by a computer so that the information on the recording medium is read by the computer and processed.
  • the transmission of various types of information from the imaging unit to the computer is not limited to being performed via a recording medium, and may be performed via a communication line or the like.
  • FIG. 22 is a flowchart showing the main routine of the image processing program.
  • step S1 a color video signal is read, and header information such as the temperature and exposure conditions of the image sensor is read.
  • a luminance signal and a color difference signal are calculated (step S50).
  • the high frequency component and the low frequency component are acquired (step S2).
  • the high-frequency component is separated into an ineffective component caused by noise and another effective component (step S52).
  • gradation processing is performed on the low frequency component and the effective component in the high frequency component (step S 53).
  • the luminance signal subjected to gradation conversion based on the low-frequency component subjected to gradation processing, the effective component in the high-frequency component subjected to gradation processing, and the invalid component in the high-frequency component Is synthesized step S6.
  • the luminance signal and the color difference signal are combined to obtain a color video signal subjected to gradation conversion (step S54).
  • step S7 signal processing such as known compression processing is performed.
  • step S8 the processed color video signal is output (step S8), and this process is terminated.
  • FIG. 23 is a flowchart showing the conversion characteristic calculation processing in step S51.
  • the luminance signal is compared with a predetermined threshold value related to the dark part and a predetermined threshold value related to the bright part, and a luminance signal that is equal to or higher than the threshold value of the buttocks and lower than the threshold value of the bright part is determined. Extract as a proper exposure area (step S11).
  • the known edge strength is calculated by using a Laplacian filter for the luminance signal in the appropriate exposure area (step S12).
  • a pixel having an edge strength equal to or greater than a predetermined threshold is selected to create a histogram (step S13).
  • a specific hue region for example, a skin color region, is extracted by comparing the color difference signal with a predetermined threshold value (step S60).
  • an area determined to be a human face is extracted and set as an area of interest (step S61).
  • step S62 luminance information in the region of interest is obtained, and a weighting factor for correction relating to each luminance level is calculated by multiplying this by a predetermined coefficient (step S62).
  • the histogram is corrected by adding a weighting factor to each luminance level of the histogram (step S63).
  • the gradation conversion curve is calculated by accumulating the histogram and further normalizing it (step S14).
  • step S15 The gradation conversion curve calculated in this way is output (step S15), and the process returns to the process shown in FIG.
  • FIG. 24 is a flowchart showing the high frequency separation process in step S52.
  • step S20 When this process is started, first, low-frequency components are sequentially extracted in units of pixels (step S20).
  • step S21 information such as temperature and gain of the image sensor is set from the read header information.
  • a predetermined standard value is assigned to the information (step S21).
  • step S7 a table relating to the noise amount recording the relationship between the signal value level of the video signal, the gain of the video signal, the operating temperature of the image sensor, and the amount of noise is read (step S7).
  • the noise amount is obtained based on the table relating to the noise amount (step S71).
  • an average value of the high frequency component corresponding to the low frequency component, the high frequency component located in the vicinity of the high frequency component, and the force is also calculated (step S25).
  • an upper limit and a lower limit are set as shown in Equation 3 (step S26).
  • step S28 the effective component and the ineffective component are separated and output (step S28).
  • step S30 it is determined whether or not processing of all the low frequency components has been completed. If it is determined that the processing has been completed! /, NA! /, The processing returns to step S20 above and described above. On the other hand, if it is determined that the process has been completed, the process returns to the process shown in FIG.
  • FIG. 25 is a flowchart showing the gradation processing in step S53.
  • step S40 low-frequency components are sequentially extracted in units of pixels.
  • step S42 the gradation conversion curve is read (step S42).
  • step S45 it is determined whether or not a high-frequency component that is an effective component exists.
  • step S46 when it is determined that there is a high-frequency component that is an effective component, gradation conversion is performed on the high-frequency component that is an effective component (step S46).
  • Step S47 If it is determined that there is a force at which the process of step S46 is completed, or a high-frequency component that is an active component is present in step S45!
  • Step S47 For gradation conversion (Step S47)
  • step S48 the low-frequency component that has undergone gradation processing and the effective component in the high-frequency component that has undergone gradation processing are output (step S48).
  • step S49 it is determined whether or not the processing of all the low-frequency components has been completed. If it is determined that the processing has not been completed, the process returns to step S40 and the above-described processing is repeated. On the other hand, if it is determined that the process has been completed, the process returns to the process shown in FIG.
  • the present invention is not limited to such a configuration.
  • it can be configured to perform frequency decomposition and frequency synthesis using a Gaussian filter and a Laplacian filter.
  • the amount of calculation increases, there is an advantage that the frequency resolution is more excellent.
  • it is possible to perform multi-stage frequency decomposition and frequency synthesis as in the first embodiment.
  • the force S adopting the configuration using a Bayer-type primary color filter as the color imaging device is not necessarily limited to such a configuration.
  • a single-plate image sensor using such a color difference line sequential complementary filter, a two-plate or three-plate image sensor.
  • FIG. 17 is a diagram showing a configuration of the color difference line sequential complementary color filter.
  • This color difference line sequential complementary filter uses magenta (Mg) and green (G) in the same line of cyan (Cy) and yellow (Ye) as 2 X 2 pixels, with 2 X 2 pixels as the basic unit. Are arranged on the other same line of 2 X 2 pixels. However, the positions of magenta (Mg) and green (G) are configured to be reversed for each line.
  • the low-frequency component is excluded from the target to be processed separately into the active component and the ineffective component, the occurrence of side effects associated with the processing is reduced, and the stability can be improved.
  • tone conversion curve is obtained from the low-frequency component of the luminance signal, it is possible to perform highly accurate tone conversion on various color video signals. .
  • the gradation conversion curve is calculated based on the low frequency component, it is possible to calculate an appropriate gradation conversion curve that is less affected by noise.
  • FIG. 26 to FIG. 30 show Embodiment 3 of the present invention
  • FIG. 26 is a block diagram showing the configuration of the image processing system.
  • an edge enhancement unit 1202 as edge enhancement means is added to the image processing system shown in FIG. 1 of the above-described first embodiment, and a frequency decomposition unit 109, a high frequency separation unit 112,
  • the frequency synthesizer 115 is replaced with a frequency synthesizer 1200 as a separating means and frequency resolving means, a high frequency separating section 1201 as a separating means and high frequency separating means, and a frequency synthesizer 1203 as a synthesizing means and frequency synthesizing means It has become. Since the other basic configuration is the same as that of the first embodiment, the same configuration is denoted by the same name and reference numeral, description thereof is omitted as appropriate, and only different portions will be mainly described.
  • the buffer 105 is connected to the photometric evaluation unit 106, the in-focus detection unit 107, the conversion characteristic calculation unit 111, and the frequency decomposition unit 1200.
  • the frequency resolution unit 1200 is connected to the buffer 110.
  • the buffer 110 is connected to the conversion characteristic calculation unit 111, the high frequency separation unit 1201, and the gradation processing unit 113.
  • the high frequency separation unit 1201 is connected to the edge enhancement unit 1202 and the buffer 114.
  • the edge enhancement unit 1202 is connected to the gradation processing unit 113! /
  • the nother 114 is connected to the signal processing unit 116 via the frequency synthesis unit 1203.
  • control unit 118 is also connected to the frequency decomposition unit 1200, the high frequency separation unit 1201, the edge enhancement unit 1202, and the frequency synthesis unit 1203 in both directions, and also controls them.
  • the video signal in the buffer 105 is transferred to the frequency resolving unit 1200.
  • the frequency decomposition unit 1200 Based on the control of the control unit 118, the frequency decomposition unit 1200 performs predetermined frequency decomposition on the transferred video signal to acquire a high frequency component and a low frequency component. Then, the frequency resolution unit 1200 sequentially transfers the obtained high frequency component and low frequency component to the buffer 110.
  • a known DCT Discrete Cosine Transform
  • Figs. 27A and 27B are diagrams for explaining DCT (Discrete Cosine Transform) transformation.
  • Fig. 27A shows the video signal in real space
  • Fig. 27B shows the frequency after DCT (Discrete Cosine Transfer m) transformation. Each signal in space is shown.
  • DCT Discrete Cosine Transform
  • the upper left is the origin, that is, the 0th order component, and the first and higher order high frequency components are arranged on concentric circles with the 0th order component as the origin.
  • the conversion characteristic calculation unit 111 reads a video signal from the buffer 105 in units of 64 ⁇ 64 pixels used in the frequency analysis unit 1200. Thereafter, the conversion characteristic calculation unit 111 calculates the gradation characteristics used for the gradation conversion processing, as in the first embodiment. That is, in the present embodiment, as the gradation conversion process, a space variant process using a plurality of gradation characteristics that differ for each region of 64 ⁇ 64 pixel units is assumed. Then, the conversion characteristic calculation unit 111 transfers the calculated gradation characteristic to the gradation processing unit 113.
  • the high-frequency separation unit 1201 Based on the control of the control unit 118, the high-frequency separation unit 1201 reads the high-frequency component from the buffer 110, performs noise reduction processing on the high-frequency component, and then converts the high-frequency component into an ineffective component caused by noise. And other active ingredients. Then, the high frequency separation unit 1201 transfers the separated effective component to the edge enhancement unit 1202 and the invalid component to the buffer 114.
  • the edge enhancement unit 1202 performs edge enhancement processing by multiplying the effective component transferred from the high frequency separation unit 1201 by a predetermined coefficient, and transfers the processing result to the gradation processing unit 113.
  • the gradation processing unit 113 Based on the control of the control unit 118, the gradation processing unit 113 converts the low frequency component from the buffer 110, the effective component in the high frequency component from the edge enhancement unit 1202, and the gradation characteristic from the conversion characteristic calculation unit 111. Read each. Then, the gradation processing unit 113 is based on the gradation characteristics described above. Gradation processing is performed on the low frequency component and the effective component in the high frequency component. The gradation processing unit 113 transfers the low frequency component subjected to the gradation processing and the effective component in the high frequency component to the buffer 114.
  • the frequency synthesis unit 1203 receives from the buffer 114 the low-frequency component that has undergone gradation processing, the effective component in the high-frequency component that has undergone gradation processing, and the high-frequency component.
  • the invalid component is read, and the video signal that has been converted based on these is synthesized.
  • a known inverse DCT DNC Transverse Discrete Cosine Transform
  • the frequency synthesizer 1203 transfers the synthesized video signal to the signal processor 116.
  • the signal processing unit 116 Based on the control of the control unit 118, the signal processing unit 116 performs a known compression process on the video signal from the frequency synthesis unit 1203 and transfers the processed signal to the output unit 117.
  • the output unit 117 records and stores the video signal output from the signal processing unit 116 in a recording medium such as a memory card.
  • FIG. 28 is a block diagram showing an example of the configuration of the high frequency separating unit 1201.
  • the high frequency separation unit 1201 is a noise reduction unit and a first smoothing unit 1300, which is a noise reduction unit, and a noise reduction unit, in addition to the high frequency separation unit 112 shown in Fig. 5 of the first embodiment.
  • the second smoothing unit 1301 as a second smoothing means is added. Since the other basic configuration is the same as that of the high-frequency separation unit 112 shown in FIG. 5, the same name is assigned to the same configuration and the description is omitted as appropriate. Only explained.
  • Determination unit 409 is connected to first smoothing unit 1300 and second smoothing unit 1301.
  • the first smoothing unit 1300 is connected to the edge enhancement unit 1202.
  • the second smoothing unit 1301 is connected to the buffer 114.
  • control unit 118 is connected to both the first smoothing unit 1300 and the second smoothing unit 1301, and controls them.
  • the low-frequency component extraction unit 400 sequentially extracts the low-frequency components from the buffer 110 based on the control of the control unit 118. In the present embodiment, as described above, 64 ⁇ 64 pixels DCT (Discrete Cosine Transform) conversion is assumed. Then, the low-frequency component extraction unit 400 extracts, as low-frequency components, frequency components of a predetermined n-th order or less among the respective frequency components as shown in FIG. 27B from each region of 64 ⁇ 64 pixels. .
  • DCT Discrete Cosine Transform
  • the amount of noise is calculated as in the first embodiment described above. Then, the interpolation unit 405 transfers the calculated noise amount to the upper and lower limit setting unit 408.
  • the high frequency component extraction unit 406 Based on the control of the control unit 118, the high frequency component extraction unit 406 generates (n + 1) -order or higher frequencies from each region of 64 X 64 pixels corresponding to the low frequency component extracted by the low frequency component extraction unit 400. Extract components as high frequency components.
  • the average calculation unit 407 separates high-frequency components for each order based on the control of the control unit 118.
  • Each average value AV is calculated, and the calculated average value AV is transferred to the upper and lower limit setting unit 408.
  • the upper and lower limit setting unit 408 uses the average value AV from the average calculation unit 407 and the noise amount N from the interpolation unit 405 for each order based on the control of the control unit 118, and uses the effective component and the invalid component.
  • the upper limit / lower limit setting unit 408 sets the upper limit App—Up and the lower limit App—Low set in this way to the determination unit 409, average straight AV to the first smoothing unit 1300, average straight direct AV and noise amount. Transfer N to the second smoothing unit 1301.
  • the determination unit 409 reads the high frequency component from the high frequency component extraction unit 406 and the upper limit App—Up and lower limit App— corresponding to the order of the high frequency component from the upper and lower limit setting unit 408. Read Low.
  • the determination unit 409 determines that the high frequency component is an effective component and determines the first high frequency component as the first component. Transfer to the smoothing unit 1300.
  • the determination unit 409 determines that the high-frequency component is an invalid component due to noise, and increases the high-frequency component. Transfer the frequency components to the second smoothing unit 1301.
  • the first smoothing unit 1300 performs processing for substituting the average value AV from the upper and lower limit setting unit 408 for the high frequency component (here, the high frequency component is P), as shown in Equation 7 below.
  • the second smoothing unit 1301 performs a process of correcting the high frequency component P by using the average value AV and the noise amount N from the upper and lower limit setting unit 408. This correction includes two types of processing. First, when the high frequency component exceeds the upper limit App-Up, the second smoothing unit 1301 performs correction as shown in the following Equation 8.
  • the second smoothing unit 1301 performs correction as shown in the following Equation 9 when the high-frequency component falls below the lower limit App-Low.
  • the processing result by the first smoothing unit 1300 is transferred to the edge enhancement unit 1202, and the processing result by the second smoothing unit 1301 is transferred to the buffer 114.
  • the high-frequency component determined to be an effective component is transferred to the gradation processing unit 113 via the edge enhancement unit 1202, and gradation processing is performed.
  • the high frequency component determined to be an invalid component is transferred to the buffer 114 without being subjected to gradation processing.
  • the imaging unit may be a separate image processing system! /.
  • force based on hardware processing is not limited to such a configuration.
  • the video signal from the CCD 102 is recorded as raw raw data on a recording medium such as a memory card, and accompanying information such as imaging conditions (for example, an image sensor at the time of shooting from the control unit 118) Temperature and exposure conditions) are recorded on the recording medium as header information.
  • the image processing program which is separate software, is executed by the computer, and the information on the recording medium is read by the computer. It is also possible to process.
  • the transmission of various types of information from the imaging unit to the computer is not limited to being performed via a recording medium, but may be performed via a communication line or the like.
  • FIG. 29 is a flowchart showing the main routine of the image processing program.
  • step S2 frequency decomposition such as DCT (Discrete Cosine Transform) transformation is performed to obtain a high frequency component and a low frequency component (step S2).
  • DCT Discrete Cosine Transform
  • the high frequency component is separated into an ineffective component due to noise and other effective components (step S80).
  • step S 5 gradation processing is performed on the low frequency component and the effective component in the high frequency component.
  • step S7 signal processing such as known compression processing is performed.
  • step S8 the processed video signal is output (step S8), and this process ends.
  • FIG. 30 is a flowchart showing the high frequency separation processing in step S80.
  • step S20 When this process is started, first, low-frequency components are sequentially extracted in units of pixels (step S20).
  • step S21 information such as the temperature and gain of the image sensor is set from the read header information.
  • a predetermined standard value is assigned to the information (step S21).
  • step S22 parameters relating to the reference noise model are read (step S22).
  • step S23 the amount of noise related to the low frequency component is calculated by interpolation.
  • Step S90 If the high frequency component is within the range between the upper limit and the lower limit, it is determined to be an ineffective component due to noise, and if the force exceeds the upper limit or falls below the lower limit, it is an active component. (Step S90).
  • the correction processing shown in Formula 7 is performed on the high frequency component (step S91).
  • step S90 If it is determined in step S90 that the high frequency component is an invalid component, the correction processing shown in Equation 8 or 9 is performed on the high frequency component (step S92).
  • step S91 or step S92 When the process of step S91 or step S92 is completed, the corrected effective component and the corrected invalid component are separated and output (step S93).
  • step S29 it is determined whether or not processing of all high-frequency components has been completed. If it is determined that the processing has been completed! /, NA! /, The processing returns to step S24 as described above. Repeat this process.
  • step S30 it is determined whether or not all the low-frequency components have been processed. If it is determined that the process has not been completed, the process returns to step S20 and the above-described process is repeated. On the other hand, if it is determined that the process has been completed, the process returns to the process shown in FIG.
  • the force S adopting the configuration using DCT (Discrete Cosine Transfer m) conversion for frequency decomposition and frequency synthesis is not necessarily limited to such a configuration.
  • DCT Discrete Cosine Transfer m
  • Example it is possible to adopt a configuration using wavelet transform as in the first embodiment described above, and a configuration combining a low-pass filter and a difference filter as in the second embodiment described above. It is also possible.
  • a configuration for processing a black-and-white video signal is employed, but it is not necessary to be limited to such a configuration.
  • a configuration in which a luminance signal is calculated from a color video signal obtained from a color imaging element and processed is possible.
  • the low-frequency component is excluded from the target to be processed separately into the active component and the ineffective component, the occurrence of side effects associated with the processing is reduced, and the stability can be improved.
  • DCT Discrete Cosine Transform
  • tone conversion curve is obtained from the low-frequency component of the video signal and applied independently for each region, it is possible to perform highly accurate tone conversion on various video signals.
  • correction processing is performed for the active component in the high-frequency component, and smoothing processing is performed for the ineffective component in the high-frequency component. Can be prevented, and a high-quality video signal can be generated.
  • edge enhancement processing is performed only for effective components in high-frequency components, and noise components are enhanced because edge enhancement processing is not performed for invalid components in high-frequency components. Only the edge component can be emphasized without any problem. This makes it possible to generate high-quality video signals.
  • FIG. 31 to FIG. 36 show Embodiment 4 of the present invention
  • FIG. 31 is a block diagram showing the configuration of the image processing system.
  • the image processing system of this embodiment is different from the image processing system shown in Fig. 1 of Embodiment 1 described above in that the noise reduction unit 1400 is a separation unit and noise reduction unit, and the difference unit is a separation unit and a difference unit. 1401, a signal synthesizing unit 1403 which is a synthesizing unit and signal synthesizing unit is added, and the tone processing unit 113 is replaced with a tone processing unit 1402 which is a converting unit and tone processing unit, and the frequency decomposition unit 109 In this configuration, the unit 112 and the frequency synthesis unit 115 are deleted. Since the other basic configuration is the same as that of the first embodiment, the same configuration is denoted by the same name and reference numeral, description thereof is omitted as appropriate, and only different portions will be mainly described.
  • the notifier 105 is connected to the photometric evaluation unit 106, the in-focus detection unit 107, the noise reduction unit 1400, and the difference unit 1401.
  • the noise reduction unit 1400 is connected to the buffer 110.
  • the buffer 110 is connected to the conversion characteristic calculation unit 111, the difference unit 1401, and the gradation processing unit 1402.
  • the conversion characteristic calculation unit 111 is connected to the gradation processing unit 1402.
  • the difference unit 1401 is connected to the buffer 114.
  • the gradation processing unit 1402 is connected to the buffer 114.
  • the noferer 114 is connected to the signal processing unit 116 via the signal synthesis unit 1403.
  • control unit 118 is also connected bidirectionally to the noise reduction unit 1400, the difference unit 1401, the gradation processing unit 1402, and the signal synthesis unit 1403, and controls these also.
  • the video signal in the buffer 105 is transferred to the noise reduction unit 1400.
  • Noise reduction unit 1400 performs noise reduction processing based on the control of control unit 118 !, and transfers the video signal after the noise reduction processing to buffer 110 as an effective component.
  • the conversion characteristic calculation unit 111 reads the effective component from the buffer 110, and calculates the gradation characteristic used for the gradation conversion processing, as in the first embodiment.
  • the gradation conversion process for example, a space variant process using a plurality of gradation characteristics different for each region of 64 ⁇ 64 pixels is assumed. Then, the conversion characteristic calculation unit 111 transfers the calculated gradation characteristic to the gradation processing unit 1402.
  • the difference unit 1401 Based on the control of the control unit 118, the difference unit 1401 reads the video signal before the noise reduction processing from the buffer 105 and also reads the video signal after the noise reduction processing from the buffer 110 as an effective component. Process to take the difference. The difference unit 1401 transfers a signal obtained as a result of taking the difference to the buffer 114 as an invalid component.
  • the gradation processing unit 1402 reads the effective component from the buffer 110 and the gradation characteristic from the conversion characteristic calculation unit 111 based on the control of the control unit 118, respectively. Then, the gradation processing unit 1402 performs gradation processing on the effective component based on the gradation characteristics. The gradation processing unit 1402 transfers the effective component that has been subjected to the gradation processing to the buffer 114.
  • the signal synthesis unit 1403 Based on the control of the control unit 118, the signal synthesis unit 1403 reads out the effective component and the ineffective component that have been subjected to the gradation processing from the buffer 114, and adds these to perform gradation conversion. The synthesized video signal is synthesized. The signal synthesis unit 1403 transfers the video signal thus synthesized to the signal processing unit 116.
  • the signal processing unit 116 Based on the control of the control unit 118, the signal processing unit 116 performs a known compression process on the video signal from the signal synthesis unit 1403 and transfers the processed signal to the output unit 117.
  • the output unit 117 records and stores the video signal output from the signal processing unit 116 in a recording medium such as a memory card.
  • FIG. 32 is a block diagram showing an example of the configuration of the noise reduction unit 1400.
  • This noise reduction unit 1400 includes a video signal extraction unit 1500, an average calculation unit 1501 that is noise estimation means and average calculation means, a gain calculation unit 1502 that is noise estimation means and collection means, and noise estimation A standard value assigning unit 1503 that is a means and an imparting means, a noise LUT1504 that is a noise estimation means and a table conversion means, and a setting means that is an upper and lower limit setting means.
  • the buffer 105 is connected to the video signal extraction unit 1500.
  • Video signal extraction unit 1500 is connected to average calculation unit 1501 and determination unit 1506.
  • the average calculation unit 1501, the gain calculation unit 1502, and the standard value giving unit 1503 are connected to the noise LUT 1504.
  • the noise LUT1504 is connected to the upper / lower limit setting unit 1505.
  • the upper and lower limit setting unit 1505 is connected to the determination unit 1506, the first smoothing unit 1507, and the second smoothing unit 1508.
  • Determination unit 1506 is connected to first smoothing unit 1507 and second smoothing unit 1508.
  • the first smoothing unit 1507 and the second smoothing unit 1508 are connected to first smoothing unit 1507 and second smoothing unit 1508.
  • the control unit 118 includes a video signal extraction unit 1500, an average calculation unit 1501, a gain calculation unit 1502, a standard value assigning unit 1503, a noise LUT1504, an upper and lower limit setting unit 1505, a determination unit 1506, a first smoothing unit 1507, a first 2 Smoothing unit 1508 is connected in both directions to control them.
  • the video signal extraction unit 1500 Based on the control of the control unit 118, the video signal extraction unit 1500 sequentially extracts, from the buffer 105, a target pixel to be subjected to noise reduction processing, and a neighboring pixel of, for example, 3 ⁇ 3 pixels including the target pixel. To do.
  • the video signal extraction unit 1500 transfers the extracted target pixel and neighboring pixels to the average calculation unit 1501 and the target pixel to the determination unit 1506, respectively.
  • the average calculation unit 1501 Based on the control of the control unit 118, the average calculation unit 1501 reads the target pixel and the neighboring pixels from the video signal extraction unit 1500, and calculates an average value AV thereof. The average calculation unit 1501 transfers the calculated average value AV to the noise LUT 1504.
  • Gain calculation section 1502 obtains gain information in amplification section 103 based on the ISO sensitivity and exposure condition information transferred from control section 118, and transfers the gain information to noise LUT 1504.
  • control unit 118 obtains the temperature information of the CCD 102 from the temperature sensor 120 and obtains it. Transfer the temperature information to the noise LUT1504.
  • the standard value assigning unit 1503 transfers a standard value related to information that cannot be obtained to the noise LUT 1504 when at least one of the gain information and the temperature information cannot be obtained.
  • the LUT1504 is a look-up table that records the relationship between the signal value level of the video signal, the gain of the video signal, the operating temperature of the image sensor, and the amount of noise.
  • This look-up table is designed using, for example, the technique described in Japanese Patent Application Laid-Open No. 2004-128985 described above.
  • the LUT 1504 includes the average value AV regarding the target pixel from the average calculation unit 1501, the gain information from the gain calculation unit 1502 or the standard value giving unit 1503, and the control unit 118 or the standard value giving unit 1503. Outputs noise amount N based on temperature information. The noise amount N and the average value AV from the average calculation unit 1501 are transferred from the noise LUT 1504 to the upper / lower limit setting unit 15 05.
  • the upper / lower limit setting unit 1505 is based on the control of the control unit 118, and uses the average value AV and the noise amount N from the noise LUT 1504 to determine whether the upper limit App-Up Set the lower limit App—Low as shown in Equation 3.
  • the upper limit / lower limit setting section 1505 sets the upper limit App—Up and the lower limit App—Low set in this way to the determination section 1506, the average value AV to the first smoothing section 1507, the average value AV and the noise amount. N is transferred to the second smoothing unit 1508, respectively.
  • the determination unit 1506 reads the pixel of interest from the video signal extraction unit 1500, and the upper limit App-Up and the lower limit App-Low from the upper / lower limit setting unit 1505, respectively.
  • the determination unit 1506 determines that the target pixel does not belong to noise! / Transfer to the first smoothing unit 1507.
  • the determination unit 1506 determines that the target pixel belongs to noise, and determines the target pixel as the second smoothing. Forward to 1508.
  • the first smoothing unit 1507 as shown in Formula 7, Is substituted with the average value AV from the upper / lower limit setting unit 1505.
  • the second smoothing unit 1508 performs processing for correcting the target pixel P using the average value AV and the noise amount N from the upper and lower limit setting unit 1505.
  • This correction includes two types of processing.
  • the second smoothing unit 1508 performs correction as shown in Equation 8.
  • the second smoothing unit 1508 performs correction as shown in Equation 9 when the pixel of interest P is below the lower limit App—Low.
  • FIG. 33 is a block diagram showing an example of the configuration of the gradation processing unit 1402.
  • the gradation processing unit 1402 deletes the low frequency component extraction unit 500 and the high frequency component extraction unit 504 from the gradation processing unit 113 shown in FIG. No. extraction unit 1600 is added. Since the other basic configuration is the same as that of the gradation processing unit 113 shown in FIG. 6, the same name is assigned to the same configuration and the description thereof is omitted as appropriate, and only different portions are mainly described. To do.
  • the buffer 110 is connected to the video signal extraction unit 1600.
  • the video signal extraction unit 1600 is connected to the distance calculation unit 501 and the gradation conversion unit 505.
  • control unit 118 is also bidirectionally connected to the video signal extraction unit 1600, and controls this also.
  • the video signal extraction unit 1600 sequentially extracts the video signal after the noise reduction processing from the buffer 110 as an effective component in units of pixels.
  • the video signal extraction unit 1600 transfers the extracted effective components to the distance calculation unit 501 and the gradation conversion unit 505, respectively.
  • a gradation conversion formula for the target pixel is set as shown in Formula 4. Then, the tone conversion formula setting unit 502 transfers the set tone conversion formula to the buffer 503.
  • the gradation conversion unit 505 reads the effective component from the video signal extraction unit 1600 and also reads the gradation conversion formula from the buffer 503 based on the control of the control unit 118, and applies the effective component to the effective component. Tone conversion is performed. The gradation conversion unit 505 transfers the effective component after gradation conversion to the buffer 114.
  • the imaging unit may be a separate image processing system! /.
  • force based on hardware processing is not limited to such a configuration.
  • the video signal from the CCD 102 is recorded as raw raw data on a recording medium such as a memory card, and accompanying information such as imaging conditions (for example, an image sensor at the time of shooting from the control unit 118) Temperature and exposure conditions) are recorded on the recording medium as header information.
  • imaging conditions for example, an image sensor at the time of shooting from the control unit 118
  • Temperature and exposure conditions are recorded on the recording medium as header information.
  • a computer to execute an image processing program, which is separate software, and cause the computer to read and process information on the recording medium.
  • the transmission of various types of information from the imaging unit to the computer is not limited to being performed via a recording medium, but may be performed via a communication line or the like.
  • FIG. 34 is a flowchart showing the main routine of the image processing program.
  • FIG. 34 the same number of steps is assigned to the processing steps that are basically the same as the processing shown in FIG. 11 of the first embodiment described above.
  • noise reduction processing is performed, and the video signal after the noise reduction processing is calculated as an effective component (step S 100).
  • the invalid component is calculated from the difference between the video signal and the video signal after the noise reduction processing.
  • step S 102 gradation processing is performed on the effective component.
  • the video signal subjected to the gradation conversion is synthesized based on the effective component and the invalid component that have been subjected to the gradation processing (step S103).
  • step S 7 signal processing such as known compression processing is performed.
  • FIG. 35 is a flowchart showing the noise reduction processing in step S100.
  • step S110 a pixel of interest for which noise reduction processing is to be performed and a neighboring pixel of, for example, 3 X 3 pixels including the pixel of interest are sequentially extracted.
  • step S 111 the average value of the target pixel and neighboring pixels is calculated.
  • step S112 set information such as the temperature and gain of the image sensor from the read header information.
  • a predetermined standard value is assigned to the information (step S112).
  • step S1 a table relating to the amount of noise recording the relationship between the signal value level of the image signal, the gain of the image signal, the operating temperature of the image sensor, and the amount of noise is read (step S1
  • the noise amount is obtained based on the noise amount table (step S114).
  • step S116 it is determined whether the pixel of interest does not belong to noise! / Or by belonging to the upper and lower limits.
  • step S116 if the target pixel is in the range between the upper limit and the lower limit,
  • step S 118 it is determined that the target pixel belongs to noise, and correction processing as shown in Equation 7 is performed on the target pixel (step S 118).
  • the corrected target pixel is output as a pixel after the noise reduction processing (step
  • step S120 it is determined whether or not the processing is completed for all effective components using the video signal after the noise reduction processing as an effective component (step S120), and determined not to be completed. If so, the process returns to step S110 to repeat the above-described processing. On the other hand, if it is determined that the processing has been completed, the processing returns to the processing shown in FIG. FIG. 36 is a flowchart showing the gradation processing in step S102.
  • FIG. 36 the same number of steps is assigned to the processing steps that are basically the same as the processing shown in FIG. 14 of the first embodiment described above.
  • step S130 the video signal after the noise reduction process is sequentially extracted in units of pixels as an effective component.
  • step S 41 the distance between the target pixel of the active component and the center of the four neighboring areas is calculated.
  • Equation 4 a gradation conversion equation for the target pixel is set (step
  • gradation conversion is performed by applying the gradation conversion formula shown in Formula 4 to the target pixel of the effective component (step S47).
  • step S48 the target pixel on which the gradation processing has been performed is output (step S48).
  • step S131 it is determined whether or not the processing of all video signals after the noise reduction processing has been completed. If it is determined that the processing has not been completed, the process returns to step S130 and described above. On the other hand, if it is determined that the process has been completed, the process returns to the process shown in FIG.
  • the force S adopting a configuration for processing a black and white video signal is not necessarily limited to such a configuration.
  • a configuration for processing a color video signal obtained by the color imaging device force it is possible to employ a configuration for processing a color video signal obtained by the color imaging device force.
  • the tone conversion curve is obtained independently for each region, the degree of freedom is improved, and a high-quality video signal can be obtained even for a scene with a large contrast ratio.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)

Description

明 細 書
画像処理システム、画像処理プログラム
技術分野
[0001] 本発明は、映像信号に対して階調変換を行う画像処理システム、画像処理プロダラ ムに関する。
背景技術
[0002] 映像信号に対する階調処理の手法としては、映像信号に対して単一の階調変換曲 線を用いるスペースインバリアントな手法と、局所領域毎に異なる複数の階調変換曲 線を用いるスペースバリアントな手法と、がある。
[0003] 例えば、特許 3465226号に係る公報には、テクスチャ情報に基づき映像信号を複 数の領域に分割し、領域毎にヒストグラムに基づき階調変換曲線を求めて階調変換 処理を行い、各領域間の距離に基づく重み付け補間を行う技術が記載されている。 これにより、スペースバリアントな階調処理と領域間の連続性の維持とが可能となり、 広ダイナミックレンジの画像に対しても明暗のつぶれを防止した高品位な映像信号を 得ること力 Sでさる。
[0004] また、特開平 8— 56316号公報には、映像信号を高周波成分と低周波成分とに分 離して、低周波成分にコントラスト強調処理を行い、コントラスト強調処理後の低周波 成分を高周波成分と合成する技術が記載されている。このような技術を用いることに より、高周波成分のノイズが強調されるのを防止して、高品位な映像信号を得ること ができる。
[0005] さらに、特開 2004— 128985号公報には、ノイズモデルに基づいてノイズ量をブロ ック単位に推定し、ブロック単位に異なるノイズ低減処理を行う技術が記載されてレ、る 。このような技術を用いることにより、スペースノ リアントなノイズ低減処理を行うことが 可能となり、エッジ成分の劣化が少ない高品位な映像信号を得ることができる。
[0006] 上述したような従来の単一の階調変換曲線を用いるスペースインバリアントな階調 処理の手法では、逆光などの標準的でなレ、状況にお!/、ては適切な映像信号を得る ことができなレヽとレ、う課題がある。 [0007] また、上述した特許 3465226号に係る公報に記載された技術では、ヒストグラムに 基づいて画像毎に階調変換曲線を求めている力 S、ノイズ成分の増加に関しては考慮 されていない。このために、例えば画像内における喑部の割合が大きいときには、ヒ ストグラムに基づく階調変換曲線によって該喑部に広い階調が与えられることになる 、この場合には暗部のノイズが顕著になってしまい、画質的に最適な階調変換処 理が行われなレ、と!/、う課題がある。
[0008] さらに、上述した特開平 8— 56316号公報に記載された技術では、低周波成分の みにコントラスト強調処理が行われるために、エッジ領域などの高周波成分を多く含 む領域では解像感が低下するという課題がある。また、該公報に記載された技術で は、低周波成分とそれ以外とで異なる処理を行っているために、画像全体としての連 続性および統一性が失われてしまうことがあるという課題がある。
[0009] そして、上述した特開 2004— 128985号公報に記載された技術では、ノイズ低減 処理と他の階調処理とが独立しているために、相互を最適に活用することができない という課題がある。
[0010] 本発明は上記事情に鑑みてなされたものであり、スペースインバリアントおよびスぺ ースバリアントな階調処理において、ノイズの増加を抑制しながら、高品位な映像信 号の生成を可能とする画像処理システム、画像処理プログラムを提供することを目的 としている。
[0011] また本発明は、階調処理とノイズ低減処理との両方を行うことができ、かつ全体とし ての高性能化および低コスト化を可能とする画像処理システム、画像処理プログラム を提供することを目白勺として!/、る。
発明の開示
課題を解決するための手段
[0012] 上記の目的を達成するために、本発明による画像処理システムは、映像信号に対 して階調変換を行う画像処理システムにぉレ、て、上記映像信号をノイズに起因する 無効成分とその他の有効成分とに分離する分離手段と、上記有効成分に対して階 調変換を行う変換手段と、上記階調変換がなされた有効成分と上記無効成分とに基 づき階調変換がなされた映像信号を合成する合成手段と、を具備したものである。 [0013] (この発明に対応する実施形態および好まし!/、適用例）
この発明には、実施形態 1、実施形態 2、実施形態 3、および実施形態 4が対応する
[0014] 分離手段は図 1 ,図 2,図 10に示す周波数分解部 109および図 1 ,図 5,図 10に示 す高周波分離部 112および図 15,図 18に示す周波数分解部 804および図 15,図 2 0に示す高周波分離部 806および図 26に示す周波数分解部 1200および図 26,図 28に示す高周波分離部 1201および図 31 ,図 32に示すノイズ低減部 1400および 図 31に示す差分部 1401が、変換手段は図 1 ,図 4,図 10,図 26,図 31に示す変換 特性算出部 111および図 1 ,図 6,図 10,図 26に示す階調処理部 113および図 15, 図 19に示す変換特性算出部 805および図 15,図 21に示す階調処理部 807および 図 31 ,図 33に示す階調処理部 1402が、合成手段は図 1 ,図 9,図 10に示す周波数 合成部 115および図 15に示す周波数合成部 808および図 26に示す周波数合成部 1203および図 31に示す信号合成部 1403が、それぞれ該当する。
[0015] この発明の好ましい適用例は、周波数分解部 109,高周波分離部 112,周波数分 解部 804,高周波分離部 806,周波数分解部 1200,高周波分離部 1201 ,ノイズ低 減部 1400,差分部 1401によって映像信号をノイズに起因する無効成分とその他の 有効成分とに分離し、変換特性算出部 111 ,階調処理部 113,変換特性算出部 80 5,階調処理部 807,階調処理部 1402によって有効成分に対して階調変換を行い、 周波数合成部 115,周波数合成部 808,周波数合成部 1203,信号合成部 1403に よって階調変換がなされた有効成分と無効成分とを合成する画像処理システムであ
[0016] (作用）
映像信号をノイズに起因する無効成分とその他の有効成分とに分離し、有効成分 を階調変換した後に無効成分と合成する。
[0017] (効果）
階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生 成すること力 S可能となる。また、映像信号を無効成分と合成するようにしたために、視 覚的に違和感の少な!/、映像信号を得ることができ、処理の安定性および信頼性を向 上すること力 Sでさる。
[0018] また、本発明による画像処理プログラムは、コンピュータに、映像信号に対して階調 変換を行わせるための画像処理プログラムであって、コンピュータに、上記映像信号 をノイズに起因する無効成分とその他の有効成分とに分離する分離ステップと、上記 有効成分に対して階調変換を行う変換ステップと、上記階調変換がなされた有効成 分と上記無効成分とに基づき階調変換がなされた映像信号を合成する合成ステップ
[0019] (この発明に対応する実施形態および作用、効果）
上記発明と同様である。
図面の簡単な説明
[0020] [図 1]本発明の実施形態 1における画像処理システムの構成を示すブロック図。
[図 2]上記実施形態 1における周波数分解部の構成の一例を示すブロック図。
[図 3A]上記実施形態 1にお!/、て、ウェーブレット (Wavelet)変換を説明するための図 であって、実空間における映像信号を示す図。
[図 3B]上記実施形態 1において、ウェーブレット (Wavelet)変換を説明するための図 であって、 1回目のウェーブレット（Wavelet)変換を行った後の信号を示す図。
[図 3C]上記実施形態 1において、ウェーブレット (Wavelet)変換を説明するための図 であって、 2回目のウェーブレット（Wavelet)変換を行った後の信号を示す図。
[図 4]上記実施形態 1における変換特性算出部の構成の一例を示すブロック図。
[図 5]上記実施形態 1における高周波分離部の構成の一例を示すブロック図。
[図 6]上記実施形態 1における階調処理部の構成の一例を示すブロック図。
[図 7]上記実施形態 1において、階調変換曲線の合成演算における低周波成分の領 域への分割を説明するための図。
[図 8]上記実施形態 1において、階調変換曲線の合成演算における注目画素と近傍 4領域との間の距離 d〜dを説明するための図。
1 4
[図 9]上記実施形態 1における周波数合成部の構成の一例を示すブロック図。
[図 10]上記実施形態 1における画像処理システムの他の構成例を示す図。
[図 11]上記実施形態 1における画像処理プログラムのメインルーチンを示すフローチ ヤー卜。
園 12]上記実施形態 1において、図 11のステップ S3における変換特性算出の処理 を示すフローチャート。
[図 13]上記実施形態 1において、図 11のステップ S4における高周波分離の処理を 示すフローチャート。
[図 14]上記実施形態 1において、図 11のステップ S5における階調処理を示すフロー チャート。
園 15]本発明の実施形態 2における画像処理システムの構成を示すブロック図。 園 16]上記実施形態 2において、べィヤー（Bayer)型原色フィルタの構成を示す図。 園 17]上記実施形態 2において、色差線順次型補色フィルタの構成を示す図。 園 18]上記実施形態 2における周波数分解部の構成の一例を示すブロック図。 園 19]上記実施形態 2における変換特性算出部の構成の一例を示すブロック図。 園 20]上記実施形態 2における高周波分離部の構成の一例を示すブロック図。 園 21]上記実施形態 2における階調処理部の構成の一例を示すブロック図。
[図 22]上記実施形態 2における画像処理プログラムのメインルーチンを示すフローチ ヤー卜。
[図 23]上記実施形態 2において、図 22のステップ S51における変換特性算出の処理 を示すフローチャート。
[図 24]上記実施形態 2において、図 22のステップ S52における高周波分離の処理を 示すフローチャート。
[図 25]上記実施形態 2において、図 22のステップ S53における階調処理を示すフロ 一チャート。
園 26]本発明の実施形態 3における画像処理システムの構成を示すブロック図。
[図 27A]上記実施形態 3において、 DCT (Discrete Cosine Transform)変換を説明す るための図であって、実空間における映像信号を示す図。
[図 27B]上記実施形態 3において、 DCT (Discrete Cosine Transform)変換を説明す るための図であって、 DCT変換後の周波数空間における信号を示す図。
園 28]上記実施形態 3における高周波分離部の構成の一例を示すブロック図。 [図 29]上記実施形態 3における画像処理プログラムのメインルーチンを示すフローチ ヤー卜。
[図 30]上記実施形態 3において、図 29のステップ S80における高周波分離の処理を 示すフローチャート。
[図 31]本発明の実施形態 4における画像処理システムの構成を示すブロック図。
[図 32]上記実施形態 4におけるノイズ低減部の構成の一例を示すブロック図。
[図 33]上記実施形態 4における階調処理部の構成の一例を示すブロック図。
[図 34]上記実施形態 4における画像処理プログラムのメインルーチンを示すフローチ ヤー卜。
[図 35]上記実施形態 4において、図 34のステップ S100におけるノイズ低減の処理を 示すフローチャート。
[図 36]上記実施形態 4において、図 34のステップ S102における階調処理を示すフ ローチャート。 発明を実施するための最良の形態
[0021] 以下、図面を参照して本発明の実施の形態を説明する。
[0022] [実施形態 1]
図 1から図 14は本発明の実施形態 1を示したものであり、図 1は画像処理システム の構成を示すブロック図である。
[0023] この図 1に示す画像処理システムは、撮像部を含む撮像システムとして構成された 例となっている。
[0024] すなわち、この画像処理システムは、レンズ系 100と、絞り 101と、 CCD102と、増 幅部 103と、 A/D変換部（図中では、単に「A/D」と記載する。）104と、バッファ 10 5と、測光評価部 106と、合焦点検出部 107と、 AFモータ 108と、分離手段であり周 波数分解手段たる周波数分解部 109と、バッファ 110と、変換手段であり変換特性算 出手段たる変換特性算出部 111と、分離手段であり高周波分離手段たる高周波分 離部 112と、変換手段であり階調処理手段たる階調処理部 113と、バッファ 114と、 合成手段であり周波数合成手段たる周波数合成部 115と、信号処理部 116と、出力 部 117と、制御手段でありノイズ推定手段と収集手段とを兼ねた制御部 118と、外部 I /F部 119と、温度センサ 120と、を備えている。
[0025] レンズ系 100,絞り 101 , CCD102を介して撮影し出力されたアナログの映像信号 は、増幅部 103によって増幅され、 A/D変換部 104によってデジタル信号へ変換さ れる。
[0026] この A/D変換部 104からの映像信号は、バッファ 105を介して周波数分解部 109 へ転送される。バッファ 105は、測光評価部 106および合焦点検出部 107へも接続 されている。
[0027] 測光評価部 106は、絞り 101と CCD102と増幅部 103とへ接続されている。また、 合焦点検出部 107は、 AFモータ 108へ接続されている。
[0028] 周波数分解部 109からの信号は、バッファ 110へ接続されている。バッファ 110は、 変換特性算出部 111と高周波分離部 112と階調処理部 113とへ接続されている。
[0029] 変換特性算出部 111は、階調処理部 113へ接続されている。高周波分離部 112は
、階調処理部 113とバッファ 114とへ接続されている。階調処理部 113は、バッファ 1
14へ接続されている。
[0030] ノ ッファ 114は、周波数合成部 115と信号処理部 116とを経由して、メモリカードな どの出力部 117へ接続されている。
[0031] 制御部 118は、例えばマイクロコンピュータにより構成されていて、増幅部 103, A /D変換部 104,測光評価部 106,合焦点検出部 107,周波数分解部 109,変換特 性算出部 111 ,高周波分離部 112,階調処理部 113,周波数合成部 115,信号処 理部 116,出力部 117と双方向に接続されており、これらを制御するようになっている
〇
[0032] また、外部 I/F部 119も制御部 118と双方向に接続されている。この外部 I/F部 1
19は、電源スィッチ，シャツタボタン，撮影時の各種モードの切り替えを行うためのモ 一ドボタン等を備えたインタフェースである。
[0033] さらに、温度センサ 120からの信号も制御部 118へ接続されている。この温度セン サ 120は、 CCD102の近傍に配置されていて、該 CCD102の温度を実質的に測定 するためのものである。
[0034] 次に、図 1に示したような画像処理システムの作用を、映像信号の流れに沿って説 明する。
[0035] ユーザは、撮影を行う前に、外部 I/F部 119を介して ISO感度などの撮影条件を
E¾疋 ^る。
[0036] その後、ユーザが、外部 I/F部 119の 2段式スィッチでなるシャツタボタンを半押し すると、この画像処理システムがプリ撮影モードに入る。
[0037] レンズ系 100は、被写体の光学像を CCD102の撮像面へ結像する。
[0038] 絞り 101は、レンズ系 100により結像される被写体光束の通過範囲を規定すること により、 CCD102の撮像面に結像される光学像の明るさを変更する。
[0039] CCD102は、結像される光学像を光電変換して、アナログの映像信号として出力 する。なお、本実施形態においては、 CCD 102として、白黒用単板 CCDを想定して いる。また、撮像素子も、 CCDに限るものではなぐ CMOSやその他の撮像素子を 用いてももちろん構わない。
[0040] こうして CCD102から出力されたアナログ信号は、増幅部 103によって ISO感度を 考慮した所定量だけの増幅が行われた後に、 A/D変換部 104によってデジタル信 号へ変換されてバッファ 105へ転送される。なお、本実施形態においては、デジタル 化された映像信号の階調幅を例えば 12ビットとする。
[0041] このバッファ 105内に記憶された映像信号は、測光評価部 106と、合焦点検出部 1
07と、へそれぞれ転送される。
[0042] 測光評価部 106は、映像信号に基づき、設定された ISO感度，手ぶれ限界のシャ ッタ速度などを考慮して、上述した絞り 101の絞り値や CCD102の電子シャツタ速度 や増幅部 103の増幅率などを適正露光となるように制御する。
[0043] また、合焦点検出部 107は、映像信号に基づき、エッジ強度を検出し、このエッジ 強度が最大となるように AFモータ 108を制御して、合焦信号を得る。
[0044] こうして、焦点調節や露出調節などが行われたところで、ユーザが、外部 I/F部 11
9の 2段式スィッチでなるシャツタボタンを全押しにすると、この画像処理システムが本 撮影モードに入る。
[0045] すると、プリ撮影と同様にして、映像信号がバッファ 105へ転送される。この本撮影 は、測光評価部 106によって求められた露光条件と、合焦点検出部 107によって求 められた合焦条件と、に基づいて行われており、これらの撮影時の条件が制御部 11 8へ転送される。
[0046] 本撮影によって得られたバッファ 105内の映像信号は、周波数分解部 109へ転送 される。
[0047] 周波数分解部 109は、制御部 118の制御に基づき、転送されてきた映像信号に所 定の周波数分解を行い、高周波成分と低周波成分とを取得する。そして、周波数分 解部 109は、得られた高周波成分および低周波成分を順次バッファ 110へ転送する 。なお、本実施形態においては、周波数分解として二回のウェーブレット (Wavelet) 変換を用いることを想定してレ、る。
[0048] 変換特性算出部 111は、制御部 118の制御に基づき、バッファ 110から低周波成 分を読み込み、階調変換処理に用いる階調特性を算出する。なお、本実施形態に おいては、階調変換処理として、局所領域毎に異なる複数の階調特性を用いるスぺ ースバリアントな処理を想定している。そして、変換特性算出部 111は、算出した階 調特性を、階調処理部 113へ転送する。
[0049] 高周波分離部 112は、制御部 118の制御に基づき、バッファ 110から高周波成分 を読み込んで、高周波成分をノイズに起因する無効成分とその他の有効成分とに分 離する。そして、高周波分離部 112は、分離した上記有効成分を階調処理部 113へ 、上記無効成分をバッファ 114へ、それぞれ転送する。
[0050] 階調処理部 113は、制御部 118の制御に基づき、バッファ 110から低周波成分を、 高周波分離部 112から高周波成分中の有効成分を、変換特性算出部 1 11から階調 特性を、それぞれ読み込む。そして、階調処理部 113は、上記階調特性に基づき、 上記低周波成分と上記高周波成分中の有効成分とに対して階調処理を行う。階調 処理部 113は、階調処理がなされた低周波成分と、階調処理がなされた高周波成分 中の有効成分とを、バッファ 114へ転送する。
[0051] 周波数合成部 115は、制御部 118の制御に基づき、バッファ 114から、階調処理が なされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成 分中の無効成分と、を読み込んで、これらに基づき階調変換がなされた映像信号を 合成する。なお、本実施形態においては、周波数合成として逆ウェーブレット (Wavel et)変換を用いることを想定している。そして、周波数合成部 115は、合成した映像信 号を信号処理部 116へ転送する。
[0052] 信号処理部 116は、制御部 118の制御に基づき、周波数合成部 115からの映像信 号に公知の圧縮処理などを行い、処理後の信号を出力部 117へ転送する。
[0053] 出力部 117は、信号処理部 116から出力される映像信号を、メモリカードなどの記 録媒体に記録して保存する。
[0054] 次に、図 2は、周波数分解部 109の構成の一例を示すブロック図である。
[0055] この周波数分解部 109は、データ読取部 200と、ノ ッファ 201と、水平ハイパスフィ ルタ（図中では、単に「水平ノ、ィパス」とのみ記載する。以下同様。）202と、水平ロー パスフィルタ（図中では、単に「水平ローパス」とのみ記載する。以下同様。）203と、 サブサンプラ 204と、サブサンプラ 205と、垂直ハイパスフィルタ（図中では、単に「垂 直ハイパス」とのみ記載する。以下同様。）206と、垂直ローパスフィルタ（図中では、 単に「垂直ローパス」とのみ記載する。以下同様。）207と、垂直ハイパスフィルタ 208 と、垂直ローパスフィルタ 209と、サブサンプラ 210と、サブサンプラ 211と、サブサン プラ 212と、サブサンプラ 213と、切換部 214と、データ転送制御部 215と、基底関数 ROM216と、フィルタ係数読取部 217と、を有して構成されている。
[0056] バッファ 105は、データ読取部 200を介して、バッファ 201へ接続されている。
[0057] ノ ッファ 201は、水平ハイパスフィルタ 202および水平ローパスフィルタ 203へ接続 されている。
[0058] 水平ハイパスフィルタ 202は、サブサンプラ 204を介して垂直ハイパスフィルタ 206 および垂直ローパスフィルタ 207へ接続されている。水平ローパスフィルタ 203は、サ ブサンブラ 205を介して垂直ハイパスフィルタ 208および垂直ローパスフィルタ 209 へ接続されている。
[0059] 垂直ハイパスフィルタ 206はサブサンプラ 210へ、垂直ローパスフィルタ 207はサブ サンプラ 211へ、垂直ハイパスフィルタ 208はサブサンプラ 212へ、垂直ローパスフィ ルタ 209はサブサンプラ 213へ、それぞれ接続されている。
[0060] サブサンプラ 210,サブサンプラ 211 ,サブサンプラ 212は切換部 214へ接続され ている。 [0061] サブサンプラ 213は、切換部 214およびデータ転送制御部 215へ接続されている。 切換部 214は、バッファ 110へ接続されている。データ転送制御部 215は、バッファ 2 01へ接続されている。
[0062] 基底関数 ROM216は、フィルタ係数読取部 217へ接続されている。フィルタ係数 読取部 217は、水平ハイパスフィルタ 202,水平ローパスフィルタ 203,垂直ハイパス フィルタ 206,垂直ローパスフィルタ 207,垂直ハイパスフィルタ 208,垂直ローパスフ ィルタ 209へ、それぞれ接続されている。
[0063] 制御部 118は、データ読取部 200,切換部 214,データ転送制御部 215,フィルタ 係数読取部 217と双方向に接続されて!/、て、これらを制御するようになってレ、る。
[0064] 基底関数 ROM216には、 Harr関数や Daubechies関数などのウェーブレット（Wavel et)変換に用いられるフィルタ係数が記録されている。これらの内の、例えば、 Harr関 数におけるハイパスフィルタの係数を数式 1に、ローパスフィルタの係数を数式 2に、 それぞれ示す。
1コ
ハイパスフィルタ係数 = { 0· 5, - 0. 5 }
2]
ローパスフィルタ係数 = { 0· 5, 0. 5 }
なお、これらのフィルタ係数は、水平方向と垂直方向とに共通して用いられる。
[0065] フィルタ係数読取部 217は、制御部 118の制御に基づき、基底関数 ROM216から フィルタ係数を読み込んで、水平ハイパスフィルタ 202,垂直ハイパスフィルタ 206, 垂直ハイパスフィルタ 208へハイパスフィルタ係数を、水平ローパスフィルタ 203,垂 直ローパスフィルタ 207,垂直ローパスフィルタ 209へローパスフィルタ係数を、それ ぞれ転送する。
[0066] こうして、各ハイパスフィルタおよび各ローパスフィルタへフィルタ係数が転送された 後に、データ読取部 200は、制御部 118の制御に基づき、バッファ 105から映像信 号を読み込んで、バッファ 201へ転送する。なお、これ以後は、バッファ 105から読み 込まれてバッファ 201上に記憶されている映像信号を、 Lとする。
0
[0067] バッファ 201上の映像信号は、水平ハイパスフィルタ 202，水平ローパスフィルタ 20 3,垂直ハイパスフィルタ 206,垂直ローパスフィルタ 207,垂直ハイパスフィルタ 208 ,垂直ローパスフィルタ 209によって水平方向および垂直方向のフィルタリング処理 がなされる。
[0068] ここで、サブサンプラ 204,サブサンプラ 205は、入力映像信号を水平方向に 1/2 にサブサンプリングし、サブサンプラ 210,サブサンプラ 211 ,サブサンプラ 212,サ プサンブラ 213は、入力映像信号を垂直方向に 1/2にサブサンプリングする。
[0069] 従って、サブサンプラ 210の出力は 1回目の変換における斜め方向の高周波成分 Hslを、サブサンプラ 211の出力は 1回目の変換における水平方向の 1次高周波成 分 Hhlを、サブサンプラ 212の出力は 1回目の変換における垂直方向の 1次高周波 lj
成分 Hvlを、サブサンブラ 213の出力は 1回目の変換における 1次低周波成分 L1 を、それぞれ与えることになる。ここに、添え字の i, jは、変換後の 1次の信号における X, y方向の座標をそれぞれ意味している。
[0070] 図 3A〜図 3Cはウェーブレット（Wavelet)変換を説明するための図であり、図 3Aは 実空間における映像信号を、図 3Bは 1回目のウェーブレット (Wavelet)変換を行った 後の信号を、図 3Cは 2回目のウェーブレット (Wavelet)変換を行った後の信号を、そ れぞれ示している。
[0071] 図 3Aに示すような実空間における映像信号に対して、 1回目のウェーブレット変換 を行うと、信号は図 3Bに示すようになる。また、この図 3Bには、低周波成分 L1 に対
00 応する斜め方向の 1次高周波成分 Hsl と、水平方向の 1次高周波成分 Hhl と、垂
00 00 直方向の 1次高周波成分 Hvl と、も示している。
00
[0072] 1回目の変換においては、 1画素の 1次低周波成分 L1に対応する 3つの 1次高周
lj
波成分 Hsl , Hhl , Hvlは、全て 1画素となる。
lj ij ij
[0073] 切換部 214は、制御部 118の制御に基づき、上記 3つの 1次高周波成分 Hsl , Hh
lj
1 , Hvlと、 1次低周波成分 L1と、をバッファ 110へ順次転送する。
ij ij ij
[0074] また、データ転送制御部 215は、制御部 118の制御に基づき、サブサンプラ 213か ら 1次低周波成分 L1をバッファ 201へ転送する。
ij
[0075] ノ ッファ 201上の 1次低周波成分 L1に対して、上述と同様のフィルタリング処理が
ij
なされることにより、 3つの 2次高周波成分 Hs2 , Hh2 , Ην2と、 2次低周波成分 L 2^と、が出力される。ここに、添え字の k, 1は、変換後の 2次の信号における X, y方向 の座標をそれぞれ意味して!/、る。
[0076] 図 3Cは、このような 2回目の変換における信号を示している。
[0077] 図 3Cに示すように、 2回目の変換においては、 1画素の 2次低周波成分 L2 に対
00 応する斜め方向の 2次高周波成分は Hs2 、水平方向の 2次高周波成分は Hh2 、
00 00 垂直方向の 2次高周波成分は Hv2 で全て 1画素となる力 対応する斜め方向の 1次
00
高周波成分は Hsl , Hsl , Hsl , Hsl 、水平方向の 1次高周波成分は Hhl ,
00 10 01 11 00
Hhl , Hhl , Hhl 、垂直方向の 1次高周波成分は Hvl , Hvl , Hvl , Hvl
10 01 11 00 10 01 1 で全て 4画素となる。上述したような過程は、制御部 118の制御に基づいて、所定の
1
n (nは 1以上の整数であり、本実施形態においては上述したように n = 2を想定してい る。 )段階の分解が行われるまで繰り返して行われる。
[0078] 次に、図 4は、変換特性算出部 111の構成の一例を示すブロック図である。
[0079] この変換特性算出部 111は、分割手段たる分割部 300と、バッファ 301と、適正域 抽出手段たる適正域抽出部 302と、関心領域設定手段でありエッジ算出手段たるェ ッジ算出部 303と、ヒストグラム作成手段たるヒストグラム作成部 304と、階調変換曲線 算出手段たる階調変換曲線算出部 305と、バッファ 306と、を有して構成されている
[0080] ノ ッファ 110は、分割部 300を介してバッファ 301へ接続されている。
[0081] ノ ッファ 301は、適正域抽出部 302およびヒストグラム作成部 304へ接続されている
。適正域抽出部 302は、エッジ算出部 303を介してヒストグラム作成部 304へ接続さ れている。
[0082] ヒストグラム作成部 304は、階調変換曲線算出部 305,バッファ 306を介して階調 処理部 113へ接続されて!/、る。
[0083] 制御部 118は、分割部 300,適正域抽出部 302,エッジ算出部 303,ヒストグラム作 成部 304,階調変換曲線算出部 305と双方向に接続されていて、これらを制御する ようになつている。
[0084] 続!/、て、このような変換特性算出部 111の作用につ!/、て説明する。
[0085] 分割部 300は、制御部 118の制御に基づき、バッファ 110から映像信号の低周波 成分を読み込んで、これを図 7に示すような所定サイズの領域、例えば 32 X 32画素 サイズの領域に、各領域同士が重複することのないように分割する。ここに、図 7は、 階調変換曲線の合成演算における低周波成分の領域への分割を説明するための図 である。そして、分割部 300は、分割した領域を、バッファ 301へ順次転送する。
[0086] 適正域抽出部 302は、制御部 118の制御に基づき、バッファ 301から領域単位で 低周波成分を読み込んで、暗部に関する所定の閾値 (一例としての 12ビット階調の 場合には例えば 128)および明部に関する所定の閾値 (この 12ビット階調の場合に は例えば 3968)とそれぞれ比較し、喑部の閾値以上であってかつ明部の閾値以下 となる低周波成分を適正露光域としてエッジ算出部 303へ転送する。
[0087] エッジ算出部 303は、制御部 118の制御に基づき、適正域抽出部 302からの適正 露光域の低周波成分を読み込んで、ラプラシアンフィルタなどを用いて公知のエッジ 強度の算出を行う。エッジ算出部 303は、算出したエッジ強度をヒストグラム作成部 3 04へ転送する。
[0088] ヒストグラム作成部 304は、制御部 118の制御に基づき、エッジ算出部 303からの エッジ強度に関して所定の閾値（上述した 12ビット階調の場合には例えば 64)以上 のエッジ強度のある画素を選別して、バッファ 301から対応する画素位置の低周波 成分を読み込む。そして、ヒストグラム作成部 304は、読み込んだ低周波成分に関し てヒストグラムを作成し、作成したヒストグラムを階調変換曲線算出部 305へ転送する
[0089] 階調変換曲線算出部 305は、制御部 118の制御に基づき、ヒストグラム作成部 304 力、らのヒストグラムを累積し、さらに正規化することにより階調変換曲線を算出する。こ の正規化は、映像信号の階調に従って行われ、上述した 12ビット階調である場合に は 0〜4095の範囲になるように正規化される。階調変換曲線算出部 305は、算出し た階調変換曲線を、ノ ッファ 306へ転送する。
[0090] なお、上述した適正域抽出部 302,エッジ算出部 303,ヒストグラム作成部 304,階 調変換曲線算出部 305における各処理は、制御部 118の制御に基づき、領域単位 で同期して行われるようになつている。
[0091] 次に、図 5は、高周波分離部 112の構成の一例を示すブロック図である。 [0092] この高周波分離部 112は、低周波成分抽出部 400と、ノイズ推定手段であり収集手 段たるゲイン算出部 401と、ノイズ推定手段であり付与手段たる標準値付与部 402と 、ノイズ推定手段であり記録手段たるパラメータ用 ROM403と、ノイズ推定手段であ りパラメータ選択手段たるパラメータ選択部 404と、ノイズ推定手段であり補間手段た る補間部 405と、高周波成分抽出部 406と、設定手段であり平均算出手段たる平均 算出部 407と、設定手段であり上限下限設定手段たる上限下限設定部 408と、判断 手段たる判断部 409と、を有して構成されている。
[0093] バッファ 110は、低周波成分抽出部 400および高周波成分抽出部 406へ接続され ている。低周波成分抽出部 400は、ノ ラメータ選択部 404へ接続されている。
[0094] ゲイン算出部 401 ,標準値付与部 402,パラメータ用 ROM403は、パラメータ選択 部 404へ接続されている。パラメータ選択部 404は、補間部 405を介して上限下限 設定部 408へ接続されて!/、る。
[0095] 高周波成分抽出部 406は、平均算出部 407および判断部 409へ接続されている。
平均算出部 407は、上限下限設定部 408を介して判断部 409へ接続されている。
[0096] 判断部 409は、階調処理部 113およびバッファ 114へ接続されている。
[0097] 制御部 118は、低周波成分抽出部 400,ゲイン算出部 401 ,標準値付与部 402, パラメータ選択部 404,補間部 405,高周波成分抽出部 406,平均算出部 407,上 限下限設定部 408,判断部 409と双方向に接続されていて、これらを制御するように なっている。
[0098] 続いて、このような高周波分離部 112の作用について説明する。
[0099] 低周波成分抽出部 400は、制御部 118の制御に基づき、バッファ 110から低周波 成分を画素単位で順次抽出する。なお、本実施形態においては、ウェーブレット (Wa velet)変換を 2回行うことを想定している。この場合には、低周波成分抽出部 400が ノ ッファ 110から抽出する低周波成分は、図 3Cに示すような 2次低周波成分 L2とな
[0100] ゲイン算出部 401は、制御部 118から転送される ISO感度および露光条件に関す る情報に基づき、増幅部 103におけるゲイン情報を求めて、求めたゲイン情報をパラ メータ選択部 404へ転送する。 [0101] また、制御部 118は、温度センサ 120から CCD102の温度情報を取得して、取得 した温度情報をパラメータ選択部 404へ転送する。
[0102] 標準値付与部 402は、制御部 118の制御に基づき、上記ゲイン情報と温度情報と の少なくとも一方が得られない場合に、得られない情報に関する標準値をパラメータ 選択部 404へ転送する。
[0103] パラメータ選択部 404は、低周波成分抽出部 400からの注目画素の画素値と、ゲイ ン算出部 401または標準値付与部 402からのゲイン情報と、制御部 118または標準 値付与部 402からの温度情報とに基づき、ノイズ量を推定するために使用する基準ノ ィズモデルのパラメータをパラメータ用 ROM403から探索する。そして、ノ ラメータ選 択部 404は、探索したパラメータを補間部 405へ転送する。また、パラメータ選択部 4 04は、低周波成分抽出部 400からの低周波成分の映像信号も補間部 405へ転送 する。
[0104] 補間部 405は、上記基準ノイズモデルのパラメータに基づき上記低周波成分に関 するノイズ量 Nを算出して、算出したノイズ量 Nを上限下限設定部 408へ転送する。
[0105] なお、上述したようなパラメータ用 ROM403,パラメータ選択部 404,補間部 405 によるノイズ量 Nの算出は、具体的には、例えば上述した特開 2004— 128985号公 報に記載されている技術により実現することができる。
[0106] 高周波成分抽出部 406は、制御部 118の制御に基づき、低周波成分抽出部 400 により抽出された低周波成分に対応する高周波成分と、この高周波成分の近傍に位 置する高周波成分と、を抽出する。
[0107] 例えば、低周波成分として、図 3Cに示すような 2次低周波成分 L2 が抽出された
00
場合には、この 2次低周波成分 L2 に対応する高周波成分は、 2次高周波成分であ
00
る Hs2 ， Hh2 ， Hv2 の計 3画素と、 1次高周波成分である Hsl ， Hsl ， Hsl ，
00 00 00 00 10 01
Hsl ， Hhl ， Hhl ， Hhl ， Hhl ， Hvl ， Hvl ， Hvl ， Hvl の計 12画素と
11 00 10 01 11 00 10 01 11
、になる。
[0108] また、高周波成分の近傍に位置する高周波成分としては、対応する高周波成分を 含む例えば 2 X 2画素の領域が選択される。
[0109] 高周波成分抽出部 406は、低周波成分に対応する高周波成分と、この高周波成 分の近傍に位置する高周波成分と、を平均算出部 407へ順次転送するとともに、低 周波成分に対応する高周波成分については判断部 409へ順次転送する。
[0110] 平均算出部 407は、制御部 118の制御に基づき、低周波成分に対応する高周波 成分と、この高周波成分の近傍に位置する高周波成分と、から平均値 AVを算出して 、算出した平均値 AVを上限下限設定部 408へ転送する。
[0111] 上限下限設定部 408は、制御部 118の制御に基づき、平均算出部 407からの平均 値 AVと補間部 405からのノイズ量 Nとを用いて、有効成分と無効成分とを識別する ための上限 App— Upおよび下限 App— Lowを、次の数式 3に示すように設定する。 3コ
App— Up =AV + N/2
App— Low=AV— N/2
上限下限設定部 408は、このようにして設定した上限 App— Upおよび下限 App— Lowを、判断部 409へ転送する。
[0112] 判断部 409は、制御部 118の制御に基づき、高周波成分抽出部 406から低周波成 分に対応する高周波成分を読み込むとともに、上限下限設定部 408から数式 3に示 す上限 App— Upおよび下限 App— Lowを読み込む。そして、判断部 409は、高周 波成分が上限 App— Upと下限 App— Lowとの範囲内（例えば、下限 App— Low以 上かつ上限 App— Up以下の範囲内）にある場合には、該高周波成分がノイズに起 因する無効成分であると判断して、高周波成分をバッファ 114へ転送する。一方、判 断部 409は、高周波成分が上限 App— Upを上回る（上限 App— Upよりも大き!/ヽ）か 、または下限 App— Lowを下回る（下限 App— Lowよりも小さ!/、）かする場合には、 該高周波成分が有効成分であると判断して、高周波成分を階調処理部 113へ転送 する。
[0113] なお、上述した平均算出部 407,上限下限設定部 408,判断部 409における各処 理は、制御部 118の制御に基づき、対応する高周波成分の各画素単位で同期して fiわれるようになって!/、る。
[0114] 次に、図 6は、階調処理部 113の構成の一例を示すブロック図である。 [0115] この階調処理部 113は、第 1の抽出手段たる低周波成分抽出部 500と、距離算出 手段たる距離算出部 501と、階調変換式設定手段たる階調変換式設定部 502と、バ ッファ 503と、第 2の抽出手段たる高周波成分抽出部 504と、階調変換手段たる階調 変換部 505と、を有して構成されている。
[0116] 変換特性算出部 111は、階調変換式設定部 502へ接続されている。
[0117] ノ ッファ 110は、低周波成分抽出部 500へ接続されている。低周波成分抽出部 50 0は、距離算出部 501および階調変換部 505へ接続されている。距離算出部 501は 、階調変換式設定部 502,バッファ 503を介して階調変換部 505へ接続されている。
[0118] 高周波分離部 112は、高周波成分抽出部 504を介して階調変換部 505へ接続さ れている。
[0119] 階調変換部 505は、バッファ 114へ接続されている。
[0120] 制御部 118は、低周波成分抽出部 500,距離算出部 501 ,階調変換式設定部 50 2,高周波成分抽出部 504,階調変換部 505と双方向に接続されていて、これらを制 御するようになっている。
[0121] 続いて、このような階調処理部 113の作用について説明する。
[0122] 低周波成分抽出部 500は、制御部 118の制御に基づき、バッファ 110から低周波 成分を画素単位で順次抽出する。なお、本実施形態においては、上述したように、ゥ エーブレット（Wavelet)変換を 2回行うことを想定している。この場合には、低周波成 分抽出部 500がバッファ 110から抽出する低周波成分の注目画素は、図 3Cに示す ような 2次低周波成分 L2 となる。
[0123] 低周波成分抽出部 500は、抽出した低周波成分を、距離算出部 501および階調 変換部 505へそれぞれ転送する。
[0124] 距離算出部 501は、低周波成分抽出部 500により抽出された注目画素に関して、 該注目画素の近傍に位置する 4つの領域との間の距離を算出する。
[0125] 図 8は、階調変換曲線の合成演算における注目画素と近傍 4領域との間の距離 d
1
〜dを説明するための図である。
4
[0126] 注目画素と近傍 4領域との間の距離は、該注目画素と各領域の中心との間の距離 としてそれぞれ算出される。これ以後は、算出された注目画素と近傍 4領域との間の 各距離を d (m= l〜4)により表し、近傍 4領域の各階調変換曲線を T ()により表す m m
ことにする。距離算出部 501は、算出した距離 dを、階調変換式設定部 502へ転送
m
する。
[0127] 階調変換式設定部 502は、制御部 118の制御に基づき、距離算出部 501から距離 dを読み込むとともに、変換特性算出部 111から対応する近傍 4領域の階調変換曲 m
線 T ()を読み込んで、注目画素に対する階調変換式を次の数式 4に示すように設 m
する。
4]
Figure imgf000021_0001
ここに D =丄 +丄+丄+丄
d、 d d4 ここに、数式 4における Pは階調変換処理の対象となる画素を、 P'は階調変換処理 後の画素を、それぞれ意味している。
[0128] 階調変換式設定部 502は、この数式 4に示すように設定した階調変換式を、バッフ ァ 503へ転送する。
[0129] 一方、高周波成分抽出部 504は、制御部 118の制御に基づき、低周波成分抽出 部 500が抽出した低周波成分に対応する高周波成分を高周波分離部 112から抽出 する。本実施形態においては、低周波成分の注目画素が図 3Cに示す 2次低周波成 分 L2であるとしているために、抽出される高周波成分は、 2次高周波成 Hs2 , Hh2
, Ην2から 1画素毎の計 3画素と、 1次高周波成分 Hsl , Hhl , Hvlから 4画素 kl kl ij ij ij
毎の計 12画素と、になる。そして高周波成分抽出部 504は、抽出した高周波成分を 、階調変換部 505へ転送する。
[0130] その後に、階調変換部 505は、高周波成分抽出部 504からの高周波成分が存在 する場合には、該高周波成分を読み込むとともに、ノ ッファ 503から数式 4に示す階 調変換式を読み込んで、読み込んだ階調変換式に基づき高周波成分に階調変換を 行う。階調変換部 505は、階調変換後の高周波成分を、バッファ 114へ転送する。一 方、階調変換部 505は、対応する高周波成分が無効成分であると判断されて抽出さ れる高周波成分が存在しない場合には、制御部 118の制御に基づき、高周波成分 に対する階調変換を中止する。
[0131] また、階調変換部 505は、低周波成分抽出部 500から低周波成分を、ノ ッファ 503 から数式 4に示す階調変換式を、それぞれ読み込んで、低周波成分に対する階調変 換を行う。階調変換部 505は、階調変換後の低周波成分を、バッファ 114へ転送す
[0132] 次に、図 9は周波数合成部 115の構成の一例を示すブロック図である。
[0133] この周波数合成部 115は、データ読取部 600と、切換部 601と、アップサンプラ 60 2と、アップサンプラ 603と、アップサンプラ 604と、アップサンプラ 605と、垂直ハイパ スフイノレタ 606と、垂直ローパスフィルタ 607と、垂直ハイパスフィルタ 608と、垂直口 一ノ スフィルタ 609と、アップサンプラ 610と、アップサンプラ 611と、水平ハイパスフ イノレタ 612と、水平ローノ スフイノレタ 613と、ノ ッファ 614と、データ転送制卸部 615と 、基底関数 ROM616と、フィルタ係数読取部 617と、を有して構成されている。
[0134] バッファ 114は、データ読取部 600を介して切換部 601へ接続されている。切換部 601は、アップサンプラ 602,アップサンプラ 603,アップサンプラ 604,アップサンプ ラ 605へそれぞれ接続されている。アップサンプラ 602は垂直ハイパスフィルタ 606 へ、アップサンプラ 603は垂直ローパスフィルタ 607へ、アップサンプラ 604は垂直ハ ィパスフィルタ 608へ、アップサンプラ 605は垂直ローパスフィルタ 609へ、接続され ている。
[0135] 垂直ハイパスフィルタ 606および垂直ローパスフィルタ 607はアップサンプラ 610へ 、垂直ハイパスフィルタ 608および垂直ローパスフィルタ 609はアップサンプラ 611へ 、接続されている。アップサンプラ 610は水平ハイパスフィルタ 612へ、アップサンプ ラ 611は水平ローパスフィルタ 613へ、接続されている。水平ハイパスフィルタ 612お よび水平ローパスフィルタ 613は、バッファ 614へ接続されている。ノ ッファ 614は、 信号処理部 116およびデータ転送制御部 615へ接続されて!/、る。
[0136] データ転送制御部 615は、切換部 601へ接続されている。
[0137] 基底関数 ROM616は、フィルタ係数読取部 617へ接続されている。フィルタ係数 読取部 617は、垂直ハイパスフィルタ 606,垂直ローパスフィルタ 607,垂直ハイパス フィルタ 608,垂直ローパスフィルタ 609,水平ハイパスフィルタ 612,水平ローバスフ ィルタ 613へ接続されて!/、る。
[0138] 制御部 118は、データ読取部 600,切換部 601 ,データ転送制御部 615,フィルタ 係数読取部 617と双方向に接続されて!/、て、これらを制御するようになってレ、る。
[0139] 続いて、このような周波数合成部 115の作用について説明する。
[0140] 基底関数 ROM616には、 Harr関数や Daubechies関数などの逆ウェーブレット（Wa velet)変換に用いられるフィルタ係数が記録されて!/、る。
[0141] フィルタ係数読取部 617は、制御部 118の制御に基づき、基底関数 ROM616から フィルタ係数を読み込んで、垂直ハイパスフィルタ 606,垂直ハイパスフィルタ 608, 水平ハイパスフィルタ 612へハイパスフィルタ係数を、垂直ローパスフィルタ 607,垂 直ローパスフィルタ 609,水平ローパスフィルタ 613へローパスフィルタ係数を、それ ぞれ転送する。
[0142] フィルタ係数が転送された後に、データ読取部 600は、制御部 118の制御に基づ き、バッファ 114から階調処理がなされた低周波成分と階調処理がなされた n段階の 高周波成分中の有効成分と n段階の高周波成分中の無効成分とを読み込んで、切 換部 601へ転送する。なお、階調処理がなされた n段階の高周波成分中の有効成分 と n段階の高周波成分中の無効成分とは、データ読取部 600により読み取られた時 点で、一体化された n段階の高周波成分となる。
[0143] 切換部 601は、制御部 118の制御に基づき、斜め方向の高周波成分をアップサン プラ 602を介して垂直ハイパスフィルタ 606へ、水平方向の高周波成分をアップサン プラ 603を介して垂直ローパスフィルタ 607へ、垂直方向の高周波成分をアップサン プラ 604を介して垂直ハイパスフィルタ 608へ、低周波成分をアップサンプラ 605を 介して垂直ローパスフィルタ 609へそれぞれ転送し、垂直方向のフィルタリング処理 を実行させる。
[0144] 垂直ハイパスフィルタ 606および垂直ローパスフィルタ 607からの周波数成分はァ ップサンプラ 610を介して水平ハイパスフィルタ 612へ、垂直ハイパスフィルタ 608お よび垂直ローパスフィルタ 609からの周波数成分はアップサンプラ 611を介して水平 ローパスフィルタ 613へ転送され、水平方向のフィルタリング処理がなされる。 [0145] 水平ハイパスフィルタ 612および水平ローパスフィルタ 613からの周波数成分がバ ッファ 614へ転送されて一つに合成されることにより、（n— 1)段階の低周波成分が生 成される。
[0146] ここで、アップサンプラ 602,アップサンプラ 603,アップサンプラ 604,アップサン ブラ 605は入力周波数成分を垂直方向に 2倍にアップサンプリングし、アップサンプ ラ 610,アップサンブラ 611は入力周波数成分を水平方向に 2倍にアップサンプリン グする。
[0147] データ転送制御部 615は、制御部 118の制御に基づき、低周波成分を切換部 601 へ転送する。
[0148] データ読取部 600は、制御部 118の制御に基づき、バッファ 114から（n— 1)段階 の斜め，水平，垂直方向の三種類の高周波成分を読み込んで、切換部 601へ転送 する。そして、分解の段階数 (n—l)の周波数成分に対して、上述と同様のフィルタリ ング処理がなされることにより n— 2段階の低周波成分がバッファ 614へ出力される。
[0149] 上述したような過程は、制御部 118により所定の n段階の合成が行われるまで繰り 返して行われる。これにより、最終的にバッファ 614には 0段階の低周波成分が出力 され、この 0段階の低周波成分を階調変換がなされた映像信号として信号処理部 11 6へ転送する。
[0150] なお、上述ではレンズ系 100,絞り 101 , CCD102,増幅部 103, A/D変換部 10 4,測光評価部 106,合焦点検出部 107, AFモータ 108,温度センサ 120を含む撮 像部を一体化した構成の画像処理システムにつ!/、て説明したが、画像処理システム としてはこのような構成に限定される必要はない。例えば、図 10に示すように、撮像 部が別体であっても構わない。すなわち、図 10に示す画像処理システムは、別体の 撮像部により撮像され、未処理のロー（Raw)データ形態でメモリカード等の記録媒体 に記録された映像信号を、該記録媒体から読み出して処理するものとなっている。た だし、このときには、撮影時の撮像素子の温度や露光条件などの映像信号に係る付 随情報が、ヘッダ部等に記録されているものとする。なお、別体の撮像部から画像処 理システムへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を 介して行うようにしても構わない。 [0151] ここに、図 10は画像処理システムの他の構成例を示す図である。
[0152] この図 10に示す画像処理システムは、図 1に示した画像処理システムから、レンズ 系 100,絞り 101 , CCD102,増幅部 103, A/D変換部 104,測光評価部 106,合 焦点検出部 107, AFモータ 108,温度センサ 120を省略して、入力部 700,ヘッダ 情報解析部 701を追加した構成となっている。この図 10に示す画像処理システムに おけるその他の基本的な構成は図 1に示したものと同様であるために、同一の構成 には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についての み説明する。
[0153] 入力部 700は、バッファ 105およびヘッダ情報解析部 701へ接続されている。制御 部 118は、入力部 700,ヘッダ情報解析部 701と双方向に接続されていて、これらを 制御するようになっている。
[0154] 次に、この図 10に示す画像処理システムにおいて異なる作用は、以下のようになつ ている。
[0155] 例えばマウスやキーボードなどの外部 I/F部 119を介して再生操作を開始すると、 メモリカードなどの記録媒体に保存された映像信号およびヘッダ情報が、入力部 70
Figure imgf000025_0001
[0156] 入力部 700から読み込まれた情報の内の、映像信号はバッファ 105へ、ヘッダ情報 はヘッダ情報解析部 701へ、それぞれ転送される。
[0157] ヘッダ情報解析部 701は、入力部 700から転送されたヘッダ情報に基づき、撮影 時の情報 (すなわち、上述したような露光条件、撮像素子の温度など)を抽出して制 御部 118へ転送する。
[0158] これ以後の処理は、図 1に示したような画像処理システムと同様である。
[0159] さらに、上述ではハードウェアによる処理を前提としていた力 このような構成に限 定されるものでもない。例えば、 CCD102からの映像信号を未処理のままのロー（Ra w)データとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随 情報 (例えば、制御部 118からの撮影時の撮像素子の温度や露光条件など）をへッ ダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プ ログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、 処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、 記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
[0160] 図 11は、画像処理プログラムのメインルーチンを示すフローチャートである。
[0161] この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度や露
Figure imgf000026_0001
[0162] 次に、ウェーブレット (Wavelet)変換などの周波数分解を行って、高周波成分と低 周波成分とを取得する（ステップ S2)。
[0163] 続いて、後で図 12を参照して説明するように、変換特性を算出する (ステップ S3)。
[0164] さらに、後で図 13を参照して説明するように、高周波成分をノイズに起因する無効 成分とその他の有効成分とに分離する (ステップ S4)。
[0165] そして、後で図 14を参照して説明するように、低周波成分と高周波成分中の有効 成分とに対して階調処理を行う（ステップ S 5)。
[0166] 次に、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有 効成分と、高周波成分中の無効成分と、に基づき、階調変換がなされた映像信号を 合成する（ステップ S6)。
[0167] 続いて、公知の圧縮処理などの信号処理を行う（ステップ S 7)。
[0168] そして、処理後の映像信号を出力して (ステップ S8)、この処理を終了する。
[0169] 図 12は、上記ステップ S3における変換特性算出の処理を示すフローチャートであ
[0170] この処理を開始すると、図 7に示すように、低周波成分を所定サイズの領域に分割 して順次抽出する（ステップ S 10)。
[0171] 次に、低周波成分を暗部に関する所定の閾値および明部に関する所定の閾値とそ れぞれ比較して、暗部の閾値以上であってかつ明部の閾値以下となる低周波成分を 適正露光域として抽出する (ステップ S 11)。
[0172] 続いて、適正露光域の低周波成分に対してラプラシアンフィルタを用いるなどして、 公知のエッジ強度の算出を行う（ステップ S12)。
[0173] そして、所定の閾値以上のエッジ強度のある画素を選別して、ヒストグラムを作成す る（ステップ S 13)。 [0174] その後、ヒストグラムを累積してさらに正規化することにより、階調変換曲線を算出す る（ステップ S 14)。
[0175] こうして算出した階調変換曲線を出力する (ステップ S15)。
[0176] 続いて、全ての領域についての処理が完了したか否かを判断して（ステップ S16)、 完了していないと判断した場合には上記ステップ S10へ戻って上述したような処理を 繰り返して行い、一方、完了したと判断した場合には図 11に示した処理へリターンす
[0177] 図 13は、上記ステップ S4における高周波分離の処理を示すフローチャートである。
[0178] この処理を開始すると、まず、低周波成分を画素単位で順次抽出する（ステップ S2 0)。
[0179] 次に、読み込まれたヘッダ情報から、撮像素子の温度，ゲインなどの情報を設定す る。ここでもし、ヘッダ情報に必要なパラメータが存在しない場合には、その情報に対 して所定の標準値を割り当てる (ステップ S21)。
[0180] 続いて、基準ノイズモデルに関するパラメータを読み込む (ステップ S22)。
[0181] そして、基準ノイズモデルのパラメータに基づき、低周波成分に関するノイズ量を補 間処理によって算出する（ステップ S23)。
[0182] その後、図 3Bまたは図 3Cに示すように、低周波成分に対応する高周波成分と、こ の高周波成分の近傍に位置する高周波成分と、を順次抽出する (ステップ S24)。
[0183] 次に、低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する高 周波成分と、力も平均値を算出する (ステップ S25)。
[0184] 続いて、平均値とノイズ量とに基づいて、数式 3に示したように上限および下限を設 定する（ステップ S26)。
[0185] そして、高周波成分が上限と下限との範囲内にある場合にはノイズに起因する無効 成分であると判断し、上限を上回る力、または下限を下回るかする場合には有効成分 であると判断する（ステップ S27)。
[0186] さらに、有効成分と無効成分とを分離して出力する（ステップ S28)。
[0187] そして、全ての高周波成分の処理が完了したか否かを判断し (ステップ S29)、完了 して!/、な!/、と判断した場合には上記ステップ S24へ戻って上述したような処理を繰り 返して行う。
[0188] 一方、このステップ S29において、全ての高周波成分の処理が完了したと判断した 場合には、全ての低周波成分の処理が完了したか否かを判断し (ステップ S30)、完 了していないと判断した場合には上記ステップ S20へ戻って上述したような処理を繰 り返して行い、一方、完了したと判断した場合には図 11に示した処理へリターンする
〇
[0189] 図 14は、上記ステップ S5における階調処理を示すフローチャートである。
[0190] この処理を開始すると、まず、低周波成分を画素単位で順次抽出する（ステップ S4 0)。
[0191] 次に、図 8に示すように、低周波成分の注目画素とその近傍 4領域の中心との間の 距離を算出する (ステップ S41)。
[0192] 続!/、て、近傍 4領域における階調変換曲線を読み込む (ステップ S42)。
[0193] さらに、数式 4に示したように、注目画素に対する階調変換式を設定する（ステップ
S43)。
[0194] そして、図 3Bまたは図 3Cに示すように、低周波成分に対応する、有効成分とされる 高周波成分を順次抽出する（ステップ S44)。
[0195] その後、有効成分とされる高周波成分が存在するか否かを判断する（ステップ S45
)。
[0196] ここで、有効成分とされる高周波成分が存在すると判断した場合には、有効成分と される高周波成分に対して数式 4に示した階調変換式を適用して階調変換を行う（ス テツプ S46)。
[0197] このステップ S46の処理が終了する力、、または、上記ステップ S45において、有効 成分とされる高周波成分が存在して!/、な!/、と判断した場合には、低周波成分に対し て数式 4に示した階調変換式を適用して階調変換を行う (ステップ S47)。
[0198] そして、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の 有効成分と、を出力する (ステップ S48)。
[0199] その後、全ての低周波成分の処理が完了したか否かを判断し (ステップ S49)、完 了していないと判断した場合には上記ステップ S40へ戻って上述したような処理を繰 り返して行い、一方、完了したと判断した場合には図 11に示した処理へリターンする
[0200] なお、上述にお!/、ては周波数分解および周波数合成にウェーブレット（Wavelet)変 換を用いる構成を採用していた力 S、このような構成に限定される必要はない。例えば 、フーリエ（Fourier)変換、または DCT (Discrete Cosine Transform)変換などの、公 知の周波数分解や周波数合成のための変換を用いるように構成することも可能であ
[0201] また、上述ではウェーブレット（Wavelet)変換の変換回数を 2回としていたが、このよ うな構成に限定される必要はない。例えば変換回数を増やすことによりノイズに起因 する無効成分とその他の有効成分との分離能を向上させたり、あるいは変換回数を 減らすことにより画像の統一性を向上させたりするように構成することが可能である。
[0202] このような実施形態 1によれば、視覚的にノイズの影響が顕著となる高周波成分の みを無効成分と有効成分とに分離して、有効成分には階調処理を行!、無効成分に は階調処理を行わなレ、ことで、階調処理に伴うノイズの増加を抑制するようにしたた めに、高品位な映像信号を生成することが可能となる。
[0203] また、有効成分と無効成分とに分離して処理する対象から低周波成分を外したた めに、処理に伴う副作用の発生が少なくなり、安定性を向上することができる。
[0204] さらに、映像信号を無効成分と合成するようにしたために、視覚的に違和感の少な い映像信号を得ることができ、処理の安定性および信頼性を向上することができる。
[0205] また、ウェーブレット (Wavelet)変換は周波数の分離能に優れているために、高精 度な処理を行うことが可能となる。
[0206] 映像信号の低周波成分から適用的かつ領域毎に独立して階調変換曲線を求める ようにしたために、多様な映像信号に対して高精度な階調変換を行うことが可能とな
[0207] また、低周波成分に基づき階調変換曲線を算出するようにしたために、ノイズによる 影響の少ない適切な階調変換曲線を算出することが可能となる。
[0208] 同一位置にある低周波成分と高周波成分の中の有効成分とに対して、変換特性が 等しい階調変換を行うようにしたために、視覚的に違和感のない統一感のある映像 信号を得ること力 Sできる。
[0209] また、領域毎に独立して求めた階調変換曲線を合成して注目画素の階調変換に 用いる階調変換式を設定するようにしたために、領域間における不連続性が発生す ることはなく、高品位な映像信号を得ることができる。
[0210] そして、高周波成分中の有効成分が存在しない場合には、不要な階調変換を中止 するようにしたために、処理速度を向上することが可能となる。
[0211] [実施形態 2]
図 15から図 25は本発明の実施形態 2を示したものであり、図 15は画像処理システ ムの構成を示すブロック図である。
[0212] この実施形態 2において、上述の実施形態 1と同様である部分については同一の 符号を付して説明を省略し、主として異なる点についてのみ説明する。
[0213] 本実施形態の画像処理システムは、上述した実施形態 1の図 1に示した画像処理 システムに、プレホワイトバランス部 801 , Y/C分離手段たる Y/C分離部 802,バッ ファ 803, Y/C合成手段たる Y/C合成部 809を追加し、 CCD102,周波数分解部 109,変換特性算出部 111 ,高周波分離部 112,階調処理部 113,周波数合成部 1 15をカラー CCD800,分離手段であり周波数分解手段たる周波数分解部 804,変 換手段であり変換特性算出手段たる変換特性算出部 805,分離手段であり高周波 分離手段たる高周波分離部 806,変換手段であり階調処理手段たる階調処理部 80 7,合成手段であり周波数合成手段たる周波数合成部 808にそれぞれ置換した構成 になっている。その他の基本的な構成は上述した実施形態 1と同様であるために、同 一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分に ついてのみ説明する。
[0214] レンズ系 100,絞り 101 ,カラー CCD800を介して撮影されたカラー映像信号は、 増幅部 103へ転送される。
[0215] バッファ 105は、測光評価部 106,合焦点検出部 107,プレホワイトバランス部 801
, Y/C分離部 802へ接続されている。
[0216] プレホワイトバランス部 801は、増幅部 103へ接続されている。
[0217] Y/C分離部 802はバッファ 803へ、バッファ 803は周波数分解部 804,変換特性 算出部 805, Y/C合成部 809へ接続されている。
[0218] 周波数分解部 804は、バッファ 110へ接続されている。バッファ 110は、変換特性 算出部 805,高周波分離部 806,階調処理部 807へ接続されている。変換特性算 出部 805は、階調処理部 807へ接続されている。高周波分離部 806は、バッファ 11 4および階調処理部 807へ接続されている。階調処理部 807は、バッファ 114へ接 続されている。
[0219] バッファ 114は、周波数合成部 808, Y/C合成部 809を介して信号処理部 116へ 接続されている。
[0220] 制御部 118は、プレホワイトバランス部 801 , Y/C分離部 802,周波数分解部 804 ,変換特性算出部 805,高周波分離部 806,階調処理部 807,周波数合成部 808, Y/C合成部 809とも双方向に接続されていて、これらも制御するようになっている。
[0221] また、本実施形態の温度センサ 120は、上述したカラー CCD800の近傍に配置さ れて!/、て、この温度センサ 120からの信号も制御部 118 接続されて!/、る。
[0222] 次に、図 15に示したような画像処理システムの作用は、基本的に実施形態 1と同様 であるために、映像信号の流れに沿って主として異なる部分についてのみ説明する
[0223] ユーザが、外部 I/F部 119の 2段式スィッチでなるシャツタボタンを半押しすると、こ の画像処理システムがプリ撮影モードに入る。
[0224] すると、レンズ系 100,絞り 101 ,カラー CCD800を介して撮影されたカラー映像信 号力 増幅部 103, A/D変換部 104を介してバッファ 105へ転送される。なお、本 実施形態においては、カラー CCD800として、べィヤー（Bayer)型原色フィルタを前 面に配置した単板 CCDを想定している。
[0225] ここに、図 16は、べィヤー（Bayer)型原色フィルタの構成を示す図である。
[0226] べィヤー（Bayer)型の原色フィルタは、 2 X 2画素を基本単位として、この基本単位 内の対角する画素位置に赤 (R) ,青（B)フィルタが 1つずつ、残りの対角する画素位 置に緑 (G)フィルタがそれぞれ、配置されたものとなって!/、る。
[0227] 続いて、バッファ 105内のカラー映像信号は、プレホワイトバランス部 801 転送さ れる。プレホワイトバランス部 801は、所定レベルの信号を色信号毎に積算する（つま り、累計的に加算する）ことにより、簡易ホワイトバランス係数を算出する。プレホワイト ノ ランス部 801は、算出した係数を増幅部 103へ転送して、色信号毎に異なるゲイン を乗算させることにより、ホワイトバランスを行わせる。
[0228] こうして、焦点調節や露出調節、簡易ホワイトバランス調節などが行われたところで
、ユーザが、外部 I/F部 119の 2段式スィッチでなるシャツタボタンを全押しすると、こ のデジタルカメラが本撮影モードに入る。
[0229] すると、プリ撮影と同様にして、カラー映像信号がバッファ 105へ転送される。このと きにプレホワイトバランス部 801によって求められたホワイトバランス係数は、制御部 1
18へ転送される。
[0230] 本撮影によって得られたバッファ 105内のカラー映像信号は、 Y/C分離部 802へ 転送される。
[0231] Y/C分離部 802は、制御部 118の制御に基づき、公知の補間処理により R, G, B の三板からなるカラー映像信号を生成し、さらに、 R, G, B信号を次の数式 5に示す ように輝度信号 Yおよび色差信号 Cb, Crへ分離する。
5コ
Y = 0. 29900R+ 0. 58700G + 0. 11400B
Cb=— 0. 16874R-0. 33126G + 0. 50000B
Cr= 0. 50000R-0. 41869G— 0. 08131B
[0232] Y/C分離部 802により分離された輝度信号および色差信号は、バッファ 803へ転 送される。
[0233] 周波数分解部 804は、制御部 118の制御に基づき、バッファ 105内の輝度信号に 対して周波数分解を行い、高周波成分と低周波成分とを取得する。そして、周波数 分解部 804は、得られた高周波成分と低周波成分とを順次バッファ 110へ転送する
[0234] 変換特性算出部 805は、制御部 118の制御に基づき、バッファ 110から低周波成 分を、バッファ 803から色差信号を、それぞれ読み込んで、階調変換処理に用いる 階調特性を算出する。なお、本実施形態においては、階調変換処理として、映像信 号に対して単一の階調変換曲線を用いるスペースインバリアントな処理を想定してい る。そして、変換特性算出部 805は、算出した階調特性を、階調処理部 807へ転送 する。
[0235] 高周波分離部 806は、制御部 118の制御に基づき、バッファ 110から高周波成分 を読み込んで、高周波成分をノイズに起因する無効成分とその他の有効成分とに分 離する。そして、高周波分離部 806は、分離した上記有効成分を階調処理部 807へ 、上記無効成分をバッファ 114へ、それぞれ転送する。
[0236] 階調処理部 807は、制御部 118の制御に基づき、バッファ 110から低周波成分を、 高周波分離部 806から高周波成分中の有効成分を、変換特性算出部 805から階調 特性を、それぞれ読み込む。そして、階調処理部 807は、上記階調特性に基づき、 上記低周波成分と上記高周波成分中の有効成分とに対して階調処理を行う。階調 処理部 807は、階調処理がなされた低周波成分と、階調処理がなされた高周波成分 中の有効成分とを、バッファ 114へ転送する。
[0237] 周波数合成部 808は、制御部 118の制御に基づき、バッファ 114から、階調処理が なされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成 分中の無効成分と、を読み込んで、これらに基づき加算処理することにより階調変換 カ¾された輝度信号を合成する。そして、周波数合成部 808は、合成した輝度信号 を Y/C合成部 809へ転送する。
[0238] Y/C合成部 809は、制御部 118の制御に基づき、周波数合成部 808から階調変 換がなされた輝度信号 Y'を、バッファ 803から色差信号 Cb, Crを、それぞれ読み込 んで、次の数式 6に示すように、階調変換がなされたカラー映像信号 R' , G' ， B'を 合成する。
6コ
R' =Υ' + 1. 40200Cr
G' =Υ' -0. 34414Cb-0. 71414Cr
B' =Υ' + 1. 77200Cb
[0239] Y/C合成部 809は、合成したカラー映像信号 R' , G' ， B'を、信号処理部 116へ 転送する。
[0240] 信号処理部 116は、制御部 118の制御に基づき、 Y/C合成部 809からの映像信 号に公知の圧縮処理などを行い、処理後の信号を出力部 117へ転送する。
[0241] 出力部 117は、信号処理部 116から出力される映像信号を、メモリカードなどの記 録媒体に記録して保存する。
[0242] 次に、図 18は、周波数分解部 804の構成の一例を示すブロック図である。
[0243] この周波数分解部 804は、信号抽出部 900と、ローパスフィルタ部 901と、低周波 用ノ ッファ 902と、差分フィルタ部 903と、を有して構成されている。
[0244] ノ ッファ 803は、信号抽出部 900へ接続されている。信号抽出部 900は、ローパス フィルタ部 901および差分フィルタ部 903へ接続されている。ローパスフィルタ部 901 は、低周波用バッファ 902へ接続されている。低周波用バッファ 902は、差分フィルタ 部 903へ接続されている。差分フィルタ部 903は、バッファ 110へ接続されている。
[0245] 制御部 118は、信号抽出部 900, ローパスフィルタ部 901 ,差分フィルタ部 903と双 方向に接続されていて、これらを制御するようになっている。
[0246] 続!/、て、このような周波数分解部 804の作用につ!/、て説明する。
[0247] 信号抽出部 900は、制御部 118の制御に基づき、バッファ 803から輝度信号を読 み込んで、ローパスフィルタ部 901と差分フィルタ部 903とへ転送する。
[0248] ローパスフィルタ部 901は、制御部 118の制御に基づき、信号抽出部 900からの輝 度信号に対して公知のローパスフィルタ処理を行い、輝度信号の低周波成分を算出 する。なお、本実施形態においては、ローパスフィルタ部 901が用いるローパスフィル タとして、例えば 7 X 7画素サイズの平均値フィルタを想定している。ローパスフィルタ 部 901は、算出した低周波成分を、低周波用バッファ 902へ転送する。
[0249] 差分フィルタ部 903は、信号抽出部 900から輝度信号を読み込むとともに、低周波 用バッファ 902から輝度信号の低周波成分を読み込んで、これらの差分をとることに より、輝度信号の高周波成分を算出する。差分フィルタ部 903は、算出した高周波成 分と、読み込んだ低周波成分とを、バッファ 110へ転送する。
[0250] 次に、図 19は、変換特性算出部 805の構成の一例を示すブロック図である。
[0251] この変換特性算出部 805は、上述した実施形態 1の図 4に示した変換特性算出部 111に、関心領域設定手段たる色相算出部 1000, 関心領域設定手段たる人物判 断部 1001 ,重み係数設定手段たる重み係数設定部 1002,ヒストグラム補正手段た るヒストグラム補正部 1003を追加し、分割部 300, ッファ 301を削除した構成にな つている。その他の基本的な構成は図 4に示した変換特性算出部 111と同様である ために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異 なる部分につ!/、てのみ説明する。
[0252] バッファ 803およびバッファ 110は、適正域抽出部 302へ接続されている。適正域 抽出部 302は、エッジ算出部 303および色相算出部 1000 接続されている。
[0253] 色相算出部 1000は、人物判断部 1001 ,重み係数設定部 1002を介してヒストグラ ム補正部 1003へ接続されている。
[0254] ヒストグラム作成部 304は、ヒストグラム補正部 1003 接続されている。
[0255] ヒストグラム補正部 1003は、階調変換曲線算出部 305,バッファ 306を介して階調 処理部 807 接続されている。
[0256] 制御部 118は、色相算出部 1000,人物判断部 1001 ,重み係数設定部 1002,ヒ ストグラム補正部 1003とも双方向に接続されていて、これらも制御するようになって いる。
[0257] 続いて、このような変換特性算出部 805の作用について説明する。
[0258] 適正域抽出部 302は、制御部 118の制御に基づき、バッファ 110から輝度信号を 読み込んで、暗部に関する所定の閾値 (一例としての 12ビット階調の場合には例え ば 128)および明部に関する所定の閾値 (この 12ビット階調の場合には例えば 3968
)とそれぞれ比較し、暗部の閾値以上であってかつ明部の閾値以下となる輝度信号 を適正露光域としてエッジ算出部 303 転送する。
[0259] また、適正域抽出部 302は、適正露光域の輝度信号と対応する座標の色差信号 C b, Crをバッファ 803から読み込んで、色相算出部 1000へ転送する。
[0260] エッジ算出部 303およびヒストグラム作成部 304は、上述した実施形態 1と同様にし て、輝度信号からエッジ部のヒストグラムを作成し、作成したヒストグラムをヒストグラム 補正部 1003 転送する。
[0261] 色相算出部 1000は、制御部 118の制御に基づき、適正域抽出部 302から色差信 号 Cb, Crを読み込んで、所定の閾値と比較することにより肌色領域を抽出し、この結 果を人物判断部 1001 転送する。 [0262] 人物判断部 1001は、制御部 118の制御に基づき、色相算出部 1000からの肌色 領域とエッジ算出部 303からのエッジ量の情報とを用いて、人物の顔と判断される領 域を抽出し、この結果を重み係数設定部 1002へ転送する。
[0263] 重み係数設定部 1002は、制御部 118の制御に基づき、人物の顔と判断される領 域内の輝度情報を求めて、これに所定の係数を乗算することにより各輝度レベルに 関する補正用の重み係数を算出する。なお、人物の顔と判断される領域内に存在し ない輝度レベルに関しては、上記重み係数は 0となる。重み係数設定部 1002は、算 出した重み係数を、ヒストグラム補正部 1003へ転送する。
[0264] ヒストグラム補正部 1003は、制御部 118の制御に基づき、ヒストグラム作成部 304か らヒストグラムを読み込むとともに、重み係数設定部 1002から重み係数を読み込んで 、ヒストグラムの各輝度レベルに対して重み係数を加算することにより補正を行う。補 正されたヒストグラムは、階調変換曲線算出部 305へ転送され、上述した実施形態 1 と同様に階調変換曲線が算出される。
[0265] 算出された階調変換曲線は、バッファ 306へ転送され，必要に応じて階調処理部 8 07へ転送される。なお、本実施形態においては、スペースインバリアントな処理を想 定しているために、算出される階調変換曲線は 1種類となる。
[0266] 次に、図 20は、高周波分離部 806の構成の一例を示すブロック図である。
[0267] この高周波分離部 806は、上述した実施形態 1の図 5に示した高周波分離部 112 に、ノイズ推定手段でありテーブル変換手段たるノイズ LUT1100を追加し、ノ ラメ一 タ用 ROM403,パラメータ選択部 404,補間部 405を削除した構成になっている。そ の他の基本的な構成は図 5に示した高周波分離部 112と同様であるために、同一の 構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分につい てのみ説明する。
[0268] 低周波成分抽出部 400,ゲイン算出部 401 ,標準値付与部 402は、ノイズ LUT11 00へ接続されている。ノイズ LUT1100は、上限下限設定部 408へ接続されている。
[0269] 判断部 409は、階調処理部 807およびバッファ 114へ接続されている。
[0270] 制御部 118は、ノイズ LUT1100とも双方向に接続されて、これも制御するようにな つている。 [0271] 続いて、このような高周波分離部 806の作用について説明する。
[0272] ゲイン算出部 401は、制御部 118から転送される ISO感度、露光条件に関する情 報、およびホワイトバランス係数に基づき、増幅部 103におけるゲイン情報を求めて、 ノイズ LUT1100へ転送する。
[0273] また、制御部 118は、温度センサ 120からカラー CCD800の温度情報を取得して、 取得した温度情報をノイズ LUT1100へ転送する。
[0274] 標準値付与部 402は、制御部 118の制御に基づき、上記ゲイン情報と温度情報と の少なくとも一方が得られない場合に、得られない情報に関する標準値をノイズ LUT
1100へ転送する。
[0275] ノイズ LUT1100は、映像信号の信号値レベル，映像信号のゲイン，撮像素子の 動作温度と、ノイズ量と、の間の関係を記録したルックアップテーブルである。このル ックアップテーブルは、例えば上述した特開 2004— 128985号公報に記載されてい る技術を用いて設計される。ノイズ LUT1100は、低周波成分抽出部 400からの注目 画素の画素値と、ゲイン算出部 401または標準値付与部 402からのゲイン情報と、制 御部 118または標準値付与部 402からの温度情報とに基づき、ノイズ量を出力する。 出力されたノイズ量は、上限下限設定部 408へ転送される。
[0276] 高周波成分抽出部 406は、制御部 118の制御に基づき、低周波成分抽出部 400 により抽出された低周波成分に対応する高周波成分と、この高周波成分の近傍に位 置する高周波成分と、を抽出する。
[0277] なお、本実施形態においては、周波数分解部 804が上述したようにローパスフィル タと差分フィルタとを用いて低周波成分と高周波成分とを抽出しているために、低周 波成分と高周波成分との画素構成は同サイズであり、低周波成分に対応する高周波 成分は 1画素となる。
[0278] これ以後の高周波分離部 806の作用は、上述した実施形態 1の高周波分離部 112 と同様であって、高周波成分を有効成分と無効成分とに分離して、有効成分を階調 処理部 807へ、無効成分をバッファ 114へ、それぞれ転送する。
[0279] 次に、図 21は、階調処理部 807の構成の一例を示すブロック図である。
[0280] この階調処理部 807は、上述した実施形態 1の図 6に示した階調処理部 113から、 距離算出部 501 ,階調変換式設定部 502, ノ ッファ 503を削除した構成になってい る。その他の基本的な構成は図 6に示した階調処理部 113と同様であるために、同 一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分に ついてのみ説明する。
[0281] 変換特性算出部 805は、階調変換部 505へ接続されている。
[0282] バッファ 110は、低周波成分抽出部 500を介して階調変換部 505へ接続されてい る。高周波分離部 806は、高周波成分抽出部 504を介して階調変換部 505へ接続 されている。
[0283] 制御部 118は、低周波成分抽出部 500,高周波成分抽出部 504,階調変換部 50 5と双方向に接続されていて、これらを制御するようになっている。
[0284] 続!/、て、このような階調処理部 807の作用につ!/、て説明する。
[0285] 低周波成分抽出部 500は、制御部 118の制御に基づき、バッファ 110から低周波 成分を画素単位で順次抽出する。低周波成分抽出部 500は、抽出した低周波成分 を、階調変換部 505へ転送する。
[0286] 高周波成分抽出部 504は、制御部 118の制御に基づき、低周波成分抽出部 500 が抽出した低周波成分に対応する高周波成分を高周波分離部 806から抽出する。 本実施形態においては、上述したように、低周波成分と高周波成分との画素構成は 同サイズであり、低周波成分に対応する高周波成分は 1画素となる。なお、低周波成 分に対応する高周波成分が無効成分であると判断されて抽出される高周波成分が 存在しない場合には、高周波成分抽出部 504は、エラー情報を制御部 118へ転送 する。
[0287] 階調変換部 505は、制御部 118の制御に基づき、低周波成分抽出部 500から低周 波成分を読み込むとともに、変換特性算出部 805から階調変換曲線を読み込んで、 低周波成分に対する階調変換を行う。階調変換部 505は、階調変換後の低周波成 分を、バッファ 114へ転送する。
[0288] その後に、階調変換部 505は、高周波成分抽出部 504から低周波成分に対応する 有効成分の高周波成分を読み込んで、階調変換を行う。そして、階調変換部 505は 、階調変換後の高周波成分を、バッファ 114へ転送する。なお、低周波成分に対応 する有効な高周波成分が存在しない場合には、階調変換部 505は、制御部 118の 制御に基づき、高周波成分に対する階調変換を中止する。
[0289] なお、本実施形態においても、上述した実施形態 1と同様に、撮像部が別体となつ てレ、る画像処理システムであっても構わなレ、。
[0290] また、上述ではハードウェアによる処理を前提としていた力 このような構成に限定 されるものでもない。例えば、カラー CCD800からのカラー映像信号を未処理のまま のロー（Raw)データとしてメモリカード等の記録媒体に記録するとともに、撮像条件な どの付随情報 (例えば、制御部 118からの撮影時の撮像素子の温度や露光条件な ど）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画 像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読 み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報 の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構 わない。
[0291] 図 22は、画像処理プログラムのメインルーチンを示すフローチャートである。
[0292] なお、この図 22において、上述した実施形態 1の図 11に示した処理と基本的にほ ぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
[0293] この処理を開始すると、まず、カラー映像信号を読み込むとともに、撮像素子の温 度や露光条件などのヘッダ情報を読み込む (ステップ S 1 )。
[0294] 次に、数式 5に示したように、輝度信号と色差信号とを算出する (ステップ S50)。
[0295] 続いて、ローパスフィルタおよび差分フィルタ用いて輝度信号の周波数分解を行い
、高周波成分と低周波成分とを取得する (ステップ S2)。
[0296] さらに、後で図 23を参照して説明するように、変換特性を算出する（ステップ S51)。
[0297] そして、後で図 24を参照して説明するように、高周波成分をノイズに起因する無効 成分とその他の有効成分とに分離する (ステップ S52)。
[0298] 次に、後で図 25を参照して説明するように、低周波成分と高周波成分中の有効成 分とに対して階調処理を行う（ステップ S 53)。
[0299] 続いて、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の 有効成分と、高周波成分中の無効成分と、に基づき、階調変換がなされた輝度信号 を合成する（ステップ S6)。
[0300] そして、数式 6に示したように輝度信号と色差信号とを合成して、階調変換がなされ たカラー映像信号を得る (ステップ S 54)。
[0301] さらに、公知の圧縮処理などの信号処理を行う（ステップ S7)。
[0302] その後、処理後のカラー映像信号を出力して (ステップ S8)、この処理を終了する。
[0303] 図 23は、上記ステップ S51における変換特性算出の処理を示すフローチャートで ある。
[0304] なお、この図 23において、上述した実施形態 1の図 12に示した処理と基本的にほ ぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
[0305] この処理を開始すると、輝度信号を暗部に関する所定の閾値および明部に関する 所定の閾値とそれぞれ比較して、喑部の閾値以上であってかつ明部の閾値以下とな る輝度信号を適正露光域として抽出する (ステップ S11)。
[0306] 続いて、適正露光域の輝度信号に対してラプラシアンフィルタを用いるなどして、公 知のエッジ強度の算出を行う（ステップ S12)。
[0307] そして、所定の閾値以上のエッジ強度のある画素を選別して、ヒストグラムを作成す る（ステップ S 13)。
[0308] その後、色差信号を所定の閾値と比較することにより、特定の色相領域、例えば肌 色領域を抽出する（ステップ S60)。
[0309] さらに、肌色領域とエッジ強度の情報とに基づき、人物の顔と判断される領域を抽 出して、これを関心領域として設定する（ステップ S61)。
[0310] 次に、関心領域内の輝度情報を求めて、これに所定の係数を乗算することにより各 輝度レベルに関する補正用の重み係数を算出する（ステップ S62)。
[0311] 続いて、ヒストグラムの各輝度レベルに対して重み係数を加算することにより、ヒスト グラムの補正を行う（ステップ S63)。
[0312] その後、ヒストグラムを累積してさらに正規化することにより、階調変換曲線を算出す る（ステップ S 14)。
[0313] こうして算出した階調変換曲線を出力して (ステップ S15)、この処理から図 22に示 した処理へリターンする。 [0314] 図 24は、上記ステップ S52における高周波分離の処理を示すフローチャートである
〇
[0315] なお、この図 24において、上述した実施形態 1の図 13に示した処理と基本的にほ ぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
[0316] この処理を開始すると、まず、低周波成分を画素単位で順次抽出する（ステップ S2 0)。
[0317] 次に、読み込まれたヘッダ情報から、撮像素子の温度，ゲインなどの情報を設定す る。ここでもし、ヘッダ情報に必要なパラメータが存在しない場合には、その情報に対 して所定の標準値を割り当てる (ステップ S21)。
[0318] 続いて、映像信号の信号値レベル，映像信号のゲイン，撮像素子の動作温度と、ノ ィズ量と、の間の関係を記録したノイズ量に関するテーブルを読み込む (ステップ S7
0)。
[0319] そして、ノイズ量に関するテーブルに基づき、ノイズ量を求める（ステップ S71)。
[0320] その後、低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する 高周波成分と、を抽出する (ステップ S 24)。
[0321] さらに、低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する 高周波成分と、力も平均値を算出する (ステップ S25)。
[0322] 次に、平均値とノイズ量とに基づいて、数式 3に示したように上限および下限を設定 する（ステップ S26)。
[0323] 続いて、高周波成分が上限と下限との範囲内にある場合にはノイズに起因する無 効成分であると判断し、上限を上回る力、または下限を下回るかする場合には有効成 分であると判断する（ステップ S27)。
[0324] そして、有効成分と無効成分とを分離して出力する (ステップ S28)。
[0325] さらに、全ての低周波成分の処理が完了したか否かを判断し (ステップ S30)、完了 して!/、な!/、と判断した場合には上記ステップ S20へ戻って上述したような処理を繰り 返して行い、一方、完了したと判断した場合には図 22に示した処理へリターンする。
[0326] 図 25は、上記ステップ S53における階調処理を示すフローチャートである。
[0327] なお、この図 25において、上述した実施形態 1の図 14に示した処理と基本的にほ ぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
[0328] この処理を開始すると、まず、低周波成分を画素単位で順次抽出する（ステップ S4 0)。
[0329] 次に、階調変換曲線を読み込む (ステップ S42)。
[0330] 続いて、低周波成分に対応する、有効成分とされる高周波成分を抽出する（ステツ プ S44)。
[0331] そして、有効成分とされる高周波成分が存在するか否かを判断する (ステップ S45)
[0332] ここで、有効成分とされる高周波成分が存在すると判断した場合には、有効成分と される高周波成分に対して階調変換を行う（ステップ S46)。
[0333] このステップ S46の処理が終了する力、、または、上記ステップ S45において、有効 成分とされる高周波成分が存在して!/、な!/、と判断した場合には、低周波成分に対し 階調変換を行う（ステップ S47)
[0334] 次に、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有 効成分と、を出力する (ステップ S48)。
[0335] その後、全ての低周波成分の処理が完了したか否かを判断し (ステップ S49)、完 了していないと判断した場合には上記ステップ S40へ戻って上述したような処理を繰 り返して行い、一方、完了したと判断した場合には図 22に示した処理へリターンする
[0336] なお、上述では、周波数分解および周波数合成にローパスフィルタおよび差分フィ ルタを用いる構成を採用していたが、このような構成に限定される必要はない。例え ば、ガウシアンフィルタおよびラプラシアンフィルタを用いて、周波数分解および周波 数合成を行うように構成することも可能である。この場合には、演算量が増加するもの の、周波数分解能がより優れるという利点がある。そして、ガウシアンフィルタおよびラ ブラシアンフィルタを用いる場合には、上述した実施形態 1と同様に、多段階の周波 数分解、周波数合成を行うように構成することも可能である。
[0337] また、上述では、カラー撮像素子としてべィヤー（Bayer)型原色フィルタを用いる構 成を採用していた力 S、このような構成に限定される必要はない。例えば、図 17に示す ような色差線順次型補色フィルタを用いた単板撮像素子や、二板あるいは三板撮像 素子を適用することも可能である。
[0338] ここに、図 17は色差線順次型補色フィルタの構成を示す図である。
[0339] この色差線順次方式の補色フィルタは、 2 X 2画素を基本単位として、シアン（Cy) およびイェロー（Ye)が 2 X 2画素の同一ラインに、マゼンタ（Mg)および緑（G)が 2 X 2画素の他の同一ラインに、それぞれ配置されたものとなっている。ただし、マゼン タ（Mg) ,緑 (G)の位置は、ライン毎に反転するように構成されている。
[0340] このような実施形態 2によれば、カラー映像信号に対して視覚的にノイズの影響が 顕著となる高周波成分のみを無効成分と有効成分とに分離して、有効成分には階調 処理を行!/、無効成分には階調処理を行わな!/、ことで、階調処理に伴うノイズの増加 を抑制するようにしたために、高品位なカラー映像信号を生成することが可能となる。
[0341] また、有効成分と無効成分とに分離して処理する対象から低周波成分を外したた めに、処理に伴う副作用の発生が少なくなり、安定性を向上することができる。
[0342] さらに、映像信号を無効成分と合成するようにしたために、視覚的に違和感の少な いカラー映像信号を得ることができ、処理の安定性および信頼性を向上することがで きる。
[0343] そして、ローパスフィルタおよび差分フィルタはフィルタ構成が単純であるために、 処理を高速に行い得る画像処理システムを低コストに構成することが可能となる。
[0344] 加えて、輝度信号の低周波成分から適用的に階調変換曲線を求めるようにしたた めに、多様なカラー映像信号に対して高精度な階調変換を行うことが可能となる。
[0345] また、低周波成分に基づき階調変換曲線を算出するようにしたために、ノイズによる 影響の少ない適切な階調変換曲線を算出することが可能となる。
[0346] さらに、人物などの関心領域に重みを付けた階調処理を行うことができるために、 主観的に好ましい高品位な映像信号を得ることができる。
[0347] そして、同一位置にある低周波成分と高周波成分の中の有効成分とに対して、変 換特性が等し!/ヽ階調変換を行うようにしたために、視覚的に違和感のな!/、統一感の ある映像信号を得ることができる。
[0348] 加えて、高周波成分中の有効成分が存在しない場合には、不要な階調変換を中 止するようにしたために、処理速度を向上することが可能となる。
[0349] [実施形態 3]
図 26から図 30は本発明の実施形態 3を示したものであり、図 26は画像処理システ ムの構成を示すブロック図である。
[0350] この実施形態 3において、上述の実施形態 1 , 2と同様である部分については同一 の符号を付して説明を省略し、主として異なる点についてのみ説明する。
[0351] 本実施形態の画像処理システムは、上述した実施形態 1の図 1に示した画像処理 システムに、エッジ強調手段たるエッジ強調部 1202を追加し、周波数分解部 109, 高周波分離部 112,周波数合成部 115を分離手段であり周波数分解手段たる周波 数分解部 1200,分離手段であり高周波分離手段たる高周波分離部 1201 ,合成手 段であり周波数合成手段たる周波数合成部 1203にそれぞれ置換した構成になって いる。その他の基本的な構成は上述した実施形態 1と同様であるために、同一の構 成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分について のみ説明する。
[0352] バッファ 105は、測光評価部 106,合焦点検出部 107,変換特性算出部 111 ,周 波数分解部 1200へ接続されている。
[0353] 周波数分解部 1200は、バッファ 110へ接続されている。バッファ 110は、変換特性 算出部 111 ,高周波分離部 1201 ,階調処理部 113へ接続されている。
[0354] 高周波分離部 1201は、エッジ強調部 1202およびバッファ 114へ接続されている。
エッジ強調部 1202は、階調処理部 113へ接続されて!/、る。
[0355] ノ ッファ 114は、周波数合成部 1203を介して信号処理部 116へ接続されている。
[0356] 制御部 118は、周波数分解部 1200,高周波分離部 1201 ,エッジ強調部 1202, 周波数合成部 1203とも双方向に接続されていて、これらも制御するようになっている
[0357] 次に、図 26に示したような画像処理システムの作用は、基本的に実施形態 1と同様 であるために、映像信号の流れに沿って主として異なる部分についてのみ説明する
[0358] バッファ 105内の映像信号は、周波数分解部 1200へ転送される。 [0359] 周波数分解部 1200は、制御部 118の制御に基づき、転送されてきた映像信号に 所定の周波数分解を行い、高周波成分と低周波成分とを取得する。そして、周波数 分解部 1200は、得られた高周波成分および低周波成分を順次バッファ 110へ転送 する。なお、本実施形態においては、周波数分解として例えば 64 X 64画素単位の 公知の DCT (Discrete Cosine Transform)変換を用いることを想定している。
[0360] 図 27A、図 27Bは DCT (Discrete Cosine Transform)変換を説明するための図であ り、図 27Aは実空間における映像信号を、図 27Bは DCT (Discrete Cosine Transfer m)変換後の周波数空間における信号を、それぞれ示している。
[0361] 図 27Bの周波数空間において、左上を原点、すなわち 0次成分として、 1次以上の 高周波成分はこの 0次成分を原点とする同心円上に配置される。
[0362] 変換特性算出部 111は、制御部 118の制御に基づき、バッファ 105から周波数分 解部 1200において使用する 64 X 64画素単位に映像信号を読み込む。その後、変 換特性算出部 11 1は、上述した実施形態 1と同様に、階調変換処理に用いる階調特 性を算出する。すなわち、本実施形態においては、階調変換処理として、 64 X 64画 素単位の領域毎に異なる複数の階調特性を用いるスペースバリアントな処理を想定 している。そして、変換特性算出部 111は、算出した上記階調特性を、階調処理部 1 13へ転送する。
[0363] 高周波分離部 1201は、制御部 118の制御に基づき、バッファ 110から高周波成分 を読み込んで、高周波成分に対してノイズ低減処理を行った後に、高周波成分をノ ィズに起因する無効成分とその他の有効成分とに分離する。そして、高周波分離部 1 201は、分離した上記有効成分をエッジ強調部 1202へ、上記無効成分をバッファ 1 14へ、それぞれ転送する。
[0364] エッジ強調部 1202は、高周波分離部 1201から転送される有効成分に対して所定 の係数を乗算することによりエッジ強調処理を行い、処理結果を階調処理部 113へ 転送する。
[0365] 階調処理部 113は、制御部 118の制御に基づき、バッファ 110から低周波成分を、 エッジ強調部 1202から高周波成分中の有効成分を、変換特性算出部 111から階調 特性を、それぞれ読み込む。そして、階調処理部 113は、上記階調特性に基づき、 上記低周波成分と上記高周波成分中の有効成分とに対して階調処理を行う。階調 処理部 113は、階調処理がなされた低周波成分と、高周波成分中の有効成分とを、 バッファ 114へ転送する。
[0366] 周波数合成部 1203は、制御部 118の制御に基づき、バッファ 114から、階調処理 がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波 成分中の無効成分と、を読み込んで、これらに基づき階調変換がなされた映像信号 を合成する。なお、本実施形態においては、周波数合成として公知の逆 DCT dnvers e Discrete Cosine Transform)変換を用いることを想定している。そして、周波数合成 部 1203は、合成した映像信号を信号処理部 116へ転送する。
[0367] 信号処理部 116は、制御部 118の制御に基づき、周波数合成部 1203からの映像 信号に公知の圧縮処理などを行い、処理後の信号を出力部 117へ転送する。
[0368] 出力部 117は、信号処理部 116から出力される映像信号を、メモリカードなどの記 録媒体に記録して保存する。
[0369] 次に、図 28は、高周波分離部 1201の構成の一例を示すブロック図である。
[0370] この高周波分離部 1201は、上述した実施形態 1の図 5に示した高周波分離部 112 に、ノイズ低減手段であり第 1のスムージング手段たる第 1スムージング部 1300,ノィ ズ低減手段であり第 2のスムージング手段たる第 2スムージング部 1301を追加した構 成になっている。その他の基本的な構成は図 5に示した高周波分離部 112と同様で あるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として 異なる部分にっレ、てのみ説明する。
[0371] 判断部 409は、第 1スムージング部 1300および第 2スムージング部 1301へ接続さ れている。第 1スムージング部 1300は、エッジ強調部 1202へ接続されている。第 2ス ムージング部 1301は、バッファ 114へ接続されている。
[0372] 制御部 118は、第 1スムージング部 1300および第 2スムージング部 1301とも双方 向に接続されてレ、て、これらも制御するようになって!/、る。
[0373] 続いて、このような高周波分離部 1201の作用について説明する。
[0374] 低周波成分抽出部 400は、制御部 118の制御に基づき、バッファ 110から低周波 成分を順次抽出する。なお、本実施形態においては、上述したように、 64 X 64画素 の DCT (Discrete Cosine Transform)変換を想定している。そして、低周波成分抽出 部 400は、図 27Bに示すような各次の周波成分の内の、所定の n次以下の周波数成 分を低周波成分として、 64 X 64画素の各領域から抽出する。
[0375] 抽出された低周波成分に関して、パラメータ選択部 404および補間部 405を介して
、上述した実施形態 1と同様にノイズ量が算出される。そして、補間部 405は、算出し たノイズ量を上限下限設定部 408へ転送する。
[0376] 高周波成分抽出部 406は、制御部 118の制御に基づき、低周波成分抽出部 400 により抽出された低周波成分に対応する 64 X 64画素の各領域から（n+ 1)次以上 の周波成分を高周波成分として抽出する。
[0377] 平均算出部 407は、制御部 118の制御に基づき、次数毎に高周波成分を分離して
、各々の平均値 AVを算出し、算出した平均値 AVを上限下限設定部 408へ転送す
[0378] 上限下限設定部 408は、制御部 118の制御に基づき、次数毎に、平均算出部 407 からの平均値 AVと補間部 405からのノイズ量 Nとを用いて、有効成分と無効成分と を識別するための上限 App— Upおよび下限 App— Lowを、数式 3に示したように設 疋 。
[0379] 上限下限設定部 408は、このようにして設定した上限 App— Upおよび下限 App— Lowを判断部 409へ、平均ィ直 AVを第 1スムージング部 1300へ、平均ィ直 AVおよび ノイズ量 Nを第 2スムージング部 1301へ、それぞれ転送する。
[0380] 判断部 409は、制御部 118の制御に基づき、高周波成分抽出部 406から高周波成 分を読み込むとともに、上限下限設定部 408から高周波成分の次数に対応する上限 App— Upおよび下限 App— Lowを読み込む。そして、判断部 409は、高周波成分 が上限 App— Upを上回る力、、または下限 App— Lowを下回るかする場合には、該 高周波成分が有効成分であると判断して、高周波成分を第 1スムージング部 1300へ 転送する。
[0381] 一方、判断部 409は、高周波成分が上限 App— Upと下限 App— Lowとの範囲内 にある場合には、該高周波成分がノイズに起因する無効成分であると判断して、高周 波成分を第 2スムージング部 1301へ転送する。 [0382] 第 1スムージング部 1300は、次の数式 7に示すように、高周波成分（ここに、高周波 成分を Pとする）に上限下限設定部 408からの平均値 AVを代入する処理を行う。
7]
P=AV
[0383] また、第 2スムージング部 1301は、高周波成分 Pに上限下限設定部 408からの平 均値 AVとノイズ量 Nとを用いて補正する処理を行う。この補正には 2種類の処理があ り、まず、高周波成分が上限 App— Upを上回る場合は、第 2スムージング部 1301は 、次の数式 8に示すような補正を行う。
8]
P=AV-N/2
[0384] また、第 2スムージング部 1301は、高周波成分が下限 App— Lowを下回る場合に は、次の数式 9に示すような補正を行う。
9コ
P=AV+N/2
[0385] そして、第 1スムージング部 1300による処理結果はエッジ強調部 1202へ、第 2スム 一ジング部 1301による処理結果はバッファ 114へ、それぞれ転送される。
[0386] 従って、有効成分であると判断された高周波成分のみが、エッジ強調部 1202を介 して階調処理部 113へ転送され、階調処理が行われることになる。これに対して、無 効成分であると判断された高周波成分は、階調処理が行われることなくバッファ 114 へ転送される。
[0387] なお、本実施形態においても、上述した実施形態 1 , 2と同様に、撮像部が別体とな つて!/、る画像処理システムであっても構わな!/、。
[0388] また、上述ではハードウェアによる処理を前提としていた力 このような構成に限定 されるものでもない。例えば、 CCD102からの映像信号を未処理のままのロー（Raw) データとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情 報 (例えば、制御部 118からの撮影時の撮像素子の温度や露光条件など）をヘッダ 情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プロ グラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、 処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、 記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
[0389] 図 29は、画像処理プログラムのメインルーチンを示すフローチャートである。
[0390] なお、この図 29において、上述した実施形態 1の図 11に示した処理と基本的にほ ぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
[0391] この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度や露 光条件などのヘッダ情報を読み込む (ステップ S1)。
[0392] 次に、 DCT (Discrete Cosine Transform)変換などの周波数分解を行って、高周波 成分と低周波成分とを取得する (ステップ S2)。
[0393] 続いて、図 12に示したように、変換特性を算出する (ステップ S3)。
[0394] さらに、後で図 30を参照して説明するように、高周波成分をノイズに起因する無効 成分とその他の有効成分とに分離する（ステップ S80)。
[0395] そして、図 14に示したように、低周波成分と高周波成分中の有効成分とに対して階 調処理を行う（ステップ S 5)。
[0396] 次に、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有 効成分と、高周波成分中の無効成分と、に基づき、階調変換がなされた映像信号を 合成する（ステップ S6)。
[0397] 続いて、公知の圧縮処理などの信号処理を行う（ステップ S 7)。
[0398] そして、処理後の映像信号を出力して (ステップ S8)、この処理を終了する。
[0399] 図 30は、上記ステップ S80における高周波分離の処理を示すフローチャートである
〇
[0400] なお、この図 30において、上述した実施形態 1の図 13に示した処理と基本的にほ ぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
[0401] この処理を開始すると、まず、低周波成分を画素単位で順次抽出する（ステップ S2 0)。
[0402] 次に、読み込まれたヘッダ情報から、撮像素子の温度，ゲインなどの情報を設定す る。ここでもし、ヘッダ情報に必要なパラメータが存在しない場合には、その情報に対 して所定の標準値を割り当てる (ステップ S21)。 [0403] 続いて、基準ノイズモデルに関するパラメータを読み込む (ステップ S22)。
[0404] そして、基準ノイズモデルのパラメータに基づき、低周波成分に関するノイズ量を補 間処理によって算出する（ステップ S23)。
[0405] その後、図 27Bに示すように、低周波成分に対応する高周波成分を順次抽出する
(ステップ S 24)。
[0406] 次に、低周波成分に対応する高周波成分の平均値を、次数毎に算出する（ステツ プ S25)。
[0407] 続いて、平均値とノイズ量とに基づいて、数式 3に示したように上限および下限を設 定する（ステップ S26)。
[0408] そして、高周波成分が上限と下限との範囲内にある場合にはノイズに起因する無効 成分であると判断し、上限を上回る力、または下限を下回るかする場合には有効成分 であると判断する（ステップ S90)。
[0409] ここで、高周波成分が有効成分であると判断した場合には、高周波成分に対して数 式 7に示した補正処理を行う（ステップ S91)。
[0410] また、ステップ S90において、高周波成分が無効成分である場合と判断したには、 高周波成分に対して数式 8または数式 9に示した補正処理を行う（ステップ S92)。
[0411] ステップ S91またはステップ S92の処理が終了したら、補正された有効成分と補正 された無効成分とを分離して出力する（ステップ S93)。
[0412] そして、全ての高周波成分の処理が完了したか否かを判断し (ステップ S29)、完了 して!/、な!/、と判断した場合には上記ステップ S24へ戻って上述したような処理を繰り 返して行う。
[0413] —方、このステップ S29において、全ての高周波成分の処理が完了したと判断した 場合には、全ての低周波成分の処理が完了したか否かを判断し (ステップ S30)、完 了していないと判断した場合には上記ステップ S20へ戻って上述したような処理を繰 り返して行い、一方、完了したと判断した場合には図 29に示した処理へリターンする
〇
[0414] なお、上述では、周波数分解および周波数合成に DCT (Discrete Cosine Transfer m)変換を用いる構成を採用していた力 S、このような構成に限定される必要はない。例 えば、上述した実施形態 1と同様にウェーブレット (Wavelet)変換を用いる構成を採 用することも可能であるし、上述した実施形態 2と同様にローパスフィルタと差分フィ ルタとを組み合わせる構成を採用することも可能である。
[0415] さらに、上述では、白黒の映像信号を処理する構成を採用していたが、このような 構成に限定される必要はない。例えば、上述した実施形態 2と同様に、カラー撮像素 子から得られるカラー映像信号から輝度信号を算出して処理する構成を採用するこ とも可能である。
[0416] このような実施形態 3によれば、視覚的にノイズの影響が顕著となる高周波成分の みを無効成分と有効成分とに分離して、有効成分には階調処理を行!、無効成分に は階調処理を行わなレ、ことで、階調処理に伴うノイズの増加を抑制するようにしたた めに、高品位な映像信号を生成することが可能となる。
[0417] また、有効成分と無効成分とに分離して処理する対象から低周波成分を外したた めに、処理に伴う副作用の発生が少なくなり、安定性を向上することができる。
[0418] さらに、映像信号を無効成分と合成するようにしたために、視覚的に違和感の少な い映像信号を得ることができ、処理の安定性および信頼性を向上することができる。
[0419] また、 DCT (Discrete Cosine Transform)変換は周波数の分離能に優れているため に、高精度な処理を行うことが可能となる。
[0420] 映像信号の低周波成分から適用的かつ領域毎に独立して階調変換曲線を求める ようにしたために、多様な映像信号に対して高精度な階調変換を行うことが可能とな
[0421] そして、ノイズ低減処理がなされた高周波成分に対して階調変換を行うことにより、 階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成 すること力 S可倉 となる。
[0422] また、高周波成分中の有効成分に対しては補正処理を、高周波成分中の無効成 分に対しては平滑化処理を行うようにしたために、ノイズ低減処理に伴う不連続性の 発生を防止して、高品位な映像信号を生成することが可能となる。
[0423] さらに、高周波成分中の有効成分に対してのみエッジ強調処理を行い、高周波成 分中の無効成分に対してはエッジ強調処理を行わないために、ノイズ成分を強調す ることなくエッジ成分のみを強調することができる。これにより、高品位な映像信号を 生成することが可能となる。
[0424] [実施形態 4]
図 31から図 36は本発明の実施形態 4を示したものであり、図 31は画像処理システ ムの構成を示すブロック図である。
[0425] この実施形態 4において、上述の実施形態 1〜3と同様である部分については同一 の符号を付して説明を省略し、主として異なる点についてのみ説明する。
[0426] 本実施形態の画像処理システムは、上述した実施形態 1の図 1に示した画像処理 システムに、分離手段でありノイズ低減手段たるノイズ低減部 1400,分離手段であり 差分手段たる差分部 1401 ,合成手段であり信号合成手段たる信号合成部 1403を 追加し、階調処理部 113を変換手段であり階調処理手段たる階調処理部 1402に置 換し、周波数分解部 109,高周波分離部 112,周波数合成部 115を削除した構成に なっている。その他の基本的な構成は上述した実施形態 1と同様であるために、同一 の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分につ いてのみ説明する。
[0427] ノ ッファ 105は、測光評価部 106,合焦点検出部 107,ノイズ低減部 1400,差分 部 1401へ接続されている。
[0428] ノイズ低減部 1400は、バッファ 110へ接続されている。バッファ 110は、変換特性 算出部 111 ,差分部 1401 ,階調処理部 1402へ接続されている。
[0429] 変換特性算出部 111は、階調処理部 1402へ接続されている。差分部 1401は、バ ッファ 114へ接続されている。階調処理部 1402は、バッファ 114へ接続されている。 ノ ッファ 114は、信号合成部 1403を介して信号処理部 116へ接続されて!/、る。
[0430] 制御部 118は、ノイズ低減部 1400,差分部 1401 ,階調処理部 1402,信号合成 部 1403とも双方向に接続されていて、これらも制御するようになっている。
[0431] 次に、図 31に示したような画像処理システムの作用は、基本的に実施形態 1と同様 であるために、映像信号の流れに沿って主として異なる部分についてのみ説明する
[0432] バッファ 105内の映像信号は、ノイズ低減部 1400へ転送される。 [0433] ノイズ低減部 1400は、制御部 118の制御に基づき、ノイズ低減処理を行!/、、ノイズ 低減処理後の映像信号を有効成分としてバッファ 110へ転送する。
[0434] 変換特性算出部 111は、バッファ 110から有効成分を読み込んで、上述した実施 形態 1と同様に、階調変換処理に用いる階調特性を算出する。なお、本実施形態に おいては、階調変換処理として、例えば 64 X 64画素単位の領域毎に異なる複数の 階調特性を用いるスペースバリアントな処理を想定している。そして、変換特性算出 部 11 1は、算出した上記階調特性を、階調処理部 1402へ転送する。
[0435] 差分部 1401は、制御部 118の制御に基づき、バッファ 105内からノイズ低減処理 前の映像信号を読み込むとともに、バッファ 110からノイズ低減処理後の映像信号を 有効成分として読み込んで、これらの差分をとる処理を行う。この差分部 1401は、差 分をとつた結果として得られる信号を、無効成分としてバッファ 114へ転送する。
[0436] 階調処理部 1402は、制御部 118の制御に基づき、バッファ 110から有効成分を、 変換特性算出部 11 1から階調特性を、それぞれ読み込む。そして、階調処理部 140 2は、上記階調特性に基づき、上記有効成分に対して階調処理を行う。階調処理部 1402は、階調処理を行った有効成分をバッファ 114へ転送する。
[0437] 信号合成部 1403は、制御部 118の制御に基づき、バッファ 114から、階調処理が なされた有効成分と、無効成分と、を読み出して、これらを加算することにより、階調 変換がなされた映像信号を合成する。信号合成部 1403は、こうして合成した映像信 号を、信号処理部 116へ転送する。
[0438] 信号処理部 116は、制御部 118の制御に基づき、信号合成部 1403からの映像信 号に公知の圧縮処理などを行い、処理後の信号を出力部 117へ転送する。
[0439] 出力部 117は、信号処理部 116から出力される映像信号を、メモリカードなどの記 録媒体に記録して保存する。
[0440] 次に、図 32は、ノイズ低減部 1400の構成の一例を示すブロック図である。
[0441] このノイズ低減部 1400は、映像信号抽出部 1500と、ノイズ推定手段であり平均算 出手段たる平均算出部 1501と、ノイズ推定手段であり収集手段たるゲイン算出部 15 02と、ノイズ推定手段であり付与手段たる標準値付与部 1503と、ノイズ推定手段で ありテーブル変換手段たるノイズ LUT1504と、設定手段であり上限下限設定手段た る上限下限設定部 1505と、判断手段たる判断部 1506と、第 1のスムージング手段 たる第 1スムージング部 1507と、第 2のスムージング手段たる第 2スムージング部 150
8と、を有して構成されている。
[0442] バッファ 105は、映像信号抽出部 1500へ接続されている。映像信号抽出部 1500 は、平均算出部 1501および判断部 1506へ接続されている。
[0443] 平均算出部 1501 ,ゲイン算出部 1502,標準値付与部 1503は、ノイズ LUT1504 へ接続されている。ノイズ LUT1504は、上限下限設定部 1505へ接続されている。 上限下限設定部 1505は、判断部 1506,第 1スムージング部 1507,第 2スムージン グ部 1508へ接続されている。
[0444] 判断部 1506は、第 1スムージング部 1507および第 2スムージング部 1508へ接続 されている。第 1スムージング部 1507および第 2スムージング部 1508は、バッファ 11
0へ接続されている。
[0445] 制御部 118は、映像信号抽出部 1500,平均算出部 1501 ,ゲイン算出部 1502, 標準値付与部 1503,ノイズ LUT1504,上限下限設定部 1505,判断部 1506,第 1 スムージング部 1507,第 2スムージング部 1508と双方向に接続されていて、これら を制御するようになっている。
[0446] 続いて、このようなノイズ低減部 1400の作用について説明する。
[0447] 映像信号抽出部 1500は、制御部 118の制御に基づき、バッファ 105からノイズ低 減処理を行うべき注目画素と、この注目画素を含む例えば 3 X 3画素の近傍画素と、 を順次抽出する。映像信号抽出部 1500は、抽出した注目画素および近傍画素を平 均算出部 1501へ、注目画素を判断部 1506へ、それぞれ転送する。
[0448] 平均算出部 1501は、制御部 118の制御に基づき、映像信号抽出部 1500から注 目画素および近傍画素を読み込んで、これらの平均値 AVを算出する。平均算出部 1501は、算出した平均値 AVをノイズ LUT1504へ転送する。
[0449] ゲイン算出部 1502は、制御部 118から転送される ISO感度および露光条件に関 する情報に基づき、増幅部 103におけるゲイン情報を求めて、ノイズ LUT1504へ転 达 。
[0450] また、制御部 118は、温度センサ 120から CCD102の温度情報を取得して、取得 した温度情報をノイズ LUT1504へ転送する。
[0451] 標準値付与部 1503は、制御部 118の制御に基づき、上記ゲイン情報と温度情報 との少なくとも一方が得られない場合に、得られない情報に関する標準値をノイズ LU T1504へ転送する。
[0452] ノイズ LUT1504は、映像信号の信号値レベル，映像信号のゲイン，撮像素子の 動作温度と、ノイズ量と、の間の関係を記録したルックアップテーブルである。このル ックアップテーブルは、例えば上述した特開 2004— 128985号公報に記載されてい る技術を用いて設計される。
[0453] ノイズ LUT1504は、平均算出部 1501からの注目画素に関する平均値 AVと、ゲイ ン算出部 1502または標準値付与部 1503からのゲイン情報と、制御部 118または標 準値付与部 1503からの温度情報とに基づき、ノイズ量 Nを出力する。このノイズ量 N と平均算出部 1501からの平均値 AVとは、ノイズ LUT1504から上限下限設定部 15 05へ転送される。
[0454] 上限下限設定部 1505は、制御部 118の制御に基づき、ノイズ LUT1504からの平 均値 AVおよびノイズ量 Nを用いて、ノイズに属するか否かの識別を行うための上限 App— Upおよび下限 App— Lowを、数式 3に示したように設定する。
[0455] 上限下限設定部 1505は、このようにして設定した上限 App— Upおよび下限 App —Lowを判断部 1506へ、平均値 AVを第 1スムージング部 1507へ、平均値 AVおよ びノイズ量 Nを第 2スムージング部 1508へ、それぞれ転送する。
[0456] 判断部 1506は、制御部 118の制御に基づき、映像信号抽出部 1500から注目画 素を、上限下限設定部 1505から上限 App— Upおよび下限 App— Lowを、それぞ れ読み込む。そして、判断部 1506は、注目画素が上限 App— Upを上回るか、また は下限 App— Lowを下回るかする場合には、該注目画素がノイズに属さな!/、と判断 し、注目画素を第 1スムージング部 1507へ転送する。
[0457] 一方、判断部 1506は、注目画素が上限 App— Upと下限 App— Lowとの範囲内 にある場合には、該注目画素がノイズに属すると判断して、注目画素を第 2スムージ ング部 1508へ転送する。
[0458] 第 1スムージング部 1507は、数式 7に示したように、注目画素（ここでは、注目画素 を Pとする）に上限下限設定部 1505からの平均値 AVを代入する処理を行う。
[0459] また、第 2スムージング部 1508は、注目画素 Pに上限下限設定部 1505からの平均 値 AVとノイズ量 Nを用いて補正する処理を行う。この補正には 2種類の処理があり、 注目画素 Pが上限 App— Upを上回る場合は、第 2スムージング部 1508は、数式 8に 示したような補正を行う。一方、第 2スムージング部 1508は、注目画素 Pが下限 App —Lowを下回る場合には、数式 9に示したような補正を行う。
[0460] そして、第 1スムージング部 1507による処理結果および第 2スムージング部 1508 による処理結果は、何れもバッファ 110へ転送される。
[0461] 次に、図 33は、階調処理部 1402の構成の一例を示すブロック図である。
[0462] この階調処理部 1402は、上述した実施形態 1の図 6に示した階調処理部 113から 、低周波成分抽出部 500,高周波成分抽出部 504を削除し、抽出手段たる映像信 号抽出部 1600を追加した構成になっている。その他の基本的な構成は図 6に示し た階調処理部 113と同様であるために、同一の構成には同一の名称と符号を付して 説明を適宜省略し、主として異なる部分についてのみ説明する。
[0463] バッファ 110は、映像信号抽出部 1600へ接続されている。映像信号抽出部 1600 は、距離算出部 501および階調変換部 505へ接続されている。
[0464] 制御部 118は、映像信号抽出部 1600とも双方向に接続されていて、これも制御す るようになっている。
[0465] 続いて、このような階調処理部 1402の作用について説明する。
[0466] 映像信号抽出部 1600は、制御部 118の制御に基づき、バッファ 110からノイズ低 減処理後の映像信号を有効成分として画素単位で順次抽出する。映像信号抽出部 1600は、抽出した有効成分を、距離算出部 501および階調変換部 505へそれぞれ 転送する。
[0467] この後は、上述した実施形態 1と同様にして、距離算出部 501 ,階調変換式設定部
502により、数式 4に示したように注目画素に対する階調変換式を設定する。そして、 階調変換式設定部 502は、設定した階調変換式を、バッファ 503へ転送する。
[0468] 階調変換部 505は、制御部 118の制御に基づき、映像信号抽出部 1600から有効 成分を読み込むとともに、バッファ 503から階調変換式を読み込んで、有効成分に対 する階調変換を行う。階調変換部 505は、階調変換後の有効成分を、バッファ 114 へ転送する。
[0469] なお、本実施形態においても、上述した実施形態 1〜3と同様に、撮像部が別体と なって!/、る画像処理システムであっても構わな!/、。
[0470] また、上述ではハードウェアによる処理を前提としていた力 このような構成に限定 されるものでもない。例えば、 CCD102からの映像信号を未処理のままのロー（Raw) データとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情 報 (例えば、制御部 118からの撮影時の撮像素子の温度や露光条件など）をヘッダ 情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プロ グラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、 処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、 記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
[0471] 図 34は、画像処理プログラムのメインルーチンを示すフローチャートである。
[0472] なお、この図 34において、上述した実施形態 1の図 11に示した処理と基本的にほ ぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
[0473] この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度や露 光条件などのヘッダ情報を読み込む (ステップ S1)。
[0474] 次に、後で図 35を参照して明するように、ノイズ低減処理を行い、ノイズ低減処理 後の映像信号を有効成分として算出する (ステップ S 100)。
[0475] 続いて、図 12に示したように、変換特性を算出する (ステップ S3)。
[0476] さらに、映像信号とノイズ低減処理後の映像信号との差分から無効成分を算出する
(ステップ S 101)。
[0477] そして、後で図 36を参照して説明するように、有効成分に対して階調処理を行う（ス テツプ S 102)。
[0478] 次に、階調処理がなされた有効成分と、無効成分と、に基づき、階調変換がなされ た映像信号を合成する（ステップ S 103)。
[0479] 続いて、公知の圧縮処理などの信号処理を行う（ステップ S 7)。
[0480] そして、処理後の映像信号を出力して (ステップ S8)、この処理を終了する。 [0481] 図 35は、上記ステップ S 100におけるノイズ低減の処理を示すフローチャートである
[0482] この処理を開始すると、まず、ノイズ低減処理を行うべき注目画素と、この注目画素 を含む例えば 3 X 3画素の近傍画素と、を順次抽出する（ステップ S 110)。
[0483] 次に、注目画素および近傍画素の平均値を算出する (ステップ S 111)。
[0484] 続!/、て、読み込まれたヘッダ情報から、撮像素子の温度，ゲインなどの情報を設定 する。ここでもし、ヘッダ情報に必要なパラメータが存在しない場合には、その情報に 対して所定の標準値を割り当てる (ステップ S 112)。
[0485] そして、映像信号の信号値レベル，映像信号のゲイン，撮像素子の動作温度と、ノ ィズ量と、の間の関係を記録したノイズ量に関するテーブルを読み込む (ステップ S1
13)。
[0486] さらに、ノイズ量に関するテーブルに基づき、ノイズ量を求める（ステップ S114)。
[0487] その後、平均値とノイズ量とに基づいて、数式 3に示したように上限および下限を設 定する（ステップ S 115)。
[0488] 次に、注目画素がノイズに属さな!/、かまたは属するかを、上限、下限と比較すること により判断する（ステップ S 116)。
[0489] ここで、注目画素が上限を上回る力、または下限を下回るかする場合には、該注目 画素がノイズに属さないと判断して、注目画素に対して数式 8または数式 9に示したよ うな補正処理を行う（ステップ S 117)。
[0490] 一方、ステップ S116において、注目画素が上限と下限との範囲内にある場合には
、該注目画素がノイズに属すると判断して、注目画素に対して数式 7に示したような 補正処理を行う（ステップ S 118)。
[0491] そして、補正された注目画素を、ノイズ低減処理後の画素として出力する（ステップ
S 119)。
[0492] その後、ノイズ低減処理後の映像信号を有効成分として、全ての有効成分につ!/、 ての処理が完了したか否かを判断し (ステップ S120)、完了していないと判断した場 合には上記ステップ S 110へ戻って上述したような処理を繰り返して行い、一方、完 了したと判断した場合には図 34に示した処理へリターンする。 [0493] 図 36は、上記ステップ S 102における階調処理を示すフローチャートである。
[0494] なお、この図 36において、上述した実施形態 1の図 14に示した処理と基本的にほ ぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
[0495] この処理を開始すると、まず、ノイズ低減処理後の映像信号を有効成分として画素 単位で順次抽出する（ステップ S 130)。
[0496] 次に、図 8に示すように、有効成分の注目画素とその近傍 4領域の中心との間の距 離を算出する (ステップ S41)。
[0497] 続!/、て、近傍 4領域における階調変換曲線を読み込む (ステップ S42)。
[0498] さらに、数式 4に示したように、注目画素に対する階調変換式を設定する（ステップ
S43)。
[0499] そして、有効成分の注目画素に対して数式 4に示した階調変換式を適用して、階調 変換を行う（ステップ S47)。
[0500] 次に、階調処理がなされた注目画素を出力する（ステップ S48)。
[0501] その後、ノイズ低減処理後の全ての映像信号の処理が完了したか否かを判断し (ス テツプ S 131)、完了していないと判断した場合には上記ステップ S130へ戻って上述 したような処理を繰り返して行い、一方、完了したと判断した場合には図 34に示した 処理へリターンする。
[0502] なお、上述では、白黒の映像信号を処理する構成を採用していた力 S、このような構 成に限定される必要はない。例えば、上述した実施形態 2と同様に、カラー撮像素子 力 得られるカラー映像信号を処理する構成を採用することも可能である。
[0503] このような実施形態 4によれば、ノイズ低減後の映像信号にのみ階調処理を行うこと により、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信 号を生成することが可能となる。
[0504] また、ノイズ低減後の映像信号に基づき変換特性を算出するようにしたために、ノィ ズによる影響の少ない適切な変換特性を算出することが可能となって、処理の安定 性および信頼性を向上することができる。このとき、ノイズ低減後の映像信号から適用 的に階調変換曲線を求めるようにしたために、多様な映像信号に対して高精度な階 調変換を行うことが可能となる。 [0505] さらに、本実施形態は階調変換処理をノイズ低減処理と組み合わせる処理系となつ ているために、既存のシステムとの親和性および互換性が高ぐ多くの画像処理シス テムに適用することが可能となり、さらに全体としての高性能化を図るとともに、システ ムの規模を縮小して低コスト化を図ることが可能となる。
[0506] そして、階調処理がなされたノイズ低減後の映像信号と、無効成分と、を合成するよ うにしたために、ノイズ低減処理において発生する誤差を抑制することができ、安定し た階調処理を行うことが可能となる。また、視覚的に違和感の少ない、高品位な映像 信号を生成することが可能となる。
[0507] 加えて、適用的に階調変換曲線を求めるようにしたために、多様な映像信号に対し て高精度な階調変換を行うことが可能となる。
[0508] また、領域毎に独立して階調変換曲線を求めるようにしたために、より自由度が向 上し、明暗比の大きいシーンに対しても高品位な映像信号を得ることができる。
[0509] なお、本発明は上述した実施形態に限定されるものではなぐ発明の主旨を逸脱し ない範囲内において種々の変形や応用が可能であることは勿論である。
[0510] 本出願 (ま、 2006年 9月 12曰 ίこ曰本国 ίこ出願された特願 2006— 247169号を優 先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求 の範囲、図面に引用されたものとする。

Claims

請求の範囲
[1] 映像信号に対して階調変換を行う画像処理システムにおレ、て、
上記映像信号をノイズに起因する無効成分とその他の有効成分とに分離する分離 手段と、
上記有効成分に対して階調変換を行う変換手段と、
上記階調変換がなされた有効成分と、上記無効成分と、に基づき階調変換がなさ れた映像信号を合成する合成手段と、
を具備したことを特徴とする画像処理システム。
[2] 上記映像信号がカラー映像信号である場合に該カラー映像信号を輝度信号と色 信号とへ分離する Y/C分離手段をさらに具備し、
上記分離手段、上記変換手段、および上記合成手段が扱う上記映像信号は、上 記 Y/C分離手段により分離された上記輝度信号であることを特徴とする請求項 1に 記載の画像処理システム。
[3] 上記分離手段は、
上記映像信号を高周波成分と低周波成分とに分解する周波数分解手段と、 上記高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する高 周波分離手段と、
を有して構成されたものであることを特徴とする請求項 1または請求項 2に記載の画 像処理システム。
[4] 上記周波数分解手段は、ウェーブレット（Wavelet)変換、フーリエ（Fourier)変換、ま たは DCT (Discrete Cosine Transform)変換を用いて、上記映像信号を高周波成分 と低周波成分とに分解するものであることを特徴とする請求項 3に記載の画像処理シ ステム。
[5] 上記周波数分解手段は、ローパスフィルタおよび差分フィルタを用いて、上記映像 信号を高周波成分と低周波成分とに分解するものであることを特徴とする請求項 3に 記載の画像処理システム。
[6] 上記周波数分解手段は、ガウシアンフィルタ（Gaussian Filter)およびラプラシアン フィルタ（Laplacian Filter)を用いて、上記映像信号を高周波成分と低周波成分とに 分解するものであることを特徴とする請求項 3に記載の画像処理システム。
[7] 上記変換手段は、
上記低周波成分に基づき階調変換に用いる変換特性を算出する変換特性算出手 段と、
上記変換特性を用いて上記低周波成分と上記高周波成分中の有効成分とに対し て階調処理を行う階調処理手段と、
を有して構成されたものであることを特徴とする請求項 3に記載の画像処理システ ム。
[8] 上記合成手段は、上記階調処理がなされた低周波成分と、上記階調処理がなされ た高周波成分中の有効成分と、上記高周波成分中の無効成分と、に基づき、階調変 換がなされた映像信号を合成する周波数合成手段を有して構成されたものであるこ とを特徴とする請求項 7に記載の画像処理システム。
[9] 上記変換特性算出手段は、
上記低周波成分の信号値に基づき適正露光域を抽出する適正域抽出手段と、 上記適正露光域に関してエッジ量を算出するエッジ算出手段と、
上記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、
上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換 曲線算出手段と、
を有して構成されたものであることを特徴とする請求項 7に記載の画像処理システ ム。
[10] 上記変換特性算出手段は、
上記低周波成分から関心領域を設定する関心領域設定手段と、
上記関心領域に関して重み係数を設定する重み係数設定手段と、
上記重み係数に基づき上記ヒストグラムに補正を行うヒストグラム補正手段と、 をさらに有して構成されたものであり、
上記階調変換曲線算出手段は、補正されたヒストグラムに基づき上記階調変換曲 線を算出するものであることを特徴とする請求項 9に記載の画像処理システム。
[11] 上記階調処理手段は、 上記低周波成分から階調処理を行う対象となる低周波成分注目画素を順次抽出 する第 1の抽出手段と、
上記高周波成分中の有効成分から上記低周波成分注目画素の位置に対応する 有効成分注目画素を順次抽出する第 2の抽出手段と、
上記階調変換曲線に基づき上記低周波成分注目画素と上記有効成分注目画素と に対して階調変換を行う階調変換手段と、
を有して構成されたものであることを特徴とする請求項 9または請求項 10に記載の 画像処理システム。
[12] 上記変換特性算出手段は、
上記低周波成分を複数の領域に分割する分割手段と、
上記領域毎に上記低周波成分の信号値に基づき適正露光域を抽出する適正域抽 出手段と、
上記領域毎に上記適正露光域に関してエッジ量を算出するエッジ算出手段と、 上記領域毎に上記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と 上記領域毎に上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算 出する階調変換曲線算出手段と、
を有して構成されたものであることを特徴とする請求項 7に記載の画像処理システ ム。
[13] 上記階調処理手段は、
上記低周波成分から階調処理を行う対象となる低周波成分注目画素を順次抽出 する第 1の抽出手段と、
上記高周波成分中の有効成分から上記低周波成分注目画素の位置に対応する 有効成分注目画素を順次抽出する第 2の抽出手段と、
上記低周波成分注目画素と該低周波成分注目画素の近傍に位置する上記領域 の中心との距離情報を算出する距離算出手段と、
上記低周波成分注目画素の近傍に位置する所定数の領域の階調変換曲線と上記 距離情報とに基づき階調変換に用いる階調変換式を設定する階調変換式設定手段 と、
上記設定された階調変換式に基づき上記低周波成分注目画素と上記有効成分注 目画素とに対して階調変換を行う階調変換手段と、
を有して構成されたものであることを特徴とする請求項 12に記載の画像処理システ ム。
[14] 上記階調処理手段は、上記低周波成分注目画素の位置に対応する有効成分注 目画素が存在しない場合に上記有効成分注目画素に対する階調変換を中止するよ うに制御する制御手段をさらに有して構成されたものであることを特徴とする請求項 1 1または請求項 13に記載の画像処理システム。
[15] 上記高周波分離手段は、
上記低周波成分に基づき上記高周波成分のノイズ量を推定するノイズ推定手段と 上記ノイズ量および上記高周波成分に基づき許容範囲を設定する設定手段と、 上記許容範囲に基づき上記高周波成分が上記無効成分と上記有効成分との何れ に属するかを判断する判断手段と、
を有して構成されたものであることを特徴とする請求項 3に記載の画像処理システ ム。
[16] 上記設定手段は、
上記高周波成分の平均値を算出する平均値算出手段と、
上記ノイズ量および上記平均値に基づき高周波成分に関する上限値および下限 値を上記許容範囲の境界を示す値として設定する上限下限設定手段と、
を有して構成されたものであることを特徴とする請求項 15に記載の画像処理システ ム。
[17] 上記高周波成分に対してノイズ低減処理を行うノイズ低減手段をさらに具備したこ とを特徴とする請求項 3に記載の画像処理システム。
[18] 上記ノイズ低減手段は、
上記高周波成分中の有効成分に対して補正を行う第 1のスムージング手段と、 上記高周波成分中の無効成分に対して平滑化を行う第 2のスムージング手段と、 を有して構成されたものであることを特徴とする請求項 17に記載の画像処理システ ム。
[19] 上記高周波成分中の有効成分に対してエッジ強調処理を行うエッジ強調手段をさ らに具備したことを特徴とする請求項 3に記載の画像処理システム。
[20] 上記分離手段は、
上記映像信号に対してノイズ低減を行うことにより有効成分を求めるノイズ低減手段 と、
上記映像信号と上記ノイズ低減後の映像信号との差分から無効成分を求める差分 手段と、
を有して構成されたものであることを特徴とする請求項 1または請求項 2に記載の画 像処理システム。
[21] 上記ノイズ低減手段は、
上記映像信号のノイズ量を推定するノイズ推定手段と、
上記ノイズ量および上映像信号に基づき許容範囲を設定する設定手段と、 上記許容範囲に基づき上記映像信号がノイズに属するか否かを判断する判断手 段と、
上記映像信号がノイズに属さないと判断された場合に補正を行う第 1のスムージン グ手段と、
上記映像信号がノイズに属すると判断された場合に平滑化を行う第 2のスムージン グ手段と、
を有して構成されたものであることを特徴とする請求項 20に記載の画像処理システ ム。
[22] 上記変換手段は、
上記有効成分に基づき階調変換に用いる変換特性を算出する変換特性算出手段 と、
上記変換特性を用いて上記有効成分に対して階調処理を行う階調処理手段と、 を有して構成されたものであることを特徴とする請求項 20に記載の画像処理システ ム。
[23] 上記合成手段は、上記階調処理がなされた有効成分と、上記無効成分と、に基づ き階調変換がなされた映像信号を合成する信号合成手段を有して構成されたもので あることを特徴とする請求項 22に記載の画像処理システム。
[24] 上記変換特性算出手段は、
上記有効成分の信号値に基づき適正露光域を抽出する適正域抽出手段と、 上記適正露光域に関してエッジ量を算出するエッジ算出手段と、
上記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、
上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換 曲線算出手段と、
を有して構成されたものであることを特徴とする請求項 22に記載の画像処理システ ム。
[25] 上記変換特性算出手段は、
上記有効成分から関心領域を設定する関心領域設定手段と、
上記関心領域に関して重み係数を設定する重み係数設定手段と、
上記重み係数に基づき上記ヒストグラムに補正を行うヒストグラム補正手段と、 をさらに有して構成されたものであり、
上記階調変換曲線算出手段は、補正されたヒストグラムに基づき上記階調変換曲 線を算出するものであることを特徴とする請求項 24に記載の画像処理システム。
[26] 上記階調処理手段は、
上記有効成分から階調処理を行う対象となる有効成分注目画素を順次抽出する抽 出手段と、
上記階調変換曲線に基づき上記有効成分注目画素に対して階調変換を行う階調 変換手段と、
を有して構成されたものであることを特徴とする請求項 24または請求項 25に記載 の画像処理システム。
[27] 上記変換特性算出手段は、
上記有効成分を複数の領域に分割する分割手段と、
上記領域毎に上記有効成分の信号値に基づき適正露光域を抽出する適正域抽出 手段と、
上記領域毎に上記適正露光域に関してエッジ量を算出するエッジ算出手段と、 上記領域毎に上記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と 上記領域毎に上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算 出する階調変換曲線算出手段と、
を有して構成されたものであることを特徴とする請求項 22に記載の画像処理システ ム。
[28] 上記階調処理手段は、
上記有効成分から階調処理を行う対象となる有効成分注目画素を順次抽出する抽 出手段と、
上記有効成分注目画素と上記有効成分注目画素の近傍に位置する上記領域の 中心との距離情報を算出する距離算出手段と、
上記有効成分注目画素の近傍に位置する所定数の領域の階調変換曲線と上記距 離情報とに基づき階調変換に用いる階調変換式を設定する階調変換式設定手段と 上記設定された階調変換式に基づき上記有効成分注目画素に対して階調変換を 行う階調変換手段と、
を有して構成されたものであることを特徴とする請求項 27に記載の画像処理システ ム。
[29] 上記設定手段は、
上記映像信号の平均値を算出する平均値算出手段と、
上記ノイズ量および上記平均値に基づき上記映像信号に関する上限値および下 限値を上記許容範囲の境界を示す値として設定する上限下限設定手段と、 を有して構成されたものであることを特徴とする請求項 21に記載の画像処理システ ム。
[30] 上記ノイズ推定手段は、
基準ノイズモデルに関するパラメータ群を記録する記録手段と、 上記映像信号を撮像する際に用いた撮像素子の温度値と該映像信号に対するゲ イン値とに関する情報を収集する収集手段と、
上記収集手段により得ることができない情報に関して標準値を付与する付与手段と 上記収集手段または上記付与手段からの情報と上記低周波成分または上記映像 信号とに基づき上記パラメータ群から必要となるパラメータを選択するパラメータ選択 手段と、
上記低周波成分または上記映像信号と上記選択されたパラメータとに基づき補間 演算によりノイズ量を求める補間手段と、
を有して構成されたものであることを特徴とする請求項 15または請求項 21に記載 の画像処理システム。
[31] 上記ノイズ推定手段は、
上記映像信号を撮像する際に用いた撮像素子の温度値と該映像信号に対するゲ イン値とに関する情報を収集する収集手段と、
上記収集手段により得ることができない情報に関して標準値を付与する付与手段と 上記収集手段または上記付与手段からの情報と上記低周波成分または上記映像 信号とに基づきノイズ量を出力するテーブル変換手段と、
を有して構成されたものであることを特徴とする請求項 15または請求項 21に記載 の画像処理システム。
[32] 上記階調変換がなされた輝度信号と上記色信号とに基づき、階調変換がなされた カラー映像信号を合成する Y/C合成手段をさらに具備したものであることを特徴と する請求項 2に記載の画像処理システム。
[33] 上記カラー映像信号は、 R (赤）， G (緑）， B (青）べィヤー（Bayer)型原色フィルタを 前面に配置した単板撮像素子、または Cy (シアン）， Mg (マゼンタ）， Ye (イェロー）， G (緑)色差線順次型補色フィルタを前面に配置した単板撮像素子から得られたカラ 一映像信号であることを特徴とする請求項 2に記載の画像処理システム。
[34] コンピュータに、映像信号に対して階調変換を行わせるための画像処理プログラム であって
Figure imgf000069_0001
上記映像信号をノイズに起因する無効成分とその他の有効成分とに分離する分離 上記有効成分に対して階調変換を行う変換ステップと、
上記階調変換がなされた有効成分と、上記無効成分と、に基づき階調変換がなさ れた映像信号を合成する合成ステップと、
を実行させるための画像処理プログラム。
[35] 当該画像処理プログラムは、コンピュータに、
上記映像信号がカラー映像信号である場合に該カラー映像信号を輝度信号と色 信号とへ分離する Y/C分離ステップをさらに実行させるためのものであり、 上記分離ステップ、上記変換ステップ、および上記合成ステップにより扱う上記映 像信号は、上記 Y/C分離ステップにより分離された上記輝度信号であることを特徴 とする請求項 34に記載の画像処理プログラム。
[36] 上記分離ステップは、
上記映像信号を高周波成分と低周波成分とに分解する周波数分解ステップと、 上記高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する高 周波分離ステップと、
を有することを特徴とする請求項 34または請求項 35に記載の画像処理プログラム
[37] 上記変換ステップは、
上記低周波成分に基づき階調変換に用いる変換特性を算出する変換特性算出ス 上記変換特性を用いて上記低周波成分と上記高周波成分中の有効成分とに対し て階調処理を行う階調処理ステップと、
を有し、
さらに、上記変換特性算出ステップは、
上記低周波成分を複数の領域に分割する分割ステップと、 上記領域毎に上記低周波成分の信号値に基づき適正露光域を抽出する適正域抽 上記領域毎に上記適正露光域に関してエッジ量を算出するエッジ算出ステップと、 上記領域毎に上記エッジ量に基づきヒストグラムを作成するヒストグラム作成ステツ プと、
上記領域毎に上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算 出する階調変換曲線算出ステップと、
を有することを特徴とする請求項 36に記載の画像処理プログラム。
[38] 上記階調処理ステップは、
上記低周波成分から階調処理を行う対象となる低周波成分注目画素を順次抽出 する第 1の抽出ステップと、
上記高周波成分中の有効成分から上記低周波成分注目画素の位置に対応する 有効成分注目画素を順次抽出する第 2の抽出ステップと、
上記低周波成分注目画素と該低周波成分注目画素の近傍に位置する上記領域 の中心との距離情報を算出する距離算出ステップと、
上記低周波成分注目画素の近傍に位置する所定数の領域の階調変換曲線と上記 距離情報とに基づき階調変換に用いる階調変換式を設定する階調変換式設定ステ 上記設定された階調変換式に基づき上記低周波成分注目画素と上記有効成分注 目画素とに対して階調変換を行う階調変換ステップと、
を有することを特徴とする請求項 37に記載の画像処理プログラム。
[39] 上記階調処理ステップは、上記低周波成分注目画素の位置に対応する有効成分 注目画素が存在しなレ、場合に上記有効成分注目画素に対する階調変換を中止する ように制御する制御ステップをさらに有することを特徴とする請求項 38に記載の画像 処理プログラム。
[40] 上記高周波分離ステップは、
上記低周波成分に基づき上記高周波成分のノイズ量を推定するノイズ推定ステツ プと、 上記ノイズ量および上記高周波成分に基づき許容範囲を設定する設定ステップと 上記許容範囲に基づき上記高周波成分が上記無効成分と上記有効成分との何れ に属する力、を判断する判断ステップと、
を有することを特徴とする請求項 36に記載の画像処理プログラム。
[41] コンピュータに、
上記高周波成分に対してノイズ低減処理を行うノイズ低減ステップをさらに実行さ せるためのものであることを特徴とする請求項 36に記載の画像処理プログラム。
[42] コンピュータに、
上記高周波成分中の有効成分に対してエッジ強調処理を行うエッジ強調ステップ をさらに実行させるためのものであることを特徴とする請求項 36に記載の画像処理プ ログラム。
[43] 上記分離ステップは、
上記映像信号に対してノイズ低減を行うことにより有効成分を求めるノイズ低減ステ 上記映像信号と上記ノイズ低減後の映像信号との差分から無効成分を求める差分 を有することを特徴とする請求項 34または請求項 35に記載の画像処理プログラム
[44] 上記ノイズ低減ステップは、
上記映像信号のノイズ量を推定するノイズ推定ステップと、
上記ノイズ量および上映像信号に基づき許容範囲を設定する設定ステップと、 上記許容範囲に基づき上記映像信号がノイズに属するか否かを判断する判断ステ 上記映像信号がノイズに属さないと判断された場合に補正を行う第 1のスム一、: 上記映像信号がノイズに属すると判断された場合に平滑化を行う第 2のスム一、: を有することを特徴とする請求項 43に記載の画像処理プログラム。
上記変換ステップは、
上記有効成分に基づき階調変換に用いる変換特性を算出する変換特性算出ステ 上記変換特性を用いて上記有効成分に対して階調処理を行う階調処理ステップと を有し、
さらに、上記変換特性算出ステップは、
上記有効成分を複数の領域に分割する分割ステップと、
上記領域毎に上記有効成分の信号値に基づき適正露光域を抽出する適正域抽出 上記領域毎に上記適正露光域に関してエッジ量を算出するエッジ算出ステップと、 上記領域毎に上記エッジ量に基づきヒストグラムを作成するヒストグラム作成ステツ プと、
上記領域毎に上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算 出する階調変換曲線算出ステップと、
を有することを特徴とする請求項 43に記載の画像処理プログラム。
PCT/JP2007/067222 2006-09-12 2007-09-04 Système de traitement d'image et programme de traitement d'image WO2008032610A1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/400,028 US8194160B2 (en) 2006-09-12 2009-03-09 Image gradation processing apparatus and recording

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006247169A JP4837503B2 (ja) 2006-09-12 2006-09-12 画像処理システム、画像処理プログラム
JP2006-247169 2006-09-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/400,028 Continuation US8194160B2 (en) 2006-09-12 2009-03-09 Image gradation processing apparatus and recording

Publications (1)

Publication Number Publication Date
WO2008032610A1 true WO2008032610A1 (fr) 2008-03-20

Family

ID=39183671

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/067222 WO2008032610A1 (fr) 2006-09-12 2007-09-04 Système de traitement d'image et programme de traitement d'image

Country Status (3)

Country Link
US (1) US8194160B2 (ja)
JP (1) JP4837503B2 (ja)
WO (1) WO2008032610A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107615749A (zh) * 2016-04-13 2018-01-19 索尼公司 信号处理装置和成像装置
CN110832540A (zh) * 2017-06-14 2020-02-21 上海联影医疗科技有限公司 图像处理系统和方法

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007318280A (ja) * 2006-05-24 2007-12-06 Matsushita Electric Ind Co Ltd 画像処理装置
JP4916341B2 (ja) * 2007-02-28 2012-04-11 オリンパス株式会社 画像処理装置及び画像処理プログラム
JP5261796B2 (ja) * 2008-02-05 2013-08-14 富士フイルム株式会社 撮像装置、撮像方法、画像処理装置、画像処理方法、およびプログラム
JP5201038B2 (ja) * 2009-03-18 2013-06-05 株式会社Ｊｖｃケンウッド 映像信号処理方法及び映像信号処理装置
JP4795473B2 (ja) * 2009-06-29 2011-10-19 キヤノン株式会社 画像処理装置及びその制御方法
JP2011015277A (ja) * 2009-07-03 2011-01-20 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが記録された記録媒体
US20120147051A1 (en) * 2009-09-30 2012-06-14 Sharp Kabushiki Kaisha Image enlargement device, image enlargement program and display apparatus
KR101025569B1 (ko) 2009-10-13 2011-03-28 중앙대학교 산학협력단 이산 웨이블렛 변환을 기반으로 하는 영상의 노이즈 제거 장치 및 방법
JP5089783B2 (ja) * 2010-04-30 2012-12-05 キヤノン株式会社 画像処理装置及びその制御方法
JP2012004787A (ja) * 2010-06-16 2012-01-05 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2012124832A (ja) * 2010-12-10 2012-06-28 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP5743815B2 (ja) * 2011-09-05 2015-07-01 日立マクセル株式会社 撮像装置
JP6287100B2 (ja) 2013-11-20 2018-03-07 株式会社リコー 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP6327869B2 (ja) * 2014-01-29 2018-05-23 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
KR102104414B1 (ko) * 2014-02-25 2020-04-24 한화테크윈 주식회사 자동 초점 조절 방법
US9525804B2 (en) * 2014-08-30 2016-12-20 Apple Inc. Multi-band YCbCr noise modeling and noise reduction based on scene metadata
US9667842B2 (en) 2014-08-30 2017-05-30 Apple Inc. Multi-band YCbCr locally-adaptive noise modeling and noise reduction based on scene metadata
WO2016203690A1 (ja) * 2015-06-19 2016-12-22 パナソニックＩｐマネジメント株式会社 撮像装置及び画像処理方法
US9641820B2 (en) 2015-09-04 2017-05-02 Apple Inc. Advanced multi-band noise reduction
JP6761964B2 (ja) * 2017-12-18 2020-09-30 パナソニックＩｐマネジメント株式会社 通信システム、画像生成方法、及び通信装置
CN109684926A (zh) * 2018-11-21 2019-04-26 佛山市第一人民医院（中山大学附属佛山医院） 一种非接触式静脉图像采集方法及装置
CN114066784A (zh) * 2020-07-29 2022-02-18 北京小米移动软件有限公司 一种图像处理方法、装置和存储介质
CN113423024B (zh) * 2021-06-21 2022-07-26 上海宏英智能科技股份有限公司 一种车载无线遥控方法及系统
CN117911267A (zh) * 2023-12-28 2024-04-19 北京声迅电子股份有限公司 基于小波变换的背散x光图像降噪方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10210323A (ja) * 1997-01-27 1998-08-07 Matsushita Electric Ind Co Ltd 階調補正装置ならびにそれを用いた映像信号処理装置
JP2001167264A (ja) * 1999-09-30 2001-06-22 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
JP2003134352A (ja) * 2001-10-26 2003-05-09 Konica Corp 画像処理方法及び装置並びにプログラム
JP2004128985A (ja) * 2002-10-03 2004-04-22 Olympus Corp 撮像システム、再生システム、撮像プログラム、再生プログラム
JP2004287794A (ja) * 2003-03-20 2004-10-14 Minolta Co Ltd 画像処理装置
JP2005130297A (ja) * 2003-10-24 2005-05-19 Olympus Corp 信号処理システム、信号処理方法、信号処理プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0856316A (ja) 1994-06-09 1996-02-27 Sony Corp 画像処理装置
EP1059811A2 (en) 1999-06-10 2000-12-13 Fuji Photo Film Co., Ltd. Method and system for image processing, and recording medium
JP3465226B2 (ja) 1999-10-18 2003-11-10 学校法人慶應義塾 画像濃度変換処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10210323A (ja) * 1997-01-27 1998-08-07 Matsushita Electric Ind Co Ltd 階調補正装置ならびにそれを用いた映像信号処理装置
JP2001167264A (ja) * 1999-09-30 2001-06-22 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
JP2003134352A (ja) * 2001-10-26 2003-05-09 Konica Corp 画像処理方法及び装置並びにプログラム
JP2004128985A (ja) * 2002-10-03 2004-04-22 Olympus Corp 撮像システム、再生システム、撮像プログラム、再生プログラム
JP2004287794A (ja) * 2003-03-20 2004-10-14 Minolta Co Ltd 画像処理装置
JP2005130297A (ja) * 2003-10-24 2005-05-19 Olympus Corp 信号処理システム、信号処理方法、信号処理プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107615749A (zh) * 2016-04-13 2018-01-19 索尼公司 信号处理装置和成像装置
CN107615749B (zh) * 2016-04-13 2020-09-18 索尼公司 信号处理装置和成像装置
CN110832540A (zh) * 2017-06-14 2020-02-21 上海联影医疗科技有限公司 图像处理系统和方法
CN110832540B (zh) * 2017-06-14 2023-08-01 上海联影医疗科技股份有限公司 图像处理系统和方法

Also Published As

Publication number Publication date
JP4837503B2 (ja) 2011-12-14
US20090219416A1 (en) 2009-09-03
US8194160B2 (en) 2012-06-05
JP2008072233A (ja) 2008-03-27

Similar Documents

Publication Publication Date Title
JP4837503B2 (ja) 画像処理システム、画像処理プログラム
JP4427001B2 (ja) 画像処理装置、画像処理プログラム
JP4837365B2 (ja) 画像処理システム、画像処理プログラム
JP3893099B2 (ja) 撮像システムおよび撮像プログラム
JP3934597B2 (ja) 撮像システムおよび画像処理プログラム
JP4547223B2 (ja) 撮像システム、ノイズ低減処理装置及び撮像処理プログラム
KR101099401B1 (ko) 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체
JP4979595B2 (ja) 撮像システム、画像処理方法、画像処理プログラム
US20100201852A1 (en) Image processing apparatus
JPWO2007049418A1 (ja) 画像処理システム、画像処理プログラム
JP5123756B2 (ja) 撮像システム、画像処理方法および画像処理プログラム
JP2004088149A (ja) 撮像システムおよび画像処理プログラム
WO2008056565A1 (fr) Système d'analyse d'image et programme de traitement d'image
US8223226B2 (en) Image processing apparatus and storage medium storing image processing program
JP2010130636A (ja) 識別処理装置、識別処理プログラム及び識別処理方法
JP5259616B2 (ja) 画像処理システムおよび画像処理プログラム
US8351695B2 (en) Image processing apparatus, image processing program, and image processing method
JP3863808B2 (ja) 輪郭強調回路
JP4074323B2 (ja) 再生システムおよび再生プログラム
JP5586031B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
JP2008310666A (ja) 画像処理装置およびこれを備えた撮像システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07806677

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 07806677

Country of ref document: EP

Kind code of ref document: A1