WO2004059987A1 - 撮像装置及び方法 - Google Patents

撮像装置及び方法 Download PDF

Info

Publication number
WO2004059987A1
WO2004059987A1 PCT/JP2003/015437 JP0315437W WO2004059987A1 WO 2004059987 A1 WO2004059987 A1 WO 2004059987A1 JP 0315437 W JP0315437 W JP 0315437W WO 2004059987 A1 WO2004059987 A1 WO 2004059987A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
noise
image
value
signal
Prior art date
Application number
PCT/JP2003/015437
Other languages
English (en)
French (fr)
Inventor
Takami Mizukura
Naoya Katoh
Ken Nakajima
Hiroki Nagahama
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to EP03813977A priority Critical patent/EP1578139A4/en
Priority to US10/540,404 priority patent/US7489346B2/en
Priority to CN2003801076614A priority patent/CN1732694B/zh
Publication of WO2004059987A1 publication Critical patent/WO2004059987A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the present invention relates to an imaging apparatus and method for imaging an object, preferably an imaging apparatus and method for imaging, particularly for imaging sensitivity.
  • the image pickup device uses, for example, a color filter 1 of three primary colors of RGB as shown in FIG.
  • a color filter 1 of three primary colors of RGB as shown in FIG.
  • a color filter 1 is formed by a so-called Bayer array using a total of four B filters that transmit only the light of B) as a minimum unit.
  • FIG. 2 shows a signal processing unit 11 that performs various kinds of processing on an RGB signal obtained by a CCD (Charge Coupled Device) image sensor having an RGB color filter 1.
  • FIG. 3 is a block diagram illustrating a configuration example.
  • the offset correction processing unit 21 removes an offset component included in the image signal supplied from the front end 13 that performs predetermined processing on the signal acquired by the CCD image sensor, and converts the obtained image signal into white. Output to the balance correction processing section 22.
  • the white balance correction processing unit 22 corrects the balance of each color based on the color temperature of the image signal supplied from the offset correction processing unit 21 and the difference in sensitivity of each filter of the color filter 1 .
  • the correction is performed by the white balance correction processing unit 22, and the obtained color signal is output to the gamma correction processing unit 23.
  • the gamma correction processing unit 23 performs gamma correction on the signal supplied from the white balance correction processing unit 22 and outputs the obtained signal to the vertical direction synchronization processing unit 24.
  • a delay element is provided in the vertical direction synchronization processing section 24, and a time lag in the vertical direction of the signal supplied from the gamma correction processing section 23 is synchronized.
  • the RGB signal generation processing unit 25 includes an interpolation process for interpolating the color signal supplied from the vertical direction synchronization processing unit 24 into a phase in the same space, a noise removal process for removing a noise component of the signal, a signal Performs filtering to limit the band, and high-frequency correction to correct the high-frequency components of the signal band.
  • the resulting RGB signals are sent to the luminance signal generation processing unit 26 and color difference signal generation processing unit 27. Output.
  • the luminance signal generation processing unit 26 combines the RGB signals supplied from the RGB signal generation processing unit 25 at a predetermined combination ratio to generate a luminance signal (Y).
  • the color difference signal generation processing unit 27 synthesizes the RGB signals supplied from the RGB signal generation processing unit 25 at a predetermined synthesis ratio to generate color difference signals (C b, C r).
  • the luminance signal (Y) generated by the luminance signal generation processing unit 26 and the color difference signals (C b, C r) generated by the color difference signal generation processing unit 27 are output to, for example, the signal processing unit 11. Output to the provided monitor.
  • an image capturing apparatus When an image capturing apparatus as described above captures an object and generates an image, the image may not be reproduced in a desired color because the appearance differs depending on the viewing environment at the time of observation.
  • the curve L 3 shows the spectral sensitivity of R
  • the curve L2 shows the spectral sensitivity of G
  • the curve L3 shows the spectral sensitivity of B
  • the curve L 11 in FIG. 4 indicates the spectral sensitivity of R
  • the curve L 12 indicates the spectral sensitivity of G
  • the curve L 13 indicates the spectral sensitivity of B.
  • the present invention provides an imaging apparatus and an imaging method capable of performing linear matrix processing using a coefficient in consideration of color reproducibility and noise reduction according to an environment and conditions of imaging. With the goal.
  • An image pickup apparatus comprises an image pickup apparatus having an image pickup device for picking up an object, which comprises a color filter having different spectral characteristics, and an adjusting means for adjusting a color reproduction value and a noise value representing a sense of noise.
  • a matrix coefficient determining unit that determines a matrix coefficient based on the adjustment by the adjusting unit; and a matrix conversion processing unit that performs a matrix conversion process on an image captured by the imaging element unit based on the matrix coefficient.
  • the imaging method according to the present invention includes a color filter having different spectral characteristics, and expresses a color reproduction value and a sense of noise in an imaging method in which an imaging device having an imaging element unit that captures an image of an object.
  • a third step of performing a conversion process is performed.
  • FIG. 2 is a block diagram illustrating a configuration example of a signal processing unit provided in a conventional imaging device.
  • FIG. 3 is a diagram illustrating an example of spectral sensitivity characteristics.
  • FIG. 4 is a diagram illustrating another example of the spectral sensitivity characteristic.
  • FIG. 5 is a block diagram illustrating a configuration example of an imaging device to which the present invention has been applied.
  • FIG. 6 is a diagram illustrating an example of a four-color color filter provided in an imaging device to which the present invention has been applied.
  • FIG. 7 is a diagram illustrating an example of a visibility curve.
  • FIG. 8 is a diagram showing characteristics of the evaluation coefficient.
  • FIG. 9 is a block diagram illustrating a configuration example of a camera system LSI included in an imaging device to which the present invention has been applied.
  • FIG. 10 is a block diagram illustrating a configuration example of the signal processing unit in FIG.
  • FIG. 11 is a flowchart illustrating the creation processing of the image processing apparatus.
  • FIG. 12 is a flowchart illustrating details of the four-color color filter determination process in step S1 of FIG.
  • FIG. 13 is a diagram showing an example of a virtual curve.
  • FIGS. 14 (A) to 14 (C) are diagrams showing examples of UMG values for each filter.
  • FIG. 15 is a diagram illustrating an example of spectral sensitivity characteristics of a four-color filter.
  • FIG. 16 is a flowchart illustrating details of the linear matrix determination process in step S2 of FIG.
  • FIG. 17 is a diagram illustrating an example of a color difference evaluation result.
  • FIG. 18 is a diagram showing the chromaticity of a predetermined object by the four-color color filter.
  • FIG. 19 shows another four-color color filter provided in the imaging apparatus to which the present invention is applied. It is a figure showing an example.
  • FIG. 20 is a flowchart showing the adaptive determination of the linear matrix coefficient M.
  • FIG. 21 is a diagram showing how the noise reduction index changes when the color reproduction index is changed.
  • FIG. 22 is a diagram illustrating an example of spectral sensitivity characteristics of a four-color color filter.
  • FIG. 23 is a diagram showing a histogram of an image.
  • FIG. 5 is a block diagram showing a configuration example of an imaging device to which the present invention is applied.
  • the imaging device shown in FIG. 5 has a color identifying four types of colors (light) on the front surface (the surface facing the lens 42) of an image sensor 45 such as a CCD (Charge Coupled Device). There is a file evening.
  • the color filters provided in the image sensor 45 in FIG. 5 are four-color filters 61 shown in FIG.
  • the four-color color filter 61 has an R filter that transmits only red light, a B filter that transmits only blue light, and only green light in the first wavelength band.
  • the minimum unit is a total of four filters, a G1 filter that transmits light and a G2 filter that transmits only green light in the second wavelength band, which has a high correlation with the G1 filter. .
  • the G1 fill and the G2 fill are located diagonally to each other within the minimum unit.
  • the human eye is sensitive to luminance. Therefore, in the four-color color filter 61 shown in FIG. 6, by obtaining more accurate luminance information, the gradation of the luminance can be increased and the appearance of the eyes can be improved.
  • a color filter of G2 which has a spectral sensitivity characteristic close to the visibility curve, has been added (R, G corresponding to R, G, B in Fig. 1). A newly determined green G2 filter has been added to the l and B filters).
  • a filter evaluation coefficient used when determining the four-color filter 61 for example, a UMG (Unified Measure of UMG) coefficient that takes into account both “color reproducibility” and “noise reduction property” is used. Goodness) is used.
  • UMG Unified Measure of UMG
  • FIG. 8 is a diagram showing characteristics of each filter evaluation coefficient.
  • Figure 8 shows the number of filters that can be evaluated at one time, whether the spectral reflectance of the object is taken into account, and whether noise reduction is taken into account for each evaluation coefficient. It is shown.
  • the Q factor (Q-factor) can be evaluated only at one time at a time, and the spectral reflectance of the object and noise reduction are not considered.
  • the factor (-factor) can evaluate multiple filters at once, but does not take into account the reduction of the spectral reflectance and noise of the object.
  • F0M can evaluate multiple filters at once, and takes into account the spectral reflectance of the object, but does not consider noise reduction.
  • the UMG used to determine the four-color fill filter 61 can evaluate multiple fill filters at once, taking into account the spectral reflectance of the object, and reducing noise. The reduction of is also considered.
  • the Q factor is described in "HE L Neugebauer” Quality Factor for Filters Whose Spectral Transmittances are Different from Color Mixture Curves, and Its Application to Color Photography "JOURNAL OF THE OPTICAL SOCIETY OF AMERICA, VOLUME 46, NUMBER 10.
  • the microcomputer 41 controls the entire operation according to a predetermined control program.
  • the microcomputer 41 includes an exposure control by an aperture 43, an opening and closing control of a shirt 44, a control of an electronic shutter of a TG (Timing Generator) 46, a gain control by a front end 47, a camera system LSI (Large). Scale Integrated Circuit) Performs mode control and parameter control of 48.
  • the aperture 43 adjusts the passage (aperture) of the light collected by the lens 42 and controls the amount of light taken in by the image sensor 45.
  • the shirt 44 controls the passage of the light collected by the lens 42 based on the instruction of the microcomputer 41.
  • the image sensor 45 further has an image sensor constituted by a CCD or a CMOS (Complementary Metal Oxide Semiconductor), and passes through a four-color color filter 61 formed in front of the image sensor.
  • the incident light is converted into electrical signals, and four types of color signals (R signal, G signal, G2 signal, B signal) are output to the front end 47.
  • the image sensor 45 is provided with the four-color filter 61 shown in FIG. 6, and the components of the wavelengths of the respective bands of R, Gl, G2, and B are obtained from the light incident through the lens 42. Is extracted. The details will be described later with reference to FIG.
  • the front end 47 performs, for the color signal supplied from the image sensor 45, a correlated double sampling process for removing a noise component, a gain control process, a digital conversion process, and the like. Various processing is performed by the front end 47, and the obtained image data is output to the camera system LSI48.
  • the camera system LSI 48 performs various processes on the image data supplied from the front end 47, and generates, for example, a luminance signal and a color signal and outputs the signals to the image monitor 50. Output and display the image corresponding to the signal.
  • the image memory 49 is composed of, for example, a DRAM (Dynamic Random Access Memory) or an SDRAM (Synchronous Dynamic Random Access Memory), and is appropriately used when the camera system LSI 48 performs various processes.
  • the external storage medium 51 composed of a semiconductor memory, a disk, and the like is, for example, configured to be detachable from the image pickup apparatus in FIG. 5 and is compressed by a camera system LSI48 in a JPEG (Joint Photographic Expert Group) format. The data is stored.
  • the image monitor 50 is composed of, for example, an LCD (Liduid Crystal Display), and displays a captured image, various menu screens, and the like.
  • LCD Liduid Crystal Display
  • FIG. 9 is a block diagram showing a configuration example of the camera system LSI 48 shown in FIG. 5.
  • Each block constituting the camera system LSI 48 is connected to a microcomputer interface (I / F) 73 through a microcomputer interface 73 shown in FIG. It is controlled by the microcomputer 41 shown below.
  • the signal processing unit 71 performs various processing such as interpolation processing, filtering processing, matrix calculation processing, luminance signal generation processing, and color difference signal generation processing on the four types of color information supplied from the front end 47. Then, for example, the generated image signal is output to the image monitor 50 via the monitor interface 77.
  • the image detection section 72 performs detection processing such as autofocus, autoexposure, and auto white balance based on the output of the front end 47, and outputs the result to the microcomputer 41 as appropriate.
  • the memory controller 75 controls the transmission and reception of data between the processing blocks or the transmission and reception of data between a predetermined processing block and the image memory 49. For example, the image data supplied from the signal processing unit 71 is controlled. One night via memory interface 74 Output to the image memory 49 and store it.
  • the image compression / decompression unit 76 compresses, for example, the image data supplied from the signal processing unit 71 in a JPEG format, and compresses the obtained data via a microcomputer interface 73 to an external storage medium 5. Output to 1 and store.
  • the image compression / decompression unit 76 also decompresses (decompresses) the compressed data read from the external storage medium 51 and outputs it to the image monitor 50 via the monitor interface 77.
  • FIG. 10 is a block diagram showing a detailed configuration example of the signal processing unit 71 shown in FIG. Each block constituting the signal processing section 71 is controlled by the microcomputer 41 via the microcomputer interface 73.
  • the offset correction processing unit 91 removes a noise component (offset component) included in the image signal supplied from the front end 47 and outputs the obtained image signal to the white balance correction processing unit 92 .
  • the white balance correction processing section 92 determines the balance of each color based on the color temperature of the image signal supplied from the offset correction processing section 91 and the difference in sensitivity between the four color filters 61 and the filters. Correct.
  • the color signals obtained by the correction by the white balance correction processing section 92 and obtained are output to the vertical direction synchronization processing section 93.
  • a delay element is provided in the vertical synchronization processing unit 93, and a vertical time shift of a signal output from the white balance correction processing unit 92 (hereinafter referred to as an RG1G2B signal) is synchronized. (Correction).
  • the signal generation processing unit 94 performs interpolation processing for interpolating the 2 ⁇ 2 pixel color signal of the minimum unit of the RG1G2B signal supplied from the vertical synchronization processing unit 93 into the phase of the same space, and a noise component of the signal.
  • the RG1 G2B signal obtained is subjected to noise removal processing to remove noise, filtering to limit the signal band, and high-frequency correction to correct the high-frequency components of the signal band.
  • the linear matrix processing unit 95 calculates the RG1G2B signal by the equation (1) based on a predetermined linear matrix coefficient M (3 ⁇ 4 matrix) to generate RGB signals of three colors. • (1) The R signal generated by the linear matrix processing section 95 is output to the gamma correction processing section 96-1, the G signal is output to the gamma correction processing section 96-2, and the B signal is output to the gamma correction processing section. Output to 9 6 _ 3.
  • the gamma correction processing units 96_1 to 96-3 perform gamma correction on each of the RGB signals output from the linear matrix processing unit 95, and convert the obtained RGB signals into luminance (Y). Output to the signal generation processing section 97 and the color difference (C) signal generation processing section 98.
  • the luminance signal generation processing unit 97 combines the RGB signals supplied from the gamma correction processing units 96-1 to 96-3 at a predetermined combination ratio according to, for example, Equation (2), and outputs a luminance signal. (Y) is generated.
  • the color difference signal generation processing unit 98 generates a color difference signal (C) by synthesizing the RGB signals supplied from the gamma correction processing units 96-1 to 96-3 at a predetermined synthesis ratio, Output to band-limited thinning processing section 99.
  • the band limitation thinning processing section 99 generates a color difference signal (Cb, Cr) based on the color difference signal (C). Note that a signal obtained by single-plate 2 ⁇ 2 color coding generally has less band of color information than a luminance signal.
  • the band-limiting thinning processing unit 99 performs the band-limiting process and the thinning process on the color-difference signal (C) supplied from the color-difference signal generation processing unit 98 to reduce the color information data, thereby reducing the color difference signal.
  • C color-difference signal
  • the luminance signal (Y) generated by the luminance signal generation processing unit 97, the color difference signal (C) generated by the color difference signal generation processing unit 98, or the color difference signal generated by the band-limited thinning processing unit 99 (C b, C r) is output to the image monitor 50 via the monitor interface 77 shown in FIG. 9, for example.
  • the microcomputer 41 controls the TG 46 and causes the image sensor 45 to capture an image. That is, light of four colors is transmitted by a four-color color filter 61 formed on the front surface of an image sensor such as a CCD (hereinafter, referred to as a CCD image sensor) constituting the image sensor 45, and the transmitted light is transmitted. Is captured by the CCD image sensor. The light captured by the CCD image sensor is converted into four color signals, which are output to the front end 47.
  • a CCD image sensor hereinafter, referred to as a CCD image sensor
  • the front end 47 performs a correlated double sampling process, a gain control process, a digital conversion process, and the like on the color signal supplied from the image sensor 45 to remove a noise component, and obtains the obtained color signal.
  • the image data is output to the camera system LSI 48.
  • the offset component of the color signal is removed by the offset correction processing section 91, and the color temperature of the image signal and the four-color color are removed by the white balance correction processing section 92.
  • the balance of each color is corrected based on the difference in sensitivity of each filter of one filter 61.
  • the vertical direction synchronization processing unit 93 synchronizes (corrects) the time lag in the vertical direction of the signal corrected by the white balance correction processing unit 92, and the signal generation processing unit 94 Interpolation processing to interpolate the minimum unit of 2 X 2 pixel color signal of RG1 G2B signal supplied from vertical synchronization unit 93 to the same phase, noise to remove noise component of signal A removal process, a filtering process for limiting a signal band, a high frequency correction process for correcting a high frequency component of the signal band, and the like are performed.
  • the signal (RG1 G2B signal) generated by the signal generation processing section 94 is converted based on a predetermined linear matrix coefficient M (3 ⁇ 4 matrix).
  • An RGB signal of the color is generated.
  • the R signal generated by the linear matrix processing unit 95 is output to the gamma correction processing unit 96-1, the G signal is output to the gamma correction processing unit 96-2, and the B signal is subjected to gamma correction processing. Output to the unit 9 6 1-3.
  • Gamma correction is performed on each of the RGB signals obtained by the processing of the linear matrix processing unit 95 by the gamma correction processing units 96-1 to 96-3, and the obtained RGB signals are converted.
  • the luminance signal generation processing section 97 and the color difference signal generation processing section 98 Is output.
  • the respective signals of the R signal, the G signal, and the B signal supplied from the gamma correction processing sections 96-1 to 96-3 are processed.
  • a luminance signal (Y) and a chrominance signal (C) are generated at a predetermined combination ratio.
  • the luminance signal (Y) generated by the luminance signal generation processing unit 97 and the color difference signal (C) generated by the color difference signal generation processing unit 98 are output to the image compression / decompression unit 76 in FIG.
  • the image data is compressed in the TPEG format.
  • the obtained image data is output to the external storage medium 51 via the microcomputer interface 73 and stored.
  • the microcomputer 41 reads out the image data stored in the external storage medium 51, and This is output to the image compression / decompression unit 76 of the camera system LSI 48.
  • the image compression / decompression unit 76 the compressed image data is expanded and an image corresponding to the obtained data is displayed on the image monitor 50 via the monitor interface 77.
  • step S1 a four-color filter determination process for determining the spectral sensitivity characteristics of the four-color filter 61 provided in the image sensor 45 shown in FIG. 5 is performed, and in step S2, a process shown in FIG.
  • the linear matrix coefficient M determination processing for determining the matrix coefficient M set in the linear matrix processing section 95 is performed.
  • the four-color color filter determination process executed in step S1 refer to the flowchart shown in FIG. 12, and for details of the linear matrix coefficient M determination process executed in step S2. Will be described later with reference to the flowchart shown in FIG.
  • step S3 the signal processing unit 71 shown in FIG. 10 is created, and the process proceeds to step S4.
  • System LSI 48 is created.
  • step S5 An entire imaging device (eg, digital camera) as shown in FIG. 5 is created.
  • step S6 the image quality ("color reproducibility" and "color discrimination") of the imaging device created in step S5 is evaluated, and the process ends. '
  • the color of the object is calculated by multiplying the product of the spectral reflectance of the object, the spectral energy distribution of standard illumination, and the spectral sensitivity distribution (characteristics) of the sensor (color filter) that senses the object in the visible light range (eg, , 400 to 700 nm). That is, the object color is calculated by equation (3).
  • Object color kf (spectral reflectance of object) ⁇ Spectral energy distribution of illumination)
  • Ws Visible light region (usually 400 nm to 700 nm)
  • the "spectral sensitivity characteristic of the sensor" in equation (3) is expressed by a color matching function, and the object of that object The color is represented by the tristimulus values of X, ⁇ , ⁇ .
  • the value of X is calculated by equation (4-1)
  • the value of ⁇ is calculated by equation (4-1-2)
  • the value of ⁇ is calculated by equation (4-1-3).
  • the value of the constant k in Equations (4-1) to (4-1-3) is calculated by Equation (4-4).
  • an image of a predetermined object is captured by an imaging device such as a digital camera.
  • the “spectral sensitivity characteristic of the sensor” in equation (3) is represented by the spectral sensitivity characteristic of the color filter, and the object color of the object is the color value of the number of filters (for example, when the RGB filter (3 types) is used) Calculates the object color of RGB value (3 values). If the imaging device is provided with an RGB filter that detects three colors, the value of R is calculated by equation (5-1-1), and the value of G is calculated by equation (5-2) And the value of B is calculated by equation (5-3).
  • equation (5-1) is calculated by equation (5-4)
  • the value of the constant k g in equation (5-2) is calculated by equation (5-5)
  • the value of the constant k b in (5-3) is calculated by equation (5-6).
  • G k g ⁇ , R (A) ⁇ ⁇ ) ⁇ ⁇ ) ⁇
  • step S1 the four-color color filter determination process performed in step S1 shown in FIG. 11 will be described with reference to the flowchart shown in FIG.
  • step S21 the color set to be used for calculating the UMG value is selected.
  • a color image containing many color patches representing the existing colors and many color patches emphasizing human memory colors (skin color, plant green, sky blue, etc.) One get is selected.
  • a color patch that can be used as a standard may be created from a short time such as SOCS (Standard Object Color Spectra Database) and used. Details of S0CS are disclosed in “Joji Tinima,” Statistical Color Reproduction Evaluation Using the Standard Object Color Spectroscopy Database (S0CS) ", Karaichi Forum JAPAN 99". The following describes the case where Macbeth Color Checker is selected as the color target.
  • SOCS Standard Object Color Spectra Database
  • the spectral sensitivity characteristics of the G2 filter are determined.
  • the spectral sensitivity characteristics those that can be created from existing materials may be used, or a virtual curve C ( ⁇ ) is assumed using a cubic spline curve (cubic spline function) as shown in Fig. 13.
  • the peak value A D of the virtual curve C ( ⁇ ) the value w (value obtained by dividing the sum of 1 and 2 by 2), value ⁇ ⁇ ⁇ (value obtained by subtracting 2 from W
  • the values of w and Aw are based on the value of the half width.
  • the method of changing ⁇ ⁇ , w, Aw is, for example, every 5 nm.
  • the hypothetical curve C ( ⁇ ) is expressed by the following equation (6-1) in each range.
  • step S23 the filter to be added (G2 filter) and the existing filter (R filter, G1 filter, B filter) are combined, and the minimum unit (set) of the four-color color filter is combined. Is created.
  • step S24 UMG is used as a filter evaluation coefficient for the four-color color filter created in step S23, and a UMG value is calculated.
  • the spectral sensitivity characteristics of each filter show a high evaluation for filters that have an appropriate overlap.
  • the R characteristics and the G characteristics overlap over a wide wavelength band. It can be suppressed that a filter having such characteristics (a filter that amplifies noise when each color signal is separated) is given a high evaluation.
  • FIG. 14 is a diagram showing an example of UMG values calculated in the three-color filter c.
  • UMG values calculated in the three-color filter c.
  • a filter having characteristics as shown in FIG. 7942 is calculated and the R and G characteristics overlap over a wide wavelength band.
  • the The G value is calculated.
  • a UMG value of “0.887 9” is calculated in a filter having characteristics as shown in FIG. 14 (C) where the respective characteristics of RGB moderately overlap. That is, the highest evaluation is shown for a filter having the characteristics shown in Fig. 14 (C), in which the respective characteristics of RGB moderately overlap.
  • the four-color color filter Note that a curve L31 shown in FIG.
  • FIG. 14 (A), a curve L41 shown in FIG. 14 (B), and a curve L51 shown in FIG. 14 (C) represent the spectral sensitivity of R
  • the curve L42 shown in (B) and the curve L52 shown in Fig. 14 (C) represent the spectral sensitivities of G
  • 43, and the curve L53 shown in FIG. 14 (C) represents the spectral sensitivity of B.
  • step S25 it is determined whether or not the UMG value calculated in step S24 is equal to or greater than a predetermined threshold value "0.95", and is determined to be less than "0.95". If so, the process proceeds to step S26, and the created four-color color filter is rejected (not used). If the four-color color filter is rejected in step S26, then the processing is terminated (the processing after step S2 shown in FIG. 11 is not executed).
  • step S25 if it is determined in step S25 that the UMG value calculated in step S24 is equal to or greater than 0.95, then in step S27, the four-color color filter is It is considered as a candidate for a philosophy to be used in the game.
  • step S28 it is determined whether or not the four-color color fill set as the candidate fill set in step S27 can be realized with existing materials and dyes. If it is difficult to obtain the materials, dyes, and the like, it is determined that it is not feasible, the process proceeds to step S26, and the four colors are rejected.
  • step S28 if it is determined that the material, dye, and the like can be obtained and are feasible, the process proceeds to step S29, where the created four-color color filter is determined as a filter used in the digital camera. Is done. After that, the processes after step S2 shown in FIG. 11 are executed.
  • FIG. 15 is a diagram showing an example of the spectral sensitivity characteristics of the four-color color filter determined in step S29.
  • the curve L61 represents the spectral sensitivity of R
  • the curve L62 represents the spectral sensitivity of G1.
  • the curve L63 represents the spectral sensitivity of G2
  • the curve L64 represents the spectral sensitivity of B.
  • the spectral sensitivity curve of G2 (curve L63) has a high correlation with the spectral sensitivity curve of G1 (curve L62).
  • the spectral sensitivity of R, the spectral sensitivity of G (G 1, G 2), and the spectral sensitivity of B overlap each other within an appropriate range.
  • the peak value of the spectral sensitivity curve of the filter to be added should be empirically within the range of 495 to 535 nm (near the peak value of the spectral sensitivity curve of the existing G filter).
  • one of the two G filters that make up the minimum unit (R, G, G, B) shown in Fig. 1 is used as an additional color filter. Since a 4-color color filter can be created by itself, there is no need to make major changes in the creation process.
  • the linear matrix processing unit 95 performs a conversion process of generating signals of three colors (R, G, B) from signals of four colors (R, G1, G2, B). Since this conversion process is a matrix process for an input signal value that is linear in brightness (a brightness value can be represented by a linear conversion), the conversion process performed in the linear matrix processing unit 95 will be appropriately described below. This is called linear matrix processing.
  • step S41 for example, general daylight D65 (illumination light L ( ⁇ )) which is used as a standard light source in the CIE (Commission Internationale de l'Eclai range) Is selected as the illumination light.
  • the illumination light may be changed to illumination light in an environment where the image processing apparatus is expected to be frequently used. If there are multiple possible lighting environments, it is conceivable to prepare multiple linear matrices.
  • daylight D65 is selected as the illumination light will be described.
  • step S42 reference values (reference values) Xr, Yr, and Zr are calculated. Specifically, the reference value Xr is calculated by equation (7-1), Yr is calculated by equation (7-2), and Zr is calculated by equation (7-3).
  • color target is Macbeth Color Checker
  • reference values for 24 colors are calculated.
  • step S 4 3 the output value R f of 4-color filters, G 1 f, is G 2 f) B f is calculated. Specifically, R f is calculated by equation (9-1), G l f is calculated by equation (9-2), G 2 f is calculated by equation (9-3), and B f is It is calculated by (9-4).
  • the constant k r is calculated by the equation (10-1), and the constant k gl is expressed by the equation (10-2).
  • the constant k g2 is calculated by the equation (10-3), and the constant k b is calculated by the equation (10 4)
  • a matrix for performing a conversion that approximates the filter output value calculated in step S43 to the reference value (XYZ ref ) calculated in step S42 is, for example, a minimum error in the XYZ color space.
  • the matrix transformation (XYZ exD ) is represented by the following equation (1 2).
  • E 2 ⁇ XYZref-XYZexpf-.-(13)
  • the color space used in the error least squares method may be changed to a color space other than the XYZ color space. For example, by converting to a Lab, Luv, Lch color space (uniform perceptual color space) that is equivalent to human perception, and performing similar operations, it is possible to reproduce colors with less perceptual error. A matrix can be calculated. Since these color space values are calculated from the XYZ values by a non-linear conversion, a non-linear calculation algorithm is also used in the error least squares method.
  • step S45 a linear matrix is determined. For example, if the final RGB image data to be created is represented by the following equation (15), the linear matrix (LinearM) is calculated as follows.
  • RGBout [R. , G. , B. ] 1 ⁇ (15)
  • Equation (17) is calculated using the inverse matrix of Rix.
  • Equation (18) The matrix conversion equation of equation (1 2) and the ITU-R709.BT of equation (15) and equation (17) Equation (18) is calculated using the inverse matrix of the matrix.
  • the right side of equation (18) includes an inverse matrix of the ITU-R709.BT matrix and a linear matrix as a value obtained by multiplying the matrix A described above.
  • LinearM linear matrix
  • the Lab color of the output value and the reference value when the max chart is captured by two types of image input devices an imaging device provided with a four-color color filter and an imaging device provided with a three-color color filter.
  • the color difference in the space is calculated by the following equation (20).
  • one L 2 is a lightness difference of two samples, a, - a 2, bt- b 2 represents the component difference of color phase and saturation of the two samples.
  • FIG. 17 is a diagram illustrating a calculation result obtained by Expression (20). As shown in Fig. 17, in the case of an imaging device provided with a three-color color filter, the color difference is "3.32", whereas in the case of an image pickup device provided with a four-color color filter, This is “1.39”, and the “color appearance” is better for an imaging device provided with a four-color color filter (small color difference).
  • the R value of the object R 1 is “49.4”, the G value is “64.1”, the B value is “149.5”, and the R value of the object R 2 is “6 6 0 ”, the G value is“ 63.7 ”, and the B value is“ 15.5.6 ”. Therefore, in the four-color color filter, the RGB values of the object R1 and the object R2 are different values, and the color of each object is identified as in the case of the eyes. In other words, “color discrimination” is improved by providing a filter that can identify four types of colors.
  • the four-color color filter 61 is configured as shown in FIG. 6 such that the B filter is provided on the left and right of the G1 filter and the R filter is provided on the left and right of the G2 filter.
  • it may be configured in an array as shown in FIG. 4-color color filter 61 shown in Fig. 19
  • R filters are provided on the left and right of the G1 fill
  • B filters are provided on the left and right of the G2 fill.
  • the linear matrix coefficient ⁇ is determined by emphasizing noise reduction rather than color reproducibility depending on the scene or environment to be imaged, and adaptively to the linear matrix. If processing can improve image quality, or conversely, it is better to determine the linear matrix coefficient ⁇ with emphasis on color reproducibility rather than noise reduction, and to perform linear matrix processing adaptively. May be improved.
  • the user since the use of the imaging device is different for each user, the user may want to arbitrarily determine the linear matrix coefficient ⁇ .
  • the linear matrix coefficient ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ is determined according to the flowchart shown in FIG. 20 in order to solve the above-described problem.
  • step S50 the chart to be used and the illumination light are determined (step S50), the color reproducibility index ⁇ ( ⁇ ) is defined (step S51), and the noise reduction is determined.
  • Defining index ⁇ ( ⁇ ) is defined (step S52)
  • evaluation index EEV (M) Error Evaluation Value
  • step S53 evaluation index EEV (M) is defined.
  • a linear matrix coefficient M is determined on the basis of (Step S54).
  • step 5 the coefficient of the evaluation index EEV (M) is adaptively changed according to the imaging conditions and the like, and the corresponding linear matrix coefficient M is determined. The details of each step are described below.
  • To determine the linear matrix coefficient M it is necessary to determine the color chart and the light source that illuminates the color chart.
  • Various color charts such as Macbeth Color Checker, Digital Camera Color Checker, IT8.7, etc. can be considered various reflection charts or transmission charts consisting of color patches with multiple uniform color planes.
  • Illumination light that has a spectral sensitivity close to that of the environment in which the imaging device is frequently used (for example, D55 or a light source) can be considered. Note that the imaging device is considered to be used under various light sources depending on the purpose of use of the user, so that the illumination light is not limited to only light in a frequently used environment.
  • the color reproducibility is defined as a difference between a target color and a color (hereinafter, referred to as an output color) indicated by a signal value subjected to linear matrix processing in the linear matrix processing unit 95 of the imaging device.
  • a color hereinafter, referred to as an output color
  • RGB values RGB values
  • YCbCr values YCbCr values
  • XYZ values XYZ values.
  • color space values L * a * b * values, L * Using u * v * values
  • the target color of the k-th color patch in the color chart is Lab ref — k (L * re- k , a * ref _ k , b * ref — k ), and the output color of the imaging device is L * a * b * sh .
  • k L * sh., A * shot _ k, b * sh.
  • AE k of this patch is as shown in equation (22).
  • the color reproducibility index ⁇ ( ⁇ ) is the average ⁇ of each patch in the color chart.
  • An E value, a value that emphasizes the color reproducibility of a specific color by weighting each patch, and the like can be considered.
  • lotalPatchNum 1 where w k indicates a weighting factor for each patch, and TotalPatchNum indicates the total number of color patches.
  • L * a * b * sh . tk is a function value of the linear matrix coefficient M, and thus ⁇ k and ⁇ are also function values of M.
  • the noise reduction index ⁇ ( ⁇ ) is defined by the standard deviation of the signal values subjected to the linear matrix processing in the linear matrix processing unit 95 of the imaging device.
  • the noise reduction index ⁇ ( ⁇ ) is defined by the standard deviation of the signal values subjected to the linear matrix processing in the linear matrix processing unit 95 of the imaging device.
  • There are various signal values such as RGB values, YCbCr values, XYZ values, etc., but values in a color space that are equally perceived by the human eye (L * a * b * values, L * u * v
  • the noise value is the standard deviation of each component of the color space, corresponding to the color space of the signal value.
  • the noise value is OR, aG, ⁇ , and in the XYZ space, the noise value is ⁇ , ⁇ , ⁇ .
  • these noise values are used to determine one noise index.
  • the noise value ⁇ N k in the L * a * b * space is expressed as ffL * k for brightness noise, a * k and ab * k for color noise, and Is defined as taking into account the lightness and color noise as in equation (25), for example.
  • wL * k , wa * k , and wb * k indicate weighting coefficients for each standard deviation value. These are appropriately set in correlation with the noise feeling felt by the human eye.
  • the noise value o N k various values such as those using variance values of other color spaces can be considered.
  • the noise reduction index ⁇ ⁇ ( ⁇ ) the average ⁇ ⁇ value of each patch in the color chart, a value that places importance on the noise reduction of a specific color by weighting each patch, and the like can be considered.
  • EEV (M) l [j ⁇ wc ⁇ h (AE (M)) ⁇ + k ⁇ wn- ⁇ ⁇ ( ⁇ )) ⁇ ] ⁇ (28) where h, I, j, k, 1, indicates a function, wc indicates a weighting coefficient for color difference, and wn indicates a weighting coefficient for noise value.
  • step S54 The linear matrix coefficient M is determined by applying the least error square method to the evaluation index E EV (M) defined in step S53.
  • E EV (M) the evaluation index defined in step S53.
  • step S54 wc and wn are appropriately determined, and the linear matrix coefficient M is calculated by applying the least-squares error method using, for example, the Newton method, Steepest Descent method, or Conjugate Gradien removal as a regression algorithm. decide.
  • step S54 a weighting coefficient wc for the color difference and a weighting coefficient wn for the noise value of the evaluation index EEV (M) defined in step S53 according to the environmental conditions and the like when the subject is imaged by the imaging device.
  • the linear matrix coefficient M is determined by the error least squares method.
  • Figure 21 shows the color reproduction finger This shows how the noise value reduction index ⁇ ( ⁇ ) changes when the target ⁇ ( ⁇ ) is changed.
  • the linear matrix coefficient ⁇ ⁇ is determined adaptively according to various imaging environments and conditions.
  • a set of several linear matrix coefficients ⁇ is prepared in advance, and the user selects the linear matrix coefficients ⁇ as necessary and adjusts the color reproducibility index ⁇ ( ⁇ ) and the noise reduction index ⁇ ( ⁇ ). This is also possible.
  • the linear matrix coefficient M is calculated according to steps S50 to S54 described above. The following describes a specific example in which is determined.
  • a chart and illumination light to be used are determined (step S50).
  • the color chart uses a Macbeth Color Checker (including 24 color patches) and the illumination light uses a D55 light source (550k standard daylight as defined by the CIE).
  • each spectral data is, for example, shall have been measured using a spectroradiometer.
  • the color reproduction: sex index ⁇ (M) is defined (step S51).
  • the target color be the human eye, and use the color difference ⁇ E in Lab space as an index.
  • the color of an object is the product of the "spectral reflectance of the object", “spectral energy distribution of illumination”, and “spectral sensitivity distribution of the sensor that senses the object” in the visible light region vis (usually 400M! To 700nm) (29) is defined by the value integrated over the range.
  • Object color ⁇ vis (spectral reflectance of object) ⁇ (spectral luminance of illumination) ⁇ (spectral sensitivity of sensor that senses object)
  • Equation (30) can be expressed using equation (29).
  • the color in the XYZ space is converted to the color in the L * a * b * space using the equation (3 1).
  • raw de Isseki RGBX raw _ k is a signal value outputted from the CCD imaging element (R raw _ k, G raw _ k, B raw k, X raw _ k) uses the formula (2 9) And Equation (3 2).
  • J Spectral sensitivity distribution of the camera's CCD force
  • Imaging apparatus uses linear matrix processing unit 9 5 in raw data RGBX raw _ k (R rawJf, G raff _ kl B raw _ k, raw _ k) the linear matrix coefficients M (m 0 ⁇ m 1 1) Since the linear matrix processing is performed, the imaging data after the linear matrix processing is as shown in equation (33).
  • AE k uses the value of L * a * b * cam — k , it is also a function value of the linear matrix coefficient M, so it can be expressed as AE k (M).
  • the color reproducibility index ⁇ ( ⁇ ) is defined as the average value of the color differences of each color patch as shown in Expression (37).
  • the noise reduction index ⁇ ⁇ ( ⁇ ) is defined (step S52).
  • the noise reduction index ⁇ ⁇ ( ⁇ ) is defined based on the ⁇ L ( ⁇ ) component included in the signal value after the linear matrix processing by the linear matrix processing unit 95 of the imaging device.
  • the noise Noise_ included in the signal CV- ceD output from the CCD image sensor itself is defined as in Expression (38).
  • ShotNoiseCoef and DarkNoise are values determined by the device characteristics of the CCD image sensor.
  • DarkNoise represents a noise component that does not depend on the signal value (such as Fixed Pattern Noise)
  • ShotNoise represents a noise component that depends on the signal value (such as Sensor Dark Noise, Photon Shot Noise).
  • equation (39) the noise component included in the raw data of the k-th color patch of the imaging device to be evaluated is defined as equation (39).
  • Noise Xraw k The literature (PD Burns and RS Berns, "Error Propagation Analysis in Color Measurement and Imaging", Color Research and Application, 1997) describes the following noise propagation theory.
  • the covariance component ie, off-diagonal component
  • the variance-covariance matrix ⁇ y of the output signal ⁇ is defined as in equation (42).
  • Equation (42) is a theoretical equation for the propagation of the noise variance between color spaces that can be converted by linear conversion.
  • RGB ⁇ XYZ conversion treatment can be by using 7 0 9 based matrix M 7 Q 9 represented by the formula (3 4) performs linear conversion, XYZ- L * a * b * conversion process, the formula (3 it is necessary to perform by Uni nonlinear conversion shown in 1).
  • Equation (43) If the value obtained by converting the signal value after the linear matrix into the XYZ value is XYZcam-k (Xcam_k, Ycam-1k, Zcam-k), it can be expressed as Equation (43). it can.
  • equation (4 8) can be derived from equation (4 7).
  • equation (48) is a function of the linear matrix coefficient ⁇ , it can be expressed as CTL * k (M). Since the noise reduction index ⁇ ( ⁇ ) is the average value of each brightness noise of the color patch, it can be defined as in equation (49).
  • an evaluation index EEV (M) considering the color reproducibility index ⁇ E (M) and the noise reduction index ⁇ ⁇ ( ⁇ ) defined as described above is defined as in equation (50) (step S 5). 5 3).
  • EEV (M) (wcAE (M)) 2 + (fungus N (M)) 2
  • Equation (5 1) is solved using the error least squares method, and the linear matrix coefficient ⁇ is calculated by the equation (5 Determined as in 2) (Step S54)
  • Eqs. (5 2) and Eq. (5 3) are larger matrices between the coefficients, and are matrices that increase noise.
  • the imaging device amplifies or attenuates the signal input from the CCD image sensor (hereinafter referred to as the input signal) based on the ISO sensitivity setting.
  • the ISO sensitivity setting of the imaging device is changed from IS0100 to IS0200, For example, the signal is amplified twice as large as that of IS0100 and input to the imaging device.However, the imaging device uses the same linear matrix coefficient M for all input signals regardless of the ISO sensitivity setting state. If the ISO sensitivity is set high, noise components included in the input signal will be amplified together with the amplification of the input signal because the linear matrix processing is performed using this. Therefore, even if an attempt is made to obtain a high-resolution image by increasing the ISO sensitivity setting, an image including an amplified noise component is generated.
  • the linear matrix coefficient M is determined in consideration of the noise component contained in the input signal which is amplified or attenuated based on the setting of the ISO sensitivity.
  • Perform linear matrix processing using M For example, as shown in Table 1, the weighting factor for noise reduction (wn) Can be changed according to the ISO sensitivity setting, and the linear matrix coefficient M for each ISO sensitivity setting is determined by substituting wc and wn into equation (50). Therefore, the imaging apparatus can perform the linear matrix processing using the linear matrix coefficient M determined based on the setting state of the ISO sensitivity. Accordingly, the noise component is not amplified, and a high-resolution image can be obtained.
  • Table 1 the weighting factor for noise reduction
  • the linear matrix coefficient M is adaptively determined based on the environment in which the imaging device images the subject. For example, when a subject such as a night scene is imaged by an imaging device, most of the generated image may be occupied by a dark portion (dark portion), and the noise is very conspicuous in the dark portion. In such a case, it is better to consider noise component reduction rather than color reproducibility.
  • the imaging apparatus determines a linear matrix coefficient M in consideration of noise reduction and color reproducibility based on a scene in which a subject is imaged, and uses the linear matrix coefficient M to determine the linear matrix coefficient M. Performs linear matrix processing. For example, as shown in the histogram of Fig. 23, when the area less than half of the luminance dynamic range of the imaging device contains 70% or more of the luminance component of the generated image, the noise reduction is reduced.
  • the linear matrix coefficient M is determined with emphasis on, and in other cases the linear matrix coefficient M is determined in consideration of color reproducibility and noise reduction.
  • the weighting factor (wn) for the noise reduction can be changed according to the imaging scene, and wc and wn are substituted into the equation (50), and for each imaging scene, Determine the linear matrix coefficient M. Therefore, the imaging device is Since linear matrix processing can be performed using the linear matrix coefficient M determined based on this, even if the generated image is mostly occupied by dark areas, it is possible to make noise components inconspicuous .
  • Table 2 the weighting factor (wn) for the noise reduction can be changed according to the imaging scene, and wc and wn are substituted into the equation (50), and for each imaging scene, Determine the linear matrix coefficient M. Therefore, the imaging device is Since linear matrix processing can be performed using the linear matrix coefficient M determined based on this, even if the generated image is mostly occupied by dark areas, it is possible to make noise components inconspicuous . Table 2
  • the linear matrix coefficient M is adaptively determined based on a request of a user who uses the imaging apparatus.
  • an image generated by photographing a subject with an imaging device is required to have less noise than color reproducibility, depending on a user's intended use.
  • the intended use is unknown to the imaging device manufacturer, and is a fact known only to users.
  • the linear matrix coefficient M is determined based on the condition intended by the user, and linear matrix processing is performed using the linear matrix coefficient M.
  • the weighting factor (wn) for the noise reduction can be changed according to the noise amount adjustment variable, and wn and wc are substituted into the expression (50), and each noise amount adjustment variable is
  • the linear matrix coefficient M is determined in advance, and the determined linear matrix coefficient M is stored.
  • a predetermined linear matrix coefficient M Is determined is performed using the linear matrix coefficient M. Therefore, since the imaging apparatus can perform the linear matrix processing using the linear matrix coefficient M determined according to the user's request, the imaging device performs the noise amount adjustment according to the user's use situation. It is possible. Table 3
  • the four-color filter 61 formed in the front part of the image sensor 45 is determined according to the flowchart shown in FIG. 12.
  • the signal processing unit 71 performs matrix processing on the signals (R, Gl, G2, B) whose luminance can be represented by linear transformation. Compared to the case where matrix processing is performed on the signal obtained after performing gamma processing as in the processing in the signal processing unit 11 shown in Fig. 2, more faithful colors can be reproduced in terms of color engineering.
  • the determination of the linear matrix coefficient M is determined according to imaging conditions and the like. Reproducibility and low noise It is possible to improve the resistance.
  • An image pickup apparatus includes: an adjustment unit that adjusts a color reproduction value that represents color reproduction faithful to the appearance of the human eye and a noise value that represents noise perceived by humans; And a matrix conversion processing unit that performs a matrix conversion process on an image captured by an image sensor unit included in the imaging apparatus based on the matrix coefficient.
  • the linear matrix coefficient M can be determined adaptively according to the imaging environment and conditions, and linear matrix processing can be performed using the linear matrix coefficient M.
  • the imaging method includes color filters having different spectral characteristics, and includes a color reproduction value representing a color reproduction faithful to the appearance of the human eye and a noise representing a noise feeling perceived by a human.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

分光特性の異なるカラーフィルタによりなっており、被写体を撮像する撮像素子部を有する撮像装置において、色再現値とノイズ感を表すノイズ値を調整する調整部と、調整部の調整に基づきマトリクス係数を決定するマトリクス係数決定部と、マトリクス係数に基づき上記撮像素子部で撮像した画像にマトリクス変換処理を行なうマトリクス変換処理部とを備える。

Description

明細 ¾ 撮像装置及び方法 技術分野 本発明は、 被写体を撮像する撮像装置及び方法に関し、 特に撮像感度に対して 好適に撮像を行なう撮像装置及び方法に関する。
また、 本出願は、 日本国において 2 00 2年 1 2月 2 5日に出願された日本特 許出願番号 20 02 - 3 7 542 3を基礎として優先権を主張するものであり、 この出願は参照することにより、 本出願に援用される。 背景技術 近年、 コンシユーマ向けの画像撮像装置 （ディジタルカメラ、 カラースキャナ 等） および画像処理ソフトウェアが普及しており、 当該画像撮像装置により被写 体を撮像して生成した画像を画像処理ソフトウエアにより自ら編集するユーザが 増加している。 また、 画像撮像装置により撮像された画像の画質に対する要求も 高くなつてきており、 画像撮像装置を購入する際の主要な条件として、 画質がよ いことを挙げるユーザの割合が増えてきている。 ここで、 画像撮像装置の一般的 な構成について以下に述べる。
画像撮像装置は、 例えば、 図 1に示すような RGBの 3原色のカラ一フィルタ 1が用いられている。 この例では、 図 1の一点鎖線で示すように、 緑色 （G) の 光のみを透過する Gフィルタが 2個、 赤 （R) の光のみを透過する Rフィル夕が 1個、 および青 （B) の光のみを透過する Bフィル夕が 1個の、 合計 4個を最小 単位として、 いわゆるべィャ一配列 （Bayer 配列） により、 カラ一フィルタ 1が 構成される。
図 2は、 RGBカラ一フィルタ 1を有する CCD (Charge Coupled Device)撮 像素子により取得された RGB信号に対して各種の処理を施す信号処理部 1 1の 構成例を示すブロック図である。
オフセット補正処理部 2 1は、 C C D撮像素子により取得された信号に所定の 処理を施すフロントエンド 1 3から供給されてきた画像信号に含まれるオフセッ ト成分を除去し、 得られた画像信号をホワイトパランス補正処理部 2 2に出力す る。 ホワイトバランス補正処理部 2 2は、 オフセット補正処理部 2 1から供給さ れてきた画像信号の色温度、 およびカラ一フィルタ 1の各フィルタの感度の違い に基づいて、 各色のバランスを捕正する。 ホワイ トパランス補正処理部 2 2によ り補正が施され、 取得された色信号はガンマ補正処理部 2 3に出力される。 ガン マ補正処理部 2 3は、 ホワイトパランス補正処理部 2 2から供給されてきた信号 に対してガンマ補正を行い、 取得した信号を垂直方向同時化処理部 2 4に出力す る。 垂直方向同時化処理部 2 4にはディレイ素子が設けられており、 ガンマ補正 処理部 2 3から供給されてきた信号の垂直方向の時間のずれが同時化される。
R G B信号生成処理部 2 5は、 垂直方向同時化処理部 2 4から供給されてきた 色信号を、 同一空間の位相に補間する補間処理、 信号のノイズ成分を除去するノ ィズ除去処理、 信号帯域を制限するフィルタリング処理、 および信号帯域の高域 成分を補正する高域周波数補正処理等を行い、 得られた R G B信号を、 輝度信号 生成処理部 2 6、 および色差信号生成処理部 2 7に出力する。
輝度信号生成処理部 2 6は、 R G B信号生成処理部 2 5から供給されてきた R G B信号を所定の合成比で合成し、 輝度信号 （Y ) を生成する。 色差信号生成処 理部 2 7も同様に、 R G B信号生成処理部 2 5から供給されてきた R G B信号を 所定の合成比で合成し、 色差信号 （C b , C r ) を生成する。 輝度信号生成処理 部 2 6により生成された輝度信号 （Y ) 、 および色差信号生成処理部 2 7により 生成された色差信号 （C b , C r ) は、 例えば、 信号処理部 1 1の外部に設けら れているモニタに出力される。
このように、 元信号に対してガンマ処理を施してから線形変換によって画像処 理 （リニアマトリクス処理） を行うことが一般的に行われている。
上述したような画像撮像装置は、 被写体を撮像し画像を.生成したとき、 観察時 の視環境によって見え方が異なるために、 所望の色で再現されない場合がある。 これは、 撮像時の光源 （以下、 撮像光源という。 ） と観察時の光源 （以下、 観察 光源という。 ） の演色性が大きく異なる場合に生じる現象である。 そこで、 撮像 光源と演色性の異なる観察光源で画像が再現される場合でも、 良好に色再現する 方法が特開 2 0 0 2— 1 4 2 2 3 1号公報等に提案されている。 また、 図 3及び 図 4に分光感度の特性をしめす。 図 3の曲線 L 1は、 Rの分光感度を示し、 曲線 L 2は、 Gの分光感度を示し、 曲線 L 3は、 Bの分光感度を示している。 また、 図 4の曲線 L 1 1は、 Rの分光感度を示し、 曲線 L 1 2は、 Gの分光感度を示し， 曲線 L 1 3は、 Bの分光感度を示す。
一方、 上述したような画像撮像装置に、 リニアマトリクス処理の追加、 更に撮 像素子のカラ一フィルタの追加を行うことにより、 色再現性を劇的に向上させる ことができる。 その際、 使用するリニアマトリクスの係数を単に色差が最小にな るように決定すると、 ノイズを従来よりも増長させてしまうことがある。 発明の開示 本発明は、 撮像する環境や条件等に応じて色再現性とノイズ低減性を考慮した 係数を用いたリ二アマトリクス処理を行なうことが可能な撮像装置及び撮像方法 を提供することを目的とする。
本発明に係る撮像装置は、 分光特性の異なるカラーフィル夕によりなつており， 被写体を撮像する撮像素子部を有する撮像装置において、 色再現値とノイズ感を 表すノイズ値を調整する調整手段と、 上記調整手段の調整に基づきマトリクス係 数を決定するマトリクス係数決定手段と、 上記マトリクス係数に基づき上記撮像 素子部で撮像した画像にマトリクス変換処理を行なうマトリクス変換処理手段と を備える。
また、 本発明に係る撮像方法は、 分光特性の異なるカラ一フィルタによりなつ ており、 被写体を撮像する撮像素子部を有する撮像装置により被写体を撮像する 撮像方法において、 色再現値とノイズ感を表すノイズ値を調整する第 1のステツ プと、 上記第 1のステップの調整に基づきマトリクス係数を決定する第 2のステ ップと、 上記マトリクス係数に基づき上記撮像素子部で撮像した画像にマトリク ス変換処理を行なう第 3のステップとを有する。 本発明の更に他の目的、 本発明によって得られる具体的な利点は、 以下に説明 される実施例の説明から一層明らかにされるであろう。 図面の簡単な説明 図 1は、 従来の RGBカラーフィルタの例を示す図である。
図 2は、 従来の撮像装置に設けられる信号処理部の構成例を示すブロック図で ある。
図 3は、 分光感度特性の例を示す図である。
図 4は、 分光感度特性の他の例を示す図である。
図 5は、 本発明を適用した撮像装置の構成例を示すプロック図である。
図 6は、 本発明を適用した撮像装置に設けられる 4色カラ一フィルタの例を示 す図である。
図 7は、 視感度曲線の例を示す図である。
図 8は、 評価係数の特徴を示す図である。
図 9は、 本発明を適用した撮像装置が備えるカメラシステム LSIの構成例を示 すブロック図である。
図 1 0は、 図 9の信号処理部の構成例を示すブロック図である。
図 1 1は、 画像処理装置の作成処理を説明するフローチャートである。
図 1 2は、 図 1 1のステップ S 1の 4色カラ一フィルタ決定処理の詳細を説明 するフローチヤ一卜である。
図 1 3は、 仮想曲線の例を示す図である。
図 1 4 ( A ) 乃至図 1 4 ( C ) は、 フィルタ毎の UMG値の例を示す図である。 図 1 5は、 4色カラーフィルタの分光感度特性の例を示す図である。
図 1 6は、 図 1 1のステップ S 2のリニアマトリクス決定処理の詳細を説明す るフローチヤ一トである。
図 1 7は、 色差の評価結果の例を示す図である。
図 1 8は、 4色カラ一フィルタによる所定の物体の色度を示す図である。 図 1 9は、 本発明を適用した撮像装置に設けられる 4色カラ一フィルタの他の 例を示す図である。
図 2 0は、 適応的にリニアマトリクス係数 Mの決定を示すフローヂャ一トであ る。
図 2 1は、 色再現性指標を変化させたときのノイズ低減性指標の変化の様子を 示す図である。
図 2 2は、 4色カラ一フィル夕の分光感度特性の例を示す図である。
図 2 3は、 画像のヒストグラムを示す図である。 発明を実施するための最良の形態 図 5は、 本発明を適用した撮像装置の構成例を示すブロック図である。
図 5に示す撮像装置は、 CCD (Charge Coup l ed Dev i ce)等よりなる画像センサ 4 5の前面 （レンズ 4 2に対向する面） に、 4種類の色 （光） を識別するカラ一フ ィル夕が設けられている。 なお、 撮像装置では、 図 5の画像センサ 4 5に設けら れるカラーフィルタを図 6に示す 4色カラーフィルタ 6 1とする。
4色カラ一フィル夕 6 1は、 図 6の一点鎖線で示すように、 赤の光のみを透過 する Rフィルタ、 青の光のみを透過する Bフィルタ、 第 1の波長帯域の緑色の光 のみを透過する G 1フィル夕、 および G 1フィルタと相関が高い、 第 2の波長帯 域の緑色の光のみを透過する G 2フィルタの、 合計 4個のフィルタを最小単位と して構成される。 また、 G 1フィル夕と G 2フィル夕は、 その最小単位内におい て、 互いに対角する位置に配置されている。
後に詳述するように、 画像センサ 4 5により取得される画像の色を 4種類とし、 取得される色情報を増やすことにより、 3種類の色 （RGB) のみが取得される場 合と較べて、 より正確に色を表現することができ、 眼で違うものに見える色は違 う色に、 同じものに見える色は同じ色に、 それぞれ再現すること （ 「色の判別 性」 ） を向上させることができる。
なお、 図 7に示される視感度曲線から分かるように、 人間の眼は輝度に敏感で ある。 従って、 図 6に示す 4色カラ一フィルタ 6 1においては、 より正確な輝度 情報を取得することにより、 輝度の階調を上げることができ、 かつ、 眼の見え方 に近い画像を再現することができるように、 視感度曲線に近い分光感度特性を有 する G 2のカラ一フィル夕が追加されている （図 1の R, G， Bに対応する R, G l , Bのフィルタに対して、 新たに決定された緑 G 2フィルタが追加されてい る） 。
また、 4色カラーフィルタ 6 1を決定する際に使用されるフィル夕評価係数と して、 例えば、 「色再現性」 と 「ノイズ低減性」 の両方を考慮した係数である UMG (Unified Measure of Goodness)が用いられている。
UMGを用いた評価においては、 評価対象のフィル夕が単にルータ条件を満たし ているだけでは、 その評価値は高くならず、 それぞれのフィル夕の分光感度分布 の重なりも考慮される。 従って、 Qファクタ、 ファクタ、 または FOM (Figure of Merit)を利用して評価されたカラ一フィルタの場合と比較して、 ノイズをよ り低減させることができる。 すなわち、 UMGを用いた評価により、 それぞれのフ ィル夕の分光感度特性が、 ある程度の重なりを有するが、 図 4の Rの特性と Gの 特性のようにほぼ全てが重なるものではないフィルタが選択されるため、 色の分 離のため、 それぞれの色信号を増幅する場合であっても、 増幅率をそれ程大きく する必要がなく、 それに伴ってノイズ成分が増幅されることが抑制される。
図 8は、 各フィルタ評価係数の特徴を示す図である。 なお、 図 8は、 各評価係 数に対して、 一度に評価できるフィルタの数、 物体の分光反射率が考慮されてい るか否か、 およびノイズの低減が考慮されているか否かに関する事項を示すもの である。
図 8に示すように、 Qファクタ （Q- factor) は、 一度に評価できるフィル夕の 数が 「 1個」 のみであり、 物体の分光反射率と、 ノイズの低減が考慮されていな い。 また、 ファクタ （ - factor) は、 一度に複数のフィル夕を評価すること ができるものの、 物体の分光反射率とノイズの低減は考慮されていない。 さらに, F0Mは、 一度に複数のフィルタを評価することができ、 物体の分光反射率が考慮 されているものの、 ノイズの低減が考慮されていない。
これに対して、 4色カラ一フィル夕 6 1を決定する際に使用される UMGは、 一 度に複数のフィル夕を評価することができ、 物体の分光反射率が考慮され、 かつ, ノイズの低減も考慮されている。 なお、 Q ファクタについては 「H. E. L Neugebauer "Quality Factor for Filters Whose Spectral Transmi t tances are Different from Color Mixture Curves, and Its Application to Color Photography" JOURNAL OF THE OPTICAL SOCIETY OF AMERICA, VOLUME 46, NUMBER 10」 にその詳細が開示されており、 β ファクタについては 「P. L. Vora and H. J. Trussell, "Measure of Goodness of a set of color-scanning filters", JOURNAL OF THE OPTICAL SOCIETY OF 崖 ERICA, VOLUME 10, NUMBER 7J にその詳細が開示されている。 また、 F0Mにつ レ ては 「G. Sharma and H. J. Trussel 1, "Figures of Merit for Color Scanners, IEEE TRANSACTION ON IMAGE PROCESSING, VOLUME 6j にその詳細が開示されてお り 、 UMGについては 「 S. Quan, N. O ta, and N. Katoh, "Optimal Design of Camera Spectral Sensitivity Functions Based on Practical Filter Components", CIC, 2001」 にその詳細が開示されている。
図 5の説明に戻る。 マイクロコンピュータ 41は、 所定の制御プログラムに従 つて全体の動作を制御する。 例えば、 マイクロコンピュータ 41は、 絞り 43に よる露光制御、 シャツ夕一 44の開閉制御、 TG (Timing Generator) 46の電子シ ャッ夕一の制御、 フロントエンド 47でのゲインコントロール、 カメラシステム LSI (Large Scale Integrated Circuit) 48のモード制御、 パラメータ制御等を 行う。
絞り 43は、 レンズ 42により集光された光の通過 （絞り） を調整し、 画像セ ンサ 45により取り込まれる光量を制御する。 シャツタ一 44は、 マイクロコン ピュー夕 41の指示に基づいて、 レンズ 42により集光された光の通過を制御す る。
画像セ ンサ 4 5 は、 さ ら に、 CCDや CMOS (Complemen ry Metal Oxide Semiconductor)により構成される撮像素子を有し、 その撮像素子の前面に形成す る 4色カラ一フィルタ 6 1を介して入射された光を電気信号に変換し、 4種類の 色信号 （R信号， G 信号， G 2信号， B信号） をフロントエンド 47に出力す る。 画像センサ 45には、 図 6の 4色カラーフィルタ 6 1が設けられ、 レンズ 4 2を介して入射された光から、 R， G l , G 2 , Bのそれぞれの帯域の波長の成 分が抽出される。 なお、 その詳細については、 図 1 5を参照して後述する。 フロントエンド 47は、 画像センサ 45から供給されてきた色信号に対して、 ノイズ成分を除去するための相関二重サンプリング処理、 ゲインコントロール処 理、 およびディジタル変換処理等を施す。 フロントエンド 47により各種の処理 が施され、 得られた画像デ一夕は、 カメラシステム LSI48に出力される。
カメラシステム LSI48は、 後に詳述するように、 フロントエンド 47から供 給されてきた画像デ一夕に対して各種の処理を行い、 例えば、 輝度信号および色 信号を生成して画像モニタ 5 0に出力し、 信号に対応する画像を表示させる。
画像メ モ リ 4 9 は、 例えば、 DRAM (Dynamic Random Access Memory) や SDRAM (Synchronous Dynamic Random Access Memory)などにより構成され、 カメ ラシステム LSI48が各種の処理を行う際に適宜利用される。 半導体メモリ、 デ イスク等により構成される外部記憶媒体 5 1は、 例えば、 図 5の撮像装置に対し て着脱可能に構成され、 カメラシステム LSI48により JPEG (Joint Photographic Expert Group)フォーマツトで圧縮された画像データが記憶される。
画像モニタ 5 0は、 例えば、 LCD(Liduid Crystal Display)などにより構成さ れ、 撮影された画像や各種のメニュー画面等を表示する。
図 9は、 図 5に示す力メラシステム LSI 48の構成例を示すブロック図である カメラシステム LSI48を構成する各ブロックは、 マイクロコンピュータインタ フェース（I/F) 7 3を介して、 図 5に示すマイクロコンピュ一夕 4 1により制御 される。
信号処理部 7 1は、 フロントエンド 47から供給されてきた 4種類の色情報に 対して、 補間処理、 フィルタリング処理、 マトリクス演算処理、 輝度信号生成処 理、 色差信号生成処理等の各種の処理を行い、 例えば、 生成した画像信号をモニ タインタフエース 7 7を介して画像モニタ 50に出力する。
画像検波部 7 2は、 フロントエンド 47の出力に基づいて、 オートフォーカス、 オートエキスポ一ジャー、 オートホワイトバランス等の検波処理を行い、 その結 果を、 適宜、 マイクロコンピュータ 4 1に出力する。
メモリコントローラ 7 5は、 処理ブロック間同士のデータの送受信、 または、 所定の処理ブロックと画像メモリ 49との間のデータの送受信を制御し、 例えば， 信号処理部 7 1から供給されてきた画像デ一夕をメモリインタフェース 74を介 して画像メモリ 4 9に出力し、 記憶させる。
画像圧縮 ·解凍部 7 6は、 例えば、 信号処理部 7 1から供給されてきた画像デ 一夕を JPEGフォーマツトで圧縮し、 得られたデータをマイクロコンピュータイン タフエース 7 3を介して外部記憶媒体 5 1に出力し、 記憶させる。 画像圧縮 -解 凍部 7 6は、 また、 外部記憶媒体 5 1から読み出された圧縮データを解凍 （伸 張） し、 モニタインタフェース 7 7を介して画像モニタ 5 0に出力する。
図 1 0は、 図 9に示す信号処理部 7 1の詳細な構成例を示すブロック図である。 信号処理部 7 1を構成する各ブロックは、 マイクロコンピュータインタフェース 7 3を介して、 マイクロコンピュータ 4 1により制御される。
オフセット補正処理部 9 1は、 フロントエンド 4 7から供給されてきた画像信 号に含まれるノイズ成分 （オフセット成分） を除去し、 得られた画像信号をホヮ ィトバランス補正処理部 9 2に出力する。 ホワイ トバランス補正処理部 9 2は、 オフセット補正処理部 9 1から供給されてきた画像信号の色温度、 および 4色力 ラーフィルタ 6 1の各フィル夕の感度の違いに基づいて、 各色のバランスを補正 する。 ホワイトバランス補正処理部 9 2により補正が施され、 取得された色信号 は、 垂直方向同時化処理部 9 3に出力される。 垂直方向同時化処理部 9 3にはデ ィレイ素子が設けられており、 ホワイトバランス補正処理部 9 2から出力されて きた信号 （以下、 RG1G2B信号という。 ） の垂直方向の時間のずれが同時化 （補 正） される。
信号生成処理部 9 4は、 垂直方向同時化処理部 9 3から供給されてきた RG1G2B 信号の最小単位の 2 X 2画素の色信号を、 同一空間の位相に補間する補間処理、 信号のノイズ成分を除去するノイズ除去処理、 信号帯域を制限するフィルタリン グ処理、 および信号帯域の高域成分を補正する高域周波数補正処理等を行い、 得 られた RG1 G2B信号を、 リニアマトリクス処理部 9 5に出力する。
リニアマトリクス処理部 9 5は、 所定のリニアマトリクス係数 M ( 3 X 4の行 列） に基づいて式 （ 1 ) による RG1G2B信号の演算を行ない、 3色の RGB信号を生 成する。 •(1)
Figure imgf000012_0001
リニアマトリクス処理部 9 5により生成された R信号は、 ガンマ補正処理部 9 6— 1に出力され、 G信号は、 ガンマ補正処理部 9 6— 2に出力され、 B信号は、 ガンマ補正処理部 9 6 _ 3に出力される。
ガンマ補正処理部 9 6 _ 1乃至 9 6— 3は、 リニアマトリクス処理部 9 5から 出力されてきた RGB信号のそれぞれの信号に対してガンマ補正を行い、 取得され た RGB信号を輝度 （Y) 信号生成処理部 9 7および色差 （C) 信号生成処理部 9 8に出力する。
輝度信号生成処理部 9 7は、 ガンマ補正処理部 9 6— 1乃至 9 6— 3から供給 されてきた RGB信号を、 例えば、 式 （2 ) に従って、 所定の合成比で合成し、 輝 度信号 （Y) を生成する。
Y= 0. 2 1 26 R + 0. 7 1 52 G+ 0. 0 72 2 Β ·■ · ( 2 )
色差信号生成処理部 9 8も同様に、 ガンマ補正処理部 9 6— 1乃至 9 6— 3か ら供給されてきた RGB信号を所定の合成比で合成して色差信号 （C) を生成し、 帯域制限間引き処理部 9 9に出力する。 帯域制限間引き処理部 9 9は、 色差信号 (C) に基づき色差信号 （C b, C r ) を生成する。 なお、 単板 2 X 2色コ一デ ィングによって得られた信号には、 一般的に色情報の帯域が輝度信号ほど存在し ない。 したがって、 帯域制限間引き処理部 9 9は、 色差信号生成処理部 9 8から 供給された色差信号 （C) を帯域制限処理と間引き処理を行なうことで色情報デ —夕を削減することで色差信号 （C b, C r ) を生成する。
輝度信号生成処理部 9 7により生成された輝度信号 （Y) 、 および色差信号生 成処理部 9 8により生成された色差信号 （C) 又は帯域制限間引き処理部 9 9に より生成された色差信号 （C b， C r ) は、 例えば、 図 9に示すモニタインタフ エース 7 7を介して画像モニタ 5 0に出力される。
以上のような構成を有する撮像装置において、 画像の撮影が指示された場合、 マイクロコンピュータ 4 1は、 TG 4 6を制御し、 画像センサ 4 5により画像を取 り込ませる。 すなわち、 画像センサ 4 5を構成する CCD等の撮像素子 （以下、 CCD 撮像素子という。 ) の前面に形成されている 4色カラ一フィルタ 6 1により 4色 の光が透過され、 透過された光が CCD撮像素子により取り込まれる。 CCD撮像素子 により取り込まれた光は、 4色の色信号に変換され、 それがフロントエンド 4 7 に出力される。
フロントエンド 4 7は、 画像センサ 4 5から供給されてきた色信号に対して、 ノイズ成分を除去するための相関二重サンプリング処理、 ゲインコントロール処 理、 およびディジタル変換処理等を施し、 得られた画像データをカメラシステム LS I 4 8に出力する。
カメラシステム LS I 4 8の信号処理部 7 1においては、 オフセット補正処理部 9 1により色信号のオフセット成分が除去され、 ホワイトバランス補正処理部 9 2により、 画像信号の色温度、 および 4色カラ一フィルタ 6 1の各フィルタの感 度の違いに基づいて、 各色のバランスが補正される。
また、 垂直方向同時化処理部 9 3により、 ホワイ トバランス補正処理部 9 2に より補正された信号の垂直方向の時間のずれが同時化 （補正） され、 信号生成処 理部 9 4により、 垂直方向同時化処理部 9 3から供給されてきた RG1 G2B信号の最 小単位の 2 X 2画素の色信号を、 同一空間の位相に補間する補間処理、 信号のノ ィズ成分を除去するノイズ除去処理、 信号帯域を制限するフィルタリング処理、 および信号帯域の高域成分を補正する髙域周波数補正処理等が行われる。
さらに、 リニアマトリクス処理部 9 5においては、 信号生成処理部 9 4により 生成された信号 （RG1 G2B信号） が、 所定のリニアマトリクス係数 M ( 3 X 4の行 列） に基づいて変換され、 3色の RGB信号が生成される。 リニアマトリクス処理 部 9 5により生成された R信号は、 ガンマ補正処理部 9 6— 1に出力され、 G信 号は、 ガンマ補正処理部 9 6— 2に出力され、 B信号は、 ガンマ補正処理部 9 6 一 3に出力される。
ガンマ補正処理部 9 6— 1乃至 9 6— 3により、 リ二アマトリクス処理部 9 5 の処理により得られた RGB信号のそれぞれの信号に対してガンマ補正が行われ、 取得された RGB信号が輝度信号生成処理部 9 7および色差信号生成処理部 9 8に 出力される。 輝度信号生成処理部 9 7、 および色差信号生成処理部 9 8において は、 ガンマ補正処理部 9 6 — 1乃至 9 6— 3から供給されてきた R信号、 G信号、 B信号のそれぞれの信号が所定の合成比で合成され、 輝度信号 （Y ) および色差 信号 （C ) が生成される。 輝度信号生成処理部 9 7により生成された輝度信号 ( Y ) 、 および色差信号生成処理部 9 8により生成された色差信号 （C ) は、 図 9の画像圧縮 ·解凍部 7 6に出力され、 例えば、 ； TPEGフォーマットで圧縮される 圧縮され、 得られた画像データは、 マイクロコンピュータインタフェース 7 3を 介して外部記憶媒体 5 1に出力され、 記憶される。
以上のように、 1つの画像データが 4種類の色信号に基づいて形成されるため、 その再現性は、 人間の眼の見えにより近いものとなる。
—方、 外部記憶媒体 5 1に記憶されている画像データの再生 （表示） が指示さ れたとき、 マイクロコンピュータ 4 1により、 外部記憶媒体 5 1に記憶されてい る画像データが読み出され、 それがカメラシステム LSI 4 8の画像圧縮 ·解凍部 7 6に出力される。 画像圧縮 ·解凍部 7 6においては、 圧縮されている画像デ一 夕が伸張され、 モニタインタフェース 7 7を介して、 得られたデータに対応する 画像が画像モニタ 5 0に表示される。
次に、 図 1 1に示すフローチャートを参照して、 以上のような構成を有する撮 像装置を作成する処理 （手順） について説明する。
ステップ S 1において、 図 5に示す画像センサ 4 5に設けられる 4色カラーフ ィルタ 6 1の分光感度特性を決定する 4色カラーフィルタ決定処理が行われ、 ス テツプ S 2において、 図 1 0に示すリニアマトリクス処理部 9 5に設定されるマ トリクス係数 Mを決定するリ二アマトリクス係数 M決定処理が行われる。 ステツ プ S 1において実行される 4色カラ一フィルタ決定処理の詳細については、 図 1 2に示すフローチャートを参照して、 また、 ステップ S 2において実行されるリ ニァマトリクス係数 M決定処理の詳細については、 図 1 6に示すフローチャート を参照して、 それぞれ後述する。
4色カラ一フィルタ 6 1が決定され、 マトリクス係数が決定された後、 ステツ プ S 3において、 図 1 0に示す信号処理部 7 1が作成され、 ステップ S 4に進み, 図 9に示すカメラシステム LS I 4 8が作成される。 また、 ステップ S 5において， 図 5に示すような撮像装置 （例えば、 ディジ夕ルカメラ) の全体が作成される。 ステップ S 6において、 ステップ S 5で作成された撮像装置の画質 （ 「色再現 性」 、 「色判別性」 ） の評価が行われ、 処理が終了される。 '
ここで、 「色再現性」 、 「色判別性」 などを評価する際に参照される物体色に ついて説明する。 物体色は、 「物体の分光反射率」 、 「標準照明の分光エネルギ —分布」 、 および 「物体を感知するセンサ （カラ一フィルタ） の分光感度分布 (特性） 」 の積を可視光領域 （例えば、 40 0乃至 7 0 0 nm) の範囲で積分した 値によって算出される。 すなわち、 式 （3) により物体色が算出される。
物体色 = kf (物体の分光反射率) ·照明の分光エネルギー分布）
• (物体を感知するセンサの分光感度分布) iU' · '(3)
ス：波長
Ws:可視光領域 （通常 400 nm〜700 nm) 例えば、 所定の物体を眼で観察する場合、 式 （3 ) の 「センサの分光感度特 性」 が等色関数で表され、 その物体の物体色は、 X， Υ， Ζの三刺激値で表され る。 具体的には、 Xの値は式 （4— 1) で算出され、 Υの値は式 （4一 2) で算 出され、 Ζの値は式 （4一 3) で算出される。 なお、 式 （4— 1 ) 乃至 （4一 3) における定数 kの値は式 （4— 4) で算出される。
X =k{ R(A) · Ρ(λ) · χ(λ)άλ · · -(4 - 1)
Jvis
Y = k[ R(A) · Ρ(λ)·}'(λ)άλ· - -(4 - 2)
Jvis
Z = k[ R(A)* Ρ(λ)·ζ(λ)άλ" -(4-3)
Jvis
R( ）：物体の分光反射率
(ス) μ),;(ι):等色関数
k = l/jP(A)»y(A)dA'-- (4-4)
また、 ディジタルカメラなどの撮像装置により、 所定の物体の画像を取り込む 場合、 式 （3) の 「センサの分光感度特性」 がカラーフィル夕の分光感度特性で 表され、 その物体の物体色は、 フィルタの数の色値 （例えば、 RGBフィルタ （3 種類） の場合は RGB値 （3値） ） の物体色が算出される。 撮像装置に、 3種類の 色を検出する RGBフィル夕が設けられている場合、 具体的には、 Rの値は式 （5 一 1) で算出され、 Gの値は式 （5— 2) で算出され、 Bの値は式 （5— 3) で 算出される。 また、 式 （ 5— 1 ) における定数 krの値は式 （5— 4) で算出さ れ、 式 （ 5— 2 ) における定数 kgの値は式 （ 5 — 5 ) で算出され、 式 （ 5 — 3) における定数 kbの値は式 （5— 6 ) で算出される。
R = R(A)» Ρ(λ)·Γ(λ)άλ· · -(5-Ϊ)
G = kg \, R(A) ·Ρ{λ)· ^{λ)άλ ·'·(5— 2)
B = t [ R(A)* Ρ(λ)·ϊ(λ)άλ· · -(5 -3)
Figure imgf000016_0001
：カラーフィルタ一の分光感度分布
= 1/ I Ρ(λ)·Ηλ)άλ· · · (5-4)
Figure imgf000016_0002
L = 1/ f Ρ{λ)·ϊ{λ)άλ· · · (5-6)
次に、 図 1 2に示すフローチヤ一トを参照して、 図 1 1に示すステツプ S 1で 行われる 4色カラ一フィルタ決定処理について説明する。
なお、 4色カラ一フィル夕の決定方法としては様々な方法があるが、 例えば、 RGBフィルタを基調として （既存の （図 1 ) Gフィルタの一方を G 1フィルタと して） 、 G 1フィルタを透過する色と相関の高い色を透過する G 2フィルタを選 択し、 それを追加して 4色カラ一フィルタを決定する処理について説明する。 ステップ S 2 1において、 UMG値を算出するために使用されるカラー夕一ゲッ トが選択される。 例えば、 ステップ S 2 1において、 現存する色を代表するカラ 一パッチを多く含み、 かつ、 人間の記憶色 （肌色、 植物の緑、 空の青等） を重視 したカラ一パッチを多く含むカラー夕一ゲットが選択される。 カラー夕一ゲット と し て は 、 例 え ば、 IT8.7 , Macbeth Color Checker , GretagMacbeth DigitalCamera Color Checker, CIE， Color Bar等がある。
また、 目的に応じて、 SOCS (Standard Object Color Spectra Database)などの デ一夕から、 標準となりうるカラーパッチを作成し、 それを使用するようにして もよい。 なお、 S0CSについては 「田島譲二， "標準物体色分光データベース (S0CS)による統計的色再現評価"， カラ一フォーラム JAPAN 99」 にその詳細が開 示されている。 以下、 Macbeth Color Checkerがカラーターゲットとして選択さ れた場合について説明する。
ステップ S 2 2において、 G 2フィルタの分光感度特性が決定される。 分光感 度特性として、 実存する材料から作成可能なものを使用するようにしてもよいし、 図 1 3に示すような cubic spline曲線 （ 3次スプライン関数） で仮想曲線 C (λ ) を想定し、 仮想曲線 C (λ) のピーク値 AD、 値 w ( 1と 2の和を 2で除 算した値） 、 値 Δ\ν (W|から 2を減算した値を 2で除算した値） を、 図中に示 す範囲で変化させたものを使用するようにしてもよい。 なお、 w, Awの値は、 半値幅の値に基づく値とされる。 λ^， w, Awの変化の方法は、 例えば、 5nm 刻みとする。 仮想曲線 C (λ) は、 それぞれの範囲において、 下式 （6— 1 ) 乃 至 （ 6— 5 ) で表される。
wl + 3w (w2 - - |) + 3w2 (w, -\λ-λ0\γ- 3(w2 - -
C(A) =
6w2 3
Λ 0≤ 一ス0≤ v2. · .(6— 1)
Figure imgf000017_0001
(2w2 - μ-ス
C{X) = 2 1 , 01 Λ w2≤ ^-^≤2ιν2·· ·(6-3)
6w,
(2w1 - - λ(
Λ 一 2w1≤スース o •(6— 4)
Figure imgf000017_0002
C(A) = 0 Λ 上記範囲以外 · · '(6-5)
なお、 この例では、 フィルタ G 2のみが追加されるが、 図 1に示すフィル夕 (R, G, G， B) の Rフィルタと Bフィルタのみを使用し、 残りの 2つの G l, G 2フィルタを、 緑色付近の上式 （6— 1) 乃至 （6— 5) の仮想曲線として定 義することも可能である。 また、 同様に、 Rと Gのみ、 Gと Bのみを、 図 1に示 すフィルタから使用するようにしてもよい。 さらに、 4色のフィル夕のうち、 3 色を仮想曲線、 または 4色とも仮想曲線として定義することも可能である。
ステップ S 23において、 追加するフィルタ （G 2フィルタ） と、 現存のフィ ル夕 （Rフィル夕， G 1フィルタ， Bフィルタ） が組み合わされ、 4色カラ一フ ィル夕の最小単位 （セット） が作成される。 また、 ステップ S 24において、 ス テツプ S 2 3で作成された 4色カラーフィル夕に対して、 フィルタ評価係数とし て UMGが用いられ、 UMG値が算出される。
図 8を参照して説明したように、 UMGを用いた場合、 4色のそれぞれのカラ一 フィルタに対して一度で評価を行うことができる。 また、 物体の分光反射率を考 慮して評価が行われるだけでなく、 ノイズの低減性をも考慮して評価が行われる
UMGを用いた評価においては、 それぞれのフィルタの分光感度特性に、 適度な重 なりがあるフィル夕に対して高い評価が示されるため、 例えば、 Rの特性と Gの 特性が広い波長帯域にわたって重複する特性を有するフィルタ （それぞれの色信 号を分離した際、 ノイズが増幅されるフィルタ） に対して、 高い評価が示される ということを抑制することができる。
図 14は、 3色カラーフィルタにおいて算出される UMG値の例を示す図である c 例えば、 RGBの特性がそれぞれ重複しない図 14 (A) に示すような特性のフィ ル夕においては、 「 0. 7942」 の UMG値が算出され、 Rの特性と Gの特性が 広い波長帯域にわたって重複する図 14 (B) に示すような特性のフィルタにお いては、 「0. 82 1 1」 の環 G値が算出される。 また、 RGBのそれぞれの特性が 適度に重なる図 14 (C) に示すような特性を有するフィル夕においては、 「0. 8 8 7 9」 の UMG値が算出される。 すなわち、 RGBのそれぞれの特性が適度に重な る、 図 14 (C) に示すような特性を有するフィルタに対して最も高い評価が示 される'。 このことは、 4色カラーフィル夕においても同様である。 なお、 図 14 (A) に示す曲線 L 3 1、 図 14 (B) に示す曲線 L 41、 および図 14 (C) に示す曲線 L 5 1は Rの分光感度を表し、 図 14 (A) に示す曲線 L 32、 図 1 4 (B) に示す曲線 L 42、 および図 14 (C) に示す曲線 L 52は Gの分光感 度を表し、 図 14 (A) に示す曲線 L 33、 図 14 (B) に示す曲線 L 43、 お よび図 14 (C) に示す曲線 L 53は Bの分光感度を表している。
ステップ S 2 5において、 ステップ S 24で算出された UMG値が、 所定の閾値 である 「0. 9 5」 以上であるか否かが判定され、 「0. 9 5」 未満であると判 定された場合、 ステップ S 2 6に進み、 作成された 4色カラ一フィルタが却下さ れる （使用されない） 。 ステップ S 2 6において、 4色カラ一フィル夕が却下さ れた場合、 その後、 処理は終了される （図 1 1に示すステップ S 2以降の処理は 実行されない） 。
一方、 ステップ S 2 5において、 ステップ S 24で算出された UMG値が 「0. 9 5」 以上であると判定された場合、 ステップ S 2 7において、 その 4色カラ一 フィルタが、 ディジ夕ルカメラで使用される候補のフィル夕とされる。
ステップ S 28において、 ステップ S 2 7で候補のフィル夕とされた 4色カラ 一フィル夕が、 現存する材料、 染料で実現可能であるか否かが判定される。 材料、 染料等が取得困難である場合、 実現不可能であると判定され、 ステップ S 2 6に 進み、 その 4色カラ一フィル夕が却下される。
一方、 ステップ S 28において、 材料、 染料等が取得可能であり、 実現可能で あると判定された場合、 ステップ S 29に進み、 作成された 4色カラーフィルタ 力 ディジタルカメラにおいて使用されるフィルタとして決定される。 その後、 図 1 1に示すステップ S 2以降の処理が実行される。
図 1 5は、 ステップ S 29において決定された 4色カラ一フィルタの分光感度 特性の例を示す図である。
図 1 5において、 曲線 L 6 1は Rの分光感度を表し、 曲線 L 6 2は G 1の分光 感度を表している。 また、 曲線 L 6 3は G 2の分光感度を表し、 曲線 L 64は B の分光感度を表している。 図 1 5に示すように、 G 2の分光感度曲線 （曲線 L 6 3 ) は、 G 1の分光感度曲線 （曲線 L 62) に対して相関が高い。 また、 Rの分 光感度、 G (G 1 , G 2) の分光感度、 および Bの分光感度は、 それぞれ適度な 範囲において重複している。
以上のようにして決定された 4色カラ一フィルタを利用することにより、 特に， 「色再現性」 のうちの 「色の判別性」 を改善させることができる。
なお、 光の利用効率の観点から、 以上のように、 現存する RGBフィルタの Gフィ ル夕と相関の高いフィル夕を、 追加するフィルタ （G 2フィル夕） とすることが 好ましい。 この場合、 追加するフィルタの分光感度曲線のピーク値は、 経験的に 4 9 5乃至 5 3 5 nmの範囲 （現存する Gフィル夕の分光感度曲線のピーク値の近 傍） にあることが望ましい。
また、 現存する Gフィル夕と相関の高いフィルタを追加する場合、 図 1に示す 最小単位 （R , G , G , B ) を構成する 2つの Gフィルタのいずれか一方を追加 色のフィルタにするだけで 4色カラ一フィルタを作成することができるため、 作 成の行程に大きな変更を加える必要がない。
以上のようにして 4色カラ一フィル夕が作成され、 それがディジタルカメラに 設けられた場合、 図 1 0に示す信号処理装置 7 1には 4種類の色信号が信号生成 処理部 9 4から供給されるため、 リニアマトリクス処理部 9 5において、 4色 ( R , G 1 , G 2 , B ) の信号から 3色 （R , G， B ) の信号を生成する変換処 理が行われる。 この変換処理は、 輝度リニアな （輝度値を線形的な変換により表 すことができる） 入力信号値に対するマトリクス処理であるため、 以下、 リニア マトリクス処理部 9 5において行われる変換処理を、 適宜、 リニアマトリクス処 理と称する。
次に、 図 1 6に示すフローチャートを参照して、 図 1 1に示すステップ S 2に おいて実行される、 リニアマトリクス係数 M決定処理について説明する。 なお、 リニアマトリクス係数 M決定処理において使用されるカラ一ターゲッ トは Macbe th Col or Checkerとし、 また、 使用される 4色カラ一フィルタは図 1 5に 示す分光感度特性を有するものとする。
ステ ッ プ S 4 1 にお いて、 例えば、 CIE (Commi s ion Internat ionale de l ' Ec l ai range)において標準光源とされている一般的な昼光 D 6 5 (照明光 L ( λ ) ) が照明光として選択される。 なお、 照明光は、 画像処理装置が頻繁に使 用されることが予想される環境の照明光等に変更してもよい。 また、 想定される 照明環境が複数ある場合、 リ二アマトリクスを複数用意することも考えられる。 以下、 照明光として昼光 D 6 5が選択された場合について説明する。 ステップ S 42において、 リファレンス値 （参照値） X r , Y r , Z rが算出 される。 具体的には、 リファレンス値 X rは式 （7— 1 ) により算出され、 Y r は式 （7— 2) により算出され、 Z rは式 （7— 3) により算出される。
Xr =k{ R(A)»L(A)*x(A)dA- - -(7-1)
Jvis
Y R(A) · L(A) · y(A)dA- · -(7一 2)
Zr =k[ R(A)»L(A)»z(A)dA---(l-3)
Jvis
2? (ス）：物体の分光反射率
( ) ( ) J ( ）：等色関数 また、 定数 kは式 （8) により算出される。
Figure imgf000021_0001
例えば、 カラ一ターゲットが Macbeth Color Checkerの場合、 2 4色分のリフ アレンス値が算出される。
次に、 ステップ S 4 3において、 4色カラーフィルタの出力値 Rf， G 1 f, G 2 f) Bfが算出される。 具体的には、 Rfは式 （9— 1 ) により算出され、 G l f は式 （9— 2) により算出され、 G 2 fは式 （9— 3 ) により算出され、 Bfは式 (9 - 4) により算出される。
Rf =kr[ R(A)» Πλ) ·Γ(λ)άΛ· ' -(9 -1)
J Jvis
Figure imgf000021_0002
Bf =kb[ R(A)»L(A)»b(A)dA-- -(9-4)
J Jvis
r{ ),Jl{ ), l{ )M )：カラーフィルターの分光感度分布
また、 定数 krは式 （1 0— 1 ) により算出され、 定数 kglは式 （ 1 0— 2) に より算出され、 定数 kg2は式 （ 1 0— 3) により算出され、 定数 kbは式 （ 1 0 4) により算出される
k =l/\ L(A)»r(A)dA-- - (10-1)
Figure imgf000022_0001
た& =1 /に (ス) ί^··· (10-4)
例えば、 カラーターゲットが Macbeth Color Checkerの場合は、 24色分の出 力値 Rf, G 1„ G 2 f, Bfが算出される。
ステップ S 44において、 ステップ S 43で算出されたフィルタ出力値を、 ス テツプ S 42で算出されたリファレンス値 （XYZref) に近似させる変換を行うマ トリクスが、 例えば、 XYZ色空間における誤差最小二乗法により算出される。 例えば、 算出される、 3 X 4のマトリクスを式 （ 1 1 ) で表される Aとした場 合、 マトリクス変換 （XYZexD) は、 次の式 （1 2) で表される。 αθ a2 ai a4
A 4 a5 a6 al •(11)
a8 a9 alO all
•(12)
Figure imgf000022_0002
また、 リファレンス値に対するマトリクス変換 （式 （ 1 2) ) の誤差の 2乗 (E2) は、 次の式 （ 1 3) で表され、 これに基づいてリファレンス値に対する マトリクス変換の誤差を最小にするマトリクス Aが算出される。
E2 = \XYZref - XYZexpf- . -(13) また、 誤差最小二乗法で使用する色空間を、 XYZ色空間以外のものに変更する ようにしてもよい。 例えば、 人間の知覚に対して均等な Lab, Luv, Lch色空間 (知覚均等色空間） に変換した後に同様の演算を行うことにより、 知覚的な誤差 の少ない色の再現を可能にするリ二アマトリクスを算出することができる。 なお, これらの色空間の値は、 XYZ値から非線形な変換によって算出されるため、 誤差 最小二乗法においても非線形な計算アルゴリズムが使用される。
上述したような演算により、 例えば、 図 1 5に示す分光感度特性を有するフィ ルタに対するマトリクス係数として式 （14) で表されるものが算出される。
0.476 0.905 0.261 -0.691
A = 0.2 1.154 -0.061 -0.292 •(14)
-0.004 0.148 0.148 -0.481
ステップ S 45において、 リニアマトリクスが決定される。 例えば、 作成され る最終の RGB画像データが次の式 （ 1 5) で表されるとした場合、 リニアマトリ クス （LinearM) は、 以下のようにして算出される。
RGBout= [R。， G。， B。] 1 ··· (15)
すなわち、 照明光が D 6 5である場合、 sRGB色空間を ΠΖ色空間に変換する変 換式は ITU-R709. BTマトリクスを含む式 （ 1 6) で表され、 その ITU- R709. BTマト リクスの逆マトリクスにより式 （ 1 7) が算出される。
0.4124 0.3576 0.1805 R
0.2126 0.7152 0.0722 · G •(16)
0.0193 0.1192 0.9505 B
•(17)
Figure imgf000023_0001
Figure imgf000023_0002
式 （ 1 2) のマトリクス変換式、 式 （ 1 5) および式 （ 1 7) の ITU- R709. BT マトリクスの逆マトリクスにより、 式 （18) が算出される。 式 （18) の右辺 には、 ITU-R709. BTマトリクスの逆マトリクスと、 上述したマトリクス Aを乗算 した値としてのリニアマトリクスが含まれる。
Rf
3.2406 -1.5372 - 0.4986 αθ α2 α3 α4
-0.9689 1.8758 0.0415 ct4 5 6 αΊ •(18) 0.0557 -0.204 1.057 8 α9 αΐθ all
Figure imgf000024_0001
すなわち、 3 X4のリニアマトリクス （LinearM) は式 （19— 1) により表 され、 例えば、 式 （14) のマトリクス係数が用いられる、 図 15に示す分光分 布特性を有する 4色カラ一フィルタに対するリ二アマトリクスは、 式 （ 1 9— 2) により表される。 la 12 13 14
LinearM = 14 15 16 11
/8 19 /10 /11
' 3.2406 -1.5372 -0.4986 αθ α2 α3 α4
-0.9689 1.8758 0.0415 α4 α5 6 al •(19一 1) 0.0557 -0.204 1.057 8 9 αΐθ all
' 1.238 1.084 0.228 -1.55
LinearM = - 0.087 1.295 -0.309 0.101 •(19— 2)
-0.018 -0.029 1.535 —0.485 以上のようにして算出されたリニアマトリクスが、 図 10に示すリニアマトリ クス処理部 95に与えられる。 これにより、 輝度を線形変換により表すことがで きる信号 （R, G 1 , G 2 , B) に対してマトリクス処理を行うことができるの で、 図 2に示す信号処理部 1 1における処理のように、 ガンマ処理を施した後に 得られる信号に対してマトリクス処理を行う場合に較べて、 色彩工学的に、 より 忠実な色を再現させることができる。 次に、 図 1 1に示すステップ S 6において行われる評価について説明する。 以上のようにして作成された、 例えば、 図 1 5に示す分光感度特性を有する 4 色カラ一フィル夕が設けられた撮像装置の色再現性と、 図 1に示す 3色カラ一フ ィル夕が設けられる画像処理装置の色再現性を比較した場合、 以下のような差が 現れる。
例えば、 マク スチャートを 2種類の画像入力装置 （4色カラーフィルタが設 けられる撮像装置と、 3色カラーフィルタが設けられる撮像装置） で撮像したと きの出力値とリファレンス値との Lab色空間における色差が次の式 （2 0) によ りそれぞれ算出される。
AE = ( - L 2 + («,二 "2)2 + (b, -b2)2- · -(20)
L ,一 L2は 2つの試料の明度差であり、 a,— a2、 b t— b 2は 2つの試料の色 相 ·彩度の成分差を表している。
図 1 7は、 式 （20) による算出結果を示す図である。 図 1 7に示すように、 3色カラ一フィル夕が設けられる撮像装置の場合は色差が 「3. 32」 であるの に対して、 4色カラ一フィル夕が設けられる撮像装置の場合は 「1. 3 9」 であ り、 「色の見え方」 は 4色カラ一フィル夕が設けられた撮像装置の方が優れてい る （色差が小さい） 。
図 1 8においては、 物体 R 1の R値が 「49. 4」 、 G値が 「64. 1」 、 B 値が 「 1 49. 5」 とされ、 物体 R 2の R値が 「6 6. 0」 、 G値が 「 6 3. 7」 、 B値が 「 1 5 5. 6」 とされている。 従って、 4色カラ一フィルタにおい ては、 物体 R 1と物体 R 2の RGB値はそれぞれ異なる値となり、 眼で見た場合と 同様に、 それぞれの物体の色が識別されている。 すなわち、 4種類の色を識別で きるフィル夕を設けることにより、 「色の判別性」 が改善されている。
以上においては、 4色カラ一フィルタ 6 1は、 図 6に示すように、 G 1フィル 夕の左右に Bフィルタが設けられるとともに、 G 2フィルタの左右に Rフィルタ が設けられるような配列により構成されるとしたが、 図 1 9に示すような配列に より構成されるようにしてもよい。 図 1 9に示す 4色カラ一フィルタ 6 1におい ては、 G 1フィル夕の左右に Rフィル夕が設けられるとともに、 G 2フィル夕の 左右に Bフィルタが設けられている。 4色カラ一フィルタ 6 1をこのように構成 することによつても、 図 6に示すものと同様に、' 「色の判別性」 、 「色の再現 性」 および 「ノイズの低減性」 を向上させることができる。
ところで、 色差 （Δ Ε値） を最小にするように、 リニアマトリクス係数 Mを決 定した場合、 もしも、 画像センサ 4 5の前段部に形成されているカラ一フィルタ の分光感度が図 4に示すように重なっているときには、 式 （2 1 ) のようにリニ アマトリクス係数 Mの差が大きくなつてしまう。 r'( 6.56 - 5.54 1.18 τ(λ)
g' (ス) - 2.01 3.12 - 0.16 8(Λ) · · · ( 2 1 )
b'(A) 0.12 - 0.28 1.07 Λ)
撮像素子の出力信号には、 微小なノイズ成分が含まれているため、 このような リ二アマトリクス係数 Μを使用して色分離処理を行なうと、 微小なノイズ成分も 増幅されてしまう。 したがって、 リニアマトリクス係数 Μの差が大きくならない ように、 色再現性よりもノイズ低減性を考慮する必要が生じる。 しかし、 当該撮 像装置により実際に被写体を撮像するときに、 撮像するシーンや環境により、 色 再現性よりもノイズ低減性を重視してリ二アマトリクス係数 Μを決定し、 適応的 にリニアマトリクス処理を行なった方が画質の向上を図れる場合や、 逆に、 ノィ ズ低減性よりも色再現性を重視してリニアマトリクス係数 Μを決定し、 適応的に リニアマトリクス処理を行なった方が画質の向上を図れる場合がある。 また、 撮 像装置の使用の用途は、 ユーザごとに異なるため、 リニアマトリクス係数 Μの決 定をユーザが任意に行ないたい場合がある。
そこで、 本願発明に係る撮像装置では、 上述したような問題点を解決するため に、 図 2 0に示すフローチャートにしたがってリ二アマトリクス係数 Μを決定す る。
まず、 使用するチャート及び照明光の決定を行ない （ステップ S 5 0 ) 、 つぎ に色再現性指標 Δ Ε ( Μ ) の定義を行ない （ステップ S 5 1 ) 、 つぎにノイズ低 減性指標 σΝ (Μ) の定義を行ない (ステップ S 52) 、 つぎに評価指数 EEV (M) (Error Evaluation Value) の定義を行ない （ステップ S 5 3) 、 そして、 評価指数 EE V (M) に基づきリニアマトリクス係数 Mを決定する （ステップ S 54) 。 なお、 ステップ 5では、 評価指数 EE V (M) の係数を撮像条件等によ り適応的に変化させ、 対応するリニアマトリクス係数 Mを決定する。 以下に、 各 ステップの詳細について説明する。
使用するチヤ一卜及び照明光の決定 （ステップ S 5 0) について説明する。 リ ニァマトリクス係数 Mを決定するためには、 カラ一チャートと、 当該カラ一チヤ ートを照明する光源を決める必要がある。 カラーチャートとしては、 Macbeth Color Checker, Digital Camera Color Checker, IT8.7等の複数の均一な色平面 を持つカラ一パッチから成る様々な反射チャート又は透過チャートが考えられる。 照明光としては、 撮像装置がよく使用される環境の光に近い分光感度を持つもの (例えば D 5 5や光源等） が考えられる。 なお、 撮像装置は、 ユーザの使用目的 により様々な光源下で用いられることが考えられるので、 照明光としては、 よく 使用される環境の光のみに限定されるものではない。
つぎに、 色再現性指標 ΔΕ (M) の定義 （ステップ S 5 1) について説明する。 色再現性は、 目標色と撮像装置のリニアマトリクス処理部 9 5でリ二アマ卜リク ス処理が行なわれた信号値が示す色 （以下、 出力色という。 ） との差で定義され る。 なお、 色の値としては、 RGB値、 YCbCr値又は XYZ値等様々考えられるが、 人 間の眼の見えに対して知覚が均等な色空間の値 （L*a*b*値、 L*u*v*値等） を用い て定義する方が、 より色の差を正確に示すことが可能となる。 例えば、 カラ一チ ヤート中の k番目のカラ一パッチの目標色を Labref—k(L*reし k, a*ref_k, b*ref— k)とし、 撮像装置の出力色を L*a*b*sh。し k(L*sh。 ， a*shot_k, b*sh。 ）とすると、 このパッチ の色差 AEkは式 （22) のようになる。
AEk = (L^ref_k -L shot_k )1 + ref_k ~a shot _k ref _k ~° shot— k J
… (22) また、 色再現性指標 ΔΕ (Μ) としては、 カラーチャートの各パッチの平均 Δ E値や、 各パッチに重み付けを行ってある特定色の色再現性を重視した値等が考 えられる。
TotalPatchNwn
ΔΕ w, (2 3)
lotalPatchNum , 1 ただし、 wkは、 各パッチに対する重み付け係数を示し、 TotalPatchNumは、 カラーパッチの総数を示す。
また、 実際には撮像装置の出力色には、 リニアマトリクス処理が施されている ので、 L*a*b*sh。t kは、 リニアマトリクス係数 Mの関数値となり、 したがって ΔΕ k、 ΔΕも Mの関数値となる。
Figure imgf000029_0001
(24)
つぎに、 ノイズ低減性指標 σΝ (Μ) の定義 （ステップ S 52) について説明 する。 ノイズ低減性指標ひ Ν (Μ) は、 撮像装置のリニアマトリクス処理部 9 5 でリニアマトリクス処理が行なわれた信号値の標準偏差で定義する。 信号値とし ては、 RGB値、 YCbCr値又は XYZ値等様々考えられるが、 人間の眼の見えに対して 知覚が均等な色空間の値 （L*a*b*値、 L*u*v*値） 等を用いて信号値を定義する方 が、 より人が感じるノイズ感と相関のあるノイズ値 σ N kを得ることが可能とな る。 なお、 ノイズ値は、 信号値の色空間に対応して、 色空間の各成分の標準偏差 となる。 例えば、 RGB空間の場合には、 ノイズ値は、 OR, aG, σΒとなり、 XYZ空 間の場合には、 ノイズ値は、 σΧ, σΥ, σΖとなる。 ノイズ低減性指標 σΝ (Μ) の定義では、 これらのノイズ値を使って 1つのノイズ指標を決定する。 例えば、 ある力ラーパツチを照明光下で撮像した場合、 L*a*b*空間のノィズ値 σ N kは、 明度ノイズを ffL*k、 色ノイズをひ a*k, ab*kとし、 これらの値から例えば式 （2 5 ) のような明度及び色ノイズを考慮したものとして定義される。
Figure imgf000030_0001
ただし、 wL*k、 wa*k、 wb *kは、 各標準偏差値への重み付け係数を示し. 人間の眼が感じるノイズ感との相関で適切に設定されるものである。 なお、 ノィ ズ値 o Nkとしては、 他の色空間の分散値を使ったもの等様々考えられる。 ノィ ズ低減性指標 σ Ν (Μ) としては、 カラ一チャートの各パッチの平均 σ Ν値や、 各パッチに重み付けを行ってある特定色のノイズ低減性を重視した値等が考えら れる。
TotalPatchNum
σΝ = た'び (2 6)
lotalPatchJNum k=l 実際には、 撮像装置の信号値には、 リニアマトリクス処理が施されているので. σ Nk及び σ Nはリ二アマトリクス係数 Μの関数値となる。 び N(M) ( ) (2 7)
Figure imgf000031_0001
つぎに、 評価指数 EEV (M) の定義 （ステップ S 5 3) について説明する。 上述したステップ S 5 1及びステップ S 5 2の定義により、 リニアマトリクス係 数 Mの関数値である色再現性指標 Δ E (M) 及びノイズ低減性指標 σΝ (Μ) の 二値を考慮した評価指数 E EV (Error Evaluation Value) (M) を式 （2 8) の 様に定義する。 EEV(M) = l[j{wc · h(AE(M))} + k{wn- ί{σΝ(Μ))}] ··· (2 8) ただし、 h， I， j, k, 1, は、 関数を示し、 wcは、 色差に対する重み付け係 数を示し， wnは、 ノイズ値に対する重み付け係数を示す。 wcと wnを変化さ せて、 評価指数 EEV (M) が最小となるようにリニアマトリクス係数 Mを決定 することにより、 色再現性及びノイズ低減性の双方を考慮したリニアマトリクス 係数 Mの決定が可能となる。 なお、 色再現性を重視したい場合は、 wc〉wnと し、 ノイズ低減性を重視したい場合は、 wc く wnと重み付けを設定すれば良 い。
つぎに、 リニアマトリクス係数 Mを決定する手段 （ステップ S 54) について 説明する。 ステップ S 5 3により定義した評価指数 E EV (M) に誤差最小二乗 法を適用してリニアマトリクス係数 Mを決定する。 なお、 ステップ S 54では、 w c及び w n を適当に定めて、 例えば Newton法、 Steepest Descent法又は Conjugate Gradienけ去等を回帰アルゴリズムとして使用して誤差最小二乗法を適 用し、 リニアマトリクス係数 Mを決定する。
また、 ステップ S 54では、 撮像装置により被写体を撮像するときの環境ゃ条 件等によりステップ S 5 3で定義した評価指数 EE V (M) の色差に対する重み 付け係数 wc及びノイズ値に対する重み付け係数 wnを適応的に変化させ、 誤 差最小二乗法によりリニアマトリクス係数 Mを決定する。 図 2 1に、 色再現性指 標 ΔΕ (Μ) を変化させたときのノイズ値低減性指標 σΝ (Μ) の変化の様子を 示す。 図 2 1に示すように、 一つの撮像素子においても、 リニアマトリクス係数 Μによって色再現性指標 Δ Ε (Μ) とノイズ低減性指標 σΝ (Μ) のトレードォ フが存在する。 この結果を用いて、 様々な撮像環境及び条件等に応じて適応的に リニアマトリクス係数 Μを決定する。 また、 あらかじめいくつかのリニアマトリ クス係数 Μのセットを用意し、 ユーザが必要に応じてリニアマトリクス係数 Μを 選択して色再現性指標 ΔΕ (Μ) 及びノイズ低減性指標 σΝ (Μ) を調節するこ とも可能である。
ここで、 撮像装置が図 2 2に示すような特性の 4色カラーフィルタ一よりなる CCD撮像素子を有している場合に、 上述したステップ S 5 0〜ステップ S 5 4に したがってリニアマトリクス係数 Mを決定する具体例について述べる。
まず、 使用するチャート及び照明光を決定する （ステップ S 5 0) 。 カラ一チ ャ一トは、 Macbeth Color Checker (24色のカラ一パッチを含む） を使用し、 照明光は、 D 5 5光源 （C I Eで定義される 5 50 0 kの標準昼光） を使用する c なお、 それぞれの分光データは、 例えば、 分光放射輝度計を用いて測定されてい るものとする。
つぎに、 色再現：性指標 ΔΕ (M) の定義を行なう (ステップ S 5 1 ) 。 目標色 を人間の眼の見えとし、 Lab空間での色差 Δ Eを指標とする。 一般的に物体色は、 「物体の分光反射率」 と 「照明の分光エネルギー分布」 と 「物体を感知するセン サの分光感度分布」 との積を可視光領域 vis (通常 400M！〜 700nm) の範囲で積分 した値によって式 （29) のように定義される。
物体色 = ί vis (物体の分光反射率） · （照明の分光輝度） · （物体を感知するセ ンサの分光感度） ··· (29)
さらに、 人間の眼の分光感度を表す等色関数を用いると、 カラ一チャートの k番 目のパッチの目標色 XYZRELkareし k, Yref_k, Zreし k)は、 式 （2 9) を用いて式 （3 0) のように表すことができる。
Figure imgf000033_0001
ただし、 ?fc( i):Macbei/iチャート中のある 番目カラーパッチ
の分光反射率
L(A)：照明光 D55分光放射輝度
x>y,z
m-l/[visL(A)-y(A)dA
また、 通常は、 式 （3 1 ) を使用して XYZ空間の色を L*a*b*空間の色に変換す る
(31)
Figure imgf000033_0002
ただし、 （Xn、 Yn、 Z n) は、 完全拡散反射面 （白点） の XY Z値を示して いる。
そして、 目標色 XYZreUtを式 （ 3 1 ) を用いて L*a*b*refJC(L*ref_k, a*ref_k, b*ref_k)に変換する。
また、 CCD撮像素子から出力される信号値である r a wデ一夕 RGBXraw_k(Rraw_k, Graw_k, Braw k, Xraw_k)は、 式 （2 9 ) を用いると式 （3 2) のようになる。
Figure imgf000034_0001
ただし、 , J , ：カメラの CCD力ラ一フィル夕の分光感度分布
mr = l/jvisL(A)r(A)dA
mg = l/jvisL(A)-g(A)dA
mb = l/jvisL(A)-b(A)dA
mx = l/jvisL(A)-x(A)dA
撮像装置は、 リニアマトリクス処理部 9 5で r a wデータ RGBXraw_k(RrawJf, Graff_kl Braw_k, raw_k)をリニアマトリクス係数 M (m 0〜m 1 1 )を用いてリニアマ トリクス処理をするので、 リニアマトリクス処理後の撮像デ一夕は式 （33) の ようになる。
Figure imgf000034_0002
… （33)
そして、 上記 RGBeara_kを XYZ値に変換する。 なお、 変換には、 式 （34) に示す ように、 一般的に使用されている 709系マトリクス Μ7。9を使用する。 —X— R 0.4124 0.3576 0.1805 R
Y 一 ^709 · G -0.9689 1.8758 0.0415 G (3 4)
ζ B 0.0557 —0.204 1.057 B
つぎに、 式 （3 4) を用いて、 Xcam_k Yc„_k、 及び Zcan— kを求める,
0.4124 0.3576 0.1805 R cam k
-0.9689 1.8758 0.0415 G c,am一 k ( 3 5)
0.0557 -0.204 1.057 B
Figure imgf000035_0002
cam—k また、 式 ( 3 1 ) を用いて L*a*b*値（L*a*b*CM_k(L*can k, a*caB_k, b*cam—k))に変 換し、 カラ一チャートの k番目のパッチの色差 AEkを式 （3 6 ) のように定義す る。
Δ¾
Figure imgf000035_0001
( 3 6) なお、 AEkは、 L*a*b*cam—kの値を使用しているので、 リニアマトリクス係数 M の関数値でもあるので、 AEk(M)と表すことができる。 色再現性指標 ΔΕ(Μ)は、 式 （3 7 ) に示すように、 各カラーパッチの色差の平均値として定義する。
ToalPatchNum
1
AE(M) =—— |ΔΕ,(Μ)
TotalPatchNum (3 7)
ただし、 TotalPatchNum = 24：カラーパッチの総数 つぎに、 ノイズ低減性指標 σ Ν (Μ) の定義を行なう （ステップ S 5 2) 。 な お、 ここでは、 撮像装置のリニアマトリクス処理部 9 5によるリニアマトリクス 処理後の信号値に含まれている σ L (Μ) 成分に基づきノイズ低減性指標 σ Ν (Μ) を定義する。 一般的に CCD撮像素子自体が出力する信号 CV— ceDに含まれているノイズ Noise_ は、 式 （3 8) のように定義される。
Noise rm, = ShotNoiseCoef · CV CCD + DarkNoise
= ShotNoise + DarkNoise · · -(38)
なお、 ShotNoiseCoefと DarkNoiseは、 CCD撮像素子のデバイス特性によって決 まる値である。 DarkNoiseは、 信号値に依存しないノイズ成分（Fixed Pattern Noise等）を表し、 ShotNoiseは、 信号値に依存するノイズ成分 （Sensor Dark Noise, Photon Shot Noise等） を表す。
式 （3 1 ) を使用すると、 評価する撮像装置の k番目のカラーパッチの r aw データに含まれているノイズ成分は式 （3 9) のように定義される。
NoiseRrav, k =
Noise Graw—k =
Noise Braw k =
Noise Xraw k =
Figure imgf000036_0001
また、 文献 (P. D. Burns and R. S. Berns, "Error Propagation Analysis in Color Measurement and Imaging", Color Research and Application, 1997) に は、 以下に示すようなノイズ伝搬理論が記載されている。
所定の入力信号 X， = [ 1； 2 , · · ·, n] が、 （mX n) マトリクス A によって、 Y' = [y！, y 2, ···， ym] に線形変換されるとすると、 式 （4 0 ) のように表される。
Y， =Α · X' … (4 0 )
いま、 入力信号 X' の分散共分散行列∑χが、 式 （4 1 ) に示すようになると、 対角成分が入力信号の No i s e分散値となる。 び.11 σ 12 び.1;ι
σ 21 σ 22
(4 1) び„1 び„
もし、 入力信号値同士の相関がなければ、 行列成分中の共分散成分 （すなわち 非対角成分） は 0となる。 このとき、 出力信号 Υの分散共分散行列∑yは、 式 (42) のように定義される。
∑y = A · ∑XA， … (4 2)
なお、 式 （4 2 ) は、 線形変換で変換することができる色空間同士での、 Noise分散値の伝搬理論式となる。
また、 撮像装置のリニアマトリクス処理部 9 5によるリ二アマトリクス処理後 の信号 RGBe„kを L*a*b m kに変換するためには、 RGB空間から ΠΖ空間への変換処 理 （以下、 RGB—XYZ変換処理という。 ） を行ない、 その後、 XYZ空間から a*b* 空間への変換処理 （以下、 XYZ→L*a*b*変換処理という。 ） を行なう必要がある c RGB→XYZ変換処理は、 式 （3 4) に示す 7 0 9系マトリクス M7 Q 9を使用して線 形変換を行なうことができるが、 XYZ— L*a*b*変換処理は、 式 （3 1 ) に示すよ うに非線形変換を行なう必要がある。 しかし、 XYZ— L*a*b*変換処理は、 ノイズ 量が微小量であることから、 Jacobianマトリクス JUa*b*_kを使用して線形近似す ることができ、 RGB—XYZ変換処理と同様に線形変換により行なうことができる。
リ ニ ア マ ト リ ク ス 後 の 信 号 値 を XYZ 値 に 変 換 し た 値 を XYZcam— k(Xcam_k, Ycam一 k， Zcam— k)とすると、 式 （43) のように表すことができ る。
^L*a*b*_k= J t)D (XYZcamji) · · · 、 4 oノ
ただし、 J。は、 式 （44) とする。 0 116 0
J 500 -500 0 .(44)
0 200 - 200
また、
-■a ' -b1 - > 0.008856
v(a,b) 3 b
7.787· 1 - < 0.008856
b
とすると、 式 (45)となる-
D(XYZcam J •(45)
Figure imgf000038_0001
ただし、 完全拡散反射面 （白点） の XYZ値を XYZ„ ,, ,i ,zjとする t したがって、 CCD撮像素子から出力される r awデータを LaM直に線形変換する ための近似マトリクス Mt。talJtは式 （46) のようになる。
^ total k = J L*a*b* k ' ^709 ' ^ (46) 式 （46) のマトリクスと式 （42) に示したノイズ伝搬理論の式を適用する と、 k番目のカラーパッチにおける明度ノイズひ Lkは、 式 （47) で計算するこ とができる。
∑£*α¾* た一 Mtotal k し
Figure imgf000039_0001
したがって、 式 （4 7 ) より式 （4 8 ) を導き出すことができる。
ah- び2 (4 8 )
なお、 式 （4 8 ) は、 リニアマトリクス係数 Μの関数なので CTL*k(M)で表すこ とができる。 ノイズ低減性指標 σΝ(Μ)は、 カラーパッチの各明度ノイズの平均値 なので式 （4 9 ) のように定義することができる。
24
σΝ(Μ) = 0-/24)· aL*k (M) (4 9 )
つぎに、 上述のように定義した色再現性指標△ E (M)及びノイズ低減性指標 σΝ (Μ)を考慮した評価指数 EEV(M)を式 （5 0 ) のように定義する （ステップ S 5 3 ) 。
EEV(M) = (wc · AE(M))2 + (菌 ·び N(M))2 · · '(50)
ただし、
wc：色再現性に対する重み係数
wn :ノイズ低減性に対する重み係数 つぎに、 式 （5 0 ) を誤差最小二乗法によって解き、 リニアマトリクス係数 M を決定する。 例えば、 w c = 1とし wn = 2とすると評価指数 EEV(M)は、 式 （5 1 ) となる。
EEV(M) = ^AE(M)2 + (2. σΝ(Μ))2 … （ 5 1 )
式 （5 1 ) を誤差最小二乗法を用いて解き、 リ二アマ卜リクス係数 Μを式 ( 5 2) のように決定する （ステップ S 54)
1.57 -0.43 -0.01 -0.12
M -0.14 1.25 -0.37 0.26 (5 2)
-0.01 -0.27 1.68 -0.40 一方、 wc = 1とし wn=0とした、 すなわち色再現性だけを追い込んだ色差 最小マトリクスは式 （5 3) のようになる。
1.48 0.56 0.35 -1.39
M -0.22 2.19 —0.01 -0.96 (5 3)
- 0.06 0.27 1.93 -1.14
式 （5 2) と、 式 （5 3) を比較すると、 明らかに式 （5 3) の係数の方が係 数間の大小差が大きく、 ノイズを増長するマトリクスであることが確認できる。 ここで、 撮像装置の ISO感度の設定に基づきリ二アマトリクス係数 Mを適応的 に決定する具体例について述べる。 撮像装置では、 ISO感度の設定に基づいて CCD 撮像素子から入力される信号 （以下、 入力信号という。 ） を増幅又は減衰させる c 撮像装置の ISO感度の設定を IS0100から IS0200に変更したときには、 入力信号は、 例えば、 IS0100のときの 2倍に増幅されて撮像装置に入力される しかし、 撮像 装置では、 ISO感度の設定状態にかかわらず全ての入力信号に対して同一のリニ アマトリクス係数 Mを使用してリ二アマトリクス処理を行なうため、 ISO感度の 設定が高い場合には、 入力信号の増幅に伴い、 入力信号に含まれているノイズ成 分も一緒に増幅されてしまう。 したがって、 ISO感度の設定を高くして高解像度 の画像を得ようとしても、 増幅されたノイズ成分が含まれている画像が生成され てしまう。
そこで、 本願発明に係る撮像装置では、 ISO感度の設定に基づき増幅又は減衰 される入力信号に含まれているノイズ成分の低減性を考慮してリニアマ卜リクス 係数 Mを決定し、 当該リニアマトリクス係数 Mを使用してリ二アマトリクス処理 を行なう。 例えば、 表 1に示すように、 ノイズ低減性に対する重み係数 （wn) を ISO感度の設定に応じて変化できるようにし、 w c及び w nを式 （5 0 ) に代 入して ISO感度の設定ごとのリ二アマトリクス係数 Mを決定する。 したがって、 撮像装置は、 ISO感度の設定状態に基づいて決定されたリ二アマトリクス係数 M を用いてリ二アマトリクス処理を行なうことができるので、 I SO感度の設定を高 くしても、 それに伴いノイズ成分が増幅することがなく、 高解像度の画像を得る ことが可能となる。 表 1
Figure imgf000042_0001
ここで、 撮像装置により被写体を撮像する環境に基づきリニアマトリクス係数 Mを適応的に決定する例について述べる。 例えば、 夜景等の被写体を撮像装置に より撮像した場合には、 生成された画像の大半を暗い部分 （暗部） が占めること があり、 その暗部にノイズが生じていると非常に目立ってしまう。 このような場 合には、 色再現性よりもノイズ成分の低減性を考慮した方が良い。
そこで、.本発明に係る撮像装置では、 被写体を撮像するシーンに基づきノイズ 低減性と色再現性を考慮してリ二アマトリクス係数 Mを決定し、 当該リ二アマト リクス係数 Mを使用してリニアマトリクス処理を行なう。 例えば、 図 2 3のヒス トグラムに示すように、 撮像装置の輝度ダイナミックレンジの半分以下の領域に， 生成した画像の輝度成分の 7 0 %以上が含まれているようなときには、 ノイズ低 減性を重視してリニアマトリクス係数 Mを決定し、 それ以外のときには色再現性 及びノイズ低減性を考慮してリニアマトリクス係数 Mを決定する。 具体的には、 表 2に示すように、 ノイズ低減性に対する重み係数 （w n ) を撮像シーンに応じ て変化できるようにし、 w c及び w nを式 （5 0 ) に代入して、 撮像シーンごと にリニアマトリクス係数 Mを決定する。 したがって、 撮像装置は、 撮像シーンに 基づいて決定されたリニアマトリクス係数 Mを用いてリ二アマトリクス処理を行 なうことができるので、 生成された画像の大半を暗部が占めても、 ノイズ成分を 目立たなくすることが可能である。 表 2
Figure imgf000043_0001
ここで、 撮像装置を使用するユーザの要求に基づきリ二アマトリクス係数 Mを 適応的に決定する具体例について述べる。 撮像装置で被写体を撮影して生成した 画像は、 ユーザの使用用途によって、 色再現性よりもノイズが少ないことが要求 されることが多々ある。 使用用途は撮像装置の製作会社には分からない事で、 ュ 一ザだけが知っている事実である。
そこで、 本願発明に係る撮像装置では、 ユーザが意図的する条件に基づきリニ ァマトリクス係数 Mを決定し、 当該リニアマトリクス係数 Mを使用してリ二アマ トリクス処理を行なう。 例えば、 表 3に示すように、 ノイズ低減性に対する重み 係数 （w n ) をノイズ量調節変数に応じて変化できるようにし、 w n及び w cを 式 （5 0 ) に代入して、 ノイズ量調整変数ごとにリニアマトリクス係数 Mを決定 し、 決定したリニアマトリクス係数 Mを記憶しておき、 ユーザがノイズ量調節変 数を当該撮像装置のイン夕一フェースを通して変化させたときに、 所定のリニア マトリクス係数 Mを決定し、 当該リニアマトリクス係数 Mを使用してリニアマト リクス処理を行なう。 したがって、 撮像装置は、 ュ一ザの要求に応じて決定され たリ二アマトリクス係数 Mを用いてリ二アマトリクス処理を行なうことができる ので、 ユーザの使用状況に応じたノイズ量調節を行なうことが可能である。 表 3
Figure imgf000044_0001
なお、 表 3では、 ノイズ量調節変数の数値が大きくなればなるほどノイズ量が 減ることを意味している。 また、 撮像前にノイズ量調節変数の設定を行なわず、 撮像装置の撮像開始ポタンを押圧したときに、 いくつかのリニアマトリクス係数 Mを使用したリニアマトリクス処理後の画像が複数個メモリに保存されるように しても良い。
このように構成された撮像装置は、 図 1 2に示すフローチャートに従って画像 センサ 4 5の前段部に形成される 4色カラーフィルタ 6 1が決定されるので、 「色再現性」 のうちの 「色の判別性」 を改善させることができ、 また、 信号処理 部 7 1で輝度を線形変換により表すことができる信号 （R , G l , G 2 , B ) に 対してマトリクス処理を行うので、 図 2に示す信号処理部 1 1における処理のよ うに、 ガンマ処理を施した後に得られる信号に対してマトリクス処理を行う場合 に較べて、 色彩工学的に、 より忠実な色を再現することができ、 さらに、 信号処 理部 7 1のリ二アマトリクス処理部 9 5で行なうリ二アマトリクス処理において、 リ二アマトリクス係数 Mの決定を撮像条件等に応じて決定するので、 撮像画像の 色再現性及びノイズの低減性を向上させることができる。
なお、 本発明は、 図面を参照して説明した上述の実施例に限定されるものでは なく、 添付の請求の範囲及びその主旨を逸脱することなく、 様々な変更、 置換又 はその同等のものを行うことができることは当業者にとって明らかである。 産業上の利用可能性 本発明に係る撮像装置は、 人間の眼の見え方に対して忠実な色の再現を表す色再 現値と人間が感じるノイズ感を表すノイズ値を調整する調整部と、 上記調整部の 調整に基づきマトリクス係数を決定するマトリクス係数決定部と、 上記マトリク ス係数に基づき当該撮像装置に備えられている撮像素子部で撮像した画像にマト リクス変換処理を行なうマトリクス変換処理部とを備えるので、 撮像環境及び条 件に応じて適応的にリニアマトリクス係数 Mを決定し、 当該リニアマトリクス係 数 Mを使用してリニアマトリクス処理を行なうことができる。
また、 本発明に係る撮像方法は、 分光特性の異なるカラーフィルタによりなつ ており、 人間の眼の見え方に対して忠実な色の再現を表す色再現値と人間が感じ るノイズ感を表すノイズ値を調整する第 1のステップと、 上記第 1のステップの 調整に基づきマトリクス係数を決定する第 2のステップと、 上記マトリクス係数 に基づき被写体を撮像する撮像素子部で撮像した画像にマトリクス変換処理を行 なう第 3のステップとを有するので、 撮像環境及び条件に応じて適応的にリニア マトリクス係数 Mを決定し、 当該リニアマ卜リクス係数 Mを使用してリニアマト リクス処理を行なうことができる。

Claims

請求の範囲
1 . 分光特性の異なるカラ一フィルタによりなつており、 被写体を撮像する撮像 素子部を有する撮像装置において、
色再現値とノイズ感を表すノイズ値を調整する調整手段と、
上記調整手段の調整に基づきマトリクス係数を決定するマトリクス係数決定手 段と、
上記マトリクス係数に基づき上記撮像素子部で撮像した画像にマトリクス変換 処理を行なうマトリクス変換処理手段とを備えることを特徴とする撮像装置。
2 . 上記調整手段は、 当該撮像装置の撮像感度に応じて適応的に上記色再現値と 上記ノイズ値を調整することを特徴とする請求の範囲第 1項記載の撮像装置。
3 . 上記調整手段は、 当該撮像装置により撮像する環境に応じて適応的に上記色 再現値とノイズ値を調整することを特徴とする請求の範囲第 1項記載の撮像装置 c
4 . 上記調整手段は、 任意に上記色再現値と上記ノイズ値を調整することを特徴 とする請求の範囲第 1項記載の撮像装置。
5 . 分光特性の異なるカラ一フィルタによりなつており、 被写体を撮像する撮像 素子部を有する撮像装置により被写体を撮像する撮像方法において、
色再現値とノイズ感を表すノイズ値を調整する第 1のステップと、
上記第 1のステップの調整に基づきマトリクス係数を決定する第 2のステップ と、
上記マトリクス係数に基づき上記撮像素子部で撮像した画像にマトリクス変換 処理を行なう第 3のステップとを有することを特徴とする撮像方法。
PCT/JP2003/015437 2002-12-25 2003-12-02 撮像装置及び方法 WO2004059987A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP03813977A EP1578139A4 (en) 2002-12-25 2003-12-02 PICTURE DEVICE AND METHOD
US10/540,404 US7489346B2 (en) 2002-12-25 2003-12-02 Image pick-up device and image pick-up method adapted with image pick-up sensitivity
CN2003801076614A CN1732694B (zh) 2002-12-25 2003-12-02 图像拾取装置和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002-375423 2002-12-25
JP2002375423A JP3861808B2 (ja) 2002-12-25 2002-12-25 撮像装置

Publications (1)

Publication Number Publication Date
WO2004059987A1 true WO2004059987A1 (ja) 2004-07-15

Family

ID=32677336

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/015437 WO2004059987A1 (ja) 2002-12-25 2003-12-02 撮像装置及び方法

Country Status (7)

Country Link
US (1) US7489346B2 (ja)
EP (1) EP1578139A4 (ja)
JP (1) JP3861808B2 (ja)
KR (1) KR20050088335A (ja)
CN (1) CN1732694B (ja)
TW (1) TWI225940B (ja)
WO (1) WO2004059987A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2464125A1 (en) * 2004-12-17 2012-06-13 Nikon Corporation Image processing method

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060164533A1 (en) * 2002-08-27 2006-07-27 E-Phocus, Inc Electronic image sensor
JP4501634B2 (ja) 2004-10-29 2010-07-14 富士フイルム株式会社 マトリクス係数決定方法及び画像入力装置
US7864235B2 (en) 2005-03-30 2011-01-04 Hoya Corporation Imaging device and imaging method including generation of primary color signals
JP4859502B2 (ja) * 2005-03-30 2012-01-25 Ｈｏｙａ株式会社 撮像装置
JP4293174B2 (ja) * 2005-09-28 2009-07-08 ソニー株式会社 撮像装置および画像処理装置
JP2007103401A (ja) * 2005-09-30 2007-04-19 Matsushita Electric Ind Co Ltd 撮像装置及び画像処理装置
KR100721543B1 (ko) * 2005-10-11 2007-05-23 (주) 넥스트칩 통계적 정보를 이용하여 노이즈를 제거하는 영상 처리 방법및 시스템
KR101147084B1 (ko) 2005-12-20 2012-05-17 엘지디스플레이 주식회사 액정 표시장치의 구동장치 및 구동방법
JP4983093B2 (ja) * 2006-05-15 2012-07-25 ソニー株式会社 撮像装置および方法
TWI400667B (zh) * 2006-09-06 2013-07-01 Magic Pixel Inc 色彩補插方法及應用其之影像處理裝置
JP4874752B2 (ja) 2006-09-27 2012-02-15 Ｈｏｙａ株式会社 デジタルカメラ
TWI318536B (en) * 2006-09-29 2009-12-11 Sony Taiwan Ltd A method of color matching applied on the image apparatus
US7847830B2 (en) * 2006-11-21 2010-12-07 Sony Ericsson Mobile Communications Ab System and method for camera metering based on flesh tone detection
US8532428B2 (en) * 2007-02-27 2013-09-10 Nec Corporation Noise reducing apparatus, noise reducing method, and noise reducing program for improving image quality
US8711249B2 (en) 2007-03-29 2014-04-29 Sony Corporation Method of and apparatus for image denoising
US8108211B2 (en) 2007-03-29 2012-01-31 Sony Corporation Method of and apparatus for analyzing noise in a signal processing system
US9285670B2 (en) * 2007-09-14 2016-03-15 Capso Vision, Inc. Data communication between capsulated camera and its external environments
JP5080934B2 (ja) * 2007-10-22 2012-11-21 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
JP5178226B2 (ja) * 2008-02-08 2013-04-10 オリンパス株式会社 画像処理装置および画像処理プログラム
JP4735994B2 (ja) * 2008-08-27 2011-07-27 ソニー株式会社 撮像装置及び方法、プログラム、並びに記録媒体
US20110075935A1 (en) * 2009-09-25 2011-03-31 Sony Corporation Method to measure local image similarity based on the l1 distance measure
KR101129220B1 (ko) * 2009-11-03 2012-03-26 중앙대학교 산학협력단 레인지 영상의 노이즈 제거장치 및 방법
JP5460276B2 (ja) * 2009-12-04 2014-04-02 キヤノン株式会社 撮像装置及び撮像システム
JP5308375B2 (ja) * 2010-02-25 2013-10-09 シャープ株式会社 信号処理装置、固体撮像装置、電子情報機器、信号処理方法、制御プログラムおよび記録媒体
JP2012010276A (ja) * 2010-06-28 2012-01-12 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
US8731281B2 (en) * 2011-03-29 2014-05-20 Sony Corporation Wavelet transform on incomplete image data and its applications in image processing
JP2012253727A (ja) * 2011-06-07 2012-12-20 Toshiba Corp 固体撮像装置及びカメラモジュール
JP5954661B2 (ja) * 2011-08-26 2016-07-20 パナソニックＩｐマネジメント株式会社 撮像素子、及び撮像装置
US8780225B2 (en) * 2011-10-12 2014-07-15 Apple Inc. Use of noise-optimized selection criteria to calculate scene white points
US8654210B2 (en) 2011-10-13 2014-02-18 Canon Kabushiki Kaisha Adaptive color imaging
JP5895569B2 (ja) * 2012-02-08 2016-03-30 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US9531922B2 (en) * 2013-10-30 2016-12-27 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer readable storage medium for improving sharpness
JP2015180045A (ja) * 2014-02-26 2015-10-08 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6013382B2 (ja) * 2014-02-27 2016-10-25 富士フイルム株式会社 内視鏡システム及びその作動方法
CN104902153B (zh) * 2015-05-25 2017-11-28 北京空间机电研究所 一种多光谱相机色彩校正方法
CN114009148B (zh) * 2019-04-30 2024-05-14 昕诺飞控股有限公司 亮度分布确定
EP3896967A1 (en) 2020-04-17 2021-10-20 Leica Microsystems CMS GmbH Digital imaging device and method for generating a digital color image

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001251644A (ja) * 2000-03-03 2001-09-14 Mitsubishi Electric Corp 撮像装置
JP2001359114A (ja) * 2000-06-09 2001-12-26 Fuji Photo Film Co Ltd 固体撮像素子を用いた画像取得装置および画像取得方法並びにその方法を実行するためのプログラムを記録した記録媒体
JP2003116146A (ja) * 2001-08-10 2003-04-18 Agilent Technol Inc ディジタル・カメラにおける画質向上のための方法
JP2003235050A (ja) * 2002-02-12 2003-08-22 Nikon Corp 画像処理装置、画像処理プログラム、および画像処理方法
JP2003284084A (ja) * 2002-03-20 2003-10-03 Sony Corp 画像処理装置および方法、並びに画像処理装置の製造方法
JP2003284082A (ja) * 2002-02-21 2003-10-03 Eastman Kodak Co 正確な電子色捕獲及び再生の装置および方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0815338B2 (ja) * 1984-08-13 1996-02-14 株式会社日立製作所 カラービデオカメラ
JP3263924B2 (ja) * 1990-09-14 2002-03-11 ソニー株式会社 カラー撮像装置
US5668596A (en) * 1996-02-29 1997-09-16 Eastman Kodak Company Digital imaging device optimized for color performance
JP3750830B2 (ja) * 1996-08-30 2006-03-01 ソニー株式会社 撮像装置における色補正装置
JP4534340B2 (ja) * 2000-10-31 2010-09-01 ソニー株式会社 色再現補正装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001251644A (ja) * 2000-03-03 2001-09-14 Mitsubishi Electric Corp 撮像装置
JP2001359114A (ja) * 2000-06-09 2001-12-26 Fuji Photo Film Co Ltd 固体撮像素子を用いた画像取得装置および画像取得方法並びにその方法を実行するためのプログラムを記録した記録媒体
JP2003116146A (ja) * 2001-08-10 2003-04-18 Agilent Technol Inc ディジタル・カメラにおける画質向上のための方法
JP2003235050A (ja) * 2002-02-12 2003-08-22 Nikon Corp 画像処理装置、画像処理プログラム、および画像処理方法
JP2003284082A (ja) * 2002-02-21 2003-10-03 Eastman Kodak Co 正確な電子色捕獲及び再生の装置および方法
JP2003284084A (ja) * 2002-03-20 2003-10-03 Sony Corp 画像処理装置および方法、並びに画像処理装置の製造方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1578139A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2464125A1 (en) * 2004-12-17 2012-06-13 Nikon Corporation Image processing method

Also Published As

Publication number Publication date
US7489346B2 (en) 2009-02-10
JP3861808B2 (ja) 2006-12-27
EP1578139A4 (en) 2006-05-03
TW200424569A (en) 2004-11-16
TWI225940B (en) 2005-01-01
CN1732694B (zh) 2012-11-14
US20060082665A1 (en) 2006-04-20
EP1578139A1 (en) 2005-09-21
KR20050088335A (ko) 2005-09-05
CN1732694A (zh) 2006-02-08
JP2004208079A (ja) 2004-07-22

Similar Documents

Publication Publication Date Title
WO2004059987A1 (ja) 撮像装置及び方法
WO2003079696A1 (fr) Dispositif de traitement d&#39;image, procede correspondant, et procede pour la fabrication du dispositif
US7663668B2 (en) Imaging device
WO2010053029A1 (ja) 画像入力装置
EP1930853A1 (en) Image signal processing apparatus and image signal processing
JP2006094112A (ja) 撮像装置
JP2009105576A (ja) 画像処理装置及び方法、及び撮像装置
EP1343331A2 (en) Apparatus and method for accurate electronic color image capture and reproduction
JP4677699B2 (ja) 画像処理方法、画像処理装置、撮影装置評価方法、画像情報保存方法および画像処理システム
WO2007148576A1 (ja) 撮像システム及び撮像プログラム
JP2005278213A (ja) 製造方法
JP3863773B2 (ja) 画像撮影方法および装置
JP2000278707A (ja) 画像データ変換方法、画像データ構成方法、画像データ変換装置および画像データを変換するプログラムを記録した記録媒体
JPH11113005A (ja) 撮像装置
JP3966868B2 (ja) 撮像装置、カメラ、及び信号処理方法
JP3933651B2 (ja) 撮像装置及びその信号処理方法
JP4298595B2 (ja) 撮像装置及びその信号処理方法
JP2008085975A (ja) 撮像素子特性評価方法および撮像素子特性評価装置
JP2014042138A (ja) 画像処理装置、コンピュータプログラム、およびデジタルカメラ
JP2007097202A (ja) 画像処理装置
KR100322189B1 (ko) 디지털 영상의 광원 분광 분포 추정 방법
JP4397724B2 (ja) 撮像装置、カメラ、及び信号処理方法
JP2001057680A (ja) ホワイトバランス調整方法および装置並びに記録媒体
JP5056006B2 (ja) 撮像装置およびプログラム
JP2007267404A (ja) 画像処理装置の製造方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2003813977

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2006082665

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10540404

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1020057012037

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 20038A76614

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 1020057012037

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2003813977

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10540404

Country of ref document: US