WO2006080220A1 - 撮像装置および撮像素子 - Google Patents

撮像装置および撮像素子 Download PDF

Info

Publication number
WO2006080220A1
WO2006080220A1 PCT/JP2006/300674 JP2006300674W WO2006080220A1 WO 2006080220 A1 WO2006080220 A1 WO 2006080220A1 JP 2006300674 W JP2006300674 W JP 2006300674W WO 2006080220 A1 WO2006080220 A1 WO 2006080220A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
signal
filters
noise
image
Prior art date
Application number
PCT/JP2006/300674
Other languages
English (en)
French (fr)
Inventor
Takami Mizukura
Naoya Katoh
Kenji Tanaka
Masaya Kinoshita
Yutaka Yoneda
Akira Matsui
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to KR1020067020337A priority Critical patent/KR101200178B1/ko
Priority to CN2006800000715A priority patent/CN1943248B/zh
Priority to US10/589,492 priority patent/US7583303B2/en
Priority to EP06700920A priority patent/EP1729524B1/en
Publication of WO2006080220A1 publication Critical patent/WO2006080220A1/ja
Priority to US12/437,139 priority patent/US7868937B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing

Definitions

  • the present invention relates to an imaging device and an imaging element.
  • This invention provides a means and apparatus for expanding the luminance dynamic range that can be scanned while maintaining image quality, particularly color reproducibility and noise characteristics at an acceptable level.
  • Patent Document 1 Japanese Patent Laid-Open No. 2003-284804.
  • a four-color color fill 1 with the color arrangement shown in Fig. 1 is provided in front of the image sensor.
  • the color filter 1 includes an R fill that transmits only red (R) light, a B fill that transmits only blue (B) light, and a first wavelength band.
  • the G1 filter that transmits only green light and the G2 filter that transmits only green light in the second wavelength band have a total of four units.
  • Figure 2 A and Figure 2 B have such a color fill 1
  • An example of the configuration of a signal processing unit that performs signal processing on an image signal obtained by an image sensor, for example, a CCD is shown.
  • Fig. 2A and Fig. 2B show the configuration of the signal processing unit due to restrictions on drawing space.
  • Reference numeral 10 denotes a front end to which four types of color signals (R signal, G 1 signal, G 2 signal, B signal) from the image sensor are input.
  • the front end 10 performs processing such as correlated double sampling processing for removing noise components, gain control processing, and digital conversion processing on the color signal from the image sensor.
  • Image data from the front end 10 is supplied to a signal processing unit 11 configured as an LSI (Large Scale Integrated Circuit U).
  • LSI Large Scale Integrated Circuit U
  • the signal processing unit 11 is connected to a microcomputer (not shown) via a micro computer evening face 12.
  • the microphone computer controls the overall operation of the digital still camera, for example, according to a predetermined program. Further, each block constituting the signal processing unit 1 1 is controlled by the microphone port combiner via the microcomputer interface 1 2.
  • the signal processing unit 11 performs interpolation processing, filtering processing, matrix operation processing, luminance signal generation processing, color difference signal generation processing, and the like on the four types of color signals input from the front end 10.
  • the image signal generated by the signal processing unit 11 is supplied to a display (not shown), and a captured image is displayed. Further, the image data from the signal processing unit 11 is compressed and stored in an internal storage medium, an external storage medium, or the like.
  • the offset correction processing unit 21 removes a noise component (offset component) included in the image signal supplied from the front end 10.
  • Image signal from the offset correction processing unit 2 1 is output to the white balance correction processing unit 2 2
  • the white balance is corrected. That is, the imbalance between colors due to the difference in the color temperature environment of the subject and the difference in sensitivity due to the color filters (R, G 1, G 2, B) on the sensor is corrected.
  • the output of the white balance correction processing unit 2 2 is supplied to the vertical direction synchronization processing unit 2 3.
  • the vertical synchronization processing unit 23 uses a delay element such as a small memory to synchronize different vertical image data for vertical interpolation processing and fill-up processing. .
  • a plurality of image signals synchronized by the vertical direction synchronization processing unit 23 are supplied to the interpolation processing, filter processing, high frequency correction processing, and noise processing unit 24.
  • Interpolation processing that interpolates the color signal of 2x2 pixels, which is the smallest unit of the color filter (R, G 1, G 2, B), into the phase of the same space, filter processing that appropriately limits the signal band, and signal band
  • a high frequency correction process that corrects the high frequency component of the signal and a noise process that removes the noise component of the signal are performed.
  • Image signals obtained by the processing unit 24, for example, RG 1 G 2 B four-color signals are supplied to the linear matrix processing unit 25.
  • linear matrix processing unit 25 matrix calculation of 4 inputs and 3 outputs is performed.
  • RGB color output can be obtained from the input RG 1 G 2 B image information of 4 colors.
  • the RGB output from the linear matrix processing unit 25 is supplied to the gamma correction processing units 26 R, 26 G, and 26 B, respectively.
  • the gamma correction processing units 26 6 R, 26 G, and 26 B perform reverse correction of the nonlinear characteristics of the display device in advance, so that linear characteristics are finally realized.
  • the output signals of the gamma correction processing units 26 R, 26 G, and 26 B are supplied to the luminance (Y) signal generation processing unit 27 and the color difference (C) signal generation processing unit 28, respectively.
  • the luminance signal generation processing unit 27 is a gamma-corrected RGB signal.
  • the luminance signal is generated by combining the signals with a predetermined combining ratio.
  • the color difference signal generation processing unit 28 generates a color difference signal by synthesizing the gamma-corrected RGB signal at a predetermined synthesis ratio.
  • the color difference signal generated by the color difference signal generation processing unit 28 is supplied to the band limiting and thinning processing unit 29, and a color difference signal in which the color difference signals Cb and Cr are time-division multiplexed is formed. In this way, an image processing apparatus that uses a four-color color filter can achieve better color reproducibility than a three-primary color filter.
  • the characteristics preferable for the spectral sensitivity of an image sensor are good color reproducibility and good noise characteristics.
  • “Good color reproducibility” means that the same color as human eyes can be detected, or that the color difference with respect to the appearance of human eyes is small.
  • the appearance of the human eye means the color that is visible to the human eye.
  • “Good noise characteristics” means that the amount of noise at a certain luminance level is small. Noise is broadly divided into luminance noise and color noise. Luminance noise depends on absolute sensitivity, and color noise is the relationship between the spectral sensitivities of the imager's power, that is, the shape of the spectral sensitivity curve. Depends heavily on
  • the method of creating the RGB signal value of the primary color by matrix conversion of the output signal of the image sensor that is linear in luminance is the signal processing of a general image input device as shown in Fig. 2A and Fig. 2B. Well done. This processing is called linear matrix processing.
  • image input devices scanners, digital still cameras, etc.
  • PC personal computer monitors
  • the target color space for the RGB signal values of the primary color is set to the s RGB color space, which is a general PC monitor space.
  • the RGB color space is defined by the International Electrotechnical Commission (IEC) as a standard color space for multimedia that the transmitted color image signal should comply with. By conforming to the standard color space, the same color reproduction can be shared between the sending side and receiving side of a color image.
  • IEC International Electrotechnical Commission
  • the target spectral sensitivity of the image sensor (represented in the figure as relative sensitivity) is the s RGB obtained by linearly converting the color matching function (see Fig. 3), which is the spectral sensitivity of the human eye, using a 7 0 9 system matrix. It is a color matching function.
  • 70 9 Matrix is described in Reference 1 ("ITU-R BT.709-3," Basic Parameter Values for the HDTV Standard for the Studio and for International Program Exchange "(1998)").
  • the curve 3 lx represents the function X ( ⁇ )
  • the curve 3 1 y represents the function y ( ⁇ )
  • the curve 3 1 ⁇ represents the function ⁇ ( ⁇ ).
  • Figure 4 is a graphical representation of the s RGB color matching function.
  • the curve 32 r represents the function r ( ⁇ )
  • the curve 3 2 g represents the function g ( ⁇ )
  • the curve 32 b represents the function b ( ⁇ ).
  • the curve 34R represents the function SIR ( ⁇ )
  • the curve 34 G represents the function si G ( ⁇ )
  • the curve 34 ⁇ ⁇ represents the function si ⁇ ( ⁇ ). Since the spectrum in Fig. 6 does not satisfy the router condition, it cannot be linearly transformed into the s RGB color matching function. Therefore, the approximate transformation matrix operation to the s RGB color matching function is expressed by the following equation (2). ⁇ f 2. 250 -0. 649 1 0. 089,
  • a typical primary color RGB image sensor has a spectral sensitivity with a curve as shown in Fig. 6. It is known that the color reproducibility and noise characteristics are quite excellent. Yes. However, in actuality, the sensitivity curve of the image sensor itself, the lens characteristics, and the infrared cut filter characteristics affect the spectral sensitivity curve shown in Fig. 7. In Fig. 7, curve 35 R shows the spectral sensitivity of the R filter, curve 35 G shows the spectral sensitivity of the G filter, and curve 35 B shows the spectral sensitivity of the B filter.
  • the primary color RGB imaging device is quite good in terms of color reproducibility, but has some room for improvement.
  • the color separation noise is small, but the sensitivity is low.
  • luminance noise which is a dominant component of noise, tends to increase. In other words, it has a good color expression, but it is easy to get a sense of noise.
  • a complementary color filter As a color filter, a complementary color filter is also known. For example, Y (yellow) C (cyan) M (magenta evening) G (green) As shown in Fig. 8, complementary color checkered line sequential color filter arrangement is known. In Fig. 8, the 2 x 4 array surrounded by a broken line is the smallest unit of the array.
  • Fig. 9 shows a graph of the spectral sensitivity of such a complementary color system YCMG image sensor.
  • curve 3 6 Y shows the spectral sensitivity of the Y filter
  • curve 3 6 C shows the spectral sensitivity of the C filter
  • curve 3 6 M shows the spectral sensitivity of the M filter
  • curve 3 6 G shows the spectral sensitivity of G fill.
  • the sensitivity of each color filter is high, so the complementary YC MG image sensor is particularly strong at photographing in some places and has good luminance noise characteristics.
  • the spectral sensitivity overlap is very large, an attempt to improve color reproducibility requires a very large color separation coefficient, resulting in an increase in color separation noise. Therefore, there is a problem that color reproducibility cannot be pursued as compared with the primary color RGB imaging element.
  • the complementary color system Y C MG image sensor has much room for tracking in terms of color reproducibility.
  • color separation noise is large, but due to high sensitivity, luminance noise, which is the dominant component of noise, tends to be small. In other words, noise is good, but color reproducibility is not so good.
  • an object of the present invention is to provide an imaging device and an imaging device that can solve the problems of these imaging devices. Disclosure of the invention
  • the present invention provides an image pickup unit including an image input unit including an image pickup unit and a front end, and a signal processing unit that processes a plurality of image pickup signals from the image input unit and generates three primary color signals.
  • the imaging unit includes a color separation filter for the three primary colors and a complementary color system, and an image sensor to which the color light separated in the color separation filter is input.
  • the signal processing unit performs matrix calculation processing on the multiple signals obtained using the three primary and complementary color separation filters.
  • the primary color signal is generated by performing a matrix operation on the primary color signal obtained using the primary color separation filter. This is an imaging apparatus.
  • the present invention provides three color fills for the primary colors R (red), G (green), and B (blue), and two colors fills for the complementary colors Y (yellow) and C (cyan).
  • This is an image sensor that is made up of a total of five color filters, and by arranging G-fills that are close to the luminance characteristics of the human eye in a checkered pattern, obtains spatial information four times that of other colors. is there.
  • color reproducibility and color separation noise can be reduced by combining the color fill of the image sensor with five colors of the primary color system RGB complementary color system YC. Also, by using the output signal of the RGBYC five-color color filter image sensor according to the luminance level, the color reproducibility and high sensitivity are better than using the color and complementary color image sensors alone. A low noise imaging device can be realized. As a result, it is possible to capture scenes with a wide dynamic range.
  • FIG. 1 is a schematic diagram showing the color arrangement of the color filter of the previously proposed imaging apparatus.
  • FIG. 2A and FIG. 2B are block diagrams showing the configuration of the signal processing unit of the previously proposed imaging apparatus.
  • FIG. 3 is a graph showing an example of the color matching function.
  • FIG. 4 is a graph showing an example of the s RGB color matching function.
  • Fig. 5 is a graph showing the spectral sensitivity of the three-color filter that satisfies the router requirements.
  • FIG. 6 is a graph showing the spectral sensitivity of a normal three primary color filter.
  • FIG. 7 is a graph showing the spectral sensitivity of the primary color RGB imaging device.
  • FIG. 8 is a schematic diagram showing the color arrangement of the complementary color YCMG image sensor.
  • FIG. 9 is a graph showing the spectral sensitivity of the complementary color YCMG image pickup device.
  • FIGS. 10A and 10B are graphs showing the spectral sensitivity of the hybrid RGB YC image pickup device.
  • FIG. 11 is a schematic diagram showing the color arrangement of a hybrid RGB YC image sensor.
  • FIG. 12 is a schematic diagram for explaining signal processing using an output signal of a hybrid RGB YC image sensor.
  • FIG. 13 shows a signal processing flow to which the present invention can be applied.
  • FIG. 14 is a flowchart showing the flow of color conversion processing in the present invention.
  • FIG. 15 is a graph showing a CN diagram in the present invention.
  • FIG. 16 is a graph showing a comparison of CN values for a hybrid RGB YC image sensor, a primary color image sensor, and a complementary color image sensor.
  • FIG. 17 is a block diagram showing an example of signal processing in one embodiment of the present invention.
  • FIG. 18 is a schematic diagram showing an example of weight gain coefficient transition during signal processing. BEST MODE FOR CARRYING OUT THE INVENTION
  • an imaging device having a hybrid R GB YC color filter is configured using primary color RGB fill and complementary color YC fill.
  • RGB indicates a filter that transmits red, green, and blue light, respectively
  • YC indicates a filter that transmits yellow and cyan light, respectively.
  • FIG. 10A and FIG. 10B show the minimum unit (4 ⁇ 4) of one example of the color filter array that can be used in the present invention and another example, respectively.
  • the characteristics of the color filter arrangements shown in Fig. 10A and Fig. 10B are as follows. First, the G filter near the human eye luminance signal, which is directly related to the resolution, and the other color filter 4 times as large as the checkerboard. That is, the G filter occupies a ratio of 8 out of 16 units of the minimum unit, and the remaining 4 color fills are each 2 parts.
  • the rows with low sensitivity (G, R, G, B) and columns with high sensitivity (C, G, Y, G) are alternately arranged in each row. Array. If you read different exposure times for each row, Reading of the dynamic range becomes easy.
  • the array shown in Fig. 10B is contained in two G's in each row and column, and the remaining two colors are a combination of one with high sensitivity and one with low sensitivity. In addition, it is an array with little difference in brightness in the horizontal and vertical directions. Therefore, compared with the arrangement shown in FIG. 10A, the readout method is complicated, but since the spatial interpolation characteristic is advantageous, it has a feature that it is easy to realize smooth gradation expression.
  • Figure 11 shows a graph of spectral sensitivity of the hybrid R G B Y C color filter.
  • curve 3 7 Y shows the spectral sensitivity of the Y filter
  • curve 3 7 C shows the spectral sensitivity of the filter of C
  • curve 3 7 R shows the spectral sensitivity of the filter of R
  • Curve 3 7 G shows the spectral sensitivity of the G filter
  • curve 3 7 B shows the spectral sensitivity of the B filter.
  • the complementary colors Y and C have higher spectral sensitivity than the primary colors R, G, and ⁇ .
  • Figure 12 shows the relationship between the amount of charge Q stored in the image sensor and the amount of light ⁇ for each color of the color filter.
  • Q s is the saturation charge
  • 3 8 C is the [P-Q] characteristic for the C filter
  • 3 8 is the [P-Q] characteristic for the ⁇ ⁇ ⁇ ⁇ filter.
  • 8 R shows the [PQ] characteristic for the R filter
  • 3 8 G shows the [P_Q] characteristic for the G filter
  • 3 8 B shows the [PQ] characteristic for the B filter.
  • the cells with high sensitivity Y and C fills immediately accumulate necessary charges even with a small amount of light, while the low sensitivity R and B fills are stored. Even if a large amount of light is incident on the cell where is placed, the rate at which charge is accumulated is slow, so it will not immediately saturate with charge. Taking advantage of this characteristic difference, images with a very wide dynamic range can be captured. Can be removed.
  • the cells with C fills are saturated first, so the amount of light that saturates the charge accumulated in the cells with C fills Ph
  • a low / medium luminance region and a high luminance region are defined as boundaries.
  • the signal values of five colors R, G, B, Y, and C are used.
  • the signal values for the three colors R, G, and ⁇ are used. In this way, it is possible to generate an image with a very wide dynamic range by switching the color filter to be used according to the luminance of the image.
  • a method for determining the luminance of an image for example, a method of performing determination based on signal values such as G and Y, which are signal values of an image sensor including luminance components of human eyes, is possible.
  • RGB signal value of the image In order to calculate the RGB signal value of the image from the signal value of the image sensor, some matrix calculation processing is required. For example, 5 colors RGBYC signal values (Rin, Gin, Bin, Yin, Cin) are generated. Matrix calculation processing to convert RGB image signal values (Rout, Gout, Bout) uses 3x5 matrix coefficients. Is expressed by the following equation (3).
  • the matrix coefficient in Eq. (3) is called a linear matrix in the sense of a matrix operation coefficient for linear signals.
  • a linear matrix in the sense of a matrix operation coefficient for linear signals.
  • Reference 3 For the method of determining the linear matrix, refer to Reference 3 ("Takami Mizura, Naoya Kato, Nishi See Kenichi Oo, “Evaluation method of spectral sensitivity of CCD color filter considering noise”, Color Forum Japan 2003 Proceedings, pp.29-32 (2003)).
  • the signal values of all five colors of the hybrid image sensor are used. It is possible. Compared to the three primary colors, the number of colors is five, and the five colors have good color separation, so image processing that is superior in both color reproducibility and noise reduction is possible.
  • an image pickup apparatus using the above-described hybrid RGB YC image pickup device for example, a digital still camera will be described below.
  • the present invention is not limited to a still camera, and can also be applied to a camera for moving image shooting.
  • the standard light source D 55 specified by CIE is used as the light source and the target is Macbeth Color Checker.
  • the processing shown in Fig. 13 is assumed.
  • Raw obtained by integrating the product of the spectral sensitivity of the color filter of the image sensor as the overall characteristics of the digital still camera, the spectral reflectance of the color patch of the Macbeth Color Checker, and the spectral radiance of the imaging light source Data4 1 is multiplied by a gain so that the level of each color data is equal to the achromatic color in white balance correction processing 42.
  • color conversion processing 43 is performed so that a linear signal value approximates the target color with respect to the luminance signal by matrix processing.
  • This process 43 corresponds to the linear matrix process.
  • this matrix is called MAT as appropriate.
  • the signal value becomes three colors of R (red), G (green), and B (blue).
  • the white balance correction process 42 is an N ⁇ N diagonal matrix calculation process
  • the color conversion process 43 is a 3 ⁇ N matrix calculation process.
  • the camera GB 45 is obtained as the final output through the gamma correction process 44.
  • the inverse gamma of s RGB is used as the camera gamma.
  • the camera RGB obtained in this way is assumed to be reproduced and observed on a standard s RGB monitor. That is, camera RGB is assumed to be a color in the s RGB color space. In the calculation, values outside the s RGB range are retained, so that colors outside the s RGB color gamut are not clipped. Shall be considered.
  • I a * b * value is a color space defined from tristimulus values in standard light.
  • C IE proposed i v as a uniform color space in 1964, 1
  • the camera RGB 51 receives the s RGB gamma processing 52 and then converts the RGB to tristimulus values XYZ in the conversion processing 53. Then, in the conversion process 54, XYZ is converted into L * a * b * using the 709 matrix M7Q955 . And the final camera! a * b * 5 6 is obtained.
  • the Zaf value can be calculated from the spectral reflectance of Macbeth Color Checker and the spectral radiance of standard light source D 5 5.
  • CD represents the optical shot noise, that is, the noise component that depends on the signal value
  • b d represents the floor noise, that is, the noise component that does not depend on the signal value (see Reference 4).
  • This noise Noise ⁇ is propagated to various color spaces by camera signal processing and L * a * b * conversion.
  • the following is the noise propagation model (see Reference 6. (PD Burns and RS Berns, Error Propagation Analysis in Color Measurement and Imaging, "Col. Res. Ap l, Vol. 2, pp.28 0-289 (1997))". ) Is shown.
  • the diagonal component of equation (6) is just the noise variance of the input signal. If there is no correlation between input signal values, the covariance component (ie off-diagonal component) in the matrix component is zero. At this time, the variance-covariance matrix of the output signal ⁇ can be defined by the following equation (7).
  • the noise variance value on the signal value can be calculated by the following equation (9). sigma "and cr a * b *
  • TN a (MAT) one J TN k (MAT)... (10)
  • TN k TN value of the kth color patch
  • the TN value is a value highly correlated with the noise perceived by the human eye, taking into account both the brightness and color components of the noise.
  • I a * b * Noise amount is defined by the following equation.
  • wn Weight coefficient for noise amount
  • the MAT coefficient is calculated by changing the above-mentioned CEM values wc and wn, and the color reproduction evaluation index ⁇ a and noise evaluation index TN a at that time are calculated. As shown in Fig. 15, a plot of [color reproduction vs. noise] is created with ⁇ a on the horizontal axis and TN a on the vertical axis. )
  • the CN diagram shows the ability of the color filter set to be evaluated.
  • the lower left area in Fig. 15 is an area where both color reproduction and noise are good, and the upper right area is both bad. Therefore, the closer the plot is to the lower left, the better the filter set. By performing this plot for each filter set to be evaluated and comparing them, it is possible to intuitively determine which filter set is superior.
  • the locus of the CN diagram is a convex curve in the lower left, indicating that the color reproduction is good if the color reproducibility is good and the noise reproducibility is poor if the noise characteristic is good. The characteristic indicates a trade-off relationship.
  • FIG. 16 shows a CN diagram of a hybrid image sensor, a primary color system three-color image sensor, and a complementary color system four-color image sensor according to the present invention.
  • Reference mark No. 6 1 a is a plot of [color reproduction vs. noise] of the hybrid image sensor
  • reference numeral 6 1 b is a plot of [color reproduction vs. noise] of the primary color system three-color image sensor
  • reference numeral 6 1 c Is a plot of [color reproduction vs. noise] for a complementary color 4-color image sensor.
  • the lower left of the CN diagram shown in Fig. 16 is the area where both the color reproduction and noise characteristics are good, so the one with the locus closest to the lower left is an imaging device with good characteristics.
  • the plot 6 1a of the hybrid imaging element is at the bottom left, so both color reproducibility and noise characteristics are superior to the primary and complementary color imaging elements.
  • an RGBYC image sensor is created with the arrangement shown in FIGS. 10A and 10B, and an IC (Integrated Circuit) that performs signal processing shown in FIG. 13 is created.
  • Gamma correction uses s RGB gamma to calculate the RGB output signal.
  • the coefficient of ⁇ is shown in Equation (1 3).
  • LM (H) 7 1, LM (M) 7 2, and LM (L) 7 3 indicate linear matrix processing for high brightness, medium brightness, and low brightness, respectively.
  • WB (H) 74, WB (M) 7 5, WB (L) 76 indicates white balance processing, and 7 7, 7 8 and 7 9 indicate multipliers that multiply the output signals by gain values a, b, and c, respectively.
  • Figure 18 shows the transition of the weight gain coefficient with respect to changes in the luminance level (horizontal axis).
  • the rise and fall of the gain coefficient are made to cross at an inclination so that the change is not noticeable.
  • the gain coefficient is controlled by the brightness level (eg, G signal) for each sample after AZD (analog-to-digital) conversion of the RGB YC signal. Is provided.
  • the linear matrix coefficients use RGB YC 5 signal values and use coefficients that emphasize noise characteristics.
  • wc: w n l: A coefficient of 10 points (position of ⁇ mark 63 in Fig. 16) can be considered. The coefficient values are shown below.
  • Eq. (14) has a larger weight for noise, so the absolute value of each coefficient is smaller and it can be seen that color separation noise does not increase.
  • the linear matrix coefficients for medium luminance pixels are determined by using the RGB YC5 signal values at the point with the best balance between color reproducibility and noise characteristics.
  • the coefficient is determined so as to get on the locus of the lower left position.
  • the processing flow is as follows.
  • LM (H) 7 1 When a pixel signal is input, the input signal value is subjected to three types of linear matrix processing (LM (H) 7 1, LM (M) 72, LM (L) 7 3 in Fig. 17), A signal value for each luminance level is calculated.
  • LM (H) 7 1 When a pixel signal is input, the input signal value is subjected to three types of linear matrix processing (LM (H) 7 1, LM (M) 72, LM (L) 7 3 in Fig. 17), A signal value for each luminance level is calculated.
  • LM (H) 7 1 When a pixel signal is input, the input signal value is subjected to three types of linear matrix processing (LM (H) 7 1, LM (M) 72, LM (L) 7 3 in Fig. 17), A signal value for each luminance level is calculated.
  • Each signal value is subjected to white balance processing (WB (H) 74, WB (M) 75, WB (L) 7 6 in Fig. 17).
  • a predetermined gain coefficient (a, b, c) is multiplied (multipliers 77, 78 and 79 in Fig. 17).
  • the three types of output signals are added by the adders 80 and 8 1 in FIG. 17 to determine the output signal value of the pixel.
  • the boundary between the low luminance level and the medium luminance level for example, the boundary between ISO400 and IS0200 can be considered.
  • the boundary between the medium luminance and the high luminance level is, for example, when either the Y signal or the C signal is saturated.
  • the present invention is not limited to the above-described embodiments, and various modifications based on the technical idea of the present invention are possible.
  • different matrix calculation processing is performed for three levels of luminance levels, but different matrix calculation processing is performed for two levels (low / medium luminance level and high luminance level). May be performed.
  • three colors Y C G may be used at the low luminance level, and five colors of RGB YC may be used at the medium luminance level.
  • the present invention can be applied to devices having a blue-sensitive layer, a green-sensitive layer, and a red-sensitive layer in the same manner as a color film by stacking three CMOS structures.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Optical Filters (AREA)

Abstract

色再現性およびノイズ特性を向上させる。原色系ＲＧＢフィルタと、補色系ＹＣフィルタを用いてハイブリッドＲＧＢＹＣカラーフィルタを備えた撮像素子を構成する。解像度に直接関係する人間の眼の輝度信号に近いＧのフィルタを、他の色のフィルタの４倍、市松状に配する。第１０図Ａに示される配列は、行毎にみると、感度の低い列(Ｇ, Ｒ, Ｇ, Ｂ)と感度の高い列(Ｃ, Ｇ, Ｙ, Ｇ)が交互に並んでいる配列である。行ごとに露光時間を変えて読み出すと、広ダイナミックレンジ読み出しが容易になる。第１０図Ｂに示される配列は、行および列のそれぞれに２個のＧに含まれ、残りの２個の色が感度の高いものと感度が低いものとが組み合わせたものであるために、水平、垂直方向に輝度差の少ない配列である。したがって、第１０図Ａの配列と比較すると読み出し方法は複雑となるが、空間的補間特性が有利なため、滑らかな階調表現を実現しやすい。

Description

撮像装置および撮像素子 技術分野
この発明は、 撮像装置および撮像素子に関する。 背景技術 明
近年の画像入力装置の撮像素子の画素数増加は目覚しく、 撮像素子 の解像度は人間の眼で判定できないほ書どの滑らかな粒状性を持つレべ ルにまで達している。 この状況下で画質に対する要求は解像感から色 再現性、 ノイズ感の低減性、 広ダイナミックレンジ確保へと移行しつ つある。' この発明は画質、 特に色再現性とノイズ特性を許容レベルに 保持しつつ、 スキャンできる輝度ダイナミックレンジの拡大を図る手 段と装置を提供するものである。
先に、 より忠実な色を再現すると共に、 ノイズを低減できるように した画像処理装置が特許文献 1 (特開 2 0 0 3 - 2 8 4 0 8 4号公報 ) に記載されている。
以下、 この特許文献 1に記載の装置について説明する。 撮像素子の 前面に第 1図に示す色配列の 4色カラ一フィル夕 1が設けられている 。 一点鎖線で示されるように、 カラーフィルタ 1は、 赤 （R ) の光の みを透過する Rフィル夕と、 青 （B ) の光のみを透過する Bフィル夕 と、 第 1の波長帯域の緑色の光のみを透過する G 1フィルタと、 第 2 の波長帯域の緑色の光のみを透過する G 2フィル夕との合計 4個を最 小単位とする構成を有する。
第 2図 Aおよび第 2図 Bは、 このようなカラ一フィル夕 1を有する 撮像素子例えば C C Dにより得られた撮像信号に対して信号処理を施 す信号処理部の構成の一例を示す。 作図スペースの制約上、 信号処理 部の構成を第 2図 Aおよび第 2図 Bに分けて示す。 参照符号 1 0が画 像センサ一からの 4種類の色信号 （R信号、 G 1信号、 G 2信号、 B 信号） が入力されるフロントエンドを示す。 フロントエンド 1 0は、 画像センサ一からの色信号に対して、 ノイズ成分を除去する相関二重 サンプリング処理、 ゲインコントロール処理、 ディジタル変換処理等 の処理を施す。 フロントエンド 1 0からの画像データが L S I (Large Scal e In tegr at ed C i rcu U：大規模集積回路）の構成とされた信号処 理部 1 1に対して供給される。
信号処理部 1 1は、 図示しないマイクロコンピュータに対してマイ クロコンピュ一タイン夕一フエ一ス 1 2を介して接続されている。 マ イク口コンピュータは、 所定のプログラムにしたがって例えばデイジ タルスチルカメラの全体の動作を制御する。 さらに、 信号処理部 1 1 を構成する各ブロックがマイクロコンピュータインタ一フェース 1 2 を介してマイク口コンビュ一夕によって制御される。
信号処理部 1 1は、 フロントエンド 1 0から入力される 4種類の色 信号に対して、 補間処理、 フィルタリング処理、 マトリクス演算処理 、 輝度信号生成処理、 色差信号生成処理等を行う。 信号処理部 1 1に よって生成された画像信号が図示しないディスプレイに供給し、 撮像 画像が表示される。 また、 信号処理部 1 1からの画像データが圧縮さ れて内部記憶媒体、 外部記憶媒体等に記憶される。
信号処理部 1 1の各ブロックについて以下に説明する。 オフセット 補正処理部 2 1は、 フロントエンド 1 0から供給されてきた画像信号 に含まれるノイズ成分 （オフセット成分） を除去する。 オフセット補 正処理部 2 1からの画像信号がホワイ卜バランス補正処理部 2 2に出 力され、 ホワイトバランス補正がなされる。 すなわち、 被写体の色温 度環境の違い、 そしてセンサ一上の色フィルタ （R, G 1 , G 2 , B ) による感度の違いによる各色間のアンバランスが補正される。 ホワイトバランス補正処理部 2 2の出力が垂直方向同時化処理部 2 3に供給される。 垂直方向同時化処理部 23は、 垂直方向の補間処理 やフィル夕リング処理のために、 遅延素子例えば小規模なメモリを使 用して時間的に異なる垂直方向の画像デ一夕を同時化する。
垂直方向同時化処理部 23により同時化された複数の画像信号が補 間処理、 フィルタ処理、 高域周波数補正処理およびノイズ処理部 24 に供給される。 色フィルタ （R, G 1 , G 2 , B) の最小単位の 2x 2画素の色信号を、 同一空間の位相に補間する補間処理と、 適切に信 号帯域を制限するフィルタ処理と、 信号帯域の高域成分を補正する高 域周波 ί補正処理と、 信号のノィズ成分を除去するノィズ処理等が行 われる。
処理部 24で得られた画像信号例えば RG 1 G 2 Bの 4色の信号が リニアマトリクス処理部 2 5に供給される。 リニアマトリクス処理部 2 5では、 4入力 3出力のマトリクス演算がなされる。 3x4の行列 のマトリクス係数を与えることで、 入力された RG 1 G 2 Bの 4色の 画像情報から RGB色出力を求めることができる。
リニアマトリクス処理部 2 5からの RGB出力がガンマ補正処理部 26 R、 2 6 G、 2 6 Bにそれぞれ供給される。 ガンマ補正処理部 2 6 R、 26 G、 26 Bによって、 表示装置が有する非線形特性の逆補 正を予め行うことで、 最終的にリニアな特性が実現される。
ガンマ補正処理部 26 R、 2 6 G、 2 6 Bの出力信号が輝度 （Y) 信号生成処理部 2 7および色差 （C) 信号生成処理部 2 8にそれぞれ 供給される。 輝度信号生成処理部 2 7は、 ガンマ補正された RGB信 号を所定の合成比で合成することによって輝度信号を生成する。 色差 信号生成処理部 2 8は、 ガンマ補正された R G B信号を所定の合成比 で合成することによって色差信号を生成する。
色差信号生成処理部 2 8によって生成された色差信号が帯域制限お よび間引き処理部 2 9に供給され、 色差信号 C bおよび C rが時分割 多重化された色差信号が形成される。 このように 4色カラーフィル夕 を使用する画像処理装置は、 3原色のカラ一フィルタを使用するもの と比較して色再現性を良いものとできる。
一般的に、 撮像素子の分光感度として好ましいとされる特性は、 色 再現性が良いこと、 ノイズ特性が良いことである。 「色再現性が良い 」 ということは、 人間の眼と同様の色を感知することができる、 また は、 人間の眼の見えに対する色差が小さい、 ということを意味する。 人間の眼の見えとは、 人間の眼で見えるそのままの色を意味する。 「 ノイズ特性が良い」 ということは、 ある輝度レベルにおけるノイズ量 が少ないことを意味する。 ノイズは、 輝度ノイズと色ノイズに大別さ れ、 輝度ノイズは絶対的な感度に依存し、 色ノイズは、 撮像素子の力 ラーフィル夕の分光感度同士の関係性、 すなわち、 分光感度曲線の形 に大きく依存する。
輝度にリ二ァな撮像素子の出力信号をマトリクス変換して原色 R G B信号値を作成する手法は、 第 2図 Aおよび第 2図 Bに示すような一 般的な画像入力装置の信号処理でよく行われている。 この処理をリニ ァマトリクス処理と呼ぶ。 ほとんどの場合、 画像入力装置 （スキャナ やディジタルスチルカメラ等） は、 入力した画像をパーソナ コンビ ュ一夕 （以下、 P Cと適宜略す） モニタで観察及び編集することが多 いので、 マトリクス演算後の原色 R G B信号値の目標色空間は、 一般 的 P Cモニタの空間である s R G B色空間に設定する。 s RGB色空間は、 伝送するカラー画像信号が準拠するべきマルチ メディァ用の標準色空間として I E C (International Elect rotechni cal Commission：国際電気標準会議）により定められたものである。 標準色空間に準拠することによってカラ一画像の送り側と受け側とが 同じ色再現を共有することができる。
したがって、 撮像素子の目標分光感度 （相対感度と図中では表記す る） は、 人間の眼の分光感度である等色関数 （第 3図参照） を 7 0 9 系マトリクスによって線形変換した s RGB等色関数となる。 70 9 系マトリクスについては、 参考文献 1 ("ITU-R BT.709-3, "Basic Pa rameter Values for the HDTV Standard for the Studio and for In ternational Programme Exchange" (1998)") に説明されている。 第 3図において、 曲線 3 l xが関数 X (λ) を示し、 曲線 3 1 yが 関数 y (λ) を示し、 曲線 3 1 ζが関数 ζ (λ) を示す。 第 3図に示す 等色関数のグラフは、 C I E (Commission Internationale de I'Ecla irage:国際照明委員会） 1 9 3 1として規定されているものである。 第 4図は、 s RGB等色関数をグラフで表したものである。 第 4図 において、 曲線 32 rが関数 r (λ) を示し、 曲線 3 2 gが関数 g (λ ) を示し、 曲線 32 bが関数 b (λ) を示す。 s RGB等色関数はル —夕条件を満たすので、 眼で見たままの色を感知することが可能であ る。 ルータ条件については、 参考文献 2 (大田登， "色彩工学"， ISBN ： 4-501-61350-5, 東京電機大学出版局（1993) ) に説明されている。 しかしながら、 第 4図に示す分光感度には、 負の分光感度が存在し 、 現実にはそのような分光感度を持つ 3色 RGBフィルタの 成が不 可能である。 若し、 正の分光感度を持ち、 且つルータ条件を満たす 3 色 RGBフィルタ分光感度を作成しょうとすると、 第 5図に示すよう な分光感度となる。 第 5図において、 曲線 3 3 Rが関数 s R (λ) を 示し、 曲線 33 Gが関数 s G (λ) を示し、 曲線 33 Βが関数 s B (λ ) を示す。
第 5図から分かるように、 この撮像素子の赤成分のフィル夕の分光 感度の曲線 33 Rと緑成分のフィルタの分光感度の曲線 3 3 Gの重な りが非常に大きい。 このことは、 この 2成分の信号は、 非常に似てい ることを意味する。 したがって、 第 5図に示す分光感度のフィル夕を 有する撮像素子を用いて目標出力信号である s RGB空間の 3色を計 算しょうとすると、 次の式 （ 1) の行列演算が必要になる。 r 6.5614 一 5.5412
g(A) = -2.0049 3.1163 ' • sG{A)
, 0.1182 一 0.2783
Figure imgf000008_0001
式 （ 1) の行列係数を見て分かるように、 出力信号の赤成分を計算 するために、 入力信号の赤成分と緑成分とに対して 6. 5 6 14と一 5. 54 12という非常に大きな行列係数が乗じられている。 このこ とは、 撮像素子の赤信号と緑信号にのっているノイズを非常に増大さ せることを意味する。
よって、 実際にはルータ条件を完璧には満たさなくても、 すなわち 、 色再現性を多少犠牲にしてもノイズ特性が良い、 第 6図に示すよう な分光感度を有する 3色 RGBフィル夕が使用される。 第 6図におい て、 曲線 34Rが関数 S I R (λ) を示し、 曲線 34 Gが関数 s i G (λ) を示し、 曲線 34 Βが関数 s i Β (λ) を示す。 第 6図の分光は 、 ルータ条件を満たさないので、 s RGB等色関数に線形変攀するこ とができない。 したがって、 s RGB等色関数への近似変換行列演算 は、 次の式 （2) に示されるものとなる。 λ f 2. 250 -0. 649 一 0. 089、
g(A) = -0. 057 1. 574 -0. 384 ■ s1G(A) … )
-0. 009 一 0. 444 1. 567 j 式 （2 ) の行列係数では、 全ての係数の絶対値が式 （ 1 ) に示され る行列係数よりも小さく、 色分離の結果、 ノイズが比較的増大しない ことが分かる。
一般的な原色系 R G Bの撮像素子は、 上述した理由から、 第 6図で 示すような曲線を有する分光感度とされており、 色再現性もノィズ特 性もかなり優れていることが知られている。 しかしながら、 実際には 、 撮像素子自体の感度、 レンズの特性、 赤外カットフィルタ特性の影 響により第 7図に示す分光感度の曲線のグラフとなる。 第 7図におい て、 曲線 3 5 Rが Rのフィル夕の分光感度を示し、 曲線 3 5 Gが Gの フィルタの分光感度を示し、 曲線 3 5 Bが Bのフィル夕の分光感度を 示す。
種々な製造上の制限から、 各カラーフィルタの分光感度を高めるこ とが難しい。 感度を維持するためには、 セルサイズをある程度大きく したり、 電気的ゲインを乗じる等の方法が用いられる。 しかしながら 、 セルサイズを大きくすることは、 解像度の犠牲を伴い、 また、 ゲイ ンを乗じることは、 ノイズ低減性を犠牲にする。
以上をまとめると、 原色系 R G B撮像素子は、 色再現性に関しては 、 かなり良好であるが多少の改善の余地があること、 ノイズ特性に関 しては、 色分離ノイズは小さいが、 低感度のためにノイズの支配的成 分である輝度ノイズが大きくなる傾向にある。 すなわち、 色 現性は 良いが、 ノイズ感が出やすいという特徴がある。
カラーフィルタとしては、 補色系カラ一フィルタも知られている。 例えば Y (黄色） C (シアン） M (マゼン夕） G (緑） の 4色のフィ ルタを第 8図に示すように、 配列する補色市松線順次方式のカラーフ ィル夕が知られている。 第 8図において、 破線で囲んだ 2 x 4の配列 が配列の最小単位である。
かかる補色系 Y C M G撮像素子の分光感度のグラフを第 9図に示す 。 第 9図において、 曲線 3 6 Yが Yのフィルタの分光感度を示し、 曲 線 3 6 Cが Cのフィルタの分光感度を示し、 曲線 3 6 Mが Mのフィル 夕の分光感度を示し、 曲線 3 6 Gが Gのフィル夕の分光感度を示す。 第 9図に示すように、 各カラーフィル夕の感度が高いので、 補色系 Y C M G撮像素子は、 特に喑所での撮影に強く、 輝度ノイズ特性が良い 。 しかしながら、 分光感度の重なりが非常に大きいために、 色再現性 を良好にしょうとすると、 非常に大きな色分離係数を必要とし、 色分 離ノイズが増大してしまう問題があった。 したがって、 原色系 R G B 撮像素子に比較して色再現性を追い込むことができない問題点があつ た。
このように、 補色系 Y C M G撮像素子は、 色再現性に関しては、 追 い込みの余地が非常に大きい。 また、 ノイズ特性に関しては、 色分離 ノイズが大きいが、 高感度のために、 ノイズの支配的成分である輝度 ノィ -ズが小さくなる傾向にある。 すなわち、 ノイズ感は良いが、 色再 現性があまり良くないという特徴がある。
上述したように、 従来の撮像素子においては、 原色系 R G B撮像素 子を使用した時には、 感度が低いことによる輝度ノイズが多い問題が 生 D、 一方、 補色系 Y C M G撮像素子を使用した時には、 色再現性お よび色分離ノィズ特性が不十分という問題があった。 ， したがって、 この発明の目的は、 これらの撮像素子の有する問題点 を解決することができる撮像装置および撮像素子を提供することにあ る。 発明の開示
上述した課題を解決するために、 この発明は、 撮像部およびフロン トエンドからなる画像入力部と画像入力部からの複数の撮像信号を処 理して三原色信号を生成する信号処理部とを有する撮像装置において 撮像部は、 三原色系および補色系の色分解フィル夕と、 色分解フィ ル夕で分離された色光が入力される撮像素子とを有し、
信号処理部は、 入力画像デ一夕が低 · 中輝度レベルの第 1の領域で は、 三原色系および補色系の色分解フィルタを使用して得た複数の信 号をマトリクス演算処理することによって三原色信号を生成し、 入力 画像データが高輝度レベルの第 2の領域では、 三原色系の色分解フィ ルタを使用して得た三原色信号をマトリクス演算処理することによつ て三原色信号を生成するようにした撮像装置である。
また、 この発明は、 R (赤） 、 G (緑） 、 B (青） の原色系の 3色 のフィル夕と、 Y (黄） 、 C (シアン） の補色系の 2色のフィル夕と の合計 5色の色フィルタによって構成され、 人の眼の輝度特性と近い Gのフィル夕を市松状に配することによって、 他の色の 4倍の空間情 報を得るようにした撮像素子である。
この発明によれば、 撮像素子のカラーフィル夕を原色系 R G B補色 系 Y Cの 5色を組み合わせることによって、 色の再現性、 色分離ノィ ズを低減できる。 また、 R G B Y C 5色のカラ一フィルタの撮像素子 の出力信号を輝度レベルによって使い分けることによって、 色系、 補色系撮像素子を単独で使用するよりも、 色再現性の良い、 高感度す なわち、 低ノイズな撮像素子を実現できる。 その結果、 ダイナミック レンジの広いシ一ンを取り込むことが可能となる。 図面の簡単な説明
第 1図は、 先に提案されている撮像装置のカラ一フィルタの色配列 を示す略線図である。
第 2図 Aおよび第 2図 Bは、 先に提案されている撮像装置の信号処 理部の構成を示すブロック図である。
第 3図は、 等色関数の一例を示すグラフである。
第 4図は、 s RGB等色関数の一例を示すグラフである。
第 5図は、 ルータ一条件を満たす 3色フィル夕の分光感度を示すグ ラフである。
第 6図は、 通常の三原色フィルタの分光感度を示すグラフである。 第 7図は、 原色系 RGB撮像素子の分光感度を示すグラフである。 第 8図は、 補色系 YCMG撮像素子のカラ一フィル夕の色配列を示 す略線図である。
第 9図は、 補色系 YCMG撮像素子の分光感度を示すグラフである 第 1 0図 Aおよび第 1 0図 Bは、 ハイプリッド RGB YC撮像素子 の分光感度を示すグラフである。
第 1 1図は、 ハイプリッド RGB YC撮像素子の色配列を示す略線 図である。
第 1 2図は、 ハイプリッド RGB YC撮像素子の出力信号を使用し た信号処理を説明するための略線図である。
第 1 3図は、 この発明を適用できる信号処理の流れを示す: ローチ ャ一卜である。
第 1 4図は、 この発明における色変換処理の流れを示すフローチヤ 一卜である。 第 1 5図は、 この発明における CN図を示すグラフである。
第 1 6図は、 ハイブリッド RGB YC撮像素子、 原色系撮像素子お よび補色系撮像素子の CNを比較して示すグラフである。
第 1 7図は、 この発明の一実施形態における信号処理の一例を示す ブロック図である。
第 1 8図は、 信号処理中の重みゲイン係数遷移の一例を示す略線図 である。 発明を実施するための最良の形態
この発明においては、 原色系 RGBフィル夕と、 補色系 YCフィル 夕を用いてハイプリッド R GB YCカラ一フィル夕を備えた撮像素子 を構成する。 色配列としては、 種々可能であるが、 一例として第 1 0 図 Aおよび第 1 0図 Bに示すカラ一フィル夕を使用する。 第 1 0図 A および第 1 0図 Bにおいて、 RGBは、 それぞれ赤、 緑、 青の光を透 過するフィルタを示し、 YCは、 それぞれ黄色、 シアンの光を透過す るフィル夕を示す。
第 1 0図 Aおよび第 1 0図 Bは、 この発明に使用できるカラ一フィ ルタの配列の一例および他の例のそれぞれの最小単位 （4x4) を示 す。 これらの第 1 0図 Aおよび第 10図 Bに示されるカラーフィルタ の配列の特徴は、 まず、 解像度に直接関係する人間の眼の輝度信号に 近い Gのフィル夕を、 他の色のフィル夕の 4倍、 市松状に配している ことである。 すなわち、 Gのフィルタは、 最小単位の 1 6個の中で、 8個の割合を占め、 残りの 4色のフィル夕がそれぞれ 2個の割合とさ れる。 第 1 0図 Aに示される配列は、 行毎にみると、 感度の低い列（ G， R, G, B)と感度の高い列（C， G, Y, G)が交互に並んでい る配列である。 若し、 行ごとに露光時間を変えて読み出すと、 広ダイ ナミックレンジ読み出しが容易になる。
第 1 0図 Bに示される配列は、 行および列のそれぞれに 2個の Gに 含まれ、 残りの 2個の色が感度の高いものと感度が低いものとが組み 合わせたものであるために、 水平、 垂直方向に輝度差の少ない配列で ある。 したがって、 第 1 0図 Aに示される配列と比較すると、 読み出 し方法は複雑となるが、 空間的補間特性が有利なため、 滑らかな階調 表現を実現しやすい特徴を有する。
第 1 1図は、 ハイプリッド R G B Y Cカラ一フィル夕の分光感度の グラフを示す。 第 1 1図において、 曲線 3 7 Yが Yのフィル夕の分光 感度を示し、 曲線 3 7 Cが Cのフィル夕の分光感度を示し、 曲線 3 7 Rが Rのフィルタの分光感度を示し、 曲線 3 7 Gが Gのフィルタの分 光感度を示し、 曲線 3 7 Bが Bのフィルタの分光感度を示す。 第 1 1 図に示されるように、 補色系の Y， Cは、 原色系の R , G , Βよりも 分光感度が高い。
第 1 2図は、 カラ一フィルタの各色毎に撮像素子に貯まる電荷量 Q と光量 Ρの関係を示す。 第 1 2図において、 Q sは飽和電荷量を示し 、 3 8 Cが Cのフィル夕に関する 〔P— Q〕 特性を示し、 3 8 が丫 のフィルタに関する 〔P— Q〕 特性を示し、 3 8 Rが Rのフィルタに 関する 〔P— Q〕 特性を示し、 3 8 Gが Gのフィルタに関する 〔P _ Q〕 特性を示し、 3 8 Bが Bのフィルタに関する 〔P— Q〕 特性を示 す。
第 1 2図に示すように、 感度の高い Y , Cのフィル夕が配されたセ ルには、 少ない光量でも直ぐに必要な電荷が蓄積され、 一方、， 感度の 低い R , Bのフィル夕が配されたセルには、 多くの光量が入射しても 電荷が蓄積される速度が遅いので、 直ぐに電荷で飽和しない。 この特 性の相違を利用して、 ダイナミックレンジが非常に広い画像を取り込 むことが可能となる。
一例として、 5色のフィル夕の中で、 Cのフィル夕が配されたセル が最初に飽和するので、 Cのフィル夕が配されたセルに蓄積される電 荷が飽和する光量 P hを境界として低 · 中輝度領域と高輝度領域とを 規定する。 低 · 中輝度領域に含まれる輝度の画像の場合には、 R, G , B, Y， Cの 5色の信号値を使用し、 高輝度領域に含まれる輝度の 画像の場合には、 Υおよび Cのフィル夕が配されたセルの蓄積電荷が 飽和するので、 R， G, Βの 3色の信号値を用いる。 このように、 画 像の輝度に応じて使用する色フィルタを切り替えることによって、 非 常に広いダイナミックレンジの画像を生成することが可能となる。 画像の輝度の判定方法としては、 例えば、 人間の眼の輝度成分を含 んでいる撮像素子の信号値である、 G， Y等の信号値によって判定を 行う方法などが可能である。
撮像素子の信号値から、 画像の RGB信号値を計算するためには、 何らかのマトリクス演算処理が必要となる。 例えば、 5色 RGBYC 信号値（Rin, Gin, Bin, Yin, C in)を生成 R G B画像の信号値（ Rout, Gout, Bout)に変換するためのマトリクス演算処理は、 3x 5のマトリクス係数を用いて、 次の式 （3) で表される。
Figure imgf000015_0001
式 （3) のマトリクス係数をリニア信号に対するマトリクス演算係 数という意味で、 リニアマトリクスと呼ぶことにする。 リニアマトリ クスの決定方法については、 参考文献 3 ( 「水倉貴美， 加藤直哉， 西 尾研一， "ノイズを考慮した C CDカラーフィル夕分光感度の評価方 法"， カラーフォーラム JAPAN2003 論文集， pp.29- 32(2003)」 ）を参照 のこと。
以下、 輝度の異なる画像データについて詳細に説明する。
低 · 中輝度画像データの場合
低感度の R, Bの信号値がある程度大きくなり、 ノイズの影響が少 なくなり、 且つ Y, Cの信号値が飽和していない場合は、 ハイブリツ ド撮像素子の全 5色の信号値を使用することが可能である。 原色系 3 色に比べて色数が多く、 色の分離性の良い 5色であるため、 色再現性 · ノイズ低減性の両面でより優れた画像処理が可能である。
高輝度画像データの場合
高感度の Y， Cの信号値が飽和してしまう場合は、 残りの R， G, Β 3色の信号値で画像を生成する。 この状態は、 原色系 3色撮像素子 を使用している場合と同等となり、 色再現性 · ノイズ低減性は、 原色 系 3色撮像素子と同程度のものとなる。
上述したハイプリッド RGB YC撮像素子を用いた撮像装置例えば ディジタルスチルカメラについて以下説明する。 但し、 この発明は、 スチルカメラに限定されず、 動画撮影用のカメラに対しても適用可能 である。
上述したハイブリッド RGB YC撮像素子を用いると、 原色系 3色 RGB撮像素子のカメラ、 または補色系 YCMG撮像素子のカメラよ り.も、 色再現性およびノィズ特性が優れたカメラを構成することが可 能である。 ， 上述した参考文献 3に記載されているカラーフィルタの評価方法を 用いて、 ハイブリッド RGB YC撮像素子、 原色系 3色 RGB撮像素 子、 補色系 Y C MG撮像素子の 3つの撮像素子に対する C N図を描い てみる。 簡単に CN図の書き方を説明する。
前提条件
撮影条件としては、 光源は、 C I Eが定める標準光源 D 55を使用 し、 ターゲットは Macbeth Color Checkerとする。 カメラ信号処理と しては、 第 1 3図に示すような処理を想定する。 ディジタルスチルカ メラの総合特性としての撮像素子のカラ一フィル夕の分光感度と Macb eth Color C heckerのカラ一パッチの分光反射率、 そして撮影光源 の分光放射輝度の積を積分して求めた Raw Data4 1に対し、 ホワイ トバランス補正処理 42で各色データのレベルを無彩色に対して等し くなるようにゲインを乗じる。
次に、 マトリクス処理により、 輝度信号に対してリニアな信号値を 目的色に近づけるような色変換処理 43を施す。 この処理 43がリニ アマトリクス処理に相当する。 以降この行列を MATと適宜称する。 色変換処理 43によって、 信号値は、 R (赤） 、 G (緑） 、 B (青）の 3色になる。 カラーフィルタの色数を Nと表記すると、 ホワイトバラ ンス補正処理 42は、 NxNの対角行列演算処理となり、 色変換処理 43は、 3 xNの行列演算処理となる。
最後にガンマ補正処理 44を通って、 最終出力としてカメラ GB 4 5が得られる。 但し、 ここでは s RGBの逆ガンマをカメラガンマと して用いる。 ディジタルスチルカメラのハードウェアを構成する場合 では、 上述した第 2図 Aおよび第 2図 Bに示す信号処理構成と同様の 構成が使用される。
このように得られたカメラ RGBは、 標準 s RGBモニタ 再生さ れ、 観察されると想定する。 すなわち、 カメラ RGBは、 s RGB色 空間の色であると想定する。 伹し、 計算上は s RGBレンジ外の値も 保持させているため、 s RGB色域外の色はクリップされないように 考慮するものとする。
色再現評価指数の定義
撮影したカメラの出力信号の、 人間の眼に対する色差、 Delta Ε(Δ Ε)値を計算する。 カメラ RGBは s RGB色空間のデ一夕であると想 定するので、 対応する！/ a*b*値カメラ! a*b*は、 709系行列 M7()9等を用 いて、 第 14図に示すフローチャートによって計算される。
I a*b*値は、 標準の光における三刺激値から定義された色空間であ る。 C I Eは、 1964年に均等色空間として i v を提案し、 1
9 7 6年に U*V*W*空間を修正した L*u*v*空間を提案した。 さらに 、 1 9 7 6年にどの色領域でも知覚的な色差と対応する色空間として
L*a*b*空間 （C I ELAB) が提案された。
第 14図において、 カメラ RGB 5 1が s RGBガンマ処理 5 2を 受けてから変換処理 5 3において、 三刺激値 XYZへ RGBを変換す る。 そして、 変換処理 54において、 709系行列 M7Q955を用いて、 XY Zを L*a*b*へ変換する。 そして、 最終的なカメラ！ a*b* 5 6が 得られる。
709系行列 M7。9については、 参考文献 1に説明されている。
目標値となる人間の眼の見えの! Zaf値は、 Macbeth Color Checker の分光反射率、 標準光源 D 5 5の分光放射輝度から計算できる。
色再現性の評価指数としては、 Macbeth Color Checker 24色の 平均 ΔΕ値（ΔΕ a)を採用する。 この値は、 下記の式 （4) で示すよう に.、 カメラの信号処理中の MAT係数の関数 ΔΕ a (MAT) となる 24
厶 Ea(MAT) =— J厶 Ek(MAT) ■ -■ (4)
k=1
但し、 厶 Ek: k番目のカラ一パッチの AEk
MAT：色変換マトリクス係数 ノイズ評価指数の定義
撮像素子の出力信号に含まれるノイズのモデルとして、 次の式 （5 ) に示す定義式を用いる。 この定義式については、 参考文献 4 ("G. C .Hoi st, "CCD ARRAYS CAMERAS and DISPLAYS 2nd Ed., "JCD Publishin g (1998)")に記載されている。
Noise raw = J as■ CV CCD+bd
= s otNoise2 + DarakNoise2 ■■■ (5)
式 （5) において、 asと bdは、 参考文献 5 (西尾研一，" CCDカメ ラの色彩，" カラ一フォーラム IAPAN ' 99, pp.143-147 (1999)) に記 載されているように、 C CDのデバイス特性 （飽和電子量等） によつ て決まる値である。
as ' CV— (； CDは、 光学ショットノイズ、 すなわち信号値に依存する ノイズ成分を表し、 bdは、 フロアノイズ、 すなわち、 信号値に依存 しないノイズ成分を表す （参考文献 4参照） 。
このノイズ Noise^^がカメラの信号処理、 更には L*a*b*変換によつ て様々な色空間へ伝搬される。 以下にノイズの伝搬モデル （参考文献 6. (P. D. Burns and R. S. Berns, Error Propagation Analysis in Color Measurement and Imaging, " Col . Res. Ap l, Vol. 2, pp.28 0-289 (1997)) 参照） の概要を示す。
ある入力信号が、 （mxn) 行列 Aによって、 Y= Cy y2， · • · , yj 1に線形変換されるとすると、 その式は次の様に書ける。 Y = A · X · ·
今、 入力信号 Xの分散共分散行列が下記の式 （6) で示すものとす る。
Figure imgf000020_0001
この式 （6) の対角成分はちょうど入力信号のノイズ分散値となる 。 もし、 入力信号値同士の相関がなければ、 行列成分中の共分散成分 (すなわち非対角成分） は 0となる。 このとき、 出力信号 Υの分散共 分散行列は、 次の式 （7) で定義できる。
∑y = A-∑x.At … ） この式 （7) が線形変換で変換できる色空間同士での、 ノイズ分散 値の伝搬理論式となる。
最終出力信号力メラ R G B値を a*b*値に変換するためには、 色再 現性の定義の節で示したように、 XY Z空間から L*a*b*空間への変換 の際に非線形な変換を含む。 しかしながら、 ノイズ分散値は通常微小 であることから、 上述した参考文献 6にある Jacobian行列 Jwa*bを使 用して XYZ→L*a*b=f=変換を近似的に線形変換で表すことができる。 し たがって、 元信号を a*b 直に線形変換するための近似行列 Ml()lalは、 次の式 （8) で示すものとなる。
Mt0tal = JL*a*b*' M709, MAT'WBM —(8)
但し、 WBM：ホワイトパランスマトリクス
MAT ：色変換マトリクス
この式 （8) の行列とノイズ伝搬理論式 （7) を使って、 最終出力 信号値にのるノイズ分散値を次の式 （9) で計算することができる。 σ "し cra*b*
し *3#t># = σ a»し》 O" a* CTし #b* (9)
V<7a*b* び b*し》
= M total * RGBraw• M total* 式 （9) から得られるノイズ量 aL*、 σ3*、 を用いて、 次の式 (10) より定義される Total Noise値（TN値）を計算する。 更に Mac beth Color Checker 24色の各パッチの T N値の平均値 T N aをノィ ズ評価指数とする。
24
TNa (MAT) =一 J TN k(MAT) …（ 10)
k=1
但し、 TNk ： k番目のカラーパッチの TN値
MAT:色変換マトリクス係数
TN値はノイズの明るさ成分、 色成分の両方を考慮した、 人間の眼 が感じるノイズと相関の高い値である。 I a*b*ノイズ量を用いて、 次 式で定義する。
Figure imgf000021_0001
式 （ 1 1) において、 WL*、 Wa*、 は、 ノイズ量 σ 、 ひ a*、 ひ b* に対する重み付け係数であり、 視感実験によって得られる実驗的 ·経 験的値を使用した。
カメラ信号処理中のパラメ一夕を決定する方法
具体的には、 信号処理中の MAT係数を決定する方法である。 まず 、 色再現評価指数 ΔΕ aおよびノイズ評価指数 TN aを用いて、 CE M (Comprehensive Error Metric)値を次式 （ 1 2) に定義する。
CEM(MAT) = (we■ Δ Ea ( AT) ) 2 + (wn -TNa (MAT) ) 2 --(12) 但し、 wc:色再現性に対する重み係数
wn：ノイズ量に対する重み係数 それぞれの評価指数に対する重み係数 wc、 wnを決めて、 CEM値を 最小にする MAT係数を求めることによって、 色再現性、 ノイズ量を 調節したフィルタ評価を実現することが可能となる。
CN図の作成方法
上述した CEM値の wc、 wnを変化させて MAT係数を算出し、 その 時の色再現評価指数 ΔΕ aおよびノイズ評価指数 TN aを算出する。 第 1 5図に示すように、 結果を横軸に ΔΕ aにとり、 縦軸に TN aを とって 〔色再現対ノイズ〕 のプロットを作成する （以降このプロット 図を CN図と適宜呼ぶことにする） 。 CN図が評価するカラ一フィル タセットの実力を示す図となる。
第 1 5図の左下領域が色再現、 ノイズ共に良の領域であり、 右上領 域が共に悪い領域である。 したがって、 プロットが左下に寄っている 程、 性能のよいフィルタセットとなる。 評価するフィルタセット毎に このプロットを行い、 比較することにより、 どのフィルタセットが優 れているのかを直感的に判定することが可能となる。 一般的に、 CN 図の軌跡は左下に凸の曲線になり、 色再現性が良いとノイズ特性が悪 く、 ノイズ特性が良いと色再現性が悪くなる、 という色再現' Iまとノィ ズ特性とがトレ一ドオフ関係を示す。
今、 この発明によるハイブリッド撮像素子、 原色系 3色撮像素子、 補色系 4色撮像素子の CN図は、 第 1 6図に示すようになる。 参照符 号 6 1 aがハイブリッド撮像素子の 〔色再現対ノイズ〕 のプロットで あり、 参照符号 6 1 bが原色系 3色撮像素子の 〔色再現対ノイズ〕 の プロッ トであり、 参照符号 6 1 cが補色系 4色撮像素子の 〔色再現対 ノイズ〕 のプロットである。
寸
第 1 6図に示さ寸れる CN図の左下が色再現 · ノイズ特性共に良い領 域なので、 軌跡が一番左下に寄っているものが特性の良い撮像素子と いうことができる。 第 1 6図から分かるように、 ハイブリッド撮像素 子のプロット 6 1 aが一番左下に寄っているので、 色再現性、 ノイズ 特性が共に原色系、 補色系撮像素子よりも優れていることが分かる。 実際に、 第 1 0図 Aおよび第 1 0図 Bに示す配列で RGBYC撮像 素子を作成し、 第 1 3図に示す信号処理を行う IC (Integrated Circu it)を作成する。 ガンマ補正は、 s RGBガンマを用いて RGB出力 信号を算出する。 リニアマトリクス係数は、 例えば CN図 （第 1 6図 ) の☆ 6 2に示す wc:wn=l ： 3の重みの係数を使用する。 ☆の係数を 式 （ 1 3) に示す。
rRou -0.836 0.242 0.658 -0.559 Gin
GOUt = 一 0.255 0.688 一 0.383 0.706 0.244 Bin
、 BOUt 0.094 -0.403 1.254 -0.351 0.406 J Yin
lcinj 式 （ 1 3) から係数値 小さく、 色分離ノイズをそれほど増大させ ないことが分かる。' これにより、 5色 RGB YC撮像素子を使用した カメラを構成することが可能となる。 .
次に、 八イブリッド撮像素子を用いた広ダイナミックレンジ画像を 取り込むことができる画像入力装置について説明する。
5色の信号値を画素値の輝度レベルによって使い分けることによつ て、 ダイナミックレンジの広い画像をスキヤンする例について説明す る。
画素値の輝度レベルの算出方法は、 様々考えられるが、 例えば人間 の眼の輝度成分に近い G信号を輝度値として用いる。 信号処理として は、 第 1 7図に示す処理が考えられる。 LM (H) 7 1、 LM (M) 7 2、 LM (L) 7 3は、 それぞれ高輝度、 中輝度、 低輝度用のリニ ァマトリクス処理を示し、 WB (H) 74、 WB (M) 7 5、 WB ( L) 76がホワイトバランス処理をそれぞれ示し、 7 7、 7 8および 7 9が各出力信号にゲイン値 a， b， cを乗じる乗算器をそれぞれ示 す。
第 1 8図は、 輝度レベル （横軸） の変化に対する重みゲイン係数の 遷移を示す。 高輝度領域では、 ゲイン係数が （a= l， b = c = 0) とされ、 中輝度領域では、 ゲイン係数が （a = 0, b= 1 , c = 0) とされ、 低輝度領域では、 ゲイン係数が （a = b = 0, c = l) とさ れる。 また、 各領域の境界付近では、 ゲイン係数の立ち上がりとその 立ち下がりとが傾斜してクロスするようになされ、 変化が目立たない ようにされる。 第 1 7図では、 省略されているが、 ゲイン係数は、 例 えば RGB YC信号の AZD (アナログ—ディジタル） 変換後の 1サ ンプル毎の輝度レベル （例えば G信号） によって制御するゲイン係数 制御部が設けられている。
各輝度レベルのリニアマトリクス係数は、 参考文献 3を参照して、 次.のように決める。
低輝度領域 ， 低輝度領域は、 色再現性よりもノィズが少ないことの方が画質の観 点から重要な要素である。 よって、 リニアマトリクス係数は、 RGB Y C 5色の信号値を使用して、 ノイズ特性重視の係数を用いる。 wc:w n=l : 10のポイント （第 16図の△印 6 3の位置） の係数などが考え られる。 係数値を以下に示す。
Figure imgf000025_0001
式 （14) は、 式 （ 1 3) と比較して、 ノイズに対する重みを大き くしているため、 各係数の絶対値が小さくなつており、 色分離ノイズ を増大させないことが分かる。
中輝度領域
中輝度画素用のリ二アマトリクス係数は、 RGB YC5色の信号値 を使用して、 色再現性とノイズ特性のバランスが一番良いボイントで 決定する。 すなわち、 CN図において、 一番左下の位置の軌跡に乗る ような係数を決定する。 例えば式 （ 1 3) に示した、 wc:wn=l :3付近 のマトリクス係数が考えられる。
高輝度領域
高輝度画素用のリニアマトリクス係数は、 Y信号および C信号がか なり飽和してしまっているので、 RGB 3色の信号値を使用して、 色 再現性とノイズ特性のバランスが一番良いボイントで決定する。 すな わち、 CN図において、 一番左下の位置の軌跡に乗るような係数を決 定する。 例えば、 wc:wn=l ： 3のポイント （第 1 6図の〇印64の位 置） の係数が考えられる。 係数を以下の式 （ 1 5) に示す。
Figure imgf000025_0002
処理の流れとしては次の様になる。
ある画素信号が入力されると、 その入力信号値から 3種類のリニア マトリクス処理 （第 1 7図中の LM (H) 7 1、 LM (M) 72、 L M (L) 7 3) を経て、 輝度レベルごとの信号値が計算される。
それぞれの信号値は、 ホワイトバランス処理 （第 1 7図中の WB ( H) 74、 WB (M) 7 5、 WB (L) 7 6) を経て、 その画素の輝 度レベルに応じて、 第 1 8図に示すように、 予め決められたゲイン係 数 （a， b， c) が乗じられる （第 1 7図中の乗算器 7 7、 78およ び 79 ) 。
その後、 3種類の出力信号が第 1 7図中の加算器 8 0および 8 1に よって足し合わされ、 その画素の出力信号値が決定する。
低輝度レベルと中輝度レベルの境目としては、 例えば ISO400と IS02 00の境目などが考えられる。 また、 中輝度と高輝度レベルの境目とし ては、 例えば Y信号および C信号のいずれかが飽和している場合など があげられる。
以上、 この発明の実施の形態について具体的に説明したが、 この発 明は、 上述の実施の形態に限定されるものではなく、 この発明の技術 的思想に基づく各種の変形が可能である。 例えば第 1 7図の構成では 、 3段階の輝度レベルに対して異なるマトリクス演算処理を行ってい るが、 2段階 （低 ·中輝度レベルおよび高輝度レベル） の輝度レベル に対して異なるマトリクス演算処理を行うようにしても良い。 また、 低輝度レベルにおいては Y C Gの 3色を使用し、 中輝度レベルにおい ては、 RGB YCの 5色を使用するようにしても良い。 更に、. この発 明は、 CMOS構造を 3層重ね、 カラ一フィルムと同様に青感層、 緑 感層、 赤感層を有するデバイスに対しても適用することができる。

Claims

1 . 撮像部およびフロントエンドからなる画像入力部と画像入力部か らの複数の撮像信号を処理して三原色信号を生成する信号処理部とを 有する撮像装置において、
撮像部は、 三原色系および補色系の色分解フィル夕と、 上記色分解 請
フィル夕で分離された色光が入力される撮像素子とを有し、
信号処理部は、 入力画像デ一夕が低 ' 中輝度レベルの第 1の領域で は、 上記三原色系および補色系の色分解フィルタを使用して得た複数 の信号をマトリクス演算処理することによって三原色信号を生成し、 入力画像データが高輝度レベルの第 2の領域囲では、 上記三原色系の色 分解フィル夕を使用して得た三原色信号をマトリクス演算処理するこ とによって三原色信号を生成するようにした撮像装置。
2 . 請求の範囲第 1項において、
上記三原色系フィルタが R (赤） フィル夕、 G (緑） フィル夕およ び B (青） フィルタであり、 上記補色系フィル夕が Y (黄） フィルタ および C (シアン） フィルタである撮像装置。
3 請求の範囲第 1項において、
上記信号処理部は、 上記第 1の領域において、 ノイズ特性重視の第 1のマトリクス係数を使用して三原色信号を生成する第 1のマトリク ス演算部と、 上記第 2の領域において、 色再現性およびノイズ特性の パランスが良い第 2のマトリクス係数を使用して三原色信号を生成す る第 2のマトリクス演算部と、 上記第 1および第 2のマトリクス演算 部の出力信号に対してゲイン係数を乗じて加算する混合部とからなる 撮像装置。
4 . 請求の範囲第 1項において、 上記第 1および第 2の領域の境界が上記補色系の色分解フィル夕を 介された撮像素子が飽和する輝度レベルに選定された撮像装置。
5 . R (赤） 、 G (緑） 、 B (青） の原色系の 3色のフィル夕と、 Y (黄） 、 C (シアン） の補色系の 2色のフィルタとの合計 5色の色フ ィル夕によって構成され、
人の眼の輝度特性と近い Gのフィル夕を市松状に配することによつ て、 他の色の 4倍の空間情報を得るようにした撮像素子。
6 . 請求の範囲第 5項において、
配列の最小単位が 4 X 4の大きさとされ、 各列および各行にそれぞ れ 2個の Gのフィル夕が含まれ、
残りの 2個のフィル夕として感度が高いものと、 感度が低いものと が組み合わされることで、 水平および垂直方向に輝度差が少ないもの とされた撮像素子。
7 . 請求の範囲第 5項において、
配列の最小単位が 4 x 4の大きさとされ、 各列および各行にそれぞ れ 2個の Gのフィル夕が含まれ、
残りの 2個のフィルタとして感度が高いものを使用する列および行 と、 -感度が低いものを使用する列および行とが交互に配された撮像素 子。
PCT/JP2006/300674 2005-01-31 2006-01-12 撮像装置および撮像素子 WO2006080220A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020067020337A KR101200178B1 (ko) 2005-01-31 2006-01-12 촬상 장치, 화상 처리 장치, 화상 처리 방법 및 촬상 소자
CN2006800000715A CN1943248B (zh) 2005-01-31 2006-01-12 摄像装置
US10/589,492 US7583303B2 (en) 2005-01-31 2006-01-12 Imaging device element
EP06700920A EP1729524B1 (en) 2005-01-31 2006-01-12 Imaging device and imaging element
US12/437,139 US7868937B2 (en) 2005-01-31 2009-05-07 Imaging apparatus and imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-022853 2005-01-31
JP2005022853A JP4265546B2 (ja) 2005-01-31 2005-01-31 撮像装置、画像処理装置および画像処理方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US11/589,492 A-371-Of-International US7779238B2 (en) 2004-06-30 2006-10-30 Method and apparatus for precisely identifying effective addresses associated with hardware events
US12/437,139 Division US7868937B2 (en) 2005-01-31 2009-05-07 Imaging apparatus and imaging device

Publications (1)

Publication Number Publication Date
WO2006080220A1 true WO2006080220A1 (ja) 2006-08-03

Family

ID=36740254

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/300674 WO2006080220A1 (ja) 2005-01-31 2006-01-12 撮像装置および撮像素子

Country Status (7)

Country Link
US (1) US7868937B2 (ja)
EP (1) EP1729524B1 (ja)
JP (1) JP4265546B2 (ja)
KR (1) KR101200178B1 (ja)
CN (2) CN1943248B (ja)
TW (2) TW200926797A (ja)
WO (1) WO2006080220A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8031243B2 (en) * 2007-07-06 2011-10-04 Samsung Electronics Co., Ltd. Apparatus, method, and medium for generating image

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009017184A1 (ja) * 2007-08-01 2009-02-05 Sharp Kabushiki Kaisha カラー撮像素子及びこれを用いた撮像装置及びフィルタ
JP5080934B2 (ja) * 2007-10-22 2012-11-21 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
US8934034B2 (en) 2008-03-28 2015-01-13 The Trustees Of Columbia University In The City Of New York Generalized assorted pixel camera systems and methods
KR101475464B1 (ko) 2008-05-09 2014-12-22 삼성전자 주식회사 적층형 이미지 센서
KR101315299B1 (ko) * 2008-11-07 2013-10-14 삼성테크윈 주식회사 디지털 영상 처리장치
JP5546166B2 (ja) * 2009-06-19 2014-07-09 キヤノン株式会社 撮像装置、信号処理方法、及びプログラム
WO2011053678A1 (en) 2009-10-28 2011-05-05 The Trustees Of Columbia University In The City Of New York Methods and systems for coded rolling shutter
JP5044673B2 (ja) * 2010-03-25 2012-10-10 株式会社東芝 固体撮像装置および画像記録装置
JP2012010276A (ja) * 2010-06-28 2012-01-12 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
TWI581638B (zh) * 2011-01-28 2017-05-01 Yasushi Nagamune Image photographing apparatus and image photographing method
JP5425343B2 (ja) * 2011-06-30 2014-02-26 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
US9030575B2 (en) * 2011-10-12 2015-05-12 Apple Inc. Transformations and white point constraint solutions for a novel chromaticity space
KR102328769B1 (ko) 2014-06-20 2021-11-18 삼성전자주식회사 이미지 센서와 이를 포함하는 이미지 처리 시스템
JP2017015996A (ja) * 2015-07-02 2017-01-19 株式会社ジャパンディスプレイ 表示装置
US10735699B1 (en) 2019-07-03 2020-08-04 Qualcomm Incorporated Computer vision sensor
WO2021131859A1 (ja) * 2019-12-27 2021-07-01 株式会社ソシオネクスト 画像処理装置および画像処理方法
WO2021187076A1 (ja) * 2020-03-16 2021-09-23 ソニーセミコンダクタソリューションズ株式会社 撮像素子及び電子機器
EP3896967A1 (en) * 2020-04-17 2021-10-20 Leica Microsystems CMS GmbH Digital imaging device and method for generating a digital color image
WO2023085826A1 (ko) * 2021-11-12 2023-05-19 삼성전자 주식회사 이미지를 생성하는 전자 장치 및 그 방법
CN116095262B (zh) * 2023-04-11 2023-08-22 北京仁光科技有限公司 用于处理视频信号源的移动处理设备、处理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000315784A (ja) * 1999-04-30 2000-11-14 Olympus Optical Co Ltd カラー撮像素子及び撮像装置
JP2001359114A (ja) * 2000-06-09 2001-12-26 Fuji Photo Film Co Ltd 固体撮像素子を用いた画像取得装置および画像取得方法並びにその方法を実行するためのプログラムを記録した記録媒体
EP1339238A2 (en) 2002-02-26 2003-08-27 Eastman Kodak Company Four color image sensing apparatus

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL7900897A (nl) * 1978-02-15 1979-08-17 Hitachi Ltd Vaste-stof beeldopneeminrichting.
US4437112A (en) * 1980-02-15 1984-03-13 Canon Kabushiki Kaisha Solid-state color imaging apparatus
EP0113462B1 (en) 1982-12-14 1990-08-16 Matsushita Electric Industrial Co., Ltd. Solid state color imaging apparatus
US4907074A (en) 1985-10-31 1990-03-06 Canon Kabushiki Kaisha Image pickup apparatus having color separation filters and forming line-sequential luminance and color-difference signals
JPH0810940B2 (ja) 1987-01-09 1996-01-31 ソニー株式会社 輝度信号形成回路
US5202756A (en) 1988-11-09 1993-04-13 Canon Kabushiki Kaisha Color signal processing apparatus using plural luminance signals
US5280347A (en) 1990-10-30 1994-01-18 Canon Kabushiki Kaisha Color image sensing device
JPH0884348A (ja) 1994-09-09 1996-03-26 Canon Inc 撮像装置
JP3392564B2 (ja) * 1995-02-27 2003-03-31 三洋電機株式会社 単板式カラービデオカメラ
DE19616440A1 (de) 1996-04-25 1997-10-30 Eastman Kodak Co Verfahren und Vorrichtung zur Gewinnung eines vollen Farbbildes oder Multispektralbildes aus Bilddaten eines CCD-Bildsensors mit Mosaik-Farbfilter
US6559886B1 (en) 1997-12-04 2003-05-06 Victor Company Of Japan, Limited Video signal processing method and device
JP3432414B2 (ja) 1998-04-20 2003-08-04 三菱電機株式会社 色変換装置および色変換方法
JP4195169B2 (ja) 2000-03-14 2008-12-10 富士フイルム株式会社 固体撮像装置および信号処理方法
CN1213615C (zh) * 2001-02-06 2005-08-03 皇家菲利浦电子有限公司 用于内插象素的丢失色彩值的方法和设备
IL159246A0 (en) 2001-06-11 2004-06-01 Genoa Technologies Ltd Device, system and method for color display
JP2003284084A (ja) * 2002-03-20 2003-10-03 Sony Corp 画像処理装置および方法、並びに画像処理装置の製造方法
JP2003330447A (ja) 2002-05-15 2003-11-19 Mitsubishi Electric Corp 画像処理装置
JP2004252620A (ja) 2003-02-19 2004-09-09 Sony Corp 画像処理装置および方法、並びに、プログラム
JP2004289450A (ja) 2003-03-20 2004-10-14 Canon Inc 情報処理方法及び装置及びプログラム、及びプログラムを格納する記憶媒体
JP5345286B2 (ja) * 2003-12-15 2013-11-20 ジェノア・カラー・テクノロジーズ・リミテッド 多原色液晶表示装置および表示方法
JP2006023959A (ja) 2004-07-07 2006-01-26 Olympus Corp 信号処理システム及び信号処理プログラム
JP4610562B2 (ja) * 2004-08-19 2011-01-12 シャープ株式会社 多原色表示装置及び液晶表示装置
JP4145852B2 (ja) 2004-08-20 2008-09-03 セイコーエプソン株式会社 電気光学装置、カラーフィルタ、及び電子機器
EP1927969B1 (en) * 2005-09-21 2017-05-24 Sharp Kabushiki Kaisha Color filter substrate and display device comprising such a substrate
KR20070115243A (ko) * 2006-06-01 2007-12-05 삼성전자주식회사 이미지 촬상 장치, 및 그 동작 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000315784A (ja) * 1999-04-30 2000-11-14 Olympus Optical Co Ltd カラー撮像素子及び撮像装置
JP2001359114A (ja) * 2000-06-09 2001-12-26 Fuji Photo Film Co Ltd 固体撮像素子を用いた画像取得装置および画像取得方法並びにその方法を実行するためのプログラムを記録した記録媒体
EP1339238A2 (en) 2002-02-26 2003-08-27 Eastman Kodak Company Four color image sensing apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1729524A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8031243B2 (en) * 2007-07-06 2011-10-04 Samsung Electronics Co., Ltd. Apparatus, method, and medium for generating image

Also Published As

Publication number Publication date
KR101200178B1 (ko) 2012-11-13
CN1943248A (zh) 2007-04-04
TW200627942A (en) 2006-08-01
JP2006211478A (ja) 2006-08-10
CN1943248B (zh) 2012-05-02
TWI316364B (ja) 2009-10-21
KR20070098960A (ko) 2007-10-08
US20090213251A1 (en) 2009-08-27
EP1729524A4 (en) 2012-01-04
EP1729524B1 (en) 2012-11-14
EP1729524A1 (en) 2006-12-06
JP4265546B2 (ja) 2009-05-20
CN101572824B (zh) 2012-06-06
US7868937B2 (en) 2011-01-11
TWI316365B (ja) 2009-10-21
CN101572824A (zh) 2009-11-04
TW200926797A (en) 2009-06-16

Similar Documents

Publication Publication Date Title
WO2006080220A1 (ja) 撮像装置および撮像素子
JP3861808B2 (ja) 撮像装置
US7400332B2 (en) Hexagonal color pixel structure with white pixels
US9160935B2 (en) Sensor arrangement for transforming color space representation in a digital color image
US20070159542A1 (en) Color filter array with neutral elements and color image formation
US20060012808A1 (en) Image processing device, image processing method, and image processing device manufacturing method
US7583303B2 (en) Imaging device element
JP2007259344A (ja) 撮像装置および画像処理方法
US9060159B2 (en) Image processing device and method, and imaging device
CN101494795A (zh) 使用绿色光谱范围重叠的单位像素群的图像传感器及方法
US9160999B2 (en) Image processing device and imaging device
WO2007145087A1 (ja) 撮像装置及び信号処理方法
JP4285587B2 (ja) 撮像素子
WO2007082289A2 (en) Color filter array with neutral elements and color image formation
EP0368614B1 (en) Color signal processing apparatus
JP2005278213A (ja) 製造方法
KR101137611B1 (ko) 이미지 데이터 변환 절차를 효과적으로 수행하는 시스템 및 방법
JP3576600B2 (ja) カラー撮像装置
JP4309506B2 (ja) 撮像素子及び撮像装置
JPH089395A (ja) カラー撮像装置
JP2007097202A (ja) 画像処理装置
KR20050006424A (ko) 색신호 처리방법 및 그 방법을 사용하는 촬상장치
JP2000050292A (ja) 信号処理装置およびその信号処理方法
JP2001045503A (ja) カメラ信号処理装置及びカメラ信号処理方法
JP2007267404A (ja) 画像処理装置の製造方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 10589492

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 200680000071.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006700920

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020067020337

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2006700920

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE