WO2010089830A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2010089830A1
WO2010089830A1 PCT/JP2009/006555 JP2009006555W WO2010089830A1 WO 2010089830 A1 WO2010089830 A1 WO 2010089830A1 JP 2009006555 W JP2009006555 W JP 2009006555W WO 2010089830 A1 WO2010089830 A1 WO 2010089830A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
pixels
pattern
mixing
signal
Prior art date
Application number
PCT/JP2009/006555
Other languages
English (en)
French (fr)
Inventor
猪熊一行
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2009022590A external-priority patent/JP2010183158A/ja
Priority claimed from JP2009072645A external-priority patent/JP2010226514A/ja
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN2009801467691A priority Critical patent/CN102224736A/zh
Publication of WO2010089830A1 publication Critical patent/WO2010089830A1/ja
Priority to US13/154,184 priority patent/US20110234864A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Definitions

  • the present invention relates to an imaging device used in a digital still camera (DSC), a video movie, a mobile phone, and the like, and more particularly to an imaging device that handles both still images and moving images.
  • DSC digital still camera
  • imaging devices that handle both still images and moving images are increasing in DSCs, video movies, mobile phones, and the like. Since the number of pixels required for still images and moving images is different, these image capture devices reduce the number of pixels by processing such as thinning out or mixing pixels of the image sensor during moving images, and at the same time increase the high frame rate required for moving images. Realized.
  • Patent Document 1 discloses a technique of mixing pixels of the same color and reducing the number of pixels to 1/9, for example. It is interlaced pixel mixing to mix pixels of the same color, but it is realized by devising the electrode of the CCD type image sensor, and at the same time, by making odd and horizontal pixel horizontal and vertical, the uniformity of the center of gravity after mixing is achieved. Secured.
  • the same color pixel mixing can obtain the same color as before mixing, but it is a mixture of only color filter pixels of the same color, so there is a problem that free mixing is difficult due to restrictions of the color filter pattern.
  • Patent Document 2 discloses a different color pixel mixing technique. This makes it possible to colorize even a mixture of different color pixels by devising a color filter in a CCD type image pickup device.
  • a color filter in a CCD type image pickup device In particular, a conventional RGB Bayer array color filter has a pattern of 2 ⁇ 2 pixels. Therefore, only four colors can be obtained by mixing four adjacent pixels, but a method of colorizing with a pattern of 3 ⁇ 1 pixels or 3 ⁇ 2 pixels is used. Is disclosed.
  • Patent Document 3 discloses a technique for expanding a dynamic range during still image shooting. This is because when n is an integer of 2 or more, a neutral density filter that cuts incident light from the lens to 1 / n is pasted on the image sensor in a checkered pattern, and image data output from the image sensor Among them, the data of the pixel to which the neutral density filter is applied is multiplied by n and averaged with surrounding pixels.
  • the image processing method corresponding to the conventional color filter cannot be used not only after mixing but also at the time of still image before mixing.
  • RGB Bayer color filters are used, and Y (luminance) signals and C (color difference) signals are obtained by image processing corresponding to the filters, and these are compressed by the JPEG method to record images.
  • the mechanism to obtain is generally adopted.
  • the RGB Bayer method is the oldest colorization method for single-panel cameras. Accumulation of high image quality technology is a great technical asset, and throwing it away brings great disadvantages. Considering still image processing that requires particularly high image quality, it is desirable that RGB Bayer processing can be used for image processing before mixing.
  • the present invention has been made in view of the above problems, and in realizing the colorization at the time of mixing the different color pixels, the conventional RGB Bayer processing is performed at the time of independent reading of all the pixels only by adding a simple correction process. It is an object of the present invention to provide a new color filter pattern having a feature that can be used and a processing method thereof.
  • Another object of the present invention is to prevent the generation of a false signal due to a decrease in the degree of color modulation, which is a serious problem when different-color pixel mixing is performed with an image sensor in order to achieve compatibility between a moving image and a still image. It is in.
  • an imaging apparatus includes a plurality of photoelectric conversion units arranged as pixels in the horizontal direction and the vertical direction in order to photoelectrically convert a subject image.
  • An image pickup device a mixing unit for mixing and outputting charges of four pixels adjacent to each other in the horizontal direction and the vertical direction of the image pickup device, and outputting signals of all pixels independently without performing the four-pixel mixing.
  • An imaging apparatus comprising a control unit for selectively controlling an operation mode and an operation mode for outputting a signal after mixing the four pixels, wherein three or more independent color signals are used in both modes.
  • a correction unit that corrects the output of the image sensor so that RGB Bayer processing can be performed in an operation mode in which the image sensor is provided with a color filter array that provides It is characterized in that was example.
  • the color filter array is characterized in that the transmittance is modulated with a predetermined pattern in the RGB Bayer array.
  • the correction unit has a feature that normal RGB Bayer processing can be performed by a simple method in which a gain is applied in units of pixels so as to cancel a modulation pattern having a predetermined transmittance given to the RGB Bayer array.
  • the dynamic range can be expanded by performing RGB Bayer processing after performing interpolation using only the unsaturated pixels.
  • independent color signals of three or more colors can be obtained by changing the combination of mixing two pixels in the horizontal direction for each row in units of two rows that are mixed in the vertical direction. It has a feature that colorization can be achieved even when four pixels are mixed.
  • an imaging apparatus based on the second aspect of the present invention has a plurality of photoelectric conversion units arranged as pixels in the horizontal direction and the vertical direction in order to photoelectrically convert a subject image, and obtains a color image. Therefore, an image sensor provided with a color filter that passes a specific color for each photoelectric conversion unit, a pixel mixing unit for mixing and outputting the charges of the plurality of pixels, and mixing for changing a combination of pixel mixing And a combination changing unit, and by changing the combination of mixing, the positive / negative of the difference value of signals adjacent in the horizontal and vertical or diagonal directions is inverted at the same position in the mixed signal.
  • the mixed combination changing unit changes the combination for each frame.
  • a color signal calculation unit for obtaining a color signal by taking a difference between signals adjacent in the horizontal and vertical or diagonal directions in the mixed signal, and a color for storing the output of the color signal calculation unit for one frame
  • the signal frame memory further includes an inter-frame color signal subtracting unit that performs subtraction between the stored previous frame color signal and the input current frame color signal.
  • the imaging device Since the imaging device according to the first aspect of the present invention has the adjacent four-pixel mixed mode and the all-pixel independent readout mode, it can generate a high-definition image using all the pixels during a still image, In some cases, moving images can be obtained by increasing the frame rate by mixing four adjacent pixels. At the time of a still image, it can be converted into a color filter pattern equivalent to the conventional RGB Bayer array by a simple correction process, and the conventional high image quality technology can be used as it is, and a conventional high quality still image can be easily obtained. In addition, since the dynamic range can be expanded, a higher quality still image than conventional can be obtained. In addition, since the adjacent four pixels are mixed during moving images, the mixing section of the image sensor can be simplified, and the frequency range is excellent because the pixel mixing range is narrower than when mixing the same color pixels, which is higher than before. A resolution movie can be realized.
  • the image pickup apparatus changes the combination of pixel mixing for each frame, so that in the mixed signal, the positive and negative values of the difference values of signals adjacent in the horizontal and vertical or diagonal directions are the same position.
  • the color signal calculation unit for generating the difference value as a color signal, the color signal frame memory for storing the color signal for one frame, the stored previous frame color signal and the input current frame color
  • the color signal is in an inverted relationship at the same position, and the color signal is amplified twice by subtraction of the color signal.
  • the utility is very high in different color pixel mixture in which the degree of color modulation decreases.
  • FIG. 1 is a block diagram illustrating an overall configuration of an imaging apparatus according to an embodiment of the present invention.
  • FIG. 2 is a color filter array diagram of the image sensor in FIG. 1. It is a block diagram for the still image process of the digital signal processing part in FIG. It is operation
  • It is a schematic explanatory drawing of dynamic range expansion by the structure of FIG. It is a detailed explanatory view of dynamic range expansion by the configuration of FIG. It is operation
  • FIG. 11 is a diagram in which the combination of pixel mixture is changed. It is a figure which shows the example of a color signal when there exists a light / dark pattern of a to-be-photographed object.
  • FIG. 13 is a diagram in which the combination of pixel mixture is changed. It is a detailed block diagram of the principal part in FIG.
  • FIG. 1 shows the overall configuration of a digital still camera (DSC) that is an imaging apparatus according to an embodiment of the present invention.
  • the DSC includes an optical lens 101, an image sensor 102 such as a CCD, an image sensor driver 103, an analog signal processor 104, an analog / digital converter 105, a digital signal processor 106, and an image compression unit.
  • the decompression unit 107, the image recording unit 108, and the image display unit 109 are configured.
  • the image of the subject that has passed through the lens 101 is formed on the image sensor 102.
  • the imaging element 102 is driven by the imaging element driving unit 103 to perform photoelectric conversion and output an imaging signal.
  • the analog signal processing unit 104 performs processing such as noise removal and amplification, and the analog / digital conversion unit 105 converts the imaging signal into a digital signal.
  • the digital signal processing unit 106 receives the digitized imaging signal and generates an image signal composed of a luminance signal (Y) and a color signal (C). Upon receiving this image signal, the image display unit 109 displays the image.
  • the image compression / decompression unit 107 compresses the image signal received from the digital signal processing unit 106, and the compressed image data is recorded in the image recording unit 108.
  • the image data recorded in the image recording unit 108 can be expanded by the image compression / decompression unit 107, and the image can be reproduced on the image display unit 109 via the digital signal processing unit 106.
  • the still image shooting mode is an “all pixel readout” mode in which signals of all pixels of the image sensor 102 are independently output. Since the reading method of the image sensor 102 by the image sensor driving unit 103 is a known technique, a detailed description thereof is omitted.
  • FIG. 2 shows a color filter array of the image sensor 102 according to the present invention.
  • a basic array is 4 ⁇ 2 pixels composed of two types of patterns in units of 2 ⁇ 2 pixels. The two types of patterns change the transmittance while the basic pattern is RGB Bayer arrangement.
  • the G pixel has a normal transmittance, but the transmittances of the R and B pixels are halved.
  • the R and B pixels have normal transmittance, but the transmittance of the G pixel is halved.
  • the filter arrangement is made in the order of pattern A, pattern B, and pattern A in a certain two lines, and the filter arrangement is made in the order of pattern B, pattern A, and pattern B in the next two lines by shifting two pixels in the horizontal direction.
  • the signal output from the image sensor 102 is input to the digital signal processing unit 106 via the analog signal processing unit 104 and the analog / digital conversion unit 105.
  • FIG. 3 shows a configuration example for still image processing in the digital signal processing unit 106.
  • a gain correction unit 301 In addition to the conventional RGB Bayer processing unit 304, a gain correction unit 301, a high luminance interpolation unit 302, and a synthesis unit 303 are added.
  • FIG. 4 shows the processing of the gain correction unit 301.
  • pattern A the R pixel and B pixel are amplified twice
  • pattern B the G pixel is amplified twice.
  • the conventional RGB Bayer processing unit 304 can be used because it is equivalent to a normal RGB Bayer array.
  • Fig. 5 shows the mechanism of dynamic range expansion as an additional function.
  • the horizontal axis represents the input exposure amount to the image sensor 102
  • the vertical axis represents the output of the image sensor 102.
  • the relationship between input and output is a graph 401. That is, the output increases in proportion to the input exposure amount in the low-luminance side region X, but in the high-luminance region Y, the output is a constant output equal to the saturation setting level 403.
  • a color filter having a transmittance of 1 ⁇ 2 has a slope that is 1 ⁇ 2 that of the graph 401 and monotonically increases in the region X and the region Y.
  • the normal RGB Bayer array can reproduce only the exposure area of the area X, but in the case of the method of the present invention, the exposure area of the area Y can also be reproduced and the dynamic range is doubled. It became that.
  • Fig. 6 shows the specific processing.
  • the output of the color filter having a transmittance of 1/2 (graph 402) is amplified by a factor of two by the gain correction unit 301 and becomes a graph 501.
  • the output of both the normal transmittance color filter and the half transmittance color filter is used, and the normal Bayer processing is performed to generate an image.
  • the region Y a color filter having a normal transmittance is saturated and cannot be used, so an image is generated using only the output of the color filter having a transmittance of 1/2. Therefore, an interpolation process by the high-intensity interpolation unit 302 shown in FIG. 3 is necessary, and the interpolation process is performed in units of 2 ⁇ 2 pixel patterns as shown in FIG.
  • ⁇ Movie shooting mode> In the moving image shooting mode, the adjacent four pixels are mixed and read.
  • the greatest feature of the present invention is that three or more different colors can be obtained even when four adjacent pixels are mixed by combining the color filter array and the pixel mixture.
  • FIG. 8 shows a color signal generation method when four adjacent pixels are mixed in the present invention.
  • the mode for mixing with pattern A (601) and pattern B (602) and the mode for mixing with pattern C (603) and pattern D (604) by shifting one pixel in the horizontal direction are switched line by line. And the difference is taken up and down.
  • a color difference signal is generated by calculation between the mixed pixels connected by the arrows, and the mixed pixels on the side indicated by the arrows become positive elements.
  • adjacent pixel mixing is superior in frequency characteristics to interlaced pixel mixing, and has a feature that high resolution can be realized even during moving images.
  • a low-pass filter graph 701 with the Nyquist frequency (f0) as the zero point when adjacent pixels are mixed, but a low-pass filter with a 1/2 Nyquist frequency (f0 / 2) as the zero point when pixels are interlaced with one pixel Since (Graph 702) is obtained, the high frequency signal near the 1/2 Nyquist frequency (f0 / 2) is lost.
  • FIG. 10 shows another color filter array of the image sensor 102. Similar to the example of FIG. 2, in FIG. 10, 4 ⁇ 2 pixels composed of two types of patterns in units of 2 ⁇ 2 pixels are used as the basic array. In the pattern A shown in 201, the G pixel has a normal transmittance, but the transmittances of the R and B pixels are halved. In the pattern B shown in 202, the R and B pixels have normal transmittance, but the transmittance of the G pixel is halved. However, unlike the example of FIG. 2, the filter arrangement is always made in the order of pattern A, pattern B, and pattern A without shifting in the horizontal direction in any two rows.
  • FIG. 11 schematically shows a color signal generation method when four adjacent pixels are mixed in the moving image shooting mode using the color filter array of FIG. 10 in terms of how color signals are generated on the color filter. ing.
  • the signal arrangement after pixel mixing becomes a so-called offset sampling pattern, and the horizontal resolution can be improved.
  • Color signal generation is performed by taking the difference between the upper and lower lines, and RG and BG signals are obtained. These can be said to be signals corresponding to so-called color difference signals.
  • R and B color difference signals are obtained for each pixel, and they are inverted every two pixels. As a result, colorization is possible even during moving image shooting in
  • production of a color difference signal is typically shown using the arrow.
  • the mixed pixels are connected by arrows, and a color difference signal is generated by calculation between the pixels.
  • the four pixels on the side indicated by the arrow are positive elements of the obtained signal.
  • the pixel mixture combination is changed as shown in FIG. That is, the patterns A and B are shifted by one pixel in the horizontal direction so as to become patterns C and D. Similarly, the lines of patterns C and D are shifted by one pixel so as to become patterns A and B. As a result, the pattern A and B lines and the pattern C and D lines are interchanged up and down. In this state, if the difference is taken on the upper and lower lines as in FIG.
  • the color signal is obtained by the difference in the vertical direction
  • the color signal is inverted by changing the combination combination in the vertical direction, and the influence of the contrast difference of the subject in the vertical direction is negated.
  • the color signal is obtained by the difference in the diagonal direction shifted by one pixel in the horizontal direction
  • the color signal is also affected by the contrast of one pixel in the horizontal direction.
  • pixel components that work positively and negatively are reversed in the vertical direction, but not reversed in the horizontal direction. That is, it is affected by the difference in brightness of one horizontal pixel.
  • the difference in brightness for one horizontal pixel also affects the still image mode in which all pixels are read independently, it is usually suppressed by an optical low-pass filter.
  • the distance between pixels after mixing is an important cause of false color generation.
  • the calculation object is two pixels away in the vertical direction, and the false color that is generated due to the effect of the optical low-pass filter is reduced effectively in this embodiment.
  • this embodiment since only one pixel is separated in the horizontal direction and the false color is originally small, this embodiment does not cause a big problem even if the measure in the horizontal direction is not taken.
  • FIG. 15 is a diagram illustrating a configuration of an imaging apparatus that performs the different color pixel mixing process.
  • a pixel mixing unit 901 that mixes adjacent pixels is provided in the image sensor 102.
  • a mixed combination changing unit 902 that changes the combination of pixel mixing is provided in the image sensor 102.
  • the mixing combination changing unit 902 changes the mixing combination for each frame as shown in FIGS. Actual pixel mixing is performed by the pixel mixing unit 901 in the image sensor 102.
  • the signal output from the image sensor 102 is inverted for each frame at the same position where the difference between the signals adjacent in the oblique direction is the same.
  • the signal of the image sensor 102 is digitized through an analog signal processing unit 104 and an analog / digital conversion unit 105 and input to the digital signal processing unit 106.
  • the digital signal processing unit 106 includes a luminance signal processing unit 903 and a color signal processing unit 904, and the color signal processing unit 904 includes a color signal calculation unit 905, a color signal frame memory 906, and an inter-frame color signal subtraction unit 907. And other processing units 908 are provided.
  • color signal frame memory 906 may be configured with one semiconductor chip together with other processing units, or may be another semiconductor chip.
  • the luminance signal (Y signal) is generated by the luminance signal processing unit 903 and the color signal is generated by the color signal processing unit 904 from the signal of the image sensor 102 input to the digital signal processing unit 106.
  • a color difference signal corresponding to the difference from the luminance signal is usually used.
  • the color signal processing unit 904 first, as described above, the difference in the oblique direction of the pixel mixed signal is obtained. This is performed by the color signal calculation unit 905, and RG and BG are obtained as described above. Since the G signal is spectrally close to the luminance signal, it may be considered that these correspond to color difference signals.
  • the generated color difference signal is stored in the color signal frame memory 906.
  • the inter-frame color signal subtraction unit 907 performs subtraction between the current color difference signal and the color difference signal of the previous frame, and obtains a color difference signal from which the influence of the light / dark pattern of the subject is eliminated as described above. Thereafter, the color difference signal is processed in the other processing unit 908 in the same manner as in the prior art. This includes ⁇ processing, matrix processing for bringing the spectrum closer to RY and BY, and the like. The generated luminance signal and color difference signal are sent to the image compression / decompression unit 107 and the image display unit 109 as described in the overall configuration described above.
  • the image pickup apparatus is compatible with both high-quality moving images and high-definition still images, and in particular, conventional image processing can be applied to still images.
  • This provides a new value of further expanding the dynamic range while maintaining the same image quality as before.
  • For moving images it is possible to colorize adjacent pixel mixture with excellent resolution characteristics.
  • As a result it is possible to realize an imaging device that is superior to the conventional one for both moving images and still images, and is extremely useful.
  • the image pickup apparatus provides a false image attributed to a decrease in the degree of color modulation, which is a serious problem when different color pixels are mixed with an image pickup element in order to achieve both moving images and still images. Generation of signals can be prevented very effectively.
  • a major problem in different color pixel mixing is solved, and an unprecedented free pixel mixing pattern can be selected. As a result, various combinations of still images and moving images can be realized, and the utility is extremely high.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

　２種類の２×２画素のカラーフィルタパタンを持つカラーフィルタ配列を採用する。パタンＡ（２０１）はＧのカラーフィルタに対しＲとＢのカラーフィルタの透過率を下げたパタンであり、パタンＢ（２０２）はＲとＢのカラーフィルタに対しＧのカラーフィルタの透過率を下げたパタンである。これにより、動画撮影のための隣接４画素混合時には異なる３以上の色を生成し、静止画撮影のための全画素独立読み出し時には撮像素子の出力に補正をかけることでＲＧＢベイヤーフィルタと等価な出力を生成できるようにする。

Description

撮像装置
　本発明は、デジタルスチルカメラ（ＤＳＣ）、ビデオムービー、携帯電話等で使用される撮像装置に関し、特に静止画と動画との両方を扱う撮像装置に関するものである。
　近年、ＤＳＣ、ビデオムービー、携帯電話等において、静止画と動画との両方を扱う撮像機器が増加してきている。静止画と動画では求められる画素数が異なるため、これらの撮像機器では動画時は撮像素子の画素を間引く、又は混合する等の処理により、画素数を減らし、同時に動画に求められる高いフレームレートを実現している。
　特許文献１には、同色の画素を混合し、例えば１／９に画素数を減らす技術が開示されている。同色の画素を混合するために飛び越し画素混合となるが、ＣＣＤ型撮像素子の電極を工夫することで実現し、同時に水平・垂直を奇数画素混合とすることにより、混合後の重心の均等性を確保している。
　同色画素混合は、混合後も混合前と同じ色が得られる反面、同色のカラーフィルタの画素のみの混合となるため、カラーフィルタパタンの制約を受け、自由な混合が難しいという問題がある。
　特許文献２には、異色画素混合技術が開示されている。これは、ＣＣＤ型撮像素子においてカラーフィルタを工夫することで異色画素混合でもカラー化を可能にしたものである。特に従来のＲＧＢベイヤー配列のカラーフィルタは２×２画素のパタンであるため、隣接４画素を混合すると１色しか得られないが、３×１画素又は３×２画素のパタンでカラー化する方法を開示している。
　特許文献３には、静止画撮影時のダイナミックレンジを拡大する技術が開示されている。これは、ｎを２以上の整数とするとき、レンズからの入射光を１／ｎにカットする減光フィルタを撮像素子に画素単位で市松模様に貼り付け、この撮像素子から出力される画像データのうち、減光フィルタのかかっている画素のデータをｎ倍して、周囲の画素と平均化するというものである。
特開２００４－３１２１４０号公報 特開２００３－１１６０６１号公報 特開２００２－１１２１１０号公報
　カラーフィルタ配列を変更すれば、混合後だけでなく、混合前の静止画時においても、従来のカラーフィルタに対応した画像処理方法が使用できなくなる。従来、一般的なＤＳＣにおいてはＲＧＢベイヤー配列のカラーフィルタが用いられ、それに対応した画像処理によりＹ（輝度）信号及びＣ（色差）信号を得て、これをＪＰＥＧ方式で圧縮して記録画像を得る仕組みが一般的に採用されている。
　ＲＧＢベイヤー方式は最も歴史の古い単板カメラのカラー化手法であり、その高画質化技術の蓄積は大きな技術資産となっており、それを捨て去ることは多大な不利益をもたらす。特に高い画質が要求される静止画処理を考慮すると、混合前の画像処理はＲＧＢベイヤー処理が使えることが望ましい。
　一方、異色画素混合は異なる色を混合することから色が薄くなる欠点、いわゆる色変調度が低下してしまうという欠点、具体的には混合後の信号から得られる各色信号が小さくなるという欠点が原理上存在する。そのため、画像処理で色信号を増幅する必要がある。増幅は、信号だけでなくノイズをも増幅し、色Ｓ／Ｎが悪化するという問題が発生する。色Ｓ／Ｎの向上のためにはノイズを抑圧するためのノイズ抑圧技術が従来から考案されており、ここでは色Ｓ／Ｎの問題は対象にしない。しかし、色変調度の低下はまた、偽色の増加という問題をもたらす。すなわち、単板カメラのカラー化においては空間的に異なる位置に配置された異なる色フィルタが設けられた画素の信号を使うため、被写体の明暗のパタンを色と誤判断をして、本来存在しない色を生成してしまうという問題を発生させてしまう。色信号の増幅はこの偽信号を更に増加させるという欠点も併せ持つ。
　本発明は、上記の問題点に鑑みてなされたものであり、上記の異色画素混合時のカラー化を実現するにあたり、簡単な補正処理を加えるだけで全画素独立読み出し時は従来のＲＧＢベイヤー処理が使えるという特徴を有する新たなカラーフィルタパタンとその処理方法を提供することを目的とするものである。
　加えて、ダイナミックレンジを拡大するという新たな価値を提供することも、本発明の目的とするところである。
　本発明の他の目的は、動画と静止画との両立を図るために撮像素子で異色画素混合を行う場合に重大な問題となる色変調度の低下に起因する偽信号の発生を防止することにある。
　上記の目的を達成するために、本発明の第１の観点に基づく撮像装置は、被写体の像を光電変換するために水平方向及び垂直方向に各々画素として配列された複数の光電変換部を有する撮像素子と、前記撮像素子の水平方向及び垂直方向に隣り合う４画素の電荷を混合して出力するための混合部と、前記４画素混合を行わずに全画素の信号を独立して出力する動作モードと、前記４画素混合後の信号を出力する動作モードとを選択制御するための制御部とを備えた撮像装置であって、前記両モードのいずれにおいても３つ以上の独立した色信号が得られるカラーフィルタ配列が前記撮像素子に設けられ、前記全画素の信号を独立して出力する動作モード時にはＲＧＢベイヤー処理が行えるように前記撮像素子の出力を補正する補正部を更に備えたことを特徴としている。
　具体的には、カラーフィルタ配列はＲＧＢベイヤー配列に所定のパタンで透過率に変調を与えたものであることを特徴としている。
　また、補正部はＲＧＢベイヤー配列に与えた所定の透過率の変調パタンをキャンセルするように画素単位でゲインをかけるという簡単な方法で通常のＲＧＢベイヤー処理を行うことができるという特徴を有する。
　また、カラーフィルタ配列上の透過率の高い画素が飽和した場合、飽和していない画素のみを使って補間を行った後、ＲＧＢベイヤー処理を行うことによりダイナミックレンジの拡大を図ることができる。
　また、４画素混合時は、水平方向の２画素の混合の組み合わせを垂直方向に混合する２行単位で行毎に変更することで、独立した３色以上の色信号を得ることができ、隣接４画素混合時でもカラー化を図ることができるという特徴を有する。
　また、本発明の第２の観点に基づく撮像装置は、被写体の像を光電変換するために水平方向及び垂直方向に各々画素として配列された複数の光電変換部を有し、かつカラー画像を得るために特定の色を通過させるカラーフィルタが光電変換部毎に設けられた撮像素子と、前記複数の画素の電荷を混合して出力するための画素混合部と、画素混合の組み合わせを変更する混合組み合わせ変更部とを備え、混合の組み合わせを変更することにより、混合後の信号において、水平及び垂直又は斜め方向に隣接する信号の差分値の正負が同一位置において反転することを特徴とする。
　具体的には、前記混合組み合わせ変更部はフレーム毎に組み合わせを変更させる。更に、混合後の信号にて水平及び垂直又は斜め方向に隣接する信号の差分をとることで色信号を得るための色信号演算部と、当該色信号演算部の出力を１フレーム分記憶する色信号フレームメモリと、記憶された前フレームの色信号と入力された現フレームの色信号との減算を実行するフレーム間色信号減算部とを更に備える。
　本発明の第１の観点に基づく撮像装置は、隣接４画素混合モードと全画素独立読み出しモードとを持つので、静止画時は全画素を用いて高精細な画像を生成することができ、動画時は隣接４画素混合によりフレームレートを高めることで動画を得ることができる。静止画時は簡単な補正処理により従来のＲＧＢベイヤー配列と等価なカラーフィルタパタンに変換でき、これまでの高画質化技術がそのまま使え、従来同等の高画質静止画を簡単に得ることができる。加えてダイナミックレンジの拡大も行えるため、従来以上の高画質静止画を得ることができる。また、動画時は隣接の４画素を混合するので撮像素子の混合部を簡素にすることができるとともに、画素混合の範囲が同色画素混合時と比べて狭いため周波数特性に優れ、従来よりも高解像度の動画を実現することができる。
　本発明の第２の観点に基づく撮像装置は、画素混合の組み合わせをフレーム毎に変更することにより、混合後の信号において、水平及び垂直又は斜め方向に隣接する信号の差分値の正負が同一位置において反転し、その差分値を色信号として生成する色信号演算部と、１フレーム分の色信号を記憶する色信号フレームメモリと、記憶された前フレームの色信号と入力された現フレームの色信号との減算を実行するフレーム間色信号減算部とを備えることにより、同一位置において色信号が反転関係になるようにし、それらの色信号の減算により色信号が２倍に増幅されると同時に、時間的に相関の高い被写体の明暗パタンによる影響は打ち消されることにより、被写体の明暗パタンに起因する偽色の発生を効果的に抑圧することができる。特に、色変調度が低下する異色画素混合において有益性が極めて高い。
本発明の実施形態に係る撮像装置の全体構成を示すブロック図である。 図１中の撮像素子のカラーフィルタ配列図である。 図１中のデジタル信号処理部の静止画処理のための構成図である。 図３中のゲイン補正部の動作説明図である。 図２の構成によるダイナミックレンジ拡大の概略説明図である。 図２の構成によるダイナミックレンジ拡大の詳細説明図である。 図３中の高輝度補間部の動作説明図である。 図１の撮像装置における動画撮影時の色信号抽出処理の説明図である。 隣接画素混合と飛び越し画素混合との周波数特性比較図である。 図１中の撮像素子の他のカラーフィルタ配列図である。 図１の撮像装置における動画撮影時の色信号生成方法の説明図である。 図１１とは画素混合の組み合わせを変更した図である。 被写体の明暗パタンがある場合の色信号例を示す図である。 図１３とは画素混合の組み合わせを変更した図である。 図１中の主要部の詳細構成図である。
　図１は、本発明の実施形態に係る撮像装置であるデジタルスチルカメラ（ＤＳＣ）の全体構成を示している。このＤＳＣは、光学系のレンズ１０１と、ＣＣＤ等の撮像素子１０２と、撮像素子駆動部１０３と、アナログ信号処理部１０４と、アナログ・デジタル変換部１０５と、デジタル信号処理部１０６と、画像圧縮伸長部１０７と、画像記録部１０８と、画像表示部１０９とで構成される。
　図１のＤＳＣによれば、レンズ１０１を通過した被写体の像は撮像素子１０２に結像される。撮像素子１０２は、撮像素子駆動部１０３により駆動されて光電変換を行い撮像信号を出力する。次に、アナログ信号処理部１０４はノイズ除去や増幅等の処理を行い、アナログ・デジタル変換部１０５が撮像信号をデジタル信号に変換する。デジタル信号処理部１０６はデジタル化された撮像信号を入力し、輝度信号（Ｙ）と色信号（Ｃ）とからなる画像信号を生成する。この画像信号を受け取った画像表示部１０９は画像を表示する。この画像表示と並行して、画像圧縮伸長部１０７はデジタル信号処理部１０６から受け取った画像信号を圧縮し、画像記録部１０８に圧縮された画像データが記録される。この画像記録部１０８に記録された画像データを画像圧縮伸長部１０７で伸長し、デジタル信号処理部１０６を介して画像表示部１０９に画像を再生することもできる。
　以下、図１のＤＳＣの静止画撮影モードと動画撮影モードとの各々における動作を説明する。
　〈静止画撮影モード〉
　静止画撮影モードは、撮像素子１０２の全画素の信号を独立して出力する「全画素読み出し」モードである。撮像素子駆動部１０３による撮像素子１０２の読み出し方法は既に公知の技術であるため、詳しい説明は割愛する。
　図２に、本発明における撮像素子１０２のカラーフィルタ配列を示す。２×２画素を単位とする２種類のパタンからなる４×２画素を基本配列とする。２種類のパタンは基本をＲＧＢベイヤー配列としながらも、透過率を変更している。２０１に示したパタンＡは、Ｇ画素が通常の透過率だが、ＲとＢ画素の透過率を１／２にしている。２０２に示したパタンＢはＲとＢ画素が通常の透過率だが、Ｇ画素の透過率を１／２としている。しかも、ある２行ではパタンＡ、パタンＢ、パタンＡの順にフィルタ配置がなされ、次の２行では水平方向に２画素ずれてパタンＢ、パタンＡ、パタンＢの順にフィルタ配置がなされている。
　撮像素子１０２から出力された信号は、アナログ信号処理部１０４及びアナログ・デジタル変換部１０５を経て、デジタル信号処理部１０６に入力される。
　図３に、デジタル信号処理部１０６における静止画処理のための構成例を示す。従来のＲＧＢベイヤー処理部３０４に加えて、ゲイン補正部３０１、高輝度補間部３０２、合成部３０３が追加されている。
　図４に、ゲイン補正部３０１の処理を示す。パタンＡではＲ画素とＢ画素とを２倍に増幅し、パタンＢではＧ画素を２倍に増幅する。これにより、通常のＲＧＢベイヤー配列と等価になるため、従来のＲＧＢベイヤー処理部３０４が使用できるようになる。
　図５は、付加機能となるダイナミックレンジ拡大の仕組みを示したものである。横軸が撮像素子１０２への入力露光量、縦軸が撮像素子１０２の出力である。通常の透過率のカラーフィルタでは入力と出力との関係はグラフ４０１となる。すなわち、低輝度側の領域Ｘでは入力露光量に対して出力が比例して増加するが、高輝度側の領域Ｙでは出力が飽和設定レベル４０３と等しい一定出力となる。それに対し１／２の透過率のカラーフィルタではグラフ４０１と比較して傾きが１／２となり、領域Ｘ及び領域Ｙで単調増加するグラフ４０２となる。すなわち、出力の飽和設定レベル４０３を考慮して、通常のＲＧＢベイヤー配列では領域Ｘの露光域しか再現できないが、本発明の方式の場合、領域Ｙの露光域も再現でき、ダイナミックレンジが２倍になったことになる。
　図６に、具体的な処理を示す。１／２の透過率のカラーフィルタの出力（グラフ４０２）は、ゲイン補正部３０１により２倍に増幅され、グラフ５０１になる。領域Ｘにおいては通常の透過率のカラーフィルタと、１／２の透過率のカラーフィルタとの両方の出力を使用し、通常のベイヤー処理を行い画像を生成する。領域Ｙにおいては通常の透過率のカラーフィルタは飽和して使用できないため、１／２の透過率のカラーフィルタの出力のみを使用して画像を生成する。そのため、図３に示した高輝度補間部３０２による補間処理が必要となり、図７に示すように２×２画素のパタンを単位として補間処理を行い、全画素を生成する。また通常中間階調を重視して高輝度部は、いわゆるニー処理により圧縮するので、入力と出力との関係を示すグラフの傾きは小さくなり、結果として全体としてはグラフ５０２のようになる。これにより、飽和設定レベル４０３よりも大きい出力最大値５０４を実現できる。以上のように領域Ｘ及び領域Ｙの各々にて画像を合成して出力するのが、合成部３０３の役割である。
　〈動画撮影モード〉
　動画撮影モードでは、隣接の４画素を混合して読み出すモードとなる。本発明では、前記カラーフィルタ配列と画素混合の組み合わせによって、隣接４画素混合時でも異なる３種類以上の色を得ることができることが最大の特徴である。
　撮像素子１０２及び撮像素子駆動部１０３において隣接４画素混合を行う具体的な方法は公知であり、特にＣＣＤ型撮像素子における詳細方法は特許文献２に記載されているので、説明を割愛する。
　図８に、本発明における隣接４画素混合時の色信号生成方法を示している。パタンＡ（６０１）、パタンＢ（６０２）で混合するモードと、１画素水平方向にずらしてパタンＣ（６０３）、パタンＤ（６０４）で混合するモードとを１行毎に切り替える。そして上下で差分を取る。
　すると、図８に示すように４種類の色差信号６０５、すなわち、
(1) パタンＡ－パタンＣ＝（2G＋0.5R＋0.5B）－（1.5G＋R＋0.5B）＝－0.5（R－G）
(2) パタンＢ－パタンＣ＝（G＋R＋B）－（1.5G＋R＋0.5B）＝0.5（B－G）
(3) パタンＢ－パタンＤ＝（G＋R＋B）－（1.5G＋0.5R＋B）＝0.5（R－G）
(4) パタンＡ－パタンＤ＝（2G＋0.5R＋0.5B）－（1.5G＋0.5R＋B）＝－0.5（B－G）
が順番に得られる。１画素毎にＲ系とＢ系の色差信号が得られ、かつ２画素毎にそれらが反転する。これにより、隣接４画素混合を行う動画撮影時もカラー化が可能となる。
　なお、図８においては矢印を使って、色差信号の発生を模式的に示している。矢印で結んだ混合後の画素間の演算により色差信号が発生し、矢印が示す側の混合された画素が正の要素となる。
　図９に示すように、隣接画素混合は飛び越し画素混合よりも周波数特性に優れ、動画時においても高解像度を実現することができるという特徴を有する。隣接画素混合時はナイキスト周波数（ｆ０）をゼロ点とするローパスフィルタ（グラフ７０１）となるが、１画素飛び越しの画素混合時は１／２ナイキスト周波数（ｆ０／２）をゼロ点とするローパスフィルタ（グラフ７０２）となるので、１／２ナイキスト周波数（ｆ０／２）付近の高域信号が失われるのである。
　なお、本実施形態では透過率の具体的な変調方法として１／２の透過率の画素を一定のパタンで配置する例のみを説明しているが、透過率は１／２に限られたものではなく、また、配置パタンも本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で様々な実施形態を取り得る。
　図１０に、撮像素子１０２の他のカラーフィルタ配列を示す。図２の例と同様に、図１０でも２×２画素を単位とする２種類のパタンからなる４×２画素を基本配列とする。２０１に示したパタンＡは、Ｇ画素が通常の透過率だが、ＲとＢ画素の透過率を１／２にしている。２０２に示したパタンＢはＲとＢ画素が通常の透過率だが、Ｇ画素の透過率を１／２としている。ただし、図２の例と違って、いずれの２行をとっても、水平方向にずれることなく常にパタンＡ、パタンＢ、パタンＡの順にフィルタ配置がなされている。
　図１０に示すカラーフィルタ配列を採用する場合でも、全画素を独立に読む静止画撮影モードの場合には、透過率の変動を打ち消すためのゲイン補正処理を追加するだけで、従来と同様のＲＧＢベイヤー配列に対応した画像処理を適用することができる。
　図１１に、図１０のカラーフィルタ配列による動画撮影モードの場合の隣接４画素混合時の色信号生成方法を、色フィルタ上でどのように色信号が生成されるかの観点で模式的に示している。隣接４画素混合におけるフィルタの組み合わせにはパタンＡからＤまでの４種類があり、４種類のＲＧＢバランスの異なる信号が得られる。図１１に示すようにパタンＡ（８０１）、パタンＢ（８０２）で混合するラインと、１画素水平方向にずらしてパタンＣ（８０３）、パタンＤ（８０４）で混合するラインとがあり、それらが１行毎に切り替わるようにする。画素混合後の信号配置はいわゆるオフセットサンプリングのパタンとなり、水平解像度の向上も実現できる。
　色信号生成は上下のラインで差分をとることにより行われ、Ｒ－Ｇ、Ｂ－Ｇ信号が得られる。これらは、いわゆる色差信号に相当する信号と言える。図１１に示すように斜め方向に差分をとっていくと、
(1) パタンＡ－パタンＣ＝（2G+0.5R+0.5B）－（1.5G+0.5R+B）＝－0.5（B-G）
(2) パタンＢ－パタンＣ＝（G+R+B）－（1.5G+0.5R+B）＝0.5（R-G）
(3) パタンＢ－パタンＤ＝（G+R+B）－（1.5G+R+0.5B）＝0.5（B-G）
(4) パタンＡ－パタンＤ＝（2G+0.5R+0.5B）－（1.5G+R+0.5B）＝－0.5（R-G）
という具合に、４種類の色差信号が順番に得られる。ここに、１画素毎にＲ系とＢ系の色差信号が得られ、かつ２画素毎にそれらが反転する。これにより、隣接４画素混合を行う動画撮影時もカラー化が可能となる。
　なお、図１１においては矢印を使って、色差信号の発生を模式的に示している。混合後の画素間を矢印で結び、その画素間の演算により色差信号が生成される。また、矢印が示す側の４画素が得られる信号の正の要素となる。
　次のフレームにおいては画素混合の組み合わせを、図１２に示すように変化させる。つまり、パタンＡ、Ｂのラインは水平方向に１画素ずらしてパタンＣ、Ｄになるようにする。パタンＣ、Ｄのラインは同様に１画素ずらしてパタンＡ、Ｂになるようにする。これにより、パタンＡ、ＢのラインとパタンＣ、Ｄのラインとが上下で入れ替わったことになる。この状態で図１１の場合と同様に上下ラインで差分をとって行くと、
(1)' パタンＣ－パタンＡ＝（1.5G+0.5R+B）－（2G+0.5R+0.5B）＝0.5（B-G）
(2)' パタンＣ－パタンＢ＝（1.5G+0.5R+B）－（G+R+B）＝－0.5（R-G）
(3)' パタンＤ－パタンＢ＝（1.5G+R+0.5B）－（G+R+B）＝－0.5（B-G）
(4)' パタンＤ－パタンＡ＝（1.5G+R+0.5B）－（2G+0.5R+0.5B）＝0.5（R-G）
という具合に、色差信号が順番に得られる。すなわち、前フレームに対し、同一位置における色信号の正負が反転していることが判る。
　前フレームである図１１の色信号から図１２に示した色信号を減算すると、
(1) －(1)' ＝B-G
(2) －(2)' ＝－（R-G）
(3) －(3)' ＝－（B-G）
(4) －(4)' ＝R-G
という具合に、色信号が順番に得られる。すなわち、色信号が２倍に増幅される。また、垂直方向の被写体の明暗差の影響は打ち消される。この様子を具体例で示したのが図１３及び図１４である。
　図１３及び図１４では、Ｒ信号のみが得られる赤色の被写体を想定し、垂直方向に明暗差がある場合を模式的に示している。すなわち、被写体パタンの上のラインをＲとし、下のラインを０．５Ｒとしている。この場合において、図１１と同様の混合組み合わせを行った場合、図１３に示すように、
(1) パタンＡ－パタンＣ＝0.25 （＝－0.5（B-G））
(2) パタンＢ－パタンＣ＝0.75 （＝0.5（R-G））
(3) パタンＢ－パタンＤ＝0.5 （＝0.5（B-G））
(4) パタンＡ－パタンＤ＝0　（＝－0.5（R-G））
という具合に、色差信号が順番に得られる。本来、Ｂ成分及びＧ成分は存在しないので、(1)と(3)は０になるはずだが、値が存在している。これが偽色である。
　次に、図１２と同様の混合組み合わせを行った場合は図１４に示す結果となり、
(1)' パタンＣ－パタンＡ＝0.25 （＝0.5（B-G））
(2)' パタンＣ－パタンＢ＝0　（＝－0.5（R-G））
(3)' パタンＤ－パタンＢ＝0.5 （＝－0.5（B-G））
(4)' パタンＤ－パタンＡ＝0.75 （＝0.5（R-G））
という具合に、色差信号が順番に得られる。
　図１３と図１４の結果の差分をとると、
(1) －(1)' ＝0　（＝B-G）
(2) －(2)' ＝－0.75 （＝－（R-G））
(3) －(3)' ＝0　（＝－（B-G））
(4) －(4)' ＝0.75 （＝R-G）
という結果となる。すなわち、偽色のＢ－Ｇ成分は０となり、正しいＲ－Ｇ成分のみ得られている。
　なお、本実施形態では、色信号は垂直方向の差分によって得られるために混合の組み合わせを垂直方向で変更することによって色信号を反転させ、垂直方向の被写体の明暗差の影響は打ち消している。ただし、厳密には色信号は水平方向にも１画素ずれた斜め方向の差分によって得られているため水平方向１画素分の明暗差の影響も受ける。図１１、図１２の矢印の方向が示すように垂直方向には正負に働く画素成分が反転しているが、水平方向には反転していない。すなわち、水平１画素分の明暗差の影響を受けてしまう。
　ただし、水平１画素分の明暗差は全画素を独立に読み出す静止画モードにおいても影響を与えるため、通常は光学ローパスフィルタによって抑圧している。言い換えると、画素混合時は混合後の画素間の距離が離れてしまうことが偽色発生の重要な原因となっている。ここで、垂直方向には演算対象が２画素離れており、光学ローパスフィルタの効果が小さくなって発生してしまう偽色を本実施形態で効果的に除去している。それに対し、水平方向は１画素しか離れておらず、元々偽色が小さいため水平方向の対策をとらない本実施形態でも大きな問題にはならない。
　図１５は、上記異色画素混合処理を実施する撮像装置の構成を示した図である。図１で示したＤＳＣの全体構成例と同じ部分は同じ番号を付与している。撮像素子１０２内には隣接する画素を混合する画素混合部９０１が設けられている。撮像素子駆動部１０３内には画素混合の組み合わせを変更する混合組み合わせ変更部９０２が設けられている。混合組み合わせ変更部９０２によりフレーム毎に混合の組み合わせが図１１、図１２に示すように変更される。実際の画素混合は撮像素子１０２内の画素混合部９０１で行われる。撮像素子１０２から出力される信号は、図１１、図１２に示すように斜め方向に隣接する信号の差分の正負が同一位置においてフレーム毎に反転する。撮像素子１０２の信号はアナログ信号処理部１０４、アナログ・デジタル変換部１０５を経てデジタル化され、デジタル信号処理部１０６に入力される。デジタル信号処理部１０６には輝度信号処理部９０３と色信号処理部９０４とが設けられ、色信号処理部９０４内には色信号演算部９０５と色信号フレームメモリ９０６とフレーム間色信号減算部９０７とその他の処理部９０８とが設けられている。
　なお、色信号フレームメモリ９０６は他の処理部とともに１つの半導体チップで構成してもよいし、別の半導体チップとしてもよい。
　デジタル信号処理部１０６に入力された撮像素子１０２の信号は輝度信号処理部９０３にて輝度信号（Ｙ信号）が生成され、色信号処理部９０４にて色信号が生成される。色信号としては通常、輝度信号との差に相当する色差信号が使われる。色差信号にはＲ－ＹとＢ－Ｙとの２種類がある。色信号処理部９０４においては、まず前述のとおり画素混合された信号の斜め方向の差分をとる。これは色信号演算部９０５にて行われ、前述のとおりＲ－ＧとＢ－Ｇとが得られる。Ｇ信号は輝度信号に分光が近いのでこれらは色差信号に相当すると考えてもよい。生成された色差信号は色信号フレームメモリ９０６にて記憶される。次に、フレーム間色信号減算部９０７において、現在の色差信号と前のフレームの色差信号との減算が実行され、前述のように被写体の明暗パタンの影響を排除した色差信号を得る。その後、色差信号はその他の処理部９０８にて従来と同様の処理が行われる。この中にはγ処理や、分光をＲ－Ｙ、Ｂ－Ｙにより近づけるためのマトリックス処理等が含まれる。生成された輝度信号と色差信号とは前述の全体構成の説明のとおり、画像圧縮伸張部１０７や画像表示部１０９に送られる。
　なお、カラーフィルタパタンや混合の組み合わせは本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で様々な実施形態を取り得る。
　以上のとおり、本発明の第１の観点に基づく撮像装置は、高画質動画と高精細静止画とを両立させ、特に静止画については従来の画像処理が適用できることにより、画像処理として新たな処理を設けることなく従来同等の画質を保持しながら、更にダイナミックレンジの拡大という新規の価値をもたらす。また動画については解像度特性に優れた隣接画素混合におけるカラー化を可能とする。結果として、動画及び静止画の両方において従来よりも優れた撮像装置を実現でき、有用性は極めて高い。
　また、本発明の第２の観点に基づく撮像装置は、動画と静止画との両立を図るために撮像素子で異色画素混合を行う場合に重大な問題となる色変調度の低下に起因する偽信号の発生を極めて効果的に防止することができる。本発明により異色画素混合での大きな問題が解消され、これまでにない自由な画素混合パタンを選択することができる。この結果、多様な静止画と動画との組み合わせを実現でき、有用性は極めて高い。
１０１　レンズ
１０２　撮像素子
１０３　撮像素子駆動部
１０４　アナログ信号処理部
１０５　アナログ・デジタル変換部
１０６　デジタル信号処理部
１０７　画像圧縮伸張部
１０８　画像記録部
１０９　画像表示部
２０１，２０２　カラーフィルタ配列における２種類の２×２画素パタン
３０１　静止画用のゲイン補正部
３０２　静止画用の高輝度補間部
３０３　静止画用の合成部
３０４　静止画用のＲＧＢベイヤー処理部
４０１　通常の透過率の画素の入力露光量と出力との関係を示したグラフ
４０２　通常の１／２の透過率の画素の入力露光量と出力との関係を示したグラフ
５０１　通常の１／２の透過率の画素を２倍に増幅した時の入力露光量と出力との関係を示したグラフ
５０２　合成部からの出力と入力露光量との関係を示したグラフ
６０１～６０４　隣接４画素混合時に混合されるカラーフィルタパタン
６０５　色差信号
７０１　隣接画素混合時の周波数特性を示したグラフ
７０２　１画素の飛び越し画素混合時の周波数特性を示したグラフ
８０１～８０４　隣接４画素混合時に混合されるカラーフィルタパタン
９０１　画素混合部
９０２　混合組み合わせ変更部
９０３　輝度信号処理部
９０４　色信号処理部
９０５　色信号演算部
９０６　色信号フレームメモリ
９０７　フレーム間色信号減算部
９０８　（色信号処理部における）その他の処理部

Claims (13)

  1. 　被写体の像を光電変換するために水平方向及び垂直方向に各々画素として配列された複数の光電変換部を有する撮像素子と、
    　前記撮像素子の水平方向及び垂直方向に隣り合う４画素の電荷を混合して出力するための混合部と、
    　前記４画素混合を行わずに全画素の信号を独立して出力する動作モードと、前記４画素混合後の信号を出力する動作モードとを選択制御するための制御部とを備えた撮像装置であって、
    　前記両モードのいずれにおいても３つ以上の独立した色信号が得られるカラーフィルタ配列が前記撮像素子に設けられ、
    　前記全画素の信号を独立して出力する動作モード時にはＲＧＢベイヤー処理が行えるように前記撮像素子の出力を補正する補正部を更に備えたことを特徴とする撮像装置。
  2. 　請求項１記載の撮像装置において、
    　前記全画素の信号を独立して出力する動作モード時には補正をかけることでダイナミックレンジの拡大が行えるダイナミックレンジ拡大部を更に備えたことを特徴とする撮像装置。
  3. 　請求項１記載の撮像装置において、
    　前記カラーフィルタ配列はＲＧＢベイヤー配列に所定のパタンで透過率に変調を与えたものであることを特徴とする撮像装置。
  4. 　請求項１記載の撮像装置において、
    　前記カラーフィルタ配列は２種類の２×２画素のカラーフィルタパタンを持ち、１つはＧのカラーフィルタに対しＲとＢのカラーフィルタの透過率を下げたパタンであり、もう１つはＲとＢのカラーフィルタに対しＧのカラーフィルタの透過率を下げたパタンであることを特徴とする撮像装置。
  5. 　請求項３記載の撮像装置において、
    　前記補正部は、前記ＲＧＢベイヤー配列に与えた所定の透過率の変調パタンをキャンセルするように画素単位でゲインをかけることを特徴とする撮像装置。
  6. 　請求項２記載の撮像装置において、
    　前記ダイナミックレンジ拡大部は、ＲＧＢベイヤー配列に所定のパタンで透過率に変調を与えたカラーフィルタ配列上の透過率の高い画素が飽和した場合、飽和していない画素のみを使って補間を行った後、前記ＲＧＢベイヤー処理を行うことを特徴とする撮像装置。
  7. 　請求項１記載の撮像装置において、
    　前記４画素混合時には、水平方向の２画素の混合の組み合わせを垂直方向に混合する２行単位で行毎に変更することで、独立した３色以上の色信号を得ることを特徴とする撮像装置。
  8. 　被写体の像を光電変換するために水平方向及び垂直方向に各々画素として配列された複数の光電変換部を有し、かつカラー画像を得るために特定の色を通過させるカラーフィルタが光電変換部毎に設けられた撮像素子と、
    　前記複数の画素の電荷を混合して出力するための画素混合部と、
    　画素混合の組み合わせを変更する混合組み合わせ変更部とを備え、
    　混合の組み合わせを変更することにより、混合後の信号において、水平及び垂直又は斜め方向に隣接する信号の差分値の正負が同一位置において反転することを特徴とする撮像装置。
  9. 　請求項８記載の撮像装置において、
    　前記混合組み合わせ変更部は、フレーム毎に組み合わせを変更することを特徴とする撮像装置。
  10. 　請求項８記載の撮像装置において、
    　混合後の信号にて水平及び垂直又は斜め方向に隣接する信号の差分をとることで色信号を得るための色信号演算部と、
    　前記色信号演算部の出力を１フレーム分記憶する色信号フレームメモリと、
    　記憶された前フレームの色信号と、入力された現フレームの色信号との減算を実行するフレーム間色信号減算部とを更に備えたことを特徴とする撮像装置。
  11. 　請求項８記載の撮像装置において、
    　前記混合される複数の画素の組み合わせには２種類以上のカラーフィルタを備えた画素を含むことを特徴とする撮像装置。
  12. 　請求項８記載の撮像装置において、
    　前記カラーフィルタは、ＲＧＢ原色フィルタであることを特徴とする撮像装置。
  13. 　請求項８記載の撮像装置において、
    　前記画素混合は水平及び垂直に隣接する４画素で行われることを特徴とする撮像装置。
PCT/JP2009/006555 2009-02-03 2009-12-02 撮像装置 WO2010089830A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2009801467691A CN102224736A (zh) 2009-02-03 2009-12-02 摄像装置
US13/154,184 US20110234864A1 (en) 2009-02-03 2011-06-06 Imaging device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009-022590 2009-02-03
JP2009022590A JP2010183158A (ja) 2009-02-03 2009-02-03 撮像装置
JP2009-072645 2009-03-24
JP2009072645A JP2010226514A (ja) 2009-03-24 2009-03-24 撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/154,184 Continuation US20110234864A1 (en) 2009-02-03 2011-06-06 Imaging device

Publications (1)

Publication Number Publication Date
WO2010089830A1 true WO2010089830A1 (ja) 2010-08-12

Family

ID=42541756

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/006555 WO2010089830A1 (ja) 2009-02-03 2009-12-02 撮像装置

Country Status (3)

Country Link
US (1) US20110234864A1 (ja)
CN (1) CN102224736A (ja)
WO (1) WO2010089830A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
WO2012170946A2 (en) 2011-06-10 2012-12-13 Flir Systems, Inc. Low power and small form factor infrared imaging
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
WO2014105897A1 (en) * 2012-12-26 2014-07-03 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
KR101778353B1 (ko) 2011-06-10 2017-09-13 플리어 시스템즈, 인크. 적외선 이미징 장치용 불균일성 교정 기술
JP5680799B2 (ja) * 2012-06-13 2015-03-04 富士フイルム株式会社 画像処理システム、送信側装置および受信側装置
JP5702894B2 (ja) * 2012-07-06 2015-04-15 富士フイルム株式会社 カラー撮像素子および撮像装置
US10827140B2 (en) * 2016-10-17 2020-11-03 Huawei Technologies Co., Ltd. Photographing method for terminal and terminal
CN109587455B (zh) * 2019-02-01 2024-05-03 思特威(上海)电子科技股份有限公司 智能变焦图像传感器
KR20220008620A (ko) * 2020-07-14 2022-01-21 에스케이하이닉스 주식회사 이미지 센싱 장치
CN111970451B (zh) * 2020-08-31 2022-01-07 Oppo（重庆）智能科技有限公司 图像处理方法、图像处理装置及终端设备
CN113824934B (zh) * 2021-09-23 2024-02-09 合肥埃科光电科技股份有限公司 线扫描相机色彩插值方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000069491A (ja) * 1998-08-19 2000-03-03 Nikon Corp 撮像素子およびこれを用いた撮像装置
JP2000316163A (ja) * 1999-04-30 2000-11-14 Olympus Optical Co Ltd カラー撮像素子及び撮像装置
JP2003230158A (ja) * 2002-02-01 2003-08-15 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
WO2008053791A1 (fr) * 2006-10-31 2008-05-08 Sanyo Electric Co., Ltd. Dispositif d'imagerie et procédé de génération de signal vidéo utilisé dans le dispositif d'imagerie

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62277880A (ja) * 1986-05-26 1987-12-02 Sony Corp 固体撮像装置
US6999119B1 (en) * 1998-04-10 2006-02-14 Nikon Corporation Image-capturing element, image-capturing circuit for processing signal from image-capturing element, image-capturing device, driving method of image-capturing element
JP3877565B2 (ja) * 2001-10-04 2007-02-07 松下電器産業株式会社 撮像装置
JP3877695B2 (ja) * 2003-04-03 2007-02-07 松下電器産業株式会社 カラー固体撮像装置
JP4118916B2 (ja) * 2003-11-11 2008-07-16 オリンパス株式会社 マルチスペクトル画像撮影装置
US7091466B2 (en) * 2003-12-19 2006-08-15 Micron Technology, Inc. Apparatus and method for pixel binning in an image sensor
CN101766032B (zh) * 2007-09-14 2012-06-13 株式会社理光 成像装置和成像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000069491A (ja) * 1998-08-19 2000-03-03 Nikon Corp 撮像素子およびこれを用いた撮像装置
JP2000316163A (ja) * 1999-04-30 2000-11-14 Olympus Optical Co Ltd カラー撮像素子及び撮像装置
JP2003230158A (ja) * 2002-02-01 2003-08-15 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
WO2008053791A1 (fr) * 2006-10-31 2008-05-08 Sanyo Electric Co., Ltd. Dispositif d'imagerie et procédé de génération de signal vidéo utilisé dans le dispositif d'imagerie

Also Published As

Publication number Publication date
US20110234864A1 (en) 2011-09-29
CN102224736A (zh) 2011-10-19

Similar Documents

Publication Publication Date Title
WO2010089830A1 (ja) 撮像装置
JP4195169B2 (ja) 固体撮像装置および信号処理方法
US7626619B2 (en) Digital camera
US8077253B2 (en) Solid-state device having digital signal processing circuit
US8305459B2 (en) Image processing apparatus and camera module
WO2010016166A1 (ja) 撮像装置、画像処理方法、画像処理プログラム及び半導体集積回路
JP4905279B2 (ja) 撮像回路および撮像装置
JP4320657B2 (ja) 信号処理装置
US8218021B2 (en) Image capture apparatus, method of controlling the same, and program
KR100680471B1 (ko) 보색 컬러 필터를 채택한 ＳｏＣ 카메라 시스템
KR20110030328A (ko) 고체 촬상 장치 및 전자 기기
KR20120024448A (ko) 촬상 장치, 신호 처리 방법 및 프로그램
WO2018092400A1 (ja) 固体撮像素子、信号処理回路、及び、電子機器
JP2003179819A (ja) 撮像装置
JP4077161B2 (ja) 撮像装置、輝度補正方法、およびその方法をコンピュータで実行するためのプログラム
JP2001157109A (ja) 電子カメラおよび画像データ処理用記録媒体
JP4224996B2 (ja) 撮像装置
JP2007318630A (ja) 画像入力装置、撮像モジュール、及び固体撮像装置
JP2006333113A (ja) 撮像装置
JP2007036353A (ja) 撮像装置
JP2010183158A (ja) 撮像装置
JP2010268354A (ja) イメージセンサ及びそのイメージセンサを備える撮像装置
JP2004194248A (ja) 撮像素子及び撮像装置
JP2005051393A (ja) 撮像装置
JP2006109046A (ja) 撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980146769.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09839608

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09839608

Country of ref document: EP

Kind code of ref document: A1