JP5404006B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP5404006B2
JP5404006B2 JP2008289866A JP2008289866A JP5404006B2 JP 5404006 B2 JP5404006 B2 JP 5404006B2 JP 2008289866 A JP2008289866 A JP 2008289866A JP 2008289866 A JP2008289866 A JP 2008289866A JP 5404006 B2 JP5404006 B2 JP 5404006B2
Authority
JP
Japan
Prior art keywords
pixels
color
image sensor
added
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008289866A
Other languages
Japanese (ja)
Other versions
JP2010118839A (en
Inventor
香 田島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008289866A priority Critical patent/JP5404006B2/en
Publication of JP2010118839A publication Critical patent/JP2010118839A/en
Application granted granted Critical
Publication of JP5404006B2 publication Critical patent/JP5404006B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)

Description

本発明は、複数の画素の信号を混合して読み出す撮像素子を用いた撮像装置に関する。   The present invention relates to an image pickup apparatus using an image pickup element that mixes and reads signals from a plurality of pixels.

近年、民生用のデジタルカメラ、デジタルビデオカメラ等の撮像装置では、搭載される撮像素子の多画素化が進んでいる。画素数の多い撮像素子を用いると、所定の時間内に撮像素子上の全ての画素から信号を読み出す際、撮像素子を高速に駆動しなければならず、消費電力や発熱といった面から、撮像装置への負荷が大きくなる。   In recent years, in imaging devices such as consumer digital cameras and digital video cameras, the number of mounted imaging elements is increasing. When an image sensor with a large number of pixels is used, the image sensor must be driven at a high speed when signals are read from all the pixels on the image sensor within a predetermined time. The load on is increased.

それを避けるため、従来は、撮像素子の一部領域の信号を切り出して読み出す手法や、複数ラインおきに信号を間引いて読み出す手法により、撮像素子からの信号読み出しの負荷を低減させていた。   In order to avoid this, conventionally, the load of signal readout from the image sensor has been reduced by a method of cutting out and reading out a signal in a partial region of the image sensor, or a method of thinning out and reading out signals every plural lines.

しかし、このような手法では、撮像素子上の全ての画素を活用できないことや、間引き処理によって生じるエイリアシングによって、画質が劣化するという問題があった。   However, with such a method, there are problems that all the pixels on the image sensor cannot be used and image quality deteriorates due to aliasing caused by the thinning process.

そこで、切り出しや間引きを行う場合よりも画質劣化を抑えながら、従来と同程度の駆動速度で多画素の撮像素子を駆動するために、撮像素子上で画像信号を加算し、読み出す信号ラインを削減する手法が提案されている。   Therefore, in order to drive a multi-pixel image sensor at the same driving speed as before while suppressing image quality degradation compared to when cutting out or thinning out, the number of signal lines to be read by adding image signals on the image sensor is reduced. A technique has been proposed.

例えば、特許文献1には、原色ベイヤー配列の撮像素子において、同色の色フィルタが配置されている画素を、それぞれ複数本の垂直転送部に読み出し、読み出した信号電荷を斜め方向に加算する技術が提案されている。
特開2007−088843号公報
For example, Patent Document 1 discloses a technique of reading pixels in which color filters of the same color are arranged in a plurality of vertical transfer units in an image sensor with a primary color Bayer array and adding the read signal charges in an oblique direction. Proposed.
JP2007-088843A

しかし、上記従来技術では、加算される画素間の距離が長いため、解像感の劣化が生じるという問題があった。   However, the above conventional technique has a problem that the resolution is deteriorated because the distance between the pixels to be added is long.

本発明の目的は、解像感の劣化を低減することができる撮像装置を提供することにある。   An object of the present invention is to provide an imaging apparatus capable of reducing deterioration in resolution.

上記目的を達成するために、請求項1記載の撮像装置は、複数色の色フィルタが、当該複数色の色フィルタのうち少なくとも1種類の色フィルタが同色の色フィルタと隣り合わないように、規則的に2次元配置された撮像素子と、前記撮像素子上で同色の色フィルタが配置された複数の画素の信号を加算して読み出す読み出し手段と、前記撮像素子から読み出された信号の位相補償を行う位相補償手段とを備え、前記読み出し手段は、前記色フィルタの色毎に、画素間の距離が最短となる画素を加算して読み出し、前記位相補償手段は、前記色フィルタの色毎に異なる前記位相補償を行うことを特徴とする。 In order to achieve the above object, the imaging device according to claim 1 , wherein the plurality of color filters are arranged such that at least one of the plurality of color filters is not adjacent to the same color filter. Regularly two-dimensionally arranged image sensors, reading means for adding and reading signals of a plurality of pixels in which color filters of the same color are arranged on the image sensor, and phase of signals read from the image sensor Phase compensation means for performing compensation, and the readout means adds and reads out the pixel having the shortest distance between the pixels for each color of the color filter, and the phase compensation means reads out each color of the color filter. The phase compensation is performed differently.

本発明の撮像装置では、撮像素子上で同色の色フィルタが配置された複数の画素の信号を加算して読み出す際に、色フィルタの色毎に、画素間の距離が最短となる画素を加算して読み出し、色毎に異なる位相補償を行うことで、解像感の劣化を低減することができる。   In the image pickup apparatus of the present invention, when the signals of a plurality of pixels in which color filters of the same color are arranged on the image sensor are added and read, the pixel having the shortest distance between the pixels is added for each color of the color filter. Thus, by performing readout and performing different phase compensation for each color, it is possible to reduce degradation in resolution.

以下、本発明を図面を参照しながら詳細に説明する。   Hereinafter, the present invention will be described in detail with reference to the drawings.

(第1の実施の形態)
図1は、本発明に係る撮像装置の第1の構成例を示すブロック図である。
(First embodiment)
FIG. 1 is a block diagram illustrating a first configuration example of an imaging apparatus according to the present invention.

図1には、撮像装置としてビデオカメラが示される。本ビデオカメラは、結像レンズ101、原色ベイヤー配列の色フィルタを備えるCMOSイメージセンサ102を備える。   FIG. 1 shows a video camera as an imaging device. This video camera includes an imaging lens 101 and a CMOS image sensor 102 including a primary color Bayer array color filter.

また、本ビデオカメラは、CMOSイメージセンサ102から読み出されたアナログ映像信号をデジタルデータに変換するADコンバータ(以下、ADCと略記)103、同期信号生成回路(以下、SSGと略記)104を備える。   The video camera also includes an AD converter (hereinafter abbreviated as ADC) 103 that converts an analog video signal read from the CMOS image sensor 102 into digital data, and a synchronization signal generation circuit (hereinafter abbreviated as SSG) 104. .

また、本ビデオカメラは、ビデオカメラ全体の動作を制御するCPU105、ADC103から出力される映像信号に対して位相補償を行う位相補償部106、カメラ信号処理部107、映像信号出力端子108を備える。   The video camera also includes a CPU 105 that controls the operation of the entire video camera, a phase compensation unit 106 that performs phase compensation on a video signal output from the ADC 103, a camera signal processing unit 107, and a video signal output terminal 108.

ここで、CMOSイメージセンサ102は、複数色の色フィルタが規則的に2次元配置された撮像素子として機能する。   Here, the CMOS image sensor 102 functions as an image sensor in which a plurality of color filters are regularly arranged in a two-dimensional manner.

また、SSG104及びCPU105は、撮像素子上で同色の色フィルタが配置された複数の画素の信号を加算して読み出す読み出し手段として機能する。また、位相補償部106は、撮像素子から読み出された信号の位相補償を行う位相補償手段として機能する。   The SSG 104 and the CPU 105 function as a reading unit that adds and reads signals from a plurality of pixels in which color filters of the same color are arranged on the image sensor. The phase compensation unit 106 functions as a phase compensation unit that performs phase compensation of a signal read from the image sensor.

そして、読み出し手段は、色フィルタの色毎に、画素間の距離が最短となる画素を加算して読み出し、位相補償手段は、色フィルタの色毎に異なる位相補償を行う。   Then, the reading unit adds and reads out the pixel having the shortest distance between the pixels for each color of the color filter, and the phase compensation unit performs different phase compensation for each color of the color filter.

また、読み出し手段は、撮像素子上で同色の色フィルタが配置された複数の画素の信号を加算して読み出す際に、少なくとも1種類の色フィルタについては、加算後の画素重心がオフセットサンプリングとなるよう、加算する画素を選択する。   Further, when the reading unit adds and reads the signals of a plurality of pixels in which color filters of the same color are arranged on the image sensor, the pixel centroid after the addition is offset sampling for at least one type of color filter. The pixel to be added is selected.

これらの具体的内容については、以降説明する。   Details of these will be described later.

上述したように、本ビデオカメラは、原色ベイヤー配列の色フィルタを備えるCMOSイメージセンサ102を用いている。CMOSイメージセンサ102に代表されるXYアドレス方式の固体撮像素子では、読み出し回路の設計自由度を高くすることができる。   As described above, this video camera uses the CMOS image sensor 102 including the color filters of the primary color Bayer array. In an XY address type solid-state imaging device represented by the CMOS image sensor 102, the design flexibility of the readout circuit can be increased.

そこで、本実施の形態では、CMOSイメージセンサ102上で、色毎に、最も画素間距離が短くなるよう、同色の色フィルタが配置された画素を2画素ずつ加算して読み出す動作を行う。   Therefore, in the present embodiment, on the CMOS image sensor 102, an operation of adding and reading two pixels each having the same color filter arranged so that the inter-pixel distance is the shortest for each color is performed.

次に、本ビデオカメラの動作の概要を説明する。   Next, an outline of the operation of the video camera will be described.

結像レンズ101を通じ、CMOSイメージセンサ102の受光面上に光学像が結像されると、CMOSイメージセンサ102の各画素に配置されたフォトダイオードで、入射光量に応じた光電荷が発生する。   When an optical image is formed on the light receiving surface of the CMOS image sensor 102 through the imaging lens 101, photocharges corresponding to the amount of incident light are generated by the photodiodes arranged in the respective pixels of the CMOS image sensor 102.

SSG104では、CMOSイメージセンサ102を駆動するための同期信号が生成され、同期信号とCPU105からの制御信号に基づいて、CMOSイメージセンサ102の内部駆動回路が駆動される。そして、所定の順番でCMOSイメージセンサ102の出力端子から映像信号が出力される。   In the SSG 104, a synchronization signal for driving the CMOS image sensor 102 is generated, and an internal drive circuit of the CMOS image sensor 102 is driven based on the synchronization signal and a control signal from the CPU 105. Then, a video signal is output from the output terminal of the CMOS image sensor 102 in a predetermined order.

映像信号は、ADC103においてデジタルデータに変換される。ADC103の出力信号(映像信号)は、位相補償部106において位相補償された後、カメラ信号処理回路107に入力される。   The video signal is converted into digital data by the ADC 103. The output signal (video signal) of the ADC 103 is subjected to phase compensation by the phase compensation unit 106 and then input to the camera signal processing circuit 107.

そして、カメラ信号処理回路107において、映像信号に対して、輝度信号、色差信号の生成、輪郭補償等の信号処理が行われ、映像信号出力端子108から、映像信号が出力される。   In the camera signal processing circuit 107, signal processing such as generation of luminance signal, color difference signal, and contour compensation is performed on the video signal, and the video signal is output from the video signal output terminal 108.

次に、図2の概念図を参照しながら、CMOSイメージセンサ102上で、同色の2画素を加算して読み出す処理について説明する。   Next, a process of adding and reading two pixels of the same color on the CMOS image sensor 102 will be described with reference to the conceptual diagram of FIG.

CMOSイメージセンサ102に配置されている原色ベイヤー配列の色フィルタは、図21に示すように、Gは市松状に配置され、R、Bは正方格子状に配置されている。従って、Gの色フィルタが配置された画素について、最も画素間距離が短いのは斜め方向であり、R、Bの色フィルタが配置された画素では、垂直、水平方向の画素間距離が最も短い。   As shown in FIG. 21, the color filters of the primary color Bayer array arranged in the CMOS image sensor 102 are arranged in a checkered pattern, and arranged in a square lattice pattern in R and B. Therefore, for the pixels in which the G color filter is arranged, the distance between the pixels is the shortest in the oblique direction, and in the pixels in which the R and B color filters are arranged, the distance between the pixels in the vertical and horizontal directions is the shortest. .

本発明では、同色の画素を加算して読み出す際に、加算する画素間の距離が最も短くなるよう、加算する画素を選択することで、加算による解像度劣化の低減を図る。従って、Gについては、斜め方向に隣接する同色の2画素を加算し、R、Bについては、垂直方向に2画素離れて位置する同色の2画素を加算する。   In the present invention, when pixels of the same color are added and read, the pixels to be added are selected so that the distance between the pixels to be added is the shortest, thereby reducing resolution degradation due to the addition. Therefore, for G, two pixels of the same color that are adjacent in the diagonal direction are added, and for R and B, two pixels of the same color that are located two pixels apart in the vertical direction are added.

具体的には、図2において、Gについては、L(2n)行目とL(2n+1)行目に存在し、斜め方向に隣接するGの2画素が加算されて読み出される。Rについては、L(2n)行目とL(2n+2)行目のRの画素が垂直方向に加算されて読み出される。Bにいては、L(2n+1)行目とL(2n+3)行目のBの画素が垂直方向に加算されて読み出される。   Specifically, in FIG. 2, G exists in the L (2n) and L (2n + 1) rows and is read by adding two pixels of G adjacent in the oblique direction. For R, the R pixels in the L (2n) row and the L (2n + 2) row are added and read in the vertical direction. In B, the B pixels in the L (2n + 1) row and the L (2n + 3) row are added in the vertical direction and read out.

また、Gについては、加算後の画素配置が市松状になるよう、加算する画素の組み合わせを行毎に変える。例えば、図2では、L(0)行目とL(1)行目のGの画素を、斜め45度方向に加算した後、L(2)行目とL(3)行目のGの画素を、斜め135度方向に加算している。   For G, the combination of pixels to be added is changed for each row so that the pixel arrangement after the addition becomes a checkered pattern. For example, in FIG. 2, the G pixels in the L (0) row and the L (1) row are added in a 45-degree direction, and then the G pixels in the L (2) row and the L (3) row are added. Pixels are added obliquely in the direction of 135 degrees.

上記のように、同色の画素同士を加算して読み出すと、R、G、Bについて、それぞれ、加算される画素間の距離が最も短くなり、かつ、加算後の画素配置が、Gについては市松状の配置となり、R、Bについては正方格子状の配置になる。しかし、加算読み出し後の画素の重心は、図3のようになり、R、G、Bの画素重心の配置は、原色ベイヤー配列でなくなってしまう。   As described above, when pixels of the same color are added and read, the distance between the added pixels is the shortest for each of R, G, and B, and the pixel arrangement after the addition is Ichimatsu for G. And R and B are arranged in a square lattice pattern. However, the center of gravity of the pixel after the addition reading is as shown in FIG. 3, and the arrangement of the R, G, and B pixel centroids is not a primary color Bayer array.

そこで、位相補償部106において、位相補償処理を行う。前述したように、Gについては、加算後の画素配置が市松状になっているため、Gの画素を基準として、R、Bの画素の重心が、それぞれ、図3の矢印で示された画素位置となるよう、位相補償が行われる。位相補償の具体的な処理としては、例えば、同色の画素を用いた内挿補間を行う。   Therefore, the phase compensation unit 106 performs phase compensation processing. As described above, with respect to G, since the pixel arrangement after addition is checkered, the center of gravity of the R and B pixels is indicated by the arrows in FIG. 3 with reference to the G pixel. Phase compensation is performed so as to obtain the position. As specific processing for phase compensation, for example, interpolation using pixels of the same color is performed.

位相補償部106において、R、Bの画素に対して位相補償処理を行った後のR、G、Bの画素の重心は、図4のようになり、原色ベイヤー配列となる。   In the phase compensation unit 106, the centroids of the R, G, and B pixels after the phase compensation processing is performed on the R and B pixels are as shown in FIG.

以上のように、本実施の形態では、CMOSイメージセンサ102上で同色の色フィルタが配置された2画素の信号を加算して読み出す際に、色毎に、加算される画素間の距離が最も短くなるよう加算画素を選択する。これにより、加算による解像度劣化を低減することができる。   As described above, in this embodiment, when adding and reading signals of two pixels in which color filters of the same color are arranged on the CMOS image sensor 102, the distance between the added pixels is the largest for each color. The addition pixel is selected so as to be shortened. Thereby, resolution degradation due to addition can be reduced.

また、CMOSイメージセンサ102から加算読み出しした画像のR、B信号に対してのみ、位相補償処理を行い、解像感に最も寄与するG信号には位相補償処理を行わないようにするため、位相補償処理による解像度劣化を低減することができる。   In addition, the phase compensation process is performed only on the R and B signals of the image read out from the CMOS image sensor 102, and the phase compensation process is not performed on the G signal that contributes most to the resolution. Resolution degradation due to compensation processing can be reduced.

これにより、多画素イメージセンサを用いた撮像装置において、画質劣化を抑えながら、処理負荷の低減を図ることができる。   Thereby, in an imaging apparatus using a multi-pixel image sensor, it is possible to reduce the processing load while suppressing image quality deterioration.

(第2の実施の形態)
次に、本発明の第2の実の施形態について説明する。第2の実施の形態の構成は、図1に示す第1の実施の形態と同じであるので説明を省略する。
(Second Embodiment)
Next, a second embodiment of the present invention will be described. The configuration of the second embodiment is the same as that of the first embodiment shown in FIG.

本実施の形態では、CMOSイメージセンサ102上で、色毎に、最も画素間距離が短くなるよう、同色の色フィルタが配置された画素を3画素ずつ加算して読み出す動作を行う。   In the present embodiment, on the CMOS image sensor 102, an operation of adding and reading three pixels each having the same color filter arranged so that the distance between the pixels is the shortest for each color is performed.

第2の実施の形態と第1の実施の形態との差異は、CMOSイメージセンサ102での加算読み出しの動作と、位相補償部106での位相補償処理の動作であるので、以下では、上記の差異についてのみ説明し、それ以外については説明を省略する。   The difference between the second embodiment and the first embodiment is the addition reading operation in the CMOS image sensor 102 and the phase compensation processing operation in the phase compensation unit 106. Only the differences will be described, and the description of the rest will be omitted.

図5の概念図を参照しながら、CMOSイメージセンサ102上で、同色の3画素を加算して読み出す処理について説明する。   A process of adding and reading three pixels of the same color on the CMOS image sensor 102 will be described with reference to the conceptual diagram of FIG.

本発明では、同色の画素を加算して読み出す際に、加算する画素間の距離が最も短くなるよう、加算する画素を選択することで、加算による解像度劣化の低減を図るので、Gについては、斜め方向に隣接する同色の3画素を加算する。また、R、Bについては、垂直方向に2画素ずつ離れて位置する同色の3画素を加算する。   In the present invention, when pixels of the same color are added and read out, by selecting the pixels to be added so that the distance between the pixels to be added is the shortest, resolution degradation due to the addition can be reduced. Three pixels of the same color adjacent in the oblique direction are added. For R and B, three pixels of the same color that are located two pixels apart in the vertical direction are added.

具体的には、図5において、Gについては、L(2n)行目、L(2n+1)行目、L(2n+2)行目に存在し、斜め方向に隣接する3画素が、加算されて読み出される。Rについては、L(2n)行目、L(2n+2)行目、L(2n+4)行目のRの画素が垂直方向に加算されて読み出される。Bについては、L(2n−1)行目、L(2n+1)行目、L(2n+3)行目のBの画素が垂直方向に加算されて読み出される(n=0,1,2,・・・)。   Specifically, in FIG. 5, for G, three pixels that are present in the L (2n), L (2n + 1), and L (2n + 2) rows and that are adjacent in the oblique direction are Added and read. For R, the R pixels in the L (2n), L (2n + 2), and L (2n + 4) rows are added in the vertical direction and read out. For B, the B pixels in the L (2n-1), L (2n + 1), and L (2n + 3) rows are added in the vertical direction and read (n = 0, 1, 2, ...).

上記のようにR、G、Bそれぞれについて、最も画素間距離が短くなるよう加算する画素を選択し、CMOSイメージセンサ102上で加算して読み出すと、読み出し後の画素の重心は図6のようになる。   As described above, for each of R, G, and B, a pixel to be added is selected so that the distance between the pixels becomes the shortest, and when the pixel is added and read on the CMOS image sensor 102, the center of gravity of the pixel after reading is as shown in FIG. become.

図6において、Gの画素重心は市松状になっているが、R、Bの画素重心がGに対してずれており、原色ベイヤー配列となっていない。   In FIG. 6, the pixel centroids of G are checkered, but the pixel centroids of R and B are deviated from G and are not primary color Bayer arrays.

そこで、位相補償部106において、R、Bの画素重心が、それぞれ、図3の矢印で示された画素位置にくるよう、位相補償が行われる。位相補償の具体的な処理としては、例えば、同色の画素を用いた内挿補間を行う。   Therefore, the phase compensation unit 106 performs phase compensation so that the R and B pixel centroids are respectively located at the pixel positions indicated by arrows in FIG. As specific processing for phase compensation, for example, interpolation using pixels of the same color is performed.

位相補償部106において、R、Bの画素に対して位相補償処理を行った後のR、G、Bの画素の重心は、図7のようになり、原色ベイヤー配列となる。   In the phase compensation unit 106, the centroids of the R, G, and B pixels after the phase compensation process is performed on the R and B pixels are as shown in FIG.

以上のように、本実施の形態では、CMOSイメージセンサ102上で同色の色フィルタが配置された3画素の信号を加算して読み出す際に、色毎に、加算される画素間の距離が最も短くなるよう加算画素を選択する。これにより、加算による解像度劣化を低減することができる。   As described above, in this embodiment, when adding and reading out signals of three pixels in which color filters of the same color are arranged on the CMOS image sensor 102, the distance between the added pixels is the largest for each color. The addition pixel is selected so as to be shortened. Thereby, resolution degradation due to addition can be reduced.

また、CMOSイメージセンサ102から加算読み出しした画像のR、B信号に対してのみ、位相補償処理を行い、解像感に最も寄与するG信号には位相補償処理を行わないようにするため、位相補償処理による解像度劣化を低減することができる。   In addition, the phase compensation process is performed only on the R and B signals of the image read out from the CMOS image sensor 102, and the phase compensation process is not performed on the G signal that contributes most to the resolution. Resolution degradation due to compensation processing can be reduced.

これにより、多画素イメージセンサを用いた撮像装置において、画質劣化を抑えながら、処理負荷の低減を図ることができる。   Thereby, in an imaging apparatus using a multi-pixel image sensor, it is possible to reduce the processing load while suppressing image quality deterioration.

(第3の実施の形態)
次に、本発明の第3の実施の形態について説明する。第3の実施の形態の構成は、図1に示す第1の実施の形態と同じであるので説明を省略する。
(Third embodiment)
Next, a third embodiment of the present invention will be described. Since the configuration of the third embodiment is the same as that of the first embodiment shown in FIG.

本実施の形態では、CMOSイメージセンサ102上で、色毎に、最も画素間距離が短くなるよう、同色の色フィルタが配置された画素を4画素ずつ加算して読み出す動作を行う。   In the present embodiment, on the CMOS image sensor 102, an operation of adding and reading out four pixels each having the same color filter arranged so that the distance between the pixels is the shortest for each color is performed.

第3の実施の形態と第1の実施の形態との差異は、CMOSイメージセンサ102での加算読み出しの動作と、位相補償部106での位相補償処理の動作であるので、以下では、上記の差異についてのみ説明し、それ以外については説明を省略する。   The difference between the third embodiment and the first embodiment is the addition reading operation in the CMOS image sensor 102 and the phase compensation processing operation in the phase compensation unit 106. Only the differences will be described, and the description of the rest will be omitted.

図8の概念図を参照しながら、CMOSイメージセンサ102上で、同色の4画素を加算して読み出す処理について説明する。   A process of adding and reading four pixels of the same color on the CMOS image sensor 102 will be described with reference to the conceptual diagram of FIG.

図8(a)、(b)、(c)は、図21に示す原色ベイヤー配列のCMOSイメージセンサ102から、それぞれ、G、R、Bの色フィルタが配置された画素のみを表示した概念図である。   FIGS. 8A, 8B, and 8C are conceptual diagrams that display only pixels in which G, R, and B color filters are arranged from the primary color Bayer array CMOS image sensor 102 shown in FIG. 21, respectively. It is.

本発明では、同色の画素を加算して読み出す際に、加算する画素間の距離が最も短くなるよう、加算する画素を選択することで、加算による解像度劣化の低減を図るので、Gについては、斜め方向に隣接する同色の4画素を加算する。また、R、Bについては、垂直方向に2画素ずつ離れて位置する同色の4画素を加算する。   In the present invention, when pixels of the same color are added and read out, by selecting the pixels to be added so that the distance between the pixels to be added is the shortest, resolution degradation due to the addition can be reduced. Four pixels of the same color adjacent in the oblique direction are added. For R and B, four pixels of the same color that are located two pixels apart in the vertical direction are added.

図8(a)で示すGの画素については、斜線の領域に含まれる、斜め方向に隣接する4画素が加算されて読み出される。図8(b)で示すRの画素については、斜線の領域に含まれる、垂直、水平方向に2画素ずつ離れて位置する4画素が加算されて読み出される。同様に、図8(c)で示すBの画素については、斜線の領域に含まれる、垂直、水平方向に2画素ずつ離れて位置する4画素が加算されて読み出される。   For the G pixel shown in FIG. 8A, four pixels adjacent in the diagonal direction included in the hatched area are added and read. With respect to the R pixel shown in FIG. 8B, four pixels included in the hatched area and located two pixels apart in the vertical and horizontal directions are added and read. Similarly, for the pixel B shown in FIG. 8C, four pixels located in the hatched area and positioned two pixels apart in the vertical and horizontal directions are added and read.

上記のようにR、G、Bそれぞれについて、最も画素間距離が短くなるよう加算する画素を選択し、CMOSイメージセンサ102上で加算して読み出すと、読み出し後の画素の重心は図9のようになる。   As described above, for each of R, G, and B, a pixel to be added is selected so that the distance between the pixels becomes the shortest, and when added and read on the CMOS image sensor 102, the center of gravity of the pixel after reading is as shown in FIG. become.

図9において、Gの画素重心は市松状になっているが、R、Bの画素重心がGに対してずれており、原色ベイヤー配列となっていない。   In FIG. 9, the center of gravity of the G pixel is checkered, but the center of gravity of the R and B pixels is deviated from G and is not a primary color Bayer array.

そこで、位相補償部106において、R、Bの画素重心が、それぞれ、図3の矢印で示された画素位置にくるよう、位相補償が行われる。位相補償の具体的な処理としては、例えば、同色の画素を用いた内挿補間を行う。   Therefore, the phase compensation unit 106 performs phase compensation so that the R and B pixel centroids are respectively located at the pixel positions indicated by arrows in FIG. As specific processing for phase compensation, for example, interpolation using pixels of the same color is performed.

位相補償部106において、R、Bの画素に対して位相補償処理を行った後のR、G、Bの画素の重心は、図10のようになり、原色ベイヤー配列となる。   In the phase compensation unit 106, the centroids of the R, G, and B pixels after the phase compensation process is performed on the R and B pixels are as shown in FIG.

以上のように、本実施の形態では、CMOSイメージセンサ102上で同色の色フィルタが配置された4画素の信号を加算して読み出す際に、色毎に、加算される画素間の距離が最も短くなるよう加算画素を選択する。これにより、加算による解像度劣化を低減することができる。   As described above, in the present embodiment, when signals of four pixels in which color filters of the same color are arranged are added and read on the CMOS image sensor 102, the distance between the added pixels is the largest for each color. The addition pixel is selected so as to be shortened. Thereby, resolution degradation due to addition can be reduced.

また、CMOSイメージセンサ102から加算読み出しした画像のR、B信号に対してのみ、位相補償処理を行い、解像感に最も寄与するG信号には位相補償処理を行わないようにするため、位相補償処理による解像度劣化を低減することができる。   In addition, the phase compensation process is performed only on the R and B signals of the image read out from the CMOS image sensor 102, and the phase compensation process is not performed on the G signal that contributes most to the resolution. Resolution degradation due to compensation processing can be reduced.

これにより、多画素イメージセンサを用いた撮像装置において、画質劣化を抑えながら、処理負荷の低減を図ることができる。   Thereby, in an imaging apparatus using a multi-pixel image sensor, it is possible to reduce the processing load while suppressing image quality deterioration.

(第4の実施の形態)
次に、本発明の第4の実施の形態について説明する。第4の実施の形態の構成は、図1に示す第1の実施の形態と同じであるので説明を省略する。
(Fourth embodiment)
Next, a fourth embodiment of the present invention will be described. The configuration of the fourth embodiment is the same as that of the first embodiment shown in FIG.

本実施の形態では、CMOSイメージセンサ102上で、色毎に、最も画素間距離が短くなるよう、同色の色フィルタが配置された画素を6画素ずつ加算して読み出す動作を行う。   In the present embodiment, on the CMOS image sensor 102, an operation of adding and reading out pixels each having a color filter of the same color added by 6 pixels so that the distance between pixels is the shortest for each color is performed.

第4の実施の形態と第1の実施の形態との差異は、CMOSイメージセンサ102での加算読み出しの動作と、位相補償部106での位相補償処理の動作であるので、以下では、上記の差異についてのみ説明し、それ以外については説明を省略する。   The difference between the fourth embodiment and the first embodiment is the addition reading operation in the CMOS image sensor 102 and the phase compensation processing operation in the phase compensation unit 106. Only the differences will be described, and the description of the rest will be omitted.

図11の概念図を参照しながら、CMOSイメージセンサ102上で、同色の6画素を加算して読み出す処理について説明する。   A process of adding and reading six pixels of the same color on the CMOS image sensor 102 will be described with reference to the conceptual diagram of FIG.

図11(a)、(b)、(c)は、図21に示す原色ベイヤー配列のCMOSイメージセンサ102から、それぞれ、G、R、Bの色フィルタが配置された画素のみを表示した概念図である。   FIGS. 11A, 11B, and 11C are conceptual diagrams that display only pixels in which G, R, and B color filters are arranged, respectively, from the primary color Bayer array CMOS image sensor 102 shown in FIG. It is.

本発明では、同色の画素を加算して読み出す際に、加算する画素間の距離が最も短くなるよう、加算する画素を選択することで、加算による解像度劣化の低減を図るので、Gについては、斜め方向に隣接する同色の6画素を加算する。また、R、Bについては、垂直方向に2画素ずつ離れて位置する同色の6画素を加算する。   In the present invention, when pixels of the same color are added and read out, by selecting the pixels to be added so that the distance between the pixels to be added is the shortest, resolution degradation due to the addition can be reduced. Six pixels of the same color adjacent in the oblique direction are added. For R and B, 6 pixels of the same color located 2 pixels apart in the vertical direction are added.

図11(a)で示すGの画素については、斜線の領域に含まれる、斜め方向に隣接する6画素が加算されて読み出される。図11(b)で示すRの画素については、斜線の領域に含まれる、垂直、水平方向に2画素ずつ離れて位置する6画素が加算されて読み出される。同様に、図11(c)で示すBの画素については、斜線の領域に含まれる、垂直、水平方向に2画素ずつ離れて位置する6画素が加算されて読み出される。   With respect to the G pixel shown in FIG. 11A, 6 pixels adjacent to each other in the oblique direction included in the shaded area are added and read. With respect to the R pixel shown in FIG. 11B, six pixels located two pixels apart in the vertical and horizontal directions included in the hatched area are added and read. Similarly, with respect to the pixel B shown in FIG. 11C, 6 pixels included in the hatched area and located two pixels apart in the vertical and horizontal directions are added and read.

上記のようにR、G、Bそれぞれについて、最も画素間距離が短くなるよう加算する画素を選択し、CMOSイメージセンサ102上で加算して読み出すと、読み出し後の画素の重心は図12のようになる。   As described above, for each of R, G, and B, the pixel to be added is selected so that the distance between the pixels is the shortest, and when added and read on the CMOS image sensor 102, the center of gravity of the pixel after reading is as shown in FIG. become.

図12において、Gの画素重心は市松状になっているが、R、Bの画素重心がGに対してずれており、原色ベイヤー配列となっていない。   In FIG. 12, the pixel centroids of G are in a checkered pattern, but the R and B pixel centroids are shifted from G, and the primary color Bayer array is not formed.

そこで、位相補償部106において、R、Bの画素重心が、それぞれ、図12の矢印で示された画素位置にくるよう、位相補償が行われる。位相補償の具体的な処理としては、例えば、同色の画素を用いた内挿補間を行う。   Therefore, the phase compensation unit 106 performs phase compensation so that the R and B pixel centroids are respectively located at pixel positions indicated by arrows in FIG. As specific processing for phase compensation, for example, interpolation using pixels of the same color is performed.

位相補償部106において、R、Bの画素に対して位相補償処理を行った後のR、G、Bの画素の重心は、図13のようになり、原色ベイヤー配列となる。   In the phase compensation unit 106, the centroids of the R, G, and B pixels after the phase compensation process is performed on the R and B pixels are as shown in FIG.

以上のように、本実施の形態では、CMOSイメージセンサ102上で同色の色フィルタが配置された6画素の信号を加算して読み出す際に、色毎に、加算される画素間の距離が最も短くなるよう加算画素を選択する。これにより、加算による解像度劣化を低減することができる。   As described above, in the present embodiment, when signals of 6 pixels in which color filters of the same color are arranged are added and read on the CMOS image sensor 102, the distance between the added pixels is the largest for each color. The addition pixel is selected so as to be shortened. Thereby, resolution degradation due to addition can be reduced.

また、CMOSイメージセンサ102から加算読み出しした画像のR、B信号に対してのみ、位相補償処理を行い、解像感に最も寄与するG信号には位相補償処理を行わないようにするため、位相補償処理による解像度劣化を低減することができる。   In addition, the phase compensation process is performed only on the R and B signals of the image read out from the CMOS image sensor 102, and the phase compensation process is not performed on the G signal that contributes most to the resolution. Resolution degradation due to compensation processing can be reduced.

これにより、多画素イメージセンサを用いた撮像装置において、画質劣化を抑えながら、処理負荷の低減を図ることができる。   Thereby, in an imaging apparatus using a multi-pixel image sensor, it is possible to reduce the processing load while suppressing image quality deterioration.

(第5の実施の形態)
次に、本発明の第5の実施形態について説明する。
(Fifth embodiment)
Next, a fifth embodiment of the present invention will be described.

図14は、本発明に係る撮像装置の第2の構成例を示すブロック図である。   FIG. 14 is a block diagram illustrating a second configuration example of the imaging apparatus according to the present invention.

第5の実施の形態の構成は、図14のようになっており、図1に示す第1の実施の形態に対して、フレームメモリ109と、IP変換部110が追加されている。   The configuration of the fifth embodiment is as shown in FIG. 14, and a frame memory 109 and an IP conversion unit 110 are added to the first embodiment shown in FIG.

第5の実施の形態では、第1の実施の形態と異なり、フィールド毎に、加算後の画素重心がずれるようにCMOSイメージセンサ102での加算読み出しを行う。また、第5の実施の形態では、第1の実施の形態と異なり、フレームメモリ109を介して、画素重心が異なる2フィールド分の画像を、IP変換部110でフレーム化して出力する。   In the fifth embodiment, unlike the first embodiment, addition reading is performed by the CMOS image sensor 102 so that the pixel centroid after the addition is shifted for each field. Also, in the fifth embodiment, unlike the first embodiment, images for two fields having different pixel centroids are framed by the IP conversion unit 110 and output via the frame memory 109.

以下では、上記の差異についてのみ説明し、それ以外については説明を省略する。   In the following, only the above differences will be described, and description of other parts will be omitted.

本実施の形態では、1フィールド毎に、CMOSイメージセンサ102からの加算読み出しの位相を変える。奇数フィールドのときは、第1の実施の形態と同様の加算読み出しを行うので説明を省略する。   In the present embodiment, the phase of addition reading from the CMOS image sensor 102 is changed for each field. In the case of an odd field, addition reading is performed in the same manner as in the first embodiment, and thus description thereof is omitted.

偶数フィールドのときは、読み出し後の位相が、奇数フィールドのときよりも1ライン上にシフトするよう、R、G、Bそれぞれの加算画素を切り替える。   In the even field, the R, G, and B addition pixels are switched so that the phase after readout is shifted up by one line compared to that in the odd field.

具体的には、偶数フィールドのとき、図15に示すように、Gは、L(2n−1)行目とL(2n)行目に存在し、斜め方向に隣接するGの2画素が加算されて読み出される。Rについては、L(2n−2)行目とL(2n)行目のRの画素が垂直方向に加算されて読み出される。Bについては、L(2n−1)行目とL(2n+1)行目のBの画素が垂直方向に加算されて読み出され、加算読み出し後の画素の重心は、図16のようになる。   Specifically, in the case of an even field, as shown in FIG. 15, G is present in the L (2n-1) and L (2n) rows, and two adjacent G pixels in the diagonal direction are added. And read. For R, the R pixels in the L (2n−2) th row and the L (2n) th row are added in the vertical direction and read out. With respect to B, the B pixels in the L (2n-1) and L (2n + 1) rows are added and read in the vertical direction, and the center of gravity of the pixel after the addition reading is as shown in FIG. Become.

図16において、Gの画素重心は市松状になっているが、R、Bの画素重心がGに対してずれており、原色ベイヤー配列となっていない。   In FIG. 16, the pixel centroids of G are checkered, but the R and B pixel centroids are shifted from G, and the primary color Bayer array is not formed.

そこで、位相補償部106において、R、Bの画素重心が、それぞれ、図16の矢印で示された画素位置にくるよう、位相補償が行われる。位相補償の具体的な処理としては、例えば、同色の画素を用いた内挿補間を行う。   Therefore, the phase compensation unit 106 performs phase compensation so that the R and B pixel centroids are respectively located at the pixel positions indicated by arrows in FIG. As specific processing for phase compensation, for example, interpolation using pixels of the same color is performed.

位相補償部106において、R、Bの画素に対して位相補償処理を行った後のR、G、Bの画素の重心は、図17のようになり、原色ベイヤー配列となる。   In the phase compensation unit 106, the centroids of the R, G, and B pixels after the phase compensation processing is performed on the R and B pixels are as shown in FIG.

また、図17に示す偶数フィールドの垂直方向の画素の重心は、L2(2n)に位置している。一方、奇数フィールドの位相補償処理後の画素の重心は、図4に示すように、L2(2n+1)に位置しており、偶数フィールドと奇数フィールドの垂直方向の画素の重心はインターレースの関係となる。   Further, the center of gravity of the pixels in the vertical direction of the even field shown in FIG. 17 is located at L2 (2n). On the other hand, the center of gravity of the pixel after the phase compensation processing in the odd field is located at L2 (2n + 1) as shown in FIG. 4, and the center of gravity of the pixel in the vertical direction of the even field and the odd field is interlaced. It becomes.

フレームメモリ109では、カメラ信号処理部107から出力される映像信号を1フィールド分遅延させる。IP変換部110では、カメラ信号処理部107から出力される現在のフィールドの映像信号と、フレームメモリ109で遅延された1フィールド前の映像信号を用いた補間処理により、フレーム画像を生成する。   In the frame memory 109, the video signal output from the camera signal processing unit 107 is delayed by one field. The IP conversion unit 110 generates a frame image by interpolation processing using the video signal of the current field output from the camera signal processing unit 107 and the video signal of the previous field delayed by the frame memory 109.

以上のように、本実施の形態では、CMOSイメージセンサ102上で同色の色フィルタが配置された2画素の信号を加算し、かつ、フィールド毎に加算する画素の組み合わせを変えて、読み出し後の画像がインターレース駆動となるようにする。   As described above, in the present embodiment, signals of two pixels in which color filters of the same color are arranged on the CMOS image sensor 102 are added, and the combination of pixels to be added is changed for each field, so that Make the image interlaced.

このとき、色毎に、加算される画素間の距離が最も短くなるよう加算画素を選択することにより、加算による解像度劣化を低減することができる。   At this time, by selecting the addition pixel so that the distance between the pixels to be added is the shortest for each color, it is possible to reduce resolution degradation due to the addition.

また、CMOSイメージセンサ102から加算読み出しした画像のR、B信号に対してのみ、位相補償処理を行い、解像感に最も寄与するG信号には位相補償処理を行わないようにするため、位相補償処理による解像度劣化を低減することができる。   In addition, the phase compensation process is performed only on the R and B signals of the image read out from the CMOS image sensor 102, and the phase compensation process is not performed on the G signal that contributes most to the resolution. Resolution degradation due to compensation processing can be reduced.

これにより、多画素イメージセンサを用いた撮像装置において、画質劣化を抑えながら、処理負荷の低減を図ることができる。   Thereby, in an imaging apparatus using a multi-pixel image sensor, it is possible to reduce the processing load while suppressing image quality deterioration.

(第6の実施の形態)
次に、本発明の第6の実施の形態について説明する。第6の実施の形態の構成は、図1に示す第1の実施の形態と同じであるので説明を省略する。
(Sixth embodiment)
Next, a sixth embodiment of the present invention will be described. The configuration of the sixth embodiment is the same as that of the first embodiment shown in FIG.

第6の実施の形態では、第1の実施の形態と異なり、CMOSイメージセンサ102が、図22に示すような、原色ハニカム配置となっている。   In the sixth embodiment, unlike the first embodiment, the CMOS image sensor 102 has a primary color honeycomb arrangement as shown in FIG.

以下では、上記の差異についてのみ説明し、それ以外については説明を省略する。   In the following, only the above differences will be described, and description of other parts will be omitted.

図18を参照しながら、原色ハニカム配列のCMOSイメージセンサ102上で、同色の2画素を加算して読み出す処理について説明する。   A process of adding and reading two pixels of the same color on the primary color honeycomb array CMOS image sensor 102 will be described with reference to FIG.

図18において、(a)は、原色ハニカム配列のCMOSイメージセンサ102について、Gの画素のみ表示しており、(b)は、原色ハニカム配列のCMOSイメージセンサ102について、RとBの画素のみ表示している。   18A shows only G pixels for the primary color honeycomb array CMOS image sensor 102, and FIG. 18B shows only R and B pixels for the primary color honeycomb array CMOS image sensor 102. doing.

CMOSイメージセンサ102に配置されている原色ハニカム配列の色フィルタは、図22に示すように、Gが正方格子状に配置され、R、Bは、Gの画素は位置に対して、斜め方向に0.5画素ずらした位置に、市松状に配置されている。   As shown in FIG. 22, the color filters of the primary color honeycomb array arranged in the CMOS image sensor 102 are arranged in a square lattice pattern of G, and R and B are arranged in a diagonal direction with respect to the position of G pixels. It is arranged in a checkered pattern at a position shifted by 0.5 pixels.

従って、Gの色フィルタが配置された画素について、最も画素間距離が短いのは垂直、水平方向であり、R、Bの色フィルタが配置された画素では、斜め方向の画素間距離が最も短い。   Therefore, for the pixels in which the G color filter is arranged, the distance between the pixels is the shortest in the vertical and horizontal directions, and in the pixels in which the R and B color filters are arranged, the distance between the pixels in the oblique direction is the shortest. .

本発明では、同色の画素を加算して読み出す際に、加算する画素間の距離が最も短くなるよう、加算する画素を選択することで、加算による解像度劣化の低減を図るので、Gについては、垂直方向に隣接するGの2画素を加算する。また、R、Bについては、斜め方向に隣接する同色の2画素を加算する。   In the present invention, when pixels of the same color are added and read out, by selecting the pixels to be added so that the distance between the pixels to be added is the shortest, resolution degradation due to the addition can be reduced. Two G pixels adjacent in the vertical direction are added. For R and B, two pixels of the same color adjacent in the diagonal direction are added.

具体的には、図18において、Gについては、L(2n)行目とL(2n+2)行目に存在し、垂直方向に隣接するGの2画素が加算されて読み出される。Rについては、L(2n+1)行目とL(2n+3)行目に存在し、斜め方向に隣接するRの画素が加算されて読み出される。Bについては、L(2n+1)行目とL(2n+3)行目に存在し、斜め方向に隣接するBの画素が加算されて読み出される。また、RとBについては、それぞれ、加算後の画素配置が市松状になるよう、加算する画素の組み合わせを行毎に変える。   Specifically, in FIG. 18, G exists in the L (2n) and L (2n + 2) rows, and two pixels of G adjacent in the vertical direction are added and read. R exists in the L (2n + 1) and L (2n + 3) rows, and R pixels adjacent in the diagonal direction are added and read. B exists in the L (2n + 1) and L (2n + 3) rows, and B pixels adjacent in the oblique direction are added and read. For R and B, the combination of pixels to be added is changed for each row so that the pixel arrangement after the addition becomes a checkered pattern.

例えば、図18(b)に示すように、RとBをそれぞれ斜め方向に加算する場合、L(1)行目とL(3)行目の同色の画素を、斜め45度方向に加算した後、L(5)行目とL(7)行目の同色の画素は、斜め135度方向に加算する。   For example, as shown in FIG. 18B, when adding R and B in the diagonal direction, pixels of the same color in the L (1) row and the L (3) row are added in the 45 ° diagonal direction. Thereafter, the pixels of the same color in the L (5) line and the L (7) line are added in a diagonal direction of 135 degrees.

上記のように同色の画素加算を行うと、R、G、Bについて、それぞれ、加算される画素間の距離が最も短くなり、かつ、加算後の画素配置が、Gについては、正方格子となり、R、Bについては、市松状になる。   When pixel addition of the same color is performed as described above, the distance between the pixels to be added is the shortest for each of R, G, and B, and the pixel arrangement after the addition is a square lattice for G. About R and B, it becomes a checkered pattern.

しかし、読み出し後の画素の重心は図19に示すように、R、G、Bの画素重心の位置関係が、原色ハニカムではなくなってしまっている。   However, as shown in FIG. 19, the center of gravity of the pixel after readout is such that the positional relationship of the R, G, and B pixel centroids is not the primary color honeycomb.

そこで、位相補償部106において、R、Bの画素重心が、それぞれ、図19の矢印で示された画素位置にくるよう、位相補償が行われる。位相補償の具体的な処理としては、例えば、同色の画素を用いた内挿補間を行う。   Therefore, the phase compensation unit 106 performs phase compensation so that the R and B pixel centroids are respectively located at the pixel positions indicated by arrows in FIG. As specific processing for phase compensation, for example, interpolation using pixels of the same color is performed.

位相補償部106において、R、Bの画素に対して位相補償処理を行った後のR、G、Bの画素の重心は、図20のようになり、原色ハニカム配列となる。   In the phase compensation unit 106, the center of gravity of the R, G, and B pixels after the phase compensation processing is performed on the R and B pixels is as shown in FIG.

また、前述したように、R、Bの画素は、センサ読み出し後の画素配置が市松状になるよう制御されているため、R、Bに対する位相補償の補償量は、図19に示したように、画素位置、及び、色フィルタの色によらず均一となる。これにより、画素単位の位相補償むらによる画質劣化を防ぐことができる。   Further, as described above, since the R and B pixels are controlled so that the pixel arrangement after sensor reading is in a checkered pattern, the compensation amount of phase compensation for R and B is as shown in FIG. The pixel position is uniform regardless of the color of the color filter. As a result, it is possible to prevent image quality degradation due to uneven pixel phase compensation.

以上のように、本実施の形態では、CMOSイメージセンサ102上で同色の色フィルタが配置された2画素の信号を加算して読み出す際に、色毎に、加算される画素間の距離が最も短くなるよう加算画素を選択する。これにより、加算による解像度劣化を低減することができる。   As described above, in this embodiment, when adding and reading signals of two pixels in which color filters of the same color are arranged on the CMOS image sensor 102, the distance between the added pixels is the largest for each color. The addition pixel is selected so as to be shortened. Thereby, resolution degradation due to addition can be reduced.

また、R、Bの画素について、斜め方向に同色の画素を加算して読み出す際、加算後の画素配置が市松状になるよう、行毎に加算する画素の組み合わせを変えている。そのため、後段の位相補償処理において、R、Bに対する位相補償のレベルが均一になり、画素毎の補償むらによる画質劣化を避けられる。   In addition, regarding the R and B pixels, when adding and reading out pixels of the same color in an oblique direction, the combination of pixels to be added is changed for each row so that the pixel arrangement after the addition becomes a checkered pattern. Therefore, in the subsequent phase compensation processing, the level of phase compensation for R and B becomes uniform, and image quality deterioration due to compensation unevenness for each pixel can be avoided.

また、CMOSイメージセンサ102から加算読み出しした画像のR、B信号に対してのみ、位相補償処理を行い、解像感に最も寄与するG信号には位相補償処理を行わないようにするため、位相補償処理による解像度劣化を低減することができる。   In addition, the phase compensation process is performed only on the R and B signals of the image read out from the CMOS image sensor 102, and the phase compensation process is not performed on the G signal that contributes most to the resolution. Resolution degradation due to compensation processing can be reduced.

これにより、多画素イメージセンサを用いた撮像装置において、画質劣化を抑えながら、処理負荷の低減を図ることができる。   Thereby, in an imaging apparatus using a multi-pixel image sensor, it is possible to reduce the processing load while suppressing image quality deterioration.

本発明に係る撮像装置の第1の構成例を示すブロック図である。It is a block diagram showing the 1st example of composition of the imaging device concerning the present invention. 図1のCMOSイメージセンサにおける第1の実施の形態の画素加算の概念図である。FIG. 2 is a conceptual diagram of pixel addition according to the first embodiment in the CMOS image sensor of FIG. 1. 図1のCMOSイメージセンサにおける第1の実施の形態の画素加算後の概念図である。FIG. 2 is a conceptual diagram after pixel addition of the first embodiment in the CMOS image sensor of FIG. 1. 図1のCMOSイメージセンサにおける第1の実施の形態の位相補償後の概念図である。It is a conceptual diagram after the phase compensation of 1st Embodiment in the CMOS image sensor of FIG. 図1のCMOSイメージセンサにおける第2の実施の形態の画素加算の概念図である。It is a conceptual diagram of the pixel addition of 2nd Embodiment in the CMOS image sensor of FIG. 図1のCMOSイメージセンサにおける第2の実施の形態の画素加算後の概念図である。It is a conceptual diagram after pixel addition of the second embodiment in the CMOS image sensor of FIG. 図1のCMOSイメージセンサにおける第2の実施の形態の位相補償後の概念図である。FIG. 5 is a conceptual diagram after phase compensation of the second embodiment in the CMOS image sensor of FIG. 1. 図1のCMOSイメージセンサにおける第3の実施の形態の画素加算の概念図である。It is a conceptual diagram of the pixel addition of 3rd Embodiment in the CMOS image sensor of FIG. 図1のCMOSイメージセンサにおける第3の実施の形態の画素加算後の概念図である。It is a conceptual diagram after pixel addition of the third embodiment in the CMOS image sensor of FIG. 図1のCMOSイメージセンサにおける第3の実施の形態の位相補償後の概念図である。FIG. 7 is a conceptual diagram after phase compensation of the third embodiment in the CMOS image sensor of FIG. 1. 図1のCMOSイメージセンサにおける第4の実施の形態の画素加算の概念図である。It is a conceptual diagram of the pixel addition of 4th Embodiment in the CMOS image sensor of FIG. 図1のCMOSイメージセンサにおける第4の実施の形態の画素加算後の概念図である。It is a conceptual diagram after the pixel addition of 4th Embodiment in the CMOS image sensor of FIG. 図1のCMOSイメージセンサにおける第4の実施の形態の位相補償後の概念図である。It is a conceptual diagram after phase compensation of the fourth embodiment in the CMOS image sensor of FIG. 本発明に係る撮像装置の第2の構成例を示すブロック図である。It is a block diagram which shows the 2nd structural example of the imaging device which concerns on this invention. 図1のCMOSイメージセンサにおける第5の実施の形態の画素加算の概念図である。It is a conceptual diagram of the pixel addition of 5th Embodiment in the CMOS image sensor of FIG. 図1のCMOSイメージセンサにおける第5の実施の形態の画素加算後の概念図である。FIG. 10 is a conceptual diagram after pixel addition in the fifth embodiment in the CMOS image sensor of FIG. 1. 図1のCMOSイメージセンサにおける第5の実施の形態の位相補償後の概念図である。It is a conceptual diagram after the phase compensation of 5th Embodiment in the CMOS image sensor of FIG. 図1のCMOSイメージセンサにおける第6の実施の形態の画素加算の概念図である。It is a conceptual diagram of the pixel addition of 6th Embodiment in the CMOS image sensor of FIG. 図1のCMOSイメージセンサにおける第6の実施の形態の画素加算後の概念図である。It is a conceptual diagram after the pixel addition of 6th Embodiment in the CMOS image sensor of FIG. 図1のCMOSイメージセンサにおける第6の実施の形態の位相補償後の概念図である。It is a conceptual diagram after the phase compensation of 6th Embodiment in the CMOS image sensor of FIG. CMOSイメージセンサにおける原色ベイヤー配列の概念図である。It is a conceptual diagram of a primary color Bayer arrangement in a CMOS image sensor. CMOSイメージセンサにおける原色ハニカム配列の概念図である。It is a conceptual diagram of the primary color honeycomb arrangement in the CMOS image sensor.

符号の説明Explanation of symbols

101 結像レンズ
102 CMOSイメージセンサ
103 ADC
104 SSG
105 CPU
106 位相補償部
107 カメラ信号処理部
108 映像信号出力端子
109 フレームメモリ
110 IP変換部
101 imaging lens 102 CMOS image sensor 103 ADC
104 SSG
105 CPU
106 phase compensation unit 107 camera signal processing unit 108 video signal output terminal 109 frame memory 110 IP conversion unit

Claims (5)

複数色の色フィルタが、当該複数色の色フィルタのうち少なくとも1種類の色フィルタが同色の色フィルタと隣り合わないように、規則的に2次元配置された撮像素子と、
前記撮像素子上で同色の色フィルタが配置された複数の画素の信号を加算して読み出す読み出し手段と、
前記撮像素子から読み出された信号の位相補償を行う位相補償手段とを備え、
前記読み出し手段は、前記色フィルタの色毎に、画素間の距離が最短となる画素を加算して読み出し、
前記位相補償手段は、前記色フィルタの色毎に異なる前記位相補償を行うことを特徴とする撮像装置。
An image sensor regularly arranged in a two-dimensional manner so that at least one of the color filters of the plurality of colors is not adjacent to the color filter of the same color ;
Reading means for adding and reading signals of a plurality of pixels in which color filters of the same color are arranged on the image sensor;
Phase compensation means for performing phase compensation of the signal read from the image sensor,
The readout means adds and reads out the pixel having the shortest distance between the pixels for each color of the color filter,
The imaging apparatus according to claim 1, wherein the phase compensation unit performs the phase compensation different for each color of the color filter.
前記位相補償手段は、前記複数色の色フィルタのうち加算する画素間の距離が最短となる色フィルタについては、前記撮像素子から読み出された信号の位相補償を行わないことを特徴とする請求項1に記載の撮像装置。The phase compensation means does not perform phase compensation of a signal read from the image sensor for a color filter having a shortest distance between pixels to be added among the color filters of the plurality of colors. Item 2. The imaging device according to Item 1. 前記読み出し手段は、前記撮像素子上で同色の色フィルタが配置された前記複数の画素の信号を加算して読み出す際に、前記複数色の色フィルタのうち加算する画素間の距離が最短となる色フィルタについては、加算後の画素重心の配列パターンが当該色フィルタの配列パターンと等しくなるよう、加算する画素を選択することを特徴とする請求項1または2に記載の撮像装置。When the reading means adds and reads the signals of the plurality of pixels in which color filters of the same color are arranged on the image sensor, the distance between the pixels to be added among the color filters of the plurality of colors becomes the shortest. 3. The image pickup apparatus according to claim 1, wherein for the color filter, the pixel to be added is selected so that the array pattern of the pixel centroid after the addition is equal to the array pattern of the color filter. 前記撮像素子は、前記複数色の色フィルタのうち加算する画素間の距離が最短となる色フィルタがGの色フィルタとなるように配置されていることを特徴とする請求項1ないし3のいずれか1項に記載の撮像装置。4. The image pickup device according to claim 1, wherein the color filter having the shortest distance between pixels to be added among the plurality of color filters is a G color filter. 5. The imaging apparatus of Claim 1. 前記読み出し手段は、前記撮像素子上で同色の色フィルタが配置された前記複数の画素の信号を加算して読み出す際に、少なくとも1種類の色フィルタについては、加算後の画素重心がオフセットサンプリングとなるよう、加算する画素を選択することを特徴とする請求項1ないし4のいずれか1項に記載の撮像装置。 It said reading means, when adding and reading signals of the plurality of pixels in which the color filters of the same color on the image pickup elements are arranged, and at least one kind of color filter, a pixel centroid after the addition is an offset sampling and so as, imaging apparatus according to any one of claims 1 to 4, characterized in that selecting the pixels to be added.
JP2008289866A 2008-11-12 2008-11-12 Imaging device Active JP5404006B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008289866A JP5404006B2 (en) 2008-11-12 2008-11-12 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008289866A JP5404006B2 (en) 2008-11-12 2008-11-12 Imaging device

Publications (2)

Publication Number Publication Date
JP2010118839A JP2010118839A (en) 2010-05-27
JP5404006B2 true JP5404006B2 (en) 2014-01-29

Family

ID=42306214

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008289866A Active JP5404006B2 (en) 2008-11-12 2008-11-12 Imaging device

Country Status (1)

Country Link
JP (1) JP5404006B2 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000069491A (en) * 1998-08-19 2000-03-03 Nikon Corp Image pickup element and image pickup device using the same
JP3501694B2 (en) * 1999-07-21 2004-03-02 キヤノン株式会社 Imaging device and imaging system using the same
JP2004147092A (en) * 2002-10-24 2004-05-20 Canon Inc Signal processing device, imaging device, and control method
JP4826071B2 (en) * 2004-07-01 2011-11-30 ソニー株式会社 Physical information acquisition method, physical information acquisition device, and semiconductor device for physical quantity distribution detection
JP5053654B2 (en) * 2007-02-09 2012-10-17 オリンパスイメージング株式会社 Image processing apparatus and method and electronic camera

Also Published As

Publication number Publication date
JP2010118839A (en) 2010-05-27

Similar Documents

Publication Publication Date Title
KR101696463B1 (en) Solid-state imaging device, signal processing method thereof and image capturing apparatus
JP5453173B2 (en) Imaging device, solid-state imaging device having phase difference detection pixel, and driving control method of imaging device
KR20100066396A (en) Solid-state imaging device, method for processing signal of solid-state imaging device, and imaging apparatus
WO2011058814A1 (en) Imaging element, drive device for an imaging element, drive method for an imaging element, image processing device, program, and imaging device
JP5423125B2 (en) Solid-state imaging device, driving method thereof, and camera system
JP5075934B2 (en) Solid-state imaging device and image recording device
JP5597777B2 (en) Color imaging device and imaging apparatus
US20110261241A1 (en) Image sensing apparatus and image capturing system
JP5526287B2 (en) Imaging apparatus and imaging method
JP2007129581A (en) Image pickup device and image pickup system
JP2009117979A (en) Method of driving solid-state imaging device
WO2013100093A1 (en) Imaging device, method for controlling imaging device, and control program
WO2010090167A1 (en) Solid state imaging device
JP6137539B2 (en) Solid-state imaging device, driving method thereof, and electronic apparatus
JP2009055321A (en) Imaging device and method of driving ccd solid image sensor
EP2680590B1 (en) Color image pick-up element
JP5404006B2 (en) Imaging device
CN114679551A (en) Solid-state imaging device, signal processing method for solid-state imaging device, and electronic apparatus
JP5124549B2 (en) Moving image signal readout method and imaging apparatus for solid-state imaging device
JP5624228B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND CONTROL PROGRAM
JP2007235888A (en) Single-ccd color solid-state imaging element and imaging apparatus
JP2008099072A (en) Solid state imaging apparatus, driving method thereof, and imaging apparatus
TWI795895B (en) Solid-state imaging device, solid-state imaging device manufacturing method, and electronic apparatus
JP2009089205A (en) Solid-state imaging apparatus
JP4848349B2 (en) Imaging apparatus and solid-state imaging device driving method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131029

R151 Written notification of patent or utility model registration

Ref document number: 5404006

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151