JP4952548B2 - Noise detection device, imaging device, and noise detection method - Google Patents

Noise detection device, imaging device, and noise detection method Download PDF

Info

Publication number
JP4952548B2
JP4952548B2 JP2007310861A JP2007310861A JP4952548B2 JP 4952548 B2 JP4952548 B2 JP 4952548B2 JP 2007310861 A JP2007310861 A JP 2007310861A JP 2007310861 A JP2007310861 A JP 2007310861A JP 4952548 B2 JP4952548 B2 JP 4952548B2
Authority
JP
Japan
Prior art keywords
signal
noise
column
reference value
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007310861A
Other languages
Japanese (ja)
Other versions
JP2009135787A (en
Inventor
大介 来馬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007310861A priority Critical patent/JP4952548B2/en
Publication of JP2009135787A publication Critical patent/JP2009135787A/en
Application granted granted Critical
Publication of JP4952548B2 publication Critical patent/JP4952548B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、固体撮像素子からの出力信号からノイズを検出するノイズ検出装置、そのような機能を備えた撮像装置、およびノイズ検出方法に関し、特に、XYアドレス走査型の固体撮像素子を用いた場合に好適なノイズ検出装置、撮像装置、およびノイズ検出方法に関する。   The present invention relates to a noise detection device that detects noise from an output signal from a solid-state imaging device, an imaging device having such a function, and a noise detection method, and particularly, when an XY address scanning type solid-state imaging device is used. The present invention relates to a noise detection device, an imaging device, and a noise detection method suitable for the above.

デジタル方式の撮像装置では、撮像装置上にオプティカルブラック(OPB)領域と呼ばれる遮光された領域を設けておき、このOPB領域からの出力信号を基に有効画像領域の出力信号を補正することが行われている。その代表的な例としては、撮像時にOPB領域からの出力レベルの加算値や平均値などを検波し、その検波結果を用いて有効画像領域のデータの黒レベルを合わせる方法が知られている。   In a digital imaging apparatus, a light-shielded area called an optical black (OPB) area is provided on the imaging apparatus, and an output signal of an effective image area is corrected based on an output signal from the OPB area. It has been broken. As a typical example, there is known a method of detecting an added value or an average value of the output level from the OPB area at the time of imaging and matching the black level of the data in the effective image area using the detection result.

また、特にCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサなどのXYアドレス走査型の撮像素子を用いた場合には、有効画像領域に対して垂直方向に隣接するOPB領域(VOPB領域)での検波結果を用いて、カラムごとの特性バラツキによって生じる縦筋ノイズを除去する方法が提案されている。このような例として、VOPB領域の出力信号から欠陥画素を検出し、それらの欠陥画素を除いた画素からの出力信号を用いることで、縦筋ノイズを精度よく除去するようにしたものがあった(例えば、特許文献1参照)。
特開2006−25148号公報
In particular, when an XY address scanning type imaging device such as a CMOS (Complementary Metal-Oxide Semiconductor) image sensor is used, the detection result in the OPB region (VOPB region) adjacent to the effective image region in the vertical direction. A method has been proposed for removing vertical streak noise caused by variation in the characteristics of each column. As an example of this, there has been one in which defective pixels are detected from the output signal of the VOPB region, and the vertical streak noise is accurately removed by using the output signals from the pixels excluding those defective pixels. (For example, refer to Patent Document 1).
JP 2006-25148 A

ところで、XYアドレス操作側の撮像素子では、カラムごとにA/DコンバータやCDS(Correlated Double Sampling)回路が設けられたものがある。そして、このような構成の撮像素子では、ある特定のカラムの出力段から出力される画素データが、画素ごとにランダムにバラツキを持つ現象が発見されている。この現象は、バラツキが出現するカラムは決まっているものの、そのカラム内のどこでどのタイミングでデータのバラツキが発生するのかがわからないといったものであり、その発生原因は、カラムの出力段に設けられたA/Dコンバータなどのトランジスタの動作に依存するものと考えられている。   By the way, some image sensors on the XY address operation side are provided with an A / D converter and a CDS (Correlated Double Sampling) circuit for each column. In the imaging device having such a configuration, a phenomenon has been found in which pixel data output from an output stage of a specific column has a random variation for each pixel. This phenomenon is that the column where the variation appears is fixed, but it is not known where and when the data variation occurs in the column. The cause of the occurrence is provided at the output stage of the column. It is considered to depend on the operation of a transistor such as an A / D converter.

この現象では、特に暗電流が少ない高ゲイン時の画像において、レベルのバラツキが目立ってしまうため、バラツキを適切に補正することが望まれている。しかし、バラツキが発生したカラムでは、そのカラムにおける画素レベルの出現頻度のピークよりレベルが高い画素と低い画素とがほぼ同じ数だけ発生するため、従来のように、そのカラムのVOPB領域における画素データの加算値や平均値を基に検出しようとすると、バラツキが埋もれてしまって精度よく検出できないという問題があった。   In this phenomenon, the level variation becomes conspicuous particularly in an image at a high gain with a small dark current, and therefore it is desired to appropriately correct the variation. However, in the column where the variation occurs, almost the same number of pixels that are higher and lower than the peak of the appearance frequency of the pixel level in the column are generated, so that the pixel data in the VOPB area of the column is conventionally generated. When trying to detect based on the added value or the average value, there is a problem that the variation is buried and it cannot be detected accurately.

本発明はこのような点に鑑みてなされたものであり、XYアドレス走査型の固体撮像素子の特定のカラムからの出力信号に発生するランダムノイズを精度よく検出することが可能なノイズ検出装置、撮像装置、およびノイズ検出方法を提供することを目的とする。   The present invention has been made in view of such points, and a noise detection apparatus capable of accurately detecting random noise generated in an output signal from a specific column of an XY address scanning type solid-state imaging device, An object is to provide an imaging device and a noise detection method.

本発明では上記課題を解決するために、XYアドレス走査型の固体撮像素子からの出力信号からノイズを検出するノイズ検出装置において、前記固体撮像素子上で入射光を受光する有効画像領域からの出力信号を取り込む前に、前記固体撮像素子のカラムごとの出力信号系統に前記固体撮像素子への入射光に応じた信号成分を含まないように出力させた黒ダミー信号を、前記固体撮像素子上のライン単位で取り込む信号取り込み部と、前記黒ダミー信号の信号レベルの平均値に対応する基準値を取得する基準値取得部と、前記信号取り込み部から所定ライン数分の前記黒ダミー信号の入力を受け付け、当該黒ダミー信号のカラムごとの信号レベルと、前記基準値取得部からの前記基準値とを基に、ランダムノイズが発生しているカラムを判定するノイズ判定部と、を有することを特徴とするノイズ検出装置が提供される。   In the present invention, in order to solve the above-described problem, in a noise detection apparatus that detects noise from an output signal from an XY address scanning type solid-state imaging device, an output from an effective image region that receives incident light on the solid-state imaging device. Before capturing the signal, a black dummy signal is output on the solid-state image sensor so that the output signal system for each column of the solid-state image sensor does not include a signal component corresponding to light incident on the solid-state image sensor. A signal capturing unit that captures in line units, a reference value acquiring unit that acquires a reference value corresponding to an average value of the signal level of the black dummy signal, and inputs of the black dummy signal for a predetermined number of lines from the signal capturing unit Accept and determine the column in which random noise is generated based on the signal level for each column of the black dummy signal and the reference value from the reference value acquisition unit That the noise determination section, the noise detection apparatus characterized by having provided.

このようなノイズ検出装置では、固体撮像素子上で入射光を受光する有効画像領域からの出力信号を取り込む前に、固体撮像素子のカラムごとの出力信号系統に固体撮像素子への入射光に応じた信号成分を含まないように出力させた黒ダミー信号が、信号取り込み部によって固体撮像素子上のライン単位で取り込まれる。基準値取得部は、この黒ダミー信号の信号レベルの平均値に対応する基準値を取得する。ノイズ判定部は、信号取り込み部から所定ライン数分の黒ダミー信号の入力を受け付け、この黒ダミー信号のカラムごとの信号レベルと、基準値取得部からの基準値とを基に、ランダムノイズが発生しているカラムを判定する。   In such a noise detection apparatus, before capturing an output signal from an effective image area that receives incident light on the solid-state image sensor, the output signal system for each column of the solid-state image sensor responds to the incident light to the solid-state image sensor. The black dummy signal output so as not to include the signal component is captured in units of lines on the solid-state imaging device by the signal capturing unit. The reference value acquisition unit acquires a reference value corresponding to the average value of the signal levels of the black dummy signal. The noise determination unit receives input of a black dummy signal for a predetermined number of lines from the signal capturing unit, and random noise is generated based on the signal level for each column of the black dummy signal and the reference value from the reference value acquisition unit. Determine which column is occurring.

本発明のノイズ検出装置によれば、黒ダミー信号の信号レベルの平均値に対応する基準値と、入力された黒ダミー信号のカラムごとの信号レベルとを用いることで、固体撮像素子への入射光に応じた信号成分を含まないように出力された信号におけるカラムごとの信号レベルのバラツキ度合いを解析できるようになり、これによって、ランダムノイズが発生しているカラムを正確に検出できる。   According to the noise detection device of the present invention, by using the reference value corresponding to the average value of the signal level of the black dummy signal and the signal level for each column of the input black dummy signal, the incident on the solid-state imaging device. It becomes possible to analyze the degree of variation in the signal level for each column in the output signal so as not to include a signal component corresponding to light, and thereby it is possible to accurately detect a column in which random noise is generated.

以下、本発明の実施の形態を、図面を参照して詳細に説明する。
図1は、実施の形態に係る撮像装置の要部構成を示すブロック図である。
図1に示す撮像装置は、デジタルスチルカメラあるいはデジタルビデオカメラなどとして実現されるものである。この撮像装置は、カメラブロック11、画像処理部12、SDRAM(Synchronous Dynamic Random Access Memory)13、表示部14、制御部15、フラッシュメモリ16、外部メモリコントローラ17、および操作部18を具備する。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram showing a main configuration of an imaging apparatus according to the embodiment.
The imaging apparatus shown in FIG. 1 is realized as a digital still camera or a digital video camera. The imaging apparatus includes a camera block 11, an image processing unit 12, an SDRAM (Synchronous Dynamic Random Access Memory) 13, a display unit 14, a control unit 15, a flash memory 16, an external memory controller 17, and an operation unit 18.

カメラブロック11には、被写体からの入射光を電気信号に変換するための撮像素子11aが設けられている。本実施の形態では、撮像素子11aとして、CMOSイメージセンサなどのXYアドレス走査型の固体撮像素子が用いられる。カメラブロック11にはさらに、被写体からの光を撮像素子11aに集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構、撮像素子11aを駆動するためのTG(Timing Generator)、撮像素子の各画素からの出力信号をデジタル信号に変換するA/Dコンバータの回路などが設けられている。これらの機能は、制御部15からの制御の下で動作する。   The camera block 11 is provided with an image sensor 11a for converting incident light from a subject into an electrical signal. In the present embodiment, an XY address scanning solid-state image sensor such as a CMOS image sensor is used as the image sensor 11a. The camera block 11 further drives a lens for condensing light from the subject onto the image sensor 11a, a drive mechanism for moving the lens to perform focusing and zooming, a shutter mechanism, an iris mechanism, and the image sensor 11a. For example, a TG (Timing Generator), an A / D converter circuit for converting an output signal from each pixel of the image sensor into a digital signal, and the like are provided. These functions operate under the control of the control unit 15.

画像処理部12は、カメラブロック11から出力された画像信号に対して、AF(Auto Focus)、AE(Auto Exposure)、各種画質補正処理のための検波処理や、検波情報に基づく制御部15からの制御信号に応じた画素補間・混合・画質補正などの信号処理を施す。さらに、信号処理後の画像信号をY/Cb/Crなどの信号に変換して圧縮符号化処理を施し、記録用の画像ファイルを作成する。また、表示用の画像信号を生成して、表示部14に出力する。なお、本実施の形態では、後述するノイズ検出・補正機能は、この画像処理部12に設けられる。   The image processing unit 12 performs detection processing for AF (Auto Focus), AE (Auto Exposure), various image quality correction processing on the image signal output from the camera block 11, and the control unit 15 based on detection information. Signal processing such as pixel interpolation, mixing, and image quality correction according to the control signal is performed. Further, the image signal after signal processing is converted into a signal such as Y / Cb / Cr and subjected to compression encoding processing to create an image file for recording. Further, an image signal for display is generated and output to the display unit 14. In the present embodiment, a noise detection / correction function, which will be described later, is provided in the image processing unit 12.

この画像処理部12の動作は、制御部15によって制御される。また、画像処理部12の処理で必要なパラメータなどのデータは、基本的にフラッシュメモリ16に格納されており、これらのデータが必要に応じてSDRAM13に読み込まれる。画像処理部12は、このSDRAM13をバッファとして使用しながら動作する。   The operation of the image processing unit 12 is controlled by the control unit 15. In addition, data such as parameters necessary for the processing of the image processing unit 12 is basically stored in the flash memory 16, and these data are read into the SDRAM 13 as necessary. The image processing unit 12 operates while using the SDRAM 13 as a buffer.

表示部14は、例えばLCD(Liquid Crystal Display)などからなり、画像処理部12から出力される画像信号を基に画像を表示する。
制御部15は、CPU(Central Processing Unit)や、RAM(Random Access Memory)などのメモリを備えるマイクロコンピュータとして構成される。この制御部15は、フラッシュメモリ16などに格納されたプログラムを実行することで、この撮像装置を統括的に制御する。
The display unit 14 includes, for example, an LCD (Liquid Crystal Display), and displays an image based on an image signal output from the image processing unit 12.
The control unit 15 is configured as a microcomputer including a memory such as a CPU (Central Processing Unit) and a RAM (Random Access Memory). The control unit 15 performs overall control of the imaging apparatus by executing a program stored in the flash memory 16 or the like.

外部メモリコントローラ17は、この撮像装置に装着される可搬型の外部メモリ17aに対するデータの読み書きを制御する。外部メモリ17aとしては、例えば、フラッシュメモリからなるメモリカードが適用される。この外部メモリ17aには、画像処理部12によって生成された画像ファイルなどが書き込まれる。なお、画像ファイルを記録する可搬型記録媒体としては、他に、磁気テープ、光ディスクなどを利用してもよい。あるいは、HDD(Hard Disk Drive)が用いられてもよい。   The external memory controller 17 controls reading and writing of data with respect to the portable external memory 17a attached to the imaging apparatus. As the external memory 17a, for example, a memory card composed of a flash memory is applied. In the external memory 17a, an image file generated by the image processing unit 12 is written. In addition, as a portable recording medium for recording an image file, a magnetic tape, an optical disk, or the like may be used. Alternatively, an HDD (Hard Disk Drive) may be used.

操作部18は、各種の入力スイッチを備え、これらの入力スイッチに対するユーザによる操作入力に応じた制御信号を、制御部15に出力する。
上記構成の撮像装置では、撮像素子11aによって受光されて光電変換された信号が、デジタル画像信号に変換されて、画像処理部12に順次供給される。画像処理部12は、カメラブロック11から供給された画像信号を画質補正処理し、処理後の画像信号は表示用の画像信号に変換されて、表示部14に供給される。これにより表示部14のディスプレイには、現在撮像中の画像(モニタリング画像)が表示され、撮影者はこの画像を視認して画角を確認できるようになる。
The operation unit 18 includes various input switches, and outputs a control signal corresponding to an operation input by the user to these input switches to the control unit 15.
In the imaging apparatus having the above configuration, a signal received and photoelectrically converted by the imaging element 11a is converted into a digital image signal and sequentially supplied to the image processing unit 12. The image processing unit 12 performs image quality correction processing on the image signal supplied from the camera block 11, and the processed image signal is converted into a display image signal and supplied to the display unit 14. As a result, the currently captured image (monitoring image) is displayed on the display of the display unit 14, and the photographer can view the image and check the angle of view.

また、この状態から、操作部18のシャッタレリーズボタンが押下されることなどにより、制御部15に対して画像の記録が指示されると、画像処理部12は、画質補正後の画像信号を圧縮符号化処理して画像ファイルを生成する。生成された画像ファイルは、制御部15および外部メモリコントローラ17を介して、外部メモリ17aに格納される。画像処理部12では、静止画像の記録の際には、入力された1フレーム分の画像信号を基に画像ファイルが生成され、動画像の記録の際には、入力される画像信号に対して連続的に圧縮符号化処理が施される。   In this state, when the control unit 15 is instructed to record an image by pressing the shutter release button of the operation unit 18, the image processing unit 12 compresses the image signal after the image quality correction. An image file is generated by encoding processing. The generated image file is stored in the external memory 17a via the control unit 15 and the external memory controller 17. The image processing unit 12 generates an image file based on the input image signal for one frame when recording a still image. When recording a moving image, the image processing unit 12 The compression encoding process is continuously performed.

図2は、カメラブロックにおける撮像素子およびその周辺回路の構成例を示す図である。
この図2では、撮像素子11aとしてCMOSイメージセンサが用いられた場合について示している。また、この例ではいわゆるベイヤ配列で色フィルタを配置しており、各画素のフォトダイオード101には、色フィルタの成分を示す“R”“Gr”“Gb”“B”の文字を記載している。
FIG. 2 is a diagram illustrating a configuration example of the image sensor and its peripheral circuits in the camera block.
FIG. 2 shows a case where a CMOS image sensor is used as the image sensor 11a. In this example, color filters are arranged in a so-called Bayer arrangement, and the letters “R”, “Gr”, “Gb”, and “B” indicating the components of the color filters are described on the photodiode 101 of each pixel. Yes.

撮像素子11aにおいて、マトリクス状に配置された各画素の画素回路は、主に、光電変換により生成された電荷を蓄積するフォトダイオード101と、フォトダイオード101からの出力信号を増幅する増幅アンプ102と、増幅された信号の転送を制御する転送回路103とから構成される。また、転送回路103の出力は、カラム(列)転送線104に接続されている。転送回路103は、垂直走査回路105からライン(行)選択線106を通じて供給される制御電圧に応じて、信号の転送を行う。すなわち、ライン選択線106に制御電圧が印加されると、同じラインの各画素回路の転送回路103がオンになり、フォトダイオード101からの出力信号がカラム転送線104に出力される。垂直走査回路105により、受光面の上側から順にライン選択線106に制御電圧が印加されることで、各ラインの画素回路からの出力信号がカラム転送線104に順次出力される。   In the imaging device 11a, the pixel circuit of each pixel arranged in a matrix mainly includes a photodiode 101 that accumulates charges generated by photoelectric conversion, and an amplification amplifier 102 that amplifies an output signal from the photodiode 101. The transfer circuit 103 controls the transfer of the amplified signal. The output of the transfer circuit 103 is connected to a column transfer line 104. The transfer circuit 103 transfers signals in accordance with the control voltage supplied from the vertical scanning circuit 105 through the line (row) selection line 106. That is, when a control voltage is applied to the line selection line 106, the transfer circuit 103 of each pixel circuit on the same line is turned on, and an output signal from the photodiode 101 is output to the column transfer line 104. By applying a control voltage to the line selection line 106 in order from the upper side of the light receiving surface by the vertical scanning circuit 105, an output signal from the pixel circuit of each line is sequentially output to the column transfer line 104.

また、この図2の例では、各カラム転送線104の出力段にA/D変換回路110が個別に設けられた、いわゆるカラムA/D方式の回路が構成されている。A/D変換回路110は、カラム転送線104の電圧を基準電圧Vrefと比較する比較器111と、比較器111の出力をカウントするカウンタ112と、カウンタ112の出力をラッチするラッチ回路113などを備えており、カラム転送線104に転送された各画素回路からの出力信号をデジタル信号に変換する。なお、ここではカラムごとにA/D変換回路が設けられた例を示したが、CDS(Correlated Double Sampling)回路がカラムごとに設けられたり、あるいは、A/D変換回路とCDS回路の両方がカラムごとに設けられてもよい。   In the example of FIG. 2, a so-called column A / D circuit is provided in which an A / D conversion circuit 110 is individually provided at the output stage of each column transfer line 104. The A / D conversion circuit 110 includes a comparator 111 that compares the voltage of the column transfer line 104 with the reference voltage Vref, a counter 112 that counts the output of the comparator 111, a latch circuit 113 that latches the output of the counter 112, and the like. The output signal from each pixel circuit transferred to the column transfer line 104 is converted into a digital signal. Although an example in which an A / D conversion circuit is provided for each column is shown here, a CDS (Correlated Double Sampling) circuit is provided for each column, or both the A / D conversion circuit and the CDS circuit are provided. It may be provided for each column.

A/D変換回路110からの出力信号は、カラム選択回路121を介して出力信号線122に出力され、さらに出力アンプ123によって増幅された後、画像処理部12に出力される。各カラムのカラム選択回路121は、水平走査回路124からのカラム選択線125を通じて供給される制御電圧に応じて、信号の出力を制御する。すなわち、水平走査回路124により、受光面の左側から順にカラム選択線125に制御電圧が印加されることで、各カラムにおける同じラインの画素回路からの出力信号が出力信号線122に順次出力される。   An output signal from the A / D conversion circuit 110 is output to the output signal line 122 via the column selection circuit 121, further amplified by the output amplifier 123, and then output to the image processing unit 12. The column selection circuit 121 for each column controls signal output in accordance with a control voltage supplied through the column selection line 125 from the horizontal scanning circuit 124. That is, by applying a control voltage to the column selection line 125 in order from the left side of the light receiving surface by the horizontal scanning circuit 124, output signals from pixel circuits on the same line in each column are sequentially output to the output signal line 122. .

図3は、撮像素子の受光素子領域の構成を概略的に示す図である。
この図3に示すように、撮像素子11aの受光素子領域150には、入射光を受光する有効画像領域151と、この有効画像領域151の垂直方向側および水平方向側にそれぞれ隣接したOPB領域であるVOPB領域152およびHOPB領域153とが形成されている。これらのうち、VOPB領域152およびHOPB領域153はともに遮光されており、これらの領域から出力される、入射光に応じた信号成分を含まない画素信号は、主に、画像処理部12での黒レベルの補正のために用いられる。また、後述するように本実施の形態では、VOPB領域152から出力される画素信号は、カラムごとのノイズ検出のためにも用いられる。なお、画像処理部12によって生成される画像ファイルや表示用画像信号は、図中の有効画像領域151からの画素信号を基に生成される。
FIG. 3 is a diagram schematically showing the configuration of the light receiving element region of the imaging element.
As shown in FIG. 3, the light receiving element region 150 of the image sensor 11a includes an effective image region 151 that receives incident light, and an OPB region that is adjacent to the effective image region 151 on the vertical and horizontal sides. A certain VOPB region 152 and a HOPB region 153 are formed. Among these, the VOPB region 152 and the HOPB region 153 are both shielded from light, and the pixel signals that are output from these regions and do not contain a signal component corresponding to incident light are mainly black in the image processing unit 12. Used for level correction. As will be described later, in this embodiment, the pixel signal output from the VOPB region 152 is also used for noise detection for each column. The image file and display image signal generated by the image processing unit 12 are generated based on the pixel signal from the effective image area 151 in the drawing.

[第1の実施の形態]
次に、撮像素子11aおよびその周辺回路において発生するランダムノイズを除去するための処理機能について説明する。本実施の形態では、この処理機能は画像処理部12に設けられるものとする。また、ここで除去の対象とするランダムノイズは、上記のようにXYアドレス走査方式の撮像素子を使用し、かつ、カラムごとにA/D変換回路やCDS回路を設けた構成を適用した場合に、特定のカラムにおいてランダムに発生するものである。以下、このようなノイズを“カラムランダムノイズ”と呼ぶことにする。
[First Embodiment]
Next, a processing function for removing random noise generated in the image sensor 11a and its peripheral circuits will be described. In the present embodiment, this processing function is provided in the image processing unit 12. In addition, the random noise to be removed here is obtained when an XY address scanning image sensor is used as described above, and an A / D conversion circuit or CDS circuit is provided for each column. , Which occurs randomly in a particular column. Hereinafter, such noise is referred to as “column random noise”.

このカラムランダムノイズは、主に、撮像素子の出力段に設けられたトランジスタで発生すると考えられている。具体的には、図2に示したA/D変換回路110のように、カラム転送線の出力段にカラムごとに設けられたA/D変換回路やCDS回路の内部のトランジスタにおいて発生すると考えられている。   This column random noise is considered to occur mainly in a transistor provided in the output stage of the image sensor. Specifically, it is considered that this occurs in an A / D conversion circuit provided for each column at the output stage of the column transfer line or a transistor inside the CDS circuit, like the A / D conversion circuit 110 shown in FIG. ing.

本実施の形態では、基本的に、例えばVOPB領域152からの出力信号など、入射光の影響を受けていない信号を基に、カラムランダムノイズの発生の有無および発生レベルを検出し、この検出結果に基づき、有効画像領域151からの出力信号のうち、ノイズが発生したカラムからの出力信号を補正する。   In the present embodiment, basically, the presence / absence and generation level of column random noise are detected based on a signal that is not affected by incident light, such as an output signal from the VOPB region 152, and the detection result. Based on the above, the output signal from the column in which noise is generated is corrected among the output signals from the effective image area 151.

ただし、このようなカラムランダムノイズは、それぞれのカラムに出現するか否か、出現する場合でもそのカラム内のどの画素にどのようなレベルで出現するかを、予測できない。このため、カラムランダムノイズの発生の有無やそのレベルを検出するためには、すべてのカラムからの出力信号を検波する必要があるだけでなく、各カラムにおける垂直方向に対してもできるだけ多くの画素の信号を検波することが望ましい。例えば、カラムランダムノイズが発生したカラムであっても、数ライン程度の画素信号を検波するだけではノイズの発生画素を含まない可能性がある。   However, it is impossible to predict whether such column random noise will appear in each column, and even if it appears, at what level in which pixel in that column. Therefore, in order to detect the occurrence and level of column random noise, it is not only necessary to detect the output signals from all columns, but also as many pixels as possible in the vertical direction in each column. It is desirable to detect this signal. For example, even in a column in which column random noise has occurred, there is a possibility that noise-generating pixels are not included only by detecting pixel signals of about several lines.

そこで、本実施の形態では、ノイズ検出のための検波を、VOPB領域152からの出力信号だけでなく、撮像素子11aの出力をカラ読みすることで得られるダミーデータも用いることで、より多くのラインから得た信号を基にカラムランダムノイズを精度よく検出する。   Therefore, in the present embodiment, detection for noise detection uses not only the output signal from the VOPB region 152 but also dummy data obtained by color-reading the output of the image sensor 11a, thereby increasing the number of detections. Random column noise is accurately detected based on the signal obtained from the line.

図4は、撮像素子における検波領域を模式的に示す図である。
図3で説明したように、撮像素子11aの受光素子領域150には、有効画像領域151、VOPB領域152、およびHOPB領域153が形成されている。そして、この受光素子領域150においては、制御部15の制御の下で、カメラブロック11内のTGから発生されるタイミング信号に応じて、受光素子領域150の上側のラインから順に走査されて、画素信号が出力されていく。
FIG. 4 is a diagram schematically illustrating a detection region in the image sensor.
As described with reference to FIG. 3, the effective image area 151, the VOPB area 152, and the HOPB area 153 are formed in the light receiving element area 150 of the imaging element 11 a. The light receiving element region 150 is scanned in order from the upper line of the light receiving element region 150 in accordance with the timing signal generated from the TG in the camera block 11 under the control of the control unit 15. A signal is output.

さらに、本実施の形態では、受光素子領域150を走査する直前に、撮像素子11aの出力をカラ読みする領域であるダミー領域160を仮想的に形成する。このダミー領域160では、撮像素子11aへの入射光に応じた信号成分を含まない出力信号が、カメラブロック11から画像処理部12に対して出力される。   Furthermore, in this embodiment, immediately before scanning the light receiving element area 150, a dummy area 160, which is an area for color-reading the output of the image sensor 11a, is virtually formed. In the dummy area 160, an output signal that does not include a signal component corresponding to the incident light on the image sensor 11 a is output from the camera block 11 to the image processing unit 12.

具体的には、図4の有効画像領域151からの1フレーム(またはフィールド)分の画像信号を画像処理部12に取り込む場合には、ダミー領域160の先頭ラインからタイミング信号に応じて順次走査が開始され、ダミー領域160の各ラインの信号が順次、カメラブロック11から出力される。この期間では、例えば、タイミング信号に応じて各カラムのA/D変換回路110のみが動作し、各カラムのA/D変換回路110は、入力がない状態のままで信号を出力する。このようにしてダミー領域160の走査が終了すると、次に受光素子領域150の走査が開始されて、受光素子領域150上の各画素のフォトダイオード101の蓄積電荷に応じた信号が出力される。   Specifically, when an image signal for one frame (or field) from the effective image area 151 in FIG. 4 is taken into the image processing unit 12, scanning is sequentially performed from the leading line of the dummy area 160 according to the timing signal. The signal of each line in the dummy area 160 is sequentially output from the camera block 11. In this period, for example, only the A / D conversion circuit 110 of each column operates in accordance with the timing signal, and the A / D conversion circuit 110 of each column outputs a signal with no input. When scanning of the dummy region 160 is completed in this way, scanning of the light receiving element region 150 is started, and a signal corresponding to the accumulated charge of the photodiode 101 of each pixel on the light receiving element region 150 is output.

この結果、ダミー領域160からの出力信号は、VOPB領域152からの出力信号と同様に、撮像素子11aへの入射光に応じた信号成分を含まず、A/D変換回路110以降の出力特性のみに依存した成分のみを含むものとなる。従って、ダミー領域160からの出力信号には、VOPB領域152からの出力信号と全く同じように、カラムランダムノイズが現れると考えることができる。   As a result, like the output signal from the VOPB region 152, the output signal from the dummy region 160 does not include a signal component corresponding to the incident light on the image sensor 11a, and only the output characteristics after the A / D conversion circuit 110 are included. Only the components that depend on are included. Accordingly, it can be considered that column random noise appears in the output signal from the dummy region 160 in exactly the same manner as the output signal from the VOPB region 152.

前述したように、カラムランダムノイズの検出のためには、できるだけ多くの画素信号を用いることが望ましい。ここで、撮像素子11aにあらかじめ設けられたVOPB領域152は、通常、例えば数十ライン程度の領域であることが多く、この領域は当然固定的に設けられるもので、ライン数を変えることはできない。これに対して、ダミー領域160のライン数は、制御部15の制御の下で任意に設定することができる。すなわち、VOPB領域152とダミー領域160とを合わせて、カラムランダムノイズの検出に十分なライン数が確保されるように、ダミー領域160が設定される。   As described above, it is desirable to use as many pixel signals as possible in order to detect column random noise. Here, the VOPB area 152 provided in advance in the image sensor 11a is usually an area of, for example, about several tens of lines, and this area is of course fixed and the number of lines cannot be changed. . On the other hand, the number of lines in the dummy area 160 can be arbitrarily set under the control of the control unit 15. That is, the dummy region 160 is set so that the VOPB region 152 and the dummy region 160 are combined to secure a sufficient number of lines for detecting column random noise.

なお、本実施の形態では、VOPB領域152とダミー領域160とを、カラムランダムノイズの検出のために使用するが、例えば、VOPB領域152のライン数がカラムランダムノイズの検出のために十分な数となっていれば、ダミー領域160の出力信号を用いる必要はない。また、VOPB領域152の出力信号を例えば黒レベルの検出のみのために利用し、カラムランダムノイズの検出のためには、ダミー領域160の出力信号のみを使用するようにしてもよい。すなわち、VOPB領域152やダミー領域160のように、入射光に応じた信号成分を含まない出力信号が、カラムランダムノイズの検出に必要なライン数だけ、撮像素子11aの出力段に配設されたデジタル信号出力回路から画像処理部12に対して出力されるようにすればよい。   In this embodiment, the VOPB region 152 and the dummy region 160 are used for detecting column random noise. For example, the number of lines in the VOPB region 152 is sufficient to detect column random noise. In this case, it is not necessary to use the output signal of the dummy area 160. Further, the output signal of the VOPB area 152 may be used only for detecting the black level, for example, and only the output signal of the dummy area 160 may be used for detecting the column random noise. That is, as in the VOPB region 152 and the dummy region 160, output signals that do not include a signal component corresponding to incident light are arranged at the output stage of the image sensor 11a by the number of lines necessary for detecting column random noise. What is necessary is just to make it output with respect to the image process part 12 from a digital signal output circuit.

次に、カラムランダムノイズの検出方法について具体的に説明する。以下の検出方法の例では、基本的に、まず、ノイズ検出のための基準値として、特定の領域からの信号を基に平均値を算出し、その後に、さらに別の領域からの信号を取り込み、上記の基準値(平均値)からの信号レベルのバラツキ度合いを解析することで、カラムランダムノイズの発生の有無を判定する。図4に示すように、ダミー領域160の先頭ライン(ave_start)から所定のライン(ave_end)までの領域は、平均値を算出するための平均算出用検波領域171とされ、ダミー領域160におけるその次のライン(detect_start)からVOPB領域152の最終ライン(detect_end)までの領域は、カラムごとにカラムランダムノイズの有無を判定するためのノイズ判定用検波領域172とされる。   Next, a method for detecting column random noise will be specifically described. In the following detection method examples, basically, as a reference value for noise detection, an average value is first calculated based on a signal from a specific area, and then a signal from another area is captured. The presence or absence of column random noise is determined by analyzing the degree of signal level variation from the reference value (average value). As shown in FIG. 4, an area from the first line (ave_start) to a predetermined line (ave_end) of the dummy area 160 is an average calculation detection area 171 for calculating an average value, and the next area in the dummy area 160. The region from the line (detect_start) to the last line (detect_end) of the VOPB region 152 is a noise determination detection region 172 for determining the presence or absence of column random noise for each column.

図5は、ダミー領域およびVOPB領域における画素信号レベルの度数分布の例を示す図である。
この図5は、ダミー領域160およびVOPB領域152からの出力信号を基に、横軸に画素信号レベルの階級を、縦軸に画素数をそれぞれとったときの度数分布を示している。上段のグラフはカラムランダムノイズが発生していない場合の度数分布の例であり、下段のグラフはカラムランダムノイズが発生している場合の度数分布の例である。
FIG. 5 is a diagram illustrating an example of a frequency distribution of pixel signal levels in the dummy area and the VOPB area.
FIG. 5 shows a frequency distribution when the horizontal axis represents the pixel signal level class and the vertical axis represents the number of pixels based on the output signals from the dummy area 160 and the VOPB area 152. The upper graph is an example of frequency distribution when column random noise is not generated, and the lower graph is an example of frequency distribution when column random noise is generated.

ダミー領域160からの出力信号は、VOPB領域152からの出力信号とほぼ同じ特定を持つ。このため、カラムランダムノイズが発生していない場合には、ダミー領域160およびVOPB領域152からの出力信号のレベルは、黒レベルの近傍となる。図5の上段の度数分布において、センターピークの位置は、これらの出力信号レベルの平均値にほぼ一致し、通常、この値が黒レベルに対応する。   The output signal from the dummy area 160 has substantially the same specification as the output signal from the VOPB area 152. Therefore, when column random noise is not generated, the levels of the output signals from the dummy area 160 and the VOPB area 152 are close to the black level. In the frequency distribution in the upper stage of FIG. 5, the position of the center peak substantially matches the average value of these output signal levels, and this value usually corresponds to the black level.

これに対して、カラムランダムノイズが発生している場合には、度数分布に変化が見られることがわかっており、図5の下段に示すように、カラムランダムノイズの影響により、センターピークの上側(高レベル側)および下側(低レベル側)にサブピークが出現するような度数分布となる。また、センターピークと上側および下側の各サブピークとのレベル差は、ほぼ同じとなることがわかっている。   On the other hand, when column random noise is generated, it is known that the frequency distribution is changed, and as shown in the lower part of FIG. The frequency distribution is such that sub-peaks appear on the (high level side) and below (low level side). Further, it is known that the level difference between the center peak and the upper and lower sub-peaks is almost the same.

ここで、度数分布上のセンターピークの位置や幅は、得られた画像信号に与えるゲインや露光時間、そのときの温度などの撮影条件によって異なる。例えば、サブピーク間の幅より狭いセンターピークから一定幅の領域には、暗電流などに起因してカラムに関係なく発生するランダムノイズによってバラツキを生じた出力信号レベルが含まれている。一方、カラムランダムノイズはごく一部のカラムにしか発生せず、さらにセンターピークの上側および下側の両方にほぼ等しく発生する。このため、十分な数の画素からの出力を検波すれば、カラムランダムノイズの発生の有無に関係なく、同一の撮影条件であればセンターピークに対応する信号レベルはそれらの画素からの出力信号の平均レベルと同じになると考えられる。   Here, the position and width of the center peak on the frequency distribution vary depending on the photographing conditions such as the gain, exposure time, temperature at that time, and the like given to the obtained image signal. For example, a region having a constant width from a center peak narrower than the width between sub-peaks includes an output signal level that varies due to random noise generated regardless of the column due to dark current or the like. On the other hand, column random noise occurs only in a small part of the column, and occurs almost equally on both the upper and lower sides of the center peak. For this reason, if the output from a sufficient number of pixels is detected, the signal level corresponding to the center peak of the output signal from those pixels is the same under the same shooting conditions regardless of whether or not column random noise is generated. It will be the same as the average level.

そこで、本実施の形態では、ノイズ検出の基本的な手順として、まず上記の度数分布のセンターピークに対応する信号レベルを図4の平均算出用検波領域171からの出力信号の平均値として求めた後、この平均値を基準として、図4のノイズ判定用検波領域172内のカラムごとの出力信号レベルのバラツキ度合いを検出し、バラツキが大きいカラム(すなわち、平均値から離間した信号レベルを持つ画素が多いカラム)を、カラムランダムノイズが発生していると判定する。より具体的には、ノイズ判定用検波領域172の各画素からの出力信号と平均値との差分の絶対値をとり、それらの絶対値をカラムごとに加算して、加算結果をカラムごとに比較することで、カラムランダムノイズが発生したカラムを検出する。   Therefore, in the present embodiment, as a basic procedure for noise detection, first, the signal level corresponding to the center peak of the frequency distribution is obtained as the average value of the output signal from the average calculation detection region 171 in FIG. Thereafter, using this average value as a reference, the degree of variation in the output signal level for each column in the noise determination detection region 172 in FIG. 4 is detected, and a column with a large variation (that is, a pixel having a signal level separated from the average value). Column) is determined to have column random noise. More specifically, the absolute value of the difference between the output signal from each pixel of the noise determination detection region 172 and the average value is taken, the absolute values are added for each column, and the addition result is compared for each column. As a result, the column in which the column random noise is generated is detected.

また、カラムランダムノイズの発生の有無に関係なく、ある撮影タイミングにおいて十分な数の画素からの検波データが得られれば、ダミー領域160やVOPB領域152における信号レベルの平均値は変わらないと予想されることから、平均算出用検波領域171の全体から色成分ごとに画素信号の平均値を演算する。近年の撮像素子11aは数千程度のカラム数を有するものが多く、このような撮像素子11aであれば、平均算出用検波領域171として数ライン確保することで、平均値演算に十分な数の画素信号を得ることができる。   In addition, regardless of whether column random noise is generated or not, if detection data from a sufficient number of pixels is obtained at a certain photographing timing, the average value of the signal level in the dummy area 160 and the VOPB area 152 is not expected to change. Therefore, the average value of the pixel signals is calculated for each color component from the entire average calculation detection region 171. In recent years, the image pickup element 11a has a number of columns of about several thousand, and with such an image pickup element 11a, a sufficient number for calculating the average value can be obtained by securing several lines as the detection area 171 for average calculation. A pixel signal can be obtained.

一方、平均値を基準としてカラムごとに画素信号を比較するためのノイズ判定用検波領域172としては、カラムランダムノイズが発生した場合にこれを確実に検出できるように、例えば百ライン以上(ここでは200ライン程度とする)といったより多くのライン数を確保する。   On the other hand, the noise determination detection region 172 for comparing pixel signals for each column with reference to the average value is, for example, 100 lines or more (in this example) so that this can be reliably detected when column random noise occurs. A larger number of lines such as 200 lines) is secured.

図6は、第1の実施の形態に係るノイズ除去処理部の構成を示すブロック図である。
前述のように、図6に示すノイズ除去処理部20aは、画像処理部12の内部に設けられる。このノイズ除去処理部20aは、平均値算出部21、差分平均値算出部22、比較判定部23、および信号補正部24を備えている。
FIG. 6 is a block diagram illustrating a configuration of the noise removal processing unit according to the first embodiment.
As described above, the noise removal processing unit 20 a illustrated in FIG. 6 is provided inside the image processing unit 12. The noise removal processing unit 20 a includes an average value calculation unit 21, a difference average value calculation unit 22, a comparison determination unit 23, and a signal correction unit 24.

平均値算出部21は、平均算出用検波領域171からの出力信号を基に、色成分ごとに信号レベルの平均値を算出する。前述のように、平均値の演算のためには、平均算出用検波領域171として数ライン程度が確保される。   The average value calculation unit 21 calculates the average value of the signal level for each color component based on the output signal from the average calculation detection region 171. As described above, several lines are secured as the average calculation detection area 171 for the calculation of the average value.

ここでは例として、R成分の平均値をR_aveとすると、この平均値R_aveは次の式(1)によって求められる。なお、式(1)において、R_sumは、平均算出用検波領域171の画素のうちR成分の画素からの出力信号を加算した加算値を示し、R_count_aveは、出力信号を加算した数を示す。
R_ave=R_sum/R_count_ave ……(1)
ただし、この平均値の演算では、欠陥画素からの出力信号を演算に含めてしまうと、正確な平均値が得られなくなる可能性がある。このため、例えば、平均値算出部21への入力段において入力信号に対するしきい値判定を行い、所定の上限しきい値以上の信号を有する画素と、所定の下限しきい値以下の信号を持つ画素とを、平均値の演算から除外するようにする。また、事前に欠陥画素の位置が判明していれば、その位置の画素からの出力信号を演算から除外してもよい。このような欠陥画素の位置情報としては、欠陥補正部に読み込まれる情報を共用してもよい。
Here, as an example, if the average value of the R component is R_ave, this average value R_ave is obtained by the following equation (1). In Expression (1), R_sum represents an addition value obtained by adding output signals from R component pixels among the pixels in the average calculation detection region 171, and R_count_ave represents a number obtained by adding output signals.
R_ave = R_sum / R_count_ave (1)
However, in this average value calculation, if an output signal from a defective pixel is included in the calculation, an accurate average value may not be obtained. For this reason, for example, the threshold determination for the input signal is performed at the input stage to the average value calculation unit 21, and the pixel having a signal equal to or higher than a predetermined upper threshold and the signal equal to or lower than the predetermined lower threshold are included. Pixels are excluded from the average value calculation. Further, if the position of the defective pixel is known in advance, the output signal from the pixel at that position may be excluded from the calculation. As such defective pixel position information, information read into the defect correction unit may be shared.

以上のように、平均値の演算においては、平均算出用検波領域171の同色成分画素のうち欠陥画素を除く画素が利用されるので、式(1)の加算数R_count_aveには、演算に利用された画素の数が適用されることになる。なお、Gr成分,Gb成分、およびB成分についても、上記と同様の演算が行われる。そして、これらの色成分ごとの平均値は、差分平均値算出部22に受け渡される。   As described above, in the calculation of the average value, the pixels excluding the defective pixels among the same color component pixels in the average calculation detection region 171 are used. Therefore, the addition number R_count_ave in Expression (1) is used for the calculation. The number of pixels that have been applied will be applied. Note that the same calculation is performed for the Gr component, the Gb component, and the B component. Then, the average value for each color component is transferred to the difference average value calculation unit 22.

平均算出用検波領域171からの出力信号に基づく平均値の演算が終了すると、次に、ノイズ判定用検波領域172からの出力信号が、差分平均値算出部22に供給される。差分平均値算出部22は、カラムごと、かつ色成分ごとに、各画素の信号レベルと対応する色成分の平均値との差分の絶対値を演算する。そして、各カラムにおける差分値(絶対値)の平均値を算出する。前述のように、この差分平均値の演算のためには、ノイズ判定用検波領域172として200ライン程度が確保される。   When the calculation of the average value based on the output signal from the average calculation detection region 171 is completed, the output signal from the noise determination detection region 172 is then supplied to the difference average value calculation unit 22. The difference average value calculation unit 22 calculates the absolute value of the difference between the signal level of each pixel and the average value of the corresponding color component for each column and for each color component. Then, an average value of difference values (absolute values) in each column is calculated. As described above, about 200 lines are secured as the noise determination detection region 172 for the calculation of the difference average value.

ここでは例として、カラム番号xxxxにおけるR成分の差分平均値をR_ave_xxxxとすると、まず次の式(2)によって、各画素の信号レベルと平均値との差分値を積算した積算値R_sum_xxxxが求められた後、式(3)によって差分平均値R_ave_xxxxが求められる。なお、式(2)および式(3)において、R_dataは、入力される各画素の信号レベルを示し、R_count_detは、式(2)の演算に用いた画素の数(すなわち、式(2)の右辺における加算の回数)を示す。
R_sum_xxxx=sum(|R_data−R_ave|) ……(2)
R_ave_xxxx=R_sum_xxxx/R_count_det ……(3)
ここで、図7および図8は、カラムランダムノイズが発生していないカラム、および発生しているカラムのそれぞれにおける信号レベル分布の例を示す図である。
Here, as an example, assuming that the difference average value of the R component in the column number xxxx is R_ave_xxxx, first, an integrated value R_sum_xxxx is obtained by integrating the difference value between the signal level of each pixel and the average value by the following equation (2). After that, the difference average value R_ave_xxxx is obtained by Expression (3). In Expressions (2) and (3), R_data indicates the signal level of each input pixel, and R_count_det indicates the number of pixels used in the calculation of Expression (2) (that is, Expression (2) The number of additions on the right side).
R_sum_xxxx = sum (| R_data−R_ave |) (2)
R_ave_xxxx = R_sum_xxxx / R_count_det (3)
Here, FIG. 7 and FIG. 8 are diagrams showing examples of signal level distributions in columns where column random noise is not generated and in columns where they are generated.

カラムランダムノイズが発生していない場合には、図7に示すように、1つのカラム上の各画素からの出力信号レベルは、平均値(R成分であれば上記のR_ave)を中心としたごく狭い領域に収まる。これに対して、カラムランダムノイズが発生している場合には、図8に示すように、平均値から比較的大きく離れた信号レベルを持つ画素が多くなる。   When column random noise is not generated, as shown in FIG. 7, the output signal level from each pixel on one column is very centered on the average value (R_ave in the case of R component). Fits in a narrow area. On the other hand, when column random noise is generated, as shown in FIG. 8, the number of pixels having a signal level that is relatively far from the average value increases.

このため、差分平均値算出部22においてカラムごとに200ラインといった十分なライン数だけ、平均値との差分の絶対値の加算を繰り返すことで、カラムランダムノイズが発生しているカラムでは、発生していないカラムと比較して加算値が大きくなる。ただし、この演算からは欠陥画素からの出力信号が除外される必要があり、欠陥画素の個数はカラムごとに異なることから、上記の式(3)により、算出した加算値を有効な画素の数に対応する加算回数R_count_detで除算し、正規化している。   For this reason, the difference average value calculation unit 22 repeats addition of the absolute value of the difference from the average value by a sufficient number of lines, such as 200 lines for each column, and thus occurs in a column where column random noise occurs. The added value is larger than that of the column that is not. However, since it is necessary to exclude the output signal from the defective pixel from this calculation, and the number of defective pixels differs for each column, the calculated added value is calculated by the above equation (3) as the number of effective pixels. Is divided by the number of additions R_count_det corresponding to.

差分平均値算出部22では、上記と同様の演算により、すべてのカラムにおける色成分ごとの差分平均値が算出され、比較判定部23に対して受け渡される。比較判定部23は、求められた各カラムの色成分ごとの差分平均値を比較し、差分平均値が所定のしきい値より大きいカラムを、カラムランダムノイズが発生したと判定する。   In the difference average value calculation unit 22, the difference average value for each color component in all columns is calculated by the same operation as described above, and is passed to the comparison determination unit 23. The comparison / determination unit 23 compares the obtained difference average value for each color component of each column, and determines that a column whose difference average value is larger than a predetermined threshold value has generated column random noise.

ここでは例として、カラム番号xxxxにおけるR成分の差分平均値が次の式(4)の条件を満たす場合に、カラムランダムノイズが発生したと判定する。
R_ave_xxxx−R_ave>R_judge_level ……(4)
なお、1つのカラムに複数(この例では2つ)の色成分が含まれる場合には、比較判定部23では、色成分ごとにしきい値との比較を行い、それらの比較結果を基に、最終的にそのカラムでカラムランダムノイズが発生したか否かを判定する。例えば、2つの色成分の両方について上記の式(4)に対応する条件が成立したときに、カラムランダムノイズが発生したと判定する。
Here, as an example, it is determined that column random noise has occurred when the difference average value of the R component at the column number xxxx satisfies the condition of the following equation (4).
R_ave_xxxx-R_ave> R_judge_level (4)
When a plurality of (two in this example) color components are included in one column, the comparison / determination unit 23 compares each color component with a threshold value, and based on the comparison result, Finally, it is determined whether or not column random noise has occurred in the column. For example, it is determined that column random noise has occurred when the condition corresponding to the above equation (4) is satisfied for both of the two color components.

また、比較に用いるしきい値として、色成分ごとに異なる値を設定してもよい。例えば、人間の視覚特性上目立ちやすいGr成分およびGb成分については、R成分およびB成分と比較してしきい値を小さく設定してもよい。   Further, a different value may be set for each color component as a threshold value used for comparison. For example, for the Gr component and Gb component that are conspicuous in human visual characteristics, the threshold value may be set smaller than the R component and B component.

さらに、被写体の明るさなどに応じて画素信号に対して印加したゲインや撮影時の温度などの撮影条件によって、カラムランダムノイズの影響による信号レベルのバラツキ具合が変化する。このため、このような撮影条件に応じて各色成分の一部またはすべてのしきい値を変化させることで、ノイズ判定精度を高めることが可能となる。この場合、例えば、ノイズ除去処理部20aにゲインや温度に応じたしきい値をデータテーブルとしてあらかじめ記憶しておき、撮影時に制御部15から通知されるゲインや温度の値に応じて、比較判定部23の処理に適用するしきい値をデータテーブルから読み込むようにする。例としては、撮影時のISO(International Organization for Standardization)感度が高いほど(すなわちゲインが高いほど)、しきい値を低く設定する。   Furthermore, the degree of signal level variation due to the influence of column random noise varies depending on the shooting conditions such as the gain applied to the pixel signal and the temperature at the time of shooting in accordance with the brightness of the subject. For this reason, it is possible to improve noise determination accuracy by changing some or all of the threshold values of each color component in accordance with such shooting conditions. In this case, for example, threshold values corresponding to the gain and temperature are stored in advance as a data table in the noise removal processing unit 20a, and the comparison determination is performed according to the gain and temperature values notified from the control unit 15 at the time of shooting. The threshold value applied to the processing of the unit 23 is read from the data table. As an example, the threshold is set lower as the ISO (International Organization for Standardization) sensitivity at the time of shooting is higher (that is, the gain is higher).

なお、上記のような比較手法の他に、例えば、カラムごとの差分平均値のうち最小のものを求め、その最小値と各カラムの差分平均値との差分をしきい値と比較することによって、カラムランダムノイズが発生したか否かを判定するようにしてもよい。   In addition to the above-described comparison method, for example, by calculating the smallest difference average value for each column and comparing the difference between the minimum value and the difference average value of each column with a threshold value. Whether or not column random noise has occurred may be determined.

以上の比較判定部23の処理により、カラムランダムノイズが発生したと判定されたカラムが信号補正部24に対して通知される。この通知は、例えば、カラムごとのフラグ信号などによって行われる。この後、信号補正部24に対して有効画像領域151からの出力信号が入力されると、信号補正部24は、カラムランダムノイズが発生したと判定されたカラムからの出力信号を、その近傍の画素の信号を基に補正する。   Through the processing of the comparison determination unit 23 described above, the signal correction unit 24 is notified of the column determined to have generated column random noise. This notification is performed by, for example, a flag signal for each column. Thereafter, when an output signal from the effective image area 151 is input to the signal correction unit 24, the signal correction unit 24 outputs an output signal from a column in which column random noise is determined to occur in the vicinity thereof. Correction is performed based on the pixel signal.

図9および図10は、信号補正に用いる画素の位置を説明するための図である。図9は、補正対象の画素がR成分に対応する場合を、図10はGb成分に対応する場合をそれぞれ示している。   9 and 10 are diagrams for explaining pixel positions used for signal correction. FIG. 9 shows the case where the pixel to be corrected corresponds to the R component, and FIG. 10 shows the case corresponding to the Gb component.

前述の処理により、カラムランダムノイズが発生したと考えられるカラムが特定されるが、そのカラムのどの画素にどれだけのカラムランダムノイズが発生しているのかを特定することはできない。このため、本実施の形態の信号補正部24は、そのカラムの全画素のデータを、周辺の同色成分画素の信号レベルを基に生成した補間データで置き換える。補間演算の方法は種々考えられるが、例えば、補正対象画素と同色成分で最も近い周囲の画素のうち、欠陥でない画素の信号レベルを単純平均することで補間データを求める。そして、補正対象画素の信号レベルが、それらの周囲の画素の信号のうちの最大値以上か、または最小値以下の場合にのみ、補正対象画素のデータを補間データに置き換えるようにする。なお、より正確な補間データを求めるには、周囲の画素との相関を判別し、その判別結果に応じて補間演算を行うようにしてもよい。   Although the column in which the column random noise is considered to be generated is specified by the above-described processing, it is not possible to specify how much column random noise is generated in which pixel of the column. For this reason, the signal correction unit 24 of the present embodiment replaces the data of all the pixels in the column with the interpolation data generated based on the signal levels of the surrounding same color component pixels. Various interpolation calculation methods are conceivable. For example, interpolation data is obtained by simply averaging the signal levels of pixels that are not defective among the nearest surrounding pixels having the same color component as the correction target pixel. The correction target pixel data is replaced with the interpolation data only when the signal level of the correction target pixel is not less than the maximum value or not more than the minimum value of the signals of the surrounding pixels. In order to obtain more accurate interpolation data, a correlation with surrounding pixels may be determined, and an interpolation calculation may be performed according to the determination result.

図9および図10では、補間演算に用いる周辺の画素の選択の仕方の例を示している。補正対象画素がR成分の画素である場合、図9に示すように、最も近い同色成分の画素は水平/垂直の各方向に2画素分だけ離れた位置に存在する。また、補正対象画素がGb成分の画素である場合には、補間演算にはGr成分の画素を用いることも可能である。従って、図10に示すように、補正対象画素の斜め方向に隣接するGr成分の画素の信号を補間演算に用いることが可能である。   9 and 10 show examples of how to select peripheral pixels used for interpolation calculation. When the correction target pixel is an R component pixel, as shown in FIG. 9, the closest pixel of the same color component exists at a position separated by two pixels in each horizontal / vertical direction. In addition, when the correction target pixel is a Gb component pixel, a Gr component pixel can be used for the interpolation calculation. Therefore, as shown in FIG. 10, it is possible to use the signal of the Gr component pixel adjacent to the correction target pixel in the oblique direction for the interpolation calculation.

なお、カラムランダムノイズが発生したと判定されたカラムでは、ノイズ発生の影響がより目立ちやすいと考えられるG成分(Gb成分またはGr成分)の画素のみ、補間データによる置き換えを行うようにしてもよい。   Note that, in a column in which it is determined that column random noise has occurred, only pixels of G component (Gb component or Gr component) that are considered to be more easily affected by noise generation may be replaced with interpolation data. .

また、カラムランダムノイズが生じた画素は、特に撮影時のゲインが高い場合に目視で目立つことがわかっている。このため、ゲインが所定値より低い場合には、カラムランダムノイズが発生したと判定されたカラムについても上記のような信号補正を行わず、ゲインが所定値を超えた場合にのみ信号補正を行うようにしてもよい。   In addition, it has been found that pixels in which column random noise has occurred are conspicuous visually when the gain at the time of photographing is particularly high. For this reason, when the gain is lower than the predetermined value, the signal correction as described above is not performed for the column determined that the column random noise is generated, and the signal correction is performed only when the gain exceeds the predetermined value. You may do it.

また、上記のようなノイズ除去処理部20aは、画像処理部12の画像信号の伝送系において、できるだけカメラブロック11に近い位置に設けられることが望ましい。このような位置には、一般に例えば、VOPB領域152からの出力信号を基に有効画像領域151からの出力信号の黒レベルを補正する黒補正部や、撮像素子11a上の欠陥画素を検出してこの画素の信号を補正する欠陥補正部などが設けられている。   The noise removal processing unit 20a as described above is desirably provided as close to the camera block 11 as possible in the image signal transmission system of the image processing unit 12. In such a position, for example, a black correction unit that corrects the black level of the output signal from the effective image area 151 based on the output signal from the VOPB area 152 or a defective pixel on the image sensor 11a is generally detected. A defect correction unit or the like for correcting the pixel signal is provided.

ノイズ除去処理部20aは、黒補正部の前段に設けられてもよいが、例えば黒補正部の後段にノイズ除去処理部20aを設けて、黒レベルが補正された画像信号を基にカラムランダムノイズを検出することで、黒レベルの補正でも解消されない信号レベルのバラツキとしてカラムランダムノイズをより正確に検出できるようになる。一方、ノイズ除去処理部20aが備える信号補正機能(上記の信号補正部24)は欠陥補正部の信号補正機能と共用することも可能であり、この場合には、欠陥補正部に近い位置(例えばその前段)にノイズ除去処理部20aのノイズ検出機能(上記の平均値算出部21、差分平均値算出部22、および比較判定部23)を設けてもよい。   The noise removal processing unit 20a may be provided before the black correction unit. For example, the noise removal processing unit 20a is provided after the black correction unit, and column random noise is based on the image signal whose black level is corrected. By detecting this, column random noise can be more accurately detected as signal level variations that cannot be eliminated even by correcting the black level. On the other hand, the signal correction function (the signal correction unit 24) provided in the noise removal processing unit 20a can be shared with the signal correction function of the defect correction unit. In this case, a position close to the defect correction unit (for example, The noise detection function (the above-described average value calculation unit 21, difference average value calculation unit 22, and comparison determination unit 23) of the noise removal processing unit 20a may be provided in the preceding stage.

以上の第1の実施の形態によれば、まず、平均算出用検波領域171からの出力信号を基に、入射光の影響を受けないときの信号の平均値を算出した後、ノイズ判定用検波領域172からの出力信号を基に、それらの出力信号のレベルが平均値から離れている画素が多いと考えられるカラムについて、カラムランダムノイズが発生したと判定する。これによって、例えばVOPB領域152における出力信号の平均値のみからでは検出できなかった、特定のカラムにおけるランダムノイズを検出できるようになる。   According to the first embodiment described above, first, after calculating the average value of the signal when not affected by the incident light based on the output signal from the average calculation detection region 171, the noise determination detection is performed. Based on the output signals from the region 172, it is determined that column random noise has occurred in a column in which there are many pixels whose output signal levels are far from the average value. As a result, for example, random noise in a specific column that cannot be detected only from the average value of the output signal in the VOPB region 152 can be detected.

また、このようなノイズ検出を撮影のたびに実行することで、撮影条件に応じて信号レベルにずれが生じた場合でも、そのずれを考慮してカラムランダムノイズを確実に検出できる。   In addition, by performing such noise detection every time shooting is performed, even when a signal level shifts according to the shooting conditions, column random noise can be reliably detected in consideration of the shift.

さらに、VOPB領域152だけでなく、ダミー領域160からの出力信号も利用することで、カラムごとのノイズ検出に必要なだけの十分なライン数を確保できるとともに、その先頭の数ラインのみをカラム共通の平均値の演算のために使用することで、ダミー領域160のライン数が抑制される。従って、1フレームの撮影に要する時間をできるだけ短縮しつつ、十分なノイズ検出精度を得ることが可能になる。   Furthermore, by using not only the VOPB area 152 but also the output signal from the dummy area 160, a sufficient number of lines necessary for noise detection for each column can be secured, and only the first few lines are common to the columns. The number of lines in the dummy area 160 is suppressed by using it for calculating the average value. Accordingly, it is possible to obtain sufficient noise detection accuracy while shortening the time required for photographing one frame as much as possible.

[第2の実施の形態]
ところで、第1の実施の形態で示したノイズ除去処理部20aの構成では、差分平均値算出部22において減算や加算、除算のための演算回路が必要であった。これに対して、以下の第2の実施の形態では、平均値に対するカラムごとの信号レベルのバラツキ度合いを基にカラムランダムノイズの有無を判定する点では上記の第1の実施の形態と同様であるが、その判定のための演算処理手順を大幅に減らして、回路規模や演算処理負荷を抑制する。
[Second Embodiment]
By the way, in the configuration of the noise removal processing unit 20a shown in the first embodiment, the difference average value calculation unit 22 requires an arithmetic circuit for subtraction, addition, and division. On the other hand, the second embodiment below is the same as the first embodiment in that the presence / absence of column random noise is determined based on the degree of variation in the signal level for each column with respect to the average value. However, the arithmetic processing procedure for the determination is greatly reduced to suppress the circuit scale and arithmetic processing load.

図11は、第2の実施の形態におけるノイズ検出手法の概要について説明するための図である。
この図11には、ノイズ判定用検波領域172のカラムのうち、カラムランダムノイズが発生しているカラムからの出力信号レベルの度数分布の例を示している。前述のように、カラムランダムノイズが発生している場合の度数分布では、センターピークに対してその上側および下側にほぼ同じだけ離れた位置にサブピークが出現することがわかっている。本実施の形態では基本的に、このサブピークに該当する画素の数をカウントすることにより、カラムランダムノイズの発生の有無を判定する。
FIG. 11 is a diagram for explaining the outline of the noise detection method according to the second embodiment.
FIG. 11 shows an example of the frequency distribution of the output signal level from the column in which column random noise is generated among the columns of the noise determination detection region 172. As described above, in the frequency distribution in the case where column random noise is generated, it is known that sub-peaks appear at positions approximately the same distance above and below the center peak. In the present embodiment, basically, the number of pixels corresponding to the sub-peak is counted to determine whether or not column random noise is generated.

具体的には、センターピークの上下にそれぞれ所定の幅を持つノイズ検出範囲を設定し、出力信号レベルがこのノイズ検出範囲内にある画素の数をカラムごとにカウントして、その数が所定値以上である場合にカラムランダムノイズが発生したと判定する。図12において、しきい値thresh_LLからしきい値thresh_LHまでが下側のノイズ検出範囲であり、しきい値thresh_HLからしきい値thresh_HHまでが上側のノイズ検出範囲である。なお、実際には、このようなノイズ検出範囲を用いた画素のカウントは色成分ごとに実行される。   Specifically, a noise detection range having a predetermined width above and below the center peak is set, the number of pixels whose output signal level is within this noise detection range is counted for each column, and the number is a predetermined value. If it is above, it is determined that column random noise has occurred. In FIG. 12, the threshold value thresh_LL to the threshold value thresh_LH is the lower noise detection range, and the threshold value thresh_HL to the threshold value thresh_HH is the upper noise detection range. In practice, pixel counting using such a noise detection range is executed for each color component.

ところで、前述のように、撮影条件に応じて上記のセンターピークの位置は変動し得る。そこで、本実施の形態では、第2の実施の形態と同様の手順で、センターピークの位置(信号レベル)を平均算出用検波領域171からの出力信号に基づく平均値として算出する。そして、この平均値を基準として、上記のノイズ検出範囲の上限、下限のしきい値をその都度設定する。すなわち、図12において、平均値aveからノイズ検出範囲の各しきい値までのレベル差band_minus0,band_minus1,band_plus0,band_plus1をあらかじめ決めておき、平均値aveの算出結果にこれらのレベル差を加算あるいは減算することにより、各しきい値を算出する。   Incidentally, as described above, the position of the center peak can vary depending on the photographing conditions. Therefore, in the present embodiment, the center peak position (signal level) is calculated as an average value based on the output signal from the average calculation detection region 171 in the same procedure as in the second embodiment. Based on this average value, the upper and lower thresholds of the noise detection range are set each time. That is, in FIG. 12, level differences band_minus0, band_minus1, band_plus0, and band_plus1 from the average value ave to each threshold value of the noise detection range are determined in advance, and these level differences are added to or subtracted from the calculation result of the average value ave. By doing so, each threshold value is calculated.

図12は、第2の実施の形態に係るノイズ除去処理部の構成を示すブロック図である。
図12に示すノイズ除去処理部20bは、平均値算出部21、検出範囲設定部25、カウンタ26、比較判定部27、および信号補正部24を具備する。これらのうち、平均値算出部21および信号補正部24は、図6で説明した対応するブロックと同じ機能を有するので、ここではそれらの説明を省略する。
FIG. 12 is a block diagram illustrating a configuration of a noise removal processing unit according to the second embodiment.
The noise removal processing unit 20b illustrated in FIG. 12 includes an average value calculation unit 21, a detection range setting unit 25, a counter 26, a comparison determination unit 27, and a signal correction unit 24. Among these, the average value calculation unit 21 and the signal correction unit 24 have the same functions as the corresponding blocks described with reference to FIG.

第1の実施の形態と同様の手順で、平均値算出部21によって、平均算出用検波領域171からの出力信号を基に色成分ごとに信号レベルの平均値が算出された後、これらの平均値が検出範囲設定部25に受け渡される。検出範囲設定部25は、これらの平均値を基に、前述のノイズ検出範囲を規定するしきい値thresh_LL,thresh_LH,thresh_HL,thresh_HHを算出する。   In the same procedure as in the first embodiment, the average value calculation unit 21 calculates the average value of the signal level for each color component based on the output signal from the detection area 171 for average calculation, and then averages these values. The value is passed to the detection range setting unit 25. Based on these average values, the detection range setting unit 25 calculates threshold values thresh_LL, thresh_LH, thresh_HL, and thresh_HH that define the noise detection range.

ここでは例として、R成分の平均値をR_ave、R成分についての下側のノイズ検出範囲の下限、上限をそれぞれ算出するためのレベル差をR_band_minus1,R_band_minus0、上側のノイズ検出範囲の下限、上限をそれぞれ算出するためのレベル差をR_band_plus0,R_band_plus1とすると、R成分についての下側のノイズ検出範囲の下限、上限の各しきい値R_thresh_LL,R_thresh_LH、および上側のノイズ検出範囲の下限、上限の各しきい値R_thresh_HL,R_thresh_HHは、次の式(5)〜式(8)によってそれぞれ求められる。
R_thresh_LL=R_ave−R_band_minus1 ……(5)
R_thresh_LH=R_ave−R_band_minus0 ……(6)
R_thresh_HL=R_ave+R_band_plus0 ……(7)
R_thresh_HH=R_ave+R_band_plus1 ……(8)
以上の処理により、検出範囲設定部25は、色成分ごとにノイズ検出範囲のしきい値を算出し、カウンタ26に設定する。次に、ノイズ判定用検波領域172からの出力信号が、カウンタ26に対して供給される。カウンタ26は、入力される各色成分の信号のレベルが、対応するノイズ検出範囲内にあるか否かを判定し、ノイズ検出範囲に含まれる信号レベルを持つ画素の数をカラムごと、かつ色成分ごとにカウントする。
Here, as an example, the average value of the R component is R_ave, the lower limit of the lower noise detection range for the R component, the level difference for calculating the upper limit is R_band_minus1, R_band_minus0, and the lower limit and upper limit of the upper noise detection range are Assuming that the level difference for calculation is R_band_plus0 and R_band_plus1, respectively, the lower limit and upper threshold values R_thresh_LL and R_thresh_LH of the lower noise detection range for the R component, and the lower limit and upper limit of the upper noise detection range, respectively. The threshold values R_thresh_HL and R_thresh_HH are obtained by the following equations (5) to (8), respectively.
R_thresh_LL = R_ave−R_band_minus1 (5)
R_thresh_LH = R_ave−R_band_minus0 (6)
R_thresh_HL = R_ave + R_band_plus0 (7)
R_thresh_HH = R_ave + R_band_plus1 (8)
Through the above processing, the detection range setting unit 25 calculates the threshold value of the noise detection range for each color component and sets it in the counter 26. Next, an output signal from the noise determination detection region 172 is supplied to the counter 26. The counter 26 determines whether or not the level of the input signal of each color component is within the corresponding noise detection range, and determines the number of pixels having the signal level included in the noise detection range for each column and color component. Count every time.

ノイズ判定用検波領域172からの全出力信号が供給されると、カウンタ26からは、各カラムにおける色成分ごとのカウント値が比較判定部27に受け渡される。比較判定部27は、これらのカウント値を所定の判定しきい値を比較し、カウント値が判定しきい値を超えている場合に、そのカラムでカラムランダムノイズが発生したと判定する。そして、ノイズ発生と判定されたカラムを信号補正部24に対して通知する。   When all output signals from the noise determination detection region 172 are supplied, the counter 26 passes the count value for each color component in each column to the comparison determination unit 27. The comparison determination unit 27 compares these count values with a predetermined determination threshold value, and determines that column random noise has occurred in the column when the count value exceeds the determination threshold value. Then, the signal correction unit 24 is notified of the column determined to generate noise.

ここで、図13および図14は、カラムランダムノイズが発生していないカラム、および発生しているカラムのそれぞれにおける画素のカウント動作について説明するための図である。   Here, FIG. 13 and FIG. 14 are diagrams for explaining the pixel counting operation in each of the column in which the column random noise is not generated and the column in which the column random noise is generated.

図13は、カラムランダムノイズが発生していないカラムにおける出力信号のレベル分布の例を示しており、図14は、カラムランダムノイズが発生しているカラムにおける出力信号のレベル分布の例を示している。また、図中のしきい値thresh_LLからしきい値thresh_LHまでの領域が下側のノイズ検出範囲であり、およびしきい値thresh_HLからthresh_HHまでの領域が上側のノイズ検出範囲である。そして、カウンタ26では、このように設定されたノイズ検出範囲内の信号レベルを持つ画素の数を、カラムごとにカウントする。   FIG. 13 shows an example of the level distribution of the output signal in the column where no column random noise occurs, and FIG. 14 shows an example of the level distribution of the output signal in the column where column random noise occurs. Yes. In the figure, the region from the threshold value thresh_LL to the threshold value thresh_LH is the lower noise detection range, and the region from the threshold value thresh_HL to thresh_HH is the upper noise detection range. The counter 26 counts the number of pixels having the signal level within the noise detection range set in this way for each column.

図13に示すように、カラムランダムノイズが発生していなければ、各画素の信号レベルは平均値aveの近傍に集まる。一方、図14に示すように、カラムランダムノイズが発生している場合には、平均値aveから離れた信号レベルを持つ画素が存在するようになる。図11で説明したように、カラムランダムノイズが発生した場合には、信号レベルの度数分布上にサブピークが出現するので、このサブピークの近傍範囲を含むようにノイズ検出範囲を設定することで、ノイズ検出範囲内の信号レベルを持つ画素が多いほど、カラムランダムノイズが発生している可能性が高いと判断できる。   As shown in FIG. 13, if no column random noise occurs, the signal level of each pixel gathers in the vicinity of the average value ave. On the other hand, as shown in FIG. 14, when column random noise is generated, pixels having a signal level far from the average value ave exist. As described with reference to FIG. 11, when column random noise occurs, a sub peak appears on the frequency distribution of the signal level. Therefore, by setting the noise detection range to include the vicinity range of the sub peak, noise It can be determined that the more pixels having a signal level within the detection range, the higher the possibility that column random noise is generated.

なお、このような画素のカウントのためには、第1の実施の形態と同様に、カラムランダムノイズの発生画素が十分な数だけ含まれるように、ノイズ判定用検波領域172として百ライン以上といったある程度のライン数を確保しておく必要がある。一方、第1の実施の形態と同様に、平均算出用検波領域171については数ライン程度が確保されればよい。   In order to count such pixels, as in the first embodiment, the noise determination detection area 172 includes a hundred lines or more so that a sufficient number of column random noise generation pixels are included. It is necessary to secure a certain number of lines. On the other hand, as in the first embodiment, it is only necessary to secure about several lines for the detection area 171 for average calculation.

ところで、比較判定部27は、例えば、同一カラムかつ同一色成分についての上側および下側の各ノイズ検出範囲でのカウント値を加算した後、これらのカウント加算値を所定の判定しきい値と比較し、カウント加算値が判定しきい値を超えた場合にカラムランダムノイズが発生したと判定する。この場合の回路構成を、次の図15において例示する。   By the way, for example, after comparing the count values in the upper and lower noise detection ranges for the same column and the same color component, the comparison determination unit 27 compares these count addition values with a predetermined determination threshold value. When the count addition value exceeds the determination threshold value, it is determined that column random noise has occurred. The circuit configuration in this case is illustrated in FIG.

図15は、比較判定部における色成分ごとのノイズ判定回路の構成例を示す図である。
この図15では、例としてR成分についてのノイズ発生の有無を判定するための、カラム番号xxxxのための回路の構成例を示している。この図15において、比較器201,202は、ノイズ判定用検波領域172からのR成分の入力データR_dataと、しきい値R_thresh_LL,R_thresh_HHとをそれぞれ比較する。ANDゲート203は、比較器201,202の各出力の論理積をとる回路であり、セレクタ204は、入力データR_dataと“0”のいずれかを、ANDゲート203の出力値に応じて選択的に出力する。このような構成により、入力データR_dataが下側のノイズ検出範囲の下限より大きく、なおかつ上側のノイズ検出範囲の上限より小さい値をとるとき、ANDゲート203の出力がHレベルになって、セレクタ204から入力データR_dataが出力される。
FIG. 15 is a diagram illustrating a configuration example of a noise determination circuit for each color component in the comparison determination unit.
FIG. 15 shows a configuration example of a circuit for column number xxx for determining whether or not noise has occurred for the R component as an example. In FIG. 15, comparators 201 and 202 compare R component input data R_data from noise determination detection region 172 with threshold values R_thresh_LL and R_thresh_HH, respectively. The AND gate 203 is a circuit that takes the logical product of the outputs of the comparators 201 and 202, and the selector 204 selectively selects one of the input data R_data and “0” according to the output value of the AND gate 203. Output. With such a configuration, when the input data R_data takes a value larger than the lower limit of the lower noise detection range and smaller than the upper limit of the upper noise detection range, the output of the AND gate 203 becomes H level, and the selector 204 To input data R_data.

また、比較器205は、セレクタ204の出力値がしきい値R_thresh_LHより小さい場合に“1”の値を出力し、カウンタ206は、セレクタ204の出力値をカウントする。これにより、下側のノイズ検出範囲内の信号レベルを持つ画素の数が、カウント値R_count_L_xxxxとしてカウントされる。また、比較器207は、セレクタ204の出力値がしきい値R_thresh_HLより大きい場合に“1”の値を出力し、カウンタ208は、比較器207の出力値をカウントする。これにより、上側のノイズ検出範囲内の信号レベルを持つ画素の数が、カウント数R_count_H_xxxxとしてカウントされる。   The comparator 205 outputs a value of “1” when the output value of the selector 204 is smaller than the threshold value R_thresh_LH, and the counter 206 counts the output value of the selector 204. As a result, the number of pixels having a signal level within the lower noise detection range is counted as the count value R_count_L_xxxx. The comparator 207 outputs a value of “1” when the output value of the selector 204 is greater than the threshold value R_thresh_HL, and the counter 208 counts the output value of the comparator 207. As a result, the number of pixels having a signal level within the upper noise detection range is counted as the count number R_count_H_xxxx.

加算器209は、ノイズ判定用検波領域172の全画素に対する検波が完了した時点で、カウンタ206,208からそれぞれ出力されるカウント数R_count_L_xxxx,R_count_H_xxxxを加算する。比較器210は、加算器209からのカウント加算値が、ノイズ発生を判定するための判定しきい値R_judge_levelより大きい場合に、このカラムにおいてカラムランダムノイズが発生している可能性があることを示すノイズフラグR_noise_flag_xxxxを“1”とする。   The adder 209 adds the count numbers R_count_L_xxxx and R_count_H_xxxx output from the counters 206 and 208, respectively, when detection of all the pixels in the noise determination detection region 172 is completed. The comparator 210 indicates that column random noise may be generated in this column when the count addition value from the adder 209 is larger than the determination threshold value R_judge_level for determining the occurrence of noise. The noise flag R_noise_flag_xxxx is set to “1”.

なお、以上のように、上側および下側の各ノイズ検出範囲でのカウント値を加算した後、カウント加算値を判定しきい値と比較する構成の他に、例えば、同一カラムかつ同一色成分についての上側および下側のノイズ検出範囲でのカウント値を、それぞれ個別に判定しきい値と比較し、両方のカウント値が判定しきい値を超えた場合に、そのカラムでカラムランダムノイズが発生したと判定してもよい。   As described above, after adding the count values in the upper and lower noise detection ranges, the count addition value is compared with the determination threshold value, for example, for the same column and the same color component. When the count values in the upper and lower noise detection ranges are individually compared with the judgment threshold value, and both count values exceed the judgment threshold value, column random noise occurs in that column. May be determined.

また、1つのカラムに複数の色成分が含まれる場合には、色成分ごとの判定結果(上記のノイズフラグに対応)を基に、最終的な判定結果を出力する必要がある。次の図16に、このための最終判定回路の構成を例示する。   When a plurality of color components are included in one column, it is necessary to output a final determination result based on the determination result for each color component (corresponding to the noise flag). FIG. 16 illustrates the configuration of the final determination circuit for this purpose.

図16は、比較判定部における最終判定回路の構成例を示す図である。
図16において、ノイズフラグR_noise_flag_xxxx,Gb_noise_flag_xxxx,Gr_noise_flag_xxxx,B_noise_flag_xxxxは、それぞれR成分、Gb成分、Gr成分、B成分についての比較判定部27による判定結果を示す。すなわち、これらのフラグが“1”であるときに、カラムランダムノイズが発生していると判定されたことを示す。
FIG. 16 is a diagram illustrating a configuration example of a final determination circuit in the comparison determination unit.
16, noise flags R_noise_flag_xxxx, Gb_noise_flag_xxxx, Gr_noise_flag_xxxx, and B_noise_flag_xxx indicate the determination results for the R component, Gb component, Gr component, and B component, respectively. That is, when these flags are “1”, it is determined that column random noise is generated.

ベイヤ配列の場合、例えば奇数カラムにR成分およびGb成分が含まれる構成であれば、偶数カラムにはGr成分およびB成分が含まれる。図16の例では、奇数カラム、偶数カラムのそれぞれについてANDゲート221,222を設け、カラム上の両方の成分についてフラグの値が“1”であれば、最終的にそのカラムでカラムランダムノイズが発生していると判定し、最終的なカラムごとのノイズフラグnoise_flag_xxxxを“1”にしている。   In the case of the Bayer array, for example, if the odd column includes the R component and the Gb component, the even column includes the Gr component and the B component. In the example of FIG. 16, AND gates 221 and 222 are provided for each of the odd-numbered column and the even-numbered column, and if the flag value is “1” for both components on the column, the column random noise is finally generated in that column. It is determined that the noise has occurred, and the noise flag noise_flag_xxxx for each final column is set to “1”.

また、最終判定回路の他の構成としては、例えば、1カラムにおける各色成分のノイズフラグの値を単純加算し、その加算値が所定の基準値を超えている場合にカラムランダムノイズが発生していると判定する構成としてもよい。   As another configuration of the final determination circuit, for example, the noise flag value of each color component in one column is simply added, and column random noise occurs when the added value exceeds a predetermined reference value. It is good also as a structure which determines with having.

なお、検出範囲設定部25においては、ノイズ検出範囲の下限や上限を決めるためのレベル差(band_minus0,band_minus1,band_plus0,band_plus1)の値を、色成分ごとに異なる値に設定してもよい。例えば、カラムランダムノイズの影響が比較的目立ちやすいと考えられるG成分(Gb成分およびGb成分)については、レベル差band_minus1,band_plus0を小さくするなどして、ノイズ検出範囲をより広く設定してもよい。   In the detection range setting unit 25, the value of the level difference (band_minus0, band_minus1, band_plus0, band_plus1) for determining the lower limit and the upper limit of the noise detection range may be set to a different value for each color component. For example, for the G component (Gb component and Gb component) that is considered to be relatively easily affected by column random noise, the noise detection range may be set wider by reducing the level difference band_minus1, band_plus0. .

また、被写体の明るさに応じて画素信号に対して印加したゲインや撮影時の温度などの撮影条件によって、各色成分についての一部またはすべてのレベル差(band_minus0,band_minus1,band_plus0,band_plus1)の値を変化させてもよい。例えば、撮影時のISO感度が高いほど(すなわちゲインが高いほど)ノイズ発生の影響が目立ちやすくなることから、レベル差band_minus1,band_plus0を小さくするなどしてノイズ検出範囲を拡大してもよい。この場合、例えば、温度や露光時間などの諸条件に応じた各パラメータをテーブルデータとして保持しておき、撮影ごとにそのときの条件に応じたパラメータを設定すればよい。   Also, depending on the shooting conditions such as the gain applied to the pixel signal according to the brightness of the subject and the temperature at the time of shooting, the value of some or all of the level differences (band_minus0, band_minus1, band_plus0, band_plus1) for each color component May be changed. For example, the higher the ISO sensitivity at the time of shooting (that is, the higher the gain), the more noticeable the influence of noise generation. Therefore, the noise detection range may be expanded by reducing the level difference band_minus1, band_plus0. In this case, for example, each parameter corresponding to various conditions such as temperature and exposure time may be held as table data, and the parameter corresponding to the condition at that time may be set for each photographing.

以上の比較判定部27の処理により、カラムランダムノイズが発生したカラムが信号補正部24に対して通知される。この後、第1の実施の形態と同様に、信号補正部24に対して有効画像領域151からの出力信号が入力されると、信号補正部24は、カラムランダムノイズが発生したと判定されたカラムからの出力信号を、その近傍の画素の信号を基に補正する。この信号補正部24での補正手法については、第1の実施の形態で説明した通りである。   Through the above processing of the comparison / determination unit 27, the column in which the column random noise has occurred is notified to the signal correction unit 24. Thereafter, as in the first embodiment, when an output signal from the effective image area 151 is input to the signal correction unit 24, the signal correction unit 24 is determined to have generated column random noise. The output signal from the column is corrected based on the signal of the neighboring pixels. The correction method in the signal correction unit 24 is as described in the first embodiment.

また、信号補正部24は欠陥画素の補正機能と共用されてもよい。さらに、本実施の形態においては、下側のノイズ検出範囲の下限を示すしきい値thresh_LLと、上側のノイズ検出範囲の上限を示すしきい値thresh_HHとは、欠陥画素を検出するためのしきい値としても利用できる。従って、製品出荷後に発生した欠陥画素の検出機能をノイズ除去処理部20bによって兼用させることで、回路規模や製造コストを抑制することもできる。   The signal correction unit 24 may be shared with a defective pixel correction function. Furthermore, in the present embodiment, the threshold thresh_LL indicating the lower limit of the lower noise detection range and the threshold thresh_HH indicating the upper limit of the upper noise detection range are thresholds for detecting defective pixels. It can also be used as a value. Therefore, the circuit scale and the manufacturing cost can be suppressed by combining the function of detecting defective pixels generated after product shipment with the noise removal processing unit 20b.

以上の第2の実施の形態によれば、入射光の影響を受けないときの信号の平均値を基準としてノイズ検出範囲を設定した後、ノイズ判定用検波領域172の画素のうち信号レベルがノイズ検出範囲内にあるものをカウントすることで、カラムランダムノイズの発生の有無を確実に検出できるようになる。   According to the second embodiment described above, after setting the noise detection range based on the average value of the signal when not affected by the incident light, the signal level of the pixel in the noise determination detection region 172 is noise. By counting those within the detection range, it is possible to reliably detect the occurrence of column random noise.

また、平均値算出後のノイズ検出処理においては、色成分ごとにノイズ検出範囲を決定するための加算および減算を行った後、基本的に、カラムごとに信号レベルの比較とカウント動作のみが行われる。従って、第1の実施の形態のようにカラムごとに減算、加算、除算を行う場合と比較して、回路規模や処理負荷、処理時間、消費電力を大幅に抑制することができる。   In addition, in the noise detection process after calculating the average value, after adding and subtracting to determine the noise detection range for each color component, basically only the signal level comparison and counting operation is performed for each column. Is called. Therefore, the circuit scale, processing load, processing time, and power consumption can be significantly suppressed as compared with the case where subtraction, addition, and division are performed for each column as in the first embodiment.

さらに、撮影のたびに平均値を演算し、その平均値を基準としてノイズ検出範囲が設定されるので、撮影条件に応じて信号レベルにずれが生じた場合でも、そのずれによるカラムランダムノイズの誤検出発生の可能性を低減できる。   In addition, since the average value is calculated each time shooting is performed, and the noise detection range is set based on the average value, even if a signal level shifts according to the shooting conditions, an error in column random noise due to the shift occurs. The possibility of occurrence of detection can be reduced.

なお、以上の各実施の形態では、平均値の算出や、その後のカラムごとのノイズ検出などの処理を色成分ごとに行っていたが、これらの処理は必ずしも色成分ごとに行われる必要はない。すなわち、これらの処理のための検波は入射光に応じた成分を含まない信号から行われるので、色成分ごとの感度差はきわめて小さいと考えられる。   In each of the above embodiments, the calculation of the average value and the subsequent processing such as noise detection for each column are performed for each color component. However, these processes are not necessarily performed for each color component. . In other words, detection for these processes is performed from a signal that does not include a component corresponding to incident light, and therefore the sensitivity difference for each color component is considered to be very small.

しかし、例えば、出力画像上でのカラムランダムノイズの影響は色ごとに異なると考えられることから、上記の処理を色成分ごとに行うことで、色成分ごとにノイズ判定に用いるしきい値を変化させるなど、色成分ごとの特性に応じたノイズ検出処理を行うことが可能となり、結果的にノイズ検出の精度を向上させることができる。   However, for example, the effect of column random noise on the output image is considered to be different for each color, so by performing the above processing for each color component, the threshold used for noise determination changes for each color component. For example, it is possible to perform noise detection processing according to the characteristics of each color component, and as a result, noise detection accuracy can be improved.

また、撮像素子の構造によっては、例えば色成分ごとにカラムの出力が独立している場合がある。あるいは、複数の同色成分画素からの出力信号を加算(混合)して出力可能な構成のものもある。このように、色成分ごとの出力については多種多様な出力方法が考えられるので、上記のように色成分ごとに処理を行ってノイズ判定結果を出力する構成としておくことで、このような出力構造の違いに応じて最終的な判定方法を変化させるなど、多様な構成に対して汎用性を持たせることもできる。   Also, depending on the structure of the image sensor, for example, the column output may be independent for each color component. Alternatively, there is a configuration in which output signals from a plurality of same-color component pixels can be added (mixed) and output. As described above, since various output methods can be considered for output for each color component, such an output structure can be obtained by performing processing for each color component and outputting a noise determination result as described above. It is possible to give versatility to various configurations such as changing the final determination method according to the difference.

また、上記の各実施の形態で示したノイズ除去処理部20a,20bの機能の少なくとも一部は、画像処理部12におけるハードウェア処理でなく、例えば制御部15などでのソフトウェア処理によって実現されてもよい。   In addition, at least a part of the functions of the noise removal processing units 20a and 20b described in the above embodiments is realized not by hardware processing in the image processing unit 12 but by software processing in the control unit 15 or the like, for example. Also good.

また、ノイズ検出の基準となる平均値については、この平均値が大きく変動しないと考えられれば、上記のように撮影ごとに演算して求めるのではなく、あらかじめ設定された値を読み込んで利用するようにしてもよい。特に、黒レベルを補正した後にカラムランダムノイズの検出を行う場合には、黒レベル補正によって暗電流などによる信号レベルのバラツキが有る程度抑制されるので、平均値を固定値としてもノイズ検出精度への影響が少ない可能性がある。また、平均値を撮影のたびに(例えばシャッタ操作に応じて画像を記録するたびに)求めるのではなく、一定時間ごとに、あるいは電源投入時に求めておいて、メモリなどに保持しておき、撮影時にこれを読み込む構成としてもよい。   In addition, as for the average value used as a reference for noise detection, if it is considered that the average value does not fluctuate greatly, it is not calculated and calculated for each shooting as described above, but a preset value is read and used. You may do it. In particular, when detecting column random noise after correcting the black level, the black level correction suppresses the signal level variation due to dark current, etc., so noise detection accuracy can be improved even if the average value is fixed. May be less affected. In addition, instead of obtaining an average value every time a picture is taken (for example, every time an image is recorded in response to a shutter operation), the average value is obtained at regular time intervals or at power-on and stored in a memory or the like. It may be configured to read this at the time of shooting.

また、上記の各実施の形態では、平均値の演算を、カラムに関係なく取り込んだ画素信号を基に行う構成としている。これは、図5などに示した度数分布上のセンターピークの位置が、主として暗電流などのカラムの位置にあまり関係しない原因によって決まることから、カラムごとのセンターピークの位置ずれをほぼ無視できるものと考えて、処理負荷や処理時間、回路規模などを抑制することを優先したものである。例えば、いくつかのカラムでダミー領域160の先頭の数ラインにカラムランダムノイズが発生したとしても、その成分は数千の画素の中のたかだか数個に含まれるだけなので、平均値を算出する際には、暗電流などのカラムに関係ないノイズ成分と比較して、カラムランダムノイズの成分の影響は無視できるほど小さくなると考えられる。これに対して、平均値の演算をカラムに関係なく、できるだけ少ないラインからの出力信号を基に行うことで、平均値演算の処理負荷の軽減や処理時間の短縮、演算結果を一時記憶するメモリなどの回路規模の縮小といった効果を得ることができる。   In each of the above embodiments, the average value is calculated based on the pixel signal taken in regardless of the column. This is because the position of the center peak on the frequency distribution shown in FIG. 5 etc. is determined mainly by the cause of the dark current, which is not so related to the position of the column. Therefore, priority is given to suppressing the processing load, processing time, circuit scale, and the like. For example, even if column random noise occurs in the first few lines of the dummy area 160 in some columns, the component is only included in several of the thousands of pixels, so when calculating the average value Therefore, it is considered that the influence of the component of the column random noise is negligibly small as compared with the noise component not related to the column such as dark current. On the other hand, regardless of the column, the average value calculation is performed based on the output signals from as few lines as possible, thereby reducing the processing load of the average value calculation, reducing the processing time, and temporarily storing the calculation results. Thus, the effect of reducing the circuit scale can be obtained.

しかし、厳密には、撮像素子11aの出力段回路の特性バラツキなどの影響により、センターピークの位置はカラムごとにわずかに異なると考えられる。特に、第2の実施の形態で挙げた手法では、カラムランダムノイズの発生を判定するためにカウント対象とするノイズ検出範囲が、センターピークの位置を基準とした限定された範囲となる。このため、センターピークの位置ずれがノイズ検出精度に与える影響が比較的大きくなる可能性がある。これに対して、平均算出用検波領域171のライン数を増やして、平均値の演算をカラムごとの出力信号を基に行うようにすることで、カラムランダムノイズ検出のための基準値を最適化し、その検出精度を高めることが可能である。   However, strictly speaking, it is considered that the position of the center peak is slightly different for each column due to the influence of variations in the characteristics of the output stage circuit of the image sensor 11a. In particular, in the method described in the second embodiment, the noise detection range to be counted for determining the occurrence of column random noise is a limited range based on the position of the center peak. For this reason, there is a possibility that the influence of the position shift of the center peak on the noise detection accuracy becomes relatively large. On the other hand, the reference value for column random noise detection is optimized by increasing the number of lines in the detection area 171 for average calculation and calculating the average value based on the output signal for each column. The detection accuracy can be increased.

実施の形態に係る撮像装置の要部構成を示すブロック図である。It is a block diagram which shows the principal part structure of the imaging device which concerns on embodiment. カメラブロックにおける撮像素子およびその周辺回路の構成例を示す図である。It is a figure which shows the structural example of the image pick-up element in a camera block, and its peripheral circuit. 撮像素子の受光素子領域の構成を概略的に示す図である。It is a figure which shows roughly the structure of the light receiving element area | region of an image pick-up element. 撮像素子における検波領域を模式的に示す図である。It is a figure which shows typically the detection area in an image sensor. ダミー領域およびVOPB領域における画素信号レベルの度数分布の例を示す図である。It is a figure which shows the example of the frequency distribution of the pixel signal level in a dummy area | region and a VOPB area | region. 第1の実施の形態に係るノイズ除去処理部の構成を示すブロック図である。It is a block diagram which shows the structure of the noise removal process part which concerns on 1st Embodiment. カラムランダムノイズが発生していないカラムにおける信号レベル分布の例を示す図である。It is a figure which shows the example of the signal level distribution in the column in which the column random noise has not generate | occur | produced. カラムランダムノイズが発生しているカラムにおける信号レベル分布の例を示す図である。It is a figure which shows the example of the signal level distribution in the column in which the column random noise has generate | occur | produced. 補正対象の画素がR成分に対応する場合に、信号補正に用いる画素の位置を説明するための図である。It is a figure for demonstrating the position of the pixel used for signal correction | amendment, when the pixel of correction object respond | corresponds to R component. 補正対象の画素がGb成分に対応する場合に、信号補正に用いる画素の位置を説明するための図である。It is a figure for demonstrating the position of the pixel used for signal correction | amendment, when the pixel of correction object respond | corresponds to Gb component. 第2の実施の形態におけるノイズ検出手法の概要について説明するための図である。It is a figure for demonstrating the outline | summary of the noise detection method in 2nd Embodiment. 第2の実施の形態に係るノイズ除去処理部の構成を示すブロック図である。It is a block diagram which shows the structure of the noise removal process part which concerns on 2nd Embodiment. カラムランダムノイズが発生していないカラムにおける画素のカウント動作について説明するための図である。It is a figure for demonstrating the count operation of the pixel in the column in which the column random noise has not generate | occur | produced. カラムランダムノイズが発生しているカラムにおける画素のカウント動作について説明するための図である。It is a figure for demonstrating the count operation of the pixel in the column in which the column random noise has generate | occur | produced. 比較判定部における色成分ごとのノイズ判定回路の構成例を示す図である。It is a figure which shows the structural example of the noise determination circuit for every color component in a comparison determination part. 比較判定部における最終判定回路の構成例を示す図である。It is a figure which shows the structural example of the final determination circuit in a comparison determination part.

符号の説明Explanation of symbols

11……カメラブロック、11a……撮像素子、12……画像処理部、13……SDRAM、14……表示部、15……制御部、16……フラッシュメモリ、17……外部メモリコントローラ、17a……外部メモリ、18……操作部、20a,20b……ノイズ除去処理部、21……平均値算出部、22……差分平均値算出部、23,27……比較判定部、24……信号補正部、25……検出範囲設定部、26……カウンタ   DESCRIPTION OF SYMBOLS 11 ... Camera block, 11a ... Image sensor, 12 ... Image processing part, 13 ... SDRAM, 14 ... Display part, 15 ... Control part, 16 ... Flash memory, 17 ... External memory controller, 17a ...... External memory, 18... Operation unit, 20a, 20b... Noise removal processing unit, 21... Average value calculation unit, 22... Difference average value calculation unit, 23, 27. Signal correction unit, 25 …… Detection range setting unit, 26 …… Counter

Claims (18)

XYアドレス走査型の固体撮像素子からの出力信号からノイズを検出するノイズ検出装置において、
前記固体撮像素子上で入射光を受光する有効画像領域からの出力信号を取り込む前に、前記固体撮像素子のカラムごとの出力信号系統に前記固体撮像素子への入射光に応じた信号成分を含まないように出力させた黒ダミー信号を、前記固体撮像素子上のライン単位で取り込む信号取り込み部と、
前記黒ダミー信号の信号レベルの平均値に対応する基準値を取得する基準値取得部と、
前記信号取り込み部から所定ライン数分の前記黒ダミー信号の入力を受け付け、当該黒ダミー信号のカラムごとの信号レベルと、前記基準値取得部からの前記基準値とを基に、ランダムノイズが発生しているカラムを判定するノイズ判定部と、
を有することを特徴とするノイズ検出装置。
In a noise detection apparatus for detecting noise from an output signal from an XY address scanning type solid-state imaging device,
Before capturing an output signal from an effective image area that receives incident light on the solid-state image sensor, an output signal system for each column of the solid-state image sensor includes a signal component corresponding to the incident light to the solid-state image sensor. A signal capturing unit that captures the black dummy signal that is output in a line unit on the solid-state image sensor,
A reference value acquisition unit for acquiring a reference value corresponding to an average value of the signal level of the black dummy signal;
Accepts the input of the black dummy signal for a predetermined number of lines from the signal capturing unit, and generates random noise based on the signal level for each column of the black dummy signal and the reference value from the reference value acquisition unit A noise determination unit for determining a column that is
A noise detection apparatus comprising:
前記ノイズ判定部は、入力された前記黒ダミー信号の信号レベルの前記基準値に対するバラツキ度合いが大きいカラムを、前記ランダムノイズが発生していると判定することを特徴とする請求項1記載のノイズ検出装置。   2. The noise according to claim 1, wherein the noise determination unit determines that the random noise is generated in a column having a large variation degree of the signal level of the input black dummy signal with respect to the reference value. Detection device. 前記ノイズ判定部は、前記所定ライン数分の前記黒ダミー信号のカラムごとの信号レベルと、前記基準値取得部からの前記基準値に応じて規定されるしきい値とを比較して、その比較結果を基に前記ランダムノイズが発生しているカラムを判定することを特徴とする請求項2記載のノイズ検出装置。   The noise determination unit compares the signal level for each column of the black dummy signal for the predetermined number of lines with a threshold value defined according to the reference value from the reference value acquisition unit, The noise detection apparatus according to claim 2, wherein a column in which the random noise is generated is determined based on a comparison result. 前記ノイズ判定部は、前記基準値取得部からの前記基準値の上側および下側にそれぞれ所定の信号レベル分だけ離れた位置に、前記しきい値によって規定されるノイズ検出範囲を設定し、入力された前記黒ダミー信号を基に、前記ノイズ検出範囲内の出力信号レベルを持つ画素をカウントし、そのカウント値が所定の判定しきい値を超えたカラムを、前記ランダムノイズが発生していると判定することを特徴とする請求項3記載のノイズ検出装置。   The noise determination unit sets a noise detection range defined by the threshold value at a position separated by a predetermined signal level above and below the reference value from the reference value acquisition unit, and inputs Based on the black dummy signal, the pixels having the output signal level within the noise detection range are counted, and the random noise is generated in the column whose count value exceeds a predetermined determination threshold value. The noise detection device according to claim 3, wherein the noise detection device is determined. 前記ノイズ判定部は、前記ノイズ検出範囲の上限または下限の少なくとも一方の、前記基準値に対する相対的なレベル差を、撮影条件に応じて変化させることを特徴とする請求項4記載のノイズ検出装置。   The noise detection device according to claim 4, wherein the noise determination unit changes a relative level difference of at least one of an upper limit or a lower limit of the noise detection range with respect to the reference value according to a shooting condition. . 前記基準値取得部は、前記基準値を色成分ごとに取得し、
前記ノイズ判定部は、入力された前記黒ダミー信号の信号レベルと前記基準値とに基づく判定処理を色成分ごとに実行するとともに、前記ノイズ検出範囲を色成分ごとに異なる範囲に設定することを特徴とする請求項4記載のノイズ検出装置。
The reference value acquisition unit acquires the reference value for each color component,
The noise determination unit executes a determination process based on the signal level of the input black dummy signal and the reference value for each color component, and sets the noise detection range to a different range for each color component. The noise detection device according to claim 4, wherein
前記ノイズ判定部は、前記所定ライン数分の前記黒ダミー信号の信号レベルと前記基準値との差分値を演算し、カラムごとの前記差分値を基に前記ランダムノイズが発生しているカラムを判定することを特徴とする請求項2記載のノイズ検出装置。   The noise determination unit calculates a difference value between the signal level of the black dummy signal for the predetermined number of lines and the reference value, and determines a column in which the random noise is generated based on the difference value for each column. The noise detection device according to claim 2, wherein the determination is performed. 前記ノイズ判定部は、カラムごとに前記差分値の平均である差分平均値を演算し、前記差分平均値が所定の判定しきい値を超えたカラムを、前記ランダムノイズが発生していると判定することを特徴とする請求項7記載のノイズ検出装置。   The noise determination unit calculates a difference average value that is an average of the difference values for each column, and determines that the random noise is generated in a column in which the difference average value exceeds a predetermined determination threshold value. The noise detection device according to claim 7, wherein 前記ノイズ判定部は、前記判定しきい値を撮影条件に応じて変化させることを特徴とする請求項8記載のノイズ検出装置。   The noise detection apparatus according to claim 8, wherein the noise determination unit changes the determination threshold according to a shooting condition. 前記基準値取得部は、前記基準値を色成分ごとに取得し、
前記ノイズ判定部は、入力された前記黒ダミー信号の信号レベルと前記基準値とに基づく判定処理を色成分ごとに実行するとともに、前記判定しきい値を色成分ごとに異なる値に設定することを特徴とする請求項8記載のノイズ検出装置。
The reference value acquisition unit acquires the reference value for each color component,
The noise determination unit performs a determination process based on the signal level of the input black dummy signal and the reference value for each color component, and sets the determination threshold to a different value for each color component. The noise detection device according to claim 8.
前記基準値取得部は、前記ノイズ判定部に前記黒ダミー信号が入力される直前に、前記ノイズ判定部に入力されるライン数より少ないライン数の前記黒ダミー信号を前記信号取り込み部から受け付け、前記基準値を、当該黒ダミー信号の信号レベルの前記平均値を演算することで取得することを特徴とする請求項1記載のノイズ検出装置。   The reference value acquisition unit accepts the black dummy signal having a smaller number of lines than the number of lines input to the noise determination unit from the signal capturing unit immediately before the black dummy signal is input to the noise determination unit, The noise detection apparatus according to claim 1, wherein the reference value is obtained by calculating the average value of the signal level of the black dummy signal. 前記固体撮像素子の出力段には、カラムごとにデジタル出力回路が個別に設けられていることを特徴とする請求項1記載のノイズ検出装置。   The noise detection apparatus according to claim 1, wherein a digital output circuit is individually provided for each column in an output stage of the solid-state imaging device. 前記信号取り込み部は、前記黒ダミー信号の少なくとも一部を、前記各デジタル出力回路に入力信号のない状態で出力させることで取り込むことを特徴とする請求項12記載のノイズ検出装置。   13. The noise detection apparatus according to claim 12, wherein the signal capturing unit captures at least a part of the black dummy signal by causing each digital output circuit to output in a state without an input signal. 前記信号取り込み部により取り込まれる前記黒ダミー信号は、前記各デジタル出力回路に入力信号のない状態で出力させることで取り込んだ第1の信号と、前記第1の信号の取り込み直後に、前記固体撮像素子において前記有効画像領域の垂直方向に隣接した遮光領域の画素から出力された第2の信号とを含むことを特徴とする請求項12記載のノイズ検出装置。   The black dummy signal captured by the signal capturing unit includes the first signal captured by outputting each digital output circuit without an input signal, and the solid-state imaging immediately after capturing the first signal. The noise detection apparatus according to claim 12, further comprising: a second signal output from a pixel in a light shielding area adjacent to the effective image area in a vertical direction in the element. 前記基準値取得部は、前記ノイズ判定部に前記黒ダミー信号が入力される直前に、前記ノイズ判定部に入力されるライン数より少ないライン数の前記黒ダミー信号を前記信号取り込み部から受け付けて、前記基準値を、当該黒ダミー信号の信号レベルの前記平均値を演算することで取得し、
前記基準値取得部には、前記黒ダミー信号として前記第1の信号が入力され、その後に、前記ノイズ判定部に対して、前記黒ダミー信号として前記第1の信号と前記第2の信号とが入力されることを特徴とする請求項14記載のノイズ検出装置。
The reference value acquisition unit receives, from the signal capturing unit, the black dummy signal having a smaller number of lines than the number of lines input to the noise determination unit immediately before the black dummy signal is input to the noise determination unit. The reference value is obtained by calculating the average value of the signal level of the black dummy signal,
The first signal is input as the black dummy signal to the reference value acquisition unit, and then the first signal and the second signal as the black dummy signal to the noise determination unit. The noise detection device according to claim 14, wherein: is input.
前記ノイズ判定部への前記黒ダミー信号の入力の後に前記固体撮像素子の前記有効画像領域から出力される信号のうち、前記ノイズ判定部により前記ランダムノイズが発生していると判定されたカラムの信号を、その近傍の同色成分の画素からの出力信号を基に補正する信号補正部をさらに有することを特徴とする請求項1記載のノイズ検出装置。   Of the signals output from the effective image area of the solid-state image sensor after the black dummy signal is input to the noise determination unit, the random determination unit determines that the random noise is generated by the noise determination unit. 2. The noise detection apparatus according to claim 1, further comprising a signal correction unit that corrects the signal based on an output signal from a pixel of the same color component in the vicinity thereof. XYアドレス走査型の固体撮像素子を用いて画像を撮像する撮像装置において、
前記固体撮像素子上で入射光を受光する有効画像領域からの出力信号を取り込む前に、前記固体撮像素子のカラムごとの出力信号系統に前記固体撮像素子への入射光に応じた信号成分を含まないように出力させた黒ダミー信号を、前記固体撮像素子上のライン単位で取り込む信号取り込み部と、
前記黒ダミー信号の信号レベルの平均値に対応する基準値を取得する基準値取得部と、
前記信号取り込み部から所定ライン数分の前記黒ダミー信号の入力を受け付け、当該黒ダミー信号のカラムごとの信号レベルと、前記基準値取得部からの前記基準値とを基に、ランダムノイズが発生しているカラムを判定するノイズ判定部と、
を有することを特徴とする撮像装置。
In an imaging apparatus that captures an image using an XY address scanning type solid-state imaging device,
Before capturing an output signal from an effective image area that receives incident light on the solid-state image sensor, an output signal system for each column of the solid-state image sensor includes a signal component corresponding to the incident light to the solid-state image sensor. A signal capturing unit that captures the black dummy signal that is output in a line unit on the solid-state image sensor,
A reference value acquisition unit for acquiring a reference value corresponding to an average value of the signal level of the black dummy signal;
Accepts the input of the black dummy signal for a predetermined number of lines from the signal capturing unit, and generates random noise based on the signal level for each column of the black dummy signal and the reference value from the reference value acquisition unit A noise determination unit for determining a column that is
An imaging device comprising:
XYアドレス走査型の固体撮像素子からの出力信号からノイズを検出するためのノイズ検出方法において、
信号取り込み部が、前記固体撮像素子上で入射光を受光する有効画像領域からの出力信号を取り込む前に、前記固体撮像素子のカラムごとの出力信号系統に前記固体撮像素子への入射光に応じた信号成分を含まないように出力させた黒ダミー信号を、前記固体撮像素子上のライン単位で取り込み、
基準値取得部が、前記黒ダミー信号の信号レベルの平均値に対応する基準値を取得し、
ノイズ判定部が、前記信号取り込み部から所定ライン数分の前記黒ダミー信号の入力を受け付け、当該黒ダミー信号のカラムごとの信号レベルと、前記基準値取得部からの前記基準値とを基に、ランダムノイズが発生しているカラムを判定する、
ことを特徴とするノイズ検出方法。
In a noise detection method for detecting noise from an output signal from an XY address scanning type solid-state imaging device,
Before the signal capturing unit captures an output signal from an effective image area that receives incident light on the solid-state image sensor, the output signal system for each column of the solid-state image sensor responds to the incident light to the solid-state image sensor. The black dummy signal output so as not to include the received signal component is taken in line units on the solid-state image sensor,
The reference value acquisition unit acquires a reference value corresponding to the average value of the signal level of the black dummy signal,
A noise determination unit receives an input of the black dummy signal for a predetermined number of lines from the signal capturing unit, and based on the signal level for each column of the black dummy signal and the reference value from the reference value acquisition unit , Determine the column where random noise occurs,
The noise detection method characterized by the above-mentioned.
JP2007310861A 2007-11-30 2007-11-30 Noise detection device, imaging device, and noise detection method Expired - Fee Related JP4952548B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007310861A JP4952548B2 (en) 2007-11-30 2007-11-30 Noise detection device, imaging device, and noise detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007310861A JP4952548B2 (en) 2007-11-30 2007-11-30 Noise detection device, imaging device, and noise detection method

Publications (2)

Publication Number Publication Date
JP2009135787A JP2009135787A (en) 2009-06-18
JP4952548B2 true JP4952548B2 (en) 2012-06-13

Family

ID=40867235

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007310861A Expired - Fee Related JP4952548B2 (en) 2007-11-30 2007-11-30 Noise detection device, imaging device, and noise detection method

Country Status (1)

Country Link
JP (1) JP4952548B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102072359B1 (en) 2013-02-27 2020-02-03 삼성전자 주식회사 A image sensor

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3796421B2 (en) * 2001-08-10 2006-07-12 キヤノン株式会社 Imaging apparatus and imaging method
JP2004023231A (en) * 2002-06-13 2004-01-22 Mitsubishi Electric Corp Imaging device and portable telephone system provided with the imaging device
JP4383827B2 (en) * 2003-10-31 2009-12-16 キヤノン株式会社 Imaging apparatus, white defect correction method, computer program, and computer-readable recording medium
JP4525198B2 (en) * 2004-06-17 2010-08-18 株式会社ニコン Noise removal device, electronic camera, and noise removal program.
JP2006025148A (en) * 2004-07-07 2006-01-26 Sony Corp Signal processing device and method thereof
JP2006042258A (en) * 2004-07-30 2006-02-09 Canon Inc Imaging apparatus and its control method
JP4601623B2 (en) * 2004-10-22 2010-12-22 三洋電機株式会社 Noise removal device
JP2006121478A (en) * 2004-10-22 2006-05-11 Canon Inc Imaging apparatus
JP4661168B2 (en) * 2004-11-02 2011-03-30 ソニー株式会社 Signal processing apparatus and method for solid-state imaging device, and imaging apparatus
JP2006217304A (en) * 2005-02-04 2006-08-17 Fujitsu Ltd Vertically striped noise reduction system
JP2007081453A (en) * 2005-09-09 2007-03-29 Sony Corp Imaging apparatus, signal processing method, and program

Also Published As

Publication number Publication date
JP2009135787A (en) 2009-06-18

Similar Documents

Publication Publication Date Title
US9721609B2 (en) Image capturing apparatus, image capturing system, and control method for the image capturing apparatus
US8451350B2 (en) Solid-state imaging device, camera module, and imaging method
JP5541718B2 (en) Imaging device and defective pixel detection method thereof
US20080129848A1 (en) Imaging apparatus having temperature sensor within image sensor
US9635289B2 (en) Image capturing apparatus, control method thereof, and storage medium
CN102572273B (en) Camera head
JP5013811B2 (en) Imaging apparatus and correction method
US10027919B2 (en) Signal processing apparatus, image capturing apparatus, control apparatus, signal processing method, and control method
JP5900194B2 (en) Signal processing apparatus, signal processing method, program, solid-state imaging device, and electronic apparatus
US20140340554A1 (en) Image capturing apparatus and method of controlling the same
US8040407B2 (en) Image capturing apparatus and image capturing apparatus control method
JP4985220B2 (en) Image processing apparatus, camera, image processing program, and image processing method
JP2008109504A (en) Imaging device and correcting method
JP2010147785A (en) Solid-state image sensor and imaging apparatus, and image correction method of the same
WO2015005249A1 (en) Imaging device, camera system, and image processing method
JP5262953B2 (en) Image processing apparatus, image processing method, and program
JP2008306565A (en) Imaging apparatus and signal correcting method thereof
JP4719442B2 (en) Image signal processing circuit, camera, and image signal processing method
JP4952548B2 (en) Noise detection device, imaging device, and noise detection method
JP2008288723A (en) Imaging apparatus, imaging method, program, and integrated circuit
JP2011250249A (en) Video signal processing apparatus and video signal processing method
JP2009302850A (en) Noise removal device of solid-state image sensor, image capturing apparatus, noise removal method of solid-state image sensor
JP2010178384A (en) Image signal processing circuit, camera and image signal processing method
JP5485680B2 (en) Imaging apparatus and imaging method
JP2010166479A (en) Imaging device and method of correcting imaged image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100813

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120227

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150323

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees