JP6118133B2 - Signal processing apparatus and imaging apparatus - Google Patents
Signal processing apparatus and imaging apparatus Download PDFInfo
- Publication number
- JP6118133B2 JP6118133B2 JP2013035152A JP2013035152A JP6118133B2 JP 6118133 B2 JP6118133 B2 JP 6118133B2 JP 2013035152 A JP2013035152 A JP 2013035152A JP 2013035152 A JP2013035152 A JP 2013035152A JP 6118133 B2 JP6118133 B2 JP 6118133B2
- Authority
- JP
- Japan
- Prior art keywords
- determination value
- row
- signal
- output
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Description
本発明は、信号処理装置及び撮像装置に関するものである。 The present invention relates to a signal processing device and an imaging device.
デジタルカメラやビデオカメラ等において、固体撮像素子としてCCDやCMOS型撮像素子が一般的に使用されている。これらの撮像素子に結像される光学像内に非常に高輝度な被写体が存在すると、高輝度被写体が存在する領域の列あるいは行方向に縦筋、縦帯、または横筋、横帯状のレベル変動が生じるいわゆるスミア現象が起こる場合がある。 In a digital camera, a video camera, or the like, a CCD or CMOS type image sensor is generally used as a solid-state image sensor. If there is a very bright subject in the optical image formed on these image sensors, the vertical, vertical, horizontal, or horizontal strip level fluctuations in the column or row direction of the region where the bright subject exists A so-called smear phenomenon may occur.
特にCMOS型の撮像素子においては、この現象は、一般的に電源やGND等の配線レイアウトに起因していると考えられている。例えば画面内の特定部に高輝度被写体が結像し、ここに多くの電荷が生じた場合には、画素部、垂直出力線、あるいは列アンプ部等の出力が大きく変動する。このような変動があると、GNDあるいは電源ラインの内部配線抵抗により、同一行内のGNDあるいは電源の変動が生じてしまう。 In particular, in a CMOS type image sensor, this phenomenon is generally considered to be caused by a wiring layout such as a power supply and GND. For example, when a high-brightness subject forms an image on a specific portion in the screen and a large amount of charge is generated here, the output of the pixel portion, the vertical output line, the column amplifier portion, or the like varies greatly. When such a change occurs, the GND or the power supply in the same row changes due to the internal wiring resistance of the GND or the power supply line.
例えば、光信号転送時にこのような変動が生じることに起因し、リセット状態で出力される内部基準信号の微小な電位差が発生する。このような差が、同時に読みだされる同一行に対してオフセット成分として残ってしまうために、同一行にわたってレベル変動が生じる、いわゆる横スミアが発生するものと考えられている。 For example, a slight potential difference occurs in the internal reference signal that is output in the reset state due to the occurrence of such fluctuation during optical signal transfer. Since such a difference remains as an offset component for the same line that is read at the same time, it is considered that a so-called horizontal smear occurs in which the level fluctuates over the same line.
このような横スミアが発生している様子を図17に示す。図17において、撮像素子の全出力1701は、遮光された領域である画面上部に位置する垂直OB(オプティカルブラック)部1702、画面左端に位置する水平OB部1703、画像データを出力する有効部1704を備える。図17の有効部1704内に高輝度被写体1705が入射すると、この左右に周辺画素出力よりも沈んだ出力となる領域1706が生じる。これは、有効部1704だけでなく、水平OB部1703においても同様のオフセット誤差を生じている。この例では横スミアの現象として信号レベルに「沈み」の横スミアが生じる場合を紹介したが、高輝度被写体の影響によっては高輝度被写体の左右に周辺よりも明るい領域が生じる「浮き」の横スミアが発生する場合もある。いずれの横スミアに対しても対策が必要である。
FIG. 17 shows a state in which such a lateral smear occurs. In FIG. 17, the
このような現象を回避する案として、特許文献1では、垂直OB部の出力を基にスミア成分を検出し、検出量を各行の出力から減算することで補正処理を行っている。また特許文献2では、単にオフセット補正を行ったのでは過補正となることを考慮し、オフセット補正後にゲイン補正も行うことでスミアを補正している。この際、有効画像信号の信号レベルに応じて、スミア補正処理の内容を変更している。具体的には、有効画像信号のレベルが所定の信号飽和レベルに達していたらスミア補正を行わないようにすることで、スミアの過補正を回避している。
In order to avoid such a phenomenon, in
しかしながら、OB部にはスミアだけではなく、ランダムなノイズ成分やオフセット成分も重畳されている。そのため、単純に各行の水平OB部の出力を平均化しただけでは、特に高感度時などランダムノイズが大きい領域においては、平均値もまだランダムなばらつきを有する。そして、これを減算処理した場合、行毎に発生する横縞等のノイズを強調してしまう恐れがある。 However, not only smear but also random noise components and offset components are superimposed on the OB portion. For this reason, if the outputs of the horizontal OB portions of each row are simply averaged, the average value still has random variations particularly in a region where the random noise is large, such as at high sensitivity. If this is subtracted, noise such as horizontal stripes generated for each row may be emphasized.
本発明は、上述した課題に鑑みてなされたものであり、高輝度被写体像が入射した際に現れる横方向のノイズ成分を確実に除去することが可能な信号処理装置及び撮像装置を提供することを目的とする。 The present invention has been made in view of the above-described problems, and provides a signal processing device and an imaging device capable of reliably removing a lateral noise component that appears when a high-luminance subject image is incident. With the goal.
本発明に係わる信号処理装置は、複数画素を有する撮像素子の有効画素部の出力信号を第1の判定値と比較する第1の比較手段と、前記第1の比較手段による比較結果に基づいて、前記第1の判定値よりも大きい信号値を出力する画素数を行ごとに計数する計数手段と、前記計数手段による計数結果を第2の判定値と比較する第2の比較手段と、前記第2の比較手段による比較結果に応じてゲインを選択する選択手段と、各行ごとの前記撮像素子の遮光画素部の出力信号に前記選択手段により選択されたゲインを乗算する乗算手段と、各行ごとに算出される前記乗算手段による乗算結果を各行の前記有効画素部の出力信号から減算する減算手段と、を備えることを特徴とする。 A signal processing apparatus according to the present invention is based on a first comparison unit that compares an output signal of an effective pixel portion of an image sensor having a plurality of pixels with a first determination value, and a comparison result by the first comparison unit. a counting means for counting the number of pixels for outputting the larger signal value than the first determination value for each row, and second comparison means for comparing the counting result of the counting means and the second determination value, the Selection means for selecting a gain according to a comparison result by the second comparison means, multiplication means for multiplying the output signal of the light-shielding pixel portion of the image sensor for each row by the gain selected by the selection means, and for each row Subtracting means for subtracting the multiplication result calculated by the multiplication means from the output signal of the effective pixel portion of each row .
本発明によれば、高輝度被写体像が入射した際に現れる横方向のノイズ成分を確実に除去することが可能となる。 According to the present invention, it is possible to reliably remove a noise component in the lateral direction that appears when a high-luminance subject image is incident.
以下に、本発明の実施形態について、添付図面を参照して詳細に説明する。 Embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
(第1の実施形態)
図1は、本発明の信号処理装置の第1の実施形態である撮像装置の構成を示すブロック図である。本実施形態の撮像装置100は、複数画素を有するCMOS型撮像素子101、AFE(Analog Front End)102、DSP(Digital Signal Processor)103、タイミング発生回路104、およびCPU105を有している。
(First embodiment)
FIG. 1 is a block diagram showing a configuration of an imaging apparatus which is a first embodiment of a signal processing apparatus of the present invention. An
CMOS型撮像素子101は、ISO感度に応じてゲインを切替える不図示のアンプ回路を内蔵している。AFE102は、撮像素子101からのアナログ信号をデジタル信号に変換するA/D変換器を内蔵し、また、目標ダークレベルからのオフセットレベルをクランプする機能を有している。
The
DSP103は、AFE102から出力されたデジタル信号に対して各種の補正処理、現像処理、圧縮処理を行う。また、DSP103は、ROM106、RAM107等の各種メモリに対するアクセス処理、記録媒体108への画像データの書き込み処理、液晶表示部(LCD)114に対する各種データの表示処理等を行う。さらに、RAM107上の画像データに対して各種の補正処理を行うことも可能である。また、DSP103は、CMOS型撮像素子101で発生する横スミアや、横縞ノイズ等をHOB部の出力等を参照して補正する行方向補正回路1033(図5参照)を有している。
The DSP 103 performs various correction processes, development processes, and compression processes on the digital signal output from the AFE 102. The DSP 103 also performs access processing to various memories such as the
タイミング発生回路104は、CPU105の制御の下に、撮像素子101、AFE102及びDSP103にクロック信号や制御信号を供給し、DSP103と協働して、撮像素子101の各種読出しモードに対応したタイミング信号を生成する。
The
CPU105は、DSP103及びタイミング発生回路104の制御並びに測光・測距等の不図示の各部を使ったカメラ機能の制御を行う。CPU105には、例えば電源スイッチ109、第1段目のシャッタスイッチ110(SW1)、第2段目のシャッタスイッチ111(SW2)、モードダイアル112、及びISO感度設定スイッチ113が接続されている。CPU105は、これらのスイッチ及びダイアルの設定状態に応じた処理を実行する。
The
ROM106は、撮像装置の制御プログラム、すなわち、CPU105が実行するプログラム、及び各種の補正用データ等を記憶している。このROM106は、一般的にはフラッシュメモリにより構成されている。RAM107は、ROM106よりも高速にアクセスできるように構成されている。このRAM107は、ワークエリアとして利用され、DSP103により処理される画像データ等を一時的に記憶する。
The
記録媒体108としては、例えば撮影された画像データを保存するメモリカード等が用いられる。記録媒体108は、例えば不図示のコネクタを介してDSP103に接続される。
As the
電源スイッチ109は、撮像装置を起動させる際にユーザにより操作される。第1段目のシャッタスイッチSW1がオンされた場合は、測光処理、測距処理等の撮影前処理が実行される。第2段目のシャッタスイッチSW2がオンされた場合は、不図示のミラー及びシャッタを駆動し、撮像素子101により撮像した画像データをAFE102及びDSP103を介して記録媒体108に書込む一連の撮像動作が開始される。
The
モードダイアル112は、撮像装置の各種の動作モードを設定するために利用される。ISO感度設定スイッチ113は、撮像装置の撮影ISO感度を設定するために利用される。LCD114は、カメラの情報を表示し、撮影した画像を再生表示し、或いは動画像データを表示するためのものである。
The
次に、図1に示した撮像装置の撮影動作の概要を図2のフローチャートに基づいて説明する。 Next, the outline of the photographing operation of the imaging apparatus shown in FIG. 1 will be described based on the flowchart of FIG.
CPU105は、電源スイッチ109がオンされると(ステップS201)、撮影に必要な電気エネルギーがバッテリに残存しているか否かを判別する(ステップS202)。その結果、撮影に必要な電気エネルギーがバッテリに残存していなければ、CPU105は、その旨の警告メッセージをLCD114に表示して(ステップS211)、ステップS201に戻り、電源スイッチ109が再度オンされるのを待つ。
When the
撮影に必要な電気エネルギーがバッテリに残存していれば、CPU105は、記録媒体108をチェックする(ステップS203)。このチェックは、所定容量以上のデータを記録可能な記録媒体108が撮像装置に装着されているか否かを判断することにより行う。所定容量以上のデータを記録可能な記録媒体108が撮像装置に装着されていない場合は、CPU105は、その旨の警告メッセージをLCD114に表示して(ステップS211)、ステップS201に戻る。
If the electric energy necessary for photographing remains in the battery, the
所定容量以上のデータを記録可能な記録媒体108が撮像装置に装着されている場合は、CPU105は、モードダイアル112により設定された撮影モードが静止画撮影モード、動画撮影モードの何れであるかを判別する(ステップS204)。そして、CPU105は、静止画撮影モードが設定されていれば、静止画撮影処理を行い(ステップS205)、動画撮影モードが設定されていれば、動画撮影処理を行う(ステップS206)。
When a
次に、図2のステップS205における静止画撮影動作の詳細を、図3のフローチャートに基づいて説明する。 Next, details of the still image shooting operation in step S205 of FIG. 2 will be described based on the flowchart of FIG.
静止画撮影処理では、CPU105は、まず、シャッタスイッチSW1がオンされるのを待つ(ステップS301)。そして、CPU105は、シャッタスイッチSW1がオンされると、不図示の測光制御部及び測距制御部を用いて、絞り値及びシャッタ速度を決定する測光処理、撮影レンズの焦点を被写体に合わせる測距処理を行う(ステップS302)。
In the still image shooting process, the
次に、CPU105は、シャッタスイッチSW2がオンされたか否かを判別する(ステップS303)。その結果、シャッタスイッチSW2がオンされていなければ、CPU105は、シャッタスイッチSW1のオン状態が継続しているか否かを判別する(ステップS304)。CPU105は、シャッタスイッチSW1のオン状態が継続していれば、ステップS303に戻って、シャッタスイッチSW2がオンされたか否かを判別する。一方、シャッタスイッチSW1のオン状態が継続していなければ、CPU105は、ステップS301に戻って、シャッタスイッチSW1が再度オンされるのを待つ。
Next, the
ステップS303にてシャッタスイッチSW2がオンされたと判別された場合は、CPU105は、撮影処理を実行する(ステップS305)。この撮影処理の詳細については、後述する。
If it is determined in step S303 that the shutter switch SW2 has been turned on, the
次に、CPU105は、DSP103により、撮影した画像データの現像処理を実行させる(ステップS306)。そして、CPU105は、DSP103により、現像処理が施された画像データに対する圧縮処理を実行させて、その圧縮処理が施された画像データをRAM107の空き領域に格納させる(ステップS307)。
Next, the
次に、CPU105は、DSP103により、RAM107に格納されている画像データの読出しと、記録媒体108への記録処理を実行させる(ステップS308)。そして、CPU105は、電源スイッチ109のオン/オフ状態をチェックする(ステップS309)。
Next, the
電源スイッチ109がオンのままであれば、CPU105は、ステップS301へ戻り、次の撮影に備える。一方、電源スイッチ109がオフされていれば、図2のステップS201に戻り、電源スイッチが再度オンされるのを待つ。
If the
次に、図3のステップS305の撮影処理の詳細を、図4のフローチャートに基づいて説明する。 Next, details of the photographing process in step S305 in FIG. 3 will be described based on the flowchart in FIG.
撮影処理では、CPU105は、撮像装置の撮影ISO感度がISO感度設定スイッチ113にて設定されたISO感度となるように、撮像素子101内のアンプゲイン、AFE102内部のゲイン等を設定する(ステップS400)。
In the shooting process, the
次に、CPU105は、ミラーをミラーアップ位置に移動させる(ステップS402)。次に、CPU105は、図3のステップS302の測光処理にて取得した測光データに基づいて、所定の絞り値まで絞りを駆動する(ステップS403)。
Next, the
次いで、CPU105は、撮像素子101の電荷を消去(クリア)する(ステップS404)。その後、CPU105は、撮像素子101に対する電荷蓄積を開始する(ステップS405)。
Next, the
続いて、CPU105は、シャッタを開き(ステップS406)、撮像素子101の露光を開始する(ステップS407)。そして、CPU105は、測光データにより規定される露光終了時間が経過するまで待機し(ステップS408)、露光終了時間が経過すると、シャッタを閉じる(ステップS409)。
Subsequently, the
次に、CPU105は、開放の絞り値まで絞りを駆動する(ステップS410)。次いで、CPU105は、ミラーダウン位置までミラーを駆動する(ステップS411)。その後、CPU105は、設定した電荷蓄積時間が経過するまで待機し(ステップS412)、電荷蓄積時間が経過すると、撮像素子101に対する電荷蓄積を終了する(ステップS413)。
Next, the
続いて、CPU105は、撮像素子101の信号を読み出す(ステップS414)。この場合、ダークオフセットレベルをクランプする機能を具えたAFE102は、撮像素子101の不図示の遮光されたオプティカルブラック部(OB部)からの出力を用いてクランプ動作を行う。AFE102でのクランプ動作は比較的遅い時定数で行われるように設定し、周波数の低いダークシェーディング等に応答し、横縞や横スミアといった現象により現れる一時的な水平OB部の変動に応答しないようにする。
Subsequently, the
次に、CPU105は、行方向補正処理を行う(ステップS415)。行方向補正処理は、図5に示す行方向補正回路1033を用いて行われる。なお、行方向補正回路1033は、図1のDSP103に内蔵される。
Next, the
以下、行方向補正処理を詳細に説明する。まず、横スミアが発生している画像のイメージを図6を用いて説明する。図6は、先に説明した図17を詳細に記述した図である。 Hereinafter, the row direction correction process will be described in detail. First, an image of a horizontal smear image will be described with reference to FIG. FIG. 6 is a detailed description of FIG. 17 described above.
図6に示すように、高輝度被写体が撮像素子101上に入射した場合、どんなに高輝度の被写体であっても、そのデジタルデータの最大値はA/D変換のbit数で決まる。例えば12bitであれば4095LSBが最大値となり、14bitでは16383LSBが最大値となる。既定の光信号が入射したときにどのようなデジタルデータを得るようにシステムゲインを設定するかはシステムの設計次第であるが、このデジタル出力の最大レベルを超えるような光信号入力が有ったとしても、その出力は一律最大値でクリップされることとなる。
As shown in FIG. 6, when a high-luminance subject is incident on the
一方、CMOS型撮像素子で発生する横スミア現象は、このデジタル出力の最大値に到達したからといって直ちに生じるものではない。条件によってはデジタル最大値となる以前の出力レベルから横スミアを発生する場合もあれば、デジタル最大値をはるかに超える光信号入力が入射することで初めて横スミアが発生する場合もある。これはCMOS型撮像素子の種類に依存する部分もあり、同一撮像素子であってもその撮像素子内部のアナログ回路のゲイン設定等により変化する部分もある。 On the other hand, the lateral smear phenomenon that occurs in a CMOS image sensor does not occur immediately after reaching the maximum value of this digital output. Depending on the conditions, a lateral smear may be generated from an output level before the digital maximum value, or a lateral smear may be generated only when an optical signal input far exceeding the digital maximum value is incident. This part depends on the type of the CMOS type image pickup element, and even if it is the same image pickup element, there is also a part that changes depending on the gain setting of an analog circuit inside the image pickup element.
図6では、高輝度被写体入射領域602の内部のA/D変換結果が最大値になっている。その内部の領域601は、領域602の中でさらに高輝度の被写体が入射している領域(入射位置)であり、領域601の影響により、横スミア現象がオフセット誤差を持つ領域603として現れていることを示している。
In FIG. 6, the A / D conversion result inside the high brightness
一方で撮像素子101の出力には、図6に示すような横縞成分604も現れる。横縞成分604は、外乱ノイズやCMOS型撮像素子の電源やGND配線に発生するノイズの影響により、一時的に生じるものである。
On the other hand, a
次に、図5の行補正回路1033の動作を説明する。図5において、入力端子501には、デジタルデータストリームが入力される。HOB部誤差検出部502は、入力端子501に入力されたデータストリーム中の遮光画素部である水平OB(HOB)部の出力信号である画素データを選択し、該当行におけるHOB部の出力信号と、目標とするレベルとの間の誤差量を算出する。
Next, the operation of the
HOB部誤差検出部502による各行ごとの誤差の算出方法としては多くの方法が考えられるが、ここでは各行ごとのHOB部の出力について単純平均を算出する方法を用いる。この場合、HOB部で平均値算出に利用可能な画素数には限りがあるため、特に、高ISO感度時などのHOB部の出力そのものが非常にランダムノイズが大きい場合などには、十分な精度の平均値を算出することが困難な場合が想定される。このような場合には、算出した誤差量にも大きめのランダムノイズ成分が含まれるため、そのまま入力画像から減算処理すると、行毎にランダムなノイズ成分を重畳してしまい、結果として行毎にランダムな横縞成分を増加させてしまうこととなる。
There are many possible methods for calculating the error for each row by the HOB unit
これを低減させるために、算出した誤差量に対して一定のゲイン(<1.0)を乗じて減算することにより(減算結果)、このようなランダムノイズの影響を低減しつつ、横縞に対しては補正効果が得られる。HOB部の画素数や各画素のランダムノイズの大きさにも依存するが、この横縞補正に好適なゲインとしては0.4〜0.7程度が選択される。ここでは、補正係数1(503)に横縞補正に好適なゲインを設定し、後述する横スミア検出信号がHにならない限りにおいては、セレクタ507にて補正係数1が選択される。
In order to reduce this, by multiplying the calculated error amount by a constant gain (<1.0) (subtraction result) (subtraction result), while reducing the influence of such random noise, As a result, a correction effect can be obtained. Although depending on the number of pixels in the HOB portion and the random noise level of each pixel, a gain suitable for this horizontal stripe correction is selected to be about 0.4 to 0.7. Here, a gain suitable for horizontal stripe correction is set in the correction coefficient 1 (503), and the
そして、HOB部の誤差量にセレクタ507により選択された補正係数1を乗算器505で乗算し、行毎に算出されるその乗算結果をF/F506でラッチして、該当行の出力から減算器515で減算処理する。この補正処理動作により、図6のような横縞成分604に対し、HOB部出力を用いて、過補正となることなく補正処理を行うことができる。
Then, the error amount of the HOB unit is multiplied by the
一方で有効部選択部508では、データストリーム中に含まれる撮像素子の有効画素部の出力信号である画素データを検出し、検出対象行の有効画素出力のみを後段の検出部へ転送する。まず比較器510において、有効画素出力が判定値1(509)として設定された第1の判定値と比較する(第1の比較)。判定値1には、AFE102の変化bit数に応じたA/D変換の最大値あるいは最大値に近い値が第1の判定値として設定される。比較器510は、第1の判定値よりも画素出力が大きい場合に、比較信号(比較結果)がHになる。さらに、計数部511は、比較器510から出力される比較信号を受信し、受信した比較信号に基づいて、第1の判定値よりも大きい信号値を出力する画素数を各行ごとに計数する。
On the other hand, the effective
デジタルデータでその出力を判別可能なのはA/D変換結果の最大値までであり、その最大値を超える入射光量が入射しているか否かはデジタルデータそのものからは判別できない。しかしながらA/D変換結果が判定値1に設定された第1の判定値よりも大きい信号値を出力する有効画素が有ったとしても、それが非常に少数であれば、横スミアを発生させるほどの光信号は入射してないものと予想できる。それに対し、A/D変換結果が判定値1に設定された第1の判定値よりも大きい信号値を出力する有効画素が非常に多い場合には、横スミアを発生させるだけの光信号が入射している可能性が高いと判断する。
The output of digital data can be discriminated up to the maximum value of the A / D conversion result, and it cannot be discriminated from the digital data itself whether or not the incident light quantity exceeding the maximum value is incident. However, even if there are effective pixels that output a signal value that is larger than the first determination value whose A / D conversion result is set to the
比較器513において、計数部511による計数結果を判定値2(512)に設定された第2の判定値と比較する(第2の比較)。例えば、判定値2(512)に第2の判定値としてN画素(ここで、Nは自然数)が設定される。比較器513は、第2の判定値よりも計数結果が大きい場合に、比較信号がHになる。図6の横スミア発生領域では、第1の判定値よりも大きい信号値を出力する有効画素数が第2の判定値(すなわち、N画素)を超えているので横スミアが発生している可能性が高いと判断し、比較器513が反転する。F/F514はその結果をラッチし、これが横スミア検出信号となり、Hの場合にはセレクタ507にて補正係数2(504)が選択される。
In the
横スミア検出信号がHとなった場合には、HOB部で生じている誤差量はほとんどが横スミアによるものであり、補正係数2に設定するゲインは1.0に近い値とする。そして、HOB部の誤差量にセレクタ507により選択された補正係数2を乗算器505で乗算し、行毎に算出される乗算結果をF/F506でラッチして、該当行の出力から減算器515で減算処理する。
When the lateral smear detection signal becomes H, most of the error generated in the HOB portion is due to lateral smear, and the gain set for the correction coefficient 2 is a value close to 1.0. Then, the error amount of the HOB portion is multiplied by the correction coefficient 2 selected by the
この補正処理により、図6のような横スミア成分603に対し、HOB部出力を用いて適切に補正処理を行うことができる。補正係数が1.0に近づくと、先に説明したようにランダムノイズの影響が想定される。しかし、ランダムノイズによりばらつく平均値のばらつき量よりも、発生している横スミア量のほうが大きい場合に多少横縞を増やす結果になったとしても、画像全体の画質に関してははるかに改善効果が大きくなる。また、計数部511、F/F506、514は各行ごとにリセットし、次行の判定を行う。
With this correction processing, it is possible to appropriately perform correction processing on the
例えば、判定値1には、A/D変換最大値の31/32程度(A/D変換が14bit時であれば15872LSB程度)が第1の判定値として設定され、判定値2には、水平方向画素数の1/8程度の数値が第2の判定値として設定される。これらの数値は、使用するCMOS型撮像素子の横スミア発生状況を入射光源の輝度や、入射光の面積等を変化させて事前に確認することで取得することが可能である。少なくとも撮像素子内のゲインが異なる撮影感度への切り替え時には、切り替えが必要である。
For example, about 31/32 of the A / D conversion maximum value (about 15872 LSB if the A / D conversion is 14 bits) is set as the first determination value in the
また、撮像素子の駆動タイミングが切り替わるような場合、例えば、静止画モード時と動画モード時とでCMOS型撮像素子の駆動タイミングが切り替わる場合には、撮像素子内部の電源GND変動の影響量に差が生じる可能性があるため、各判定値の切り替えが必要である。このように、各種撮影条件に応じて切り替え可能とすることが望ましい。 Further, when the drive timing of the image sensor is switched, for example, when the drive timing of the CMOS image sensor is switched between the still image mode and the moving image mode, there is a difference in the influence amount of the power supply GND fluctuation in the image sensor. Therefore, it is necessary to switch each determination value. Thus, it is desirable to be able to switch according to various shooting conditions.
また、本実施形態では、有効部選択部508は一つしか用意していない。しかし、撮像素子に入射する高輝度部分が、画面内のどの部分に入射するかによって横スミアの発生量が異なるような場所依存性を有する撮像素子においては、画面内の異なる領域を選択するように、有効部選択部508以降の検出部を画面内の場所ごとに配置してもよい。そして、画面内の場所ごとに適切な第1の判定値、第2の判定値を設定し、いずれかの領域において、横スミア検出信号がHとなった場合に、セレクタ507を切り替えるような構成にしてもよい。さらに、補正係数2も判定する領域に応じて切り替えるような構成にしてもよい。
In the present embodiment, only one effective
また、本実施形態においては、撮像素子の画素出力に対しすべて同一に取り扱っている。しかし、撮像素子の異なる色毎(色別)の画素出力に応じて判定値1(509)、比較器510、計数部511、判定値2(512)、比較器513を用意し、いずれかの色出力に対応した比較器513が一つでも変化した場合に、セレクタ507を切り替えるように構成してもよい。また、すべての比較器513のうち一つでも変化したらセレクタ506を切り替えるように構成してもよい。その場合、第1の判定値、第2の判定値は、色毎に独立で設定できるようにする。
In the present embodiment, all the pixel outputs of the image sensor are handled in the same way. However, a determination value 1 (509), a
また、本実施形態では、対象行を明確にしていないが、データストリーム中の有効画素領域の信号を判定した後に該当行に対して補正処理を行うためには、データストリームを一時的に保存するバッファメモリが必要である。バッファメモリを設けることで、該当行のHOB部での誤差検出、有効画素領域での計数処理まで終えて算出した誤差補正量を、該当行の先頭画素の出力から減算処理することが可能となる。本実施形態のブロック図では、バッファメモリを設けていないため、回路規模としては非常に小さくなるが、計数して算出した誤差量を検出行の次の行に対する補正に適用することになる。 In this embodiment, the target row is not clarified, but in order to perform correction processing on the corresponding row after determining the signal of the effective pixel area in the data stream, the data stream is temporarily stored. Buffer memory is required. By providing the buffer memory, it is possible to subtract the error correction amount calculated after the error detection in the HOB portion of the corresponding row and the counting processing in the effective pixel region from the output of the first pixel of the corresponding row. . In the block diagram of the present embodiment, since the buffer memory is not provided, the circuit scale is very small. However, the error amount calculated by counting is applied to the correction for the next row after the detection row.
実際には、横スミア現象も特定の行から突然発生するのではなく、複数行にわたって徐々に誤差が大きくなるように発生する場合が多いため、検出行に検出結果をそのまま反映した補正を行わなくても構わない。 Actually, the lateral smear phenomenon does not suddenly occur from a specific line, but often occurs so that the error gradually increases over multiple lines, so correction that directly reflects the detection result in the detection line is not performed. It doesn't matter.
以上のように、本実施形態では、比較的回路規模の小さな回路構成で横スミア、さらには横縞等の行方向に生じるノイズに対して、それぞれ適切な補正処理を実現することが可能となる。 As described above, according to the present embodiment, it is possible to implement appropriate correction processing for noise generated in the row direction such as horizontal smear and horizontal stripes with a circuit configuration having a relatively small circuit scale.
(第2の実施形態)
図7は、第2の実施形態における行方向補正回路1033のブロック図である。基本的な考え方は第1の実施形態と同じであるが、有効画素部の画素出力のうち判定値1(509)に設定された第1の判定値よりも大きい信号値を出力する有効画素を計数する計数部511の出力を判定する手段が判定回路518となっている。
(Second Embodiment)
FIG. 7 is a block diagram of the row
判定回路518は、計数部511の計数結果を第1の実施形態と同じ判定値2(512)に設定された第2の判定値と、新たに設けられた判定値3(517)に設定された第3の判定値との比較を行う(第3の比較)。判定値2(512)に設定された第2の判定値は第1の実施形態と同じ数値であるが、判定値3(517)には、判定値2(512)に設定された値よりも小さな第3の判定値が設定されるものとする。
The
判定回路518は、計数部511の出力が
(1)判定値3(517)に設定された第3の判定値未満の場合には“0”を出力する。
(2)判定値3(517)に設定された第3の判定値以上、判定値2(512)に設定された未満の場合には“2”を出力する。
(3)判定値2(512)に設定された第2の判定値以上の場合には“1”を出力する。
The
(2) If the value is equal to or greater than the third determination value set to the determination value 3 (517) and less than the determination value 2 (512), “2” is output.
(3) When the value is equal to or greater than the second determination value set in determination value 2 (512), “1” is output.
これによりセレクタ507では
(1)判定値3(517)に設定された第3の判定値未満の場合には補正係数1を選択する。
(2)判定値3(517)に設定された第3の判定値以上、判定値2(512)に設定された第2の判定値未満の場合には補正係数3を選択する。
(3)判定値2(512)に設定された第2の判定値以上の場合には補正係数2を選択する。
Accordingly, the
(2) The correction coefficient 3 is selected when the value is equal to or greater than the third determination value set to the determination value 3 (517) and less than the second determination value set to the determination value 2 (512).
(3) When the determination value is equal to or greater than the second determination value set to determination value 2 (512), correction coefficient 2 is selected.
計数結果が判定値3(517)に設定された第3の判定値以上、判定値2(512)に設定された第2の判定値未満の場合という中間の場合に補正係数としても中間の値を用いる。これにより、横縞に好適な補正係数1(503)と横スミアに好適な補正係数2(504)が大きく異なった場合においても、中間の補正係数3を設けることにより、補正処理が急激に変化することで画質に影響を与える可能性を低減させる。 An intermediate value as a correction coefficient in the intermediate case where the counting result is not less than the third determination value set in determination value 3 (517) and less than the second determination value set in determination value 2 (512) Is used. As a result, even when the correction coefficient 1 (503) suitable for horizontal stripes and the correction coefficient 2 (504) suitable for horizontal smear are greatly different, the correction process changes rapidly by providing the intermediate correction coefficient 3. This reduces the possibility of affecting the image quality.
補正係数3の値としては補正係数1と補正係数2の間の数値が入る。この場合、単純にこれらの係数の平均値を入れるようにしてもよいし、補正係数3としては補正係数1と補正係数2を設定すれば自動的にこれらの係数の平均値となるような回路構成であっても構わない。
As the value of the correction coefficient 3, a value between the
特に第1の実施形態に記載したようにデータストリームをバッファリングするメモリを有しない場合に、該当行の検出結果を次行に対する補正処理で用いるような場合においてもこの影響を吸収する効果がある。そのため、回路規模の大きなメモリを持たなくてもわずかな回路規模の追加で画質に悪影響を与えずに適切な補正が可能となる。 In particular, when there is no memory for buffering the data stream as described in the first embodiment, there is an effect of absorbing this influence even when the detection result of the corresponding row is used in the correction processing for the next row. . Therefore, even without having a memory with a large circuit scale, an appropriate correction can be made without adversely affecting the image quality by adding a small circuit scale.
(第3の実施形態)
本実施形態にて想定する画像を図8に示す。図8に示すように高輝度被写体として先に図6で説明したような領域601,602の他に、縦長のスリット状の被写体801が複数入射している場合を想定する。さらに各スリット光の幅は各々およそN/8画素で、各行ごとの総和は領域602の幅とほぼ同じN画素であるものとする。
(Third embodiment)
An image assumed in this embodiment is shown in FIG. As shown in FIG. 8, it is assumed that a plurality of vertically long slit-
この場合に各行ごとの高輝度被写体の総和は確かにN画素であるが、横スミアは発生しにくい。このような場合の被写体領域801と被写体領域601の判別を行うことが可能な行方向補正回路について説明する。
In this case, the total sum of the high-intensity subjects for each row is certainly N pixels, but horizontal smear is unlikely to occur. A row direction correction circuit capable of discriminating between the
図9は、本実施形態における行方向補正回路1033の構成を示す図である。図9に示す行方向補正回路は図5の第1の実施形態の行方向補正回路と計数部511を除いて同一の構成である。第1の実施形態の計数部511に代わって連続計数部520が用意される。
FIG. 9 is a diagram showing a configuration of the row
以下、連続計数部520の動作について説明する。入力される有効部のデータが判定値1に設定された第1の判定値以上であり比較器510が反転した場合には、連続計数部520は内部のカウンタをインクリメントする。連続して有効部のデータが判定値1に設定された第1の判定値以上であると、その間、連続計数部520は内部のカウンタをインクリメントし続けるが、再度有効部のデータが判定値1に設定された第1の判定値未満となって比較器510が反転した場合には、それまでの計数結果を保存し、カウンタをリセットする。すでに先に保存された計数結果がある場合には、先の計数結果よりも今回の計数結果のほうが大きい場合に限り保存していく。これにより該当行内で高輝度被写体が最も連続した区間の画素数を検出すること、すなわち高輝度被写体の連続性を考慮することが可能となる。
Hereinafter, the operation of the
こうして最終的に得られた最大の連続画素数が判定値2(512)と比較され、判定値2に設定された第2の判定値以上である場合には、横スミアが発生している可能性が高いと判断し、比較器513が反転する。F/F514はその結果をラッチし、これが横スミア検出信号となり、Hの場合にはセレクタ507にて補正係数2(504)を選択する。なお、各行ごとに、連続計数部520は、内部のカウンタおよび保存している最大カウント値はリセットする。
If the maximum number of consecutive pixels finally obtained is compared with the determination value 2 (512) and is equal to or greater than the second determination value set to the determination value 2, a lateral smear may have occurred. The
このような動作を行うことで、図8に示すような高輝度被写体が入射した場合、被写体801に対しては、高輝度被写体の水平方向の最大連続画素数は大きな数にはならないため、判定値2を超えることがなく、結果横スミアと判断されない。 By performing such an operation, when a high-luminance subject as shown in FIG. 8 is incident, the maximum number of continuous pixels in the horizontal direction of the high-luminance subject is not large for the subject 801. The value 2 is not exceeded and the result is not determined to be a lateral smear.
しかしながら、被写体601,602のような高輝度被写体に対しては、水平方向の最大連続画素数が判定値2を超えるため、結果横スミアと判断し、適切な補正を行うことが可能となる。
However, for high-luminance subjects such as the
(第4の実施形態)
これまでAFE102でのクランプ動作については、比較的遅い時定数で動作するように設定し、比較的周波数の低いダークシェーディング等に応答し、一方で横縞や横スミアといった現象により現れる一時的な水平OB部の変動に応答しないように設定していた。しかしながら、高輝度被写体の面積が広くなり、垂直方向のより多くの行数にわたって横スミアが発生するとAFEでのクランプ動作の時定数を遅く設定しても徐々に横スミアにより生じる誤差を引き込んでしまう。この様子を図10に示す。
(Fourth embodiment)
Up to now, the clamping operation in the
図10(a)に示すように、高輝度被写体の面積、とくに垂直方向の面積が小さい場合にはAFEでの水平OBのクランプ動作は特に影響を受けないため、図左側に示すHOB部の出力を示す図のように、横スミア発生領域でのみその影響が見えている。 As shown in FIG. 10A, when the area of the high-luminance subject, particularly the vertical area, is small, the clamping operation of the horizontal OB in the AFE is not particularly affected. As shown in the figure, the effect is visible only in the lateral smear generation region.
しかしながら図10(b)に示すように、高輝度被写体の面積、とくに垂直方向の面積が大きくなると、AFEでの水平OBのクランプ動作により、横スミアが発生している領域はその誤差量をクランプしはじめ、徐々に引き込んでいく。横スミア発生領域を過ぎると、今度はすでに引き込んだ横スミア誤差量から復帰するためにまたゆっくりとした時定数で引き込み動作を行っていく。このため高輝度被写体の面積が大きい場合には、横スミア発生領域の下部でAFEのOBクランプの誤動作により従来なかったパターンノイズが生じることとなる。以下、このような現象に対応する行方向補正回路について説明する。 However, as shown in FIG. 10B, when the area of the high-luminance object, particularly the vertical area, increases, the area where the lateral smear occurs due to the horizontal OB clamping operation in the AFE clamps the error amount. It begins to draw and gradually pulls in. When the lateral smear generation region is passed, the pulling operation is performed again with a slow time constant in order to recover from the lateral smear error amount that has already been pulled. For this reason, when the area of the high-luminance subject is large, pattern noise which has not been conventionally produced is caused by the malfunction of the AFE OB clamp below the lateral smear generation region. Hereinafter, a row direction correction circuit corresponding to such a phenomenon will be described.
図11は、本実施形態における行方向補正回路1033の構成を示す図である。図11における行方向補正回路は、図7の第2の実施形態で説明した構成と判定回路518の動作が異なること、および判定値3の意味する内容が異なること以外、同一の構成である。
FIG. 11 is a diagram showing a configuration of the row
判定回路521は、有効領域内で判定値1に設定された第1の判定値以上の値を有する画素数を計数部511で計数した結果と、判定値2(512)に設定された第2の判定値を比較する。ここで計数結果が判定値2に設定された第2の判定値未満である場合には、その出力を“0”としてセレクタ507にて補正係数1を選択する。一方、ここで計数結果が判定値2に設定された第2の判定値以上である場合には、その出力を“1”として、セレクタ507にて補正係数2を選択するとともに、内部の行数カウンタをインクリメントする。さらに次行においても計数結果が判定値2に設定された第2の判定値以上である場合には、その出力を“1”として、セレクタ507にて補正係数2を選択するとともに、内部の行数カウンタをインクリメントする。このように各行の計数結果が判定値2に設定された第2の判定値以上である場合にはその連続する行数を計数していく。
The
次に、計数結果が判定値2に設定された第2の判定値未満であると判断したときに、そこまでの連続行数が判定値3に設定された第3の判定値を超えていた場合には、その出力を“2”としてセレクタ507にて補正係数3を選択する。また内部では行数カウンタをデクリメントする。
Next, when it is determined that the counting result is less than the second determination value set to the determination value 2, the number of consecutive rows up to that time exceeds the third determination value set to the determination value 3. In this case, the output is set to “2”, and the correction coefficient 3 is selected by the
このあと、引き続き計数結果が判定値2に設定された第2の判定値未満である場合には、デクリメントした結果が0になるまでその出力を“2”とする。内部カウンタが0に達して時点でその出力を“0”として補正係数1を選択する。
After this, if the counting result continues to be less than the second determination value set to the determination value 2, the output is set to “2” until the decrement result becomes zero. When the internal counter reaches 0, its output is set to “0” and the
仮に計数結果が判定値2に設定された第2の判定値以上であっても、次に計数結果が判定値2に設定された第2の判定値未満となったところまでの連続行数の係数結果が、判定値3に設定された第3の判定値を超えていない場合には、判定回路の出力は通常通り“0”となり、補正係数1が選択される。また計数結果が判定値2に設定された第2の判定値未満となり、デクリメントしている途中で再度計数結果が判定値2に設定された第2の判定値以上となった場合も、内部カウンタはリセットする。
Even if the counting result is equal to or larger than the second determination value set to the determination value 2, the number of consecutive rows until the next time the counting result becomes less than the second determination value set to the determination value 2 When the coefficient result does not exceed the third determination value set to the determination value 3, the output of the determination circuit is “0” as usual, and the
このような処理を行うことで、横スミアが発生している領域では横スミアを補正するのに好適な補正係数を選択し、横スミアが発生しなくなりAFEによるクランプエラーが発生している可能性が高い領域では、その誤差を吸収することが可能な補正量を選択可能である。また、それ以外の領域ではランダムに発生する可能性の高い横縞に好適な補正係数を選択することが可能となるため、広い面積で横スミアが発生するような場合であっても画質を低下させることなく補正が可能である。 By performing such processing, a correction coefficient suitable for correcting the lateral smear is selected in the area where the lateral smear is generated, and the lateral smear does not occur and a clamp error due to AFE may have occurred. In a region where the error is high, a correction amount capable of absorbing the error can be selected. In addition, since it is possible to select a correction coefficient suitable for horizontal stripes that are likely to occur randomly in other regions, image quality is degraded even when horizontal smear occurs over a wide area. Correction is possible without any problem.
本実施形態では回路規模低減のために、横スミアが連続して生じている行数と同じ行数だけクランプ誤差を補正する期間を設けている。しかし、この方法に限定されるものではなく、横スミアが連続した行数に比例係数を乗じることでクランプ誤差を補正する行数を設定できるようにしてもかまわない。 In the present embodiment, in order to reduce the circuit scale, a period for correcting the clamp error by the same number of rows as the number of rows in which the lateral smear is continuously generated is provided. However, the present invention is not limited to this method, and the number of rows for correcting the clamping error may be set by multiplying the number of rows in which the lateral smear is continuous by a proportional coefficient.
(第5の実施形態)
先の実施形態では、AFEでのクランプ誤差を補正する方法を説明したが、横スミアが発生していると判断した場合には、AFEでのクランプ動作そのものを一時的に停止することでクランプの誤動作は防ぐことができる。仮にこの期間AFEでのクランプ動作が行えなかったとして、横スミアが生じている期間のクランプ誤差量よりも、横スミア量のほうが大きい場合には、クランプ動作を停止しても横スミアを補正したほうが望ましい結果となる。
(Fifth embodiment)
In the previous embodiment, the method of correcting the clamping error in AFE has been described. However, when it is determined that a lateral smear has occurred, the clamping operation itself in AFE is temporarily stopped to temporarily stop the clamping. Malfunctions can be prevented. Assuming that the clamping operation cannot be performed during this period AFE, if the lateral smear amount is larger than the clamping error amount during the period in which the lateral smear occurs, the lateral smear is corrected even if the clamping operation is stopped. Is more desirable.
本実施形態における撮像装置のブロック図を図12に示す。図12におけるブロック構成は、これまで説明した実施形態と同一であり、唯一DSP103からAFE102への制御信号が増えている。この制御信号は、図13に示す行方向補正回路1033から出力される。次に、この行方向補正回路1033について説明する。
FIG. 12 shows a block diagram of the imaging apparatus in the present embodiment. The block configuration in FIG. 12 is the same as that of the embodiments described so far, and only the control signal from the
図13に示す行方向補正回路1033は、第1の実施形態における行方向補正回路と同一であるが、F/F514の出力を端子522から外部に出力可能としている。この出力信号をAFE102に供給し、AFE102ではこの制御信号がHとなる期間は水平OBクランプ動作を停止するものとする。この様子を図14で説明する
図14に示すように、高輝度被写体が入射した領域で横スミアが発生している可能性が高いと判断して比較器513が反転すると、F/F514はその結果をラッチし、これが横スミア検出信号となり、Hの場合にはセレクタ507にて補正係数502を選択する。同時にこの信号はOBクランプ停止信号としてAFE102に接続され、AFEでのHOBクランプ動作を停止させる。
The row
これにより、横スミアが発生している面積が大きくてもAFEでのクランプ動作が停止しているため、横スミアで生じる誤差を引きこむことがなく、その結果、横スミアが発生した領域の下部で再度クランプ動作による変動が生じることもない。よって、AFE102のクランプ動作そのものを停止することが可能であれば、第4の実施形態に示した回路構成を用いることなく、より簡易に横スミアを高品質に補正することが可能となる。
As a result, even if the area where the lateral smear is generated is large, the clamping operation in the AFE is stopped, so that an error caused by the lateral smear is not drawn, and as a result, the lower part of the region where the lateral smear is generated Thus, there is no fluctuation caused by the clamping operation again. Therefore, if the clamping operation itself of the
なお、本実施形態では、AFE102でのクランプ動作を制御する構成としているが、このような制御性を向上させるために、AFEではHOBクランプそのもの実施させず、DSP内部で全面的にデジタル処理でHOBクランプを行うような構成にしても構わない。この場合には、行方向補正回路1033からクランプ回路への制御信号の伝達がDSP内部で閉じることになるため、撮像装置全体としての回路構成や配線等に影響を与えることなく同等の結果を得ることが可能となる。
In this embodiment, the clamp operation in the
(第6の実施形態)
本実施形態では、横スミアが発生しているか否かを予想するためにさらに精度を向上させる方法について説明する。
(Sixth embodiment)
In the present embodiment, a method for further improving accuracy in order to predict whether or not lateral smear has occurred will be described.
図15は、本実施形態における行方向補正回路の構成を示す図である。図15において、有効部で判定値1に設定された第1の判定値以上の画素出力は、これまでの行方向補正回路での構成と異なり、その出力データそのものを演算部523に転送する。演算部523では、判定値1に設定された第1の判定値以上の画素出力のみを入力し、その像データからCMOS型撮像素子出力のA/D変換結果の最大値以上の挙動を予測することで横スミアの発生領域を精度良く予測するものである。
FIG. 15 is a diagram showing a configuration of the row direction correction circuit in the present embodiment. In FIG. 15, the pixel output equal to or higher than the first determination value set to the
この演算方法について図16を用いて説明する。図16に示すような高輝度被写体が入射した場合を想定する。領域1601は、その出力レベルが判定値1と等しい領域を示している。領域1602は、A/D変換結果の最大値をとる領域を示している。領域1603は、デジタルデータとしては領域1602と区別不可能であるが、CMOS型撮像素子の内部で実際に横スミアを発生させる信号レベルに達している領域を示す。したがって、演算部523は、領域1602の画素数を正確に算出することを目的とする。
This calculation method will be described with reference to FIG. Assume that a high-luminance subject as shown in FIG. 16 is incident. An
図16に示す第n行における水平方向の各画素の出力を下部に示す。演算部523に入力される各画素の出力は実線で示す値である。演算部523では、判定値1とA/D変換の最大値の間の出力の勾配から横スミア発生レベルに到達すると思われる画素数を予測演算する。
The output of each pixel in the horizontal direction in the nth row shown in FIG. 16 is shown at the bottom. The output of each pixel input to the
たとえば、判定値1の水平方向の座標と、A/D最大値のエッジ部の水平方向の座標を元に直線近似を行うことで、既知の横スミア発生レベルを横切る水平方向の座標を求めることができる。これを高輝度被写体の左右両方向で行うことで、横スミア発生レベルを超える水平方向の画素数(図16の両矢印の範囲)を算出することが可能である。
For example, by performing linear approximation based on the horizontal coordinate of
想定している横スミア発生レベルを超える画素数が判定値2を超えた場合に、比較器513が反転し横スミア発生信号を生成する。これをF/F514でラッチして、セレクタ507で補正係数2を選択する。
When the number of pixels exceeding the assumed horizontal smear generation level exceeds the determination value 2, the
一方、第m行においては演算回路に入力される画素データの勾配から演算しても、横スミア発生レベルを超える画素は無いと判断できる。この場合には、想定している横スミア発生レベルを超える画素数が判定値2を超えないため、比較器513が反転せず横スミア発生信号は生成されない。
On the other hand, in the m-th row, it can be determined that there is no pixel exceeding the horizontal smear generation level even if the calculation is performed from the gradient of the pixel data input to the arithmetic circuit. In this case, since the number of pixels exceeding the assumed horizontal smear generation level does not exceed the determination value 2, the
この画像データから既知の横スミア発生レベルを超えると思われる画素数を算出する方法は多種考えられ、いずれの方法であっても構わないが、より高精度に横スミアが発生する行を算出することが可能となる。 There are various methods for calculating the number of pixels that are considered to exceed the known horizontal smear generation level from this image data, and any method may be used, but a row in which horizontal smear occurs is calculated with higher accuracy. It becomes possible.
また、横スミア発生レベルは、使用するCMOS型撮像素子の横スミア発生状況を入射光源の輝度や、入射光の面積等を変化させて事前に確認することで取得することが可能である。例えば、一例として横スミア発生レベルとしてはA/D変換最大値の2倍相当の値、判定値2の画素数としては水平方向画素数の1/8程度といった値が選択できる。もちろんこれらの値は撮影時のISO感度等によって変化する(切替可能)。 Further, the lateral smear generation level can be obtained by confirming in advance the lateral smear occurrence state of the CMOS image sensor to be used by changing the luminance of the incident light source, the area of the incident light, or the like. For example, as a horizontal smear generation level, a value equivalent to twice the A / D conversion maximum value can be selected, and a value of about 1/8 of the number of pixels in the horizontal direction can be selected as the number of pixels of the determination value 2. Of course, these values change (switchable) depending on the ISO sensitivity at the time of shooting.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
Claims (8)
前記第1の比較手段による比較結果に基づいて、前記第1の判定値よりも大きい信号値を出力する画素数を行ごとに計数する計数手段と、
前記計数手段による計数結果を第2の判定値と比較する第2の比較手段と、
前記第2の比較手段による比較結果に応じてゲインを選択する選択手段と、
各行ごとの前記撮像素子の遮光画素部の出力信号に前記選択手段により選択されたゲインを乗算する乗算手段と、
各行ごとに算出される前記乗算手段による乗算結果を各行の前記有効画素部の出力信号から減算する減算手段と、
を備えることを特徴とする信号処理装置。 First comparison means for comparing an output signal of an effective pixel portion of an imaging device having a plurality of pixels with a first determination value;
Counting means for counting, for each row, the number of pixels that output a signal value larger than the first determination value based on a comparison result by the first comparison means ;
Second comparison means for comparing a counting result by the counting means with a second determination value;
Selecting means for selecting a gain according to a comparison result by the second comparing means;
Multiplication means for multiplying the output signal of the light-shielding pixel portion of the image sensor for each row by the gain selected by the selection means;
Subtracting means for subtracting the multiplication result by the multiplying means calculated for each row from the output signal of the effective pixel portion of each row;
A signal processing apparatus comprising:
前記第1の比較手段による比較結果に基づいて、前記第1の判定値よりも大きい信号値を出力する画素数を行ごとに計数する計数手段と、
前記計数手段による計数結果を第2の判定値および第3の判定値と比較する第2の比較手段と、
前記第2の比較手段による比較結果に応じてゲインを選択する選択手段と、
各行ごとの前記撮像素子の遮光画素部の出力信号に前記選択手段により選択されたゲインを乗算する乗算手段と、
各行ごとに算出される前記乗算手段による乗算結果を各行の前記有効画素部の出力信号から減算する減算手段と、
を備えることを特徴とする信号処理装置。 First comparison means for comparing an output signal of an effective pixel portion of an imaging device having a plurality of pixels with a first determination value;
Counting means for counting, for each row, the number of pixels that output a signal value larger than the first determination value based on a comparison result by the first comparison means;
Second comparison means for comparing the counting result by the counting means with a second determination value and a third determination value ;
Selecting means for selecting a gain according to a comparison result by the second comparing means;
Multiplication means for multiplying the output signal of the light-shielding pixel portion of the image sensor for each row by the gain selected by the selection means;
Subtracting means for subtracting the multiplication result by the multiplying means calculated for each row from the output signal of the effective pixel portion of each row;
Signal processing apparatus you comprising: a.
請求項1乃至7のいずれか1項に記載の信号処理装置と、
を備えることを特徴とする撮像装置。 An imaging device having a plurality of pixels;
A signal processing device according to any one of claims 1 to 7 ,
Imaging device according to claim Rukoto equipped with.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013035152A JP6118133B2 (en) | 2013-02-25 | 2013-02-25 | Signal processing apparatus and imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013035152A JP6118133B2 (en) | 2013-02-25 | 2013-02-25 | Signal processing apparatus and imaging apparatus |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014165676A JP2014165676A (en) | 2014-09-08 |
JP2014165676A5 JP2014165676A5 (en) | 2016-04-07 |
JP6118133B2 true JP6118133B2 (en) | 2017-04-19 |
Family
ID=51615913
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013035152A Active JP6118133B2 (en) | 2013-02-25 | 2013-02-25 | Signal processing apparatus and imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6118133B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6568368B2 (en) | 2015-03-03 | 2019-08-28 | キヤノン株式会社 | Imaging apparatus, control method therefor, program, and storage medium |
JP6581412B2 (en) | 2015-07-15 | 2019-09-25 | キヤノン株式会社 | Imaging device |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006157341A (en) * | 2004-11-29 | 2006-06-15 | Sony Corp | Smear correcting method and signal processor for solid-state imaging device, and imaging apparatus |
JP4392384B2 (en) * | 2005-05-18 | 2009-12-24 | 株式会社リコー | Automatic exposure control device |
JP2010092027A (en) * | 2008-09-09 | 2010-04-22 | Panasonic Corp | Imaging apparatus |
JP2010136271A (en) * | 2008-12-08 | 2010-06-17 | Olympus Imaging Corp | Imaging apparatus |
JP5254830B2 (en) * | 2009-02-03 | 2013-08-07 | キヤノン株式会社 | Imaging apparatus, control method thereof, and program |
JP5402349B2 (en) * | 2009-07-23 | 2014-01-29 | ソニー株式会社 | Solid-state imaging device, driving method thereof, and electronic apparatus |
-
2013
- 2013-02-25 JP JP2013035152A patent/JP6118133B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014165676A (en) | 2014-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5616442B2 (en) | Imaging apparatus and image processing method | |
US8922680B2 (en) | Image processing apparatus and control method for image processing apparatus | |
JP3748267B2 (en) | Imaging device | |
US9083898B2 (en) | Solid-state imaging device and camera module | |
JP2010068056A (en) | Imaging device, and method and program for adjusting black level | |
JP6351271B2 (en) | Image composition apparatus, image composition method, and program | |
JP2009033321A (en) | Image device, image processing method, and computer program | |
JP6572524B2 (en) | Imaging apparatus and imaging method | |
JP2017158061A (en) | Signal processing apparatus, imaging apparatus, control apparatus, signal processing method, and control method | |
JP2007174590A (en) | Signal processor and imaging apparatus | |
JP6118133B2 (en) | Signal processing apparatus and imaging apparatus | |
JP2011114473A (en) | Pixel defect correction device | |
KR101429512B1 (en) | Apparatus and method for reducing banding noise | |
JP3767188B2 (en) | Electronic camera and signal correction method | |
KR101467873B1 (en) | Apparatus and method for capturing digital image according to detecting hand shake | |
JP5088408B2 (en) | Image processing apparatus, image processing program, and electronic camera | |
JP2011250249A (en) | Video signal processing apparatus and video signal processing method | |
JP2006014163A (en) | Solid-state imaging device and smear correction method | |
JP6575667B2 (en) | Exposure control device and optical apparatus | |
JP2011135194A (en) | Imaging device, correction control method thereof, correction control program, and recording medium | |
JP4952548B2 (en) | Noise detection device, imaging device, and noise detection method | |
JP6432642B2 (en) | Exposure control device and optical apparatus | |
JP6242156B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP2009188624A (en) | Image processor and electronic camera, and allowable value setting method | |
JP7064351B2 (en) | Imaging device and imaging method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160218 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161007 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170324 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6118133 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |