JP5353466B2

JP5353466B2 - 撮像装置

Info

Publication number: JP5353466B2
Application number: JP2009146886A
Authority: JP
Inventors: 丈史塚越; 宗士鈴木
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2009-06-19
Filing date: 2009-06-19
Publication date: 2013-11-27
Anticipated expiration: 2029-06-19
Also published as: JP2011004273A

Description

本発明は、固体撮像素子を用いて被写体を撮像する撮像装置に関する。

近年、主として静止画を撮像記録するために、電子スチルカメラが開発されている。この種のカメラに用いられるＣＣＤ撮像素子には、そのデバイス構成上、縦線状に現れる固定パターンノイズが存在する。またこの縦線状のノイズは温度によって出力レベルが変化するため、撮影毎に異なるレベルで付加される。そのため、撮像素子の出力信号をそのまま用いると有効な信号成分にその暗ノイズが重畳し、撮像画像の画質劣化の原因となる。

このような暗ノイズを除去するために、ノイズリダクション機能を備えた電子スチルカメラがある。このノイズリダクション機能によると、画像撮像時において、まずシャッタを閉じた状態で撮像素子を露光し、これによって得られた暗出力をメモリに記録する。続いて、シャッタが開いた状態で撮像素子を露光し、この露光によって得られる明時画像信号から上記メモリに記憶された暗出力を減算する。この方法によると、同感度・同露光時間における暗ノイズはおよそ一定であることから、暗出力時に発生している暗ノイズを差分により相殺することになるため、効率よく暗ノイズを抑圧することが可能となる。

ランダムノイズによる弊害を軽減するため、特許文献１では、測光時に定めた露光時間より数段階長い暗出力データを直前に取得し、以降の処理に使用する手法が開示されている。これによれば、暗出力データ取得後にデータを流用することにより、以降のシャッタータイムラグの発生を抑制し、連続撮像が可能になる。

また、特許文献２では、撮像素子の露出時間と撮影の時間間隔の関係に応じて撮像素子から信号の読み出しを制御し、非遮光状態において撮像素子から出力される明時信号から遮光状態において撮像素子から出力される暗時信号を減算処理して暗時ノイズが抑圧された信号を得ることができる撮像装置が開示されている。これによれば、所定の時間間隔で繰り返し撮影するインターバル撮影時において、撮影間隔を満たしながら暗時ノイズが抑圧された良質な画像を取得できる。

特許文献１、２に記載の手法では暗ノイズ抑圧画像取得する際に、初回の撮像処理に対して、連続撮像の抑制・シャッタータイムラグなどの影響が及び、また、初回の暗出力データ取得後においても、その後撮像感度を変更した場合や露光時間が大きく延びた場合において、再度暗出力データを取得する必要がある、として、特許文献３では、撮像素子を遮光状態にして、複数の撮像条件に基づいて、撮像された複数の暗時画像データを記憶し、撮像素子を非遮光状態にして、撮像された明時画像データを記憶し、明時画像が撮像された撮像条件に対応する撮像条件で撮像された暗時画像データに基づいて、明時画像データを補正する撮像装置が開示されている。これによれば撮像条件の変動に対応して暗時ノイズが抑圧された良質な画像を取得できる。さらに、特許文献３は、温度センサを備えて、複数の温度条件に基づいて、撮像された複数の暗時画像データを記憶することで、温度によるノイズ変動に対しても対応が可能であるとしている。

特開２００２−１３５６６１号公報特開２００５−１５９４４７号公報特開２００８−２３６６６１号公報

しかしながら、特許文献３の手法においても温度変動などに対応しようとすれば、高速に応答するセンサを付加する必要があり、この事はコストアップの原因となるという難点があった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、コストアップを招くことなく、様々な撮像条件においても高速に縦線状のノイズを除去した画像を取得することができる撮像装置を提供することを目的とする。

上記課題を解決するため、請求項１に記載の発明の撮像装置は、入射光量に応じた電荷を蓄積する複数の光電変換素子と、前記複数の光電変換素子の間に配置され、前記複数の光電変換素子に蓄積された電荷を転送する電荷転送部と、を備えた撮像素子と、前記電荷転送部を駆動する転送駆動手段と、前記撮像素子を露光状態にして撮像を行うことで前記複数の光電変換素子に電荷を蓄積する撮像制御手段と、前記複数の光電変換素子に蓄積された電荷を転送しない状態で前記転送駆動手段を駆動して非露光信号を読み出して補正用データを形成するデータ形成手段と、前記複数の光電変換素子に蓄積された電荷を転送する状態で前記転送駆動手段を駆動することで前記撮像により蓄積された電荷を読み出し、前記補正用データを用いて前記撮像により蓄積された電荷を補正する補正手段と、前記補正手段により補正された信号を用いて画像を形成する画像形成手段と、を備え、前記撮像素子を露光開始後、前記複数の光電変換素子に蓄積された電荷を転送しない状態で前記転送駆動手段を駆動して非露光信号を読み出して補正用データを形成し、その後、前記複数の光電変換素子に蓄積された電荷を転送する状態で前記転送駆動手段を駆動することで前記撮像により蓄積された電荷を読み出し、前記補正用データを用いて前記撮像により蓄積された電荷を補正することを特徴としている。

請求項２に記載の発明は、請求項１に記載の撮像装置において、前記補正用データを形成する期間と、前記補正用データを用いて前記撮像により蓄積された電荷を補正する期間とにおいて、前記撮像素子に供給されるクロックの速度は等しいことを特徴としている。

請求項３に記載の発明は、請求項１に記載の撮像装置において、前記撮像素子を非露光状態にして前記電荷転送部に蓄積された電荷を掃き出す、掃き出し手段をさらに備えたことを特徴としている。

請求項４に記載の発明は、請求項３に記載の撮像装置において、前記電荷転送部に蓄積された電荷を掃き出す期間において前記撮像素子に供給されるクロックは、前記補正用データを形成する期間と、前記補正用データを用いて前記撮像により蓄積された電荷を補正する期間とにおけるクロックよりも高速であることを特徴としている。

本発明によれば、コストアップを招くことなく、様々な撮像条件においても高速に縦線状のノイズを除去した画像を取得することができるという効果がある。

電子スチルカメラのブロック図である。ＣＣＤの構成図である。ノイズ除去回路のブロック図である。ノイズ除去撮影のフローチャートである。ノイズ積分処理のフローチャートである。ノイズ減算処理のフローチャートである。

以下、本発明の実施形態について、図面を用いて、詳細に説明する。なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

図１において、１１は写真レンズ、１２は写真レンズ１１の光軸上に設けられた絞り機構を兼ねるメカシャッタ、１３はメカシャッタ１２の開度を調節する駆動部、１４はメカシャッタ１２を通過した光を受けて被写体の撮像信号を出力するＣＣＤ（特許請求の範囲に記載の撮像素子に相当）、１５はＣＣＤ１４のドライバ、１６はＣＣＤ１４の電荷蓄積時間（電子的なシャッタ時間；以下、電子シャッタ時間という）を制御する信号などの各種タイミング信号を発生するタイミング発生器、１７はＣＣＤ１４からの撮像信号をサンプリングする相関二重サンプリング回路（ＣＤＳ）、１８は撮像信号をディジタル信号に変換するアナログディジタル変換回路（Ａ／Ｄ）、１９はノイズ除去回路（ＮＲ：詳細構成は後述）である。

また、２０はノイズ除去回路１９から出力される、画像信号を一時的に保持するバッファメモリ、２１は信号の流れを調停するビデオトランスファー回路、２３はＹＵＶ信号を記録時と再生時に所定の符号化方式（一般にＪＰＥＧ方式）で圧縮／伸長処理する圧縮・伸張回路、２４は圧縮処理されたＹＵＶ信号を記録する固定又は取り外し可能なフラッシュメモリである。

また、２５はプログラムＲＯＭ２５ａに格納された制御プログラムをユーザワークＲＡＭ２５ｂにロードして実行し、画像の記録や再生に必要な各種の制御を行うＣＰＵ（特許請求の範囲に記載の撮影制御手段、補正手段、変更手段、第２の撮影制御手段、第２の補正手段に相当）、２６はシャッタボタンや各種の機能ボタンの操作に応答してキー入力信号を発生するキー入力部である。また、２８はバッファメモリ２０に保持されている画像信号を表示に適した信号形式に変換するディジタルビデオエンコーダ、２９はディジタルビデオエンコーダ２８からの信号を表示する画像モニター用の液晶ディスプレイ、３０は各部を接続するバスである。

図２は、ＣＣＤ１４の概略構成図である。ＣＣＤ１４は、入射光量に応じた電荷を蓄積するＮ×Ｍ個の光電変換素子１４ａをマトリクス状に配列するとともに、各列間に１本ずつ全部でＮ本の垂直転送部１４ｂを配置して撮像領域１４ｃを形成し、さらに、撮像領域１４ｃの図面に向かって下側に水平転送部１４ｄを配置して構成する。光電変換素子１４ａに蓄積された信号電荷は、ドライバ１５から印加される読み出し信号ＸＳＧに応答して隣接する垂直転送部１４ｂに取り込まれ、垂直転送部１４ｂの内部を垂直転送クロックφＶに同期して図面下方向に順次転送される。すべての垂直転送部１４ｂの出力端は水平転送部１４ｄに接続されており、水平転送部１４ｄには、垂直転送クロックφＶに同期して１ライン分の信号電荷が順次に取り込まれる。水平転送部１４ｄに取り込まれた信号電荷は、水平転送クロックφＨに同期して図面左方向に順次転送され、水平転送部１４ｄの出力端に到達した信号電荷は、電荷検出部１４ｅで電気信号に変換され、アンプ１４ｆにより増幅された後、端子１４ｇからＣＣＤ出力として外部に取り出される。

なお、ＳＵＢはすべての光電変換素子１４ａの蓄積電荷を基板に引き抜くための信号電圧（いわゆる電荷掃き出しパルス）である。このＳＵＢの印加時点からＸＳＧの印加時点までがＣＣＤの電荷蓄積時間、すなわち、露光時間（以下「電子シャッタ時間」ということもある）になる。フィールド読み出し時の露光時間は電子シャッタの開閉操作（ＳＵＢとＸＳＧの印加タイミング）でコントロールされ、フレーム読み出し時の露光時間は電子シャッタの開操作（ＳＵＢの印加タイミング）とメカシャッタ１２の閉操作でコントロールされる。なお、フィールド読み出しでは、図２に示したＣＣＤ１４において、光電変換素子１４ａの奇数ラインＯｉ（ｉは１、２、３、……）と偶数ラインＥｉの画素信号を加算して同時に出力し、フレーム読み出しでは、奇数ラインＯｉと偶数ラインＥｉの画素信号を交互に出力する。

図３は、ノイズ除去回路１９のブロック図である。ノイズ除去回路１９は、内部にラインバッファ１９ａと、ラインバッファ１９ａのデータに対して乗除算を行う乗除算器１９ｂと、バッファメモリ２０から読み出したデータに対して乗除算を行う乗除算器１９ｃと、乗除算器１９ｂの出力と乗除算器１９ｃの出力を加減算する加減算器１９ｄを備えている。なおこれらの乗除算器は簡便なもの（ビットシフトが出来る程度のもの）で差し支えない。

また、図示しないが、バッファメモリ２０の中には固定パターンノイズを積分データを書き込むためのノイズ積分領域と、露光画像データを保持するための画像データ領域が設けられている。

次に本実施例の動作を説明する。まず、スルー画像の表示処理を実行し、シャッタキーの“半押し”を判定するまで、このスルー画像の表示処理を繰り返す。なお、スルー画像とは、ＣＣＤ１４から所定の周期（例えば、１／３０秒周期）で出力される動画のことである。この動画を液晶ディスプレイ２９に表示することにより、構図の確認や調整をし易くすることができる。しかる後、シャッタキーの“半押し”を判定すると、まず、被写体の明るさを測定して最適な露光時間（便宜的に「Ｔ１」とする）を計算し、その露光時間Ｔ１を用いてメカシャッタ１２の開度および電子シャッタとメカシャッタ１２の開時間をセットした後、シャッタキーの“全押し”を判定する。そして、シャッタキーの“全押し”を判定するとノイズ除去撮影を実行する。

図４は、ノイズ除去撮影のフローチャートである。まず、メカシャッタ１２を“開”にし（ステップＳ１０１）、露光時間Ｔ１の撮影を行う（ステップＳ１０２）。そして、メカシャッタ１２を“閉”にする（ステップＳ１０３）、読み出し速度を掃き出し用の高速に設定する（ステップＳ１０４）。高速掃き出し動作により読み出し、ＣＣＤ１４の垂直転送部１４ｂに蓄積した電荷をクリアする（ステップＳ１０５）。次に読み出し速度を通常の読み出し速度に設定する（ステップＳ１０６）。

光電変換素子１４ａに蓄積された信号電荷を垂直転送部１４ｂに取り込まない状態で、垂直転送部１４ｂのデータを通常の読み出し速度で読み出しながら、各垂直ラインについて、所定の水平ライン数分を積分する（ステップＳ１０７）。

ノイズ積分処理についてより具体的に述べる。図５は、ノイズ積分処理のフローチャートである。積分されるライン数は３２ラインであるとする。まず乗除算器１９ｂを１／８にセットする（ステップＳ２０１）。これは計算の桁あふれを防ぐためである。積分処理に先立ちバッファメモリ２０のノイズ積分領域はクリアする（ステップＳ２０２）。１ライン目のデータがノイズ除去回路１９に送られてくると（ステップＳ２０４）、ノイズ除去回路１９はラインバッファ１９ａから１列目の垂直転送部のデータを読み出し、バッファメモリ２０のノイズ積分領域からこの１列目に対応するデータ（この時点では０）を読み出し、両者を加算して、得られたデータをバッファメモリ２０のノイズ積分領域の１列目に書き込む（ステップＳ２０６）。２列目のデータも同様に処理し、この作業をＮ列目の垂直転送部のデータに対する処理が終了するまで繰り返す（ステップＳ２０７）。ここまでで１ラインの処理が終了する。

２ライン目のデータがノイズ除去回路１９に送られてくると、ノイズ除去回路１９はラインバッファ１９ａから１列目の垂直転送部のデータを読み出し、バッファメモリ２０のノイズ積分領域からこの１列目に対応するデータ（前回結果）を読み出し、両者を加算して、得られたデータをバッファメモリ２０のノイズ積分領域の１列目に書き込む（ステップＳ２０６）。２列目のデータも同様に処理し、この作業をＮ列目の垂直転送部のデータに対する処理が終了するまで繰り返す（ステップＳ２０７）。ここまでで２ラインの処理が終了する。これを３２ライン分繰り返す（ステップＳ２０８）。

これにより、各垂直ラインについて積分された１水平ライン分の縦線ノイズパターンデータができあがる。１／８倍しながら３２ライン分の積分を行ったので、得られた縦線ノイズパターンデータは平均値の４倍になっている。露光画像のデータを読み出す際にこの縦線ノイズパターンデータを１／４倍しながら減算することで縦線ノイズを除去したデータを得ることが出来る。

次に、光電変換素子１４ａに蓄積された信号電荷を垂直転送部１４ｂに取り込んだ状態で、垂直転送部１４ｂのデータをＣＣＤ１４から通常の読み出し速度で読み出しながらノイズ減算処理を行う（ステップＳ１０８）。

図６は、ノイズ減算処理のフローチャートである。まず乗除算器１９ｂを１／４にセットする（ステップＳ３０１）。１ライン目のデータがノイズ除去回路１９に送られてくると（ステップＳ３０３）、ノイズ除去回路１９はラインバッファ１９ａから１列目の垂直転送部の露光画像データを読み出し、バッファメモリ２０のノイズ積分領域からこの１列目に対応するノイズ積分データを読み出し、露光画像データからノイズ積分データを減算するすなわちノイズを除去する（ステップＳ３０５）。このノイズ除去後のデータをバッファメモリ２０の中の画像データ領域の１行２列目の位置に保管する。これをＮ列目まで繰り返すことで１ライン目の画像データがバッファメモリ２０に保管される（ステップＳ３０６）。以下、同様の動作をＭライン目まで繰り返す（ステップＳ３０７）ことでノイズが除去された画像データがバッファメモリ２０内に形成される。

バッファメモリ２０内に形成されたノイズ除去後の画像データは、圧縮／伸長処理する圧縮・伸張回路２３によって圧縮され、フラッシュメモリ２４に格納される。

本実施形態によれば、ゲインアップして縦線状のノイズが乗ってしまった撮像画像から、ランダムノイズを増加させることなく、縦線成分のみを除去出来るようになるという利点がある。

また、ノイズ除去回路１９は極めて簡素な回路でありコストインパクトは殆ど無い。このノイズ除去回路１９とバッファメモリ２０を組み合わせて縦線抽出、減算を行うことでコストアップを招くことなく縦線状のノイズを除去できるという利点がある。通常の読み出し動作を行いながらノイズ減算動作を行うため、所定ライン数のノイズ積分動作時間が追加されるのみで、処理時間を大きく伸ばすことなく減算処理を完了できるという利点がある。

また、撮影毎にノイズパターンを毎回取得するため、時々刻々と変化する環境にも対応が出来る。さらには電源投入後最初の撮影環境がもっとも縦線状のノイズが出る状況だったとしても最初から綺麗に補正することが出来るという利点がある。

さらには、高速掃き出し動作により、ＣＣＤ１４の垂直転送部１４ｂに蓄積した電荷を短時間の内にクリアする一方で、ノイズ積分動作とノイズ減算動作を同じクロック速度で行うことにより垂直転送部１４ｂの動作特性を揃えることで、精度良くノイズ除去が行うことができるという利点がある。

１１写真レンズ
１２メカシャッタ
１３メカシャッタ駆動部
１４ＣＣＤ
１５ＣＣＤドライバ
１６タイミング発生器
１７相関二重サンプリング回路（ＣＤＳ）
１８アナログディジタル変換回路（Ａ／Ｄ）
１９ノイズ除去回路
２０バッファメモリ
２１ビデオトランスファー回路
２３圧縮・伸張回路
２４フラッシュメモリ
２５ＣＰＵ
２６キー入力部
２８ディジタルビデオエンコーダ
２９液晶ディスプレイ
３０各部を接続するバス

Claims

入射光量に応じた電荷を蓄積する複数の光電変換素子と、前記複数の光電変換素子の間に配置され、前記複数の光電変換素子に蓄積された電荷を転送する電荷転送部と、を備えた撮像素子と、
前記電荷転送部を駆動する転送駆動手段と、
前記撮像素子を露光状態にして撮像を行うことで前記複数の光電変換素子に電荷を蓄積する撮像制御手段と、
前記複数の光電変換素子に蓄積された電荷を転送しない状態で前記転送駆動手段を駆動して非露光信号を読み出して補正用データを形成するデータ形成手段と、
前記複数の光電変換素子に蓄積された電荷を転送する状態で前記転送駆動手段を駆動することで前記撮像により蓄積された電荷を読み出し、前記補正用データを用いて前記撮像により蓄積された電荷を補正する補正手段と、
前記補正手段により補正された信号を用いて画像を形成する画像形成手段と、を備え、
前記撮像素子を露光開始後、前記複数の光電変換素子に蓄積された電荷を転送しない状態で前記転送駆動手段を駆動して非露光信号を読み出して補正用データを形成し、その後、前記複数の光電変換素子に蓄積された電荷を転送する状態で前記転送駆動手段を駆動することで前記撮像により蓄積された電荷を読み出し、前記補正用データを用いて前記撮像により蓄積された電荷を補正することを特徴とする撮像装置。
前記補正用データを形成する期間と、前記補正用データを用いて前記撮像により蓄積された電荷を補正する期間とにおいて、前記撮像素子に供給されるクロックの速度は等しいことを特徴とする請求項１に記載の撮像装置。
前記撮像素子を非露光状態にして前記電荷転送部に蓄積された電荷を掃き出す、掃き出し手段をさらに備えた請求項１に記載の撮像装置。
前記電荷転送部に蓄積された電荷を掃き出す期間において前記撮像素子に供給されるクロックは、前記補正用データを形成する期間と、前記補正用データを用いて前記撮像により蓄積された電荷を補正する期間とにおけるクロックよりも高速であることを特徴とする請求項３に記載の撮像装置。