JP5161706B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は撮像装置及びその制御方法に関し、特に、ＣＣＤ、ＣＭＯＳ等の固体撮像素子を用いて被写体像を撮像する撮像装置及びその制御方法に関する。

近年、固体メモリ素子を有するメモリカードを記録媒体として、ＣＣＤ、ＣＭＯＳセンサ等の固体撮像素子で撮像した画像を記録および再生するデジタルカメラ等の撮像装置が盛んに開発され、広く普及してきている。また、そのような撮像装置において、静止画や動画の撮影に係る解像度や動作スピードの向上が求められている。そのため、デジタルカメラ等を構成する固体撮像素子を駆動するための駆動信号の周波数や、アナログ信号処理回路、Ａ／Ｄ変換器、後段のデジタル信号処理回路に対する駆動周波数の高速化が急速に進んでいる。

また、最近では、高画質、高精細といった画質の向上に加えて、様々な撮影シーンにおいて、失敗の少ない撮影が可能な手軽さがより一層求められるようになってきた。そのために、例えばスポーツシーンなど動きの速い被写体に追従するため、あるいは、低照明下の室内撮影における手ぶれ防止を目的として、シャッター秒時の高速化が進んでいる。更に、美術館や水族館といったストロボ撮影の禁止された場所での撮影などを可能とするために、撮像素子の更なる高感度化が求められている。

ところで、撮像装置は固体撮像素子及びその駆動回路以外に、ＣＰＵなどのシステム制御回路、ＤＲＡＭなどのメモリ回路及びＬＣＤ等の表示回路を有する。これらの回路それぞれは、異なる高い周波数のクロック信号で動作している。このような複数の異なる周波数のクロック信号が存在する撮像装置では、装置の小型化により基板面積が小さくなり、各回路間のクロック干渉が無視できなくなってきている。例えば、干渉したクロック周波数による周期性ノイズが斜め方向に等ピッチの縞ノイズ（以下、「ビートノイズ」と呼ぶ。）として撮像信号に重畳してしまい、高感度化によりこの周期性ノイズが増幅されて、得られる画像の品位が更に劣化するという問題がある。

また、撮像装置には上記のシステムに起因するビートノイズ以外にも画像の品位を劣化させる要因として、撮像素子の構造に起因する縦線状の列ノイズが存在する。例えば、ＣＣＤセンサにおいては垂直転送レジスタの欠陥による縦縞ノイズや、強烈な光が入射した際に発生するスミア現象などが知られている。また、ＣＭＯＳセンサに代表されるＸ−Ｙアドレス型センサは、一般に、行列状に配置された光電変換素子から、選択された各行毎の信号を、行毎に共通で列毎に異なる垂直信号線を介して読み出す構造となっている。そのために、列毎に異なる素子特性のばらつきによって列ノイズが発生しやすい。

従来技術においては、撮像信号に重畳したこれらの列ノイズを抽出してキャンセルするために、固体撮像素子の有効画素領域の垂直方向に位置する複数ラインからなる光学的黒画素の出力を積分して、１水平期間分の画像データとして記憶部に記憶する。そして、有効画素データから記憶した１水平期間の記憶画像データを減算することで重畳されたノイズを除去することが、例えば特許文献１で提案されている。

また、例えば特許文献２において、ビートノイズをキャンセルするための技術が提案されている。特許文献２では、２種類のクロックにより形成されるビートノイズの１周期に相当する画素数分の複数チャンネルを有し、取り込み中の光学的黒領域における各画素の信号を順次複数チャンネル毎に積分するマルチチャンネルクランプ回路を設けている。そして、このチャンネル毎の積分値を入力画像データから減算することでビートノイズを取り除く方法が用いられている。

特開平７−６７０３８号公報 特開２００２−１５２６００号公報

しかしながら、特許文献１では、複数水平期間の画像データを１水平期間分の信号として積分するため、垂直方向に発生した列ノイズしか抽出できず、斜め方向に発生したシステムに起因するビートノイズには対応できない。

また、特許文献２では、ビートノイズの周期に相当する画素数分、専用の検出回路および積分回路が必要となり、回路構成がビートノイズの周期の長さに依存する。従って、ビートノイズの周期が長くなると回路規模が増大して、対応できなくなる。

本発明は上記問題点を鑑みてなされたものであり、回路規模を小さく抑えつつ、ビートノイズ及び列ノイズを補正することを目的とする。

上記目的を達成するために、本発明の撮像装置は、撮像手段の駆動信号の周期と前記撮像手段以外の回路の駆動により発生する信号の周期とに起因する、周期性ノイズの周期を検出する検出手段と、前記撮像手段の駆動信号の１水平期間が、前記周期性ノイズの周期の整数倍となるように、水平ブランキング期間の長さを調節する制御手段と、前記撮像手段を、前記調節した後の１水平期間に基づく駆動信号により駆動して読み出された画像信号から、列ノイズを検出する列ノイズ検出手段と、前記列ノイズ検出手段により検出された列ノイズを、前記画像信号から減ずる列ノイズ補正手段とを有する。

また、本発明の撮像装置の制御方法は、検出手段が、撮像手段の駆動信号の周期と前記撮像手段以外の回路の駆動により発生する信号の周期とに起因する、周期性ノイズの周期を検出する検出工程と、制御手段が、前記撮像手段の駆動信号の１水平期間が、前記周期性ノイズの周期の整数倍となるように、水平ブランキング期間の長さを調節する第１の調節工程と、列ノイズ検出手段が、前記撮像手段を、前記調節した後の１水平期間に基づく駆動信号により駆動して読み出された画像信号から、列ノイズを検出する列ノイズ検出工程と、列ノイズ補正手段が、前記列ノイズ検出手段により検出された列ノイズを、前記画像信号から減ずる列ノイズ補正工程とを有する。

本発明によれば、回路規模を小さく抑えつつ、ビートノイズ及び列ノイズを補正することができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る撮像装置の全体構成を示すブロック図である。

図１において、１０１はレンズ、１０２は絞り、１０３は光信号を電気信号に変換するＣＭＯＳセンサである。

ＣＭＯＳセンサ１０３は、先ず、図２に示すように光電変換素子であるフォトダイオードに光が照射される有効画素領域２０３を含む。また、アルミ薄膜等によりフォトダイオードへの光の照射が、数列から数十列に亘って遮られる水平オプティカルブラック（ＨＯＢ）領域２０１と、数ラインから数十ラインに亘って遮られる垂直オプティカルブラック（ＶＯＢ）領域２０２とを含む。更に、フォトダイオードからの電荷信号が電気的に接続されていない無効（ＮＵＬＬ）領域２０４とから構成されている。

１０４は水平同期信号（ＨＤ信号）及び垂直同期信号（ＶＤ信号）を生成する同期信号発生器（ＳＳＧ）、１０５はＣＭＯＳセンサ１０３を駆動させる各種制御信号をＨＤ信号及びＶＤ信号に同期して発生させるタイミングジェネレータ（ＴＧ）である。

１０６はアナログの画像信号をデジタル画像に変換するＡ／Ｄ変換器である。１０７はＡ／Ｄ変換器１０６から出力された画像データ中に含まれる列ノイズ成分を、ＮＵＬＬ領域の画像データから抽出する列ノイズ検出回路である。１０８は列ノイズ検出回路において検出された列ノイズを有効画素領域の画像データから減算する列ノイズ補正回路である。

１０９は列ノイズ検出回路１０７及び列ノイズ補正回路１０８を駆動する制御信号を生成するウィンドウ回路である。１１０は各回路を制御して動作モードやパラメータを決定するシステムコントローラ、１１１は画像データに対して補間処理や色変換処理などの画像処理を行う信号処理回路である。

１１３は信号処理された画像データを一時記憶するＤＲＡＭ、１１２はＤＲＡＭ１１３と各回路のバス調停を行うメモリ制御回路、１１４は画像データの縮小や拡大を行う変倍回路である。１１６は画像を表示する表示デバイスであるＬＣＤ、１１５はＬＣＤ１１６で画像データを表示するための表示制御回路である。

１１７は画像をＪＰＥＧ圧縮などの圧縮方式で圧縮または伸長するための圧縮伸長回路である。１１９は圧縮伸長回路１１７で圧縮された画像データを記録する着脱可能なメモリカード、１１８はメモリカード１１９とのインターフェースを行うＩ／Ｆ回路である。

次に、上記構成を備える撮像装置の動作について説明する。

ＴＧ１０５は、ＳＳＧ１０４において生成されるＨＤ信号及びＶＤ信号からＣＭＯＳセンサ１０３を駆動する各種制御信号を生成する。ＣＭＯＳセンサ１０３は、ＴＧ１０５による制御信号のタイミングで、レンズ１０１及び絞り１０２を通過した光信号を電気信号へと変換する。ＣＭＯＳセンサ１０３から読み出された電気信号（アナログ画像信号）は、Ａ／Ｄ変換器１０６においてアナログ画像信号からデジタルの画像データに変換されて、列ノイズ検出回路１０７及び列ノイズ補正回路１０８へ出力される。

ウィンドウ回路１０９は、ＨＤ信号及びＶＤ信号を参照して、列ノイズ検出回路１０７にＮＵＬＬ領域における検出期間を指示する検出許可信号（ＶＷＤＥＴ）を供給する。更に、列ノイズ補正回路１０８に有効画素領域における列ノイズ成分を除去する除去期間を指示する除去許可信号（ＶＷＣＯＬ）を供給する。

列ノイズ検出回路１０７は、ウィンドウ回路１０９から供給された検出許可信号（ＶＷＤＥＴ）に従って列ノイズデータを算出する。そして、列ノイズ補正回路１０８は、ウィンドウ回路１０９から供給された除去許可信号（ＶＷＣＯＬ）に従って、列ノイズ検出回路１０７により列毎に平均化されて算出された列ノイズデータを有効画素信号から減算して列ノイズ成分を除去する。

列ノイズ補正回路１０８から出力された画像データは、信号処理回路１１１において信号処理され、メモリ制御回路１１２を介してＤＲＡＭ１１３へ格納される。

また、変倍回路１１４は、ＤＲＡＭ１１３に格納されている画像データを読み出し、ＬＣＤ１１６に表示させるために表示サイズに合わせて変倍処理し、変倍処理された画像データは、表示制御回路１１５を介してＬＣＤ１１６に表示される。

また、圧縮伸長回路１１７は、ＤＲＡＭ１１３から読み出した画像データを圧縮処理し、圧縮処理された圧縮画像データはＤＲＡＭ１１３に書き込まれる。さらに、Ｉ／Ｆ回路１１８においては、ＤＲＡＭ１１３から読み出した圧縮画像データをメモリカード１１９に書き込む。

図３は、上述した撮像装置の動作における主要な各部のタイミング信号およびこれらのタイミング信号に同期して出力されたセンサ出力の様態を示す説明図である。

ＴＧ１０５は、同期信号であるＨＤ信号、ＶＤ信号の他に、ＣＭＯＳセンサ１０３から１画素毎に信号を読み出すクロック信号としてＨＣＬＫ信号をＣＭＯＳセンサ１０３に供給している。

ＨＣＬＫ信号は、ＣＭＯＳセンサ１０３のＨＯＢ領域、ＶＯＢ領域、有効画素領域、ＮＵＬＬ領域の各領域の画素信号を読み出すために、センサ出力を１画素サイクル単位で制御し、読み出し禁止期間にセンサ出力を停止する読み出し制御信号である。

ＴＧ１０５は、さらに、センサ出力の黒の基準となる画素信号をＮＵＬＬ領域、ＶＯＢ領域、ＨＯＢ領域の各領域から選択、抽出するための制御信号であるＣＬＰＯＢをＣＭＯＳセンサ１０３に供給している。

ＣＬＰＯＢ信号により抽出されたＨＯＢ領域及びＶＯＢ領域の画素信号は、センサ出力から減算されて出力されることで、黒レベル変動のない安定したセンサ出力を得ることができる。

ＰＢＬＫ信号のタイミングは、１水平期間中でセンサ出力が読み出しを停止するブランキング期間（Ｔｂｌｋ）を示している。すなわち、
１水平期間＝有効画素期間＋ＨＯＢ期間＋Ｔｂｌｋ

で表される。
また、ＣＭＯＳセンサ１０３は、背景技術で述べたようにＸ−Ｙアドレス型の読み出し構造の例に漏れず、読み出し時の列毎に異なる素子特性のばらつきによって列毎に異なるオフセットが乗る、所謂、列ノイズが発生しやすい。そのため、列ノイズは、ＮＵＬＬ領域、ＶＯＢ領域、ＨＯＢ領域、有効画素領域の各領域の読み出し経路を共通にもつ同じ列上に等しく発生する性質がある。図３におけるＮＵＬＬ領域のセンサ出力と有効画素領域のセンサ出力の波形は、これらに重畳する列ノイズの特徴を模式的に示したものである。

ところで、背景技術で述べたように、ＣＭＯＳセンサ１０３の出力には列ノイズの他にも、撮像手段以外の回路からの異なる周波数のクロック信号の干渉によって、特定画素周期のビートノイズが重畳しやすい。

ここで、ビートノイズの様態について、読み出し制御信号であるＨＣＬＫの周波数が３３.７５ＭＨｚであるときのセンサ出力に、例えば、ＬＣＤ１１６がもつ動作クロック成分２７ＭＨｚが干渉して重畳した場合を例にあげて説明する。

この場合、Ａ／Ｄ変換器１０６のサンプリング後の画像データには、その差分の周波数成分である６．７５ＭＨｚ（＝３３．７５−２７ＭＨｚ）の周期性ノイズが残留する結果となる。これは、撮像クロック３３．７５ＭＨｚの５分の１の周波数成分、すなわち、水平方向に５画素周期の等ピッチノイズであることを意味する。

図４は、画像データに重畳した水平方向に５画素周期の等ピッチノイズが、２次元画像上に展開される様子を、その特徴が分かるように模式的に示した説明図である。

水平期間（１Ｈ）の長さに応じて、５の剰余系に従う５通りのバリエーションでノイズパターンが形成される。水平方向のノイズピッチに変化はないが、展開される２次元画像上ではこのバリエーションによりノイズパターンの角度が大きく変化する。

図４（ａ）は、任意に１Ｈの長さを設定して、１Ｈの長さが５Ｎ−４（Ｎは正の整数）となった場合に、斜線状に発生したノイズパターンを示している。このときのブランキング期間をＴｂｌｋ０とする。

図４（ｂ）は、ブランキング期間を上記Ｔｂｌｋ０から４画素クロックサイクル分だけ拡張するように調節することで、１Ｈの長さを５Ｎ（Ｎは正の整数）とした場合に、縦線状（同じ列上）に発生したノイズパターンを示している。

このように、本第１の実施形態では、発生するビートノイズを、意図的に、縦線状（同じ列上）のノイズパターンとなるように、撮像装置の各種条件に応じて撮像装置のブランキング期間及び１Ｈの長さを調節する。これにより、列ノイズ検出回路１０７、列ノイズ補正回路１０８により、列ノイズと共に、ビートノイズを列ノイズの一種として検出し、除去することができる。

図５は、そのためのシステムコントローラ１１０による撮影動作のフローの概略である。

操作者の撮影開始の指示（不図示のレリーズボタンの押下等）により撮影動作が開始される。

システムコントローラ１１０は、撮影動作が開始されると、まず、ＣＭＯＳセンサ１０３の撮像条件である読み出しサイズやスピードなどの各種設定情報を取得して、撮像周波数（ｆｃ）等を決定する（ステップＳ５０１）。次に、システムコントローラ自身の動作周波数やＬＣＤの動作周波数等のシステム条件を取得して、ノイズ源となりうるシステム周波数（ｆｎ）を特定する（ステップＳ５０２）。

そして、上記の撮像周波数とシステム周波数とからビートノイズ周期（Ｔｂ）を算出する（ステップＳ５０３）。
Ｔｂ ＝ ｆｃ／｜ｆｃ−ｆｎ｜

そして、水平周期（１Ｈ）がビートノイズ周期（Ｔｂ）の整数倍となるように、ブランキング期間（Ｔｂｌｋ）を調節して（ステップＳ５０４）（第１の調節工程）、ＳＳＧ１０４のＨＤ信号を設定する（ステップＳ５０５）。
そして、ステップＳ５０１で取得した撮像条件に基づいて、ＣＭＯＳセンサ１０３を駆動するＴＧ１０５の各種駆動信号を設定する（ステップＳ５０６）。ＴＧ１０５を介して、ＣＭＯＳセンサ１０３の露光、電荷の蓄積を行う（ステップＳ５０７）。そして、所定の露光時間経過後、ＣＭＯＳセンサ１０３からセンサ出力の読み出しを行い、読み出しながらビートノイズを列ノイズと共に、ビートノイズの一種として検出して除去する（ステップＳ５０８）。

信号処理された撮像信号は、ＬＣＤ１１６に表示し、メモリカード１１９に記録して（ステップＳ５０９）、撮像処理を終了する。

上記の通り本第１の実施形態によれば、ブランキング期間を調節して、水平周期がビートノイズ周期の整数倍にすることにより、列ノイズを除去する回路を用いてビートノイズ及び列ノイズを除去することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

上述した第１の実施形態では、主として静止画の撮影動作について説明したが、動画撮影時においても、ビートノイズを縦線状（同じ列上）のノイズパターンとなるように水平周期を制御して、列ノイズと共に検出して除去することが可能である。そこで、本第２の実施形態では、動画撮影時の撮影動作に応用した場合について説明する。

動画時においても、動画を構成する個々の静止画に関してビートノイズを除去するための基本的な動作は上述した第１の実施形態と同様であり、第１の実施形態で説明した装置構成（図１）および動作フロー（図５）も同様である。ここでは、第１の実施形態と動作が異なるＨＤ信号、ＶＤ信号、ＰＢＬＫ信号のタイミング部分のみに関して、図６を参照して説明する。

図６は、撮像装置の動作における主要な各部のタイミング信号を示す説明図である。

センサ出力が読み出しを停止するＰＢＬＫ信号のタイミングは、センサ出力の水平ブランキング期間ＴＨｂｌｋと垂直ブランキング期間ＴＶｂｌｋにより構成される。水平期間（１Ｈ）は、有効画素期間、ＨＯＢ期間、ＴＨｂｌｋとからなり、
水平期間（１Ｈ）＝有効画素期間＋ＨＯＢ期間＋ＴＨｂｌｋ

で表される。
また、動画の１フレーム（コマ）を構成する時間単位である１垂直期間（１Ｖ）は、有効画素期間、ＶＯＢ期間、ＴＶｂｌｋとからなり、
垂直期間（１Ｖ）＝有効画素期間＋ＶＯＢ期間＋ＴＶｂｌｋ

で表される。
さらに、垂直ブランキング期間ＴＶｂｌｋは、固定のブランキング期間ＴＶｂｌｋ０と、垂直期間（１Ｖ）の長さを調節するために最終ラインに設けられたフレームレート調節期間Ｔａｄｊにより構成される。

上述した第１の実施形態と同様に、水平期間（１Ｈ）がビートノイズ周期（Ｔｂ）の整数倍となるようにブランキング期間（ＴＨｂｌｋ）の調節を行うが、その際に、水平期間（１Ｈ）の長さに比例して垂直期間（１Ｖ）の長さも変化する。垂直期間（１Ｖ）の長さが変化すると、動画のフレームレート（１秒あたりの撮影コマ数）も変化してしまうので、例えば、テレビジョン信号など一定のフレームレートで規格化された動画に対して対応できなくなる。

そこで、本第２の実施形態では水平期間（１Ｈ）の長さの変化に伴い、変化する垂直期間（１Ｖ）の長さが一定値となるように調節する（第２の調節工程）。そのために、垂直期間（１Ｖ）の最終ラインに、調節期間Ｔａｄｊを設けている。

例えば、垂直ブランキング期間（ＴＶｂｌｋ）の最終ラインを除く全ライン数が５００Ｈであるものとする。この場合、水平ブランキング期間（ＴＨｂｌｋ）を２画素クロック分だけ縮めると、１垂直期間（１Ｖ）あたりでは１０００画素クロック分縮まるため、調節期間Ｔａｄｊをその分だけ伸ばす。逆に、水平ブランキング期間（ＴＨｂｌｋ）が２画素クロック分だけ伸ばされた場合には、調節期間Ｔａｄｊをその分だけ短くする。

上記のように本第２の実施形態によれば、１水平期間の変動分を垂直ブランキング期間で吸収することで、動画時においてもビートノイズを除去して、なお且つ、動画のフレームレートを所定の値に設定することができる。

本発明の第１の実施形態に係る撮像装置の全体構成を示すブロック図である。 本発明の第１の実施形態に係るセンサの画素配列の領域説明図である。 本発明の第１の実施形態に係る静止画撮影時のセンサ信号の読み出しタイミングの説明図である。 本発明の第１の実施形態に係る撮像装置のビートノイズを表す概念図である。 本発明の第１の実施の形態に係る撮影動作の流れを示すフローチャートである。 本発明の第２の実施形態に係る動画撮影時のセンサ信号の読み出しタイミングの説明図である。

符号の説明

１０１ レンズ
１０２ 絞り
１０３ ＣＭＯＳセンサ
１０４ 同期信号発生器（ＳＳＧ）
１０５ タイミングジェネレータ（ＴＧ）
１０６ Ａ／Ｄ変換器
１０７ 列ノイズ検出回路
１０８ 列ノイズ補正回路
１０９ ウィンドウ回路
１１０ システムコントローラ
１１１ 信号処理回路
１１２ メモリ制御回路、
１１３ ＤＲＡＭ
１１４ 変倍回路
１１５ 表示制御回路
１１６ ＬＣＤ
１１７ 圧縮伸長回路
１１８ Ｉ／Ｆ回路
１１９ メモリカード

Claims (4)

1. 撮像手段の駆動信号の周期と前記撮像手段以外の回路の駆動により発生する信号の周期とに起因する、周期性ノイズの周期を検出する検出手段と、
   前記撮像手段の駆動信号の１水平期間が、前記周期性ノイズの周期の整数倍となるように、水平ブランキング期間の長さを調節する制御手段と、
   前記撮像手段を、前記調節した後の１水平期間に基づく駆動信号により駆動して読み出された画像信号から、列ノイズを検出する列ノイズ検出手段と、
   前記列ノイズ検出手段により検出された列ノイズを、前記画像信号から減ずる列ノイズ補正手段と
   を有することを特徴とする撮像装置。
2. 前記撮像手段から、予め設定されたフレームレートで画像信号を読み出すように駆動する駆動手段を更に有し、
   前記制御手段は、前記撮像手段の駆動信号の１垂直期間が前記フレームレートとなるように、垂直ブランキング期間の長さを調節することを特徴とする請求項１に記載の撮像装置。
3. 検出手段が、撮像手段の駆動信号の周期と前記撮像手段以外の回路の駆動により発生する信号の周期とに起因する、周期性ノイズの周期を検出する検出工程と、
   制御手段が、前記撮像手段の駆動信号の１水平期間が、前記周期性ノイズの周期の整数倍となるように、水平ブランキング期間の長さを調節する第１の調節工程と、
   列ノイズ検出手段が、前記撮像手段を、前記調節した後の１水平期間に基づく駆動信号により駆動して読み出された画像信号から、列ノイズを検出する列ノイズ検出工程と、
   列ノイズ補正手段が、前記列ノイズ検出手段により検出された列ノイズを、前記画像信号から減ずる列ノイズ補正工程と
   を有することを特徴とする撮像装置の制御方法。
4. 駆動手段による前記撮像手段の駆動により、前記撮像手段から、予め設定されたフレームレートで画像信号を読み出す読み出し工程と、
   前記制御手段が、前記撮像手段の駆動信号の１垂直期間が、前記フレームレートとなるように、垂直ブランキング期間の長さを調節する第２の調節工程と
   を更に有することを特徴とする請求項３に記載の撮像装置の制御方法。

Images