JP4603454B2

JP4603454B2 - イメージセンサの固定パターンノイズ除去装置

Info

Publication number: JP4603454B2
Application number: JP2005293038A
Authority: JP
Inventors: 典之篠塚
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2005-10-05
Filing date: 2005-10-05
Publication date: 2010-12-22
Anticipated expiration: 2025-10-05
Also published as: JP2007104445A

Description

本発明はイメージセンサの固定パターンノイズ除去装置に関し、特に、イメージセンサとレンズ系の間の位置関係を変化させて光軸をずらすことにより固体パターンノイズを除去するようにしたイメージセンサの固定パターンノイズ除去装置に関する。

従来のイメージセンサの光センサ回路の一例を図８に示す。この光センサ回路２００は、入射光Ｌｓの光量に応じたセンサ電流を生じる光電変換素子としてのフォトダイオードＰＤ２０１と、フォトダイオードＰＤ２０１に流れるセンサ電流を弱反転状態で対数出力特性をもって電圧信号Ｖｐｄに変換するトランジスタＱ２０１と、その電圧信号Ｖｐｄを増幅するトランジスタＱ２０２と、読出し信号Ｖｓのパルスタイミングをもってセンサ信号Ｖｏを出力するトランジスタＱ２０３とから成る。この光センサ回路２００を画素に用いかつ対数出力特性を持たせることによって、ダイナミックレンジを拡大して光信号の検出を高感度で行わせることができるイメージセンサが開発されている（例えば、特許文献１参照）。この光センサ回路２００を画素として多数用いたＣＭＯＳイメージセンサ２１０の例を図９に示す。

イメージセンサ２１０は、図８に示す光センサ回路２００を画素単位として画素をマトリクス状に複数配設して、各画素のセンサ信号Ｖｏの時系列的な読出し走査を行わせるようにしたイメージセンサの構成例を示している。

イメージセンサ２１０は、例えば、画素Ｄ１１〜Ｄ４４を４Ｘ４のマトリクス状に配設して構成される。イメージセンサ２１０では、画素行選択回路２１２から順次出力される選択信号ＬＳ２１１〜ＬＳ２１４によって主走査方向における各１行分の画素を選択する。さらにイメージセンサ２１０では、選択回路２１１から順次出力される選択信号ＤＳ２１１〜ＤＳ２１４によって出力用スイッチ群４３における各対応するスイッチＳＷ１１〜ＳＷ１４を逐次オンし、選択された画素行における各画素が選択される。これにより各画素Ｄ１１〜Ｄ４４のセンサ信号Ｖｏが時系列的に読み出される。図中、２１５は各画素における上記トランジスタＱ２０３のゲート電圧ＶＧ用電源であり、２１４はドレイン電圧ＶＤ用電源である。

ここでは、主走査方向における１行分の各画素の出力側に基準抵抗Ｒ１１〜Ｒ１４を介してバイアス電圧＋Ｖｃｃを印加するバイアス回路４７を設け、これにより各画素の画素信号Ｓｏを電圧信号であるセンサ信号Ｖｏとして出力させる。そして、撮影に先がけて、各画素の寄生容量Ｃにおける残留電荷の影響による残像の発生を抑制すべく、図示しないコントローラの制御下で、各画素のトランジスタＱ２０３のドレイン電圧ＶＤを定常時のハイレベル（Ｈ）からローレベル（Ｌ）に一時的に切り換えて初期化を行わせる電圧切換回路２１３が設けられている。

画素行選択回路２１２および画素選択回路２１３はそれぞれシフトレジスタから成り、図示しないコントローラの制御下において互いに同期をとって駆動制御される。

次に、光センサ回路にＭＯＳトランジスタを含むＭＯＳイメージセンサの場合の固定パターンノイズの問題を説明する。特許文献１に記載されたイメージセンサでは、広いダイナミックレンジを有する反面、各光センサ回路（画素）からの信号には固定パターンノイズが含まれている。この固定パターンノイズは個々の光センサ回路が有する固有のパターンノイズである。その主な原因は、光センサ回路ごとの対数変換用ＭＯＳトランジスタの性能のバラツキである。

図１０に示される波形信号２４０は、映像信号Ｖｍの上に固定パターンノイズＶｎが乗った状態のイメージを示す。実際に映像信号は、図１０に示す映像信号Ｖｍに沿って変動する固定パターンノイズＶｎの形態で出力される。固定パターンノイズは、ＭＯＳイメージセンサに入力される映像を完全に遮断した場合、すなわち映像用カメラに装着されたレンズのアイリス（絞り）を完全に閉じた場合におけるセンサ信号である。図示しないカメラ装置内において上記センサ信号（Ｖｏ）が処理され、周波数特性上で高帯域信号が制限されると、本来の映像信号に係るセンサ信号Ｖｍが取り出される。

以上のように従来のＭＯＳイメージセンサは、対数変換用ＭＯＳトランジスタに起因する固定パターンノイズがセンサ信号に乗るという問題があった。従って従来のイメージセンサの構成によれば、各画素の画素信号Ｓｏの読出しをより高速に安定して行うことができず、これをバッファ増幅器を用いて改善すると、消費電力が多くなるという問題が生じる。さらにＭＯＳイメージセンサの場合には、固定パターンノイズを含んだセンサ信号が出力されるという問題が生じる。

一般的に固定パターンノイズを除去する方法として２つの方法がある。第１の方法は、暗時のセンサ出力信号を補正用データとしてメモリに記憶しておき、撮影時のセンサ出力信号をメモリに記憶された補正用データで補正する方法である。補正用データの作り方としては、カメラ起動時にシャッタ機構を動作させてイメージセンサに対して遮光状態を作って補正用信号値を取得する方法、または、カメラ出荷時にイメージセンサへの入射光を遮光してその時の信号出力値を補正用データとして記憶しておく方法がある。第２の方法は、対数変換用ＭＯＳトランジスタと光電変換用フォトダイオードを切り離して対数変換用ＭＯＳトランジスタの閾値を読み出して補正する方法である。この方法は、イメージセンサ内で補正を行うという方法である。

図１１に、上記の第２の方法に基づく固定パターンノイズ除去装置２５０を示す。この固定パターンノイズ除去装置２５０では、イメージセンサ２５１のセンサ信号ＶｏをＡ／Ｄ変換器２５２にてＡ／Ｄ変換し、デジタルシグナルプロセッサ２５４においてデジタル信号処理により固定パターンノイズ成分を除去する。具体的には、固定パターンノイズが予め記憶されているメモリ２５３から固定パターンノイズの情報を読み出し、Ａ／Ｄ変換器２５２から出力されたセンサ信号から引算する手法がとられている。その後必要に応じてＤ／Ａ変換器２５５によりセンサ信号をＤ／Ａ変換し、図示しない後段の映像処理回路に出力する。なお、後段の映像処理回路がデジタル信号処理によって動作している場合にはＤ／Ａ変換器２５５は省略される。

上記の固定パターンノイズ除去装置の構成では、予め製品出荷前に個々の画素の固定パターンノイズを測定しておき、測定した固定パターンノイズのデータをメモリ２５３に記憶しておく。
特開２０００−３２９６１６号公報

上記の固定パターンノイズ除去装置２５０によれば、固定パターンノイズの除去という点では実用上十分な効果を発揮している。しかしながら、この除去装置は、固定パターンノイズを含む映像信号をＡ／Ｄ変換して各種映像処理を行う構成であるため、固定パターンノイズに対して数ビットの信号が割り当てられることになる。そのため、映像表現に使用できるビット数が減少し、映像のダイナミックレンジが狭まり、輝度信号に制約が生じるという問題が提起される。さらに、対数変換用ＭＯＳトランジスタの部分に僅かにでも光が入ると、高輝度光入射時に補正がうまくいかないという問題も提起される。

さらに前述した第１の方法に基づく固定パターンノイズの除去装置はメモリ等の記録回路が必要となるという問題が生じ、また長時間の連続撮影を行う場合には経時変化が生じ、その変化を吸収できなくなるという問題を有している。

本発明の目的は、上記の課題に鑑み、イメージセンサの各光センサ回路（画素）の画素信号に含まれる固定パターンノイズを簡単な構成で即座に除去でき、さらに固定パターンノイズの経時変化に対処できるイメージセンサの固定パターンノイズ除去装置を提供することにある。

本発明に係るイメージセンサの固定パターンノイズ除去装置は、上記目的を達成するため、次のように構成される。

第１のイメージセンサの固定パターンノイズ除去装置（請求項１に対応）は、光電変換素子に流れる光電流をＭＯＳトランジスタにより対数的に変換してセンサ信号を得る光センサ回路を画素として用い、マトリックス状に配列された複数の光センサ回路を備えるイメージセンサに適用され、イメージセンサの受光面の前面位置に配置されるレンズ系と、イメージセンサとレンズ系との位置関係を変化させることにより、イメージセンサとレンズ系の間に生じる光軸が所定画素分だけずれるように駆動動作を行う駆動手段と、駆動手段による駆動動作の前後の撮像で得られたイメージセンサのセンサ信号を記憶するフレームメモリと、駆動動作の前後のセンサ信号同士で同一画素ごとに差分を演算する差分演算手段と、差分演算手段で演算された差分を累積して画像信号を復元する画像復元手段とを備えるように構成される。

上記のイメージセンサの固定パターンノイズ除去装置では、被写体を撮像する時に光軸をずらせ、光軸のずれの前後でｎ画素分ずれの生じたセンサ信号を取り出し、それらのセンサ信号の差分に係る信号を同一画素ごとに演算で求め、さらに当該差分信号を累積して再構成することにより画像復元信号を作るようにした。これにより固定パターンノイズが差分演算時に自動的に取り除かれ、画像を再構成するとき固定パターンノイズが除去された画像信号を得ることが可能となる。また固定パターンノイズの除去は差分演算に基づいて行われるので、その都度生じた固定パターンノイズをそのまま除去でき、予め固定パターンノイズのデータを固定的に用意しておく必要はなく、固定パターンノイズの経時的に変化にも対処することが可能となる。

第２のイメージセンサの固定パターンノイズ除去装置（請求項２に対応）は、上記の構成において、好ましくは、駆動動作の前後のセンサ信号のそれぞれをフレーム平均化を行うフレーム平均化手段を備え、差分演算手段は、平均化されたセンサ信号同士で差分を演算することを特徴とする。この構成では、固定パターンノイズの除去に加えて、フレーム平均化の処理によってセンサ信号に含まれるランダムノイズの影響を低減することができる。

第３のイメージセンサの固定パターンノイズ除去装置（請求項３に対応）は、上記の構成において、好ましくは、上記駆動手段は、イメージセンサを、受光面を含む平面方向に移動させる駆動機構であることを特徴とする。

第４のイメージセンサの固定パターンノイズ除去装置（請求項４に対応）は、上記の構成において、好ましくは、駆動手段は、レンズ系を、イメージセンサの受光面に平行な平面方向に移動させる移動機構であることを特徴とする。

本発明に係るイメージセンサの固定パターンノイズ除去装置では、被写体を撮像する時に光軸をずらせ、当該光軸ずれの前後で所定数の画素分のずれの生じた２つのセンサ信号を取り出し、それらのセンサ信号の差分に係る信号を同一画素ごと演算で求め、さらに当該差分信号を累積して再構成することにより画像復元信号を作成するようにしたため、固定パターンノイズが差分演算・累積演算の際に取り除かれ、固定パターンノイズが除去された画像信号を得ることができる。さらに本発明によれば、固定パターンノイズの除去は差分演算に基づいて行われるため、その都度生じた固定パターンノイズをそのまま除去でき、予め固定パターンノイズのデータを固定的に用意しておく必要はなく、固定パターンノイズの経時的に変化に対しても対処することができる。

以下に、本発明の好適な実施形態（実施例）を添付図面に基づいて説明する。

図１は、本発明に係るイメージセンサの固定パターンノイズ除去装置の基本的な第１実施形態の要部構成を示す。図１に示したイメージセンサ１０は、前述した図９で説明したイメージセンサ２１０と同一の構成および機能を有しており、ここでは詳細な説明を省略する。イメージセンサ１０は、多数の光センサ回路（画素）の各々の中にＭＯＳトランジスタを含むＣＭＯＳイメージセンサである。イメージセンサ１０は、全体の外観形状はほぼ平板形状を有する。図１ではイメージセンサ１０は側方から見ている。

図１において、イメージセンサ１０の上面は受光面となっている。この受光面は、多数の光センサ回路の各フォトダイオード（光電変換素子）がマトリックス状に配列されて形成されている。イメージセンサ１０における受光面の図１中上方の位置には、すなわち受光面の前面位置にはレンズ系１１が設けられている。レンズ系１１は、一般的には複数の各種のレンズを組み合わせて構成される。図１では、レンズ系１１として、説明の便宜上、１枚の凸レンズが示されている。レンズ系１１は、図１で上方から到来する被写体（図示せず）からの光を、イメージセンサ１０の受光面に焦点を合わせて入射させる光ガイド手段である。図１において、矢印破線で示した１２は、イメージセンサ１０とレンズ系１１との間においてレンズ系１１によって形成される光軸を示している。なおレンズ系１１は支持構造部で支持されているが、図１中では当該支持構造部の図示は省略されている。同様にしてイメージセンサ１０の支持構造部の全体構成の図示も省略されている。

この実施形態の構成では、イメージセンサ１０の支持構造部は、当該イメージセンサ１０を図１中水平方向に移動できるような駆動機構１３を含んでいる。図１に示した破線１０Ａは、例えば所定の移動量（ａ）だけ右方向に移動したイメージセンサを概念的に示している。イメージセンサ１０Ａは、イメージセンサ１０に対して、その受光面を含む平面方向に移動させられている。移動量（ａ）は、イメージセンサ１０の水平移動すなわち駆動動作を誇張して示している。実際の移動量（ａ）は、１画素分の移動量、または任意数の画素数分の移動量である。上記のごとくイメージセンサ１０は、駆動機構１３によって、固定状態に設置されたレンズ系１１に対して、図１で実線で示した第１の状態の位置と、破線で示した第２の状態（１０Ａ）の位置をとることになる。

イメージセンサ１０を水平方向に移動させる駆動機構１３は、例えばピエゾ素子で作られたピエゾアクチュエータ１４と、このピエゾアクチュエータ１４を動作させる駆動回路１５で構成される。ピエゾアクチュエータ１４は、駆動回路１５から印加される電圧に応じて図１中水平方向に伸縮し、これによりイメージセンサ１０を水平方向において任意の２つの位置に交互に迅速に移動させる。

駆動機構１３による駆動動作に基づいてイメージセンサ１０を移動させるのは、イメージセンサ１０とレンズ系１１の間に設定される光軸１２を変化させるためである。すなわち、イメージセンサ１０の位置とレンズ系１１の位置とによる相対的位置関係に基づいて設定される光軸１２について、イメージセンサ１０を所定移動量だけ移動させることにより「光軸のずれ」を生じさせる。このように「光軸のずれ」を生じさせるのは、後述するごとく、イメージセンサ１０から出力されるセンサ信号（画像信号または映像信号）の中に含まれる固定パターンノイズを除去するためである。

図１において、イメージセンサ１０から出力されるセンサ信号は、Ａ／Ｄ変換部１６でアナログ信号からディジタル信号に変換され、その後で画像データとしてフレームメモリ１７に記憶されると共に固定パターンノイズ除去部１８に与えられる。固定パターンノイズ除去部１８は差分演算部１９と画像復元部（差分累積演算部）２０から構成される。

イメージセンサ１０による被写体の撮像は、同一の被写体に関して駆動機構１３による駆動動作の前後で２回の撮像（サンプリング）が行われる。すなわち、同一の被写体について、最初に図１に示したイメージセンサ１０による第１の位置で１回目の撮像を行い、次に駆動機構１３による駆動動作で光軸１２をずらしたイメージセンサ１０Ａによる第２の位置で２回目の撮像を行う。１回目の撮像によるセンサ信号はフレームメモリ１７に格納され、かつ固定パターンノイズ除去部１８に入力される。２回目の撮像によるセンサ信号についても、同様に、フレームメモリ１７に格納されると共に、固定パターンノイズ除去部１８に入力される。

固定パターンノイズ除去部１８では、まず、差分演算部１９で１回目の撮像による画像データと２回目の撮像による画像データを利用して後述するように差分が演算される。さらに画像復元部２０では、差分演算部１９から出力される差分に係る信号を累積演算する処理を行い、累積信号を作成し、これらの累積信号に基づいて元の画像を再構成し、復元信号を出力する。画像復元部２０から出力される復元信号は、固定パターンノイズが除去された画像信号となっている。

イメージセンサ１０から出力されるセンサ信号（画像信号）には、光センサ回路（画素）に含まれるＭＯＳトランジスタが原因で、通常的に、固定パターンノイズが含まれている。この固定パターンノイズは、温度変化や経時変化などによって変化するが、基本的には長い時間をかけて変化するという特性を有している。従って固定パターンノイズは一定時間内では変化しないものとみなすことができる。

そこで本実施形態に係るイメージセンサ１０に関する構成では、固定パターンノイズを除去するため、上記のごとく第１の状態の位置で被写体を撮像し、続いて光軸１２を例えば１画素分ずらした第２の状態の位置で同一の被写体を撮像するようにしている。各撮像で得られるセンサ信号は、同一の被写体を撮像した結果得られた信号であるから、或る画素の出力信号の変動分は隣り合う画素の出力信号との差分と実質的に等しくなり、さらにその差分信号を累積することにより元の画像を再構成することが可能となる。このとき再構成された元の画像に係る画像信号では固定パターンノイズは除去されている。よって、駆動機構１３による駆動動作で光軸１２をずらし、「光軸のずれ」の前後で同一被写体を撮像し、得られた画像データから画素出力の差分を演算し、当該差分情報から画像を構成することで固定パターンノイズを除去することができる。

次に、図２を参照して固定パターンノイズ除去の方法を原理的に説明する。

図２において、横軸はＸ軸方向を示し、縦軸は画素信号のレベルを示している。図２に示したグラフは、Ｘ軸方向に画素ｎ個分だけ光軸をずらせてその前後で同一の被写体を撮像した場合のセンサ信号を示している。グラフ３１は光軸をずらせる前の撮像に基づくセンサ信号であり、グラフ３２は光軸をずらせた後の撮像に基づくセンサ信号である。センサ信号３１に基づく画像（Ａ）とセンサ信号３２に基づく画像（Ｂ）は、同一の被写体を撮像して得られた画像Ａ，Ｂであり、光軸をずらした後の撮像のセンサ信号３２を画素ｎ個分元に戻せばセンサ信号３１に一致することになる。センサ信号３１に係る画像Ａの画素（ｘ）の出力信号とセンサ信号３２に係る画像Ｂの画素（ｘ＋ｎ）の出力信号とは同じレベルの信号となる。

図２において一例として示したセンサ信号３１，３２を用いて固定パターンノイズを除去する例は、次の通りである。

下記の表１は、センサ信号３１に関してその画素信号を関数Ｄ（Ｘ）と表現するとき、「イメージ情報：Ｄ（ｘ＋ｎ）」、「差分：ｄ（ｘ＋ｎ−１）」、「累積（再構成イメージ）：Ｄ’（ｘ＋ｎ）」のそれぞれをテーブル形式で表現している。表１で明らかなように、その差分を累積して得られるＤ’（ｘ＋ｎ）によって元の画像（イメージ情報：Ｄ（ｘ＋ｎ））を再現することが可能である。

次に、前述の「光軸のずれ」を生じさせて画像を任意の画素分だけずらし、センサ信号３１とセンサ信号３２の間の差分を利用しても、以下の通り、同様に元の画像を再現することができる。

センサ信号３１，３２に関して、下記の表２を作ることができる。下記の表２は、センサ信号３１に関して画像Ａに係る画素信号を関数ＤＡ（Ｘ）と表現しかつセンサ信号３２に関して画像Ｂに係る画素信号を関数ＤＢ（Ｘ）と表現するとき、「イメージ情報（画像Ａ）：ＤＡ（ｘ＋ｎ）」、「イメージ情報（画像Ｂ）：ＤＢ（ｘ＋ｎ）」、「差分：ｄＣ（ｘ＋ｎ−１）」を示している。

上記の表２に示した「差分」について、イメージセンサ１０の受光面に結合した画像が、ｎ画素分ずれた場合、原則的に、画像Ａの画素（ｘ）と画像Ａの画素（ｘ＋ｎ）との間の差分と、画像Ａの画素（ｘ＋ｎ）と画像Ｂの画素（ｘ＋ｎ）の間の差分とは同じになるという関係を有している。このことは、図２の点Ｐ１（画像Ａの画素（ｘ））、点Ｐ２（画像Ａの画素（ｘ＋ｎ））、点Ｐ３（画像Ｂの画素（ｘ＋ｎ））のレベル関係に基づき、点Ｐ１と点Ｐ３の各レベルが等しいということから明らかである。

しかし、実際には各画素には画素ごとに異なる固定パターンノイズを含んでいるので、上記２つの差分は必ずしも同じではない。下記の表３はその状態を示している。表３の「イメージ情報」にはおいて、各画素の画素信号にはＮ０，Ｎ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５，Ｎ６，Ｎ７，…，Ｎｎの固定パターンノイズが含まれている。その結果、表３の差分、および累積には固定パターンノイズが含まれることになる。

ところが、前述の表２と同等な構成を有する下記の表４に示すごとく、画像Ａに係る画素信号ＤＡ（Ｘ）と画像Ｂに係る画素信号ＤＢ（Ｘ）に関して、画像Ａの画素（ｘ＋ｎ）と画像Ｂの画素（ｘ＋ｎ）との間の差分を求めると、同じ画素に関する信号であるため、差分に係る信号では固定パターンノイズが除去されることになる。

以上により、「光軸のずれ」を作り、その前後におけるイメージセンサ１０による撮像で得られるセンサ信号３１（画像Ａ）、センサ信号３２（画像Ｂ）を利用し、各同一画素の画像Ａと画像Ｂの差分を演算し、演算で得た差分を累積し、これらの累積信号を用いて元の画像を再構成（復元）すると、固定パターンノイズが除去された画像信号を得ることができる。

上記の実施形態において「光軸のずれ」の作り方は、イメージセンサ１０を移動させる方法には限定されない。例えば図３の（Ａ）に示すごとく、イメージセンサ１０を固定状態にし、レンズ系１１をイメージセンサ１０の受光面に平行に移動させることもできる。レンズ系１１の移動を行う駆動機構は、前述した駆動機構１３と同様な装置を用いることができる。また図３の（Ｂ）に示すごとく、イメージセンサ１０とレンズ系１１との間の光路中に光軸１２を変化させるプリズム４１等を設けることもできる。

次に、図４を参照して、本発明に係るイメージセンサの固定パターンノイズ除去装置の第２実施形態を説明する。イメージセンサ１０による被写体の実際の撮像では各画素信号にランダムノイズが存在しており、そのために最終的に得られる画像信号において当該ランダムノイズの影響が発生する。そこで、この実施形態に係る固定パターンノイズ除去装置では、固定パターンノイズ除去部１８の差分演算部１９で差分を求める演算を行う前の段階で、「光軸のずれ」の前後の撮像で得られる画像Ａと画像Ｂの各々に関して平均化処理を行うように構成している。すなわち、画像Ａのためのフレーム平均化回路５１と、画像Ｂのためのフレーム平均化回路５２とを備えている。フレーム平均化回路５１は、例えば３つのフレームメモリ５３ａ，５３ｂ，５３ｃと平均化回路５４から構成される。フレーム平均化回路５２の構成もフレーム平均化回路５１の構成と同じであるので、図４中ではその内部構成は省略して示されている。なお図４において、前述の実施形態で説明した要素と実質的に同一の要素は同一の符号を付している。

上記の構成に基づき、イメージセンサ１０から出力される画像Ａに係るセンサ信号は、例えば３回撮像を行って３つのセンサ信号を取得し、フレーム平均化回路５１の３つのフレームメモリ５３ａ，５３ｂ，５３ｃの各々に格納する。平均化回路５４は、３つのフレームメモリ５３ａ，５３ｂ，５３ｃのそれぞれに格納された画像データを各画素ごとに平均処理し、平均化された画像Ａに関する画像信号すなわちセンサ信号を出力する。他方、イメージセンサ１０から出力される画像Ｂに係るセンサ信号についても、同様に３回撮像を行って３つのセンサ信号を取得し、フレーム平均化回路５２の３つのフレームメモリの各々に格納し、さらに同様な平均化回路により３つのフレームメモリのそれぞれに格納された画像データを各画素ごとに平均処理し、平均化された画像Ｂに関する画像信号すなわちセンサ信号が出力される。

本実施形態の固定パターンノイズ除去部１８では、差分演算部１９に、画像Ａに係る平均化された画像信号（センサ信号）と画像Ｂに係る画像信号（センサ信号）が入力され、これらの入力信号を用いて前述した除去処理を行う。本実施形態の構成によれば、固定パターンノイズ除去１８から出力される最終的な画像信号においてランダムノイズの影響を提言することができる。撮像回数（サンプリング回数）がＳのとき、ランダムノイズの影響は１／√Ｓに低減することができる。

次に、図５を参照して、本発明に係るイメージセンサの固定パターンノイズ除去装置の第３実施形態を説明する。この実施形態は、上記の第１実施形態の変形例であり、最終的な画素信号からランダムノイズの影響は低減するための他の構成を示している。この実施形態による構成では、ＬＰＦ６１（Low Pass Filter：移動平均化手段）を用いて得られる信号を利用して復元された画像信号を修正する方法である。従って、固定パターンノイズ除去部１８の出力側に信号修正回路６２が設けられている。信号修正回路６２は、固定パターンノイズ除去部１８から出力された画像信号と、ＬＰＦ６１から出力された移動平均化信号を入力する。信号修正回路６２は、固定パターンノイズ除去部１８によって差分情報に基づいて復元された画像信号を、イメージセンサ１０から出力された画像信号を移動平均化（平滑化）して得られた画像信号に重なるように修正を行う。これによって、固定パターンノイズ除去部１８から出力される画像信号からランダムノイズを迅速に低減することができる。

さらに、図６を参照して、本発明に係るイメージセンサの固定パターンノイズ除去装置の第４実施形態を説明する。この実施形態は、上記の第３実施形態を改良した変形例であり、本実施形態でも最終的な画素信号からランダムノイズの影響は低減している。図６において、図５で説明した要素と同一の要素には同一の符号を付している。第３実施形態の構成と相違する点は、固定パターンノイズ除去部１８の差分演算部１９と信号修正回路６２との間に合わせ位置検出部６３を備えていることである。

ＬＰＦ６１での平滑化処理で得られた画像ではエッジの落ちた画像となる。前述した差分が大きく生じる領域では、画像信号と平滑化された画像信号との重ね合せを行うにあたり目標とするには適さない。図７において差分に係る信号７１の出現状態の一例を示す。図７に示した差分信号７１において、７２は差分が相対的に大きくピーク状に生じている領域であり、７３は差分が相対的に小さくその変化が所定値以下になるように生じている領域である。差分に係る信号における複数の領域７３は信号の小さな部分であり、変化が緩やかな部分であるので、平滑化した画像信号と重ね合わせても一致が良好な部分である。

従って、合わせ位置検出部６３は、差分演算部１９から出力される差分に係る信号において信号変化が所定値以下の領域７３を検出し、当該検出信号を信号修正回路６２に供給する。信号修正回路６２では、合わせ位置検出部６３から供給される検出信号に基づいて、差分信号における各領域７３に一致する位置で、画像復元部２０から与えられる画像信号と、ＬＰＦ６１から与えられる平滑化した画像信号とを重ね合せ、復元された画像信号を修正する。

上記の各実施形態では、イメージセンサ１０により撮像される被写体は静止物（静止画）を想定していたが、被写体はこれに限定されない。例えば移動する被写体であっても本発明の構成を応用することができる。移動する被写体の場合、すなわち動画の場合には、予め静止物体を撮影した際に閾値情報をメモリに記憶しておき、この閾値情報を利用して画素信号から減算処理を行い、固定パターンノイズを除去するようにする。

以上の実施形態で説明された構成等については本発明が理解・実施できる程度に概略的に示したものにすぎず、従って本発明は、説明された実施形態に限定されるものではなく、特許請求の範囲に示される技術的思想の範囲を逸脱しない限り様々な形態に変更することができる。

本発明に係るイメージセンサの固定パターンノイズ除去装置は、固定撮像装置（カメラ）等に利用され、固定パターンノイズ除去を簡単構成で達成でき、かつ経時的変化が生じた固定パターンノイズも適切に除去するのに利用される。

本発明に係るイメージセンサの固定パターンノイズ除去装置の第１実施形態を示すブロック回路図である。光軸のずれの前後でのセンサ信号（画素信号）の一例を示す信号波形図である。光軸のずれを生じさせるための駆動例を示す図である。本発明に係るイメージセンサの固定パターンノイズ除去装置の第２実施形態を示すブロック回路図である。本発明に係るイメージセンサの固定パターンノイズ除去装置の第３実施形態を示すブロック回路図である。本発明に係るイメージセンサの固定パターンノイズ除去装置の第４実施形態を示すブロック回路図である。差分信号の一例を示す信号波形図である。イメージセンサにおける画素単位となる光センサ回路の構成例を示す電気回路図である。図８に示した光センサ回路を画素に用いたイメージセンサとその走査回路を示す電気回路図である。イメージセンサの出力波形の一部分とそれにより再現される映像信号の一部分を示した出力波形の波形図である。固定パターンノイズをセンサ信号から除去する従来装置のブロック図である。

符号の説明

１０イメージセンサ
１１レンズ系
１２光軸
１３駆動機構
１７フレームメモリ
１８固定パターンノイズ除去部
１９差分演算部
２０画像演算部

Claims

光電変換素子に流れる光電流をＭＯＳトランジスタにより対数的に変換してセンサ信号を得る光センサ回路を画素として用い、マトリックス状に配列された複数の前記光センサ回路を備えるイメージセンサと、
前記イメージセンサの受光面の前面位置に配置されるレンズ系と、
前記イメージセンサと前記レンズ系との位置関係を変化させることにより、前記イメージセンサと前記レンズ系の間に生じる光軸が所定画素分だけずれるように駆動動作を行う駆動手段と、
前記駆動手段による前記駆動動作の前後の撮像で得られた前記イメージセンサのセンサ信号を記憶するフレームメモリと、
前記駆動動作の前後の前記センサ信号同士で同一画素ごとに差分を演算する差分演算手段と、
前記差分演算手段で演算された前記差分を累積して画像信号を復元する画像復元手段と、
を備えることを特徴とするイメージセンサの固定パターンノイズ除去装置。
前記駆動動作の前後の前記センサ信号のそれぞれをフレーム平均化するフレーム平均化手段を備え、前記差分演算手段は、フレーム平均化された前記センサ信号同士で前記差分を演算することを特徴とする請求項１記載のイメージセンサの固定パターンノイズ除去装置。
前記駆動手段は、前記イメージセンサを、前記受光面を含む平面方向に移動させる駆動機構であることを特徴とする請求項１記載のイメージセンサの固定パターンノイズ除去装置。
前記駆動手段は、前記レンズ系を、前記イメージセンサの前記受光面に平行な平面方向に移動させる移動機構であることを特徴とする請求項１記載のイメージセンサの固定パターンノイズ除去装置。