JPH08265654A - 電子撮像デバイス - Google Patents

Abstract

(57)【要約】 【課題】 暗電流による黒パターンの補正の際、暗フレ
ームの記憶に高容量のメモリが必要でイメージセンサの
走査時間が非常に長い。 【解決手段】 電荷移動型イメージセンサ１８中で暗電
流による黒パターン補正を行う電子撮像デバイスを提供
する。イメージセンサ１８によって暗闇で基準暗フレー
ムを取得し暗フレーム画素値を入手する。露光部は撮像
光の露光時間を調節し、対応する複数個の画像フレーム
露光を与える。これによりイメージセンサ１８はそれぞ
れ画像フレーム画素値からなる対応する複数個の画像フ
レームを生成する。この後、プロセッサ３８が暗フレー
ム画素値から基準化係数を求め、複数個の画像フレーム
の画像フレーム画素値に適用し、黒パターンが修正され
た補正済み画像フレーム画素値を得る。多数の画像フレ
ーム露光の補正に１つの基準暗フレーム露光を用いるた
め性能効率が向上する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は電荷移動型センサの
分野に関し、より特定的には電荷結合素子（以下、ＣＣ
Ｄと称す）のためのパターン補正に関する。

【０００２】

【従来の技術】電荷移動型センサ、特にＣＣＤイメージ
センサにおける特有の問題として、黒パターンがある。
ＣＣＤは空間的に規定された空乏領域（電荷ウェル）の
アレイを制御することによって動作するため、シリコン
格子の熱振動によって連続して発生する少数キャリヤは
最小電位点へと流れ、そこで集められる傾向がある。こ
のような熱によって発生したキャリヤはセンサの出力に
おいていわゆる暗電流として示される。従来のＣＣＤセ
ンサでは、センサ上の光遮断領域（撮像領域の外側）か
ら、センサが発生する暗電流の平均予想値、いわゆるオ
フセットが提供される。図１に示すように、このオフセ
ットが各画像１ａ、１ｂ、１ｃからそれぞれ差し引かれ
る。

【０００３】しかし暗電流はセンサ全体を通じて均一で
はなく、信号に固定パターンのノイズを与える。これに
伴いＣＣＤセンサからの画像データにはノイズパターン
が含まれる。装置の空間パターンは不変であるが、ある
特定の位置における振幅は温度、露光時間、およびアレ
イ中の位置に依存する点が重要である。このため、振幅
の各パターンは装置特有のものであり、また温度および
露光時間にも特有のものである。

【０００４】線形ＣＣＤセンサに黒パターン補正が必要
な場合は、一般的には光のない間に取得したあるデータ
列を記憶して行う。そして、残っている黒電流つまり暗
電流を表すこのデータ列を画像情報を表す各データ列か
ら減じる。この結果、黒パターンノイズのない画像列が
得られる。しかしこの補正は暗線中のパターンが画像線
中の暗電流パターンと同じであることが前提である。従
って、暗線は温度および露光時間の変化に適応するよう
に定期的に更新されなけらばならない。

【０００５】エリアＣＣＤイメージセンサのアレイも黒
パターン補正が必要な場合が多い。エリアアレイでは、
複数のラインからなるアレイが１つのデータフレームと
して捕獲され、暗電流のパターンは２次元の黒パターン
となる。このような黒パターンを補正するためには、図
２に示すように、暗闇に露出させたラインのアレイを表
す暗フレーム２ａを取得し、その後、この暗フレームを
同時に取得した画像フレーム１ａから減じて、補正済み
画像フレーム３ａを作ることが知られている。暗電流量
は温度および露光の長さと相関しているため、暗フレー
ム値は温度および露光時間の変化に適応するように定期
的に更新されなければならない。図２に示すこの従来の
方法では、各画像フレーム１ａ、１ｂ、または１ｃのそ
れぞれに固有の暗フレーム２ａ、２ｂ、または２ｃが取
得される。これに加えて、各暗フレームおよび画像フレ
ームごとにセンサの光遮断領域から平均オフセットも計
算され、図２に示すように暗フレーム２ａ、２ｂ、およ
び２ｃ、ならびに補正された画像フレーム３ａ、３ｂ、
および３ｃから減じられる。

【０００６】

【発明が解決しようとする課題】ここで黒パターン補正
に必要な暗フレームの更新処理を行う際の要件が問題と
なる。暗フレームの更新を行う方法としては、基本的に
２つの方法が公知である。撮像システムの多くは光の種
類によって露光時間が定期的に変わるため、これに対処
する一方法としては、考えられるあらゆる露光時間につ
いて暗フレーム値を記憶するやり方がある。しかし、こ
の場合各フレーム当たり何メガバイトもの記憶容量が必
要となり、このような大容量の記憶装置はいつも入手で
きるとは限らない。そのうえ、メモリのコスト上、メモ
リの大半を１つの補正専用にはできない場合がある。

【０００７】この代わりに露光時間が変わる度に新しい
暗フレームを入手するやり方がある。この方法はシステ
ムの性能にかなり影響する。各画像フレーム入手には必
ず追加の暗フレームの入手が伴うため、イメージセンサ
の必要走査時間を実際上倍増させてしまう。これは特に
露光時間が長い場合は避けなければならないことであ
る。

【０００８】

【課題を解決するための手段】本発明は上記で挙げた問
題点を１つ以上解決することを目的とする。本発明を簡
単に説明すると、本発明の一実施形態では、イメージセ
ンサ中で暗電流についての黒パターン補正を用いる電子
撮像デバイスは以下の各部を備える。（１）電荷移動型
イメージセンサ。センサ中の画素列に対応する暗電流特
有の黒パターンを有する画素からなる。各画素ごとの暗
電流の振幅は露光時間に依存する。（２）光がない間に
イメージセンサから基準となる暗フレームの露光を取得
し、そこから暗フレームの画素値を生成するための手
段。（３）イメージセンサへの撮像光の露光時間を調節
し、これに対応する複数個の画像フレーム露光を与える
ための露光部。イメージセンサは、各々画像フレーム画
素値からできた複数個の画像フレームを生成する。
（４）暗フレーム画素値から基準化係数を生成し、この
基準化係数を複数個の画像フレームの画像フレーム画素
値に与えて、イメージセンサ中の暗電流による黒パター
ンについて修正を行った補正済み画像フレーム画素値を
入手するためのプロセッサ部。多数の画像フレーム露光
の補正には１つの基準暗フレーム露光が用いられる。

【０００９】

【発明の実施の形態】図３を参照して本発明に従う黒パ
ターン補正について説明する。黒パターンの補正には、
所定期間の露光から基準となる暗フレーム４（以下、ｂ
ｌａｃｋ ｆｒａｍｅと称す）を取得してこれを記憶す
ることが含まれる。各画像フレーム１ａ、１ｂ、および
１ｃ（以下、ｓｙｓｔｅｍ ｉｍａｇｅｓと称す）につ
いて基準化係数５が計算され、補正乗算器６で暗フレー
ムに適用される。また、基準化したオフセット値７ａも
計算され、減算器８ａで暗フレーム４から減じられる。
この基準化したオフセット値により、図２の暗フレーム
２ａ、２ｂ、および２ｃに適用される通常のオフセット
で行うのと同じ平均的信号減算が行われる。各画像フレ
ーム１ａ、１ｂ、および１ｃを取得すると、暗フレーム
４を基準化し、かつオフセットしたフレーム４が減算器
９で各画像フレーム１ａ、１ｂ、および１ｃから減じら
れ、この結果、一連の補正済みフレーム３ａ、３ｂ、お
よび３ｃが得られる。この後、これらのフレームは図１
および図２に示す方法で、減算器８ｂで暗電流平均オフ
セット値７ｂ（画像１ａ、１ｂ、１ｃの取得中にセンサ
の光遮断領域から入手）を減じてオフセットされる。

【００１０】次に、本発明に従う黒パターン補正方法を
用いる撮像デバイスのブロック図を図４に示す。撮像デ
バイスにはゲート１０が含まれ、このゲート１０はスト
ロボ光源１６とイメージセンサ１８との間の光路１４中
に位置して透明画１２を支持する働きをする。レンズア
センブリ１９と回転可能なカラーフィルタホイール２０
（赤フィルタ２２ａ、緑フィルタ２２ｂ、および青フィ
ルタ２２ｃを含む）もまた光路１４中に位置決めされ
る。ここまでの構成要素は光が漏れない囲い（図示せ
ず）の中に入っているため、露光の長さはストロボが励
磁されて光を発するまでの時間によって調整される。露
光時間、つまりストロボ１６の駆動時間はストロボドラ
イバ２４によって制御され、このドライバ２４はストロ
ボ光源１６に接続される。カラーフィルタホイール２０
を回転させて、赤、緑、青のカラーフィルタ２２ａ、２
２ｂ、２２ｃを順次、光路１４に置くことによって、
赤、緑、青のそれぞれの円盤においてカラー画像が取得
される。この画像取得シーケンスはカラーフィルタホイ
ール２０に接続されるフィルタホイールドライバ２６に
よって制御される。

【００１１】イメージセンサ１８はフルフレームエリア
電荷移動型センサであり、具体的にはＣＣＤセンサであ
る。ＣＣＤイメージセンサ１８からの電荷移動用の位相
クロックはセンサドライバ回路２８から与えられ、この
回路２８はセンサタイミング回路３０によって制御され
る。イメージセンサ１８によって生成される画像信号
は、従来通りの画像信号の相関二重サンプリングを行う
アナログ処理回路３２によって増幅および処理される。
この後、アナログ画像信号はＡＤ変換器３４でデジタル
形式に変換される。デジタル化された画像信号はＤＲＡ
Ｍ等のデジタルメモリ３６に記憶することができる。こ
うして、デジタル化された画像信号はコンピュータ３７
等の外部の利用装置へ送ることができるようになる。

【００１２】デジタル信号プロセッサ３８は、ストロボ
ドライバ２４と、フィルタホイールドライバ２６と、セ
ンサタイミング回路３０とに接続されて、それぞれ画像
の露光の長さ、カラー画像取得シーケンス、およびセン
サドライバ２８からのセンサクロック信号の開始を制御
する。センサクロック信号は従来の方法で画像信号をイ
メージセンサ１８からアナログ処理回路３２へ移動させ
る。露光の長さは、ストロボ光源１６とカラーフィルタ
２２ａ、２２ｂ、および２２ｃとの較正に部分的に左右
され、この較正は光源とフィルタとの使用年数に依存し
ている。また露光時間は使用されているフィルムの色お
よびタイプによっても変化する。デジタル信号プロセッ
サ３８はデジタルメモリ３６にも接続され、記憶されて
いる画像のデジタル値にアクセスして処理を行う。フレ
ーム記憶装置４０はデジタル信号プロセッサ３８に接続
され、ストロボ１６を励磁しない所定の露出による画像
取得から得られた暗フレーム４（図３参照）の各画素の
暗電流値を記憶する。これら暗電流値の総計はｂｌａｃ
ｋ ｉｍａｇｅと称し、使用する特定の露出時間につい
てのイメージセンサ１８中の黒パターンノイズを表す。
フィルタメモリ４２もまたデジタル信号プロセッサ３８
に接続され、フレーム記憶装置４０に記憶されている暗
電流値と撮像光への露光の結果生じた画像フレーム画素
値とにそれぞれ適用される基準化係数５およびオフセッ
ト値７ａ（図３参照）の計算に用いられるコードを記憶
する。

【００１３】デジタル信号プロセッサ３８は図３に図式
的に示す黒パターン補正を行う。これについては図５な
いし図７のフローチャートに詳しく示す。まず、図５の
ブロック５０で示すように、イメージセンサ１８上のす
べての（ｘ，ｙ）画素位置について暗フレーム（ｂｌａ
ｃｋ ｉｍａｇｅ）が取得され、記憶される。この暗画
像は普通の画像フレーム（ｓｙｓｔｅｍ ｉｍａｇｅ）
の露光と比べると相対的に長い露光によって取得され
る。ただし、露光時間は重要でなく、撮像デバイスによ
って通常用いられる露光時間の範囲内であればよい。次
に、暗フレーム中で最も明るい画素ポイントの位置リス
ト（ｌｏｃａｔｉｏｎ ｌｉｓｔ）を作ってｂｌａｃｋ
ｉｍａｇｅを分析する。これは図５のブロック５２で
示され、より詳しくは図６で示す。まず、図６のブロッ
ク５２ａで示すようにｂｌａｃｋ ｉｍａｇｅ中の全ポイ
ントのヒストグラムを作る。それからこのヒストグラム
中でしきい値を定め、所定数（ｎ）の発生件数がこのし
きい値を上回るようにする（ブロック５２ｂ）。ブロッ
ク５２ｃに示すように、設定したしきい値を用いて、ｂ
ｌａｃｋ ｉｍａｇｅのすべての画素位置が走査され、
このしきい値より上の画素すべての（ｘ，ｙ）位置が記
録される。また、これらの位置の数はｌｏｃａｔｉｏｎ
ｌｉｓｔ ｌｅｎｇｔｈとして記録される（ブロック
５２ｄ参照）。

【００１４】図５に戻る。ｂｌａｃｋ ｉｍａｇｅおよ
びｓｙｓｔｅｍ ｉｍａｇｅのそれぞれについてブロッ
ク５４および５８で振幅値とオフセット値とが計算され
る。これについては図７に詳細に示す。ｂｌａｃｋ ｉ
ｍａｇｅ画素がしきい値を上回っているすべての（ｘ，
ｙ）位置の画素振幅の和（ｌｏｃａｔｉｏｎ ｓｕｍ）
がブロック５４ａで計算される。この和は結果的に明る
い画素すべての振幅を示す。次に、ブロック５４ｂでは
ｂｌａｃｋ ｉｍａｇｅ画素がしきい値を上回っている
すべての（ｘ，ｙ）位置の画素振幅と、これらの（ｘ，
ｙ）位置を囲む８つの画素の振幅との領域和（ｎｅｉｇ
ｈｂｏｒｈｏｏｄ ｓｕｍ）が計算される。この和は結
果的に明るい画素すべての近傍全部を含む。この後、ブ
ロック５４ｃでは明るい画素の平均を表す平滑化された
振幅値が計算される。最後に図７を参照してブロック５
４ｄではｂｌａｃｋ ｉｍａｇｅについてのオフセット
が計算される。こうして計算されたオフセットは、ｓｙ
ｓｔｅｍ ｉｍａｇｅ１ａ、１ｂ、および１ｃの各々に
適用されるオフセット７ｂ（図３参照）と対称的な、ｂ
ｌａｃｋ ｉｍａｇｅ特有の暗電流減算の平均値を生成
するために用いられる。

【００１５】これに続いて、図５のブロック６０ではｓ
ｙｓｔｅｍ ｉｍａｇｅの振幅をｂｌａｃｋ ｉｍａｇ
ｅの振幅で除算して基準化係数を計算し、ブロック６２
でｂｌａｃｋ ｉｍａｇｅのオフセットにこの基準化係
数を掛けてオフセットを求める。これらの係数は図３に
示すように乗算器６と減算器８ａとによってすべての暗
フレーム値に適用され、ブロック６４に示すように補正
（ｘ，ｙ）アレイを生成する。この後、この補正用の
（ｘ，ｙ）アレイはブロック６４で画素ごとにｓｙｓｔ
ｅｍ ｉｍａｇｅから減じられて補正済み画像ができ
る。これは図３の図式的な図中の減算器９によっても示
される。

【００１６】基準化係数は、しきい値より上の各（ｘ，
ｙ）位置でラプラス演算子を用いて求められる。基本的
にはラプラス演算子からの出力の和をとり、暗フレーム
と画像フレームとの両方についてこの和を集計する。つ
まり基準化係数は「画像和」÷「暗和」で求められる。
この考え方によって画像中の暗パターンの測定が可能に
なる。ラプラス演算子を用いることで画像の変動を区分
しやすくなるが、これはパターンの周波数が元々高いた
めである。画像情報を区分するためには位置情報も有用
である。暗パターンは無作為で幅広く分布していること
が多い。このため同じパターンを持っている実像はほと
んど存在しない。

【００１７】本発明は時間処理に対して強力な効果があ
ることが証明されている。この検査にはデジタル信号プ
ロセッサ３８の行う処理方法と同じ方法を用いた。具体
的には、「使用前」状態（つまり補正なし）と基準化し
た黒パターン補正を適用した「使用後」状態とについ
て、複数のＤＰＩ（１インチあたりのドット数）解像度
で３５ｍｍを走査して処理を行った。「使用前」状態に
先行技術と同じように黒パターン補正を行うと仮定する
と、処理に要する時間が２倍になってしまう。例えば１
０００ＤＰＩを１１秒間露光すると、処理に２２秒かか
ることになる。

【００１８】次の表はＭａｃｉｎｔｏｓｈ Ｑｕａｄｒ
ａ９００、Ｐｈｏｔｏｓｈｏｐ Ｖｅｒｓｉｏｎ ２．
５（搭載メモリ５０ＭＢ）で集めたデータを示す。「使
用前」の欄は補正がまったくないことを示す。「使用
後」欄は黒パターン補正を行うようにソフトウェアが変
更されていることを示す。

【００１９】

【表１】 次の表はＭａｃｉｎｔｏｓｈ ＩＩｘ、Ｐｈｏｔｏｓｈ
ｏｐ Ｖｅｒｓｉｏｎ２．０１（搭載メモリ６ＭＢ）で
集めたデータを示す。「使用前」欄は補正がまったくな
いことを示す。「使用後」欄は黒パターン補正を行うよ
うにソフトウェアが変更されていることを示す。

【００２０】

【表２】 図４に示す電子撮像デバイスの動作では、撮像デバイス
に電源が投入されると１つの暗フレーム４が取得され
る。この暗フレームの取得は例えば１日に１回、ある特
定のバッチのフィルムを走査するようにデバイスがセッ
トアップされれば随時行うことができる。つまり、位置
リストの作成（図６）、ならびに暗フレーム４について
の振幅値およびオフセット値の計算（図７）は、ある特
定の走査期間中に１度だけ行われる。このため、暗フレ
ームについての明るい画素の（ｘ，ｙ）位置、明るい画
素の総数（ｌｏｃａｔｉｏｎ ｌｉｓｔ ｌｅｎｇｔ
ｈ）、ｌｏｃａｔｉｏｎ ｓｕｍ、ｎｅｉｇｈｂｏｒｈ
ｏｏｄ ｓｕｍ、振幅、およびオフセットは１期間中に
１度だけ行われて、フレーム記憶装置４０に記憶され
る。この後、画像フレーム１ａ、１ｂ、１ｃ（ｓｙｓｔ
ｅｍ ｉｍａｇｅ）が取得され、この各画像フレームに
ついての振幅を計算し、暗フレームについて記憶された
振幅値と組み合わされる。この結果、各画像フレーム独
自の基準化係数が得られる。そして、この独自の基準化
係数と暗フレームオフセットとを各暗フレーム画素値に
適用して補正値の列を作り、これらの値は対応する画像
画素値に適用される。

【００２１】以上のように本発明を好ましい実施形態に
基づいて説明してきたが、当業者であれば、本発明の範
囲から逸脱することなく、この実施形態を変形および修
正できることが理解できると考える。

【００２２】

【発明の効果】本発明の主たる利点は、複数個の画像フ
レームの露光について１つの暗フレームを取得してこれ
を用いるために、性能効率が上がることである。各画像
の露光ごとに独自の暗フレームを生成すると全露光時間
が２倍になることがあるが、そのかわりに、１つの基準
化した暗フレームの露光を１度２度と再利用すること
で、全体の露光時間を大幅に短縮することができる。さ
らに、記憶が必要な暗フレームはたった１つだけなの
で、記憶要件を大幅に緩和することができる。

【００２３】本発明の以上のような、およびその他の実
施形態、目的、特徴および利点は上記で詳述した好まし
い実施形態の説明および添付の図面を参照することによ
って、より明白に理解することができる。図面には先行
技術および本発明が図示している。

【図面の簡単な説明】

【図１】 イメージセンサ中の平均的暗電流を補正する
ための公知の方法を図式的に示す図である。

【図２】 イメージセンサ中の黒パターンを補正するた
めの公知の方法を図式的に示す図である。

【図３】 本発明に従うイメージセンサ中の黒パターン
補正方法を図式的に示す図である。

【図４】 本発明に従う黒パターン補正方法を用いる電
子撮像デバイスのブロック図である。

【図５】 本発明に従う黒パターン補正方法の全体的な
システムの流れを示すフローチャートである。

【図６】 図５に示す全体的なシステムフロー図の一部
を拡大したフローチャートである。

【図７】 図５に示す全体的なシステムフロー図の他の
一部を拡大したフローチャートである。

【符号の説明】

１ａ，１ｂ，１ｃ 画像フレーム（ｓｙｓｔｅｍ ｉｍ
ａｇｅｓ）、２ａ，２ｂ，２ｃ 暗フレーム、３ａ，３
ｂ，３ｃ 補正済み画像フレーム、４ 基準暗フレーム
（ｂｌａｃｋ ｆｒａｍｅ）、５ 基準化係数、６ 補
正乗算器、７ａ基準化オフセット、７ｂ 暗電流平均オ
フセット値、８ａ，８ｂ，９ 減算器、１０ ゲート、
１２ 透明画、１４ 光路、１６ ストロボ光源、１８
イメージセンサ、１９ レンズアセンブリ、２０ 回
転可能カラーフィルタホイール、２２ａ 赤色フィル
タ、２２ｂ 緑色フィルタ、２２ｃ 青色フィルタ、２
４ストロボドライバ、２６ フィルタホイールドライ
バ、２８ センサドライバ回路、３０ センサタイミン
グ回路、３２ アナログ処理回路、３４ Ａ／Ｄ変換
器、３６ デジタルメモリ、３７ コンピュータ、３８
デジタル信号プロセッサ、４０ フレーム記憶装置、
４２ フィルタメモリ、５０，５２ａ，５２ｂ，５２
ｃ，５２ｄ，５４ａ，５４ｂ，５４ｃ，５４ｄ，６０
ブロック。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 イメージセンサ中で暗電流についての黒
   パターン補正を用いる電子撮像デバイスであって、 電荷移動型イメージセンサを備え、前記イメージセンサ
   はイメージセンサ中の画素列に対応した暗電流による特
   有の黒パターンを有する画素からなり、前記各画素ごと
   の暗電流の振幅は露光時間に依存し、さらに、 光のない時にイメージセンサから基準となる暗フレーム
   露光を取得し、そこから暗フレーム画素値を生成する手
   段と、 前記イメージセンサへの撮像光の前記露光時間を調節
   し、対応する複数個の画像フレーム露光を与える露光部
   とを備え、前記イメージセンサは画像フレーム画素値か
   らなる対応する複数個の画像フレームを生成し、さらに
   前記暗フレーム画素値から基準化係数を求め、前記基準
   化係数を前記複数個の画像フレームの前記画像フレーム
   画素値に適用して、前記イメージセンサ中で暗電流によ
   る前記黒パターンを修正した補正済み画像フレーム画素
   値を入手するためのプロセッサ部を備え、前記多数の画
   像フレーム露光の補正には１つの基準暗フレーム露光が
   用いられる、電子撮像デバイス。
2. 【請求項２】 請求項１に記載の電子撮像デバイスにお
   いて、前記基準化係数は前記画像フレーム画素値のパタ
   ーンを補正するために用いられる電子撮像デバイス。
3. 【請求項３】 請求項２に記載の電子撮像デバイスにお
   いて、前記基準化係数は前記暗フレーム画素値を基準化
   するために用いられ、前記プロセッサ部は前記暗フレー
   ム画素値を基準化したものを前記画素値から引いて前記
   画像フレーム画素値のパターンを補正する電子撮像デバ
   イス。