JP4279313B2 - 撮像装置及び撮像装置における階調変換方法 - Google Patents

Description

本発明は、撮像素子により得られた画素毎の信号値を持つ画像データに対して所定の階調変換処理を施す撮像装置に関り、特に、原稿上の文字、人の顔の特徴、血管パターン、指紋パターンなど、被写体の細部における小さな輝度の変化を検出するのに適した階調補正手段を有する撮像装置及び撮像方法に関する。

従来の撮像装置の階調（補正）制御として非線形の階調変換特性を複数備え、画像の輝度（明度平均の最大値）に応じて階調変換特性を選択することで被写体のダイナミックレンジ拡大を実現したものがある（例えば、特許文献１参照）。

特開２００４−３６３７２６号公報（第９頁、第５図）

しかしながら、撮像により得られる画像の細部の輝度の小さな変化（高周波数の画像信号として検出される）が、画面全体の輝度の大きな変化（低周波数の画像信号として検出される）に重畳されている場合に、撮像装置のダイナミックレンジが低周波数信号成分に対して最適化されるため、特に、人の顔の特徴、血管パターン、指紋パターンなど、被写体の画像の細部の小さな輝度差を鮮明に再現することができないと言う問題があった。

本発明に係わる撮像装置は、
固体撮像素子と、
前記固体撮像素子から得られる撮像出力に比例した撮像信号から輝度分布とその最大レベルと最小レベルを検出する輝度分布検出手段と、
前記撮像信号にオフセット補正及び利得補正を行う補正手段と、
前記輝度分布検出手段により検出された前記最大レベルと前記最小レベルに基づいて、前記補正手段から出力される補正撮像信号の変化範囲を拡大するように補正量を制御する補正量決定手段と、
前記補正手段の出力を非線形変換特性で階調変換する階調変換手段とを備え、
前記階調変換手段の非線形変換特性は、前記階調変換手段の入力が第１の範囲にあるときは、該入力の変化に対する出力の変化が比較的小さく、前記階調変換手段の入力が第２の範囲にあるときは、該入力の変化に対する出力の変化が比較的大きいものであり、
前記輝度分布検出手段は、
前記撮像信号の低周波数成分を抽出することで、前記撮像信号の局所的領域の平均を検出する低周波数成分抽出手段と、
前記撮像信号の高周波数成分を抽出する高周波数成分抽出手段と、
前記高周波数成分抽出手段で抽出された高周波数成分の前記局所的領域の振幅を検出する振幅検出手段と、
前記低周波数成分抽出手段で検出された前記局所的領域の平均と前記振幅検出手段で検出された前記局所的領域の振幅とを加算することで、前記最大レベルを求める加算手段と、
前記低周波数成分抽出手段で検出された前記局所的領域の平均から前記振幅検出手段で検出された前記局所的領域の振幅を減算することで、前記最小レベルを求める減算手段とを有し、
前記補正量決定手段は、前記最大レベル及び前記最小レベルを、前記階調変換手段の入力が取り得る値の範囲の最大値及び最小値に近い値に変換し、前記最大レベル及び前記最小レベル以外の値を、前記階調変換手段の入力が取り得る値の範囲の最大値及び最小値の間に均等に割り振った値とするためのオフセット補正量及び利得補正量を決定する
ことを特徴とする。

本発明によれば、撮像信号の輝度分布とその最大レベルと最小レベルに基づいて、撮像信号のオフセット補正、利得補正及び階調変換特性を適応的に制御するようにしたので、画像の細部の小さな輝度差を鮮明に再現することができる。
また、撮像画像内の被写体の形状を検出し、被写体領域内の撮像信号の輝度分布とその最大レベルと最小レベルに基づいて、撮像信号のオフセット補正、利得補正及び階調変換特性を適応的に制御するようにしたので、被写体画像の細部の小さな輝度差を更に鮮明に再現することができる。

この発明の実施の形態１の撮像装置を示すブロック図である。 （Ａ）〜（Ｃ）は、実施の形態１の階調変換手段の変換特性の一例を示す線図である。 実施の形態１で用いられる輝度分布検出手段の一例を示すブロック図である。 図３のヒストグラム生成部が生成したヒストグラムの一例を示す図である。 図１の補正量決定手段によるオフセット補正量及び利得補正量の決定方法を説明するための図である。 図１の輝度分布検出手段で検出された最小レベル値の値から利得補正量を求める場合に用いられる表の一例である。 （Ａ）及び（Ｂ）は、実施の形態１における補正量決定手段による階調変換手段の制御の一例を示す図である。 （Ａ）及び（Ｂ）は、実施の形態１における補正量決定手段による階調変換手段の制御の一例を示す図である。 （Ａ）〜（Ｇ）は、実施の形態１の撮像装置の動作を示すタイミングチャートである。 実施の形態１の処理手順を示すフローチャートである。 （Ａ）〜（Ｃ）は、実施の形態１による補正が階調変換後の信号に与える影響を示す図である。 （Ａ）〜（Ｃ）は、実施の形態１による階調補正動作の一例を示す図である。 この発明の実施の形態２における画面の分割の例を示す図である。 実施の形態２の処理手順を示すフローチャートである。 （Ａ）〜（Ｇ）は、この発明の実施の形態３の動作を示すタイミングチャートである。 この発明の実施の形態４の撮像装置の構成を示すブロック図である。 実施の形態４の処理手順を示すフローチャートである。 （Ａ）〜（Ｇ）は、実施の形態４の撮像装置の動作を示すタイミングチャートである。 この発明の実施の形態５を示すブロック図である。 （Ａ）〜（Ｇ）は、実施の形態５の動作を示すタイミングチャートである。 実施の形態５の処理手順を示すフローチャートである。 実施の形態６で用いられる輝度分布手段の一例を示すブロック図である。 （Ａ）及び（Ｂ）は、図２２の輝度分布手段３１の動作を示す波形図である。 図２２の振幅検出手段の一例を示すブロック図である。 明るさの異なる領域を含む画面の一例を示す図である。 （Ａ）〜（Ｃ）は、実施の形態６による階調補正動作の一例を示す図である。

符号の説明

１ 固体撮像素子、 ２ 増幅手段、 ３ Ａ／Ｄ変換手段、 ４ 露出制御手段、 ５ 撮像信号メモリ手段、 ６ 補正手段、 ６１ オフセット補正手段、 ６２ 利得補正手段、 ７ 補正制御手段、 ８ 階調変換手段、 ９ 画像処理手段、 １０ 被写体形状認識手段、 １１ 輝度分布検出手段、 １２ 補正量決定手段。

実施の形態１．
図１はこの発明の実施の形態１の撮像装置の構成を示すブロック図である。実施の形態１に係る撮像装置は、固体撮像素子１と、増幅手段２と、Ａ／Ｄ変換手段３と、露出制御手段４と、撮像信号メモリ手段５と、補正手段６と、補正制御手段７と、階調変換手段８と、画像処理手段９と、被写体形状認識手段１０とを備えている。
また、補正手段６は、オフセット補正手段６１と利得補正手段６２により構成され、補正制御手段７は、輝度分布検出手段１１と補正量決定手段１２とで構成されている。

固体撮像素子１は、被写体から入射した光を画素ごとに光電変換して、固体撮像素子の出力信号（「撮像出力」と呼ぶことがある）を出力する。固体撮像素子１は、２次元的に、即ち、水平方向、垂直方向に配列された複数の画素を構成する光電変換素子を有し、光電変換素子からは、入射光の光量に応じた大きさのアナログ信号が出力される。固体撮像素子１からの信号の出力は、各水平ラインに水平方向に並んだ画素から順次出力されるものであり、このような画素ごとの信号を画素信号と呼ぶこともある。

固体撮像素子１は、例えばＣＣＤ撮像素子であり、その光電荷蓄積時間の制御及び蓄積された電荷の取り出しのタイミング制御で、シャッター速度及びシャッターの開閉に相当する制御を行なうことができる。そのため、固体撮像素子１に対する電荷蓄積時間の制御を電子シャッター機能と呼ぶことがある、本実施の形態では、露出制御手段４により、電荷蓄積時間の制御が行なわれる。

固体撮像素子１は、白黒センサでも、カラーセンサーでも良い。カラーセンサーとしては、原色フィルタ配列のものでも、補色フィルタ配列のものでも良い。また、固体撮像素子１は、ＣＭＯＳ撮像素子を用いたものでも良い。

原色フィルタを用いた撮像素子の輝度信号Ｙは、
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
で得られる。
また、補色フィルタを用いた撮像素子の輝度信号は、
Ｙ＝（Ｃｙ＋Ｍｇ）＋（Ｙｅ＋Ｇ）
または、
Ｙ＝（Ｃｙ＋Ｇ）＋（Ｙｅ＋Ｍｇ）
で得られる。
なお、モノクロの撮像素子においては、Ｙ信号をそのまま使用する。

増幅手段２は、固体撮像素子１の撮像出力を増幅して撮像出力に比例した撮像信号を出力する。増幅手段２の出力を増幅出力と呼ぶことがある。増幅手段２の増幅利得は、露出制御手段４により制御される。

Ａ／Ｄ変換手段３は、増幅手段２の出力をＡ／Ｄ（アナログ−デジタル）変換して、デジタル信号（「Ａ／Ｄ出力」或いは「撮像データ」と呼ぶことがある）Ｓｃを出力する。デジタル信号は画素ごとの輝度を表すものであり、画素毎のデジタル信号を、画素データと呼ぶこともある。Ａ／Ｄ出力Ｓｃもまた固体撮像素子１の撮像出力に比例した撮像信号である。

露出制御手段４は、撮像出力に比例したＡ／Ｄ出力の輝度（Ｙ）信号、または緑（Ｇ）信号の値に応じて、固体撮像素子１の露出量及び増幅手段２の増幅利得を制御する。

本実施の形態の露出量の制御は、固体撮像素子１の電荷蓄積時間の制御により実現されるが、代わりに、被写体を照らす光源の光量の制御や、絞りの開放値を調整するアイリス制御、或いはこれらの組み合わせにより実現しても良い。

撮像信号メモリ手段５は、Ａ／Ｄ出力（撮像データ）をフレーム単位で保持するメモリ容量をもち、１フレームの撮像信号をメモリに書き込みを行う間に、１フレーム前に書き込まれた撮像信号を読み出すことが可能である。撮像信号メモリ手段５から読み出された信号Ｓｄを、「撮像信号メモリ出力」と呼ぶことがある。

オフセット補正手段６１は、例えば減算器で構成され、補正量決定手段１２からのオフセット補正量（Ｋｂ）を、撮像信号メモリ５の出力から減算し、減算した結果を利得補正手段６２へ出力する。オフセット補正手段６１の出力を「オフセット補正出力」と呼ぶことがある。

利得補正手段６２は、例えば乗算器で構成され、補正量決定手段１２からの利得補正量（Ｋａ）をオフセット補正手段６１の出力に乗算し、乗算した結果を階調変換手段８へ出力する。利得補正手段６２の出力Ｓｆを「補正撮像信号」と呼ぶことがある。

階調変換手段８は、補正撮像信号Ｓｆを階調変換し出力する。階調変換手段８の出力Ｓｇを「階調変換出力」と呼ぶことがある。
図２（Ａ）は、階調変換手段８の階調変換特性の一例を示す。横軸は入力（「階調変換入力」と呼ぶ）であり、縦軸は出力（「階調変換出力」と呼ぶ）である。図示の例では、入力は１０ビットの数値であり、最小が０であり、最大が１０２３であり、出力は８ビットの数値であり、最小が０であり、最大が２５５である。

図２（Ａ）の階調変換特性横軸の下方の図２（Ｂ）に入力信号Ｓｆの一例が示され、そのような入力信号に対する出力信号Ｓｇが、階調変換特性曲線の右方の図２（Ｃ）に示されている。

図示の階調変換特性は、入力が小さい部分（乃至範囲）では、入力の増加に対する出力の増加が比較的大きく（特性曲線の傾きが比較的急であり）、入力が大きくなるに連れて、次第に特性曲線の傾きが緩やかになるものである。図示の例ではまた、入力が最大値の略１／２以下では、入力に対する出力の変化が直線的である。このような特性は、比較的輝度の低い部分を比較的明るく、かつ高いコントラストで再現するとともに、比較的輝度の高い部分も階調再現でき、ダイナミックレンジの広い画像を得ることができると言う利点がある。

なお、階調変換特性は、γ特性、折れ線特性などを用いることができ、モニターの特性、被写体の状態、照明光の状態など種々の撮像条件を考慮して決められるものであるが、本発明は、入力の範囲のうちの一部について他の部分よりも特性曲線の傾きを急にして信号の変化を強調したい場合、即ち特性極性の傾きが比較的緩やかな第１の部分（範囲）と、特性曲線の傾きが比較的急な第２の部分（範囲）とを有する場合に適用できる。

階調変換手段８は、例えばルックアップテーブル（ＬＵＴ）により実現することができる。また、変換特性曲線が折れ線で表されるものである場合、比較的簡単な演算により実現することが可能であり、ハードウェアロジックで実現することも可能である。

補正量決定手段８の出力Ｋｃは、階調変換手段８の階調変換特性を切替えるための切替信号である。例えば、階調変換手段８内に、複数の階調変換特性を保持できるハードウエア構成の場合、高速にフレーム単位で階調変換特性を切替えることが可能である。また、階調変換手段８の階調変換特性を折れ線で構成する場合は、補正量決定手段８の出力Ｋｃは、折れ線特性を実現するための、折れ点位置の座標値（入力値及び出力値）などをフレーム単位で、階調変換手段８に供給するものであっても良い。この場合、階調変換手段８に複数の階調変換特性を実現するための記憶領域を持つ必要が無く、ゲート規模、メモリ容量を削減し得る効果がある。

画像処理手段９は、ホワイトバランス制御、ベイヤー配列やハニカム配列の固体撮像素子１の出力から各画素のＲＧＢ信号を生成するための補間信号処理、ノイズ除去、ＲＧＢ信号からＹＣｂＣｒ信号に変換する処理、モニターへ表示するための画質改善の処理など一般的なカメラの信号処理を実現するための機能を有する。
また、文字認識、顔・静脈・指紋の認識などの画像処理を実現する。

なお、オフセット補正手段６１、利得補正手段６２、階調変換手段８、及び画像処理手段９は、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ
ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などハードウェアを用いて構成することもでき、ソフトウエアで、即ちプログラムされたコンピュータで構成することもできる。

画像処理手段９を、パーソナルコンピュータ、高性能の組み込みマイコン、ＤＳＰ（デジタル・シグナル・プロセッサ）等で構成することで、統計系的演算、パターン認識を行い、これにより、ノイズ成分除去や複雑な信号処理を容易に実現することができる。

輝度分布検出手段１１は、図３に示すように、ヒストグラム生成部１１１、最大レベル値検出部１１２、及び最小レベル値検出部１１３を備える。最大レベル値検出部１１２と最小レベル値検出部１１３とで最大・最小レベル値検出手段１１４が構成されている。

輝度分布検出手段１１は、被写体形状認識部手段１０（詳細な機能は後述する）から、被写体と認識される画素領域か、被写体と認識されない画素領域の検出結果をもとに、被写体と認識される画素領域のみの輝度分布を検出する。
被写体ではない画素領域の信号レベルが、被写体の信号レベルと異なる場合、例えば被写体の信号レベルに比べて低い或いは高い信号である場合に、被写体の信号レベルを有効に検出することが可能となり、検出精度が向上する。

なお、輝度分布検出手段１１は、１フレーム以上の画像情報を記憶することも可能である。複数のフレームごとの輝度分布を検出することで、フレーム間の輝度分布の検出誤差を小さくすることができ、輝度分布検出手段１１の出力信号の精度を向上することができる。

輝度分布検出手段１１は、１フレーム分のＡ／Ｄ出力Ｓｃから、被写体形状認識部１０により被写体と認識された領域の画素データから緑信号の信号レベルや、輝度信号（Ｙ）の信号レベルについて、ヒストグラム生成部１１１において輝度信号レベル（階調）の分布（輝度ヒストグラム）を生成し、最大レベル値検出部１１２、及び最小レベル値検出部１１３によりその輝度ヒストグラムから被写体の有効輝度信号レベルの最大レベル値及び最小レベル値を求める。
ここで、「有効輝度信号レベルとは、画素欠陥、ノイズなどによる孤立した値（他の値に比べて例外的に大きい値、例外的に小さい値）以外の信号レベルを言う。

被写体形状認識部１０は、被写体の形状パターンを認識し、有効な被写体領域を検出する。この被写体領域は、被写体の特徴領域（指紋認証の場合は指、静脈認証の場合は掌や指、顔認証の場合は顔に対応する領域）を意味する。

前記被写体領域の検出結果の有効性の判定については、その被写体固有の形状、例えば、指紋形状、静脈形状、目、鼻、口の相対位置関係などの幾何学的特徴により判定する方法や、色や輝度変化パターンの特徴により判定する方法があるが詳細は省略する。

なお、輝度ヒストグラムの生成及び有効輝度信号レベルの最大レベル値及び最小レベル値の検出は被写体領域内についてのみ行っても良いし、被写体領域内と被写体領域外のそれぞれについて行っても良いが、以下簡単のために、被写体領域内のみの例に限定して説明する。

被写体形状認識手段１０は、輝度分布検出手段１１へ、被写体と認識した場合は、認識したことを示す値、例えば「１」を有する信号（「認識信号」或いは「領域内信号」）を出力し、認識できない場合は、認識しないことを示す値、例えば「０」を有する信号（「認識不可信号」或いは「領域外信号」）を出力する。輝度分布検出手段１１は、前述のように、輝度分布の検出要否を判断することが可能となる。
なお、被写体形状認識手段１０の出力が、補正量決定手段１２を制御する構成でも良い。この場合は、補正量決定手段１２内で、輝度分布検出手段１１の出力と、被写体形状認識手段１０の出力をもとに、補正量を設定することが可能となる。

図４は、ヒストグラム生成部１１１が生成したヒストグラムの一例を示す図である。横軸は階調を示すが、画素データＳｃの０から１０２３の階調を３２個の区分に分割し、各区分の階調値の平均値を代表値として表している。即ち、ヒストグラム生成部１１１は、３２階調ごと、すなわち１０２４階調分を３２個の区分に分割して度数を計数した場合のヒストグラムを生成している。

このように１０２４階調を３２個の区分に分割した場合、１区分あたりの階調値の数は上記のように、３２になる。図４の横軸に示された数字は、その区分内の中心付近の階調値を代表値として示したものである。例えば、横軸の数値「１６」は、階調値０〜３１から成る区分の代表値であり、「１６」の位置に示された度数は、１フレームの画素データＳｃに含まれる、階調値０〜３１の画素の数を表す。
なお、各区分が１個の階調値から成り、画素データＳｃの階調値の数、例えば画素データが１０ビットの場合は、０から１０２３のように１０２４個の階調値の各々について生成するようにしても良い。

ヒストグラム生成部１１１は、１フレーム分の画素データＳｃの階調区分ごとの度数を計数し、図４に示すような１フレーム分のヒストグラムを生成する。
最大レベル値検出部１１２は、生成されたヒストグラムの最も明るい（大きい）階調区分から順次より低い区分に累積した度数Ｈａｓが、あらかじめ設定された閾値Ｃｔａを超える階調区分を検出し、その区分の代表値を最大レベル値Ｓｃａとして出力する。
同様にして、最小レベル値検出部１１３は、生成されたヒストグラムの最も暗い（小さい）階調区分から順次より高い区分に累積した度数Ｈｂｓが、あらかじめ設定された閾値Ｃｔｂを超える階調区分を検出し、その区分の代表値を最小レベル値Ｓｃｂとして出力する。

以上のように生成されたヒストグラムに対して、階調値が低い区分から順に度数を累積することで、暗い側の累積度数Ｈｂｓが得られ、同様に階調値が高い区分から順に度数を累積することで明るい側の累積度数Ｈａｓを得ることができる。累積度数Ｈｂｓが、あらかじめ設定された閾値Ｃｔｂを超えたところを最小レベル値Ｓｃｂ（図４の場合４８）とし、累積度数Ｈａｓが設定値Ｃｔａを超えたところを最大レベル値Ｓｃａ（図４の場合８４８）として出力する。

なお、ヒストグラムを用いずに、被写体と形状認識された画像領域の輝度信号レベルから輝度の最大値と輝度の最小値を検出する構成することにより、ハードウェアのゲート規模削減やソフト処理時間の短縮が図ることが可能となる。

これらの最大レベル値Ｓｃａ、及び最小レベル値Ｓｃｂは、補正量決定手段１２に供給される。

補正量決定手段１２は、輝度分布検出手段１１から供給される最大レベル値Ｓｃａ及び最小レベル値Ｓｃｂに基づいて、オフセット補正量Ｋｂ及び利得補正量Ｋａを求める。
以下、オフセット補正手段６１及び利得補正手段６２による補正の仕方を説明し、その後でＫｂ，Ｋａの求め方を説明する。

仮に輝度分布検出手段１１で求めた最大レベル値Ｓｃａ及び最小レベル値Ｓｃｂを図５に示すごとくであるとする。図１の回路では、Ａ／Ｄ出力Ｓｃが一旦撮像信号メモリ５に記憶された後、撮像信号メモリ５から読み出されて補正手段６に供給される。補正手段６に供給される信号は符号Ｓｄで表されているが、その値自体はＡ／Ｄ出力Ｓｃと変わらない。また、後述のように、Ａ／Ｄ出力Ｓｃに基づいて定めたオフセット補正量Ｋｂ，利得補正量Ｋａは、当該Ａ／Ｄ出力Ｓｃが撮像信号メモリ５に記憶された後読み出されて補正手段６で補正されるときに、その補正に用いられる。そこで、以下暫くの間、Ａ／Ｄ出力Ｓｃがそのまま補正手段６に入力されるものとして説明する。

また、図５においては、Ａ／Ｄ出力Ｓｃ及び撮像信号メモリ５から読み出された信号Ｓｄの値を符号Ｘで表し、その１フレーム内の最大レベル値Ｓｃａ、最小レベル値ＳｃｂをそれぞれＸａ、Ｘｂで表し、さらに便宜上補正手段６の出力をＹ、その可変範囲（とり得る値の範囲）の最大レベル値をＹｍで表している。

補正手段６の働きは、その入力Ｘが最小レベル値Ｘｂのときに、補正撮像信号（補正手段６の出力）Ｙ（＝Ｓｆ）の値がα×Ｙｍであり、補正手段６の入力Ｘが最大レベル値Ｘａのときに、補正撮像信号Ｙの値が（１−β）×Ｙｍであるようにするものである。
ここで、α及びβはともに例えば０．１に定められる。
このようにすれば、補正手段６の入力Ｘ（即ちＡ／Ｄ出力Ｓｃ）の平均値がどのような値であれ、かつ最大レベル値Ｘａと最小レベル値Ｘｂの差が小さい場合にも、最大レベル値Ｓｃａ及び最小レベル値Ｓｃｂが、（１−β）×Ｙｍ、α×Ｙｍに変換され、輝度の変化をα×Ｙｍから（１−β）×Ｙｍの範囲に拡大した後で、階調変換手段８による階調変換を行うことができる。

但し、本実施の形態では、最小レベル値Ｘｂ（＝Ｓｃｂ）が所定の閾値Ｘｂｔ（例４００）よりも大きいときに限り、補正を行うこととし、最小レベル値Ｘｂ（＝Ｓｃｂ）が所定の閾値Ｘｂｔ（例４００）以下のときは補正を行わない（Ｋｂ＝０、Ｋａ＝１とする）こととしている。
なお、最小レベル値Ｘｂが所定の閾値Ｘｂｔ（例４００）以下のときも、最小レベル値Ｘｂが閾値Ｘｂｔよりも大きいときと同じように補正を行うようにしても良い。

Ｘａ、Ｘｂ、Ｙｍの間には以下の関係がある。
（Ｘａ−Ｋｂ）×Ｋａ＝（１−β）×Ｙｍ …（１）
（Ｘｂ−Ｋｂ）×Ｋａ＝α×Ｙｍ …（２）
式（１）及び（２）を連立で解くと、
Ｋｂ＝｛α×Ｘａ−（１−β）×Ｘｂ｝／｛α−（１−β）｝ …（３）
Ｋａ＝［α×Ｙｍ×｛α−（１−β）｝］／｛α×（Ｘｂ−Ｘａ）｝
…（４）
α＝βの場合には、
Ｋｂ＝｛α×Ｘａ−（１−α）×Ｘｂ｝／｛２×α−１）｝ …（５）
Ｋａ＝｛α×Ｙｍ×（２×α−１）｝／｛α×（Ｘｂ−Ｘａ）｝
…（６）

なお、
α＝β＝０．１の場合には、
Ｋｂ＝｛０．１×Ｘａ−０．９×Ｘｂ｝／｛２×０．１−１）｝
＝｛０．１×Ｘａ−０．９×Ｘｂ｝／（−０．８） …（７）
Ｋａ＝｛０．１×Ｙｍ×（２×０．１−１）｝
／｛（−０．１）×（Ｘｂ−Ｘａ）｝
＝｛−０．０８×Ｙｍ｝／｛０．１×（Ｘｂ−Ｘａ）｝
…（８）
仮にＸｍ＝Ｙｍとし、
Ｘａ＝０．８×Ｘｍ、Ｘｂ＝０．４×Ｘｍすると、
Ｋｂ＝０．３５×Ｘｍ …（９）
Ｋａ＝２ …（１０）

補正量決定手段１２は、式（３）、（４）により、利得補正量Ｋａ、オフセット補正量Ｋｂを求め、このようにして用いられた利得補正量Ｋａ、オフセット補正量Ｋｂを利得補正手段７及びオフセット補正手段６１に供給する。
オフセット補正手段６１では、撮像信号メモリ５の出力からオフセット補正量Ｋｂを減算し、利得補正手段６２では、オフセット補正手段６１の出力Ｓｅに利得補正量Ｋａを乗算して、利得補正出力Ｙ（＝Ｓｆ）を出力する。

以上のように、オフセット補正手段６１におけるオフセット補正量Ｋｂの減算及び利得補正手段６２における利得補正量Ｋａの乗算による補正は、Ａ／Ｄ出力、即ち補正手段６の入力の最大レベル値Ｘａを、補正手段６の出力、即ち階調変換手段８の入力の可変範囲の最大値Ｙｍに近い値（１−β）×Ｙｍにし、Ａ／Ｄ出力、即ち補正手段６の入力の最小レベル値Ｘｂを補正手段６の出力、即ち階調変換手段８の入力の可変範囲の最小値（０）に近い値（α×Ｙｍ）にし、Ａ／Ｄ変換の出力、即ち補正手段６の入力の最大レベル値Ｘａ及び最小レベル値Ｘｂ以外の値は、それぞれ（１−β）×Ｙｍからα×Ｙｍまでの範囲に均等に割り振った値とするものである。

なお、利得補正量Ｋａを式（４）の値とする代わりに式（４）で求まる値よりも小さな値としても良い。

なおまた、オフセット補正量Ｋｂ、利得補正量Ｋａの値は、上記の式（３）、（４）で求めず、最小レベル値Ｘｂ，最大レベル値Ｘａの値の範囲に基づき予め用意した表で求めるようにしても良い。
さらにまた、上記の例では、最小レベル値Ｘｂ，最大レベル値Ｘａの双方からオフセット補正量Ｋｂ，利得補正量Ｋａを求めているが、簡便法として、最小レベル値Ｘｂのみからオフセット補正量Ｋｂを求め、最大レベル値Ｘａと最小レベル値Ｘｂの平均値（中間値）と補正手段２１の出力の可変範囲の最大値Ｙｍとの関係から利得補正量Ｋａを求めるようにしても良い。
図６は、最小レベル値Ｘｂの値から利得補正量Ｋａを求める場合に用いられる表の一例である。

補正量決定手段１２はまた、階調変換制御信号Ｋｃにより、階調変換手段８の階調変換特性を制御する。補正量決定手段１２による階調変換特性の制御のための動作の一例を図７（Ａ）及び（Ｂ）、並びに図８（Ａ）及び（Ｂ）を用いて説明する。

図７（Ａ）は、Ａ／Ｄ変換手段３の出力Ｓｃの１フレームのヒストグラムを示しており、低階調（図示の例では、階調値区分の代表値が４４７以下の階調）の出現度数が高い特性を示している。このような状態の被写体においては、図７（Ｂ）に破線ＴＣＣ１で示す階調特性を用いることで、低階調のコントラストを強調した出力が可能となる。

図８（Ａ）は、中間階調（図示の例では、階調値区分の代表値が４４７から８３１の階調）の出現度数が高い特性を示している。このような状態の被写体においては、図８（Ｂ）に破線ＴＣＣ２で示す階調特性を用いることで、中間階調のコントラストを強調した出力が可能となる。

このように、Ａ／Ｄ変換手段３の出力Ｓｃの階調値のヒストグラムに基づいて、階調変換制御信号Ｋｃを決定し、階調変換制御信号Ｋｃにより階調特性を制御することが可能となる。

なお、制御の方法としては、ルックアップテーブルで実現された階調特性（図７（Ｂ）、図８（Ｂ）に破線ＴＣＣ１、ＴＣＣ２で示される）を数個の特性を持ったうえで、Ｋｃに基づき切替えることとしても良く、論理回路を使用し、折れ線で構成された階調特性（図７（Ｂ）、図８（Ｂ）に実線ＴＣＤ１、ＴＣＤ２で示される）の折れ点の座標値などを階調変換制御信号Ｋｃに基づき変更することとしても良い。

図９（Ａ）〜（Ｇ）は、実施の形態１の撮像装置の動作を示すタイミングチャートである。図９（Ａ）のＶＤは、１フレーム期間（Ｔｆ）の同期信号（垂直同期信号）を示している。図９（Ｂ）は、Ａ／Ｄ変換出力Ｓｃの出力のタイミングを示し、図９（Ｃ）は、撮像メモリ出力Ｓｄの読出しのタイミングを示し、図９（Ｄ）は、最大レベルＸａ、最小レベルＸｂ、補正量Ｋａ、Ｋｂの決定のタイミングを示し、図９（Ｅ）は、補正量Ｘａ、Ｘｂの出力のタイミングを示し、図９（Ｆ）は、補正手段６からの信号Ｓｆの出力のタイミングを示す。図９（Ｇ）は、使用される階調変換特性Ｆｔを示す。

フレーム期間は、高速読出し、長時間露光など撮像状況に応じて時間間隔を調整することも可能で、高速読み出しの場合は、フレーム期間が短く（フレームレートが高く）設定され、長時間露光の場合は、フレーム期間が長く（フレームレートが低く）設定される。

なお、階調変換手段８における階調変換特性は図９（Ｇ）に示されるＦｔ（ａ）が使用されるものとする。

第１のフレーム期間Ｆ１に、図９（Ｂ）に示されるＡ／Ｄ出力Ｓｃ１が出力され、撮像信号メモリ手段５へ書込まれ、続く第２のフレーム期間Ｆ２で、図９（Ｃ）に示すように撮像信号メモリ出力Ｓｄ１として読出される。以下同様であり、撮像メモリ出力Ｓｄｉ（ｉ＝１、２、…）はＡ／Ｄ出力Ｓｃｉ（ｉ＝１、２、…）と同じ内容のものである。

第１のフレーム期間Ｆ１には、図９（Ｂ）に示すようにＡ／Ｄ出力Ｓｃ１が撮像メモリ手段５へ書込まれるとともに、輝度分布検出手段１１に供給される。輝度分布検出手段１１では、Ａ／Ｄ出力Ｓｃ１を受けてヒストグラムを生成し、第１のフレーム期間Ｆ１の最後のブランキング期間ＢＬにおいて、図９（Ｄ）に示すように、最大レベル値Ｘａ１，最小レベル値Ｘｂ１の検出が行われ、その結果が補正量決定手段１２に供給され、補正量決定手段１２では、供給された最大レベル値Ｘａ１、最小レベル値Ｘｂ１に基づいて第１のフレーム期間Ｆ１にＡ／Ｄ変換手段３から出力されたデータＳｃ１のためのオフセット補正量Ｋｂ１、利得補正量Ｋａ１を決定する。
決定されたオフセット補正量Ｋｂ１、利得補正量Ｋａ１は、図９（Ｅ）に示すように、次の第２のフレーム期間Ｆ２（そのとき、第１のフレーム期間Ｆ１にＡ／Ｄ変換手段３から出力されたデータＳｃ１と同じデータＳｄ１が撮像信号メモリ手段４から出力される）にオフセット補正手段６１及び利得補正手段６２に供給される。これらの補正量を用いた補正の結果図９（Ｆ）に示される信号Ｓｆが補正手段６から出力される。

第２のフレーム期間Ｆ２には、撮像信号メモリ手段５からのメモリ出力Ｓｄ１の読み出し（図９（Ｃ））と、Ａ／Ｄ出力Ｓｃ２（次のフレームのデータ）の撮像メモリ手段５への書き込み（図９（Ｂ））とが行われる。

以下同様にして、第ｉのフレーム期間Ｆｉ（ｉ＝１、２、…）にＡ／Ｄ変換手段３から出力されたデータＳｃｉと同じ内容のデータＳｄｉ（＝Ｘｉ）が撮像信号メモリ手段５から読み出されて補正手段６に供給されるときに、第ｉのフレーム期間ＦｉにＡ／Ｄ変換手段３から出力されたデータＳｃｉに基づいて決定されたオフセット補正量Ｋｂｉ、利得補正量Ｋａｉが補正手段６に供給されて、補正が行われる。

この補正の内容は
Ｙｉ＝（Ｘｉ−Ｋｂｉ）×Ｋａｉ （ｉ＝１、２、…） …（１１）
で表される。
補正撮像信号Ｓｆ（＝Ｙ）は、階調変換手段８で階調変換特性Ｆｔ（ａ）による階調を受け、その結果として得られる階調変換出力Ｓｇが画像処理手段９へ出力される。

図１０は、実施の形態１の処理手順を示すフローチャートである。

まず、ステップＳ１にて撮影を行い、被写体２から得られる画像信号に対応したＡ／Ｄ出力Ｓｃを得る。ステップＳ２では、最大レベル値Ｘａ、最小レベル値Ｘｂを検出する。

ステップＳ３では、最小レベル値Ｘｂと閾値Ｘｂｔ（例えばＸｂｔ＝４００）との比較
により、補正を行うか判断を行う。最小レベル値Ｘｂ閾値Ｘｂｔより大きい場合は、補正を行う必要があると判断し、ステップＳ４へ進む。

ステップＳ４では、利得補正量Ｋａ、オフセット補正量Ｋｂを算出する。利得補正量Ｋａとオフセット補正量Ｋｂの算出は、補正量決定手段１２について上記した方法で行われる。

ステップＳ５では、利得補正量Ｋａ、オフセット補正量Ｋｂを用いて補正処理を行う。ステップＳ６では、階調変換を実施する。

ステップＳ３で、最小レベル値Ｘｂが閾値Ｘｂｔ以下で、補正が不要と判断されると、補正を行うことなく（即ち、オフセット補正手段６１で減算されることなく（言い換えるとオフセット補正量Ｋｂが「０」とされ）、利得補正手段６２で利得を大きくされることなく（利得補正量Ｋａが「１」とされる）、階調変換（ステップＳ６）が実施される。

上記のうち、ステップＳ１の処理は、固体撮像素子１により行われ、ステップＳ２とステップＳ３の処理は、輝度分布検出手段１１により行われ、ステップＳ４の処理は補正量決定手段１２により行われ、ステップＳ５の処理は、補正手段６により行われ、ステップＳ６の処理は、階調変換手段８により行われる。

なお、最大レベル値Ｘａ、最小レベル値Ｘｂ、或いはヒストグラムから得られる他の情報から、例えば、前フレームから極端に（大幅に）信号量が変化したことが検知された場合、補正を行わないこととすることも可能である。

被写体から得られる画像信号に対応するＡ／Ｄ出力Ｓｃが、図１１（Ｂ）に符号Ｆａで示すようなものであり、ピークが略１０２３、ボトムが略６２３で振動する高周波数成分を有するものと仮定する。図１１（Ｂ）に示す画像信号Ｆａは、被写体が全体的に明るく（直流成分が大きい場合）、低輝度の信号が少ない場合に得られるものである。
図１１（Ａ）では、階調変換手段８の変換特性として、γ＝０．７の場合のγ特性を用いた場合を用いて説明を行う。

このような、信号Ｆａを仮にそのまま階調変換したとすると、階調変換手段８の出力は図１１（Ｃ）に符号Ｇａに示すように、入力よりも高周波数信号成分の振幅がより小さいものとなる（ここで振幅は、階調変換手段８の入力、出力がそれぞれ取り得る値の範囲の最大値を１として正規化した値で比較する）。

そこで、オフセット補正を加え、高周波数信号成分のピーク値とボトム値の差を保ったままで、低輝度側に矢印ＦＧで示すようにシフトして信号Ｆｂを形成した上で、階調変換手段８に入力して階調変換を行うと、階調変換手段８の出力は図１１（Ｃ）に符号Ｇｂで示すようになり、高周波数信号成分の振幅がより大きなものとなる。

さらに、オフセット補正を加えるのみでなく、利得補正を加えることにより、信号Ｆｃを形成した上で、階調変換手段８に入力して階調変換を行うと、階調変換手段８の出力は図１１（Ｃ）に符号Ｇｃで示すようになり、高周波数信号成分の振幅が一層大きなものとなる。
このように、補正手段２１により信号Ｆａを信号Ｆｂ又はＦｃに変換した後に、階調変換手段８に入力することにより、階調変換手段８の出力側に、高周波数信号成分、言換えると画像の細部の細かなパターンを鮮明に再現することができる。そのため、人の顔の特徴、血管パターン、指紋パターンなど、被写体の画像の細部の小さな輝度差を鮮明に再現することができる。

実施の形態１の処理を実施することで、例えば、元画像の撮像結果が図１２（Ａ）及び（Ｂ）に示すようなものであっても、図１２（Ｃ）に示される補正された画像信号を得ることができる。ここで、図１２（Ａ）〜（Ｃ）を参照して説明を加える。図１２（Ａ）は、被写体の元画像の概略を示し、図１２（Ｂ）は図１２（Ａ）の破線ＳＬに沿う画像信号（破線ＳＬ上の画素から信号を順に読み出すことにより得られる信号）を示し、図１２（Ｃ）は、図１２（Ｂ）の信号に対し本実施の形態による補正を加えることにより得られる信号を示す。
図１２（Ａ）に示すように、指紋は、隆線部とその他の部分で反射光量（光学系の構成によっては、散乱光量、透過光量の場合もありえる。）が異なることで、図１２（Ｂ）に示すとおり、信号量として指紋の凹凸に対する信号差（コントラスト）が出力される。また、指中央が、指の端に対して明るい色をしている。このような被写体を撮像した場合、図１２（Ｂ）に示すような、指の端から中央にかけて信号レベルが大きくなり、指紋凹凸の信号のコントラストを重畳した信号が出力される。
実施の形態１の処理を実施することで、図１２（Ｃ）に示すように指紋の凹凸のコントラストがはっきりとした信号を出力することができる。
図１２（Ａ）〜（Ｃ）は一例であり、コントラストを強調したい信号に対して、同様の効果を実現することができる。

実施の形態２．
実施の形態２の撮像装置の全体的構成は、図１に示されるごとくであるが、以下の点で異なる。即ち、実施の形態１では、１フレームの画素信号の最大レベル値、最小レベル値を求め、これに基づきそのフレームの画素データのためのオフセット補正量Ｋｂ，利得補正量Ｋａを求めて、同じフレームのデータに対する補正を行っているが、図１３に示すように画面を複数のエリア乃至ブロックＤＶ１〜ＤＶ１２に分け、それぞれのエリアに対して別個に最大レベル値、最小レベル値を検出し、オフセット補正量Ｋｂ，利得補正量Ｋａを定めて、これを用いてそれぞれのエリア内の画素データに対する補正を行うようにしても良い。

オフセット補正手段６１、利得補正手段６２、及び輝度分布検出手段１１、及び補正量決定手段１２が、エリアごとの処理を実現するために、輝度分布検出手段１１が、エリアごとにヒストグラムを生成し、最大レベル値Ｓｃａ及び最小レベル値Ｓｃｂを求め、補正量決定手段１２がエリア毎にオフセット補正量Ｋｂ及び利得補正量Ｋａを定める。そして、補正手段６では、各エリア内の画素の画素データに対して、オフセット補正量Ｋｂ及び利得補正量Ｋａを用いて補正を行う。その他の点では、図１などを参照して説明した実施の形態１と同じである。

図１４は、実施の形態２の処理手順を示す。図１４は、図１０と概して同じであるが、エリアごとの処理（ステップＳ８、ステップＳ９、ステップＳ１０、ステップＳ１１）が追加された点で異なる。

ステップＳ８では、エリア数を初期化（０に設定）する。ステップＳ９では、画面内の最後のエリアか（図１３に示す例では１２番目のエリアか）の判定を行う。ステップＳ９でＮＯであれば、ステップＳ２に戻る。ステップＳ９でＹＥＳであれば、ステップＳ１０に進む。
ステップＳ１０では、エリア数を初期化（０に設定）する。ステップＳ１１では、画面内の最後のエリアか（図１３に示す例では１２番目のエリアか）の判定を行う。ステップＳ１１でＮＯであれば、ステップＳ３に戻る。ステップＳ１１でＹＥＳであれば、ステップＳ６に進む。

ステップＳ８及びステップＳ９の処理は、輝度分布検出手段１１で行われ、ステップＳ１０及びステップＳ１１の処理は、補正量決定手段１２で行われる。

画面を複数のエリアに区切ることで、エリア毎の明るさのオフセット分を補正することが可能となり、エリア毎に最適なコントラストの改善を行うことができる。

実施の形態３．
実施の形態３の撮像装置の全体的構成は、図１に示されるごとくであるが、実施の形態１及び実施の形態２と異なり、エリア毎に補正を行うことで、撮像信号メモリ手段５として、メモリ容量が１フレームよりも小さいもの、例えば数段（２乃至８段程度）のシフトレジスタ、ラインメモリ（画素データ１ライン分のメモリ）、ＦＩＦＯで構成したものを用いることもできる。

また、輝度分布検出手段１１は、固体撮像素子の撮像画面内の任意の位置の画素を中心として、水平方向前後数画素、ならびに垂直方向前後数ラインの画素のデータを、例えばラインメモリから読み出し、それを元に、ヒストグラムを作成して最大レベル値Ｓｃａ、最小レベル値Ｓｃｂを検出する。
これ以外の点では、実施の形態３は、実施の形態１及び実施の形態２の形態と同じであるが、実施の形態１や実施の形態２と同様の効果が得られる。また、フレームメモリを用いる必要が無いので、処理の高速化、コスト低減できる。

図１５（Ａ）〜（Ｇ）は、実施の形態３のタイミングチャートである。図中、図１５（Ａ）に示される「ＰＳ」は、基本的な処理の時間単位の同期信号を示し、この同期信号で区切られる処理周期内Ｐ１，Ｐ２，Ｐ３，…で、輝度分布検出、利得補正量Ｋａ、オフセット補正量Ｋｂ決定などが実行される。処理周期は、固体撮像素子１の水平転送クロックを最小単位として、１フレーム期間より短い期間である。
なお、基本的な処理の時間単位としては、１ブロックの信号処理を実現できる時間以上の時間を用いる。

図１５（Ｂ）は、Ａ／Ｄ変換出力Ｓｃの出力のタイミングを示し、図１５（Ｃ）は、撮像メモリ出力Ｓｄの読出しのタイミングを示し、図１５（Ｄ）は、最大レベルＸａ、最小レベルＸｂ、補正量Ｋａ、Ｋｂの決定のタイミングを示し、図１５（Ｅ）は、補正量Ｘａ、Ｘｂの出力のタイミングを示し、図１５（Ｆ）は、補正手段６からの信号Ｓｆの出力のタイミングを示す。図１５（Ｇ）は、使用される階調変換特性Ｆｔを示す。

なお、階調変換手段８においては、同じ階調変換特性（符号Ｆｔ（ａ）で示される）が使用され続ける。

第１の処理周期Ｐ１には、図１５（Ｂ）に示すように、Ａ／Ｄ出力Ｓｃ１が撮像メモリ手段５に書き込まれるとともに、輝度分布検出手段１１に供給される。輝度分布検出手段１１では、Ａ／Ｄ出力Ｓｃ１を受けてヒストグラムを生成し、第１の処理周期Ｆ１の最後のブランキング期間ＢＬにおいて、図１５（Ｄ）に示すように、最大レベル値Ｘａ１，最小レベル値Ｘｂ１の検出が行われ、その結果が補正量決定手段１２に供給され、補正量決定手段１２では、供給された最大レベル値Ｘａ１、最小レベル値Ｘｂ１に基づいて第１の処理周期Ｐ１にＡ／Ｄ変換手段３から出力されたデータＳｃ１のためのオフセット補正量Ｋｂ１、利得補正量Ｋａ１を決定する。

決定されたオフセット補正量Ｋｂ１、利得補正量Ｋａ１は、図１５（Ｅ）に示されるように、次の第２の処理周期Ｐ２（そのとき、第１の処理周期Ｐ１にＡ／Ｄ変換手段３から出力されたデータＳｃ１と同じデータＳｄ１（図１５（Ｃ））が撮像信号メモリ手段５から出力される）にオフセット補正手段６１及び利得補正手段６２に供給される。これらの補正量を用いた補正の結果図１５（Ｆ）に示される信号Ｓｆが補正手段６から出力される。

次の第２の処理周期Ｐ２には、撮像信号メモリ手段５からのメモリ出力Ｓｄ１の読み出し（図１５（Ｃ））と、Ａ／Ｄ出力Ｓｃ２（次の処理周期のデータ）の撮像メモリ手段５への書き込み（図１５（Ｂ））とが行われる。

以下同様にして、第ｉの処理周期Ｐｉ（ｉ＝１、２、…）にＡ／Ｄ変換手段３から出力されたデータＳｃｉと同じ内容のデータＳｄｉ（＝Ｘｉ）が撮像信号メモリ手段５から読み出されて補正手段６に供給されるときに、第ｉの処理周期ＦｉにＡ／Ｄ変換手段３から出力されたデータＳｃｉに基づいて決定されたオフセット補正量Ｋｂｉ、利得補正量Ｋａｉが補正手段６に供給されて、補正が行われる。

この補正の内容は、
Ｙｉ＝（Ｘｉ−Ｋｂｉ）×Ｋａｉ （ｉ＝１、２、…） …（１２）
で表される。式（１２）は式（１１）と同様であるが、ｉがフレームの番号ではなく、処理期間の番号を表す点で異なる。

処理周期Ｐｉごとに補正を実現できることにより、被写体の画像の細部の小さな輝度差検出を高速に実現することができる。

実施の形態４．
図１６はこの発明の実施の形態４の構成を示すブロック図である。図１６において図１と同一の符号は同様の部材を示す。実施の形態４の撮像装置は、実施の形態１の撮像装置と概して同じであるが、実施の形態１の撮像信号メモリ手段５を用いておらず画像処理手段９を撮像装置本体に内蔵せず、補正制御手段７と被写体形状認識手段１０を撮像装置本体に内蔵しない撮像装置の構成を示している。ここで、画像処理手段９、補正制御手段７、被写体形状認識手段１０は、パーソナルコンピュータ、マイコン等の信号処理可能な信号処理装置で構成されている。
図１６に示される撮像装置はさらに、逆階調変換手段１３を備え、図１の輝度分布検出手段１１の代わりに輝度分布検出手段１４が設けられている点で異なる。補正量決定手段１２と、逆階調変換手段１３と、輝度分布検出手段１４で補正制御手段７が構成されている。

逆階調変換手段１３は、階調変換手段８の階調変換特性とは逆の階調変換特性を有するものである。即ち、階調変換手段８の変換特性と逆階調変換特性１３の変換特性の積は線形性を持つ。従って、逆階調変換手段１３の出力Ｓｇは固体撮像素子１の撮像出力に比例した信号である。
輝度分布検出手段１４は、Ａ／Ｄ変換手段３の出力ではなく、逆階調変換手段１３の出力Ｓｈを受けて、ヒストグラムの生成、最大レベル値Ｓｈａ、最小レベル値Ｓｈｂの検出を行う。この場合、実施の形態１についての説明の最大レベル値Ｘａ、最小レベル値ＸｂとしてＳｈａ、Ｓｈｂを用いる。
補正量決定手段１２は、輝度分布検出手段１４で検出された最大レベル値Ｓｈａ、最小レベル値Ｓｈｂに基づき、利得補正量Ｋａ、オフセット補正量Ｋｂを算出する。

階調変換手段８で階調変換された信号Ｓｇを、逆階調変換手段１３で元の階調特性（階調変換を受ける前の特性）の信号Ｓｈに戻すので、輝度分布検出手段１４及び補正量決定手段１２では、階調変換手段８の階調変換特性を考慮することなくデータ処理を行うことができる。

実施の形態１の形態では、輝度分布検出手段１４がＡ／Ｄ出力に基づいて補正の制御（輝度分布検出、即ち、ヒストグラム生成、最大レベル値、最小レベル値の検出、及びこれに基づくＫａ、Ｋｂの決定）を行なうが、実施の形態４では、階調変換手段８の出力Ｓｇを受ける逆階調変換手段１３の出力Ｓｈに基づいて補正の制御を行う点が異なる。

図１７は、実施の形態４の処理手順を示すフローチャートである。図１７は、概して図１０と同じであるが、逆階調変換を行うステップＳ１２が付加されている点で異なる。ステップＳ１２の処理は、逆階調変換手段１２でおこなわれる。

図１８（Ａ）〜（Ｇ）は、実施の形態４の撮像装置の動作を示すタイミングチャートである。図１８（Ａ）〜（Ｇ）は、図９（Ａ）〜（Ｇ）と同様である。但し、図１８（Ｃ）は、逆階調変換手段１３の出力を示す。また、一つのフレーム（（ｉ−１）番目のフレーム）Ｆ（ｉ−１）の画素データＳｈ（ｉ−１）に基づいて決定された補正量Ｋａ（ｉ−１）、Ｋｂ（ｉ−１）が次のフレーム（ｉ番目のフレーム）Ｆｉの画素データＳｃｉの補正に用いられる。
従って、補正手段２１における補正の内容は、
Ｙｉ＝｛Ｘｉ−Ｋｂ（ｉ−１）｝×Ｋａ（ｉ−１） （ｉ＝１、２、…）
…（１３）
で表される。

一般的に、動画像を撮影した場合、連続する２フレームの画素データの相関は高い。図１８（Ｃ）、（Ｄ）、（Ｅ）に示されるように前フレームの画素データに基づいて決定された補正データを用いて補正を行うことで、動画像の補正を実現することができる。
なお、一つのフレーム（（ｉ−１）番目のフレーム）Ｆ（ｉ−１）の画素データＳｈ（ｉ−１）と、次のフレーム（ｉ番目のフレーム）Ｆ（ｉ）の画素データＳｈ（ｉ）の双方に基づいて、さらにその次のフレーム（（ｉ＋１）番目のフレームの補正量Ｋａ（ｉ＋１）、Ｋｂ（ｉ＋１）を決定することとしても良い。

以上のように撮像装置本体外に信号処理機能を有することで、撮像装置内に高性能なマイコンを用いることなく、撮像装置のコスト削減、実装面積の削減が実現できる。また、パーソナルコンピュータによる補正精度の向上も図れる。

なお、実施の形態４についても、実施の形態２で説明したように複数のエリアに分割して処理する構成とすることができる。

実施の形態５．
図１９はこの発明の実施の形態５の撮像装置の構成を示すブロック図である。図１９において図１６と同一の符号は同様の部材を示す。実施の形態５の撮像装置は、実施の形態４の撮像装置と概して同じであるが、実施の形態４の逆階調変換手段１３を用いておらず、実施の形態４の階調変換手段８の代わりに階調変換手段１５が用いられ、実施の形態４の補正量決定手段１２の代わりに補正量決定手段１６が用いられ、輝度分布輝度分布検出手段１４が、階調変換手段１５の出力を受けてそのヒストグラムを生成し、最大レベル値Ｓｇｈ、最小レベル値Ｓｈｂを検出する点が異なる。さらに、階調変換手段１５の変換特性を制御する変換特性制御手段１７を備えている。変換特性制御手段１７も、Ａ／Ｄ変換手段３からの出力にタイミングを合わせて動作するように（図示しない制御手段により）制御されている。実施の形態５では、変換特性制御手段１７と、輝度分布検出手段１４と、補正量決定手段１６とで、補正制御手段７が構成されている。

変換特性制御手段１７は、補正量決定手段１６からの階調変換制御信号Ｋｃと、フレーム単位のタイミングを示す信号を受け、フレーム単位で、階調変換手段１５の階調変換特性を、線形変換と非線形変換の間で、切り換えることができる。

これ以外の点では、実施の形態５は、実施の形態４と同じであり、実施の形態４と略同じ効果が得られる。

図２０（Ａ）〜（Ｇ）は、実施の形態５の撮像装置の動作を示すタイミングチャートである。図２０（Ａ）〜（Ｇ）は、図１８（Ａ）〜（Ｇ）と同様である。但し、以下の点で異なる。

第１のフレーム期間Ｆ１では、補正量決定手段１６は、変換特性制御手段１７に対し、階調変換手段１５が線形変換を行うよう指示する。図２０（Ｇ）には、線形変換を行うときの階調変換特性をＦｔ（ｂ）で表している。階調変換手段１５が線形変換を行うときは、階調変換手段１５の出力は固体撮像素子１の撮像出力に比例した信号となる。
そして、階調変換手段１５の出力Ｓｇ１に基づき輝度分布検出手段１４がヒストグラムの生成し、最大レベル値Ｓｇａ１、最小レベル値Ｓｇｂ１の検出を行い、補正量決定手段１６が輝度分布検出手段１４からの最大レベル値Ｓｇａ１、最小レベル値Ｓｇｂ１に基づき、利得補正量Ｋａ１、オフセット補正量Ｋｂ１を定める。この場合、実施の形態１についての説明の最大レベル値Ｘａ、ＸｂとしてＳｇａ１、Ｓｇｂ１を用いる。

第２のフレームＦ２のみ、或いは第２のフレームＦ２以降の数フレーム（例えば第２のフレームＦ２及び，第３のフレームＦ３）では、上記の第１のフレームのデータに基づいて定められたＫａ１、Ｋｂ１を用いて補正を行い、階調変換手段１５は補正量決定手段１６の出力に基づいて変換特性制御手段１７で選択された非線形の階調変換特性（符号Ｆｔ（ａ）で示す）を用いて、階調変換を行う。

このように、実施の形態５では、あるフレーム（例えばＦ１）のデータに基づいて決定された利得補正量Ｋａ１、オフセット補正量Ｋｂ１を次のフレーム（Ｆ２）のみ或いは次のフレーム以降の数フレーム（例えばＦ２，Ｆ３）の撮像データの補正に用いる。

図２１は、実施の形態５の処理手順を示すフローチャートである。図２１は、概して図１０と同じであるが、ステップＳ１４及びステップＳ１５が付加されている点で異なる。ステップＳ１４では、階調変換特性として線形の階調変換特性Ｆｔ（ｂ）を設定する。ステップＳ１５では、階調変換特性として、非線形の階調変換特性Ｆｔ（ａ）を設定する。ステップＳ１４及びステップＳ１５の処理は、変換制御手段１７により行われる。

この処理を行うことで、実施の形態４の逆階調変換手段１３を設けなくても、静止画撮影を行う際に、あるフレームのデータに基づき、オフセット補正量Ｋｂ１、利得補正量Ｋａ１の決定を行えば、その後、数フレームにわたりそのオフセット補正量Ｋｂ１，利得補正量Ｋａ１を用いて補正を行うことができ、１フレーム毎に利得補正量Ｋａ、オフセット補正量Ｋｂの算出を行う必要が無くなり、撮像に要する時間を短縮することができる。

実施の形態６．
以上の実施の形態１乃至５では、輝度分布検出手段（１１，１４）がヒストグラムを生成し、最小レベル値Ｘａ、最大レベル値Ｘｂを求めているが、被写体自身のコントラスト（例えば、指紋検出の隆線、顔検出の目耳鼻など）の変化は、照明光のコントラスト変化の周波数成分に比べ、高周波になるため、Ａ／Ｄ出力Ｓｃの低周波数成分、高周波数成分の振幅などを検出することにより、１フレーム内の局所的最大レベル値、最小レベル値を求めることができる。

図２２は、そのような輝度分布検出手段１８の一例を示す。図２３（Ａ）及び（Ｂ）は、図２２の輝度分布手段１８の動作を示す波形図である。なお、処理されるデータはデジタル信号であるが、図２３（Ａ）及び（Ｂ）では、デジタル信号の値を結ぶ連続した曲線で表している。
以下、図２２の輝度分布検出手段１８を図１の輝度分布検出手段１１の代わりに用いる場合について説明するが、図２２の輝度分布検出手段１４は、図１６や図１９の輝度分布検出手段１４の代わりに用いることもできる。

図２２に示される輝度分布検出手段１８は、低周波数成分抽出手段１９と、高周波数成分抽出手段２０と、振幅検出手段２１と、減算器２２と、加算器２３とを有する。

低周波数成分抽出手段１９は、Ａ／Ｄ出力（図２３（Ａ）の実線で示される）を受けてその低周波数成分（図２３（Ａ）の点線ＬＳで示される）を抽出する。この低周波数成分は、Ａ／Ｄ出力Ｓｃの局所的平均を表すものと見ることもできる。低周波数成分抽出手段１９としては通常のデジタルＬＰＦのほかにメディアンフィルタ、イプシロンフィルタを用いることもできる。ここで、局所的平均とは、数画素（例えば、水平３画素×垂直３画素）から数百画素程度（例えば水平３０画素×垂直３０画素）の平均を示す。

低周波成分抽出手段１９のカットオフ周波数、周波数応答を調整することで、局所領域の輝度変化や、画面の大局的乃至全体的な輝度変化を検出することができる。照明光による輝度変化などは大局的乃至全体的な輝度変化として検出できる。低周波成分抽出手段１９のカットオフ周波数を調整することで、局所領域のサイズ（面積）を調整し、局所領域サイズに応じた輝度変化を検出することができる。つまり、画面内に夜間の照明灯のように照明光がスポット光として入射した場合や、室内の蛍光灯のように、画面全体に均一照明として入射した場合など、状況に応じた輝度変化を検出することができる。

低周波成分抽出手段１９のカットオフ周波数、周波数応答を数千画素（例えば、水平５０画素×垂直５０画素）から数万画素（例えば、水平２００画素×垂直２００画素）相当の輝度変化が検出できる周波数（画素ピクセル×ピクセルクロック）のように設定する。

高周波数成分抽出手段２０は、Ａ／Ｄ出力Ｓｃ（又は逆階調変換手段）を受けてその高周波数成分（図２３（Ｂ））を抽出する。高周波数成分抽出手段２０としては通常のデジタルＨＰＦを用いることができる。

振幅検出手段２１は、高周波数成分抽出手段２０の出力ＨＳの局所的領域の最大振幅（振動のピークレベル値（ＬＰ）とボトムレベル値（ＬＢ）の差の１／２）ＡＭを検出する。この場合、例えば、低周波数成分のピークレベル値と、ボトムレベル値の差の１／２を最大振幅ＡＭとする。

なお、局所的領域内の最も高い値及び最も低い値をピークレベル値、ボトムレベル値としても良いが、その代わりに、最も高い値からｎ番目（ｎは自然数）の値（ｎ番目に高い値）をピークレベル値とし、最も低い値からｎ番目の値（ｎ番目に低い値）をボトムレベル値としても良い。そのために、例えば、振幅検出手段２１が、図２４に示すように、ヒストグラム生成部２１１と、ピークレベル値検出部２１２と、ボトムレベル値検出部２１３と、演算部２１５とを含み、高周波数成分抽出手段２０で抽出された高周波数成分ＨＳを示すデータのうち上記の局所的領域内のものについてヒストグラムを生成し、図４を参照して説明した方法同様に（図４の説明で最大レベル値及び最小レベル値を求めたのと同様にして）ピークレベル値ＬＰ及びボトムレベル値ＬＢを求め、このようにして求めたピークレベル値ＬＰとボトムレベル値ＬＢの差の１／２を演算部２１５で求め、演算の結果を最大振幅ＡＭとすることとしても良い。なお、上記のうち、ピークレベル値検出部２１２とボトムレベル値検出部２１３とでピーク・ボトムレベル値検出手段２１４が構成されている。

減算器２２は、低周波数成分抽出手段１９の出力ＬＳから振幅検出器２１の出力ＡＭを減算する。その減算結果が最小レベル値Ｘｂとして用いられる。
加算器２３は、低周波数成分抽出手段１９の出力ＬＳと、振幅検出器２１の出力ＡＭを加算する。その加算結果が最大レベル値Ｘａとして用いられる。

補正量決定手段１２は、水平カウンタ、垂直カウンタを備えることで、撮像出力が撮像信号メモリ５を経て補正手段６に供給されるタイミングと、補正制御手段７におけるオフセット補正量Ｋｂ、利得補正量Ｋａの発生のタイミングを対応付けることが可能である。

このように、実施の形態６の輝度分布検出手段１８を用いれば、局所的な平均輝度の変化を補正することが可能となり、領域をあらかじめ特定する必要がなく、領域ごとのコントラスト検出結果の連続性を向上すること（即ち、隣接領域間で、コントラストの検出結果に大きな差が生じないようにすること）が可能となる。

例えば図２５に示すように、画面内に明るい領域Ａ１と暗い領域Ａ２とがある場合には、明るい領域Ａ１の信号は例えば図１１（Ｂ）に符号Ｆａで示すごとくであるが、オフセット補正量Ｋｂにより、低輝度側にシフトして信号Ｆｂのように変換し、或いはそれに加えて利得補正量Ｋａにより振幅を拡大して信号Ｆｃのように変換した上で、階調変換を行うことで、高周波数成分が十分なコントラストで再現される。暗い領域Ａ２の信号は、オフセット補正を行なわずにそのまま（或いは必要に応じて利得補正のみを行い）階調変換が行われ、それにより十分なコントラストで再現される。

図２５に示すように明るい領域Ａ１の一部に暗い領域Ａ２が存在する理由としては、照明が不均一である場合、被写体の一部が影により照明を受けていない場合、或いは汚れている場合などがあるが、そのような場合にも、細かな輝度の変化パターンを確実に再現することができる。

実施の形態６の処理を実施することで、例えば、元画像の撮像結果が図２６（Ａ）及び（Ｂ）に示すようなものであっても、図２６（Ｃ）に示される、補正された画像信号を得ることができる。ここで、図２６（Ａ）及び（Ｂ）は、実施の形態１についての図１２（Ａ）及び（Ｂ）と同様のものである。図２６（Ｃ）は、図２６（Ｂ）の信号に対し本実施の形態による補正を加えることにより得られる信号を示す。
実施の形態６の処理を実施することで、指の端から中央へ変化している暗い色から明るい色へ変化する低周波の輝度成分を除くことが可能となり、指の凹凸のコントラストを図２６（Ｃ）に示すようにはっきりとした信号を出力することができる。
図２６（Ａ）〜（Ｃ）は一例であり、コントラストを強調したい信号に対して、同様の効果を実現することができる。

上記の実施の形態の補正手段、補正制御手段、階調変換手段、及び画像処理手段は、少なくともその一部をソフトウエアにより、即ちプログラムされたコンピュータにより実現することができる。また、以上本発明の実施の形態の補正手段、補正制御手段、階調変換手段、及び画像処理手段について説明したが、これらの装置に関する説明により明らかにした補正、補正制御、階調変換、及び画像処理の方法もまた本発明の一部を成す。

本発明の活用例として、例えば原稿上の文字、人の顔の特徴、血管パターン、指紋パターンなど、被写体の細部における小さな輝度の変化を検出するのに適した階調補正手段を有する撮像装置に応用することができる。

Claims (5)

1. 固体撮像素子と、
   前記固体撮像素子から得られる撮像出力に比例した撮像信号から輝度分布とその最大レベルと最小レベルを検出する輝度分布検出手段と、
   前記撮像信号にオフセット補正及び利得補正を行う補正手段と、
   前記輝度分布検出手段により検出された前記最大レベルと前記最小レベルに基づいて、前記補正手段から出力される補正撮像信号の変化範囲を拡大するように補正量を制御する補正量決定手段と、
   前記補正手段の出力を非線形変換特性で階調変換する階調変換手段とを備え、
   前記階調変換手段の非線形変換特性は、前記階調変換手段の入力が第１の範囲にあるときは、該入力の変化に対する出力の変化が比較的小さく、前記階調変換手段の入力が第２の範囲にあるときは、該入力の変化に対する出力の変化が比較的大きいものであり、
   前記輝度分布検出手段は、
   前記撮像信号の低周波数成分を抽出することで、前記撮像信号の局所的領域の平均を検出する低周波数成分抽出手段と、
   前記撮像信号の高周波数成分を抽出する高周波数成分抽出手段と、
   前記高周波数成分抽出手段で抽出された高周波数成分の前記局所的領域の振幅を検出する振幅検出手段と、
   前記低周波数成分抽出手段で検出された前記局所的領域の平均と前記振幅検出手段で検出された前記局所的領域の振幅とを加算することで、前記最大レベルを求める加算手段と、
   前記低周波数成分抽出手段で検出された前記局所的領域の平均から前記振幅検出手段で検出された前記局所的領域の振幅を減算することで、前記最小レベルを求める減算手段とを有し、
   前記補正量決定手段は、前記最大レベル及び前記最小レベルを、前記階調変換手段の入力が取り得る値の範囲の最大値及び最小値に近い値に変換し、前記最大レベル及び前記最小レベル以外の値を、前記階調変換手段の入力が取り得る値の範囲の最大値及び最小値の間に均等に割り振った値とするためのオフセット補正量及び利得補正量を決定する
   ことを特徴とする撮像装置。
2. 前記階調変換手段の出力を、前記階調変換手段の変換特性とは逆の変換特性で変換する逆階調変換手段を更に有し、
   前記輝度分布検出手段は、前記逆階調変換手段の出力を、前記固体撮像素子の撮像出力に比例した信号として輝度分布の検出を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記輝度分布手段は、１画面の画素数に対する前記固体撮像素子の出力に比例した信号レベルが、第一の範囲に入る画素数が、あらかじめ決められた設定値以上の場合、前記補正量決定手段を動作させる信号を出力し、あらかじめ決められた設定値に満たない場合、前記補正量決定手段を非動作とする信号を出力することを特徴とした請求項１に記載の撮像装置。
4. 前記輝度分布検出手段は、前記撮像出力に比例した信号が画像の色を表す成分を含むものであり、前記撮像出力に比例した信号の輝度成分、又は緑色の成分を表す信号に基づいて前記輝度分布の検出を行うことを特徴とする請求項１に記載の撮像装置。
5. 固体撮像素子の撮像出力に比例した撮像信号から輝度分布とその最大レベルと最小レベルを検出する輝度分布検出ステップと、
   前記撮像信号にオフセット補正及び利得補正を行う補正ステップと、
   前記輝度分布検出ステップで検出された前記最大レベルと前記最小レベルに基づいて、前記補正ステップによる補正の結果得られる補正撮像信号の変化範囲を拡大するように補正量を制御する補正量決定ステップと、
   前記補正撮像信号を非線形変換特性で階調変換する階調変換ステップとを備え、
   前記階調変換ステップの非線形変換特性は、前記階調変換ステップの入力が第１の範囲にあるときは、該入力の変化に対する出力の変化が比較的小さく、前記階調変換ステップの入力が第２の範囲にあるときは、該入力の変化に対する出力の変化が比較的大きいものであり、
   前記輝度分布検出ステップは、
   前記撮像信号の低周波数成分を抽出することで、前記撮像信号の局所的領域の平均を検出する低周波数成分抽出ステップと、
   前記撮像信号の高周波数成分を抽出する高周波数成分抽出ステップと、
   前記高周波数成分抽出ステップで抽出された高周波数成分の前記局所的領域の振幅を検出する振幅検出ステップと、
   前記低周波数成分抽出ステップで検出された前記局所的領域の平均と前記振幅検出ステップで検出された前記局所的領域の振幅とを加算することで、前記最大レベルを求める加算ステップと、
   前記低周波数成分抽出ステップで検出された前記局所的領域の平均から前記振幅検出ステップで検出された前記局所的領域の振幅を減算することで、前記最小レベルを求める減算ステップとを有し、
   前記補正量決定ステップは、前記最大レベル及び前記最小レベルを、前記階調変換ステップの入力が取り得る値の範囲の最大値及び最小値に近い値に変換し、前記最大レベル及び前記最小レベル以外の値を、前記階調変換ステップの入力が取り得る値の範囲の最大値及び最小値の間に均等に割り振った値とするためのオフセット補正量及び利得補正量を決定する
   ことを特徴とする撮像方法。

Images