JP4129019B2 - シェーディング補正方法 - Google Patents

Description

この発明は、電子スチルカメラやビデオカメラ等の光学系のレンズを有し、映像信号を得るための画像入力装置のレンズのシェーディング特性を補正するシェーディング補正方法に関する。

従来、この種の画像入力装置は、例えば、静止画像をメモリカードなどの蓄積メディアに記録する電子スチルカメラがある。

この電子スチルカメラは、図６に示すように、シェーディング補正係数が格納された光学レンズ６０１と、光電変換を行い撮像信号を得るための撮像素子としてのＣＣＤ６０２と、相関二重サンプリングや信号増幅などを行うアナログ信号処理６０３と、撮像信号をデジタル信号に変換するためのＡ／Ｄ変換器６０４と、ＣＣＤ６０２から得られた撮像信号を各色信号ごとに同時化を行い映像信号を得るためのデジタル信号処理６０５と、ＣＣＤ６０２を駆動するためのパルスを発生するドライブ回路６０６と、光学レンズ６０１から読み出されたシェーディング補正係数をＡ／Ｄ変換器６０４の基準電圧に変換するための基準電圧演算回路６０７と、基準電圧演算回路６０７から出力されたデジタル信号をアナログ量に変換しＡ／Ｄ変換器６０４の基準電圧として与えるためのＤ／Ａ変換器６０８と、デジタル信号処理でえられた映像信号を格納するためのメモリカード６０９を備え、ドライブ回路６０６から発生されるアドレス信号によって光学レンズ６０１に格納されたシェーディング補正係数を読み出し、基準電圧演算回路６０７にてＡ／Ｄ変換器６０４に与える基準電圧を計算し、アナログ量としてＡ／Ｄ変換器６０４に基準電圧を与えシェーディング補正を行っていた。

すなわち、Ａ／Ｄ変換器６０４に入力される撮像信号の入力ダイナミックレンジを変化させることでシェーディング補正を行っていた（例えば、特許文献１参照）。
特開平６−１９７２６６号公報

しかしながら、このような画像入力装置では、光学レンズ６０１を通して入力される光量が、レンズの中心部とその中心から距離が離れるにつれて光量が暗くなるというシェーディング特性を補正するのに、ＣＣＤ６０２から得られた撮像信号をデジタル信号に変換するＡ／Ｄ変換器６０４の基準電圧をアナログ量として変化させ、入力ダイナミックレンジを変化させることでシェーディング補正を行う構成であるため、Ｄ／Ａ変換器６０８から出力される基準電圧が安定し、Ａ／Ｄ変換器６０４が安定して動作し、適正なデジタル変換を行うための時間が必要で、ＣＣＤ６０２の高画素化にともない高速にデジタル変換する画像入力装置では、高速かつ安定したデジタル変換が出来ず、精度の高いシェーディング補正を実現することが出来ない。

また、Ａ／Ｄ変換器６０４の基準電圧をアナログ量で変化させるため、Ｄ／Ａ変換器６０８のばらつきによって基準電圧の誤差が発生するため、画像入力装置ごとのシェーディング補正に違いが生じるという問題があった。

また、撮像素子に配置された異なる色フィルタに対応した撮像信号に一定のシェーディング補正データを乗じてしまうと、周辺に隣接する異なる色フィルタに対応した撮像信号との相関関係がくずれてしまい、撮像信号に色変調を行った状態になり、擬色を発生してしまうという問題があった。

この発明は、このような問題を解決するためになされたもので、高速かつ正確なシェーディング補正を行うことができる画像入力装置のシェーディング補正方法を提供するものである。

また、この発明は、ＣＣＤから出力される撮像信号において、隣り合う異なる色フィルタに対応したシェーディング補正データを撮像信号に乗ずることで、擬色の発生を低減することが出来るシェーディング補正方法を提供するものである。

本発明のシェーディング補正方法は、各々に対応する色フィルタが配置された複数の光電変換素子の光学レンズ上での位置に対応したシェーディング補正データと、撮像信号をデジタル値に変換したものとを乗算することで、レンズのシェーディング特性を補正するシェーディング補正方法であって、複数の光電変換素子のうち第１の光電変換素子の光学レンズ上での位置に対応する第１のシェーディング補正データを、第１の光電変換素子上に配置された色フィルタの第１の色情報に対応する係数で補正する工程（ａ）と、第１のシェーディング補正データを、第１の光電変換素子に隣接する第２の光電変換素子上に配置された色フィルタの第２の色情報に対応する係数で補正する工程（ｂ）と、第１の光電変換素子から得られる撮像信号をデジタル値に変換したものに、工程（ａ）で得られた補正後のシェーディング補正データを乗算演算する工程（ｃ）と、第２の光電変換素子から得られる撮像信号をデジタル値に変換したものに、工程（ｂ）で得られた補正後のシェーディング補正データを乗算演算する工程（ｄ）と、第１の光電変換素子が配置された位置に対して、工程（ｃ）で得られた乗算演算後の第１の撮像データと工程（ｄ）で得られた乗算演算後の第２の撮像データとを用いて色情報を同時化する工程（ｅ）とを備えたことを特徴とするものである。

そのように構成することで、撮像素子に配置された異なる色フィルタに対応した撮像信号に乗算するシェーディング補正データに、複数の色フィルタの色情報に対応した係数で予め補正をかけることで、擬色の発生を抑制し、良好なシェーディング補正が可能となる。

上記本発明のシェーディング補正方法においては、第１のシェーディング補正データを、第１の光電変換素子に隣接し、第２の光電変換素子と異なる第３の光電変換素子上に配置された色フィルタの第３の色情報に対応する係数で補正をする工程（ｆ）と、第３の光電変換素子から得られる撮像信号をデジタル値に変換したものに、工程（ｆ）で得られた補正後のシェーディング補正データを乗算演算する工程（ｇ）とをさらに備え、工程（ｅ）において、第１の撮像データと第２の撮像データに加えて、工程（ｇ）で得られた乗算演算後の第３の撮像データを用いて色情報を同時化することを特徴としていてもよい。

上記構成において、第３の色情報は、第１の色情報および第２の色情報と異なるものとしてもよい。上記の第１の色情報、第２の色情報及び第３の色情報は、例えば赤色、緑色、青色のいずれか１つに対応するものである。また、上記構成において、第１の色情報、第２の色情報及び第３の色情報は、マゼンタ、黄色、シアン、白のいずれかに対応するものであってもよい。

上記構成において、第１のシェーディング補正データを予め記憶している記憶手段ＲＯＭから読み出す工程（ｈ）を備え、読み出された第１のシェーディング補正データは第１の色情報及び第２の色情報に対応する係数で補正するようにしてもよい。

また、上記構成において、第１のシェーディング補正データを光学レンズからの制御信号に応じて演算手段により算出する工程（ｉ）を備え、算出された第１のシェーディング補正データは第１の色情報及び第２の色情報に対応する係数で補正するようにしてもよい。

上記構成において、第１のシェーディング補正データの算出は、演算手段に入力されたプログラムにより行い、プログラムは入れ替え可能であってもよい。

本発明のシェーディング補正方法によれば、撮像素子に配置された異なる色フィルタに対応した撮像信号に乗算するシェーディング補正データに、複数の色フィルタの色情報に対応した係数で予め補正をかけることで、擬色の発生を抑制し、良好なシェーディング補正が可能となる。

以下、この発明の実施の形態について図面を用いて説明する。

図１に示すように、この発明の第１の実施の形態の画像入力装置は、絞り値、ズーム位置、レンズの種類のいずれか一つもしくは複数の制御信号を出力することが出来る光学レンズ１０１によって被写体像を、ＣＣＤ１０２に結像する。ＣＣＤ１０２は、光電変換を行う光電変換素子を２次元に配置し光電変換素子上に異なる色の色フィルタを配置した単板式の撮像素子であり、ＣＣＤ駆動パルス発生器１０５にて発生する駆動信号によってＣＣＤ１０２の撮像信号を読み出す。その撮像信号をアナログ信号処理回路１０３で相関二重サンプリングや信号増幅を行った後、信号変換手段であるＡ／Ｄ変換器１０４でアナログ信号処理回路１０３から出力された撮像信号をデジタル信号に変換し、シェーディング補正データと乗算演算を演算手段である乗算器１１１にて行う。シェーディング補正を施した撮像信号を、異なる色信号ごとに同時化し映像信号を得るためのデジタル信号処理回路１１２へ入力し、映像信号出力１１３から映像信号を得る。

シェーディング補正データについて、画面の位置に対応したシェーディング補正データを読み出すために、ＣＣＤ駆動パルス発生器１０５から出力される駆動パルスに同期したアドレスをアドレス発生器１０６にて発生し、絞り値、ズーム位置、レンズの種類に対応したシェーディング補正データを、あらかじめ格納した記録手段である、ＲＯＭ１０７、ＲＯＭ１０８、ＲＯＭ１０９から読み出す。光学レンズ１０１からの制御信号によって最適なシェーディング補正データを選択するよう、ＲＯＭデータ切換器１１０にて切り換えて乗算器１１１へ入力し、デジタル信号とした撮像信号と乗算演算することでシェーディング補正を施す。シェーディング補正データを格納するＲＯＭ１０７、ＲＯＭ１０８、ＲＯＭ１０９は、光学レンズ１０１から出力される制御信号よって選択できる手段であればＲＯＭでなくても良い。

ここで、シェーディング補正は、図５に示すように光学レンズ１０１の中心部付近の撮像信号レベルに対して、中心部から距離が離れるにしたがって信号レベルが低下するというシェーディング特性を補正するもので、ＣＣＤ１０２から読み出されたシェーディング補正前のＣＣＤ信号５０１に、予めＲＯＭに格納して置いたシェーディング補正データ５０２を、乗算器１１１にて乗算演算し、シェーディング補正後のＣＣＤ信号５０３のように、あたかも平行光が撮像素子に入光したように補正することである。

以上のように、この発明の第１の実施の形態の画像入力装置は、光学レンズ１０１から出力される絞り値、ズーム位置、レンズの種類の制御信号をもとに、シェーディング補正データの種類を選択し、ＣＣＤ駆動パルスに同期したアドレスによって画面の位置を検出し、乗算器１１１にて撮像信号と演算することによってシェーディング補正を行うことが出来るため、素子のばらつきや経時変化のない、高速かつ安定した正確なシェーディング補正を行うことが出来る。

図２は、この発明の第２の実施の形態の画像入力装置を示し、これは上記第１の実施の形態と比較して、そのＲＯＭ１０７〜１０９およびＲＯＭデータ切換器１１０に代えて、絞り値、ズーム位置、レンズの種類のいずれか一つもしくは複数の条件に対応したシェーディング補正データを格納するための書き換え可能な記録手段であるＲＡＭ２０８と、撮像光学系のシェーディング補正データを演算により求めることができ光学レンズ２０１から得られた制御信号によって撮像光学系に適したシェーディング補正データをＲＡＭ２０８に書き込むＣＰＵ２０６と、を設けた点が相違している。ＣＰＵ２０６は、光学レンズ２０１からの制御信号に応じてシェーディング補正データを算出するプログラムを有し、さらに外部からプログラムを入力できるプログラム入力２１２を有し、被写体のシーンに応じたプログラムを使用することができ、シェーディング補正データを算出するプログラムを自由に入れ替えることが可能になっている。

この画像入力装置のシェーディング補正は、光学レンズの絞り値、ズーム位置、レンズの種類のいずれか一つもしくは複数の条件に対応したシェーディング補正データをＲＡＭ２０８に格納し、Ａ／Ｄ変換器２０４によりデジタル信号に変換した撮像信号をＲＡＭ２０８に記録されたシェーディング補正データと乗算する際に、撮像光学系のシェーディング補正データを演算により求めることができるＣＰＵ２０６により光学レンズ２０１から得られた制御信号によって撮像光学系に適したシェーディング補正データをＲＡＭ２０８に書き込ませるものである。

なお、図中、２０２はＣＣＤ、２０３はアナログ信号処理回路、２０４はＡ／Ｄ変換器、２０５はＣＣＤ駆動パルス発生器、２０７はアドレス発生器、２０９は乗算器、２１０はデジタル信号処理回路、２１１は映像信号であり、これらは第１の実施の形態と同様である。

第２の実施の形態によれば、ＣＰＵ２０６によりシェーディング補正データを計算し、書き換え可能な記録手段、例えばＲＡＭ２０８に書き込み、ＣＣＤ２０２から読み出される撮像信号に応じてシェーディング補正データを読み出し、撮像信号をＡ／Ｄ変換した後のデジタル信号で乗算してシェーディング補正を行うことで、高速かつ正確なシェーディング補正を行うことができる。さらにＣＰＵ２０６で演算するプログラムを外部から変更できる構成にすることで、被写体のシーンに応じた、例えば、逆光補正や照度に応じた撮影などのシェーディング補正を可能にし、さらに新しい種類の光学レンズを採用した場合でも、シェーディング補正データを算出するプログラムを更新できるのでフレキシブルな対応が可能になる。

なお、上記の第１の実施の形態および第２の実施の形態では、ＣＣＤ１０２、２０２から出力された撮像信号をデジタル信号に変換し、乗算演算を行うことによりシェーディング補正を行うとしたが、乗算器１１１、２０９は加算機で構成しても構わない。また、ＣＣＤ１０２、２０２から出力された撮像信号は、例えば、同時化するような信号処理が行われた後でシェーディング補正を行っても同様な効果を得ることが出来る。

図３および図４を用いて、第１の実施の形態および第２の実施の形態に適用されるシェーディング補正方法の説明を行う。図３は、撮像素子に対応するＣＣＤ１０２（または２０２）の概要説明図で、光電変換素子上に異なる色フィルタが配置され、３０１は赤色のフィルタが配置された光電変換素子、３０２は緑色のフィルタが配置された光電変換素子、３０３は青色のフィルタが配置された光電変換素子３０３であり、光電変換された撮像信号は垂直ＣＣＤ３０４を転送し、水平ＣＣＤ３０５に転送され、さらに高速に水平ＣＣＤで転送され出力アンプ３０６で増幅され、ＣＣＤ出力３０７より撮像信号を出力する。

図４に示されるように、ＣＣＤ１０２から出力される撮像信号４０１は、１ラインごとＲ−Ｇライン４０２、Ｇ−Ｂライン４０３といった異なる色信号の点順次信号として出力される。ＣＣＤ１０２から出力された信号をビデオ等で使用できる映像信号に変換するためには、各色情報を同時化する必要がある。例えば、緑色（第１の色情報）のフィルタが配置された撮像信号の位置には、上下、左右、斜めに隣接する異なる色のフィルタが配置された撮像信号をデジタル値に変換したものを用いて信号補間をかけ、青色（第２の色情報）、赤色（第３の色情報）に対応する色信号を生成する。この際、赤色、青色の色信号の比率が本来緑色の色フィルタに入光している赤色、青色の色信号の比率と同じでなければ擬色が発生してしまう。そこでシェーディング補正データは、緑色（第１の色情報）のフィルタが配置された撮像信号の位置に対して、色フィルタの色情報ごとに異なる係数で補正をかけることにより予めシェーディング補正データを調整して、例えば第１の実施の形態または第２の実施の形態に示す画像入力装置でシェーディング補正を行う。このことにより、例えば、緑色の色情報に対応した撮像信号しか無い場所に周辺の赤色、青色の色情報に対応した撮像信号を使って、赤色、青色、緑色の色情報を同時化させる場合でも擬色の発生しないシェーディング補正を施すことが出来る。

すなわち、このシェーディング補正方法は、複数の光電変換素子のうち特定の光電変換素子が配置された位置に対応するシェーディング補正データを読み出し、または算出する工程と、色信号を同時化する際に擬色が発生しないよう複数の色フィルタの色情報に対応した係数で予め補正をかけることでシェーディング補正データを調整する工程と、撮像信号にシェーディング補正データを乗算する工程とを含んでいる。

このように、撮像素子に配置された異なる色フィルタに対応した撮像信号をデジタル値に変換したものに乗算するシェーディング補正データに、複数の色フィルタの色情報に対応した係数で予め補正をかけることで、擬色の発生を抑制し、良好なシェーディング補正が可能になる。

なお、上記の実施の形態では、ＣＣＤ上に配置された色フィルタは、赤色、緑色、青色としたが、マゼンタ、黄色、シアン、白といった色フィルタでも構わない。

本発明のシェーディング補正方法によれば、撮像素子に配置された異なる色フィルタに対応した撮像信号に乗算するシェーディング補正データに、複数の色フィルタの色情報に対応した係数で予め補正をかけることで、擬色の発生を抑制し、良好なシェーディング補正が可能となるので、電子スチルカメラやビデオカメラ等の光学系のレンズを有し、映像信号を得るための画像入力装置のレンズのシェーディング特性を補正するシェーディング補正方法として有用である。

第１の実施の形態の画像入力装置を示すブロック図である。 第２の実施の形態の画像入力装置を示すブロック図である。 本発明のシェーディング補正方法を説明するためのＣＣＤの概要説明図である。 本発明のシェーディング補正方法を示すための信号波形図である。 第１の実施の形態および第２の実施の形態の画像入力装置のシェーディング補正を説明する信号波形図である。 従来例の画像入力装置を示すブロック図である。

符号の説明

１０１ 光学レンズ
１０２ ＣＣＤ
１０３ アナログ信号処理
１０４ Ａ／Ｄ変換器
１０５ ＣＣＤ駆動パルス発生器
１０６ アドレス発生器
１０７、１０８、１０９ ＲＯＭ
１１０ ＲＯＭデータ切換器
１１１ 乗算器
１１２ デジタル信号器
１１３ 映像信号出力
２０１ 光学レンズ
２０２ ＣＣＤ
２０３ アナログ信号処理
２０４ Ａ／Ｄ変換器
２０５ ＣＣＤ駆動パルス発生器
２０６ ＣＰＵ
２０７ アドレス発生器
２０８ ＲＡＭ
２０９ 乗算器
２１０ デジタル信号器
２１１ 映像信号出力
２１２ プログラム入力
３０１ 赤色フィルタを配置した光電変換素子
３０２ 緑色フィルタを配置した光電変換素子
３０３ 青色フィルタを配置した光電変換素子
３０４ 垂直ＣＣＤ
３０５ 水平ＣＣＤ
３０６ 出力アンプ
３０７ ＣＣＤ出力
４０１ 撮像信号
４０２ Ｒ−Ｇライン
４０３ Ｇ−Ｂライン
５０１ シェーディング補正前のＣＣＤ信号
５０２ シェーディング補正データ
５０３ シェーディング補正後のＣＣＤ信号
６０１ 光学レンズ
６０２ ＣＣＤ
６０３ アナログ信号処理
６０４ Ａ／Ｄ変換器
６０５ デジタル信号処理
６０６ ドライブ回路
６０７ 基準電圧演算回路
６０８ Ｄ／Ａ変換器
６０９ メモリカード

Claims (8)

1. 各々に対応する色フィルタが配置された複数の光電変換素子の光学レンズ上での位置に対応したシェーディング補正データと、撮像信号をデジタル値に変換したものとを乗算することで、レンズのシェーディング特性を補正するシェーディング補正方法であって、
   前記複数の光電変換素子のうち第１の光電変換素子の前記光学レンズ上での位置に対応する第１のシェーディング補正データを、前記第１の光電変換素子上に配置された色フィルタの第１の色情報に対応する係数で補正する工程（ａ）と、
   前記第１のシェーディング補正データを、前記第１の光電変換素子に隣接する第２の光電変換素子上に配置された色フィルタの第２の色情報に対応する係数で補正する工程（ｂ）と、
   前記第１の光電変換素子から得られる撮像信号をデジタル値に変換したものに、前記工程（ａ）で得られた補正後のシェーディング補正データを乗算演算する工程（ｃ）と、
   前記第２の光電変換素子から得られる撮像信号をデジタル値に変換したものに、前記工程（ｂ）で得られた補正後のシェーディング補正データを乗算演算する工程（ｄ）と、
   前記第１の光電変換素子が配置された位置に対して、前記工程（ｃ）で得られた乗算演算後の第１の撮像データと前記工程（ｄ）で得られた乗算演算後の第２の撮像データとを用いて色情報を同時化する工程（ｅ）と
   を備えたことを特徴とするシェーディング補正方法。
2. 前記第１のシェーディング補正データを、前記第１の光電変換素子に隣接し、前記第２の光電変換素子と異なる第３の光電変換素子上に配置された色フィルタの第３の色情報に対応する係数で補正をする工程（ｆ）と、
   前記第３の光電変換素子から得られる撮像信号をデジタル値に変換したものに、前記工程（ｆ）で得られた補正後のシェーディング補正データを乗算演算する工程（ｇ）とをさらに備え、
   前記工程（ｅ）において、前記第１の撮像データと前記第２の撮像データに加えて、前記工程（ｇ）で得られた乗算演算後の第３の撮像データを用いて色情報を同時化することを特徴とする請求項１に記載のシェーディング補正方法。
3. 前記第３の色情報は、前記第１の色情報および前記第２の色情報と異なるものであることを特徴とする請求項２記載のシェーディング補正方法。
4. 前記第１の色情報、前記第２の色情報及び前記第３の色情報は、赤色、緑色、青色のいずれか１つに対応するものであることを特徴とする請求項３記載のシェーディング補正方法。
5. 前記第１の色情報、前記第２の色情報及び前記第３の色情報は、マゼンタ、黄色、シアン、白のいずれかに対応するものであることを特徴とする請求項３記載のシェーディング補正方法。
6. 前記第１のシェーディング補正データを予め記憶している記憶手段ＲＯＭから読み出す工程（ｈ）を備え、読み出された前記第１のシェーディング補正データは前記第１の色情報及び前記第２の色情報に対応する係数で補正することを特徴とする請求項１記載のシェーディング補正方法。
7. 前記第１のシェーディング補正データを前記光学レンズからの制御信号に応じて演算手段により算出する工程（ｉ）を備え、算出された前記第１のシェーディング補正データは前記第１の色情報及び前記第２の色情報に対応する係数で補正することを特徴とする請求項１記載のシェーディング補正方法。
8. 前記第１のシェーディング補正データの算出は、前記演算手段に入力されたプログラムにより行い、前記プログラムは入れ替え可能であることを特徴とする請求項７記載のシェーディング補正方法。

Images