JP4571038B2 - 画像補正装置 - Google Patents

Description

この発明は、画像に生じるシェーディングを補正する画像補正装置に関するものである。

レンズと撮像素子からなる撮像装置においては、周辺光量の低下により、画像の中央部に比べ周辺部が暗くなるシェーディングという現象が知られている。これは、周辺部に行くほど撮像部に入射する光の入射角が大きくなり、単位面積当たりの光量が低下することや、撮像素子にＣＣＤやＣＭＯＳなどを使用した場合、集光効率を上げるために用いられている単位画素当たりのマイクロレンズへの入射角が大きくなることによる、開口部でのケラレが原因である。
このシェーディングを補正するために、一般には、光軸中心からの距離に応じて求めた補正係数を画素値に乗じたり、補正係数からゲインを調整したりなどして、電気的に補正することが行われている。また、シェーディング補正方法の例として、光軸中心からの距離に応じて、ＲＯＭに記憶された補正データを読み出し、ゲイン調整を行い、補正を行う方法がある（例えば、特許文献１参照）。また、光軸中心からの距離に応じて、近似関数より補正データを算出する方法がある（例えば、特許文献２参照）。この近似関数は複数の区間に分割され、各区間においてそれぞれ２次関数で表されている。

ところで、近年、携帯電話へのカメラの搭載が一般的となった。また、デジタルカメラにおいても、普及価格帯での一眼レフカメラの登場が見られるようになり、小型でスタイリッシュなカメラとの２極化が進んでいる。これらの機器には、高機能化と共に、携帯性の向上という観点から、コンパクト化という要求がある。このような状況におけるカメラにおいては、レンズ特性が、従来の同心円上に周辺光量が低下する場合だけではなく、楕円状に劣化するシェーディング（図２を参照）が見られる。また、高画素化のために、１画素当たりの面積が小さくなるため、撮像サイズの小さい画像を撮像部から出力する際に、撮像回路で垂直画素加算や水平画素加算を行い、感度を向上させる処理が行われている。その画素加算の際に、回路素子のばらつきにより、一様な対象を撮影した際に、画像信号が垂直や水平あるいは傾斜して変化する片シェーディング（図４を参照）が発生する。

特開２０００−４１１７９号公報 特開２００４−２６６７５０号公報

従来のシェーディングの補正方法は、同心円に周辺光量が低下するシェーディングを仮定した場合の補正であり、携帯電話へ搭載したカメラや小型のデジタルカメラで近年起こっているレンズに起因して楕円状に周辺光量が低下するシェーディング（以下これを楕円シェーディングとする）や撮像回路に起因する片シェーディングに対しては対応できないという問題がある。

この発明は、上記問題点を解決するためになされたもので、楕円シェーディングや片シェーディングを補正可能にする画像補正装置を得ることを目的とする。

この発明に係る画像補正装置は、レンズを介して撮像素子に結像された画像を画像信号として取り出し再生した際に発生する画像の楕円シェーディングを補正する画像補正装置において、水平同期信号および垂直同期信号をそれぞれカウントして画像を構成する画素の座標位置を算出するそれぞれの画素カウント手段と、算出された画素の座標位置を、楕円シェーディングのなす形状の長軸と短軸の長さが等しくなるように拡大、縮小させる座標変換手段と、変換された各座標位置に対する原点からの距離を、シェーディングのレベルを推定するための評価量として算出する評価量算出手段と、評価量に係る複数の設定値とこれらの設定値に対応する補正係数を表した補正係数算出テーブルを用いて、評価量算出手段で算出された各評価量の値に対応したシェーディングに対する補正係数を算出する補正係数算出手段と、算出された補正係数を画像信号に乗じて出力する画像信号補正手段とを備えたものである。

この発明によれば、レンズに起因して楕円状に周辺光量が低下する楕円シェーディング特性が現れる画像信号を補正できる効果がある。

実施の形態１．
図１はこの発明の実施の形態１および実施の形態２による画像補正装置の機能構成を示すブロック図である。図において、画像補正装置は、水平画素カウント部１、垂直画素カウント部２、座標変換部３、評価量算出部４、補正係数算出部５、補正係数算出テーブル６、画像信号補正部７から構成されている。
水平画素カウント部１と垂直画素カウント部２（画素カウント手段）は、水平同期信号および垂直同期信号をそれぞれカウントして画像を構成する画素の座標位置を算出する手段である。座標変換部３は、算出された画素の座標位置を、画像に発生するシェーディング特性の形態に対応した座標に変換する手段である。なお、ここでいうシェーディング特性の形態とは、楕円シェーディングあるいは片シェーディングのことである。評価量算出部４は、変換された各座標に対する原点からの距離を、シェーディングのレベルを推定するための評価量としてそれぞれ算出する手段である。補正係数算出テーブル６は、後述するが、評価量の複数の設定値とこれらの設定値に対応する補正係数を予め表した格納データである。補正係数算出部５は、補正係数算出テーブル６を用いて、評価量算出部４で算出された各評価量の値に対応した補正係数を算出する手段である。画像信号補正部７は、評価量算出部４で算出された補正係数を画像信号に乗じて出力する手段である。

次に、シェーディング特性が楕円シェーディングである場合における実施の形態１の補正動作について説明する。
周知のように、撮像装置では、レンズを介して撮像素子に結像された画像を読み取り画像信号を生成するために用いる水平同期信号と垂直同期信号を発生する同期信号発生器（図示せず）を備えている。水平画素カウント部１では、この同期信号発生器で発生した水平同期信号をカウントすることにより、画像を構成する画素の水平座標位置Ｘをそれぞれ算出する。一方、垂直画素カウント部２では、垂直同期信号をカウントすることにより、画像を構成する画素の垂直座標位置Ｙをそれぞれ算出する。
座標変換部３では、まず、算出された各座標位置（Ｘ，Ｙ）を、画像座標の原点がレンズの光軸中心座標（ｘ_c，ｙ_c）となるように水平、垂直方向に平行移動させる。この平行移動は、元の画像座標の原点がレンズの光軸中心と近似した位置にある場合には省略してもよい。次に、画像のシェーディング特性が図２に示すような傾いた楕円状とした場合、楕円の長軸方向と短軸方向が、水平、垂直方向と一致するようにθ度回転させる。さらに、楕円の長軸と短軸の長さが等しくなるように、長軸方向をα倍、短軸方向をβ倍に拡大、縮小する。以上の処理をまとめると、変換後の座標（Ｘ’，Ｙ’）は式（１）で表される。

楕円の長軸と短軸の長さの倍率α、βは、レンズのズーム位置、フォーカス位置、絞り量に応じて変更される。なお、楕円状シェーディングが傾いていない状態の場合には、回転角θ度は近似的にも０度である。すなわち、回転させる必要がないことになる。また、楕円の長軸方向を垂直方向に、短軸方向を水平方向となるように回転させてもよい。

評価量算出部４では、式（２）に示すように、変換後の座標位置（Ｘ’，Ｙ’）に対する原点からの距離を、その座標位置におけるシェーディングのレベルを推定するための評価量Ｐａとして算出する。

次に、補正係数算出部５では、予め設けられた補正係数算出テーブル６を用いて評価量Ｐａの値に対応した、シェーディングに対する補正係数を算出する。補正係数算出テーブル６には、図３に示すように、基準点間隔Ｔ、テーブル数Ｎとし、テーブル番号ｉ（ｉ＝０，１，…，Ｎ−１）の時の補正係数をｋａ_iとして、評価量に係る複数の設定値（距離）ｐａとこれらの設定値に対応する補正係数が設定されている。ここで、評価量算出部４で算出された評価量Ｐａが、式（３）を満たす時（ｎは整数≦Ｎ−２）の補正係数Ｋａは、式（４）を用いて線形補間により求められる。
ｎＴ≦Ｐａ＜（ｎ＋１）Ｔ （３）

なお、ここでは評価量Ｐａの両端２点から線形補間により補正係数を算出しているが、両端の４点を通る多項式を算出し、多項式から、評価量Ｐａにおける補正係数を求めてもよい。

画像信号補正部７では、補正係数算出部５により得られた補正係数Ｋａを画像信号Ｉに乗算する。補正後の信号Ｏは、式（５）のように表される。このようにして、楕円状に周辺光量が低下するシェーディングは補正される。
Ｏ＝Ｉ×Ｋａ （５）

以上のように、この実施の形態１によれば、水平同期信号および垂直同期信号から画像を構成する画素の座標位置を算出し、算出された画素の座標位置を、画像座標の原点がレンズの光軸中心となるように水平、垂直方向に平行移動させ、シェーディング特性である楕円の長軸と短軸が水平、垂直方向と一致するように回転させ、かつ楕円の長軸と短軸の長さが等しくなるように拡大、縮小させて変換座標位置を求め、変換された各座標位置に対する原点からの距離を、シェーディングレベルを推定するための評価量としてそれぞれ算出し、次に、評価量に係る複数の設定値とこれらの設定値に対応する補正係数を表した補正係数算出テーブルを用いて、上記算出された各評価量の値に対応したシェーディングに対する補正係数を算出し、算出された補正係数を画像信号に乗じるようにしたので、レンズに起因する傾いた楕円状シェーディングに対する画像の補正を行うことができる。また、座標変換部３における倍率は、レンズのズーム位置、フォーカス位置、絞り量に応じて変更すればよく、補正係数算出テーブル６を変更することなく、画像の補正を行うことができる。

実施の形態２．
この実施の形態２では、シェーディング特性が図４で示されるような片シェーディングである場合の補正について説明する。図１の構成において、この実施の形態２の座標変換部３は、上記実施の形態１の場合とは、次のように動作が異なっている。
座標変換部３では、水平画素カウント部１と垂直画素カウント部２で算出された各画素の座標位置（Ｘ，Ｙ）を、図４の片シェーディング特性の変化する方向が垂直方向となるようにθ度回転させ、さらに、垂直方向をβ倍に拡大する。この処理は、上記式（１）においてα＝０，ｘ_c＝０，ｙ_c＝０とした式（６）で表される。

なお、図４と異なり、片シェーディング特性の変化する方向が垂直または水平方向であった場合には、座標位置（Ｘ，Ｙ）の回転を行う必要はなくなる。

評価量算出部４では、変換後の各座標位置に対する画像座標の水平軸からの距離を、シェーディングのレベルを推定するための評価量として算出する。この処理は、実施の形態１と同じ式（２）を用いて評価量Ｐａを算出することになるから、変換後の座標位置（０，Ｙ’）に対する評価量Ｐａは、Ｐａ＝Ｙ’となる。次に、補正係数算出部５では、この評価量Ｐａに対して、実施の形態１と同様に補正係数算出テーブル６を用いて、式（３）と式（４）から補正係数Ｋａを算出する。画像信号補正部７では、補正係数Ｋａを画像信号Ｉに乗算し、片シェーディングを補正する。
なお、上記例では、座標変換部３は、シェーディング特性の変化する方向が垂直方向となるように座標位置を回転させたが、代わりに水平方向となるように回転させてもよい。その場合、評価量Ｐａは、変換後の各座標位置（Ｘ’，０）に対する画像座標の垂直軸からの距離となる。

以上のように、この実施の形態２によれば、画素カウント手段で算出された画素の座標位置を、片シェーディング特性の変化する方向が垂直または水平方向となるように回転させ、かつ当該垂直または水平方向に縮小または拡大することで変換した座標位置を求め、この変換後の座標位置に対する画像座標の水平軸または垂直軸からの距離を、シェーディングのレベルを推定するための評価量として算出し、補正係数算出テーブル６を用いて補正係数を算出しているので、撮像回路に起因する、水平、垂直の片シェーディングばかりでなく、傾いた片シェーディングに対しても画像の補正を行うことができる。また、座標変換部３における倍率βはレンズのズーム位置、フォーカス位置、絞り量に応じて変更すればよいので、補正係数算出テーブル６を変更することなく、画像の補正を行うことができる。

実施の形態３．
この実施の形態３では、実施の形態２と同様に、シェーディング特性が図４で示されるような片シェーディングを補正する場合について説明する。
図５はこの発明の実施の形態３による画像補正装置の機能構成を示すブロック図である。図において、画像補正装置は、水平画素カウント部１、垂直画素カウント部２、評価量算出部４１、補正係数算出部５１、補正係数算出テーブル８、画像信号補正部７から構成されている。
この実施の形態３の評価量算出部４１は、水平画素カウント部１と垂直画素カウント部２（画素カウント手段）で算出された画素の座標位置の片シェーディング特性の方向を表す方向ベクトル量を、シェーディングのレベルを推定する評価量として算出する手段である。補正係数算出テーブル８は、上記実施の形態１の補正係数算出テーブル６とは異なり、後述するように、シェーディングの方向ベクトル量に係る補正係数について設定している。したがって、評価量を算出する評価量算出部４１は、上記実施の形態１の評価量算出部４の場合とは、次のように動作が異なっている。

評価量算出部４１では、図４におけるシェーディング特性の変化する方向のベクトルを（ｕ，ｖ）とし、オフセット量Ｃとして、式（７）の線形和で示すように、水平画素カウント部１と垂直画素カウント部２で算出された各画素の座標位置（Ｘ，Ｙ）のシェーディングの方向ベクトル量を、その座標位置におけるシェーディングレベルを推定する評価量Ｐｂとして算出する。
Ｐｂ＝ｕＸ＋ｖＹ＋Ｃ （７）
なお、この場合の方向ベクトル（ｕ，ｖ）は、シェーディング特性の発生状態に合わせて、レンズのズーム位置、フォーカス位置、絞り量に応じて大きさが変更される。

一方、補正係数算出テーブル８には、図６のように、基準点間隔Ｓ、テーブル数Ｍ、テーブル番号ｉの時の補正係数をｋｂ_iとして、評価量の複数の設定値（方向ベクトル量）ｐｂとこれらの設定値に対応する補正係数ｋｂが設定されている。
補正係数算出部５１では、補正係数算出テーブル８を用いて、評価量算出部４１で算出された評価量Ｐｂの値に対応したシェーディングの補正係数Ｋｂを算出する。具体的には、評価量Ｐｂが、式（８）を満たす時（ｍは整数で、≦Ｍ−２）、補正係数Ｋｂは、式（９）を用いて、線形補間により求められる。
ｍＳ≦Ｐｂ＜（ｍ＋１）Ｓ （８）

なお、ここでは評価量Ｐｂの両端２点から線形補間により補正係数を算出しているが、両端の４点を通る多項式を算出し、多項式から、評価量Ｐｂにおける補正係数を求めてもよい。

画像信号補正部７では、補正係数算出部５１により得られた補正係数Ｋｂを画像信号Ｉに乗算する。補正後の信号Ｏは、式（１０）のように表される。このようにして、片シェーディングは補正される。
Ｏ＝Ｉ×Ｋｂ （１０）

以上のように、この実施の形態３によれば、水平同期信号および垂直同期信号をそれぞれカウントして画像を構成する画素の座標位置を算出し、算出された画素の座標位置の片シェーディング特性の方向を表す方向ベクトル量を、シェーディングのレベルを推定する評価量Ｐｂとして算出し、この評価量に係る複数の設定値とこれらの設定値に対応する補正係数を表した補正係数算出テーブルを用い、上記算出された各評価量Ｐｂの値に対応したシェーディングに対する、補正係数Ｋｂを算出し、算出された補正係数Ｋｂを画像信号Ｉに乗じるようにしたので、片シェーディング特性を示す場合の画像の補正を行うことができる。また、評価量算出部４１における方向ベクトル（ｕ，ｖ）は、レンズのズーム位置、フォーカス位置、絞り量に応じて大きさを変更することにより得られるので、補正係数算出テーブル８を変更することなく画像の補正を行うことができる。

実施の形態４．
この実施の形態４では、シェーディング特性として楕円状のシェーディングと片シェーディングが同時に含まれる場合のシェーディングの補正について説明する。
図７はこの発明の実施の形態４による画像補正装置の機能構成を示すブロック図である。図において、画像補正装置は、水平画素カウント部１、垂直画素カウント部２、座標変換部３、評価量算出部４２、補正係数算出部５２、補正係数算出テーブル６、補正係数算出テーブル（第２の補正係数算出テーブル）８、画像信号補正部７から構成されている。
この実施の形態４の評価量算出部４２は、上記実施の形態１の評価量算出部４と実施の形態３の評価量算出部４１の両方の機能を備えている。また、補正係数算出部５２は、上記実施の形態１の補正係数算出部５と実施の形態３の補正係数算出部５１の両方の機能を備えている。また、楕円状のシェーディング用の補正係数を配置した実施の形態１の補正係数算出テーブル６と片シェーディング用の補正係数を配置した実施の形態３の補正係数算出テーブル８の両テーブルを備えている。

評価量算出部４２では、実施の形態１で説明した座標変換部３の動作により得られた変換後の座標（Ｘ’，Ｙ’）に基づいて評価量Ｐａを算出し、また、水平画素カウント部１と垂直画素カウント部２で算出された座標（Ｘ，Ｙ）と方向ベクトル（ｕ，ｖ）に基づいて評価量Ｐｂを算出する。
補正係数算出部５２では、算出された評価量Ｐａ，Ｐｂの値に応じてそれぞれの補正係数Ｋａ，Ｋｂを算出する。評価量Ｐａから補正係数Ｋａを求める方法は、実施の形態１と同様であり、他方の評価量Ｐｂから補正係数Ｋｂを求める方法は実施の形態３と同様であるので、詳細については省略する。
画像信号補正部７では、補正係数算出部５２により得られた補正係数Ｋａ，Ｋｂを画像信号Ｉに乗算する。補整後の信号Ｏは、式（１１）のように表される。このようにして、同時に含まれる楕円状のシェーディングと片シェーディングについて補正することができる。
Ｏ＝Ｉ×Ｋａ×Ｋｂ （１１）

以上のように、この実施の形態４によれば、光学系に起因する楕円状シェーディングと撮像回路に起因する片シェーディングをそれぞれ補正する２つの補正係数算出テーブル６，８を持つことにより、楕円状シェーディングと片シェーディングの現れた画像に対して、同時に補正を行うことができる。また、座標変換部３における倍率はレンズのズーム位置、フォーカス位置、絞り量に応じて変更すればよく、したがって、補正係数算出テーブル６を変更することなく画像の補正を行うことができる。さらに、評価量算出部４２における方向ベクトル（ｕ，ｖ）は、レンズのズーム位置、フォーカス位置、絞り量に応じて大きさを変更すればよく、補正係数算出テーブル８を変更することなく画像の補正を行うことができる。

この発明の実施の形態１および実施の形態２による画像補正装置の機能構成を示すブロック図である。 楕円シェーディング特性を持つ画像を示す説明図である。 この発明の実施の形態１に係る補正係数算出テーブルの構成例を示す説明図である。 片シェーディングを持つ画像を示す説明図である。 この発明の実施の形態３による画像補正装置の機能構成を示すブロック図である。 この発明の実施の形態３に係る補正係数算出テーブルの構成例を示す説明図である。 この発明の実施の形態４による画像補正装置の機能構成を示すブロック図である。

符号の説明

１ 水平画素カウント部（画素カウント手段）、２ 垂直画素カウント部（画素カウント手段）、３ 座標変換部、４，４１、４２ 評価量算出部、５，５１，５２ 補正係数算出部、６，８ 補正係数算出テーブル、７ 画像信号補正部。

Claims (8)

1. レンズを介して撮像素子に結像された画像を画像信号として取り出し再生した際に発生する画像の楕円シェーディングを補正する画像補正装置において、
   水平同期信号および垂直同期信号をそれぞれカウントして画像を構成する画素の座標位置を算出するそれぞれの画素カウント手段と、
   算出された画素の座標位置を、楕円シェーディングのなす形状の長軸と短軸の長さが等しくなるように拡大、縮小させる座標変換手段と、
   変換された各座標位置に対する原点からの距離を、シェーディングのレベルを推定するための評価量として算出する評価量算出手段と、
   前記評価量に係る複数の設定値とこれらの設定値に対応する補正係数を表した補正係数算出テーブルを用いて、前記評価量算出手段で算出された各評価量の値に対応したシェーディングに対する補正係数を算出する補正係数算出手段と、
   算出された補正係数を画像信号に乗じて出力する画像信号補正手段とを備えたことを特徴とする画像補正装置。
2. 座標変換手段は、シェーディング特性が傾斜した楕円シェーディングである場合には、楕円の長軸と短軸の長さを拡大、縮小を行う前に、算出された画素の座標位置を、当該楕円の長軸と短軸が水平、垂直方向と一致するように回転させることを特徴とする請求項１記載の画像補正装置。
3. 座標変換手段は、画素カウント手段で算出された画素の座標位置を、回転および拡大、縮小する前に、画像座標の原点がレンズの光軸中心となるように水平、垂直方向に平行移動させることを特徴とする請求項１または請求項２記載の画像補正装置。
4. 画像のシェーディング特性が楕円シェーディングと片シェーディングである場合において、
   評価量算出手段は、楕円シェーディングのレベルを推定する評価量の算出に加え、画素カウント手段で算出された画素の座標位置の片シェーディング特性の方向を表す方向ベクトル量を、片シェーディングのレベルを推定するための第２の評価量として算出し、
   補正係数算出手段は、楕円シェーディングに対する補正係数の算出に加え、第２の評価量に係る複数の設定値とこれらの設定値に対応する補正係数を表した第２の補正係数算出テーブルを用いて、前記評価量算出手段で算出された各第２の評価量の値に対応した片シェーディングに対する補正係数を算出し、
   画像信号補正手段は、算出された楕円および片シェーディングに対する補正係数の両方を画像信号に乗じることを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像補正装置。
5. レンズを介して撮像素子に結像された画像を画像信号として取り出し再生し
   た際に発生する画像のシェーディングを補正する画像補正装置において、
   水平同期信号および垂直同期信号をそれぞれカウントして画像を構成する画素の座標位置を算出するそれぞれの画素カウント手段と、
   画像のシェーディング特性が傾斜した片シェーディング特性の場合には、算出された画素の座標位置を、片シェーディングの変化する方向が垂直または水平方向となるように回転させ、かつ垂直または水平方向に縮小または拡大する座標変換手段と、
   片シェーディングの変化する方向が垂直または水平方向に置かれた各座標位置に対する画像座標の水平軸または垂直軸からの距離を、シェーディングのレベルを推定するための評価量として算出する評価量算出手段と、
   前記評価量に係る複数の設定値とこれらの設定値に対応する補正係数を表した補正係数算出テーブルを用いて、前記評価量算出手段で算出された各評価量の値に対応した補正係数を算出する補正係数算出手段と、
   算出された補正係数を画像信号に乗じて出力する画像信号補正手段とを備えたことを特徴とする画像補正装置。
6. 座標変換手段は、レンズのズーム位置、フォーカス位置、絞り量に応じて、拡大、縮小の倍率を変更することを特徴とする請求項１から請求項５のうちのいずれか１項記載の画像補正装置。
7. レンズを介して撮像素子に結像された画像を画像信号として取り出し再生し
   た際に発生する画像のシェーディングを補正する画像補正装置において、
   水平同期信号および垂直同期信号をそれぞれカウントして画像を構成する画素の座標位置を算出するそれぞれの画素カウント手段と、
   算出された画素の座標位置の片シェーディング特性の方向を表す方向ベクトル量を、シェーディングのレベルを推定する評価量として算出する評価量算出手段と、
   前記評価量に係る複数の設定値とこれらの設定値に対応する補正係数を表した補正係数算出テーブルを用い、前記評価量算出手段で算出された各評価量の値に対応した補正係数を算出する補正係数算出手段と、
   算出された補正係数を画像信号に乗じて出力する画像信号補正手段とを備えたことを特徴とする画像補正装置。
8. 評価量算出部手段は、方向ベクトルの大きさを、レンズのズーム位置、フォーカス位置、絞り量に応じて変更することを特徴とする請求項４または請求項７記載の画像補正装置。

Images