JP5241823B2 - 色収差を補正する画像処理装置、画像処理方法、プログラム、および、記憶媒体 - Google Patents

Description

本発明は、画像に生じた色収差を補正する方法に関する。

撮影にて得られた画像には、撮影時に用いたレンズの色収差よる色ずれが発生している。

この色ずれを検出する方法として、レンズの状態に応じた色ずれ量を予め記憶しておく方法（例えば、特許文献１を参照）がある。あるいは、別の方法として、画像中の異なる色信号間で相関を取ることで、色信号間の位置のずれ幅を算出して色ずれ量を検出する方法（例えば、特許文献２を参照）がある。

色ずれ量は連続的に変化する値であるため、このようにして求められた色ずれ量をデジタル画像上で補正するためには、１画素に満たない単位の色ずれ量を補正する必要がある。このような１画素に満たない単位の色ずれ量を補正する方法として、バイリニア補間やバイキュービック補間のような補間アルゴリズムが提案されている。

特開平８−２０５１８１号公報 特開２００６−０２０２７５号公報

バイリニア補間、バイキュービック補間、あるいはそれに類する補間演算では、補間位置によって係数が変化するＦＩＲフィルタを用いている。これらの補間演算を用いると、ずらす位置に応じて帯域の消失の仕方が異なるため、出力画像に通過帯域のむらができてしまい、画質が損なわれるという問題が生じていた。

このバイリニア補間において帯域の消失の仕方が異なる理由について説明する。

図１０はバイリニア補間による演算を説明するための図である。撮像素子上でＰ１、Ｐ２、Ｐ３、Ｐ４は上下左右に並んで配置された４つの画素の重心を示している。重心Ｐ１〜Ｐ４の間に位置し、撮像素子に配置されたいずれの画素の重心とも一致しない座標Ｑにおける信号レベルを得るためには、周囲の重心Ｐ１〜Ｐ４の画素の信号レベルからその信号レベルを補間演算する必要がある。αおよびβは、座標Ｑの重心Ｐ１〜Ｐ４からのずれ量を示す。バイリニア補間では、重心Ｐ１、Ｐ２、Ｐ３、Ｐ４の信号レベルをそれぞれＰｓ１、Ｐｓ２、Ｐｓ３、Ｐｓ４とすると、座標Ｑの信号レベルであるＱｓを式（１）を用いて求める。

Ｑｓ＝｛（１−α）×Ｐｓ１＋α×Ｐｓ２｝×（１−β）＋｛（１−α）×Ｐｓ４＋α×Ｐｓ３｝×β （１）
式（１）は、水平方向に係数（１−α）と係数αの２タップのＦＩＲローパスフィルタを掛け、垂直方向に係数（１−β）と係数βの２タップのＦＩＲローパスフィルタを掛けているものと等価である。従って、αの値によって水平のローパス効果、βの値によって垂直のローパス効果が変化する。なお、α、βともに０以上かつ１以下の値を取る。

図１１にずれ量αの値の違いによる、座標Ｑの信号の振幅特性の違いを示す。αが０．０または１．０の場合はナイキスト周波数を含め、高域の信号の振幅ゲインは低下しないが、αが０．５の場合はナイキスト周波数の振幅ゲインが０となる。そして、αが０．０または１．０に近づくほどナイキスト周波数を中心とする高域の振幅ゲインの低下幅が小さくなり、αが０．５に近づくほどナイキスト周波数を中心とする高域の振幅ゲインの低下幅が大きくなる。これは、垂直方向におけるβについても同様のことが言える。

そのため、ある座標の信号レベルを求めるためにバイリニア補間を用いると、この距離に応じて、信号レベルの高域成分の消失の程度が異なることになる。図１０を例にあげると、座標Ｑの位置が重心Ｐ１〜Ｐ４の中間に近い領域ほど、信号レベルＱｓの高域成分の消失程度が大きくなり、重心Ｐ１〜Ｐ４のいずれかに接近した領域ほど信号レベルＱｓの高域成分の消失程度が小さくなる。画像上にはこのような４つの画素からなるブロックが多数存在することから、倍率色収差による色ずれを補正しようとすると、信号レベルの高域成分が極端に多く失われている領域と、あまり失われない領域とが混在し、高域成分がまだらになってしまう。

さらに、色収差の補正は、位置の基準となる色の信号レベルについては位置ずらしを行わないため、位置ずらしを行わない色と、位置ずらしを行った他の色との帯域のむらが画質の劣化として現れてしまうという問題がある。

上記課題を解決するため、本発明の画像処理装置は、複数の画素を備える撮像素子にて生成された複数の色からなる画像を取得する画像取得手段と、前記撮像素子に到達した光束が透過したレンズの光学特性によって生じる第１の色の光束に対する第２の色の光束のずれ量を得るずれ量取得手段と、着目画素の位置から前記ずれ量だけずらした位置である収差座標における前記第２の色の信号レベルを、前記収差座標の周囲の前記第２の色の画素の信号レベルから補間するずれ補正手段と、前記ずれ補正手段による補間によって生じた前記収差座標における前記第２の色の信号レベルの高域の信号レベルの低下を補正した信号レベルを生成し、前記着目画素における前記第２の色の画素の信号レベルとして出力する出力手段と、を備えたことを特徴とするものである。

同様に、上記課題を解決するため、本発明の画像処理方法は、複数の画素を備える撮像素子にて生成された複数の色からなる画像を取得する画像取得工程と、前記撮像素子に到達した光束が透過したレンズの光学特性によって生じる第１の色の光束に対する第２の色の光束のずれ量を得るずれ量取得工程と、着目画素の位置から前記ずれ量だけずらした位置である収差座標における前記第２の色の信号レベルを、前記収差座標の周囲の前記第２の色の画素の信号レベルから補間するずれ補正工程と、前記ずれ補正工程における補間によって生じた前記収差座標における前記第２の色の信号レベルの高域の信号レベルの低下を補正した信号レベルを生成し、前記着目画素における前記第２の色の画素の信号レベルとして出力する出力工程と、を備えたことを特徴とするものである。

本発明によれば、信号レベルの高域成分が画像中でまだらになってしまうことを抑制した色収差補正を行う画像処理装置や画像処理方法を提供することができる。

本発明の第１の実施形態に係るデジタルカメラの構成を示すブロック図である。 画像を各色の信号に分離し、各色の信号に対して補間処理を行う様子を説明するための図である。 色収差による位置ずれを説明するための図である。 色収差補正後の座標の像高に対する色収差補正前の座標の像高の倍率を示したグラフである。 本発明の第１の実施形態における収差座標の一例を示す図である。 第１の高域抑制部が、ずれ量α、βを用いて、バイリニア補間により着目画素の高域成分を減少させた緑の信号レベルを算出する方法を説明するための図である。 本発明の第２の実施形態に係るデジタルカメラの構成を示すブロック図である。 本発明の第２の実施形態における収差座標の一例を示す図である。 緑の信号に対して補間処理を行う様子を説明するための図である。 バイリニア補間による演算を説明するための図である。 ずれ量αの値の違いによる、座標Ｑの信号の振幅特性の違いを示す。

以下、添付図面を参照して、本発明の実施形態について説明する。

なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

（第１の実施形態）
本実施形態では、色収差の１つである倍率色収差を補正する画像処理装置として、デジタルカメラを例にあげて説明を行う。図１は、本実施形態に係るデジタルカメラの構成を示すブロック図である。

図１において、１００はズームレンズやフォーカスレンズを含むレンズユニットである。１０１はレンズユニット１００を透過して到達した光束を光電変換するベイヤー配列の撮像素子であり、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色フィルタを有する多数の画素から構成されている。撮像素子１０１は例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサで構成されている。本実施形態では、撮像素子１０１はＣＭＯＳイメージセンサであるものとする。１０２は撮像素子１０１から得られたアナログ信号の画像をデジタル信号の画像に変換するＡ／Ｄ変換部である。レンズユニット１００からＡ／Ｄ変換部１０２で、画像取得部を構成している。

１０３はデジタル信号に傷補正やシェーディング補正、ホワイトバランス等を施すプリプロセッサである。１０４はプリプロセッサ１０３から出力されたデジタル信号を赤、緑、青の色毎の信号に分離し、特定の色の信号を持たない画素に対して、その特定の色の信号を補間する色補間部である。

１０５は色補間部１０４から出力された赤の信号の緑の信号に対するずれ量を算出する第１のずれ量取得部である。１０６は色補間部１０４から出力された青の信号の緑の信号に対するずれ量を算出する第２のずれ量取得部１０６である。１０７は赤の信号のずれ量に基づいて、色補間部１０４から出力された赤の信号レベルから収差補正後の着目画素における信号レベルを算出する第１のずれ補正部である。１０８は青の信号のずれ量に基づいて、色補間部１０４から出力された青の信号レベルから収差補正後の着目画素における信号レベルを算出する第２のずれ補正部である。

１０９は色補間部１０４から出力された緑の信号に対して、第１のずれ量取得部１０５による赤の信号のずれ量に基づいて、ローパスフィルタを掛ける第１の高域抑制部である。１１０は色補間部１０４から出力された緑の信号に対して、第２のずれ量取得部１０６による青の信号のずれ量に基づいて、ローパスフィルタを掛ける第２の高域抑制部である。

１１１は色補間部１０４から出力された緑の信号レベルから、第１の高域抑制部１０９から出力されたローパスフィルタが掛けられた緑の信号レベルを減算する第１の減算器である。１１２は色補間部１０４から出力された緑の信号レベルから、第２の高域抑制部１１０から出力されたローパスフィルタが掛けられた緑の信号レベルを減算する第２の減算器である。１１３は第１のずれ補正部１０７から出力された信号レベルに、第１の減算器１１１から出力された信号レベルを加算する第１の加算器である。１１４は第２のずれ補正部１０８から出力された信号レベルに、第２の減算器１１２から出力された信号レベルを加算する第２の加算器である。

これら第１、第２のずれ量取得部１０５、１０６、第１、第２のずれ補正部１０７、１０８、第１、第２の高域抑制部１０９、１１０、第１、第２の減算器１１１、１１２、および、第１、第２の加算器１１３、１１４によって、色収差補正部１１５が構成される。

１１６は色補間部１０４から出力された緑の信号、第１の加算器１１３から出力された赤の信号、第２の加算器１１４から出力された青の信号を入力とする信号処理部である。信号処理部１１６は入力された信号を用いて、画像の輝度補正やエッジ強調補正などを行う。

次に、色収差補正部１１５による処理の内容について詳細に説明する。レンズを透過することで、色によって光の結像位置が異なり、色収差が生じる。この色収差を補正するためには、基準となる色を定め、他の色の信号の位置を、この基準となる色の位置に一致するようにずらす必要がある。本実施形態では、色収差補正部１１５は緑の信号を基準とする。

色補間部１０４は、図２に示すように、原色のベイヤー配列で入力される画像を色毎に分離し、各色の欠落画素２００に相当する信号を補間する。欠落画素とは、それぞれの色に分離された画像において、その色の信号を持たない画素のことを指す。図２に示す例では、赤の信号を有する画像であれば、赤の信号を有する画素の上下左右および斜めの位置に隣接する８画素が欠落画素２００となる。緑の信号を有する画像であれば、緑の信号を有する画素の上下左右に隣接する４画素が欠落画素２００となる。青の信号を有する画像であれば、青の信号を有する画素の上下左右および斜めの位置に隣接する８画素が欠落画素２００となる。色補間部１０４は、例えば、欠落画素２００の上下左右および斜めの位置に隣接する８画素のうち、同色の信号を有する画素の信号レベルを用いて、その平均値や重み付け加算した結果の値を、その欠落画素２００の信号レベルとして設定する。

第１のずれ量取得部１０５および第２のずれ量取得部１０６は、赤および青の信号の、緑の信号に対するずれ量を取得する。取得方法としては、上述したように予め記憶されたレンズの状態に応じた色収差量を読み出す方法や、画像中の異なる色信号間における相関の高い領域のずれ幅から色収差量を検出する方法など、様々な方法がある。本実施形態では、第１のずれ量取得部１０５および第２のずれ量取得部１０６は、レンズユニット１００内のズームレンズの状態に応じた色収差量を内部のメモリに予め記憶しておくものとする。

図３は、色収差による位置ずれを説明するための図である。

図３において、色収差補正前の画像３００における座標３０３に位置する信号が、色収差補正を行うことによって、座標３０２の位置へと移動する。言い換えると、本来ならば座標３０２に位置すべき画素の信号が、レンズユニット１００に起因する色収差によって、画像３００上では座標３０３の位置にずれてしまっていることになる。３０１はレンズユニット１００の光軸位置を示しており、この光軸位置３０1から各座標までの距離は像高と言われている。座標３０２と座標３０３の差分、すなわち色収差量は、レンズユニット１００の固有の光学特性やこれらの座標が位置する像高の大きさによって変化する。そのため、第１のずれ量取得部１０５および第２のずれ量取得部１０６は、レンズユニット１００の固体毎、あるいは、レンズユニット１００の種類毎に、像高に対する色収差量を示す情報をレンズ設計情報としてメモリに記憶している。

図４は、色収差補正後の座標３０２の像高に対する色収差補正前の座標３０３の像高の倍率を示したグラフであり、色収差補正後の座標３０２の像高に倍率を掛けることにより、色収差補正前の座標３０３の像高へと変換できる。色収差補正後の所望の座標の信号レベルを求めるためには、図４に示すグラフを用いて、その所望の座標に対応する倍率をその所望の座標の像高に掛けることで色収差補正前の座標を算出し、色収差前の画像からその色収差補正前の座標の信号レベルを求めればよい。図４の曲線４０１が本実施形態のレンズユニット１００の赤の信号の色収差特性を示しており、曲線４０２がレンズユニット１００の青の信号の色収差特性を示している。

色収差補正後の画像を最終的に出力するのであるから、色収差補正後の画像の座標３０２は実数の座標で求める必要がある。しかしながら、色収差補正後の画像の座標３０２に対応する色収差補正前の座標３０３が、実数の座標になるとは限らない。色収差補正前の画像３００は実数の座標に対応する画素の信号レベルしか有していないため、実数とならない座標の信号レベルは、その周囲の実数の座標の画素の信号レベルから補間する必要がある。なお、色収差補正後の画像の着目画素の座標に対応する色収差補正前の座標を、収差座標と言うことにする。

図５は、本実施形態における収差座標３０３の一例を示す図である。

図５において、画素５０１、５０２、５０３および５０４は、欠落画素２００が補間された赤の画像における、実数の座標の画素である。点線５０５は画素５０１、５０２、５０３および５０４の重心位置から水平方向と垂直方向に延びた線である。αは左列の画素５０１、５０４の重心位置からの水平方向におけるずれ量を、βは上行の画素５０１、５０２の重心位置からの垂直方向におけるずれ量を示す。この図５では、αおよびβは、ともに０以上１以下の値となる。

第１のずれ量取得部１０５は、収差座標３０３を（Ｑｒｘ，Ｑｒｙ）とすれば、ずれ量α、βを式（３）および式（４）により求める。

α＝Ｑｒｘ−ｉｎｔ（Ｑｒｘ） （２）
β＝Ｑｒｙ−ｉｎｔ（Ｑｒｙ） （３）
ただし、ｉｎｔ（ｎ）はｎの整数部を示す関数とする。

そして、第１のずれ補正部１０７は、このずれ量α、βを用いてバイリニア補間により収差座標３０３の赤の信号レベルを算出する。

画素５０１、５０２、５０３および５０４の赤の信号レベルをそれぞれＰｒ１、Ｐｒ２、Ｐｒ３、Ｐｒ４とすると、バイリニア補間では、収差座標３０３の赤の信号レベルＱｒを上述した式（１）と同様の式（４）にて求めることができる。

Ｑｒ＝｛（１−α）×Ｐｒ１＋α×Ｐｒ２｝×（１−β）＋｛（１−α）×Ｐｒ４＋α×Ｐｒ３｝×β （４）
第２のずれ補正部１０８も、欠落画素２００が補間された青の画像を用いて、第１のずれ補正部１０７と同様の処理を行い、青の画像における収差座標の信号レベルＱｂを求める。ここまでの処理は、従来の色収差補正処理と同様である。

本発明では、更に、赤および青の高域成分の信号レベルを復元する処理を実施する。第１の高域抑制部１０９および第２の高域抑制部１１０は、図３の座標３０２を重心とする着目画素６００の緑の信号レベルから、式（３）および式（４）で求めた収差座標のずれ量α、βを用いて、高域成分を減少させた緑の信号レベルを生成する。

図６は、第１の高域抑制部１０９が、第１のずれ量取得部１０５が求めたずれ量α、βを用いて、バイリニア補間により着目画素の高域成分を減少させた緑の信号レベルを算出する方法を説明するための図である。

図６（Ａ）は、図３の座標３０２に位置する着目画素を中心とし、隣接する３画素×３画素からなる領域を示しており、この領域内には隣接する２画素×２画素からなる領域が４通り存在する。画素６０１、６０２、６００および６０８からなる領域を第１領域、画素６０２、６０３、６０４および６００からなる領域を第２領域とする。また、画素６００、６０４、６０５および６０６からなる領域を第３領域、画素６０８、６００、６０６および６０７からなる領域を第４領域とする。

第１のずれ量取得部１０５で求められたずれ量α、βは、第１の高域抑制部１０９に入力される。第１の高域抑制部１０９は、第１から第４領域内のそれぞれにおいて、左列の画素の重心からα、上行の画素の重心からβだけずらした座標６１１、６１２、６１３および６１４における信号レベルを式（５）〜（８）を用いて補間演算する。

Ｑｒｇ１１＝｛（１−α）×Ｐｒｇ０１＋α×Ｐｒｇ０２｝×（１−β）＋｛（１−α）×Ｐｒｇ０８＋α×Ｐｒｇ００｝×β （５）
Ｑｒｇ１２＝｛（１−α）×Ｐｒｇ０２＋α×Ｐｒｇ０３｝×（１−β）＋｛（１−α）×Ｐｒｇ００＋α×Ｐｒｇ０４｝×β （６）
Ｑｒｇ１３＝｛（１−α）×Ｐｒｇ００＋α×Ｐｒｇ０４｝×（１−β）＋｛（１−α）×Ｐｒｇ０６＋α×Ｐｒｇ０５｝×β （７）
Ｑｒｇ１４＝｛（１−α）×Ｐｒｇ０８＋α×Ｐｒｇ００｝×（１−β）＋｛（１−α）×Ｐｒｇ０７＋α×Ｐｒｇ０６｝×β （８）
ただし、画素６００〜６０８のそれぞれにおける信号レベルをＰｒｇ００〜Ｐｒｇ０８、座標６１１〜６１４における信号レベルをＱｒｇ１１〜Ｑｒｇ１４とする。

これら座標６１１〜６１４の信号レベルＱｒｇ１１〜Ｑｒｇ１４は、収差座標３０３の信号レベルを求めるときと同じαおよびβを重み付け係数として用いて、周辺の画素の信号レベルから補間演算している。そのため、座標６１１〜６１４の信号レベルＱｒｇ１１〜Ｑｒｇ１４は、収差座標３０３の信号と同様に高域成分が減少した信号レベルとなる。

さらに第１の高域抑制部１０９は、座標６１１〜６１４の信号レベルＱｒｇ１１〜Ｑｒｇ１４から、座標３０２に位置する着目画素の高域成分を減少させた信号レベルＱｒｇ００を式（９）を用いて補間演算する。座標３０３の重心における信号レベルＱｒｇ００を求めるためには、上述してきた補間演算とは逆に、右列の画素の重心からのずれ量をα、下行の画素の重心からのずれ量をβとすればよい。

Ｑｒｇ００＝｛α×Ｑｒｇ１１＋（１−α）×Ｑｒｇ１２｝×β＋｛α×Ｑｒｇ１４＋（１−α）×Ｑｒｇ１３｝×（１−β） （９）
第１の減算器１１１が、色補間部１０４から出力された緑の信号レベルから、第１の高域抑制部１０９から出力された緑の信号レベルＱｒｇ００を減算することで、低域成分を除外した高域成分からなる緑の信号レベルＱｒｇｈを得られる。収差座標３０３の信号レベルの高域成分が減少するほど、着目画素の信号レベルＱｒｇ００はその高域成分が減少した信号レベルとなり、反対に信号レベルＱｒｇｈはその高域成分が多く残る信号レベルとなる。つまり、第１の高域抑制部１０９および第１の減算器１１１によって、収差座標３０３の赤の信号レベルの高域成分の低下の程度に応じて、着目画素の緑の信号レベルの高域成分を抽出する第１の高域抽出部が形成される。同様に、第２の高域抑制部１１０および第２の減算器１１２によって、収差座標３０３の青の信号レベルの高域成分の低下の程度に応じて、着目画素の緑の信号レベルの高域成分を抽出する第２の高域抽出部が形成される。

座標３０２における緑の信号と、収差座標３０３における赤の信号は、もともと同一の被写体像にて生成されたものである。そのため、第１の加算器１１３が座標３０２の着目画素で求めた緑の信号レベルＱｒｇｈを、収差座標３０３で求めた赤の信号レベルＱｒに加算することで、収差座標３０３における赤の高域成分を擬似的に復元することができる。第２の高域抑制部１１０、第２の減算器１１２および第２の加算器１１４も、収差座標における青の信号レベルＱｂに対して同様の処理を行うことで、収差座標３０３における青の高域成分の信号レベルを擬似的に復元することができる。

そして色収差補正部１１５は、第１の加算器１１３にて生成された赤の信号レベルおよび第２の加算器１１４で生成された青の信号レベルを、座標３０２の着目画素の信号レベルとして信号処理部１１６に出力する。こうすることにより、信号処理部１１６は、高域成分を損失が抑制され、かつ、色収差が補正された赤、緑、および、青の信号を用いて画像の輝度補正やエッジ強調補正などを行うことができる。

以上説明したように、本実施形態によれば、色収差補正部１１５は、収差座標における赤の信号レベルの高域成分の損失の程度に応じて、着目画素における緑の信号レベルの高域成分を損失させて低域成分の信号を生成する。そして、色収差補正部１１５は、着目画素の高域成分を損失させる前の緑の信号レベルから低域成分の信号レベルを減算することで、高域成分からなる信号レベルを生成する。さらに、色収差補正部１１５は、この高域成分の信号レベルを、収差座標における赤の信号レベルに加算して着目画素の信号レベルとして出力する。このようにすることにより、本実施形形態におけるデジタルカメラは、高域成分がまだらになることを抑制した色収差補正を行うことができる。

なお、本実施形態では、第１の高域抑制部１０９および第２の高域抑制部１１０は、着目画素における高域成分を損失させた緑の信号レベルを生成する際に、予め取得されたずれ量α、βを用いた重み付け演算を行ったが、これに限られるものではない。例えば、予めずれ量α、βに対応するフィルタ係数を記憶したテーブルを有しており、ずれ量α、βに応じたフィルタ係数を読み出して、着目画素の緑の信号レベルにローパスフィルタをかける構成であってもよい。

ただし、本実施形態の第１の高域抑制部１０９および第２の高域抑制部１１０は、水平方向と垂直方向に係数αおよびβとした２タップのＦＩＲローパスフィルタを備えた簡単な回路構成とすることができるメリットがある点で優れている。

さらに、本実施形態では、第１の高域抑制部１０９および第１の減算器１１１によって第１の高域抽出部が構成され、第２の高域抑制部１１０および第２の減算器１１２によって第２の高域抽出部が構成されていたが、これに限られるものではない。収差座標３０３における高域成分の信号レベルの損失程度に応じてフィルタ係数が変動するハイパスフィルタによって、収差座標の赤、青の信号レベルの高域成分の低下に応じた着目画素の緑の信号レベルの高域成分を直接抽出する高域抽出部を構成しても構わない。

（第２の実施形態）
図７は、本実施形態に係るデジタルカメラの構成を示すブロック図である。この図７のデジタルカメラは、色補間部１０４の代わりに色分離部１２０を設け、色分離部１２０と第１の高域抑制部１０９および第２の高域抑制部１１０の間に、緑補間部１２１を設けた色収差補正部１２２を有する点が図１と異なる。

図７と同一の符号が付されているものは、第１の実施形態と同様の構成であるため説明を省略し、第１の実施形態と異なる構成を中心に説明を行う。

色分離部１２０は、プリプロセッサ１０３から出力されたデジタル信号を赤、緑、青の色毎の信号に分離する。この色分離部１２０は、図１の色補間部１０４と異なり、分離した色の画像の欠落画素に対して補間処理を行わない。

第１のずれ補正部１０７および第２のずれ補正部１０８は、第１の実施形態と同様に、バイリニア補間を用いて収差座標３０３の信号レベルを算出する。図８は、本実施形態における収差座標３０３の一例を示す図である。

図８において、画素８０１、８０２、８０３および８０４は、赤の画像における実数の座標の画素である。点線は画素８０１、８０２、８０３および８０４の重心位置から水平方向と垂直方向に延びた線、および、その中間に位置する線である。αｒは左列の画素８０１、８０４の重心位置からの水平方向におけるずれ量を、βｒは上行の画素８０１、８０２の重心位置からの垂直方向におけるずれ量を示す。この赤の画像は欠落画素が補間されていないため、ずれ量αｒ、βｒの求め方は第１の実施形態とは異なる。第１のずれ量取得部１０５は、収差座標３０３を（Ｑｒｘ，Ｑｒｙ）とすれば、ずれ量αｒ、βｒを式（１０）および式（１１）により求める。

αｒ＝Ｑｒｘ／２−ｉｎｔ（Ｑｒｘ／２） （１０）
βｒ＝Ｑｒｙ／２−ｉｎｔ（Ｑｒｙ／２） （１１）
ただし、ｉｎｔ（ｎ）はｎの整数部を示す関数とする。

第１のずれ補正部１０７は、画素８０１から８０４の信号レベルをそれぞれＰｒ１からＰｒ４とすると、式（２）のずれ量α、βにこのαｒ、βｒを代入することで、収差座標３０３の信号レベルＱｒを求めることができる。第２のずれ補正部１０８も、欠落画素が補間されていない青の画像を用いて、第２のずれ補正部１０７と同様の処理を行い、青の画像における収差座標の信号Ｑｂを求める。

緑補間部１２１は、図９に示すように、色分離部１２０にて分離された緑の画像の欠落画素９００を補間する。そして、第１の高域抑制部１０９および第２の高域抑制部１１０は、緑補間部１２１にて欠落画素９００が補間された緑の画像から、高域成分を減少させた緑の信号レベルを生成する。ここで、ずれ量αｒ、βｒは欠落画素が補間されていない赤の画像におけるずれ量なので、第１の高域抑制部１０９は、欠落画素９００が補間された緑におけるずれ量を式（１２）、（１３）にて求める。

αｇ＝αｒ×２−ｉｎｔ（αｒ×２） （１３）
βｇ＝βｒ×２−ｉｎｔ（βｒ×２） （１４）
ここで、着目画素を中心とした隣接する３画素×３画素からなる領域の信号レベルをＰｒｇ００〜Ｐｒｇ０８とする。第１の高域抑制部１０９は、式（５）〜（９）のずれ量α、βにこのαｇ、βｇを代入することで、着目画素の低域成分を除外した高域成分からなる緑の信号レベルＱｒｇｈを得られる。同様に、第２の高域抑制部１１０も着目画素の低域成分を除外した高域成分からなる緑の信号レベルＱｂｇｈを求める。そして、第１の加算器１１３および第２の加算器１１４がこれらの信号レベルＱｒｇｈ、Ｑｂｇｈを用いて赤および青の高域成分の信号レベルを擬似的に復元する。

以上説明したように、本実施形態によれば、赤の画像および青の画像の欠落画素の補間を行わずとも、色収差補正後に高域成分の信号レベルを復元した赤、青の信号レベルを得ることが可能となる。

また、第１および第２の実施形態では、バイリニア補間の例をあげて説明を行ったが、ＦＩＲフィルタ構造である別のフィルタ（例えば、バイキュービック補間）でも同様の効果を得ることができる。

また、第１および第２の実施形態では、赤の信号と青の信号を緑の信号の位置にあわせることを例にあげて説明を行ったが、これに限られるものではない。第１の色の信号の位置に、それ以外の第２の色、あるいは、第３の色の信号の位置をあわせる構成であればよく、例えば、赤の信号、あるいは、青の信号に他の色の信号の位置をあわせても構わない。また、倍率色収差ではなく、軸上色収差を補正するために、ある色の信号の位置に他の色信号の成分をあわせるような場合であっても、同様の構成で高域成分がまだらになることを抑制した色収差補正を行うことができる。

また、第１および第２の実施形態は、デジタルカメラではなく、画像処理機能を備えたパーソナルコンピュータやプリンターにであっても実現することができる。このような画像処理装置であれば、レンズユニット１００からＡ／Ｄ変換部１０２で構成された画像取得部の代わりに、記録メディアから画像を読み出したり、通信インターフェースを介してネットワーク上から画像を取得したりする画像取得部を備えていればよい。

（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。

従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。

上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。

そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。

つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。

また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。

さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

１００ レンズユニット
１０１ 撮像素子
１０２ Ａ／Ｄ変換部
１０３ プリプロセッサ
１０４ 色補間部
１０５ 第１のずれ量取得部
１０６ 第２のずれ量取得部
１０７ 第１のずれ補正部
１０８ 第２のずれ補正部
１０９ 第１の高域抑制部
１１０ 第２の高域抑制部
１１１ 第１の減算器
１１２ 第２の減算器
１１３ 第１の加算器
１１４ 第２の加算器
１１５、１２２ 色収差補正部
１１６ 信号処理部
１２０ 色分離部
１２１ 緑補間部

Claims (12)

1. 複数の画素を備える撮像素子にて生成された複数の色からなる画像を取得する画像取得手段と、
   前記撮像素子に到達した光束が透過したレンズの光学特性によって生じる第１の色の光束に対する第２の色の光束のずれ量を得るずれ量取得手段と、
   着目画素の位置から前記ずれ量だけずらした位置である収差座標における前記第２の色の信号レベルを、前記収差座標の周囲の前記第２の色の画素の信号レベルから補間するずれ補正手段と、
   前記ずれ補正手段による補間によって生じた前記収差座標における前記第２の色の信号レベルの高域の信号レベルの低下を補正した信号レベルを生成し、前記着目画素における前記第２の色の画素の信号レベルとして出力する出力手段と、を備えた画像処理装置。
2. 前記ずれ補正手段による補間によって生じた前記収差座標における前記第２の色の信号レベルの高域の信号レベルの低下の程度に応じた、前記着目画素の前記第１の色の高域の信号レベルを抽出する高域抽出手段をさらに有し、
   前記出力手段は、前記ずれ補正手段にて算出した前記第２の色の画素の信号レベルに、前記高域抽出手段が抽出した信号レベルを加算した信号レベルを、前記着目画素における前記第２の色の画素の信号レベルとして出力することを特徴とする請求項１に記載の画像処理装置。
3. 前記ずれ補正手段は、前記収差座標における前記第２の色の信号レベルを、前記収差座標と前記収差座標の周囲の前記第２の色の画素の重心との距離に応じた重み付けを用いて、前記収差座標の周囲の前記第２の色の画素の信号レベルから補間することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記ずれ補正手段は、前記重み付けを用いて、前記収差座標の周囲の前記第２の色の画素の信号レベルを加算することで、前記収差座標における前記第２の色の信号レベルを補間することを特徴とする請求項３に記載の画像処理装置。
5. 前記ずれ補正手段は、前記収差座標における前記第２の色の信号レベルを、前記収差座標と前記収差座標の周囲の前記第２の色の画素の重心との距離に応じた重み付けを用いて、前記収差座標の周囲の前記第２の色の画素の信号レベルから補間し、
   前記高域抽出手段は、
   前記着目画素の前記第１の色の高域の信号レベルを前記重み付けに応じて抑制した信号を生成する高域抑制手段と、
   前記着目画素の前記第１の色の信号レベルから、前記高域抑制手段にて生成された信号を減算する減算手段と、を有し、
   前記出力手段は、前記ずれ補正手段にて算出した前記第２の色の画素の信号レベルに、前記減算手段が減算することで得た信号レベルを加算した信号レベルを、前記着目画素における前記第２の色の画素の信号レベルとして出力することを特徴とする請求項２に記載の画像処理装置。
6. 前記高域抑制手段は、前記着目画素の周囲の前記第１の色の画素の信号レベルに、前記ずれ補正手段が用いた重み付けをして加算して得られた信号レベルを用いて、前記着目画素の前記第１の色の高域の信号レベルを抑制した信号を生成することを特徴とする請求項５に記載の画像処理装置。
7. 前記高域抑制手段は、前記着目画素の周囲の前記第１の色の画素の信号レベルに、前記ずれ補正手段が用いた重み付けをして加算して得られた複数の信号レベルを用いて、前記着目画素の重心における信号レベルを求めることで、前記着目画素の前記第１の色の高域の信号レベルを抑制した信号を生成することを特徴とする請求項６に記載の画像処理装置。
8. 前記撮像素子に到達した光束が透過したレンズの光学特性によって生じる第１の色の光束に対する第３の色の光束のずれ量を得る第２のずれ量取得手段と、
   着目画素の位置から前記第２のずれ量取得手段で得たずれ量だけずらした位置である収差座標における前記第３の色の信号レベルを、前記収差座標の周囲の前記第３の色の画素の信号レベルから補間する第２のずれ補正手段と、
   前記第２のずれ補正手段による補間によって生じた前記収差座標における前記第３の色の信号レベルの高域の信号レベルの低下を補正した信号レベルを生成し、前記着目画素における前記第３の色の画素の信号レベルとして出力することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記第１の色は緑であり、前記第２の色は赤あるいは青であることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 複数の画素を備える撮像素子にて生成された複数の色からなる画像を取得する画像取得工程と、
    前記撮像素子に到達した光束が透過したレンズの光学特性によって生じる第１の色の光束に対する第２の色の光束のずれ量を得るずれ量取得工程と、
    着目画素の位置から前記ずれ量だけずらした位置である収差座標における前記第２の色の信号レベルを、前記収差座標の周囲の前記第２の色の画素の信号レベルから補間するずれ補正工程と、
    前記ずれ補正工程における補間によって生じた前記収差座標における前記第２の色の信号レベルの高域の信号レベルの低下を補正した信号レベルを生成し、前記着目画素における前記第２の色の画素の信号レベルとして出力する出力工程と、を備えた画像処理方法。
11. コンピュータに請求項１０に記載の画像処理方法を実行させるためのプログラム。
12. 請求項１１に記載のプログラムを格納した、コンピュータで読み取り可能な記憶媒体。

Images