JP5419749B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は画像処理装置および画像処理方法に関し、特に光学的な要因による色収差を補正し、色滲みを抑圧するための画像処理装置、画像処理方法およびプログラムに関する。

近年のデジタルビデオカメラおよびデジタルカメラでは、高い画素数のイメージセンサを採用することにより、高画質な映像を得られるようになってきている。

反面、画素の微細化や小型レンズなどの要因により、光の波長毎に結像位置が異なることに起因する色収差の影響である色滲みが画像に現れやすくなっている。

この撮像された画像における色滲みを抑圧する技術として、様々な方法が提案されている。

例えば、特許文献１には、画像を撮影するときに用いたレンズを識別し、収差情報を読み出して補正パラメータを生成し、この補正パラメータに従って補正対象となる色信号の座標を移動させる技術が提案されている。

だが、色滲み特性は、光軸中心から着目画素までの像高位置、ズームレンズ位置、アイリスの開口径、フォーカスレンズ位置により複雑に変動する。そのため、特許文献１に記載されるようなレンズの収差情報を読み出す構成では、像高位置、ズームレンズ位置、アイリスの開口径、フォーカスレンズ位置、および、レンズの種類別に収差情報を記憶しておく必要がある。したがって、これらの収差情報を記憶しておくために必要なメモリの容量が大きくなってしまう。さらには、木漏れ日などの撮影状況によっては、色滲みが大きく広がることもある。

そこで、予め記憶されたレンズの収差情報を読み出すのではなく、画像から色滲みが生じていると思われる領域を抽出し、その領域に対して色滲みを抑圧する技術が提案されている。例えば、特許文献２には、画像データのエッジ部の勾配の値に基づいて、画像データの色滲みを抑圧する技術が開示されている。

特開２０００−０７６４２８号公報 特開２００７−１９５１２２号公報

しかしながら、画像データのエッジ部の勾配の値に基づいて、画像データの色滲みを抑圧する場合は、色滲み抑圧処理部へ入力される画像データの周波数特性が変化することによって、色滲みの抑圧不足や抑圧過多による画質劣化が生じてしまうことがある。

例えば、加算読み出しや非加算読み出しを切り替えるなどの複数の駆動方式を備えた撮像素子では、駆動方式を切り替えることによって、画像データの周波数特性が変化する。

撮像素子を非加算読み出しの駆動方式から加算読み出しの駆動方式に変化させると、画素の出力信号が加算平均されることにより、画像データの高周波成分が低下する。つまり、同じ被写体であっても、非加算読み出しの駆動方式のときに比べて、加算読み出しの駆動方式のときのほうが、画像データの勾配の値が低下してしまうことがある。

そのため、画像データのエッジ部の勾配の値に基づいて色滲みの抑圧量を求めようとすると、同じ被写体であるにも関わらず、非加算読み出しの駆動方式のときと加算読み出しの駆動方式のときとで、色滲みの抑圧の程度に差が生じてしまっていた。

そこで、本願発明は、上記課題を解決するため、撮像素子の駆動方式が変化しても、好適な色滲み抑圧を施すことが可能な画像処理技術を提供することを目的とする。

上記課題を解決するため、画像データから勾配値を求める勾配検出手段と、前記勾配値に基づいて抑圧係数を算出する抑圧係数算出手段と、前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、前記抑圧係数算出手段は、前記勾配値が閾値を超えた場合に、前記対象となる領域の色滲みが抑圧されるように前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が非加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲よりも、加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲のほうが広くなるように、前記閾値を設定することを特徴とする画像処理装置を提供する。

また、上記課題を解決するため、画像データから勾配値を求める勾配検出手段と、前記勾配値に基づいて抑圧係数を算出する抑圧係数算出手段と、前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、前記抑圧係数算出手段は、前記勾配値が閾値を超えた場合に、前記対象となる領域の色滲みが抑圧されるように前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が第１の数の画素だけ加算する加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲よりも、前記第１の数よりも大きな第２の数の画素だけ加算する加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲のほうが広くなるように、前記閾値を設定することを特徴とする画像処理装置を提供する。

また、上記課題を解決するため、画像データに対して帯域制限をかけるフィルタ手段と、前記フィルタ手段にて帯域制限をかけられた画像データから勾配値を求める勾配検出手段と、前記勾配値に基づいて抑圧係数を算出する抑圧係数算出手段と、前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、前記抑圧係数算出手段は、前記勾配値に応じて前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が非加算読み出しである場合の前記フィルタ手段にて制限された帯域よりも、加算読み出しである場合の前記フィルタ手段にて制限された帯域のほうが狭くなるように、前記フィルタ手段にて制限する帯域を設定することを特徴とする画像処理装置を提供する。

また、上記課題を解決するため、画像データに対して帯域制限をかけるフィルタ手段と、前記フィルタ手段にて帯域制限をかけられた画像データから勾配値を求める勾配検出手段と、前記勾配値に基づいて抑圧係数を算出する抑圧係数算出手段と、前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、前記抑圧係数算出手段は、前記勾配値に応じて前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が第１の数の画素だけ加算する加算読み出しである場合の前記フィルタ手段にて制限された帯域よりも、前記第１の数よりも大きな第２の数の画素だけ加算する加算読み出しである場合の前記フィルタ手段にて制限された帯域のほうが狭くなるように、前記フィルタ手段にて制限する帯域を設定することを特徴とする画像処理装置を提供する。

撮像素子の駆動方式が変化しても、好適な色滲み抑圧を施すことが可能な画像処理技術を提供することが可能になる。

本発明の第１の実施形態に係る画像処理装置の一例としての撮像装置のブロック図である。 三板のＣＭＯＳセンサからなる撮像素子１１の画素位置と、出力される信号の位相の関係を示す図である。 勾配値と抑圧係数の関係を表す色滲み抑圧関数を示す図である。 図１の抑圧処理部１５の内部構成を示す図である。 非加算読み出しにおけるサンプリング周波数ｆｓ１およびナイキスト周波数ｆｎ１と、垂直２画素の加算読み出しにおけるサンプリング周波数ｆｓ２およびナイキスト周波数ｆｎ２を示す図である。 非加算読み出しと垂直２画素の加算読み出しのそれぞれの場合の、垂直方向における画像データの出力値と、画像データの垂直方向における出力値の勾配を表す図である。 非加算読み出しと垂直２画素の加算読み出しで閾値３１が異なる値に設定されることを説明するための図である。 非加算読み出しと垂直２画素の加算読み出しで閾値３１および変化量３２が異なる値に設定されることを説明するための図である。 三板のＣＭＯＳセンサからなる撮像素子１１の画素位置と、垂直２画素の加算読み出しにて出力される信号の位相と、垂直３画素の加算読み出しにて出力される信号の位相の関係を示す図である。 垂直２画素の加算読み出しにおけるサンプリング周波数ｆｓ２およびナイキスト周波数ｆｎ２と、垂直３画素の加算読み出しにおけるサンプリング周波数ｆｓ３およびナイキスト周波数ｆｎ３を示す図である。 垂直２画素の加算読み出しと垂直３画素の加算読み出しのそれぞれの場合の、垂直方向における画像データの出力値と、画像データの垂直方向における出力値の勾配を表す図である。 本発明の第３の実施形態に係る画像処理装置の一例としての撮像装置のブロック図である。 画像データに帯域制限をかけることによる、画像データの出力と周波数特性の変化を説明するための図である。 非加算読み出しした画像データと、垂直２画素の加算読み出しした画像データのそれぞれに対して帯域制限をかけた例を説明するための図である。 本発明の第４の実施形態に係る画像処理装置の一例としての画像再生装置のブロック図である。 図１５の抑圧処理部２４の内部構成を示す図である。 本発明の第５の実施形態に係る画像処理装置の一例としての撮像装置のブロック図である。

以下、添付図面を参照して、本発明の好適な実施形態を詳細に説明する。

（第１の実施形態）
図１に本発明の第１の実施形態に係る画像処理装置の一例としての撮像装置のブロック図を示す。この撮像装置はデジタルカメラでもデジタルビデオカメラでも構わない。

図１において、撮像素子１１はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの光電変換素子であり、入射した被写体像を電気信号に変換する。本実施形態では、撮像素子１１は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のそれぞれの色に対応した信号を出力する３板のＣＭＯＳセンサで構成されている。

ＡＦＥ１２はアナログフロントエンド回路であり、撮像素子１１から出力されたＲＧＢのアナログ信号を、ＲＧＢのデジタル信号へと変換する。以後、このＡＦＥ１２にて出力されたデジタル信号を画像データという。

勾配検出部１３１は、ＡＦＥ１２から出力されたＲのデジタル信号の出力値の傾斜を示す勾配値Ｓｒを求める。勾配検出部１３２は、ＡＦＥ１２から出力されたＧのデジタル信号の出力値の傾斜を示す勾配値Ｓｇを求める。勾配検出部１３３は、ＡＦＥ１２から出力されたＢのデジタル信号の出力値の傾斜を示す勾配値Ｓｂを求める。

抑圧係数算出部１４は、勾配検出部１３１〜１３３から出力される各色の勾配値（Ｓｒ、Ｓｇ、Ｓｂ）と、後述する制御部１６から出力される設定情報から、画像データのＲＧＢの各色の抑圧係数（Ｋｒ、Ｋｇ、Ｋｂ）を求める。そして、この抑圧係数（Ｋｒ、Ｋｇ、Ｋｂ）を抑圧処理部１５に出力する。

抑圧処理部１５は、ＡＦＥ１２から出力された画像データより、輝度信号Ｙと色差信号Ｃｒ、Ｃｂを算出する。そして、抑圧係数算出部１４から出力されるＲＧＢの抑圧係数（Ｋｒ、Ｋｇ、Ｋｂ）から、色差信号Ｃｒ、Ｃｂのそれぞれに対する抑圧係数を算出し、色差信号Ｃｒ、Ｃｂに対して色滲み抑圧処理を実施する。そして、色滲み抑圧処理が施された色差信号Ｃｒ’、Ｃｂ’と輝度信号Ｙを色滲み抑圧後の画像データとして出力する。

制御部１６は撮像素子１１の駆動方式を切り替えるマイコンである。本実施形態では、制御部１６は撮像素子１１に対し、垂直２画素の加算読み出しの駆動方式と非加算読み出しの駆動方式の切り替えを指示する。また、制御部１６は撮像素子１１に指示した駆動方式に応じて、抑圧係数算出部１４へ設定情報を出力する。

メモリ１７は抑圧処理部１５から出力されたＹ、Ｃｒ’、Ｃｂ’で構成された画像データを一時的に記憶したり、記憶媒体２１から読み出されて符号化／復号化部２０にて復号化された画像データを一時的に記憶するための一時メモリである。

画像変換部１８はメモリ１７に記憶された画像データを読み出して、表示装置１９に適合した形態となるように画像データを変換する。表示装置は例えば液晶ディスプレイで構成され、画像変換部１８で変換された画像データを用いて、画像を表示する。

符号化／復号化部２０は、メモリ１７に記憶された画像データを符号化して記憶媒体２１に書き込んだり、記憶媒体２１に読み出した画像データを復号化してメモリ１７に書き込んだりする。記憶媒体２１はこの撮像装置で生成された画像データを記憶するだけでなく、外部装置にて書き込まれた画像データや、その画像データが撮影されたときの撮像素子の駆動情報を符号化された状態で記憶することができる。

図２は、三板のＣＭＯＳセンサからなる撮像素子１１の画素位置と、出力される信号の位相の関係を示す図である。非加算読み出しで駆動する場合は、３板のそれぞれのセンサの画素信号が、そのまま画像データとして出力される。垂直２画素の加算読み出しで駆動する場合は、３板のそれぞれのセンサの画素信号が、垂直方向において２画素を加算平均したものが画像データとして出力される。

勾配検出部１３１〜１３３では、画像データの勾配値を算出するため、画像データの一次微分値を算出する。本実施形態においては、ソーベル（Ｓｏｂｅｌ）フィルタを用いることで、画像データの画素間の変化を求める。

抑圧係数算出部１４は、勾配検出部１３１〜１３３で算出された勾配値から、各色の抑圧係数を決定する。図３は、勾配値と抑圧係数の関係を表す色滲み抑圧関数を示す図である。

この図３に示すように、抑圧係数は０．０〜１．０の間で多段階に設定されており、抑圧係数が０．０であれば色滲みの抑圧処理が行われないことを示し、抑圧係数が増加するほど色滲みの抑圧の程度が大きくなる。勾配値には閾値３１が設定されており、勾配値がこの閾値３１以下であれば、抑圧係数として０．０が設定される。勾配値が閾値３１を超えると、勾配値の増加に比例して抑圧係数が増加し、抑圧係数が１．０に到達すると、それ以上勾配値が増加しても抑圧係数は１．０に維持される。この抑圧係数はＲＧＢ毎に求められ、勾配値Ｓｒから求めた抑圧係数がＫｒ、勾配値Ｓｇから求めた抑圧係数がＫｇ、勾配値Ｓｂから求めた抑圧係数がＫｂとして、抑圧処理部１５に出力される。

抑圧係数算出部１４は、閾値３１を変化させることで、色滲み抑圧の対象とする勾配値の範囲を変化させることが可能である。同様に、抑圧係数算出部１４は、変化量３２を変化させることで、勾配値に対する色滲み抑圧の強さを変化させることが可能である。

なお、制御部１６が抑圧係数算出部１４に対して出力する設定情報とは、この閾値３１と変化量３２のことを示す。すなわち、制御部１６は、色滲み抑圧の対象とする勾配値の範囲や、勾配値に対する色滲み抑圧の強さを制御することができる。

図４は、抑圧処理部１５の内部構成を示す図である。

輝度変換部４１はＡＦＥ１２から出力されたＲＧＢのデジタル信号から輝度信号Ｙを生成する。Ｃｒ変換部４２、Ｃｂ変換部４３は、それぞれＲＧＢのデジタル信号から色差信号Ｃｒ、Ｃｂを生成する。ＲＧＢのデジタル信号から輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂを生成する方法は周知の技術であるため、詳細な説明は省略する。

Ｃｒ変換部４２は抑圧係数算出部１４にて求められた抑圧係数ＫｒおよびＫｇから、下記の式（１）によって色差信号Ｃｒに対する抑圧係数Ｋｃｒを求める。
Ｋｃｒ＝１−（０．８×Ｋｒ＋０．２×Ｋｇ） ・・・（１）
Ｃｒ変換部４２はこの抑圧係数Ｋｃｒを色差信号Ｃｒに乗して得られた値を、色滲み抑圧処理後の色差信号Ｃｒ’として出力する。Ｒのデジタル信号の勾配値ＳｒとＧのデジタル信号の勾配値Ｓｇの値が十分に大きければ、図３に示す抑圧関数より、ＫｒもＫｇも１．０の値となるため、Ｋｃｒが０となり、色差信号Ｃｒ’の値は０となる。

反対に、勾配値Ｓｒと勾配値Ｓｇの値がいずれも十分に小さければ、図３に示す抑圧関数より、ＫｒもＫｇも０．０の値となるため、Ｋｃｒが１となり、色差信号Ｃｒ’として色差信号Ｃｒの値がそのまま出力される。また、勾配値Ｓｒが小さい場合には、勾配値Ｓｇの値に関わらず、色滲みが生じている可能性が低いため、Ｋｃｒが比較的１に近い値となり、色差信号Ｃｒの信号の値があまり低減されずに色差信号Ｃｒ’として出力される。このように、領域の勾配値によって、その領域が色滲みの抑圧対象となるか否かが判断されるだけでなく、色滲み抑圧処理の程度も判断される。

同様に、Ｃｂ変換部４３は抑圧係数算出部１４にて求められた抑圧係数ＫｂおよびＫｇから、下記の式（２）によって色差信号Ｃｂに対する抑圧係数Ｋｃｂを求める。
Ｋｃｂ＝１−（０．８×Ｋｂ＋０．２×Ｋｇ） ・・・（２）
Ｃｂ変換部４３はこの抑圧係数Ｋｃｂを色差信号Ｃｂに乗して得られた値を、色滲み抑圧処理後の色差信号Ｃｂ’として出力する。

図５は、撮像素子１１の非加算読み出しにおけるサンプリング周波数ｆｓ１およびナイキスト周波数ｆｎ１と、垂直２画素の加算読み出しにおけるサンプリング周波数ｆｓ２およびナイキスト周波数ｆｎ２を示す図である。ここで、図５で示すように、撮像素子１１の駆動方式が垂直２画素の加算読み出しである場合のサンプリング周波数ｆｓ２は、非加算読み出しである場合のサンプリング周波数ｆｓ１の半分となる。

図６は、撮像素子１１の駆動方式が非加算読み出しの場合と垂直２画素の加算読み出しの場合の、（ａ）が垂直方向における画像データの出力値、（ｂ）が（ａ）の画像データの垂直方向における出力値の変化の傾斜の大きさ（勾配）を表す図である。被写体は同一の被写体である。

図６から明らかなように、垂直２画素の加算読み出しのときは、非加算読み出しのときよりも、画像データの勾配が低下した中で色滲みが発生している。そこで、垂直２画素の加算読み出しのときは、非加算読み出しのときよりも、色滲みの抑圧処理を施す対象とする勾配値の範囲を広げる必要がある。

そこで、図７に示すように、制御部１６は撮像素子１１に駆動方式として非加算読み出しを指示した場合には、抑圧係数算出部１４に対し、設定情報である閾値３１として、初期設定値である第１の値を指示する。そして、制御部１６は撮像素子１１に駆動方式として垂直２画素の加算読み出しを指示した場合には、抑圧係数算出部１４に対して、設定情報である閾値３１として、第１の値よりも小さな値となる第２の値を指示する。

この結果、垂直２画素の加算読み出しのときは、色滲みの抑圧処理を実施する勾配値の範囲が広がり、より低い勾配値に対しても色滲みの抑圧処理が実施されることになる。言い換えれば、垂直２画素の加算読み出しのときは、非加算読み出しのときに比較して、色滲みの抑圧処理が実施される勾配値の範囲が広く設定されることになる。

また、図８に示すように、制御部１６は、垂直２画素の加算読み出しを指示した場合には、非加算読み出しを指示した場合に比べて、抑圧係数算出部１４に対して、より大きな値の変化量３２を指示するようにしてもよい。こうすることにより、垂直２画素の加算読み出しのときは、色滲みの抑圧処理の程度が強くなり、勾配値の低い色滲みに対しても積極的な抑圧処理が施されることになる。

以上説明したように、本実施形態によれば、撮像素子１１の駆動方式が加算読み出しか非加算読み出しかに応じて、色滲みの抑圧処理の対象とする勾配値の範囲を変化させている。このようにすることで、撮像素子１１の駆動方式が加算読み出しと非加算読み出しとで切り替わった場合であっても、いずれに対しても好適な色滲みの抑圧処理を実施することが可能となる。

（第２の実施形態）
本実施形態に係る画像処理装置としての撮像装置の構成は、第１の実施形態で説明した図１に示すものと同じである。

本実施形態では、制御部１６の指示によって、撮像素子１１の駆動方式が、非加算読み出しと垂直２画素の加算読み出しだけでなく、垂直３画素の加算読み出しにも切り替えられる構成となる点で、第１の実施形態と異なる。

図９は三板のＣＭＯＳセンサからなる撮像素子１１の画素位置と、垂直２画素の加算読み出しにて出力される信号の位相と、垂直３画素の加算読み出しにて出力される信号の位相の関係を示す図である。垂直３画素の加算読み出しで駆動する場合は、３板のそれぞれのセンサの画素信号が、垂直方向において３画素を加算平均したものが画像データとして出力される。

図１０は、垂直２画素の加算読み出しにおけるサンプリング周波数ｆｓ２およびナイキスト周波数ｆｎ２と、垂直３画素の加算読み出しにおけるサンプリング周波数ｆｓ３およびナイキスト周波数ｆｎ３を示す図である。この図１０からわかるように、加算する画素数が増えるほどサンプリング周波数は低下する。

図１１は、撮像素子１１の駆動方式が垂直２画素の加算読み出しの場合と垂直３画素の加算読み出しの場合の、（ａ）が垂直方向における画像データの出力値、（ｂ）が（ａ）の画像データの垂直方向における勾配を表している。被写体は同一の被写体である。

図１１に示すように、垂直３画素の加算読み出しのときは、垂直２画素の加算読み出しのときよりも、画像データの勾配が低下した中で色滲みが発生している。このように、加算する画素数が増えるほど、色滲みの抑圧処理を施す対象とする勾配値の範囲を広げる必要がある。

そのため、本実施形態では、制御部１６は撮像素子１１の加算読み出しにおける加算する画素数が増えるほど、設定情報である閾値３１の値を小さく設定する。すなわち、制御部１６は、垂直３画素の加算読み出しの場合は垂直２画素の加算読み出しの場合に比べて、閾値３１を小さな値に変更する。また、制御部１６は、撮像素子１１の加算読み出しにおける加算する画素数が増えるほど、変化量３２をより大きな値に変更するように指示するようにしても構わない。

以上説明したように、本実施形態によれば、撮像素子１１の加算読み出しにおける加算する画素数に応じて、色滲みの抑圧処理の対象とする勾配値の範囲を変化させている。具体的には、撮像素子１１の加算読み出しにおける加算する画素数が第１の数からそれよりも大きな第２の数に変化することによって、色滲みの抑圧処理の対象となる勾配値の範囲を広く変化させている。このようにすることで、撮像素子１１の加算読み出しにおける加算する画素数が切り替わった場合であっても、いずれに対しても好適な色滲みの抑圧処理を実施することが可能となる。

（第３の実施形態）
図１２に本発明の第３の実施形態に係る画像処理装置の一例としての、デジタルカメラやデジタルビデオカメラ等の撮像装置のブロック図を示す。

本実施形態では、ＡＦＥ１２と勾配検出部１３１、１３２、１３３の間に、帯域制限部２２１、２２２、２２３を設けた点が、第１の実施形態における図１に示すブロック図と異なる。

帯域制限部２２１〜２２３は、画像データから検出される勾配の範囲を変化させる機能を有する。そして、制御部１６は、帯域制限部２２１〜２２３に対して、フィルタ係数を変化させるための指示を出力する。

図１３は、画像データに帯域制限をかけることによる、画像データの出力と周波数特性の変化を説明するための図である。図１３（ａ）はＡＦＥ１２から出力された垂直方向における画像データの値であり、図１３（ｂ）はこの画像データの周波数特性を示す。図１３（ｃ）は帯域制限部２２１〜２２３の透過帯域を示す。図１３（ｄ）は図１３（ａ）の画像データが帯域制限部２２１〜２２３を通過したことによって得られた画像データであり、図１３（ｅ）は図１３（ｄ）の画像データの周波数帯域を示す。

帯域制限部２２１〜２２３は、制御部１６の指示に応じてフィルタ係数を変化させることで、図１３（ｃ）に示す透過帯域を変化させることが可能である。

本実施形態では、撮像素子１１は垂直２画素の加算読み出し駆動と、非加算読み出し駆動の２つ駆動方式を切り替えるものとする。図５に示すように、垂直２画素の加算読み出しのときのサンプリング周波数ｆｓ２は、非加算読み出しのときのサンプリング周波数ｆｓ１の半分となる。

よって、第１の実施形態の図６で説明したように、垂直２画素の加算読み出しのときは、非加算読み出しのときよりも、画像データの勾配が低下した中で色滲みが発生する。そこで、垂直２画素の加算読み出しのときは非加算読み出しのときよりも画像データから勾配値が検出されやすくなるように、勾配が生じている見た目上の範囲を広げ、かつ、色滲みの抑圧処理の対象となる勾配値の範囲を広げる必要がある。

そこで、制御部１６は、撮像素子１１が垂直２画素の加算読み出しをしているならば、非加算読み出しをしている場合に比較して、帯域制限部２２１〜２２３に対して、透過帯域が狭くなるようにフィルタ係数を指示する。

図１４は、非加算読み出しした画像データと、垂直２画素の加算読み出しした画像データのそれぞれに対して帯域制限をかけた例を説明するための図である。図１４（ａ）が非加算読み出しのときの画像データの出力を示し、図１４（ｂ）が図１４（ａ）の画像データに対する帯域制限フィルタの特性を示し、図１４（ｃ）が図１４（ａ）の画像データの帯域制限された結果を示す。図１４（ｄ）が垂直２画素の加算読み出しのときの画像データの出力を示し、図１４（ｅ）が図１４（ｄ）の画像データに対する帯域制限フィルタの特性を示し、図１４（ｆ）が図１４（ｄ）の画像データの帯域制限された結果を示す。

図１４（ｄ）に示す垂直２画素の加算読み出しによる画像データは、非加算読み出しのときと比較して狭帯域に設定された図１４（ｅ）に示すフィルタを通過させることで、図１４（ｆ）に示すように勾配が生じている部分の幅を広げた画像データが得られる。図１４（ｄ）に示すように、フィルタを通過させる前の画像データでは、勾配が生じている範囲の端部ではその出力値の傾斜が小さいため、色滲みの抑圧対象となりにくかった。しかしながら、図１４（ｆ）に示すように、フィルタを通過させることで、それまで勾配の範囲の端部であった位置でも傾斜を確保することができるようになり、その領域が色滲みの抑圧対象となりやすくなる。

そして、制御部１６は、抑圧係数算出部１４に対して、図７で示すように、閾値３１を非加算読み出しのときよりも小さな値に設定する。その結果、画像データ上の勾配が生じているとして検出される画素の範囲が広がり、かつ、抑圧処理の対象となる勾配値の範囲が広がる。そのため、非加算読み出しのときよりも、低い勾配で生じた色滲みに対しても抑圧処理を実施することが可能となる。

同様に、図８に示すように、制御部１６は、垂直２画素の加算読み出しを指示した場合には、非加算読み出しを指示した場合に比べて、抑圧係数算出部１４に対して、より大きな値の変化量３２を指示するようにしても構わない。

また、第２の実施形態のように、加算読み出しの際の加算する画素数が変化する場合においても、帯域制限部２２１〜２２３のフィルタ係数を変化させても構わない。加算する画素数が増えるほど、画像データの勾配が低下するのであるから、加算する画素数が増加するほど、帯域制限部２２１〜２２３のフィルタ特性を狭帯域とすればよい。

（第４の実施形態）
図１５に本発明の第４の実施形態に係る画像処理装置の一例としての、フォトストレージ等の画像再生装置のブロック図を示す。

本実施形態では、撮像素子１１、ＡＦＥ１２および抑圧処理部１５の代わりに、ＲＧＢ変換部２３、よび、抑圧処理部２４設けた点が、第１の実施形態における図１に示す撮像装置と異なる。また、記憶媒体２１から符号化／復号化部２０を介してメモリ１７に記憶された駆動情報が、制御部１６に送信される点でも異なる。

記憶媒体２１には、画像データを符号化したもの、および、この画像データの撮影時の撮像素子の読み出し方法を示す情報を符号化したものが記憶されている。記憶媒体２１から読み出されたデータは、符号化／復号化部２０によって、Ｙ、Ｃｒ、Ｃｂからなる画像データに復号化されるとともに、撮像素子の読み出し方法を示す駆動情報に複合化され、メモリ１７に書き込まれる。

制御部１６は、メモリ１７に書き込まれた駆動情報を取得し、その駆動情報が示す撮像素子の読み出し方法に応じて、第１の実施形態と同様に、抑圧係数算出部１４に対して設定情報を出力する。

メモリ１７に書き込まれたＹ、Ｃｒ、Ｃｂからなる画像データは、ＲＧＢ変換部２３と抑圧処理部２４に出力される。ＲＧＢ変換部２３はＹ、Ｃｒ、Ｃｂからなる画像データを、公知の方法によってＲ、Ｇ、Ｂからなる画像データに変換する。輝度信号Ｙおよび色差信号Ｃｒ、ＣｂからＲＧＢのデジタル信号を生成する方法は周知の技術であるため、詳細な説明は省略する。

ＲＧＢの画像データを得ると、勾配検出部１３１〜１３３にて求めた各色の勾配値（Ｓｒ、Ｓｇ、Ｓｂ）と、制御部１６から出力される設定情報から、画像データのＲＧＢの各色の抑圧係数（Ｋｒ、Ｋｇ、Ｋｂ）を求める。

図１６は、抑圧処理部２４の内部構成を示す図である。Ｃｒ抑圧部５２およびＣｂ抑圧部５３は、抑圧係数算出部１４から出力されるＲＧＢの抑圧係数（Ｋｒ、Ｋｇ、Ｋｂ）から、メモリ１７から出力された色差信号Ｃｒ、Ｃｂに対する抑圧係数を算出し、色差信号Ｃｒ、Ｃｂに対して色滲み抑圧処理を実施する。色差信号Ｃｒ、Ｃｂに対する抑圧係数Ｋｃｒ、Ｋｃｂの算出方法、および、色差信号Ｃｒ、Ｃｂに対しる色滲み抑圧処理は、第１の実施形態で説明したものと同様である。そして、色滲み抑圧処理が施された色差信号Ｃｒ’、Ｃｂ’と輝度信号Ｙを、色滲み抑圧後の画像データとして出力する。

このＹ、Ｃｒ’、Ｃｂ’の各信号はメモリ１７に記憶され、符号化／復号化部２０によって符号化されて記憶媒体２１に書き込まれる。

以上説明したように、本実施形態によれば、撮像装置だけでなく、画像データを再生する装置であっても、上記の各実施形態と同様の効果を得ることが可能となることがわかる。

（第５の実施形態）
図１７に本発明の第５の実施形態に係る画像処理装置の一例としての、デジタルカメラやデジタルビデオカメラ等の撮像装置のブロック図を示す。この図１７に示す撮像装置は、第１の実施形態において示した図１の構成と、第４の実施形態において示した図１５の構成を合成したものである。

この図１５に示す撮像装置は、Ｙ、Ｃｒ、Ｃｂからなる画像データとＲ、Ｇ、Ｂからなる画像データを相互に変換可能なＲＧＢ／ＹＣｒＣｂ変換部２５を備えている。このＲＧＢ／ＹＣｒＣｂ変換部２５を設けることで、撮像素子１１にて生成された画像データに対しても、記憶媒体２１から読み出した画像データに対しても、撮影時の撮像素子の駆動方式に応じて、好適な色滲みの抑圧処理を実施することが可能となる。

（他の実施形態）
上述の実施形態は、上述した撮像装置や画像再生装置に限らず、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。記憶媒体又は有線／無線通信により画像データを受け取り、この画像データに対して、色滲み抑圧処理を行う構成であっても構わない。

従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。

つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、コンピュータへのインストールを許可してもよい。

また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

１１ 撮像素子
１２ ＡＦＥ
１３１、１３２、１３３ 勾配検出部
１４ 抑圧係数算出部
１５、２４ 抑圧処理部
１６ 制御部
１７ メモリ
１８ 画像変換部
１９ 表示装置
２０ 符号化／復号化部
２１ 記憶媒体
２２１、２２２、２２３ 帯域制限部
２３ ＲＧＢ変換部
２５ ＲＧＢ／ＹＣｒＣｂ変換部

Claims (11)

1. 画像データから勾配値を求める勾配検出手段と、
   前記勾配値に基づいて抑圧係数を算出する抑圧係数算出手段と、
   前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、
   前記抑圧係数算出手段は、前記勾配値が閾値を超えた場合に、前記対象となる領域の色滲みが抑圧されるように前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が非加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲よりも、加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲のほうが広くなるように、前記閾値を設定することを特徴とする画像処理装置。
2. 前記抑圧係数算出手段は、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が非加算読み出しである場合の前記勾配値の範囲よりも、加算読み出しである場合の前記勾配値の範囲のほうが、色滲みの抑圧の程度が大きくなるように、前記抑圧係数を算出することを特徴とする請求項１に記載の画像処理装置。
3. 画像データから勾配値を求める勾配検出手段と、
   前記勾配値に基づいて抑圧係数を算出する抑圧係数算出手段と、
   前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、
   前記抑圧係数算出手段は、前記勾配値が閾値を超えた場合に、前記対象となる領域の色滲みが抑圧されるように前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が第１の数の画素だけ加算する加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲よりも、前記第１の数よりも大きな第２の数の画素だけ加算する加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲のほうが広くなるように、前記閾値を設定することを特徴とする画像処理装置。
4. 前記抑圧係数算出手段は、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が前記第１の数の画素だけ加算する加算読み出しである場合の前記勾配値の範囲よりも、前記第２の数の画素だけ加算する加算読み出しである場合の前記勾配値の範囲のほうが、色滲みの抑圧の程度が大きくなるように、前記抑圧係数を算出することを特徴とする請求項３に記載の画像処理装置。
5. 画像データに対して帯域制限をかけるフィルタ手段と、
   前記フィルタ手段にて帯域制限をかけられた画像データから勾配値を求める勾配検出手段と、
   前記勾配値に基づいて抑圧係数を算出する抑圧係数算出手段と、
   前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、
   前記抑圧係数算出手段は、前記勾配値に応じて前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が非加算読み出しである場合の前記フィルタ手段にて制限された帯域よりも、加算読み出しである場合の前記フィルタ手段にて制限された帯域のほうが狭くなるように、前記フィルタ手段にて制限する帯域を設定することを特徴とする画像処理装置。
6. 画像データに対して帯域制限をかけるフィルタ手段と、
   前記フィルタ手段にて帯域制限をかけられた画像データから勾配値を求める勾配検出手段と、
   前記勾配値に基づいて抑圧係数を算出する抑圧係数算出手段と、
   前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧手段を有し、
   前記抑圧係数算出手段は、前記勾配値に応じて前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が第１の数の画素だけ加算する加算読み出しである場合の前記フィルタ手段にて制限された帯域よりも、前記第１の数よりも大きな第２の数の画素だけ加算する加算読み出しである場合の前記フィルタ手段にて制限された帯域のほうが狭くなるように、前記フィルタ手段にて制限する帯域を設定することを特徴とする画像処理装置。
7. 画像データから勾配値を求める勾配検出工程と、
   前記勾配値に基づいて抑圧係数を算出する抑圧係数算出工程と、
   前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧工程を有し、
   前記抑圧係数算出工程は、前記勾配値が閾値を超えた場合に、前記対象となる領域の色滲みが抑圧されるように前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が非加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲よりも、加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲のほうが広くなるように、前記閾値を設定することを特徴とする画像処理方法。
8. 画像データから勾配値を求める勾配検出工程と、
   前記勾配値に基づいて抑圧係数を算出する抑圧係数算出工程と、
   前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧工程を有し、
   前記抑圧係数算出工程は、前記勾配値が閾値を超えた場合に、前記対象となる領域の色滲みが抑圧されるように前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が第１の数の画素だけ加算する加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲よりも、前記第１の数よりも大きな第２の数の画素だけ加算する加算読み出しである場合の色滲みが抑圧されるために要する前記勾配値の範囲のほうが広くなるように、前記閾値を設定することを特徴とする画像処理方法。
9. 画像データに対して帯域制限をかけるフィルタ工程と、
   前記フィルタ工程にて帯域制限をかけられた画像データから勾配値を求める勾配検出工程と、
   前記勾配値に基づいて抑圧係数を算出する抑圧係数算出工程と、
   前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧工程を有し、
   前記抑圧係数算出工程は、前記勾配値に応じて前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が非加算読み出しである場合の前記フィルタ工程にて制限された帯域よりも、加算読み出しである場合の前記フィルタ工程にて制限された帯域のほうが狭くなるように、前記フィルタ工程にて制限する帯域を設定することを特徴とする画像処理方法。
10. 画像データに対して帯域制限をかけるフィルタ工程と、
    前記フィルタ工程にて帯域制限をかけられた画像データから勾配値を求める勾配検出工程と、
    前記勾配値に基づいて抑圧係数を算出する抑圧係数算出工程と、
    前記抑圧係数に基づいて、前記画像のうち対象となる領域の色滲みを抑圧するよう画像処理を行う抑圧工程を有し、
    前記抑圧係数算出工程は、前記勾配値に応じて前記抑圧係数を算出するものであって、前記画像データを生成した撮像素子の前記画像データを生成したときの駆動方式が第１の数の画素だけ加算する加算読み出しである場合の前記フィルタ工程にて制限された帯域よりも、前記第１の数よりも大きな第２の数の画素だけ加算する加算読み出しである場合の前記フィルタ工程にて制限された帯域のほうが狭くなるように、前記フィルタ工程にて制限する帯域を設定することを特徴とする画像処理方法。
11. 請求項７乃至１０のいずれかに記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images