JP6552248B2

JP6552248B2 - 画像処理装置及び方法、撮像装置、並びにプログラム

Info

Publication number: JP6552248B2
Application number: JP2015075470A
Authority: JP
Inventors: 本田　充輝; 充輝本田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-04-01
Filing date: 2015-04-01
Publication date: 2019-07-31
Anticipated expiration: 2035-04-01
Also published as: JP2016195367A

Description

本発明は、画像処理技術に関し、特に、撮像光学系の倍率色収差を補正するための技術に関する。

従来より、ＣＣＤ等の固体撮像装置において、撮影レンズに応じて倍率色収差補正を行う技術が開示されている。例えば特許文献１は、撮影レンズの倍率色収差が像高と入射光の波長により決まる性質を利用して、像高毎に倍率色収差量を求め補正を行う技術を開示している。また、特許文献２は、画像のエッジ部分について色ずれ量を検出し、この色ずれ量に基づいて倍率色収差量を求める技術を開示している。

特開平６−２９２２０７号公報特許第４７０６６３５号公報

しかし、入力画像が図５（ａ）に示されるような特定の狭帯域の波長領域に信号成分の多くを占める分光特性５００１を有する場合、Ｒ画素とＧ画素の間で倍率色収差はほとんど生じず、本来、倍率色収差補正を行う必要がない。一方、入力画像が図５（ｂ）に示されるような、信号波長が広帯域に分布する分光特性５００２を有する場合、Ｒ画素とＧ画素の間で倍率色収差はあるので、倍率色収差補正を行う必要がある。しかし従来の技術では、一枚の被写体画像に分光特性５００１を有する画像と分光特性５００２を有する画像が同時に存在する場合、それぞれの画像に最適な倍率色収差補正を行うことができないという問題点がある。

そこで本発明は、倍率色収差補正の精度の点で有利な技術を提供することを目的とする。

本発明の一側面によれば、複数の色信号を含む画像データからエッジを検出する検出手段と、前記画像データの注目画素または前記注目画素を含む画素群の色比を算出し、前記色比に基づいて前記注目画素又は前記画素群が属する色比領域を判定する判定手段と、前記判定された色比領域別に像高毎の色ずれ量を算出し、該色ずれ量に基づいて補正データを作成する作成手段と、前記補正データに基づいて、前記画像データに対して倍率色収差の補正を行う補正手段とを有し、前記作成手段は、前記検出手段により検出されたエッジにおける画素の色ずれ量を算出する手段を含み、前記作成手段は、前記像高毎に前記色比領域毎のエッジの個数を求め、前記個数が多い前記色比領域ほど、前記色ずれ量に大きな重み付けを行うことによって、前記補正データを作成することを特徴とする画像処理装置が提供される。

本発明によれば、倍率色収差補正の精度の点で有利な技術が提供される。

実施形態に係る撮像装置のブロック図。実施形態における補正データ作成部の動作を示すフローチャート。実施形態における色比領域判定処理のフローチャート。実施形態における色収差補正処理部の動作を示すフローチャート被写体の分光によって倍率色収差補正量を変化させることを説明する図。ある像高における、色比領域毎の色ずれ量平均値を表すグラフ。色比領域別の、像高と色ずれ量平均値との関係を表すグラフ。実施形態におけるエッジ検出部の動作を説明する図。像高毎に分割された領域の例を示す図。実施形態における補間処理部の動作を説明する図。実施形態における補正データ作成部の動作を示すフローチャート。色比領域毎の、色ずれ量を算出したエッジの個数を示すグラフ。色比領域別の、像高と色ずれ量の平均値の関係を表すグラフ。色比領域と重みの関係を表す重み関数の例を示す図。実施形態における補正データ作成部の動作を示すフローチャート。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。

＜第１実施形態＞
図１は、本実施形態に係る撮像装置の一部である画像処理装置１００の構成例を示すブロック図である。図１において、撮像部１０１は、図示しない撮影レンズ、撮像素子及びその駆動回路からなり、撮影レンズにより結像する光学像を撮像素子により電気信号に変換する。この撮像素子はＣＣＤやＣＭＯＳセンサで構成されており、例えば、図１０（ａ）に示すＲ，Ｇ，Ｂのベイヤー配列の画素の集合で構成されているものとする。

撮像部１０１から出力されるアナログ信号は、Ａ／Ｄ変換部１０２によってデジタル信号に変換される。Ａ／Ｄ変換部１０２によってデジタル信号に変換された画像データは、複数色の色信号を含む画像データである。この画像データは、ホワイトバランス処理部１０３で公知のホワイトバランス（ＷＢ）調整が行われる。ホワイトバランス処理部１０３から出力された画像信号は、倍率色収差補正部１０４に入力される。

倍率色収差補正部１０４は、詳細は後述するが、補間処理部１０５と色収差補正処理部１０６とエッジ検出部１０７と補正データ作成部１０８とを含む。補間処理部１０５から出力された補間信号は色収差補正処理部１０６、エッジ検出部１０７、及び補正データ作成部１０８に入力される。エッジ検出部１０７で求めたエッジ信号は、補正データ作成部１０８に入力される。補正データ作成部１０８で作成された倍率色収差補正データに基づいて、色収差補正処理部１０６で倍率色収差補正が行われる。倍率色収差補正部１０４で補正された倍率色収差補正済みの画像信号は、信号処理部１０９に入力され、公知の輝度信号処理、色信号処理等が行われる。

ここで、図１０を用いて補間処理部１０５の動作を説明する。図１０（ａ）のベイヤー配列から、Ｒ成分、Ｇ成分、Ｂ成分ごとに分離する。分離した後に画素値のない画素位置に関しては０を挿入する（図１０（ｂ））。図１０（ｂ）で生成した各プレーン画像に対して、各成分ごとに公知の色補間処理を行う(図１０（ｃ））。

続いて、エッジ検出部１０７について説明する。補間処理部１０５で色補間処理が行われた信号から、エッジを検出する。倍率色収差による色ずれは画像のエッジ部に顕著に現れるためである。画像のエッジ検出は、例えば次式により輝度信号を求めて、輝度信号プレーンを使って行う。
Ｙ＝０．３＊Ｒ＋０．６＊Ｇ＋０．１＊Ｂ（式１）

倍率色収差による色ずれは光学中心からの動径方向に対して変化するので、光学中心からの動径方向で大きく画素値が変化するエッジに限定することで、精度の高い色ずれ量の取得が可能となる。具体的には、図８に示すように、エッジ検出の取得方向を、上下方向（（１）の領域）、斜め４５度方向（（２）の領域）、左右方向（（３）の領域）、斜め１３５度方向（（４）の領域）に限定する。

続いて、図２のフローチャートを参照して、補正データ作成部１０８の動作を説明する。以下では、基準色信号をＧ信号とし、Ｒ画素を補正する場合について説明する。Ｂ画素の補正についても同様であるため、Ｂ画素の補正の説明は省略する。

補正データ作成部１０８は、エッジ検出部１０７で検出されたエッジにおける注目画素（または注目画素及びその周辺画素）に対して、補正データの作成を行う。Ｓ２０１で、補正データ作成部１０８は、補間処理部１０５で作成された画素信号に基づいてＧ信号に対するＲ信号の色比Ｒ／Ｇを算出し、算出した色比に基づいて注目画素がどの色比領域に属するかを判定する。

ここで、Ｓ２０１の色比領域判定処理の詳細動作を、図３のフローチャートを参照して説明する。補正データ作成部１０８は、図３のフローに従い、色比Ｒ／Ｇを算出し、この色比を閾値と比較し、その結果に応じて注目画素がどの色比領域に属するかを判定する。ここでは、３つの閾値ＴＨ１，ＴＨ２，ＴＨ３が設定されており、ＴＨ１＜ＴＨ２＜ＴＨ３であるものとする。

まず、Ｓ３０１で、色比Ｒ／Ｇが算出される。
次にＳ３０２で、色比Ｒ／Ｇが閾値ＴＨ３より大きいか否かが判定される。ここで色比Ｒ／Ｇが閾値ＴＨ３より大きければ、注目画素は色比領域Ｃ３に属すると判定される（Ｓ３０８）。
色比Ｒ／Ｇが閾値ＴＨ３より大きくない場合は、Ｓ３０３で、色比Ｒ／Ｇが閾値ＴＨ２より大きいか否かが判定される。ここで色比Ｒ／Ｇが閾値ＴＨ２よりも大きい場合は、注目画素は色比領域Ｃ２に属すると判定される（Ｓ３０７）。
色比Ｒ／Ｇが閾値ＴＨ２より大きくない場合は、Ｓ３０４で、色比Ｒ／Ｇが閾値ＴＨ１より大きいか否かが判定される。色比Ｒ／Ｇが閾値ＴＨ１よりも大きい場合は、注目画素は色比領域Ｃ１に属すると判定される（Ｓ３０６）。
色比Ｒ／Ｇが閾値ＴＨ１より大きくない場合、注目画素は色比領域Ｃ０に属すると判定される（Ｓ３０５）。

再び、図２のフローチャートの説明に戻る。次に、Ｓ２０２で、補正データ作成部１０８は、色ずれ量の算出を行う。色ずれの量の算出は、基準色信号であるＧ信号に対するＲ信号の色ずれ量を算出する。また、取得する色ずれの方向は、例えば、光学中心と各エッジの位置関係により、図８に示すように、上下方向（（１）の領域）、斜め４５度方向（（２）の領域）、左右方向（（３）の領域）、斜め１３５度方向（（４）の領域）に限定する。これにより処理を簡略化することができる。

続いて、Ｓ２０３で、補正データ作成部１０８は、色比領域Ｃ０〜Ｃ４毎に色ずれ量を集計して、像高毎の色ずれ量を求める。像高の分割は、図９に示すような、画像を像高毎（ｈ０〜ｈ６）に分割して、像高毎に色ずれ量の統計量を取得するようにする。

ここで、図５を用いて、被写体の分光によって倍率色収差補正量を変化させることについて説明する。図の横軸は波長で、右側に行くに従って、長波長側になる。縦軸は強度で、値が大きいほどその波長域での感度が高いことを示している。「Ｒ」はＲ画素の分光感度分布、「Ｇ」はＧ画素の分光感度分布、「Ｂ」はＢ画素の分光感度分布を示している。

図５（ａ）は、入力画像が、特定の狭帯域の波長領域に信号成分の多くを占める分光特性５００１を有する場合を示している。図５（ｂ）は、入力画像が、信号波長が広帯域に分布する分光特性５００２を有する場合を示している。図５（ａ）のような特定の波長領域に分光感度を持つ被写体の場合、Ｇ画素に対するＲ画素の倍率色収差の量（色ずれ量）はほぼ０である。この例では、Ｇに対するＲの分光感度の比率が大きくなる、つまり色比Ｒ／Ｇが大きくなる。

他方、図５（ｂ）のようなフラットな特性を持つ被写体の場合、倍率色収差を行う必要がある。この例では、Ｇに対するＲの分光感度の比率が１に近づく。つまり、色比Ｒ／Ｇは１に近づく。このように、被写体の色特性の違いにより倍率色収差量が異なるので、本実施形態では、色毎に倍率色収差補正量を求めて倍率色収差補正を行う。

次に、図６及び図７を用いて、Ｓ２０３の動作について説明する。図６は、ある像高における色比領域毎の色ずれ量の平均値の例を示すグラフであり、横軸は色比領域、縦軸は色ずれ量の平均値R_diffを示している。この例では、色比が大きくなるにしたがって、色ずれ量が小さくなっている。図７は、色比領域別に、像高毎の色ずれ量の平均値の例を示すグラフであり、横軸が像高、縦軸が色ずれ量の平均値R_diffを示している。

続いて、図４のフローチャートを参照して、色収差補正処理部１０６の動作を説明する。色収差補正処理部１０６は、補正データ作成部１０８で作成された色比領域別の像高毎の色ずれ量に基づいて、補間処理部１０５で色補間処理が行われた信号に対して、色収差補正を行う。Ｓ４０１で、色収差補正処理部１０６は、補間処理部１０５で作成された信号に基づいて注目画素の色比Ｒ／Ｇを算出し、この注目画素がどの色比領域に属するかを判定する。色比領域の判定の処理手順は図２のＳ２０１と同様である（図３参照）。続いて、Ｓ４０２で、色収差補正処理部１０６は、Ｓ４０１で判定した色比領域に応じて、補正データ作成部１０８で作成された色比領域別の色ずれ量（図７）に従い色ずれ補正を行う。

上記説明したように、色比領域別に像高毎の色ずれ量を求め、色比領域ごとに異なる色ずれ量を適用して倍率色収差補正を行う。これにより、被写体の同じ像高に異なる色の被写体がある場合であっても、それぞれの色に応じた正確な倍率色収差補正を行うことが可能となる。

上述の実施形態では、色比の取得は注目画素で行ったが、これに限定されない。例えば、敏感度を下げるために、注目画素を含む、例えば５×５の画素群における色比平均値を算出し、これに基づき当該画素群の色比領域を判定するようにしてもよい。

＜第２実施形態＞
以下、第２実施形態を説明する。上述の第１実施形態と共通する点については説明を省略し、主に異なる点について説明する。本実施形態では、図１の構成は第１実施形態と共通であるが、色収差補正処理部１０６、補正データ作成部１０８の処理内容が異なる。図１１のフローチャートを参照して補正データ作成部１０８の動作を説明する。

補正データ作成部１０８は、エッジ検出部１０７で検出されたエッジにおける画素（またはエッジにおける画素及びその周辺画素）に対して、補正データの作成を行う。Ｓ１１０１で、補正データ作成部１０８は、補間処理部１０５で作成された信号に基づいて、注目画素の色比Ｒ／Ｇを算出し、この注目画素がどの色比領域に属するかを判定する。Ｓ１１０１の詳細動作は第１実施形態におけるＳ２０１と同様であるため、詳細な説明は省略する。

次に、Ｓ１１０２で、補正データ作成部１０８は、色ずれ量の算出を行う。色ずれ量の算出は、基準色信号であるＧ信号に対するＲ信号の色ずれ量を算出する。

続いて、Ｓ１１０３で、補正データ作成部１０８は、色比領域毎に色ずれ量を集計して、像高毎の色ずれ量を求める。像高の分割は、第１実施形態において図９を用いて説明したのと同様に、画像を像高毎（ｈ０〜ｈ６）に分割して、像高毎に色ずれ量の統計量を取得するようにする。

ここで、図１２及び図１３を参照して、Ｓ１１０３の動作を説明する。図１２は、ある像高における色比領域毎の、色ずれ量を算出したエッジの個数Countのグラフで、横軸は色比領域、縦軸は色ずれ量を算出したエッジの個数を示している。図１２（ａ）は、像高ｈ０、図１２（ｂ）は像高ｈ４でのエッジの個数を示している。図１２（ａ）では、色比領域Ｃ０のエッジ個数が最大なので、倍率色収差補正においてＣ０が最も重要な領域であるから、Ｃ０の補正値に対してより強い重みをかける。例えば、色比領域毎のエッジのカウント数をCount(Ci)、ずれ量をR_diff(Ci)(i = 0,1,2,3)とすると、色比領域Ｃ０での色ずれ量R_diffは、次式のように表現されうる。

図１２（ｂ）では、色比領域Ｃ２のエッジ個数が最大なので、倍率色収差補正においてＣ２が最も重要な領域であるから、Ｃ２の補正値に対してより強い重みをかける。このように、エッジの個数が多い色比領域ほど補正量が大きくなるように、色ずれ量に重み付けを行う。

図１３は、色比領域別の、像高と色ずれ量平均値との関係を表すグラフで、横軸が像高、縦軸が色ずれ量平均値R_diffを示している。点線は、色比領域別の色ずれ量平均値を示し、図７のグラフに対応している。例えば、像高ｈ０からｈ２までは色比領域Ｃ０の重みを強くする。像高ｈ３では色比領域Ｃ１の重みを強くする。像高ｈ４では色比領域Ｃ２の重みを強くする。像高ｈ５からｈ６では色比領域Ｃ３の重みを強くする。このような重みの遷移が実線１３００で示される。このように、重み付けは像高別に行われる。

次に、本実施形態における色収差補正処理部１０６の動作を説明する。色収差補正処理部１０６は、補正データ作成部１０８で作成された色ずれ量に基づいて、補間処理部１０５で色補間処理が行われた信号に対して色収差補正を行う。上述したように、色比領域毎に色ずれ量を算出したエッジの個数をカウントして、カウント数が多い色比領域の色ずれ量に対してより重みが強くなるように補正を行う。このようにすることで、色ずれ量が多い色の情報を優先的に使用することができるため、精度の高い色収差補正を行うことが可能となる。

また、本実施形態では、式２を使って色ずれ量を求めたが、これに限定されず、色収差補正に重要な色比領域に重みが与えられるものであればよい。

また、上記した重み付けにおける重み付け係数は、図１４に示されるような色比領域と重みWeightとの関係を有する重み関数によって与えられてもよい。より具体的には、例えば、色比領域毎のエッジ個数をCount(Ci)、色ずれ量をR_diff(Ci)、重み関数Weight(Ci) (i = 0,1,2,3)とすると、出力の色ずれ量R_diffは次式のように表現される。

このようにすることで、より低彩度な被写体画像での色ずれ量を重視するといった色ずれ量検出が可能となる。

＜第３実施形態＞
以下、第３実施形態を説明する。上述の第１、第２実施形態と共通する点については説明を省略し、主に異なる点について説明する。本実施形態では、図１の構成は第１、第２実施形態と共通であるが、補正データ作成部１０８の処理内容の詳細が異なる。図１５のフローチャートを参照して補正データ作成部１０８の動作を説明する。

補正データ作成部１０８は、エッジ検出部１０７で検出されたエッジにおける画素（またはエッジにおける画素及びその周辺画素）に対して、補正データの作成を行う。Ｓ１５０１で、補間処理部１０５で作成された信号に基づいて、注目画素の色比Ｒ／Ｇを算出し、この注目画素がどの色比領域に属するかを判定する。Ｓ１５０１の詳細動作は第１実施形態におけるＳ２０１と同様であるため、詳細な説明は省略する。

次に、Ｓ１５０２で、補正データ作成部１０８は、像高毎にずれ量を求める色比領域を選択する。ここで図１２を用いて、Ｓ１５０２の動作について説明を行う。図１２（ａ）に示されるように、像高ｈ０では色比領域Ｃ０のエッジ個数が最大であるので、色比領域Ｃ０が選択される。また、図１２（ｂ）に示されるように、像高ｈ４では色比領域Ｃ２が最もエッジ個数が多いので、色比領域Ｃ２が選択される。

次に、Ｓ１５０３で、補正データ作成部１０８は、像高毎に選択した色比領域のずれ量を求める。例えば、像高ｈ０では色比領域Ｃ０にあるエッジの色ずれ量検出を行い、像高ｈ４では色比領域Ｃ２にあるエッジの色ずれ量検出を行う。

このようにすることで、像高毎に全ての色比領域毎の色ずれ量を算出する必要がなく、色ずれ量が多い色の情報を優先的に使用することができるため、高速かつ精度の高い色収差補正を行うことが可能となる。

また、図１４に示されるような色比領域と重みWeightとの関係を有する重み関数を導入してもよい。より具体的には、例えば、色比領域毎のエッジ個数をCount(Ci)、重み関数Weight（Ci) (i = 0,1,2,3)とすると、色比領域毎の重み付きエッジ個数のWeightCount(Ci)は、次式のように表現される。

WeightCount(Ci) = Count(Ci) * Weight(Ci) （式４）

＜他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像装置、１０１：撮像部、１０４：倍率色収差補正部、１０５：補間処理部、１０６：色収差補正処理部、１０７：エッジ検出部、１０８：補正データ作成部、１０９：信号処理部

Claims

複数の色信号を含む画像データからエッジを検出する検出手段と、
前記画像データの注目画素または前記注目画素を含む画素群の色比を算出し、前記色比に基づいて前記注目画素又は前記画素群が属する色比領域を判定する判定手段と、
前記判定された色比領域別に像高毎の色ずれ量を算出し、該色ずれ量に基づいて補正データを作成する作成手段と、
前記補正データに基づいて、前記画像データに対して倍率色収差の補正を行う補正手段と、
を有し、
前記作成手段は、前記検出手段により検出されたエッジにおける画素の色ずれ量を算出する手段を含み、
前記作成手段は、
前記像高毎に前記色比領域毎のエッジの個数を求め、
前記個数が多い前記色比領域ほど、前記色ずれ量に大きな重み付けを行うことによって、前記補正データを作成することを特徴とする画像処理装置。
前記重み付けにおける重み付け係数は、前記色比領域に対する重み関数によって与えられることを特徴とする請求項１に記載の画像処理装置。
複数の色信号を含む画像データからエッジを検出する検出手段と、
前記画像データの注目画素または前記注目画素を含む画素群の色比を算出し、前記色比に基づいて前記注目画素又は前記画素群が属する色比領域を判定する判定手段と、
前記判定された色比領域別に像高毎の色ずれ量を算出し、該色ずれ量に基づいて補正データを作成する作成手段と、
前記補正データに基づいて、前記画像データに対して倍率色収差の補正を行う補正手段と、
を有し、
前記作成手段は、前記検出手段により検出されたエッジにおける画素の色ずれ量を算出する手段を含み、
前記作成手段は、
前記像高毎に前記色比領域毎のエッジの個数を求め、
前記個数が最大となる色比領域を選択し、
前記選択した色比領域の色ずれ量に基づいて、前記補正データを作成することを特徴とする画像処理装置。
前記画像データは、Ｒ，Ｇ，Ｂのベイヤー配列の画素の集合を有する撮像素子から生成されたものであり、
各複数の色信号のそれぞれについて、画素値のない画素位置に画素値を補間する補間処理手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
被写体の光学像を撮像する撮像素子と、
請求項１乃至４のいずれか１項に記載の画像処理装置と、
を有することを特徴とする撮像装置。
複数の色信号を含む画像データからエッジを検出する検出工程と、
前記画像データの注目画素または前記注目画素を含む画素群の色比を算出し、前記色比に基づいて前記注目画素又は前記画素群が属する色比領域を判定する判定工程と、
前記判定された色比領域別に像高毎の色ずれ量を算出し、該色ずれ量に基づいて補正データを作成する作成工程と、
前記補正データに基づいて、前記画像データに対して倍率色収差の補正を行う補正工程と、
を有し、
前記作成工程は、前記検出工程で検出されたエッジにおける画素の色ずれ量を算出する工程を含み、
前記作成工程は、
前記像高毎に前記色比領域毎のエッジの個数を求め、
前記個数が多い前記色比領域ほど、前記色ずれ量に大きな重み付けを行うことによって、前記補正データを作成することを特徴とする画像処理方法。
複数の色信号を含む画像データからエッジを検出する検出工程と、
前記画像データの注目画素または前記注目画素を含む画素群の色比を算出し、前記色比に基づいて前記注目画素又は前記画素群が属する色比領域を判定する判定工程と、
前記判定された色比領域別に像高毎の色ずれ量を算出し、該色ずれ量に基づいて補正データを作成する作成工程と、
前記補正データに基づいて、前記画像データに対して倍率色収差の補正を行う補正工程と、
を有し、
前記作成工程は、前記検出工程で検出されたエッジにおける画素の色ずれ量を算出する工程を含み、
前記作成工程は、
前記像高毎に前記色比領域毎のエッジの個数を求め、
前記個数が最大となる色比領域を選択し、
前記選択した色比領域の色ずれ量に基づいて、前記補正データを作成することを特徴とする画像処理方法。
コンピュータを、請求項１乃至４のいずれか１項に記載の画像処理装置として機能させるためのプログラム。