JP6727911B2 - 画像処理装置、画像処理方法、プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、プログラムに関する。

従来、撮像面に配された複数の受光素子の中の所定の受光素子に遮光層を設け、その受光素子を焦点検出用素子として利用する撮像センサがある。例えば、特許文献１には、通常の撮像用の受光素子（以下、撮像用素子とする。）の間に焦点検出用素子が埋め込まれた撮像センサを備えた撮像装置が開示されている。また、特許文献１の撮像装置では、焦点検出用素子の周囲の撮像用素子の信号値から補間により生成した値と、焦点検出用素子の信号値とから、画像のエッジ度合いを求め、そのエッジ度合いに応じて焦点検出用素子位置の補間信号を生成している。

特開２００７−２７９５９７号公報

しかしながら、上述の特許文献１に開示された技術において、周囲の撮像用素子の信号値から補間により得られる補間信号の値は、倍率色収差に関して考慮されていない値である。このため、焦点検出用素子の位置の倍率色収差量が大きい場合には正しい補間信号が得られず、例えばエッジ部分などでの色つきが補正痕として残り、画質が低下してしまうという問題がある。

そこで、本発明は、焦点検出用素子位置の画質の低下を抑えた補間信号を生成可能にすることを目的とする。

本発明は、複数の撮像用素子と複数の焦点検出用素子が撮像面上に配置された撮像センサの画像信号のうち、前記焦点検出用素子に隣接した撮像用素子の信号に対して相関が高い画像領域の信号を用いて、前記焦点検出用素子の位置に対する第１の補正信号を生成する第１の補正手段と、前記画像信号のうち、前記焦点検出用素子の周辺の撮像用素子の信号を用いて、前記焦点検出用素子の位置に対する第２の補正信号を生成する第２の補正手段と、前記焦点検出用素子の位置における倍率色収差量及び倍率色収差方向と、エッジ方向及びエッジ度合を基に、前記第１の補正信号と前記第２の補正信号との合成率を求め、前記合成率により前記第１の補正信号と前記第２の補正信号を合成して前記焦点検出用素子の位置の補間信号を生成する合成手段と、を有することを特徴とする。

本発明によれば、焦点検出用素子位置の画質の低下を抑えた補間信号の生成が可能となる。

実施形態の撮像装置の主要部の概略構成を示す図である。 撮像素子の構成例の説明に用いる図である。 カラーフィルタの各色の配列を示す図である。 通常の撮像用素子と焦点検出用素子の配置の説明に用いる図である。 焦点検出用素子の配置を例にしたキズ画素補正の説明に用いる図である。 高相関画素補正と周辺画素補間の説明に用いる図である。 倍率色収差ベクトルと方向及び収差量の説明に用いる図である。 検出されるエッジ方向の説明に用いる図である。 画素補正部における処理のフローチャートである。 焦点検出用素子の他の配置例の説明に用いる図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
図１は、本実施形態の画像処理装置の一適用例としての撮像装置の内部概略構成を示す図である。
図１において、撮像部１０１は、図示しない撮像センサ及びその駆動回路からなり、撮像光学系の撮像レンズ１００により結像された光学像を、撮像センサにより電気信号に変換する。撮像センサはＣＣＤやＣＭＯＳセンサで構成されており、その撮像センサの撮像面上はいわゆるベイヤ配列のＲＧＢ（赤緑青）カラーフィルタにより覆われ、カラー撮影が可能な構成となっている。また、詳細は後述するが、撮像センサは、撮像面に、二次元配列された複数の撮像用素子と所定の方向に配置された複数の焦点検出用素子とが設けられた構成となされている。撮像部１０１から出力されたアナログ信号は、Ａ／Ｄ変換部１０２によってデジタル信号に変換される。Ａ／Ｄ変換部１０２によってデジタル信号に変換された画像信号は、欠陥画素補正部１０３（以下、画素補正部１０３と表記する。）に送られる。

詳細は後述するが、画素補正部１０３は、キズ画素（欠陥画素）と判定された画素の信号値（信号レベル）を補正して、そのキズ補正後の画像信号をＲＡＷ信号として出力する。画素補正部１０３は、高相関画素補正部１０４、周辺画素補間部１０５、倍率色収差ベクトル生成部１０６、エッジ検出部１０７、ＭＩＸ比算出部１０８、ＭＩＸ部１０９を有して構成されている。詳細は後述するが、Ａ／Ｄ変換部１０２から出力された画像信号は、高相関画素補正部１０４、周辺画素補間部１０５、倍率色収差ベクトル生成部１０６、エッジ検出部１０７に送られる。また、倍率色収差ベクトル生成部１０６とエッジ検出部１０７の出力は、ＭＩＸ比算出部１０８に送られ、高相関画素補正部１０４と周辺画素補間部１０５の出力は、ＭＩＸ部１０９に送られる。詳細は後述するが、ＭＩＸ部１０９は、ＭＩＸ比算出部１０８から出力される合成比に基づいて、高相関画素補正部１０４と周辺画素補間部１０５の出力を合成する。なお、本実施形態において、高相関画素補正部１０４は第１の補正手段の一例であり、周辺画素補間部１０５は第２の補正手段の一例であり、倍率色収差ベクトル生成部１０６とエッジ検出部１０７とＭＩＸ比算出部１０８とＭＩＸ部１０９は合成手段の一例である。画素補正部１０３から出力されたキズ画素補正後のＲＡＷ信号は、信号処理部１１０に送られる。信号処理部１１０は、キズ画素補正後のＲＡＷ信号に対し、公知のホワイトバランス処理、色補間処理、ノイズリダクション処理、ガンマ処理、マトリックス処理等の信号処理を行う。

図２は、撮像部１０１の撮像センサが有する複数の受光素子のうち、通常の撮像用の受光素子（撮像用素子６１０）と焦点検出用の受光素子（焦点検出用素子６１１）の概略的な構造を示す断面図である。図２では撮像用素子６１０と焦点検出用素子６１１をそれぞれ一つのみ示しているが、撮像センサは、二次元配列された複数の撮像用素子６１０と、所定の方向に配列された複数の焦点検出用素子６１１とにより、撮像面が形成されている。撮像用素子６１０は、マイクロレンズ６０１、カラーフィルタ６０２、配線層６０３、光電変換部６０６により構成されている。焦点検出用素子６１１は、マイクロレンズ６０１、カラーフィルタ６０２、配線層６０３、遮光部６０４、光電変換部６０５により構成されている。焦点検出用素子６１１の遮光部６０４は、配線層６０３を延長することで形成されている。撮像センサは、二次元配列された複数の撮像用素子６１０と、所定の方向に配列された複数の焦点検出用素子６１１とにより、撮像面が形成されている。

撮像用素子６１０では、マイクロレンズ６０１から入射した光がカラーフィルタ６０２により所定の波長の光のみ透過され、その透過光が光電変換部６０６により受光されて電気信号に変換される。このように、撮像用素子６１０は、撮像光学系の撮像レンズ１００の射出瞳の全域を通った光束を、光電変換部６０６により受光するような構成となされている。

一方、焦点検出用素子６１１では、マイクロレンズ６０１から入射した光がカラーフィルタ６０２により所定の波長の光のみ透過され、その透過光が遮光部６０４により一部遮られてから、光電変換部６０５により受光されて電気信号に変換される。言い換えると、焦点検出用素子６１１は、光電変換部６０５の露光面に入射する光の重心位置が中心からシフトするような構成となされている。このように、焦点検出用素子６１１は、遮光部６０４により遮られなかった光、つまり撮像光学系の撮像レンズ１００の通過光束の一部のみを、光電変換部６０５により受光して電気信号に変換する。

図２の場合、焦点検出用素子６１１は、図の右側に遮光部６０４が設けられ、左側が開口部６０７となされた例のみを示しているが、撮像センサには、左側に遮光部が設けられ、右側が開口部となされた焦点検出用素子も配されている。これら遮光部と開口部の配置がそれぞれ逆になされた二つの焦点検出用素子が、撮像レンズ１００の射出瞳を２分割する一組の焦点検出用素子となされている。そして、撮像装置は、撮像レンズ１００の射出瞳を２分割する一組又は複数組の焦点検出用素子からの信号値を用いた相関処理により、焦点検出用素子位置のデフォーカス量を求めて合焦制御を行う、いわゆる撮像面位相差ＡＦ（ＳＡＦ）が可能となされている。なお、本実施形態の撮像装置では、デフォーカス量の生成処理の他に、デフォーカス量の信頼度生成処理等も行われるが、それらは公知の技術であるためここではその説明については省略する。

以下、瞳分割を行う焦点検出用素子の組とその配置例について、図３〜図５を用いて説明する。図３は、ベイヤ配列のカラーフィルタにおいて、画像の１画素分の色を決めるための一組のＲＧＢの各カラーフィルタを示している。また、図４は、図３に示したＲＧＢのフィルタ構成が繰り返し配列された、いわゆるベイヤ配列の各画素（撮像センサ上の各受光素子に対応した各画素）を示している。図４のＲ００，Ｒ０２，・・・はそれぞれＲのカラーフィルタに対応した画素であることを表している。同様に、図４のＧ０１，Ｇ０３，・・・はそれぞれＧのカラーフィルタに対応していることを表し、Ｂ１１，Ｂ１３，・・・はそれぞれＢのカラーフィルタに対応した画素であることを表している。これ以降の説明では、ベイヤ配列のＲＧＢの各カラーフィルタに対応した画素のうち、Ｒのカラーフィルタに対応した画素をＲ画素、Ｇのカラーフィルタに対応した画素をＧ画素、Ｂのカラーフィルタに対応した画素をＢ画素と表記する。

焦点検出用素子は、図４のようなベイヤ配列における横１列の水平方向のラインの中で所定のＢ画素の位置に配置される。図４の例の場合、図中のＢａ３１、Ｂｂ３３、Ｂａ３５、Ｂｂ３７で示す各Ｂ画素の位置に焦点検出用素子が配されている。また、Ｂａ３１とＢａ３５で示す各Ｂ画素の位置の焦点検出用素子は、図中の左側が開口部で右側が遮光部となされており、Ｂｂ３３とＢｂ３７の各Ｂ画素の位置の焦点検出用素子は、図中右側が開口部で左側が遮光部となされている。この例の場合、例えばＢａ３１とＢｂ３３の各Ｂ画素の焦点検出用素子が瞳分割を行う一組の焦点検出用素子、同様に、Ｂｂ３５とＢａ３７の各Ｂ画素の焦点検出用素子が瞳分割を行う一組の焦点検出用素子となされている。

ここで、焦点検出用素子は前述したように焦点検出に使用されており、焦点検出用素子では遮光部により遮られなかった光のみを受光して光電変換が行われるため、焦点検出用素子の信号値（レベル）は他の撮像用素子の信号値（レベル）より低くなる。焦点検出用素子の信号をそのまま用いて画像が形成されると、焦点検出用素子の信号値と他の撮像用素子の信号値との差が目立ってしまい、画像の画質が低下してしまう。このため、撮像装置は、焦点検出用素子位置の画素をキズ画素として扱い、後述するようなキズ画素補正処理を行って焦点検出用素子位置の画素の補間信号を生成し、その補間信号により焦点検出用素子位置の信号を置き換えることによりキズ画素補正を行う。

以下、図５と図６（ａ），図６（ｂ）を参照しながら、前述した横１列の水平方向のラインの中に配置された各組の焦点検出用素子位置の補間信号を、キズ画素補正により生成する例について説明する。図５は、ベイヤ配列のＲＧＢの各カラーフィルタに対応した各画素の配置を示した図である。焦点検出用素子は、図５中の横１列の水平方向のラインの中でＳａ，Ｓｂで示す各画素の位置に配置されており、ＳａとＳｂで示す二つの画素に対応した焦点検出用素子は開口部と遮光部の配置が逆になされているとする。同様に、図６（ａ），図６（ｂ）は、ベイヤ配列のＲＧＢの各カラーフィルタに対応した各画素の配置を示した図であり、図中にＳで示す画素が焦点検出用素子である。図６（ａ），図６（ｂ）では、焦点検出用素子の開口部と遮光部の配置については区別していない。

先ず、高相関画素補正部１０４による高相関画素補正処理について、図６（ａ）の図中Ｓで示される各焦点検出用素子のうち、一つの着目画素５０１を例に挙げて説明する。
高相関画素補正部１０４は、焦点検出用素子の着目画素５０１を中心とした上下左右の四つの隣接したＧ画素（以下これらを纏めて着目Ｇ画素と表記する。）に対応した各撮像用素子の信号値を取得する。また、高相関画素補正部１０４は、所定の走査範囲の各Ｂ画素について、そのＢ画素を中心とした上下左右の四つの隣接するＧ画素(以下これらを纏めて走査Ｇ画素と表記する。）の撮像用素子の信号値を取得する。図６（ａ）の例の場合、高相関画素補正部１０４は、各焦点検出用素子（Ｓ）が配列された水平方向のラインに対して、上下にそれぞれ２ライン目の各Ｂ画素を中心とした各走査Ｇ画素の撮像用素子の信号値が取得される。なお、図６（ａ）では、走査Ｇ画素の一例として、走査Ｇ画素５０３と走査Ｇ画素５０４を挙げている。

そして、高相関画素補正部１０４は、着目Ｇ画素５０２に対応した各撮像用素子の信号値と、走査Ｇ画素（５０３や５０４）に対応した各撮像用素子の信号値との間の、差分絶対値和（以下、ＳＡＤと表記する。）を求める。より具体的には、高相関画素補正部１０４は、着目Ｇ画素５０２と走査方向５０５における各走査Ｇ画素５０３との間、及び、着目Ｇ画素５０２と走査方向５０６における各走査Ｇ画素５０４との間について、ＳＡＤ値を求める。ＳＡＤの計算式は、下記式（１）により表される。

ＳＡＤ＝|Ｇsu-Ｇbu|+|Ｇsb-Ｇbb|+|Ｇsl-Ｇbl|+|Ｇsr-Ｇbr| 式（１）
なお、式（１）のＧｓｕは着目Ｇ画素５０２のうち、着目画素５０１の上隣のＧ画素の撮像用素子の信号値であり、以下同様に、Ｇｓｂは下隣のＧ画素、Ｇｓｌは左隣のＧ画素、Ｇｓｒは右隣のＧ画素の、それぞれ撮像用素子の信号値である。また、Ｇｂｕは走査Ｇ画素（５０３や５０４）のうち、中心のＢ画素に対して上隣のＧ画素の撮像用素子の信号値であり、以下同様に、Ｇｂｂは下隣、Ｇｂｌは左隣、Ｇｂｒは右隣の、各Ｇ画素の撮像用素子の信号値である。

高相関画素補正部１０４は、着目Ｇ画素５０２と、走査方向５０５及び５０６の各走査Ｇ画素（５０３や５０４等）との間で求めたＳＡＤ値を基に、着目Ｇ画素５０２に対して最も相関が高い画像領域（相関が最も高い走査Ｇ画素）を求める。具体的には、高相関画素補正部１０４は、ＳＡＤが最小値となった走査Ｇ画素を、最も相関が高い画像領域（走査Ｇ画素）として判定する。

高相関画素補正部１０４は、ＳＡＤ値が最小値となった走査Ｇ画素における四つのＧ画素の各撮像用素子の信号値と、その中心のＢ画素の撮像用素子の信号値とを用い、下記式（２）の色比の演算により、着目画素５０１の補正信号を求める。この着目画素５０１の補正信号は、第１の補正手段における第１の補正信号に相当し、以下の説明では、補正信号Ｂｓｓと表記する。

Ｂss＝（Ｇsu+Ｇsb+Ｇsl+Ｇsr）／（Ｇmu+Ｇmb+Ｇml+Ｇmr）×Ｂm 式（２）
なお、式（２）のＢｍはＳＡＤ値が最小値となった走査Ｇ画素の中心のＢ画素の撮像用素子の信号値である。また、式（２）のＧｍｕは、ＳＡＤ値が最小値となった走査Ｇ画素の中心のＢ画素に対して上隣のＧ画素の撮像用素子の信号値であり、以下同様に、Ｇｍｂは下隣、Ｇｍｌは左隣、Ｇｍｒは右隣の、各Ｇ画素の撮像用素子の信号値である。

次に、周辺画素補間部１０５による周辺画素補間処理について、図６（ｂ）を参照しながら説明する。図６（ａ）の例と同様に、図６（ｂ）の図中Ｓで示される各画素がそれぞれ焦点検出用素子に対応した画素であり、以下、着目画素５０１を例に挙げて説明する。

周辺画素補間部１０５は、図６（ｂ）に一例として示すように、着目画素５０１を中心とした５×５画素の周辺領域５０７の内の６個のＢ画素に対応した各撮像用素子の信号値を取得する。そして、周辺画素補間部１０５は、その周辺領域５０７内の６個のＢ画素に対応した各撮像用素子の信号値から、式（３）により、着目画素５０１の補正信号を算出する。この補正信号は、第２の補正手段における第２の補正信号に相当し、以下の説明では補正信号Ｂｓｈと表記する。

Ｂsh＝（Ｂul+Ｂum+Ｂur+Ｂbl+Ｂbm+Ｂbr）／６ 式（３）
なお、式（３）のＢｕｌは５×５画素の領域５０７の中で着目画素５０１の左上のＢ画素の撮像用素子の信号値であり、以下同様に、Ｂｕｍは中央上、Ｂｕｒは右上、Ｂｂｌは左下、Ｂｂｍは中央下、Ｂｂｒは右下の、Ｂ画素の撮像用素子の信号値である。

次に、倍率色収差ベクトル生成部１０６による倍率色収差ベクトル生成処理について、図７を参照しながら説明する。図７は、ベイヤ配列のＲＧＢの各カラーフィルタに対応した各画素の配置を示した図であり、図中にＳで示す画素が焦点検出用素子である。図７では、焦点検出用素子の開口部と遮光部の配置については区別していない。図７では、図中Ｓで示される各焦点検出用素子のうち、着目画素７０１を例に挙げて説明する。

倍率色収差ベクトル生成部１０６は、着目画素７０１における倍率色収差ベクトル７０２を算出して、その倍率色収差ベクトル７０２における方向と大きさを求める。以下の説明では、倍率色収差ベクトル７０２の方向を倍率色収差方向と表記し、倍率色収差ベクトル７０２の大きさを倍率色収差量と表記する。

ここで、着目画素７０１の倍率色収差ベクトル７０２は、撮像画像の中心から着目画素７０１までの距離、すなわち撮像センサの撮像面上における像高により決まっている撮像レンズ１００の特性から求めることができる。撮像画像の中心から着目画素７０１までの距離（像高）は、撮像センサにおける着目画素７０１の座標（位置）から求められる。

また、倍率色収差ベクトル７０２は、水平方向の倍率色収差量７０３と、垂直方向の倍率色収差量７０４とに、分解（ベクトル分解）できる。本実施形態の場合、前述したように、焦点検出用素子は撮像センサ上で横一列の水平方向に複数配列されており、着目画素７０１の位置における水平方向の倍率色収差量７０３は、焦点検出用素子の配列方向の倍率色収差量に相当する。一方、着目画素７０１の位置における垂直方向の倍率色収差量７０４は、焦点検出用素子の配列方向に対して直交する方向の倍率色収差量に相当する。

撮像レンズ１００の特性と焦点検出用素子位置は既知であり、倍率色収差ベクトル生成部１０６は、それら撮像レンズ１００の特性と焦点検出用素子位置を基に、着目画素７０１の位置における倍率色収差ベクトル７０２と倍率色収差方向及び倍率色収差量を求める。なお、各焦点検出用素子に対応した倍率色収差ベクトルと倍率色収差方向及び倍率色収差量の情報は、予め算出しておいて不図示のメモリ等に記憶されていてもよく、この場合、倍率色収差ベクトル生成部１０６は、メモリからそれらの情報を読み出せばよい。

次に、エッジ検出部１０７によるエッジ検出処理について、図８（ａ）〜図８（ｄ）を参照しながら説明する。図８（ａ）〜図８（ｄ）は、それぞれエッジ検出部１０７により検出されるエッジの方向の一例についての説明に用いる図である。図８（ａ）〜図８（ｄ）はＲＧＢの各カラーフィルタに対応した各画素を表しており、図中の太線枠で示される各画素が、画像内のエッジ部を構成している画素であり、太線枠で示される各画素の並び方向がエッジの方向であるとする。また、図８（ａ）〜図８（ｄ）の中央のＢ画素が着目画素であり、ここでは着目画素Ｂと表記する。

エッジ検出部１０７は、図８（ａ）〜図８（ｄ）に示すような四つの方向のエッジ成分を検出する。図８（ａ）は、中央の着目画素Ｂが水平方向のエッジ部に含まれている例を示している。以下同様に、図８（ｂ）は着目画素Ｂが右斜め４５度の方向のエッジ部に、図８（ｃ）は着目画素Ｂが垂直方向のエッジ部に、図８（ｄ）は着目画素Ｂが左斜め４５度（右回りの角度で表す場合には１３５度）の方向のエッジ部に含まれている例を示している。エッジ検出部１０７は、画像信号に対し、エッジ検出を行いたい方向のＬＰＦ（ローパスフィルタ）をかけ、さらに、垂直方向にＨＰＦ（ハイパスフィルタ）をかけることにより、各エッジ方向別のエッジ成分を抽出する。

このように、エッジ検出部１０７は、画像信号に対し、図８（ａ）〜図８（ｄ）のような４方向に対してＬＰＦをかける処理と、垂直方向にＨＰＦをかける処理を行うことで、図８（ａ）〜図８（ｄ）の四つの各エッジ方向別のエッジ成分を抽出する。そして、エッジ検出部１０７は、これら四つのエッジ方向別に抽出したエッジ成分について、それぞれエッジ度合を求める。エッジ度合いとは、エッジ部分と非エッジ部分の信号レベルの差、及び、エッジ方向と直交する方向の高帯域成分に応じた値であり、エッジ検出部１０７は、そのエッジ度合いの値の大きさを求める。ＬＰＦやＨＰＦを用いたエッジ成分の抽出処理、エッジ度合いの生成処理は、公知の技術を用いることができるため、それらの詳細な説明は省略する。このようにエッジ検出部１０７では、着目画素に対して、エッジ方向とエッジ度合を検出する。

次に、ＭＩＸ部１０９のＭＩＸ処理（合成処理）について説明する。ＭＩＸ部１０９は、後述するＭＩＸ比算出部１０８で得られた合成率ＭＩＸを用いて、下記式（４）により、高相関画素補正部１０４の出力（補正信号Ｂｓｈ）と周辺画素補間部１０５の出力（補正信号Ｂｓｓ）とを合成した信号を算出する。この合成後の信号は、焦点検出用素子の信号に対する補間処理後の補間信号であり、以下の説明では補間信号ＭＯと表記する。
ＭＯ＝Ｂｓｈ×ＭＩＸ＋Ｂｓｓ×（１−ＭＩＸ） 式（４）

図９は、画素補正部１０３におけるキズ画素補正処理のうち、倍率色収差ベクトル生成部１０６、エッジ検出部１０７、ＭＩＸ比算出部１０８にて行われる処理の流れを示すフローチャートである。図９のフローチャートに示した処理は、本実施形態に係るプログラムを、例えばＣＰＵが実行することにより実現されてもよい。本実施形態に係るプログラムは、例えば不図示のＲＯＭ等に予め用意されていてもよく、また不図示の外部記憶媒体から読み出されたり、不図示のインターネット等のネットワークからダウンロードされたりして、不図示のＲＡＭ等にロードされてもよい。以下の説明では、図９の各処理のステップＳ９０１〜ステップＳ９１２をＳ９０１〜Ｓ９１２と略記する。

Ｓ９０１〜Ｓ９１２のループ処理は撮像センサの全画素のうち着目画素に対して行われる処理となされている。画素補正部１０３は、Ｓ９０２において、着目画素が焦点検出用素子の画素であるか否かを判断する。ここで、撮像センサの焦点検出用素子の位置は前述したように既知であり、位置管理情報の一つとして不図示のメモリ等に予め用意されているため、画素補正部１０３は、その位置管理情報を基に着目画素が焦点検出用素子の画素であるか否かを判断する。画素補正部１０３は、Ｓ９０２において、着目画素が焦点検出用素子の画素であると判断した場合にはＳ９０３に処理を進め、焦点検出用素子の画素でないと判断した場合にはＳ９１２により次の画素に対する処理に移行させる。

Ｓ９０３の処理は、倍率色収差ベクトル生成部１０６にて行われる。倍率色収差ベクトル生成部１０６は、Ｓ９０３において、図７にて説明したように、焦点検出用素子の着目画素について、倍率色収差ベクトルを求め、その倍率色収差ベクトルから倍率色収差方向及び倍率色収差量を算出する。Ｓ９０３の後、画素補正部１０３は、Ｓ９０４に処理を進める。

Ｓ９０４の処理は、エッジ検出部１０７にて行われる。エッジ検出部１０７は、Ｓ９０４において、図８（ａ）〜図８（ｄ）にて説明したように、焦点検出用素子の着目画素におけるエッジ方向とエッジ度合を検出する。Ｓ９０４の後、画素補正部１０３は、Ｓ９０５に処理を進める。

Ｓ９０５以降の処理は、ＭＩＸ比算出部１０８にて行われる。Ｓ９０５において、ＭＩＸ比算出部１０８は、Ｓ９０３で求められた倍率色収差方向とＳ９０４で求められたエッジ方向との間の角度と、所定の第１の角度閾値ＴＨ＿ＤＥＧ１とを比較する。所定の第１の角度閾値ＴＨ＿ＤＥＧ１は、一例として２度など、倍率色収差方向とエッジ方向とが同一方向か又は略々同じ方向と考えられるか否かを判断可能な角度となされている。そして、ＭＩＸ比算出部１０８は、倍率色収差方向とエッジ方向との間の角度が第１の角度閾値ＴＨ＿ＤＥＧ１より小さい場合、つまり倍率色収差方向とエッジ方向が同一方向か又は略々同じ方向と考えられる場合、Ｓ９１１に処理を進める。一方、ＭＩＸ比算出部１０８は、倍率色収差方向とエッジ方向との間の角度が第１の角度閾値以上（ＴＨ＿ＤＥＧ１以上）である場合、つまり倍率色収差方向とエッジ方向が異なっていると考えられる場合には、Ｓ９０６に処理を進める。

Ｓ９１１の処理に進んだ場合、ＭＩＸ比算出部１０８は、合成率ＭＩＸ＝１と定義する。合成率ＭＩＸは、前述したように、ＭＩＸ部１０９が式（４）により補正信号Ｂｓｈと補正信号Ｂｓｓとを合成して着目画素の補間信号ＭＯを求める際に用いられる値である。Ｓ９１１では、合成率ＭＩＸ＝１となされるので、この場合、補間信号ＭＯの値は、高相関画素補正部１０４の出力信号値そのものとなる。Ｓ９１１の後、画素補正部１０３は、Ｓ９１２に処理を進める。

Ｓ９０６の処理に進んだ場合、ＭＩＸ比算出部１０８は、エッジ方向が水平方向か否かを判定する。本実施形態では、前述の図４や図５（ａ），図５（ｂ）等で説明したように焦点検出用素子が水平方向に配列されているため、Ｓ９０６において、ＭＩＸ比算出部１０８は、エッジ方向が焦点検出用素子の配置方向と同じ方向か否かを判定する。ＭＩＸ比算出部１０８は、エッジ方向が水平方向であると判定した場合にはＳ９０７に処理を進め、一方、エッジ方向が水平方向でないと判定した場合にはＳ９０８に処理を進める。なお、ここではエッジ方向と水平方向とが一致している否かを判定しているが、例えばエッジ方向と水平方向との成す角度が、予め決めた角度閾値より小さい場合に、エッジ方向が水平方向であると判定してもよい。

Ｓ９０７の処理に進んだ場合、ＭＩＸ比算出部１０８は、Ｓ９０３で倍率色収差ベクトル生成部１０６が求めた図７の水平方向の倍率色収差量（７０３）と、所定の収差量閾値ＴＨ＿ＰＩＸ１とを比較する。所定の収差量閾値ＴＨ＿ＰＩＸ１は、一例として２画素分の幅に相当する値など、水平方向の倍率色収差量が殆どないと考えられるか否かを判断可能な値となされている。そしてＭＩＸ比算出部１０８は、水平方向の倍率色収差量（７０３）が収差量閾値ＴＨ＿ＰＩＸ１より小さい場合、つまり水平方向の倍率色収差量（７０３）が殆ど無い（又は非常に少ない）場合にはＳ９１１に進む。一方、ＭＩＸ比算出部１０８は、水平方向の倍率色収差量（７０３）が収差量閾値ＴＨ＿ＰＩＸ１以上である場合、つまり、水平方向の倍率色収差量（７０３）がある程度の量以上ある場合にはＳ９０８に処理を進める。

Ｓ９０８の処理に進んだ場合、ＭＩＸ比算出部１０８は、Ｓ９０３で倍率色収差ベクトル生成部１０６が求めた倍率色収差方向とＳ９０４でエッジ検出部１０７が求めたエッジ方向との間の角度と、所定の第２の角度閾値ＴＨ＿ＤＥＧ２とを比較する。所定の第２の角度閾値ＴＨ＿ＤＥＧ２は、一例として４５度のように、エッジ方向と倍率色収差方向が異なっていて、それらエッジ方向と倍率色収差方向との間の角度がある程度以上大きい角度になっていると考えられるか否かを判断可能な角度となされている。そして、ＭＩＸ比算出部１０８は、倍率色収差方向とエッジ方向との間の角度が第２の角度閾値ＴＨ＿ＤＥＧ２より大きい場合にはＳ９０９に処理を進める。一方、ＭＩＸ比算出部１０８は、倍率色収差の方向とエッジ方向との間の角度が第２の角度閾値以下（ＴＨ＿ＤＥＧ２以下）である場合にはＳ９１０に処理を進める。

Ｓ９０９の処理に進んだ場合、ＭＩＸ比算出部１０８は合成率ＭＩＸ＝０とする。この場合、前述の式（４）による補間信号ＭＯの値は、周辺画素補間部１０５の出力信号値そのものとなる。Ｓ９０９の後、画素補正部１０３は、Ｓ９１２に処理を進める。

Ｓ９１０の処理に進んだ場合、ＭＩＸ比算出部１０８は、下記式（５）、又は、下記式（６）により、合成率ＭＩＸを求める。
ＭＩＸ＝α×ＤＥＧ×ＥＤ 式（５）
ＭＩＸ＝α×ＨＭＡ×ＥＤ 式（６）
ここで、式（５）のＤＥＧは着目画素の位置（焦点検出用素子位置）における倍率色収差方向とエッジ方向との成す角度である。また、式（６）のＨＭＡは水平方向の倍率色収差量である。式（５）と式（６）のＥＤはＳ９０４でエッジ検出部１０７が求めた着目画素におけるエッジ度合いを表す値である。式（５）のαはＤＥＧとＥＤのレンジを合成率ＭＩＸのとり得る範囲（０〜１）に合わせる際の正規化係数であり、式（６）のαはＨＭＡとＥＤのレンジを合成率ＭＩＸのとり得る範囲（０〜１）に合わせる際の正規化係数である。Ｓ９１０の後、画素補正部１０３は、Ｓ９１２に処理を進める。

Ｓ９１２では、画素補正部１０３は、着目画素が画像の最終端の画素でなければＳ９０１に処理を戻して次の画素に対する処理に進み、最終端の画素であれば図９のフローチャートの処理を終了させる。

以上説明したように、画素補正部１０３は、高相関画素補正部１０４と周辺画素補間部１０５により補正信号Ｂｓｈ，Ｂｓｓを求める。また、画素補正部１０３は、焦点検出用素子の画素位置における倍率色収差量や倍率色収差方向と、エッジ方向及びエッジ度合いとを基に、合成率ＭＩＸを算出している。さらに画素補正部１０３は、この合成率ＭＩＸを基に、高相関画素補正部１０４の補正信号Ｂｓｈと周辺画素補間部１０５の補正信号ＢｓｓとをＭＩＸ部１０９で合成して、焦点検出用素子の画素の補間信号ＭＯを算出する。そして、ＭＩＸ部１０９では、焦点検出用素子位置の信号を補間信号ＭＯにより更新する。このように、画素補正部１０３は、焦点検出用素子の画素について、倍率色収差方向や倍率色収差量と、エッジ方向及びエッジ度合いとに応じた、より正確なキズ画素補正が可能となされている。これにより、本実施形態の撮像装置は、焦点検出用素子を有する撮像センサの画素補正性能を向上させることが可能となり、撮像用素子の信号レベルと焦点検出用素子位置の信号レベルの差が目立たない、良好な画質の画像を生成可能となる。

なお、本実施形態では、焦点検出用素子が水平方向に複数配列された例を挙げているが、焦点検出用素子は、撮像センサ上で例えば図１０（ａ）〜図１０（ｃ）のように配列されていてもよい。図１０（ａ）は、焦点検出用素子が垂直方向に配列された例を示しており、図１０（ｂ）は焦点検出用素子が右斜め４５度方向に、図１０（ｃ）は焦点検出用画素を左斜め４５度（右回り方向では斜め１３５度）方向に配列された例を示している。これら図１０（ａ）〜図１０（ｃ）の例において、補間信号を求める詳細なアルゴリズムは、前述した実施形態の例とは、焦点検出用素子の配列方向が異なるのみで処理は同一であるため、その詳細な説明については省略する。

また、前述の実施形態では、高相関画素補正部１０４で着目Ｇ画素と走査Ｇ画素との間の相関を求める方法として、走査Ｇ画素のＳＡＤ値が最小の値となるものを最も相関が高いとしたが、ＳＡＤ値以外の値により相関が求められてもよい。また、前述の実施形態では、相関を求める際に、前述の図６（ａ）のように焦点検出用素子（５０１）が配列された水平ラインに対して上下の水平方向のラインの走査方向について探索したが、探索範囲はその例に限定されず、より広い範囲になされてもよい。また、本実施形態では、周辺画素補間部１０５が前述の図６（ｂ）に示した５×５画素の周辺領域５０７の６個のＢ画素から補正信号Ｂｓｈを求めたが、その他に、例えば９×５画素の領域の５個のＢ画素等の平均値から補正信号を求めるようにしてもよい。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ 撮像部、１０２ Ａ／Ｄ変換部、１０３ 画素補正部、１０４ 高相関画素補正部、１０５ 周辺画素補間部、１０６ 倍率色収差ベクトル生成部、１０７ エッジ検出部、１０８ ＭＩＸ比算出部、１０９ ＭＩＸ部、１１０ 信号処理部

Claims (13)

1. 複数の撮像用素子と複数の焦点検出用素子が撮像面上に配置された撮像センサの画像信号のうち、前記焦点検出用素子に隣接した撮像用素子の信号に対して相関が高い画像領域の信号を用いて、前記焦点検出用素子の位置に対する第１の補正信号を生成する第１の補正手段と、
   前記画像信号のうち、前記焦点検出用素子の周辺の撮像用素子の信号を用いて、前記焦点検出用素子の位置に対する第２の補正信号を生成する第２の補正手段と、
   前記焦点検出用素子の位置における倍率色収差量及び倍率色収差方向と、エッジ方向及びエッジ度合を基に、前記第１の補正信号と前記第２の補正信号との合成率を求め、前記合成率により前記第１の補正信号と前記第２の補正信号を合成して前記焦点検出用素子の位置の補間信号を生成する合成手段と、
   を有することを特徴とする画像処理装置。
2. 前記合成手段は、前記焦点検出用素子の位置における画像のエッジ方向と倍率色収差方向との間の角度と、前記焦点検出用素子の位置における画像のエッジ度合いとに基づいて、前記合成率を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記合成手段は、前記焦点検出用素子の位置における画像のエッジ度合いと、前記焦点検出用素子の配列方向の前記倍率色収差量とに基づいて、前記合成率を算出することを特徴とする請求項１に記載の画像処理装置。
4. 前記合成手段は、前記焦点検出用素子の位置における画像のエッジ方向と前記倍率色収差方向との間の角度が所定の第１の角度閾値より小さい場合、前記合成により前記第１の補正信号のみからなる前記補間信号が生成される前記合成率を算出することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記合成手段は、前記エッジ方向と前記倍率色収差方向との間の角度が前記所定の第１の角度閾値以上である場合には、前記エッジ方向と前記焦点検出用素子の配列方向との間の角度が予め決めた角度閾値より小さく、かつ、前記焦点検出用素子の配列方向の前記倍率色収差量が所定の閾値より小さいとき、前記合成により前記第１の補正信号のみからなる前記補間信号が生成される前記合成率を算出することを特徴とする請求項４に記載の画像処理装置。
6. 前記合成手段は、前記エッジ方向と前記焦点検出用素子の配列方向との間の角度が前記予め決めた角度閾値以上である場合には、前記エッジ方向と前記倍率色収差方向との間の角度が所定の第２の角度閾値より大きいとき、前記合成により前記第２の補正信号のみからなる前記補間信号が生成される前記合成率を算出することを特徴とする請求項５に記載の画像処理装置。
7. 前記合成手段は、前記エッジ方向と前記焦点検出用素子の配列方向との間の角度が予め決めた角度閾値より小さく、かつ、前記焦点検出用素子の配列方向の前記倍率色収差量が所定の閾値以上である場合には、前記エッジ方向と前記倍率色収差方向との間の角度が所定の第２の角度閾値より大きいとき、前記合成により前記第２の補正信号のみからなる前記補間信号が生成される前記合成率を算出することを特徴とする請求項５に記載の画像処理装置。
8. 前記合成手段は、前記エッジ方向と前記焦点検出用素子の配列方向との間の角度が前記予め決めた角度閾値以上である場合には、前記エッジ方向と前記倍率色収差方向との間の角度が所定の第２の角度閾値以下のとき、前記第１の補正信号と前記第２の補正信号が前記合成率により合成された補間信号を生成することを特徴とする請求項５に記載の画像処理装置。
9. 前記合成手段は、前記エッジ方向と記焦点検出用素子の配列方向との間の角度が予め決めた角度閾値より小さく、かつ、前記焦点検出用素子の配列方向の前記倍率色収差量が所定の閾値以上である場合には、前記エッジ方向と前記倍率色収差方向との間の角度が所定の第２の角度閾値以下のとき、前記第１の補正信号と前記第２の補正信号が前記合成率により合成された補間信号を生成することを特徴とする請求項５に記載の画像処理装置。
10. 前記合成手段は、前記撮像センサの撮像面上における前記焦点検出用素子の位置と撮像光学系のレンズの特性とから、前記焦点検出用素子の位置における倍率色収差ベクトルを求めて、前記倍率色収差量及び前記倍率色収差方向を得ることを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 前記撮像センサは、前記複数の撮像用素子が二次元配列され、前記二次元配列の中の所定の方向に、光電変換部に対して撮像光学系の射出瞳を２分割する一組の焦点検出用素子が複数配列されていることを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
12. 複数の撮像用素子と複数の焦点検出用素子が撮像面上に配置された撮像センサの画像信号のうち、前記焦点検出用素子に隣接した撮像用素子の信号に対して相関が高い画像領域の信号を用いて、前記焦点検出用素子の位置に対する第１の補正信号を生成する第１の補正ステップと、
    前記画像信号のうち、前記焦点検出用素子の周辺の撮像用素子の信号を用いて、前記焦点検出用素子の位置に対する第２の補正信号を生成する第２の補正ステップと、
    前記焦点検出用素子の位置における倍率色収差量及び倍率色収差方向と、エッジ方向及びエッジ度合を基に、前記第１の補正信号と前記第２の補正信号との合成率を求め、前記合成率により前記第１の補正信号と前記第２の補正信号を合成して前記焦点検出用素子の位置の補間信号を生成する合成ステップと、
    を含むことを特徴とする画像処理装置の画像処理方法。
13. コンピュータを、請求項１乃至１１の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images