JP6230760B1 - 撮像装置、画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

高密度かつ広範囲に位相差検出画素が多数配置された撮像素子により得られた画像データを、回路規模を低減しつつ、画質を向上させる補正を行うことを目的として、本発明に係る撮像装置（１）は、異なる分光感度を有する複数の画素を２次元マトリクス状に配列し、複数の分光感度の一部の画素に位相差検出画素を配置してなる撮像素子（１７）と、撮像素子（１７）に配置された位相差検出画素を、他の分光感度よりも人間の眼による画質の劣化が判別し難い分光感度を有する第１画素と、第１画素以外の第２画素とに分別する位相差画素判別部と、位相差画素判別部により分別された各第１画素に対して、各第２画素に対するよりも精度の低い補正処理を施す位相差画素値補正部とを備える。

Description

本発明は、撮像装置、画像処理装置、画像処理方法および画像処理プログラムに関するものである。

光学的に結像された光学像を電気信号に変換する撮像素子であって、焦点検出のための信号を出力する画素を有する撮像素子が知られている（例えば、特許文献１参照。）。
この撮像素子は、一部の画素（以下、位相差検出画素という。）に瞳位相差方式による距離測定機能を持たせるために、位相差検出画素の受光面の一部を遮光している。

位相差検出画素は、あらゆる周波数の被写体について正しい距離測定を行うために、撮像素子の全面にわたって配置されていることが望ましいが、位相差検出画素の数が多くなると、画像を構成する画素が減少して画質の劣化が生ずる。これを防止するために位相差検出画素を離散的に配置する方式が提案されている。

例えば、いわゆるベイヤ配列の撮像素子において、位相差検出画素を高密度に配置する場合には、特定の分光感度の画素のみに集中して位相差検出画素を配置すると、その分光感度の情報の劣化が著しくなるため、分光感度の異なる画素に満遍なく位相差検出画素を配置することとしている。

そして、位相差検出画素の出力は、上述したように部分的に遮光されているため、そのままでは画像データとして利用することができないので、周辺画素の出力値を用いて補正する方法が提案されている（例えば、特許文献２参照。）。特許文献２の補正方法は、位相差検出画素の周辺画素のエッジパターン等を判断し、その度合いに応じて位相差検出画素の出力値とその周辺の画素の出力値との利用割合を調節することにより、位相差検出画素の出力値を精度よく補正している。

特開２０００−１５６８２３号公報 特開２００７−２８２１０７号公報

しかしながら、特許文献２のように周辺画素の画素値を統計的に判断し、適応的にフィルタ係数を調整するアルゴリズムを用いる場合には、回路規模が大きくなり、消費電力が増大してしまう。
本発明は上述した事情に鑑みてなされたものであって、高密度かつ広範囲に位相差検出画素が多数配置された撮像素子により得られた画像データを、回路規模を低減しつつ、画質を向上させる補正を行うことができる撮像装置、画像処理装置、画像処理方法および画像処理プログラムを提供することを目的としている。

本発明の第１の態様は、異なる分光感度を有する複数の画素を２次元マトリクス状に配列し、複数の分光感度の一部の画素に位相差検出画素を配置してなる撮像素子と、該撮像素子に配置された前記位相差検出画素を、他の分光感度よりも人間の眼による画質の劣化が判別し難い分光感度を有する第１画素と、該第１画素以外の第２画素とに分別する位相差画素判別部と、該位相差画素判別部により分別された各前記第１画素に対して、各前記第２画素に対するよりも精度の低い補正処理を施す位相差画素値補正部とを備える撮像装置である。

本態様によれば、撮像素子に備えられた異なる分光感度を有する複数の画素のいずれかに配置された複数の位相差検出画素により、瞳位相差方式によって被写体との距離を測定することができる。このような位相差検出画素により取得された画素値は画像を生成するためにそのまま使用できないので、補正処理が施される。

この場合において、本態様によれば、位相差画素判別部により、位相差検出画素が、人間の眼による画質の劣化が判別し難い分光感度を有する第１画素と第１画素以外の第２画素とに分別され、位相差画素値補正部により、第１画素については第２画素に対するよりも精度の低い補正処理が施される。
すなわち、第１画素について精度の低い補正処理が施されて画質が劣化しても、該第１画素は人間の眼による画質の劣化が判別し難い分光感度を有するので、画質の劣化が目立たない。精度の低い補正処理は、ラインメモリ、回路規模および演算量を抑えることができ、消費電力を低下させることができる。一方、第１画素以外の第２画素については、第１画素に対するよりも精度の高い補正処理を施すことにより、画質を向上させることができる。

上記態様においては、前記位相差画素判別部が、青色の波長帯域に分光感度を有する前記位相差検出画素を前記第１画素に分別してもよい。
このようにすることで、青色の波長帯域については、人間の眼による画質の劣化が判別し難い分光感度なので、精度の低い補正処理によっても画質の劣化を目立たせずに済む。 したがって、ラインメモリ、回路規模および演算量を抑えることができ、消費電力を低下させることができる。

また、上記態様においては、前記撮像素子の所定数の前記画素の画素値に基づいて単一の画素値を出力する画素数低減処理を行う画素数低減部を備え、前記位相差画素判別部が、前記画素数低減処理後の画像内の青色の波長帯域に分光感度を有する全画素における前記位相差検出画素の密度が所定の第１閾値より高い場合に、前記位相差検出画素を前記第１画素に分別し、前記位相差画素値補正部が、前記画素数低減処理前の画像に基づいて各前記第１画素に対して補正処理を施してもよい。

このようにすることで、青色の波長帯域に分光感度を有する位相差検出画素であっても、画素数低減部による画素数低減処理後の画像内の同色の全ての画素における位相差検出画素の密度が第１閾値より高い場合には、画素数低減処理後の画像において、位相差検出画素以外の画素が少ないために補正処理が困難となる。本態様によれば、画素数低減処理前の画像に基づいて各第１画素に対する補正処理を施すことにより、有効な補正処理を行うことができる。

また、上記態様においては、前記位相差画素値補正部が、前記画素数低減処理前の画像内の青色の波長帯域に分光感度を有する全画素における前記位相差検出画素の密度が所定の第２閾値より高い場合に、該第２閾値以下の場合よりも精度の低い補正処理を各前記第１画素に対して施してもよい。

このようにすることで、画素数低減処理後の画像内の青色の波長帯域に分光感度を有する全画素における位相差検出画素の密度が第１閾値より高いことにより第１画素に分別された位相差検出画素について、さらに、画素数低減処理前の画像内の青色の波長帯域に分光感度を有する全画素における位相差検出画素の密度が所定の第２閾値より高いか否かによって補正処理が切り替えられる。これにより、画素数低減処理前の画像において、位相差検出画素以外の画素が十分に存在する場合には、より精度の高い補正処理を行って、画質を向上することができる。

また、上記態様においては、前記位相差画素判別部が、前記第２画素に分別された前記位相差検出画素の内、青色の波長帯域に分光感度を有する前記位相差検出画素に対し、それ以外の前記第２画素に分別された前記位相差検出画素に対するよりも精度の低い補正処理を施してもよい。
このようにすることで、画素数低減処理後の画像内の青色の波長帯域に分光感度を有する全画素における位相差検出画素の密度が第１閾値より高い第１画素以外の第２画素に分別された位相差検出画素について、青色の波長帯域に分光感度を有する前記位相差検出画素に対し、それ以外の位相差検出画素に対するよりも精度の低い補正処理が施される。第２画素についても、人間の眼による画質の劣化が判別し難い分光感度の位相差検出画素については、精度の低い補正処理を採用して演算量を抑えることができ、消費電力を低下させることができる。

また、上記態様においては、前記画素数低減部において単一の画素値に混合される画素数が、前記撮像素子の駆動モードまたは前記撮像素子の出力の用途に基づいて変更されてもよい。
このようにすることで、例えば、動画撮影の場合には、リアルタイム性が要求されるため、単一の画素に混合される画素数を増やしてデータの処理量を減らすことができ、静止画撮影の場合には、単一の画素に混合される画素数を減らして解像度を向上することができる。

また、本発明の他の態様は、異なる分光感度を有する複数の画素を２次元マトリクス状に配列し、複数の分光感度の一部の画素に位相差検出画素を配置してなる撮像素子に配置された前記位相差検出画素を、他の分光感度よりも人間の眼による画質の劣化が判別し難い分光感度を有する第１画素と、該第１画素以外の第２画素とに分別する位相差画素判別部と、該位相差画素判別部により分別された各前記第１画素に対して、各前記第２画素に対するよりも精度の低い補正処理を施す位相差画素値補正部とを備える画像処理装置である。

また、本発明の他の態様は、異なる分光感度を有する複数の画素を２次元マトリクス状に配列し、複数の分光感度の一部の画素に位相差検出画素を配置してなる撮像素子に配置された前記位相差検出画素を、他の分光感度よりも人間の眼による画質の劣化が判別し難い分光感度を有する第１画素と、該第１画素以外の第２画素とに分別する位相差画素判別ステップと、該位相差画素判別ステップにより分別された各前記第１画素に対して、各前記第２画素に対するよりも精度の低い補正処理を施す位相差画素値補正ステップとを含む画像処理方法である。

また、本発明の他の態様は、異なる分光感度を有する複数の画素を２次元マトリクス状に配列し、複数の分光感度の一部の画素に位相差検出画素を配置してなる撮像素子に配置された前記位相差検出画素を、他の分光感度よりも人間の眼による画質の劣化が判別し難い分光感度を有する第１画素と、該第１画素以外の第２画素とに分別する位相差画素判別ステップと、該位相差画素判別ステップにより分別された各前記第１画素に対して、各前記第２画素に対するよりも精度の低い補正処理を施す位相差画素値補正ステップとをコンピュータに実行させる画像処理プログラムである。

本発明によれば、高密度かつ広範囲に位相差検出画素が多数配置された撮像素子により得られた画像データを、回路規模を低減しつつ、画質を向上させる補正を行うことができるという効果を奏する。

本発明の一実施形態に係る撮像装置を示すブロック図である。 図１の撮像装置に備えられた撮像素子の画素配列例を示す図である。 図１の撮像装置の撮像部に備えられた撮像制御部を示すブロック図である。 図３の撮像制御部に備えられる第１画素補正処理部を示すブロック図である。 図１の撮像装置に備えられた画像処理部を示すブロック図である。 図５の画像処理部に備えられる第２画素補正処理部を示すブロック図である。 図２の画素配列例の上開口位相差検出画素および下開口位相差検出画素を抜き出し、画素混合の範囲を示す図である。 図２の画素配列例の左開口位相差検出画素および右開口位相差検出画素を抜き出し、画素混合の範囲を示す図である。 図７Ａの画素の画素混合後の画素配列例を示す図である。 図７Ｂの画素の画素混合後の画素配列例を示す図である。 図７Ａの画素混合前の撮像データによる補正を説明する図である。 本発明の一実施形態に係る画像処理方法を説明するフローチャートである。 図１０のフローチャートにおける第１画素補正処理ルーチンを説明するフローチャートである。 図１０のフローチャートにおける第２画素補正処理ルーチンを説明するフローチャートである。

本発明の一実施形態に係る撮像装置１、画像処理装置１６、画像処理方法および画像処理プログラムについて、図面を参照して以下に説明する。
本実施形態に係る撮像装置１は、図１に示されるように、デジタルカメラであって、撮影レンズ２、絞り３、メカシャッタ４、駆動部５、操作部６、撮像部７、ＣＰＵ８、画像処理部９、焦点検出回路１０、ビデオエンコーダ１１、表示部１２、ＤＲＡＭ１３、ＲＯＭ１４および記憶媒体１５を備えている。
本実施形態に係る画像処理装置１６は、撮像部７および画像処理部９により構成されている。

撮影レンズ２は、被写体からの光を集光する１以上のレンズから構成された光学系であり、単焦点レンズでもズームレンズでもよい。絞り３は、撮影レンズ２により集光された光の光束の量を調節するために開口径３ａを調節可能に設けられている。メカシャッタ４は、絞り３の後段に配置され、開閉可能に設けられており、開放時間を調節することによって、露光時間を調節することができるようになっている。メカシャッタ４としては公知のフォーカルプレーンシャッタ、レンズシャッタ等が採用される。駆動部５は、ＣＰＵ８からの指令信号に基づいて、撮影レンズ２の光軸方向位置、絞り３の開口径３ａおよびメカシャッタ４の開閉動作を調節するようになっている。

操作部６は、電源ボタン、レリーズボタン、再生ボタンおよびメニューボタン等の各種の操作ボタンおよびタッチパネル等の各種の操作部材を含んでいる。
撮像部７は、撮像素子１７と撮像制御部１８とを備えている。
撮像素子１７は、撮影レンズ２の光軸上のメカシャッタ４の後段であって、撮影レンズ２によって被写体の像が結像される位置に配置されている。

撮像素子１７は、画素を構成するフォトダイオードが２次元マトリクス状に配列されて構成されている。フォトダイオードは、受光量に応じた電荷を生成する。フォトダイオードにより生成された電荷は各フォトダイオードに接続されているキャパシタに蓄積された後、画像信号として読み出されるようになっている。ここで、本実施形態においては、撮像素子１７は、複数の異なる電荷の読み出し方式を備えている。キャパシタに蓄積された電荷は、撮像制御部１８からの制御信号に従って読み出されるようになっている。

画素を構成するフォトダイオードの前面には、例えば、ベイヤ配列のカラーフィルタが配置されている。ベイヤ配列は、水平方向にＲ画素とＧ（Ｇｒ）画素とが交互に配列されたラインと、Ｇ（Ｇｂ）画素とＢ画素とが交互に配列されたラインとをＧ画素の位置をずらして交互に配列することにより構成されている。これにより、Ｒ画素、Ｇｒ画素、Ｇｂ画素およびＢ画素の４画素が２×２のマトリクス状に配列された画素組が縦横に繰り返し配列されている。

本実施形態においては、撮像素子１７の一部の画素が位相差検出画素として機能するようになっている。すなわち、撮像素子１７には、記録や表示のための画像を取得するための通常画素と位相差検出画素とを備えている。位相差検出画素は、通常画素とは異なり、部分的に遮光が施されている。

図２に、撮像素子１７の画素配列の一例を示す。図２において、Ｒは赤色のカラーフィルタが設けられたＲ画素を示し、Ｇｒ、Ｇｂは緑色のカラーフィルタが設けられたＧ画素を示し、Ｂは青色のカラーフィルタが設けられたＢ画素を示している。黒塗りされた部分が遮光膜を示している。

位相差検出画素においては、画素の上下左右のいずれか半分の領域が遮光膜によって遮光されている。
本実施形態においては、左半面を遮光した右開口位相差検出画素５１および右半面を遮光した左開口位相差検出画素５２が、上下左右に１つおきのＧｒ画素の位置に設けられ、上半面を遮光した下開口位相差検出画素５３および下半面を遮光した上開口位相差検出画素５４が、上下左右に１つおきのＢ画素の位置に設けられている。

画素数が多い撮像素子１７の場合には、各画素の面積が小さいので、近接して配置される画素には、被写体のほぼ同じ像が結像すると考えることができる。したがって、位相差検出画素が図２に示すように配置されることにより、近接する右開口位相差検出画素５１と左開口位相差検出画素５２との対で水平方向の位相差を検出することができるようになっている。また、近接する下開口位相差検出画素５３と上開口位相差検出画素５４との対で垂直方向の位相差を検出することができるようになっている。

位相差検出画素は、画素の一部の領域が遮光されているので、検出される光量が低下する。この光量の低下は、位相差検出画素に掲載された遮光膜の面積の他、遮光膜の位置、入射する光の角度および像高によっても異なる。

撮像制御部１８は、ＣＰＵ８からの指令信号に従って、撮像素子１７の読み出し方式を設定し、設定された読み出し方式に従って撮像素子１７からの画像データの読み出しを制御するようになっている。撮像制御部１８は位相差検出画素によって取得された信号を補正する処理を行うようになっている。

撮像素子１７からの画素データの読み出し方式は、デジタルカメラの撮像モード（駆動モード）に応じて設定されるようになっている。例えば、撮像素子１７からの画素データの読み出しにリアルタイム性が求められる場合（例えば、ライブビュー表示時や動画記録時）には、画素データの読み出しを高速に行えるように、複数の同色画素からの画素データを混合して読み出したり特定の画素の画素データを間引いて読み出したりする。一方、リアルタイム性よりも高い画質が求められる場合（例えば、静止画記録時）には、混合読み出しや間引き読み出しを行うことなく全画素の画素データを読み出すようになっている。

撮像制御部１８は、図３に示されるように、増幅部１９、Ａ／Ｄ変換部２０、画素間引処理部２１、第１画素補正処理部２２および画素混合処理部（画素数低減部）２３を備えている。
増幅部１９は、撮像素子１７から出力された画素データのゲイン調整（増幅）を行うようになっている。
Ａ／Ｄ変換部２０は、増幅部１９によって増幅されたアナログ信号からなる画素データをデジタル信号に変換するようになっている。
以下、本実施形態においては、複数の画素データの集まりを撮像データといい、画素データによって示される各画素の値を画素値という。

第１画素補正処理部２２は、位相差検出画素において取得される画素データの補正に関わる処理を行うようになっている。すなわち、画像を取得する露光の際には、第１画素補正処理部２２は、位相差検出画素において取得される画素データを周辺の通常画素において取得された画素データによって補正する。なお、焦点検出用露光の際には、位相差検出画素で取得された画素データはそのままＤＲＡＭ１３に書き込まれる。

第１画素補正処理部２２は、図４に示されるように、第１画素種別判断部（位相差画素判別部）２４と、画素混合判断部（位相差画素値補正部）２５とを備えている。第１画素種別判断部２４は、位相差検出画素の内、撮像制御部１８内で補正する位相差画素を選択するようになっている。すなわち、撮像制御部１８内で補正の対象となる位相差検出画素が、青色のカラーフィルタの位置に配置されているか、緑色のカラーフィルタの位置に配置されているか、それ以外の位置に配置されているかを判別するようになっている。

画素混合判断部２５は、第１画素種別判断部２４の判断結果に基づいて、対象となる位相差画素を補正した画素値を生成するか、後段の画素混合判断部２５に対象画素を混合しないよう指示するフラグ処理を行うようになっている。
第１画素補正処理部２２の具体的な動作については後述する。

ＣＰＵ８はＲＯＭ１４に記憶されているプログラムに従ってデジタルカメラ全体の制御を行うようになっている。
画像処理部９は、例えば、ＡＳＩＣによって構成され、ＤＲＡＭ１３からの画素データを読み出して画像処理を行い、表示用画像データとしてＤＲＡＭ１３に書き戻す。例えば、画像処理部９は、静止画像の記録時には、静止画記録用の画像処理を施し、動画記録時には、動画記録用の画像処理を施し、ライブビュー表示時には、表示用の画像処理を施す。

さらに詳細には、画像処理部９は、図５に示されるように、ＷＢ（ホワイトバランス）補正処理部２６、第２画素補正処理部２７、同時化処理部２８、輝度特性変換部２９、エッジ強調処理部３０、ＮＲ（ノイズ低減）処理部３１および色再現処理部３２を備えている。

ＷＢ補正処理部２６は、撮像データの各色成分を所定のゲイン量で増幅することにより画像の色バランスを補正する回路である。
第２画素補正処理部２７は、位相差検出画素において取得される画素データの補正に関わる処理を行うようになっている。特に、第１画素補正処理部２２で補正されなかった位相差検出画素の補正を行う回路である。第２画素補正処理部２７による補正処理の詳細については後述する。

同時化処理部２８は、例えば、撮像素子１７のカラーフィルタがベイヤ配列に対応して撮像素子１７を介して出力される撮像データにおいて、１つの画素が１つの色成分に対応している撮像データについて、１つの画素が複数の色成分に対応している画像データに変換する回路である。
輝度特性変換部２９は、同時化処理部２８において生成された画像データの輝度特性を表示や記録に適するように変換する回路である。

エッジ強調処理部３０は、輝度特性変換部２９から出力された画像データからバンドパスフィルタ等を用いて抽出したエッジ信号にエッジ強調係数を乗算してその結果を基の画像データに加算することによって、対象とする画像データにおけるエッジ成分を強調する回路である。
ＮＲ処理部３１は、コアリング処理等を用いて、エッジ強調処理部３０から出力された画像データにおけるノイズ成分を除去する回路である。

色再現処理部３２は、画像の色再現を適切なものとするための各種処理を行う回路である。色再現処理部３２においては、例えば、カラーマトリクス演算処理等がある。カラーマトリクス演算処理は、画像データに対して、例えば、ホワイトバランスモードに応じてカラーマトリクス係数を乗算する処理等である。また、色再現処理部３２においては彩度・色相の補正処理等も行われる。

焦点検出回路１０は、例えば、ＡＳＩＣによって構成され、ＤＲＡＭ１３から位相差検出画素によって取得された画素データを読み出す。焦点検出回路１０は、位相差検出画素で取得されたデータに基づいて焦点位置の検出に係る処理を行うようになっている。
ビデオエンコーダ１１は、画像処理部９によって生成されＤＲＡＭ１３に一時記憶された表示用画像データを読み出し、読み出された表示用画像データを表示部１２に出力するようになっている。

表示部１２は、液晶ディスプレイあるいは有機ＥＬディスプレイ等であり、ビデオエンコーダ１１から入力されてきた表示用画像データに従って画像を表示するようになっている。表示部１２は、ライブビュー表示や記録済み画像の表示等に使用される。

バス３３は、撮像制御部１８、ＣＰＵ８、画像処理部９、焦点検出回路１０、ビデオエンコーダ１１、ＤＲＡＭ１３、ＲＯＭ１４および記憶媒体１５等に接続されている。これら各部で発生した各種のデータは、バス３３を介して転送されるようになっている。

ＤＲＡＭ１３は、電気的に書き換え可能なメモリであり、撮像データ（画素データ）、記録用画像データ、表示用画像データおよびＣＰＵ８における処理データ等の各種データを一時的に記憶するようになっている。ＤＲＡＭ１３に代えてＳＤＲＡＭを使用してもよい。

ＲＯＭ１４は、マスクＲＯＭやフラッシュメモリ等の不揮発性メモリであり、ＣＰＵ８で使用するプログラムおよびデジタルカメラの調整値等の各種データを記憶している。
記憶媒体１５は、デジタルカメラに着脱可能に取り付けられ、記録用画像データを所定の形式の画像ファイルとして記憶するようになっている。

第１画素補正処理部２２は、位相差検出画素の密度と該位相差検出画素が配置されている画素の分光感度に応じて補正処理を切り替えるようになっている。
ここで、位相差検出画素の密度について説明する。

図７Ａは、図２に示される撮像素子１７における位相差検出画素の内、青色フィルタが設けられている画素に配置されている上開口位相差検出画素５４および下開口位相差検出画素５３のみを抜き出して表示した図である。
図７Ｂは、図２に示される撮像素子１７における位相差検出画素の内、緑色フィルタが設けられている画素に配置されている左開口位相差検出画素５２および右開口位相差検出画素５１のみを抜き出して表示した図である。

例えば、動画記録において、画素混合処理部２３内において、水平同色２画素と垂直同色２画素が混合される例では、青色フィルタが設けられた画素については、図７Ａに鎖線で示されるように、単一の上開口位相差検出画素５４または下開口位相差検出画素５３と、３つの通常画素とが混合されるようになっている。同様に、緑色フィルタが設けられた画素についても、図７Ｂに鎖線で示されるように、単一の左開口位相差検出画素５２または右開口位相差検出画素５１と、３つの通常画素とが混合されるようになっている。

そして、画素混合処理部２３により画素混合された後にＤＲＡＭ１３上に配置される撮像データにおいては、図８Ａおよび図８Ｂに示されるように、青色フィルタが設けられた全ての画素には上開口位相差検出画素５４または下開口位相差検出画素５３が配置されており、緑色フィルタが設けられた全てのＧｒ画素には左開口位相差検出画素５２または右開口位相差検出画素５１が配置されている。

この場合において、位相差検出画素の密度ｘは、画像混合処理が行われる前の撮像データにおける同色の画素数に対する位相差検出画素の割合をいい、位相差検出画素の密度ｙは、画像混合処理が行われた後、ＤＲＡＭ１３上に配置される撮像データにおける同色の画素数に対する位相差検出画素の割合をいうものとする。

具体的には、図７Ａに示される画素混合前の撮像データにおいて、青色フィルタが設けられた全てのＢ画素に対する位相差検出画素の割合は４画素に１つの割合、すなわち、密度ｘ＝１／４となる。一方、図８Ａに示される画素混合後の撮像データにおいては青色フィルタが設けられた全てのＢ画素が位相差検出画素となっているので、密度ｙ＝１となっている。

また、図７Ｂに示される画素混合前の撮像データにおいて、緑色フィルタが設けられた全てのＧｒ画素およびＧｂ画素に対する位相差検出画素の割合は８画素に１つの割合、すなわち、密度ｘ＝１／８となる。一方、図８Ｂに示される画素混合後の撮像データにおいては密度ｙ＝１／２となっている。

第１画素補正処理部２２においては、まず、処理対象画素が位相差検出画素であるか否かが判定され、位相差検出画素であった場合には、その画素の分光感度が人間の眼で見て画質の劣化への影響が少ない分光感度を有する画素（第１画素）であるか否かが判断されるようになっている。

第１画素補正処理部２２においては、次いで、画素混合処理後の位相差検出画素の密度ｙが所定の閾値（第１閾値）以上であるか否かが判断される。説明の簡単のため、閾値は例えば１である。密度ｙ＝１である場合は、図８Ａに示されるように、同色の全ての画素が位相差検出画素であり、周辺に同色の通常画素が存在しないため、適正な補正が困難である。

このような場合には、画素混合処理が行われる前の撮像データに対して処理が行われることが好ましい。しかし、この場合には、撮像素子１７内に補正処理回路を設ける必要がある。一般に、撮像素子１７に用いられるＣＭＯＳ等は、フォトダイオードやカラーフィルタ等を設置する半導体素子であり、ＡＳＩＣと比較してプロセスを小型化することが困難である。そのため、撮像素子１７内に補正処理回路を設けて動作させることは、ＡＳＩＣ内に補正処理回路を設けて動作させることと比較して、高コストであり消費電力も増大する。

したがって、撮像素子１７内の補正処理は、例えば、ラインメモリを極力抑えた同色周辺４画素の加算平均や単純な同色左右加算平均、あるいは、位相差検出画素については混合しない等の手段が望ましい。

本実施形態においては、密度ｙ≧１である場合には、画素混合処理前の位相差検出画素の密度ｘが所定の閾値（第２閾値）より低いか否かを判定する。例えば、閾値を１／１６として、ｘ≦１／１６である場合には、各位相差検出画素の周辺に、該位相差検出画素の画素値を補正するために利用可能な通常画素が潤沢に存在している可能性が高いと考えられるため、周辺画素を利用した補正を行うようになっている。

具体的には、ｘ≦１／１６である場合には、図９に示されるように、位相差検出画素の画素値を左右の通常画素Ｂ１，Ｂ２の平均値で置き換える補正を行う。生成される補正値ｃ＿ｐｉｘは、以下の式（１）で表される。
ｃ＿ｐｉｘ＝（Ｂ１＋Ｂ２）／２ （１）

式（１）により求められた補正値ｃ＿ｐｉｘを用いて画素混合処理が行われるので、混合処理により出力される画素値ｏｕｔ１、隣接する通常画素Ｂ１，Ｂ３，Ｂ４を用いて、以下の式（２）で求められる。
ｏｕｔ１＝（Ｂ１＋ｃ＿ｐｉｘ＋Ｂ３＋Ｂ４）／４ （２）

一方、ｘ＞１／１６である場合には、位相差検出画素の画素値は考慮せずに画素混合処理（スキップ混合処理）を行うため、混合処理により出力される画素値は、以下の式（３）で求められる。
ｏｕｔ１＝（Ｂ１＋Ｂ２＋Ｂ３）／３ （３）
これにより、第１画素補正処理部２２による補正処理が終了する。

次に、第２画素補正処理部２７による補正処理について説明する。
第２画素補正処理部２７は、図６に示されるように、第２画素種別判断部３４、適用補正選択部３５、第１補正適用部（位相差画素値補正部）３６および第２補正適用部（位相差画素値補正部）３７を備えている。
第２画素補正処理部２７においては、処理しようとする画素が、位相差検出画素で、かつ、第１画素補正処理部２２による補正処理が行われていない位相差検出画素について補正処理が行われるようになっている。

すなわち、第２画素補正処理部２７においては、まず、第２画素種別判断部３４において、第１画素補正処理部２２による補正処理が行われていない位相差検出画素であるか否かが判定される。
さらに、第２画素種別判断部３４においては、位相差検出画素である場合には、青色フィルタの位置に配置されているか否かが判断されるようになっている。青色フィルタ以外のカラーフィルタが配置されている位置の位相差検出画素である場合には、当該位相差検出画素に対しては、周辺の画素値に応じて適応的にフィルタ係数を異ならせる補正処理（第１補正）が適用補正選択部３５において選択されるようになっている。

青色フィルタの位置に配置されている場合には、密度ｙの大きさによって、異なる補正処理（第１補正または第２補正）が行われるようになっている。密度ｙが所定の閾値より小さい場合には、周辺に補正処理に有効な画素が多数存在するので、周辺の画素値に応じた適応的にフィルタ係数を異ならせる補正処理（第１補正）が適用補正選択部３５において選択されるようになっている。密度ｙが所定の閾値以上の場合には、ごく近傍の周辺の画素値を用いた補正処理（第２補正）が適用補正選択部３５において選択されるようになっている。

そして、適用補正選択部３５において選択された第１補正および第２補正については、各補正処理が選択された位相差検出画素に対して、第１補正適用部３６および第２補正適用部３７において、該当する補正処理が行われるようになっている。

このように構成された本実施形態に係る撮像装置１および画像処理装置１６における画像処理方法について以下に説明する。
本実施形態に係る画像処理方法においては、図１０に示されるように、まず、ＣＰＵ８が動画記録用の露光を開始する（ステップＳ１０１）と、ＣＰＵ８により露光が焦点検出用露光であるか否かが判定される（ステップＳ１０２）。

焦点検出用露光である場合には、撮像部７が撮像取り込みを行う（ステップＳ１０３）。すなわち、撮像素子１７は光電変換を行い、撮像制御部１８がデジタル化したデータをＤＲＡＭ１３に配置する。そして、焦点検出回路１０により、位相差検出画素で取得されたデータに基づいて、位相差を利用した焦点検出を行う（ステップＳ１０４）。ＣＰＵ８は焦点検出の結果に基づいて、合焦のために駆動部５に撮影レンズ２を駆動させ、ステップＳ１１０に進む。

ステップＳ１０２において、焦点検出用露光ではないと判定されたときには、撮像部７による撮像動作が行われる（ステップＳ１０５）。すなわち、撮像素子１７は光電変換を行い、Ａ―ＡＭＰがアナログゲイン調整を行い、Ａ／Ｄ変換部２０がアナログ信号をデジタル信号に変換する。デジタル信号となった画素データは、第１画素補正処理部２２によって位相差検出画素が補正される（ステップＳ１０６）。

第１画素補正処理部２２においては、図１１に示されるように、位相差検出画素か否かが判定され（位相差画素判別ステップＳ２０１）、位相差検出画素である場合には、青色フィルタの位置に配置されているか否かが判定される（ステップＳ２０２）。
位相差検出画素が青色フィルタの位置に配置されている場合には、密度ｙ≧１であるか否かが判定され（ステップＳ２０３）、密度ｙ≧１である場合には、密度ｘ≦１／１６であるか否かが判定される（ステップＳ２０４）。ステップＳ２０３において、密度ｙ＜１である場合には、撮像の駆動モードに応じた画素混合処理を行うフラグが設定される（ステップＳ２０５）。

ステップＳ２０４において、ｘ≦１／１６である場合には、式（１）により補正値が生成され（ステップＳ２０６）、生成された補正値を用いて式（２）により画素混合処理を行うフラグが設定される（ステップＳ２０８）。ステップＳ２０４において、ｘ＞１／１６である場合には、式（３）により画素混合処理を行うフラグが設定される（ステップＳ２０７）。

このようにして、第１画素補正処理部２２の画素混合判断部２５により設定されたフラグに基づいて、撮像制御部１８内の画素混合処理部２３において画素混合処理が行われる（位相差画素値補正ステップＳ１０６）。
この場合において、本実施形態に係る画像処理方法によれば、撮像制御部１８において実施される位相差検出画素の画素値の補正が、単純な演算処理により行われ演算量を抑えることができるので、ラインメモリを極力抑え、コストおよび消費電力の低減を図ることができるという利点がある。

撮像素子１７において画素混合処理が行われた後の撮像データが、撮像部７から取り出された後（ステップＳ１０７）、バス３３を介してＤＲＡＭ１３に書き込まれる（ステップＳ１０８）。
次いで、画像処理部９がＤＲＡＭ１３から撮像データを読み出して、画像処理を行う（ステップＳ１０９）。そして、画像処理が行われた画像データを記憶し（ステップＳ１１０）、動画記録を停止するか否かを判定する（ステップＳ１１１）。動画記録を停止しない場合は、ステップＳ１０２に戻り処理を繰り返す。

画像処理部９においては、図１２に示されるように、ＷＢ補正処理部２６が、ＤＲＡＭ１３から取り出された撮像データの各色成分を所定のゲイン量で増幅することにより、画像のホワイトバランスを補正する（ステップＳ３０１）。
次いで、第２画素補正処理部２７において、位相差検出画素において取得された画素値が補正される。第２画素補正処理部２７においては、第１画素補正処理部２２において補正されなかった位相差検出画素か否かが判定され（位相差画素判別ステップＳ３０２）、既に補正された位相差検出画素である場合には、補正を行うことなく、通常画素と同様に取り扱われる。

未補正の位相差検出画素である場合には、緑色フィルタの位置に配置された位相差検出画素であるか否かが判定される（ステップＳ３０３）。緑色フィルタの位置に配置されている位相差検出画素である場合には、周辺の画素値に応じて適応的にフィルタ係数を異ならせるような公知の補正方法により位相差検出画素を補正する（位相差画素値補正ステップＳ３０４）。これにより、人間の眼で見て画質の劣化への影響が大きい緑色フィルタに配置された位相差検出画素の画素値が精度よく補正され、画質を向上することができるという利点がある。

一方、未補正の位相差検出画素が、緑色フィルタの位置に配置されたものではない場合、すなわち、青色フィルタの位置に配置されているものである場合には、密度ｙ＞１／２であるか否かが判定される（ステップＳ３０５）。判定の結果、密度ｙ≦１／２である場合には、周辺に補正処理に有効な画素が多数存在すると考えられるため、ステップＳ３０４に進んで、緑色フィルタの位置に配置されている位相差検出画素と同等の処理が行われる。判定の結果、密度ｙ＞１／２である場合には、ごく近傍の画素値を用いた補正処理が行われる（位相差画素値補正ステップＳ３０６）。この場合には、第１画素の補正処理とは異なり、ＡＳＩＣで補正処理を完結することができ、低消費電力で処理することができる。

位相差検出画素が補正された（ステップＳ３０７）後には、撮像データに対して同時化処理が行われ（ステップＳ３０８）、輝度特性変換処理が行われる（ステップＳ３０９）。次いで、エッジ強調処理（ステップＳ３１０）、ＮＲ処理（Ｓ３１１）および色再現処理（Ｓ３１２）が行われる。

このように、本実施形態に係る撮像装置１、画像処理装置１６および画像処理方法によれば、他の分光感度の画素よりも人間の眼で見て画質の劣化への影響が大きい位相差検出画素（第２画素）に対しては、画質を向上するために十分な補正を行うことができ、人間の目で見て画質の劣化への影響が小さい位相差検出画素（第１画素）に対しては、演算量を抑えた単純な補正によってコストおよび消費電力を低減することができるという利点がある。これにより、十分な画質と低コスト／低消費電力とを両立した画像処理を行うことができる。

なお、本実施形態においては、位相差検出画素のカラーフィルタについては、画素の位置を特定するために、各画素に本来配置されているカラーフィルタを例示したが、これに限定されるものではない。位相差検出画素の画素値自体は用いないので、赤色フィルタ、緑色フィルタまたは青色フィルタのいずれかが配置されていてもよいし、より広い波長帯域を有するカラーフィルタが配置されていてもよいし、カラーフィルタが配置されていなくてもよい。

また、本実施形態においては、遮光膜が画素の略１／２の遮光面積を有する場合を例示したが、これに限定されるものではない。また、右開口位相差検出画素５１および左開口位相差検出画素５２をＧｒ画素に配置し、上開口位相差検出画素５４および下開口位相差検出画素５３をＢ画素に配置したが、これに限定されるものでもない。

また、位相差検出画素の一部領域を遮光することによって瞳分割を行う例を示したが、位相差検出画素は、撮影レンズ２の異なる瞳領域を通過した対をなす被写体からの光束の内の一方を選択的に受光できればよいので、一部領域を遮光する構成とはせずに、瞳分割用のマイクロレンズによって行われてもよい。

また、本実施形態においては、位相差検出画素の密度は任意でよい。特に、ＤＲＡＭ１３上に配置される撮像データにおける密度は、撮像素子１７の駆動モードや混合読み出だし、間引き読み出しの仕方によって適応的に変化するものである。本実施形態においては、水平同色２画素と垂直同色２画素の混合の場合を例示しているがこれに限定されるものではない。

また、本実施形態において使用された各閾値としては、上記実施例とは異なる値を採用してもよい。
また、本実施形態においては、画素混合によってＤＲＡＭ１３上に配置する撮像データのデータ量を低減することとしたが、これに代えて、画素数低減部としては、画素間引きを行うものを採用してもよい。

また、カラーフィルタの配列方法をいわゆるベイヤ配列にした場合を例示したが、これに限定されるものではなく、位相差検出画素と通常画素とが混在する撮像素子であれば、同様に適用することができる。

また、本実施形態においては、画像処理方法をハードウェアによって実現する構成について説明したが、コンピュータにより実行可能な画像処理プログラムによって実現することとしてもよい。この場合、コンピュータは、ＣＰＵ、ＲＡＭ等の主記憶装置、およびコンピュータ読み取り可能な記録媒体を備え、該記録媒体に上述した処理を実現させるための画像処理プログラムが記録される。そして、ＣＰＵが記録媒体に記録されている画像処理プログラムを読み出して、画像処理装置１６と同様の処理を実現することができる。

１ 撮像装置
１６ 画像処理装置
１７ 撮像素子
２３ 画素混合処理部（画素数低減部）
２４ 第１画素種別判断部（位相差画素判別部）
２５ 画素混合判断部（位相差画素値補正部）
３６ 第１補正適用部（位相差画素値補正部）
３７ 第２補正適用部（位相差画素値補正部）
Ｓ１０６，Ｓ３０４，Ｓ３０６ 位相差画素値補正ステップ
Ｓ２０１，Ｓ３０２ 位相差画素判別ステップ

Claims (4)

1. 異なる分光感度を有する複数の画素を２次元マトリクス状に配列し、複数の分光感度の一部の画素に位相差検出画素を配置してなる撮像素子と、
   該撮像素子に配置された前記位相差検出画素を、他の分光感度よりも人間の眼による画質の劣化が判別し難い分光感度を有する第１画素と、該第１画素以外の第２画素とに分別する位相差画素判別部と、
   該位相差画素判別部により分別された各前記第１画素に対して、各前記第２画素に対するよりも精度の低い補正処理を施す位相差画素値補正部と、
   前記撮像素子の所定数の前記画素の画素値に基づいて単一の画素値を出力する画素数低減処理を行う画素数低減部とを備え、
   前記位相差画素判別部が、前記画素数低減処理後の画像内の青色の波長帯域に分光感度を有する全画素における前記位相差検出画素の密度が所定の第１閾値より高い場合に、前記位相差検出画素を前記第１画素に分別し、
   前記位相差画素値補正部が、前記画素数低減処理前の画像に基づいて各前記第１画素に対して補正処理を施す撮像装置。
2. 前記位相差画素値補正部が、前記画素数低減処理前の画像内の青色の波長帯域に分光感度を有する全画素における前記位相差検出画素の密度が所定の第２閾値より高い場合に、該第２閾値以下の場合よりも精度の低い補正処理を各前記第１画素に対して施す請求項１に記載の撮像装置。
3. 前記位相差画素判別部が、前記第２画素に分別された前記位相差検出画素の内、青色の波長帯域に分光感度を有する前記位相差検出画素に対し、それ以外の前記第２画素に分別された前記位相差検出画素に対するよりも精度の低い補正処理を施す請求項１または請求項２に記載の撮像装置。
4. 前記画素数低減部において単一の画素値に混合される画素数が、前記撮像素子の駆動モードまたは前記撮像素子の出力の用途に基づいて変更される請求項１から請求項３のいずれかに記載の撮像装置。

Images