JP6184132B2 - 撮像装置および画像処理方法 - Google Patents

Description

本発明は、画素の一部に焦点検出を行うための位相差画素が設けられた撮像素子を有する撮像装置および撮像素子からの撮像データの画像処理を行う画像処理方法に関する。

光学系により結像された光学像を電気信号に変換する撮像素子を有する撮像装置において、撮像面の一部に位相差検出方式による焦点検出用の位相差画素を配置した撮像素子（位相差イメージャともいう）を設けることが提案されている（特許文献１参照）。

前述したような位相差検出方式による位相差画素に強い入射光があると、クロストークによるレベル段差が生ずる。この点について、図１３を用いて説明する。図１３（ａ）は通常画素の例を示し、図１３（ｂ）は位相差画素の例を示す。図１３（ａ）において、強い入射光ＬＡが入射部ＬＩ１ａを介してフォトダイオードＰＤ１ａに入射すると光電荷ＰＣａが発生する。また入射部ＬＩ２ａを介してフォトダイオードＰＤ１ａには殆ど光が入射しないとすると、ここには殆ど光電荷は発生しない。しかし、フォトダイオードＰＤ１ａで発生した光電荷がフォトダイオードＰＤ２ａに流れ込みクロストークＣＴａを発生する。

図１３（ｂ）において、強い入射光ＬＡが入射部ＬＩ１ｂを介してフォトダイオードＰＤ１ｂに入射すると、光電荷ＰＣｂが発生する。しかし、位相差画素においては、遮光板Ｓが設けられていることから、遮光板によって入射光ＬＡが遮られない開口部を介して入射した光のみによって光電荷ＰＣｂが発生するため、光電荷ＰＣｂは、通常画素の場合の光電荷ＰＣａよりも少ない。この結果、フォトダイオードＰＤ２ｂ付近に生ずるクロストークＣＴｂはＣＴａよりも小さくなる。

このように、位相差検出方式による焦点検出用の位相差画素は、画素の一部に遮光部材が設けてられているため、通常画素に生ずるクロストークの量とは異なり、そのままでは絵柄に段差が生じてしまう。これを解決するために、位相差画素の出力値からクロストーク量を推定する方法が提案されている（特許文献２参照）。

特許第３５９２１４７号公報 特開２００９−１２４５７３号公報

前述の特許文献２によれば、位相差画素によって生ずるクロストークによる影響をある程度は除去できる。しかし、位相差画素の出力は、光学系の入射特性や開口の向きによって異なるため、光学系毎の特性を勘案した上でクロストーク量を推定する必要があり、システム設計が煩雑となる。その上、動画記録中などリアルタイムに光学系に情報を取得する必要があり、対応できないシステムとなってしまうおそれがある。

本発明は、このような事情を鑑みてなされたものであり、位相差イメジャーにおいて、クロストークの影響を種々のシステムにおいても容易に軽減することが可能な撮像装置および画像処理方法を提供することを目的とする。

上記目的を達成するため第１の発明に係る撮像装置は、画素の一部に焦点検出を行うための位相差検出画素と、焦点検出を行わない画素である非位相差検出画素が設けられた撮像素子と、上記撮像素子の内の一定区間内における、同色のカラーフィルタを有する上記非位相差検出画素の全個数に対する、上記位相差検出画素に隣接する隣接画素の個数との比率を算出し、上記比率を用いて、補正する対象画素を判断する補正画素判断部と、上記補正画素判断部の出力結果に応じて、画素を補正する画素補正部と、を有する。

第２の発明に係る撮像装置は、上記第１の発明において、上記補正画素判断部は、上記位相差検出画素に隣接する隣接画素もしくは上記位相差検出画素に隣接しない非隣接画素を補正対象画素とするか否かを判断する補正基準画素判断部を有する。

第３の発明に係る撮像装置は、上記第１または第２の発明において、上記補正画素判断部は、補正対象画素周辺の位相差検出画素および非位相差検出画素の個数に基づいて、上記補正する対象画素を判断する段差レベル判断部を有する。

第４の発明に係る撮像装置は、上記第１の発明において、上記補正画素判断部は、上記補正基準画素判断部における判断結果に応じて、画素の出力を補正するか否かを判断する補正可否判断部を有する。

第５の発明に係る撮像装置は、上記第２の発明において、上記画素補正部は、上記補正画素判断部が上記位相差検出画素に隣接する上記隣接画素を補正対象とした場合に、補正対象画素を他の位相差検出画素に隣接しない上記非隣接画素に基づいて補正を行い、上記補正画素判断部が上記位相差検出画素に隣接しない上記非隣接画素を補正対象とした場合に、補正対象画素を他の位相差検出画素に隣接する上記隣接画素に基づいて補正を行う。

第６の発明に係る撮像装置は、上記第１または第２の発明において、上記補正画素判断部は、撮像の駆動モードに基づいて、上記補正する対象画素を判断する。

第７の発明に係る画像処理方法は、画素の一部に画像生成以外のための多目的画素からの画像データを取得し、上記画像データの内の一定区間内における、同色のカラーフィルタを有する非位相差検出画素の全個数に対する、位相差検出画素に隣接する隣接画素の個数との比率を算出し、上記比率に基づいて、補正する対象画素を判断し、上記補正する対象画素の判断結果に基づいて、上記画素を補正する。

本発明によれば、位相差イメジャーにおいて、クロストークの影響を種々のシステムにおいても容易に軽減することが可能な撮像装置および画像処理方法を提供することができる。

本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係るカメラの画像処理部の詳細を示すブロック図である。 本発明の一実施形態に係るカメラの補正画素判断部の詳細を示すブロック図である。 本発明の一実施形態に係るカメラの撮像素子の画素の配置を示す平面図である。 本発明の一実施形態におけるカメラにおいて、位相差画素の非隣接画素を補正する場合の補正画素部における判断を説明する図である。 本発明の一実施形態におけるカメラにおいて、位相差画素の隣接画素を補正する場合の補正画素部における判断を説明する図である。 本発明の一実施形態におけるカメラにおいて、位相差画素の非隣接画素を補正する場合の段差レベル判断部における判断を説明する図である。 本発明の一実施形態におけるカメラにおいて、位相差画素の隣接画素または非隣接画素を用いて補正を行う画素補正部の補正を説明する図である。 本発明の一実施形態のカメラにおいて、全体処理の動作を示すフローチャートである。 本発明の一実施形態のカメラにおいて、補正対象決定までの動作を示すフローチャートである。 本発明の一実施形態のカメラにおいて、補正対象決定までの動作を示すフローチャートである。 本発明の一実施形態のカメラにおいて、補正対象決定までの動作を示すフローチャートである。 従来の撮像素子の構成とクロストークを説明する図である。

以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係わるカメラは、デジタルカメラであり、一部に位相差検出方式による焦点検出用の位相差画素を備えた撮像素子を有する撮像部を設け、この撮像部によって被写体像を撮像データに変換し、また位相差画素からの出力に基づいて公知の位相差検出方式によってデフォーカス方向とデフォーカス量を算出し、撮影レンズのピント合わせを行う。

また、撮像部によって生成された撮像データに基づいてライブビュー表示を行ったり、静止画撮影を行ったり、動画撮影を行う。このとき位相差画素によって生ずるクロストークの影響を軽減するように、位相差画素の隣接画素または非隣接画素に対して、他の位相差画素の隣接画素または非隣接画素の撮像データを用いて補正する。

図１は、本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。図１において、矢印付き実線はデータの流れを示し、矢印付き破線は制御信号の流れを示す。カメラ内には、撮影レンズ１１、絞り１３、メカシャッタ１５、駆動部１７、操作部１９、撮像素子２１、Ａ−ＡＭＰ２３、アナログデジタル変換器（ＡＤＣ）２５、撮像制御回路２６、ＣＰＵ（Central Processing Unit）２７、画像処理部２９、焦点検出回路３１、ビデオエンコーダ３３、バス３５、ＤＲＡＭ（Dynamic Random Access Memory）３７、ＲＯＭ（Read Only Memory）３９、フラッシュメモリ４１を有する。

撮影レンズ１１は、被写体像を形成するための複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。この撮影レンズ１１の光軸の後方には、絞り１３が配置されており、この絞り１３は開口径が可変であり、撮影レンズ１１を通過した被写体光束の光量を制限する。絞り１３の後方には、メカシャッタ１５が配置されており、撮影レンズを通過した被写体光束の通過時間の制御を行う。メカシャッタ１５としては、公知のフォーカルプレーンシャッタ、レンズシャッタ等が採用される。

駆動部１７は、ＣＰＵ２７から出力される制御信号に基づいて、撮影レンズ１１のピント調節、絞り１３の開口径制御、およびメカシャッタ１５の開閉制御（シャッタ制御）を行う。

操作部１９は、電源釦、レリーズ釦、再生釦、メニュー釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をＣＰＵ２７に出力する。撮影モードダイヤルやメニュー画面等において、静止画撮影モードと動画撮影モードを選択することができる。動画撮影モードが選択されている際に、レリーズ釦を操作すると、動画撮影が開始され、再度、レリーズ釦が操作されると動画撮影が終了する。なお、操作部１９に動画釦を設け、動画釦が操作された際に、動画撮影を開始する等、撮影選択部として、他の方法に置き換えても勿論かまわない。

撮影レンズ１１の光軸上であって、メカシャッタ１５の後方で、かつ撮影レンズ１１によって被写体像が結像される位置付近には、撮像素子２１が配置されている。撮像素子２１には、画素の一部に焦点検出をするための位相差画素が設けられている。また、撮像素子２１は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。

各画素の前面には、ベイヤー配列のカラーフィルタが配置されている。ベイヤー配列は、水平方向にＲ画素とＧ画素が交互に配置されたラインと、Ｇ画素とＢ画素が交互に配置されたラインを有している。Ｇ画素の一部は、焦点検出用の位相差画素に置き換えられている。本実施形態では、ベイヤー配列を前提としているが、本発明はこれに限定するものではない。ハニカム配列の撮像装置やカラーフィルタの配置周期が不規則なものでもよい。また位相差画素もＧ画素の一部でなく、配置周期や配置箇所、カラーフィルタの種別およびカラーフィルタの有無もこれに限定するものではない。この撮像素子２１の詳しい構成について、図４を用いて後述する。なお、本明細書においては、撮像素子２１の画素から出力されるアナログの画像信号に基づく信号であれば、後述するＡＤＣ２５によってＡ／Ｄ変換された信号のみならず画像信号も含めて撮像データ（画像データ）と称する。

撮像素子２１の出力は、Ａ−ＡＭＰ２３に接続されている。Ａ−ＡＭＰ２３は、撮像素子２１から出力された画像信号のアナログゲイン調整を行う。Ａ−ＡＭＰ２３の出力は、ＡＤＣ２５に接続されている。

ＡＤＣ２５は、アナログデジタル変換器であり、Ａ−ＡＭＰ２３によってアナログゲイン調整された画像信号をデジタル形式の撮像データ（画像データ）に変換する。この撮像データには、非焦点検出用であって通常の画素からのデータと、焦点検出用の位相差画素からのデータの両方のデータが含まれている。ＡＤＣ２５の出力はバス３５に出力され、撮像データは後述するＤＲＡＭ３７に一時記憶される。

撮像制御回路２６は、ＣＰＵ２７の制御命令に従って、撮像素子２１の露光開始や読み出し等の制御を行う。撮像制御回路２６は、静止画撮影時、ライブビュー表示時、動画撮影時等における駆動モードに応じて、その読み出し制御を変更する。例えば、ライブビュー表示や動画撮影時には、静止画よりも画素数を必要としないが１秒間に多数のフレーム画像を取得することから、画素加算を行うようにしている。

バス３５に接続されたＣＰＵ２７は、後述するＲＯＭ３９に記憶されているプログラムに従って、カメラの全体制御を行う。

画像処理部２９は、バス３５を介してＤＲＡＭ３７から撮像データを入力し、各種画像処理を行い、静止画または動画の記録用画像データを生成し、この生成された記録用画像データは、一旦、ＤＲＡＭ３７に一時記憶する。また、ＤＲＡＭ３７から読み出した動画の画像データを用いて、表示用画像データを生成し、一旦、ＤＲＡＭ３７に一時記憶する。さらに、撮像素子２１内の焦点検出用画素位置にある位相差画素のデータを周囲の画素データを用いて補間処理等を行い、クロストークによる段差の影響を除去する。画像処理部２９の詳しい構成については、図２を用いて後述する。

焦点検出回路３１は、ＤＲＡＭ３７に一時記憶された位相検出画素からのデータを取得し、このデータに基づいて、公知の位相差ＡＦによるデフォーカス方向およびデフォーカス量を算出する。なお、焦点検出回路３１によって算出されたデフォーカス方向およびデフォーカス量に基づいて、ＣＰＵ２７は駆動部１７によって撮影レンズ１１のピント合わせを行う。

ビデオエンコーダ３３は、画像処理部２９によって生成されＤＲＡＭ３７に一時記憶された表示用画像データを読出し、ＬＣＤ／ＴＶ４３に出力する。ＬＣＤは液晶表示部であり、カメラの背面等にライブビュー表示や記録済み画像の再生表示等に使用される。またＴＶは外部のテレビ装置であり、記録済み画像の再生表示等に使用される。

ＤＲＡＭ３７は、電気的に書き換え可能なメモリであり、前述したように、画像データ、記録用画像データ、表示用画像データ等の一時記憶を行う。また、ＣＰＵ２７がカメラの制御を行う際の各種データの一時記憶も行う。画像データの一時記憶用としては、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）を用いてもよい。

ＲＯＭ３９は、マスクＲＯＭやフラッシュメモリ等の不揮発性メモリである。ＲＯＭ３９には、前述したＣＰＵ２７で使用するプログラムの他、カメラの調整値等の各種データも記憶されている。フラッシュメモリ４１は、カメラに内蔵もしくは装填可能であり、画像データ記録用の記憶媒体である。

次に、図２および図３を用いて、画像処理部２９について説明する。画像処理部２９は、ホワイトバランス（ＷＢ）補正処理部５１、補正画素判断部５３、画素補正部５５、同時化処理部５７、輝度特定変換部５９、エッジ強調処理部６１、ノイズ（ＮＲ）処理部６３、色再現処理部６５、歪補正部６７、色収差補正部６９を有する。このうち、補正画素判断部５３および画素補正部５５以外は、公知の画像処理を行うための処理部であることから、詳しい説明を省略する

補正画素判断部５３は、図３に示すように、補正基準画素判断部５３ａ、補正可否判断部５３ｂ、および段差レベル判断部５３ｃを有する。補正基準画素判断部５３ａは、位相差画素と通常画素（Ｒ画素やＢ画素）の割合を検出し、この割合によって補正対象を位相差画素の隣接画素か非隣接画素のいずれにするかを判断する。非位相差画素隣接画素の割合は、一定区間内における非位相差画素の隣接画素の個数および個数／区間内の全画素数等を意味する。補正基準画素判断部５３ａにおける判断方法の一例については、図５および図６を用いて後述する。

補正可否判断部５３ｂは、補正基準画素判断部５３ａにおける判断結果に応じて、補正するか否かを判断する。すなわち、位相差画素の隣接画素と非隣接画素のいずれかが、極端の割合に偏っていない場合には補正を行うが、極端の割合に偏っている場合には補正を行わないと判断する。補正可否判断部５３ｂにおける判断方法の一例については、図１０のＳ４５、Ｓ４９、図１１のＳ６１、Ｓ６５等において後述する。

段差レベル判断部５３ｃは、補正基準画素判断部５３ａにおける判断結果と、補正対象画素周辺の位相差画素および非位相差画素の個数によって、段差レベルを判断し、段差が生ずる画素は補正画素として追加する。すなわち、複数の位相差画素が上下左右方向に在る場合には、クロストークの影響が強くなることから、補正対象としている。この段差レベル判断部５３ｃの判断方法の一例については、図７を用いて後述する。

画素補正部５５は、補正画素判断部５３の判断結果に応じて、位相差画素の非隣接画素から補正するか、または補正対象画素を位相差画素の隣接画素から補正するか、いずれかの方法によって補正を行う。この画素補正部５５における補正方法の一例については、図８を用いて後述する。

次に、図４を用いて、撮像素子２１における画像を得るための通常素子（Ｒ画素、Ｂ画素、Ｇ画素）と焦点検出用の位相差画素の配置について説明する。図４（ａ）は撮像素子２１の一部分であり、撮像素子２１の各画素の前面には、前述したように、ベイヤー配列のカラーフィルタが配置されている。ベイヤー配列は、水平方向に赤色カラーフィルタが配置されたＲ画素と緑色のカラーフィルタが配置されたＧ画素が交互に配置されたラインと、Ｇ画素と青色のカラーフィルタが配置されたＢ画素が交互に配置されたラインを有している。

Ｇ画素の一部は、焦点検出用の位相差画素に置き換えられている。図４（ａ）に示す例では、遮光板によって右側に開口部を設けたＲ位相差画素（図４（ａ）では、（ｘ１、ｙ１）、（ｘ５、ｙ１）、（ｘ１３、ｙ１）等）、遮光板によって左側に開口部を設けたＬ位相差画素（図４（ａ）では、（ｘ１、ｙ９）、（ｘ５、ｙ９）、（ｘ１３、ｙ９）等）、遮光板によって上側に開口部を設けたＴ位相差画素（図４（ａ）では、（ｘ１、ｙ３）、（ｘ９、ｙ３）等）、遮光板によって下側に開口部を設けたＢ位相差画素（図４（ａ）では、（ｘ５、ｙ３）、（ｘ１３、ｙ３）等）が設けられている。（ｘ３、ｙ５）に位置する位相差画素の拡大図を図４（ｂ）に示す。

位相差検出方式による焦点検出では、Ｒ位相差画素とＬ位相差画素の対（図４（ａ）に示す例では、（ｘ１、ｙ１）と（ｘ１、ｙ９）等の組合せ）によってＸ方向（画面横方向）に沿っての被写体のデフォーカス方向とデフォーカス量を検出する。また、Ｔ位相差画素とＢ位相差画素の対（図４（ａ）に示す例では、（ｘ１、ｙ３）と（ｘ５、ｙ３）等の組合せ）によってＹ方向（画面縦方向）に沿っての被写体のデフォーカス方向とデフォーカス量を検出する。

次に、図５および図６を用いて、補正画素判断部５３中の補正基準画素判断部５３ａと補正可否判断部５３ｂにおける判断の例について説明する。

図５は、位相差画素の非隣接画素を補正する場合を示す。図５（ａ）は、図４に示したと同様の画素配置の撮像素子である。Ｒ、Ｌ、Ｔ、Ｂ位相差画素の上下左右の画素は、クロストークの影響を受ける画素である。図５（ｂ）に示す例では、クロストークの影響を受ける画素が多い。Ｒ画素とＢ画素の内、クロストークの影響を受けないＢ画素は、（ｘ３、ｙ２）、（ｘ７、ｙ２）、（ｘ１、ｙ６）、（ｘ５、ｙ６）のみである。他のＢ画素およびＲ画素は、いずれもクロストークの影響を受けている。そこで、このような場合には、クロストークの影響を受けていない画素の撮像データを、クロストークの影響を受けた同色の画素の撮像データを用いて補正する。

また、図６は、位相差画素の隣接画素を補正する場合を示す。図６（ａ）は、図４に示した画素配置に比較し、位相差画素が少ない。図６（ｂ）に、クロストークの影響を受けた画素を示すが、図５（ｂ）に比較し、クロストークの影響を受けた画素が少ない。そこで、このような場合には、クロストークの影響を受けている画素の撮像データを、クロストークの影響を受けていない同色の画素の撮像データを用いて補正する。

したがって、補正画素判断部５３中の補正基準画素判断部５３ａは、位相差画素の隣接画素と、非隣接画素の割合を求め、この割合に応じて、補正対象を位相差画素の隣接画素にするか、非隣接画素にするかを判断する。なお、位相差画素の隣接画素と非隣接画素の割合は、静止画を撮影するか、ライブビューを表示するか、動画を撮影するかに応じて、通常画素の加算の仕方に応じて異なる。例えば、静止画において、位相差画素の配置周期が４画素間隔であっても、動画撮影時に、水平／垂直４画素の同色画素を加算平均してデータを出力するケースなどを考える。その場合、位相差画素が混入された画素の周期は、１画素間隔となる。その場合、ＲＯＭ３９に、撮像素子２１の位相差画素や通常画素の配置等を記憶しておき、駆動モードと記憶された配置に基づいてカウントしてもよい。また、ＲＯＭ３９に、駆動モード（静止画、動画、ライブビュー表示等）に応じた位相差画素の隣接画素と非隣接画素の割合を予め記憶しておき、補正基準画素判断部５３ａは、駆動モードに応じて割合を読み出して判断するようにしてもよい。

次に、図７を用いて、補正画素判断部５３中の段差レベル判断部５３ｃにおける判断の例について説明する。図７（ａ）は、補正基準画素判断部５３ａおよび補正可否判断部５３ｂによって補正対象が判断された画素を示し、図５（ｂ）と同様である。補正基準画素判断部５３ａおよび補正可否判断部５３ｂにおける判断結果では、画素（ｘ１、ｙ２）、（ｘ５、ｙ２）、（ｘ３、ｙ６）、（ｘ７、ｙ６）は、クロストークの影響を受けているが、補正対象となっていない。しかし、これらの画素は、上下を位相差画素Ｒ、Ｔ、または位相差画素Ｒ、Ｂに隣接しており、上下左右の１箇所のみ位相差画素と隣接する他のクロストークの影響を受けた画素に比較し、クロストークの影響が大きく、補正の必要がある。

そこで、段差レベル判断部５３ｃは、複数の位相差画素と隣接している場合には、クロストークの影響度が大きいため、補正対象としている。図７（ｂ）に示す例では、上下に位相差画素と隣接する画素（ｘ１、ｙ２）、（ｘ５、ｙ２）、（ｘ３、ｙ６）、（ｘ７、ｙ６）を、補正対象と判断する。

次に、図８を用いて、画素補正部５５における補正動作の例について説明する。図８（ａ）は、位相差画素の隣接画素を用いて補正する例を示し、図８（ｂ）は、位相差画素の非隣接画素を用いて補正する例を示す。

前述の図５に示した例は、位相差画素の配置密度が比較的高い場合であり、このような場合には、位相差画素と隣接しない非隣接画素が少ないことから、この非隣接画素を補正対象画素として選択した。この場合の画素補正は、位相差画素と隣接しクロストークの影響を受けた同色の画素の撮像データを用いて補間演算により画素補正を行う。

図８（ａ）に示した例では、クロストークの影響を受けていない（ｘ５、ｙ６）にある青色画素の撮像データを、クロストークの影響を受けている（ｘ３、ｙ６）と（ｘ７、ｙ６）の青色画素の撮像データを用いて、補間演算による画素補正を行う。図示しないが、（ｘ３、ｙ２）、（ｘ７、ｙ２）、（ｘ１、ｙ６）の青色画素の撮像データも同様に画素補正を行う。

前述の図６に示した例は、位相差画素の配置密度が比較的低い場合であり、このような場合には、位相差画素と隣接する隣接画素が少ないことから、この隣接画素を補正対象画素として選択した。この場合の画素補正は、位相差画素と隣接しておらずクロストークの影響を受けていない同色の画素の撮像データを用いて補間演算により画素補正を行う。

図８（ｂ）に示した例では、クロストークの影響を受けている（ｘ５、ｙ２）にある青色画素の撮像データを、クロストークの影響を受けていない（ｘ３、ｙ２）と（ｘ７、ｙ２）の青色画素の撮像データを用いて、補間演算による画素補正を行う。（ｘ５、ｙ２）の画素以外にも、クロストークの影響を受けている青色画素および赤色画素の撮像データも同様に画素補正を行う。

次に、本実施形態における画素補正について、図９ないし図１２に示すフローチャートを用いて説明する。本実施形態における画素補正は、カメラ全体の制御に係る部分は、ＲＯＭ３９に記憶されたプログラムに従ってＣＰＵ２７が各部を制御することにより、実行し、画像処理部２９内における制御は、画像処理部２９がハードウエア的に実行する。

図９に示す全体処理フローに入ると、まず、動画記録を開始する（Ｓ１）。ここでは、撮像素子２１から出力される撮像データを用いて、動画の画像データをフラッシュメモリ４１に記録することを開始する。なお、動画記録以外にも静止画記録、ライブビュー表示、テレビ等外部機器表示であってもよい。

動画記録を開始すると、次に、撮像取り込みを行う（Ｓ３）。ここでは、撮像素子２１から出力される撮像データをＡＤＣ２５によってＡＤ変換し、このデジタル化した撮像データをＤＲＡＭ３７に一時記憶する。

撮像取り込みを行うと、焦点検出処理を行う（Ｓ５）。ここでは、ＤＲＡＭに一時記憶された撮像データの内から、位相差画素の撮像データを抽出し、この撮像データを用いて、位相差検出方式による焦点検出処理を行う。

焦点検出処理を行うと、次に、位相差画素の配置情報を取得する（Ｓ７）。前述したように、静止画、ライブビュー表示、動画等の駆動モードに応じて、画素加算等を行うことから、位相差画素の配置は変化する。そこで、このステップでは、駆動モード毎に画素配置に関する情報を取得する。

位相差画素の配置情報を取得すると、次に、補正基準画素判断を行う（Ｓ９）。ここでは、補正基準画素判断部５３ａが、図５および図６を用いて説明したように、位相差画素に隣接する隣接画素と、隣接しない非隣接画素の割合から補正対象を判断する。この補正基準画素判断は、図１０および図１１に示すフローチャートを用いて後述する。

補正基準画素判断処理を行うと、次に、補正可否判断処理を行う（Ｓ１１）。ここでは、補正可否判断部５３ｂが、位相差画素に隣接する隣接画素と、隣接しない非隣接画素が、どちらか一方に偏っている場合には補正を行わないと判断する。この補正可否判断は、後述する図１０のＳ３９Ｙｅｓ、Ｓ４１Ｙｅｓ、図１１のＳ３９Ｙｅｓ、Ｓ４１Ｙｅｓが対応する。

補正可否判断処理を行うと、次に、段差レベル判断処理を行う（Ｓ１３）。ここでは、段差レベル判断処理部５３ｃが、図７を用いて説明したように、画素補正する際に、位相差画素に隣接する隣接画素の中でクロストークの影響の大きい画素の判断処理を行う。この段差レベル判断処理は、図１２のフローチャートを用いて後述する。

段差レベル判断処理を行うと、次に、画素補正処理を行う（Ｓ１５）。ここでは、画素補正処理部５５が、図８を用いて説明したように、補正対象画素について、所定の画素の撮像データを用いて補間処理を行うことにより画素補正処理を行う。

画素補正処理を行うと、次に、ＤＲＡＭ上の撮像データを記録用に画像処理を行う（Ｓ１７）。ここでは、ステップＳ３において取り込み、ＤＲＡＭ３７に一時記憶した撮像データを、画像処理部２９によって、記録用に画像処理を行う。

記録用に画像処理を行うと、次に、撮像データをフラッシュメモリに記録する（Ｓ１９）。ここでは、ステップＳ１７において画像処理された撮像データをフラッシュメモリ４１に記録する。

撮像データをフラッシュメモリに記録すると、次に、動画記録停止か否かの判定を行う（Ｓ２１）。ここでは、ユーザが操作部１９を操作して動画記録停止の指示を行ったか否かを判定する。

ステップＳ２１における判定の結果、動画記録停止の指示がなされていない場合には、ステップＳ３に戻り、前述の処理を繰り返す。一方、動画記録停止の指示がなされていた場合には、動画記録を終了する。

次に、図１０および図１１に示すフローチャートを用いて、図９のステップＳ９およびＳ１１における補正対象決定についての詳細な処理について説明する。

図１０に示すフローが開始すると、まず、一定区間内の位相画素隣接のＲ画素数とＢ画素数をカウントする（Ｓ３１）。ここでは、一定区間内において、位相差画素に隣接する画素の数を同色毎にカウントする。一定区間としては、ピント合わせのためのエリア単位や焦点検出素子が配置される間隔の周期単位等、所定の範囲を決めれば良い。隣接画素のカウント方法としては、ＲＯＭ３９に、撮像素子２１の位相差画素や通常画素（Ｒ画素およびＢ画素）の配置等を記憶しておき、駆動モードと記憶された配置に基づいてカウントしてもよい。また、ＲＯＭ３９に、撮像素子２１の駆動モード（静止画、動画、ライブビュー表示等）に応じた位相差画素の隣接画素の数を記憶しておき、この記憶値を読み出してもよい。

続いて、一定区間内のＲ画素数とＢ画素数をカウントする（Ｓ３３）。ここでは、一定区間内において、位相差画素に隣接するか否かに関わらず、一定区間内におけるＲ画素とＢ画素をそれぞれカウントする。カウント方法としては、ＲＯＭ３９に、ＲＯＭ３９に記憶した通常画素（Ｒ画素およびＢ画素）の配置等に基づいてカウントしてもよく、また、駆動モードに応じたＲ画素とＢ画素の数を記憶しておき、この記憶値を読み出してもよい。

続いて、位相差画素隣接Ｂ画素／Ｂ画素総数を求める（Ｓ３５）。ここでは、ステップＳ３１において求めた位相差画素に隣接する隣接Ｂ画素数を、ステップＳ３３において求めた一定区間内におけるＢ画素総数で除算を行う。

次に、割合が５０％以上か否かを判定する（Ｓ３７）。ここでは、ステップＳ３５において求めた隣接Ｂ画素数／Ｂ画素総数の値が５０％以上か否かを判定する。

ステップＳ３７における判定の結果、割合が５０％以上の場合には、次に、割合が９０％以上か否かを判定する（Ｓ３９）。ここでは、ステップＳ３５において求めた割合が９０％以上か否かを判定する。

ステップＳ３９における判定の結果、割合が９０％以上でなかった場合には、位相差画素非隣接画素Ｂ画素を補正対象とする（Ｓ４３）。この場合には、位相差画素隣接Ｂ画素／Ｂ画素総数が、５０％以上９０％未満の場合である。この状態は、位相差画素に隣接するＢ画素が多く、図５（ｂ）を用いて説明したように、位相差画素に隣接していない非隣接画素を補正対象とする。すなわち、図１３等を用いて前述したように、位相差画素に隣接する隣接画素はクロストークの影響を受けやすいため、同じ被写体輝度であっても隣接画素と非隣接画素の間に出力に段差が生じてしまう。このステップでは、非隣接画素の方が隣接画素よりも少ないことから、非隣接画素に対して補正を行うようにしている。

ステップＳ３９における判定の結果、割合が９０％以上の場合には、補正対象画素を設けない（Ｓ４５）。この場合は、Ｂ画素の殆どが位相差画素に隣接しており、隣接画素が圧倒的に多く、そのため、隣接画素と非隣接画素の段差が目立たない。非隣接画素に対する補正を施さなくても、画像として違和感が生じないことから、敢えて補正を行わない。

ステップＳ３７における判定の結果、割合が５０％以上でない場合には、次に、割合が５％以下か否かを判定する（Ｓ４１）。ここでは、ステップＳ３５において求めた割合が５％以下か否かを判定する。

ステップＳ４１における判定の結果、割合が５％以下でなかった場合には、位相差画素隣接画素Ｂ画素を補正対象とする（Ｓ４７）。この場合には、位相差画素隣接Ｂ画素／Ｂ画素総数が、５％以上５０％未満の場合である。この状態は、位相差画素に隣接しないＢ画素が多く、図６（ｂ）を用いて説明したように、位相差画素に隣接する隣接画素を補正対象とする。すなわち、位相差画素に隣接する隣接画素はクロストークの影響を受けやすいため、同じ被写体輝度であっても隣接画素と非隣接画素の間に出力に段差が生じてしまう。このステップでは、隣接画素の方が非隣接画素よりも少ないことから、隣接画素に対して補正を行うようにしている。

ステップＳ４１における判定の結果、割合が５％以下の場合には、補正対象画素を設けない（Ｓ４９）。この場合は、Ｂ画素の殆どが位相差画素に隣接しておらず、非隣接画素が圧倒的に多く、そのため、隣接画素と非隣接画素の段差が目立たない。隣接画素に対する補正を施さなくても、画像として違和感が生じないことから、敢えて補正を行わない。

ステップＳ４３〜Ｓ４９において、補正対象画素について処理を決めると、図１１に示すステップＳ５１〜Ｓ６５において、Ｒ画素について、ステップＳ３５〜Ｓ４９と同様の処理を施す。Ｂ画素をＲ画素に置き換えるだけであることから、詳しい説明を省略する。

まず、位相差画素に隣接する隣接画素／Ｒ画素総数を求める（Ｓ５１）。続いて、ステップＳ５１において求めた割合が５０％以上か否かを判定する（Ｓ５３）。この判定の結果、５０％以上であった場合には、さらに割合が９０％以上か否かを判定する（Ｓ５５）。この判定の結果、割合が９０％以上でなかった場合には、位相差画素に隣接しない非隣接Ｒ画素を補正対象とする（Ｓ５９）。一方、ステップＳ５５における判定の結果、割合が９０％以上であった場合には、補正対象を設けない（Ｓ６１）。

ステップＳ５３における判定の結果、割合が５０％以上でなかった場合には、さらに割合が５％以下か否かを判定する（Ｓ５７）。この判定の結果、割合が５％以上でなかった場合には、位相差画素に隣接する隣接Ｒ画素を補正対象とする（Ｓ６３）。一方、ステップＳ５７における判定の結果、割合が５％以下であった場合には、補正対象を設けない（Ｓ６５）。ステップＳ４３〜Ｓ４９において、補正対象画素について処理を決めると、補正対象決定のためのフローを終了し、図９に示すフローのステップＳ１３に戻る。

このように、図１０および図１１に示すフローチャートにおいては、位相差画素の配置密度に応じて、位相差画素の隣接画素を補正するか非隣接画素を補正するかを判断している（例えば、Ｓ３７、Ｓ３９、Ｓ４１等参照）。したがって、位相差画素の配置密度に応じてクロストークの影響を軽減することができる。

また、補正対象となる画素が極端に少ないか多い場合には補正を行わないようにしている（例えば、Ｓ４５、Ｓ４９等参照）。したがって、効率的にクロストークの影響を軽減することができる。

なお、本フローチャートにおいては、ステップＳ３７、Ｓ５３において５０％以上か否か、またステップＳ３９、Ｓ４１、Ｓ５５、Ｓ５７において９０％以上または５％以下か否かの判定を行っている。このパーセンテージ（％）の数値は例示であり、これ以外の数値を用いても勿論かまわない。

次に、図１２に示すフローチャートを用いて、図９のステップＳ１３における段差レベル判断処理の詳細な処理について説明する。このフローは、図７に示した段差レベル判断部５３ｃにおいて行う段差レベル判断を実行する。前述したように、非隣接画素が補正の対象とならない場合であっても、上下左右で複数の位相差画素と隣接すると、クロストークの影響を強く受け、同色の他の画素との段差レベルが大きくなってしまう。そこで、このような場合には、補正対象としている。このフローは、上下左右で複数の位相差画素と隣接画素を補正対象とする。

図１２に示すフローに入ると、まず、次の位相差画素の隣接画素を判断対象とする（Ｓ７１）。例えば、図７に示す例では、位相差Ｒ画素（ｘ１、ｙ１）を開始点とすると、（ｘ２、ｙ１）、（ｘ４、ｙ１）、（ｘ６、ｙ１）、（ｘ１、ｙ２）、（ｘ５、ｙ２）・・・の順に順番に位相差画素の隣接画素を判断対象として選択する。なお、ｘ方向に順次選択したが、これに限らず、ｙ方向に順次選択してもよく、また位相差画素の周辺を順次選択するようにしてもよい。

位相差画素の隣接画素を選択すると、次に、上下左右の隣接画素のうち、２画素以上が位相差画素か否かを判定する（Ｓ７３）。例えば、図７に示す例では、画素（ｘ１、ｙ２）は、上で隣接する画素が位相差Ｒ画素であり、下で隣接する画素が位相差Ｔ画素であることから、２画素以上の位相差画素と隣接するので、判断結果がＹｅｓとなる。

ステップＳ７３における判定の結果、上下左右の隣接画素のうち、２画素以上が位相差画素であった場合には、補正対象とする（Ｓ７５）。

ステップＳ７５において、補正対象とすると、または、ステップＳ７３における判定の結果、上下左右の隣接画素のうち、２画素以上が位相差画素でなかった場合には、次の位相差画素の隣接画素を判断対象画素とし（Ｓ７７）、ステップＳ７１に戻る。

このように、図１２に示す段差レベル判断では、複数の位相差画素が上下左右に２画素以上ある場合には、補正対象画像としている。この場合には、クロストークの影響が強く出るために、同色の他の画素との段差レベルが大きくなり、画像に違和感が生じるからである。

以上説明したように、本発明の一実施形態においては、撮像素子２１の画素の一部に焦点検出を行うための位相差画素が設けられている。また、補正画素判断部５３は、撮像素子２１の内の位相差画素同士の配置密度を用いて、補正する対象画素を判断している（例えば、図５、６、７、図９のＳ７〜Ｓ１３参照）。また、画素補正部５５は、補正画素判断部５３の出力結果に応じて、画素を補正している（例えば、図８、図９のＳ１５参照）。このため、種々のシステムにおいても、クロストークの影響を容易に軽減することが可能となる。例えば、静止画撮影、ライブビュー表示、動画撮影等、撮像素子２１の駆動モードが切り替えられ、位相差画素の配置密度が変化した場合であっても、画素補正を適切に行い、クロストークの影響を軽減することができる。

また、本発明の一実施形態においては、補正画素判断部５３は、位相差画素に隣接する隣接画素もしくは位相差画素に隣接しない非隣接画素を補正対象画素とするか否かを判断する補正基準画素判断部５３ａを有している（例えば、図５、図６、図９のＳ９等参照）。位相差画素の隣接画素がクロストークの影響を受けるが、本実施形態によれば、隣接画素に対して補正するか、非隣接画素に対して補正するかを判断しているので、クロストークの影響を効率的に軽減することができる。

また、本発明の一実施形態においては、補正画素判断部５３は、補正対象画素周辺の位相差画素および非位相差画素の個数に基づいて判断する段差レベル判断部５３ｃを有している（例えば、図７、図９のＳ１３、図１２等参照）。複数の位相差画素が上下左右に隣接している場合には、クロストークの影響が強くでてしまい、他の同色画素との段差が目立ってしまうが、本実施形態によれば、このような段差を目立なくし、違和感のない画像とすることができる。

また、本発明の一実施形態においては、補正画素判断部５３は、画素の出力を補正しないことを判断する補正可否判断部５３ｂを有している（例えば、図９のＳ１１、図１０のＳ４５、Ｓ４９、Ｓ６１、Ｓ６５等参照）。補正対象が、隣接画素または非隣接画素となる場合であっても、補正対象が圧倒的に少ない場合には、他の同色画素との段差が気にならないことから、敢えて補正を行っていない。これによって、クロストークの影響を効率的に除去できる。

また、本発明の一実施形態においては、画素補正部５５は、補正画素判断部５３が位相差画素に隣接する隣接画素を補正対象とした場合に、補正対象画素を他の位相差画素に隣接しない非隣接画素に基づいて補正を行い（例えば、図８（ｂ）参照）、補正画素判断部５３が位相差画素に隣接しない非隣接画素を補正対象とした場合に、補正対象画素を他の位相差画素に隣接する隣接画素に基づいて補正を行うようにしている（例えば、図８（ａ）参照）。このように、補正対象の画素を、隣接画素または非隣接画素によって補正するようにしているので、クロストークの影響による段差を軽減することができる。

また、本発明の一実施形態においては、補正画素判断部は、撮像の駆動モードに応じて、判断を切り替えるようにしている。静止画撮影、ライブビュー表示、動画撮影等、撮像素子２１の駆動モードは切り替わり、位相画素の配置密度が変わり、クロストークの影響が変化する。本実施形態によれば、撮像の駆動モードに応じてクロストークの影響を軽減することができる。

なお、本発明の一実施形態においては、位相差画素の隣接画素として、位相差画素の上下左右の４画素を対象としたが、位相差画素の斜め右上、斜め右下、斜め左上、斜め左下を加えてもよく、更にその外側まで広げてもよい。撮像素子２１が受けるクロストークの影響に応じて、適宜、決めればよい。

また、本発明の一実施形態においては、位相差画素の配置密度として、Ｂ画素総数と位相差画素隣接Ｂ画素の比、Ｒ画素総数と位相差画素隣接Ｒ画素の比を用いた（図１０のＳ３５、図１１のＳ５１等参照）。しかし、これに限らず、例えば、位相差画素とＢ画素やＲ画素との平均距離等、他の評価値を用いてもよい。

また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーンや携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、撮像面に焦点検出用画素を有し、位相差方式による焦点検出を行う機器であれば、本発明を適用することができる。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０・・・被写体、１１・・・撮影レンズ、１３・・・絞り、１５・・・メカシャッタ、１７・・・駆動部、１９・・・操作部、２１・・・撮像素子、２３・・・Ａ−ＡＭＰ、２５・・・アナログデジタル変換器（ＡＤＣ）、２６・・・撮像制御回路、２７・・・ＣＰＵ、２９・・・画像処理部、３１・・・焦点検出回路、３３・・・ビデオエンコーダ、３５・・・バス、３７・・・ＤＲＡＭ、３９・・・ＲＯＭ、４１・・・フラッシュメモリ、４３・・・ＬＣＤ／ＴＶ、５１・・・ホワイトバランス（ＷＢ）処理部、５３・・・補正画素判断部、５３ａ・・・補正基準画素判断部、５３ｂ・・・補正可否判断部、５３ｃ・・・段差レベル判断部、５５・・・画素補正部、５７・・・同時化処理部、５９・・・輝度特性変換部、６１・・・エッジ強調処理部、６３・・・ノイズリダクション（ＮＲ）処理部、６５・・・色再現処理部、６７・・・歪補正部、６９・・・色収差補正部

Claims (7)

1. 画素の一部に焦点検出を行うための位相差検出画素と、焦点検出を行わない画素である非位相差検出画素が設けられた撮像素子と、
   上記撮像素子の内の一定区間内における、同色のカラーフィルタを有する上記非位相差検出画素の全個数に対する、上記位相差検出画素に隣接する隣接画素の個数との比率を算出し、上記比率を用いて、補正する対象画素を判断する補正画素判断部と、
   上記補正画素判断部の出力結果に応じて、画素を補正する画素補正部と、
   を有することを特徴とする撮像装置。
2. 上記補正画素判断部は、上記位相差検出画素に隣接する隣接画素もしくは上記位相差検出画素に隣接しない非隣接画素を補正対象画素とするか否かを判断する補正基準画素判断部を有することを特徴とする請求項１に記載の撮像装置。
3. 上記補正画素判断部は、補正対象画素周辺の位相差検出画素および非位相差検出画素の個数に基づいて、上記補正する対象画素を判断する段差レベル判断部を有することを特徴とする請求項１又は２に記載の撮像装置。
4. 上記補正画素判断部は、上記補正基準画素判断部における判断結果に応じて、画素の出力を補正するか否かを判断する補正可否判断部を有することを特徴とする請求項２に記載の撮像装置。
5. 上記画素補正部は、
   上記補正画素判断部が上記位相差検出画素に隣接する上記隣接画素を補正対象とした場合に、補正対象画素を他の位相差検出画素に隣接しない上記非隣接画素に基づいて補正を行い、
   上記補正画素判断部が上記位相差検出画素に隣接しない上記非隣接画素を補正対象とした場合に、補正対象画素を他の位相差検出画素に隣接する上記隣接画素に基づいて補正を行う、
   ことを特徴とする請求項２に記載の撮像装置。
6. 上記補正画素判断部は、撮像の駆動モードに基づいて、上記補正する対象画素を判断することを特徴とする請求項１又は２に記載の撮像装置。
7. 画素の一部に画像生成以外のための多目的画素からの画像データを取得し、
   上記画像データの内の一定区間内における、同色のカラーフィルタを有する非位相差検出画素の全個数に対する、位相差検出画素に隣接する隣接画素の個数との比率を算出し、上記比率に基づいて、補正する対象画素を判断し、
   上記補正する対象画素の判断結果に基づいて、上記画素を補正する、
   ことを特徴とする画像処理方法。

Images