JP5677625B2 - 信号処理装置、撮像装置、信号補正方法 - Google Patents

Description

本発明は、信号処理装置、撮像装置、及び信号補正方法に関する。

近年、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子の高解像度化に伴い、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ，携帯情報端末）等の撮影機能を有する情報機器の需要が急増している。なお、以上のような撮像機能を有する情報機器を撮像装置と称する。

ところで、主要な被写体に焦点を合わせる合焦制御方法には、コントラストＡＦ（Ａｕｔｏ Ｆｏｃｕｓ、自動合焦）方式や位相差ＡＦ方式がある。位相差ＡＦ方式は、コントラストＡＦ方式に比べて合焦位置の検出を高速，高精度に行うことができるため、様々な撮像装置で多く採用されている。

位相差ＡＦ方式により合焦制御を行う撮像装置に搭載される固体撮像素子には、例えば、遮光膜開口が互いに逆方向に偏心した焦点検出用の画素セルのペアを撮像領域の全面に離散的に設けたものが使用される（特許文献１参照）。

この焦点検出用の画素セルは、遮光膜開口の面積がその他の通常の画素セルよりも小さくなっているため、その出力信号を撮像画像信号として使用するには不十分なものとなる。そこで、焦点検出用の画素セルの出力信号を補正する必要が生じる。

特許文献１は、焦点検出用の画素セルの出力信号を、その周りの通常の画素セルの出力信号を用いて補間生成する第一の補正処理と、焦点検出用の画素セルの出力信号を増幅して補正する第二の補正処理とを、焦点検出用の画素セルの周りの通常の画素セルの出力信号のバラツキに応じて選択して実行する方法を開示している。

日本国特開２０１０−６２６４０号公報

特許文献１に記載されているように、通常の画素セルの出力信号のバラツキに応じて補正処理を変える方法では、正確な補正ができないケースが生じる。

例えば、上記出力信号のバラツキが小さい場合でも、絞りが小絞り側にあるときは、焦点検出用の画素セルの感度と通常の画素セルの感度の比が小さくなる。つまり、第二の補正処理で用いる増幅ゲインを小さくすることができるため、第二の補正処理を行った場合のノイズの増幅を抑えることができる。この結果、第一の補正処理を行った場合よりも正確な補正が可能になる。

本発明は、上記事情に鑑みてなされたものであり、焦点検出用の画素セルの出力信号を精度良く補正して撮像画質を向上させることのできる信号処理装置及びこれを備える撮像装置並びに信号補正方法を提供することを目的とする。

本発明の信号処理装置は、二次元状に配置された、撮像用の複数の第一画素セル及び焦点検出用の複数の第二画素セルを含み、光学系を介して被写体を撮像する撮像素子からの信号を処理する信号処理装置であって、前記第二画素セルの周囲にある前記第一画素セルの出力信号を用いて生成した信号を前記第二画素セルの出力信号と置換することにより、当該第二画素セルの出力信号を補正する第一補正処理と、前記第二画素セルの出力信号を増幅することで前記第二画素セルの出力信号を補正する第二補正処理とのいずれかを行う補正処理部を備え、前記補正処理部は、補正対象となる信号を取得するための撮像時における前記光学系に含まれる絞りのＦ値である撮像時Ｆ値を少なくとも用いて、前記第一補正処理と前記第二補正処理のどちらを実行するかを決定し、前記第二画素セルの周囲にある前記第一画素セルの出力信号の平均を算出する平均算出部と、前記第二画素セルの周囲にある前記第一画素セルの出力信号の平坦度を算出する平坦度算出部とを更に備え、前記補正処理部は、前記平均、前記平坦度、及び前記撮像時Ｆ値を用いて、前記第一補正処理と前記第二補正処理のどちらを実行するかを決定するものである。
本発明の信号処理装置は、二次元状に配置された、撮像用の複数の第一画素セル及び焦点検出用の複数の第二画素セルを含み、光学系を介して被写体を撮像する撮像素子からの信号を処理する信号処理装置であって、前記第二画素セルの周囲にある前記第一画素セルの出力信号を用いて生成した信号を前記第二画素セルの出力信号と置換することにより、当該第二画素セルの出力信号を補正する第一補正処理と、前記第二画素セルの出力信号を増幅することで前記第二画素セルの出力信号を補正する第二補正処理とのいずれかを行う補正処理部を備え、前記補正処理部は、補正対象となる信号を取得するための撮像時における前記光学系に含まれる絞りのＦ値である撮像時Ｆ値を少なくとも用いて、前記第一補正処理と前記第二補正処理のどちらを実行するかを決定し、前記補正処理部は、前記第一補正処理においては、前記第二画素セルを中心とする第一範囲にある複数の前記第一画素セルの出力信号を用いて補正を行い、前記第二補正処理においては、前記第二画素セルを中心とする前記第一範囲よりも広い第二範囲にある複数の前記第一画素セルの出力信号の平均に前記第二画素セルの出力信号を近づけるためのゲインを、前記第二画素セルの出力信号に乗じて前記増幅を行うものである。
本発明の信号処理装置は、二次元状に配置された、撮像用の複数の第一画素セル及び焦点検出用の複数の第二画素セルを含み、光学系を介して被写体を撮像する撮像素子からの信号を処理する信号処理装置であって、前記第二画素セルの周囲にある前記第一画素セルの出力信号を用いて生成した信号を前記第二画素セルの出力信号と置換することにより、当該第二画素セルの出力信号を補正する第一補正処理と、前記第二画素セルの出力信号を増幅することで前記第二画素セルの出力信号を補正する第二補正処理とのいずれかを行う補正処理部を備え、前記補正処理部は、補正対象となる信号を取得するための撮像時における前記光学系に含まれる絞りのＦ値である撮像時Ｆ値を少なくとも用いて、前記第一補正処理と前記第二補正処理のどちらを実行するかを決定し、前記補正処理部は、前記撮像時Ｆ値が予め決められた第一閾値未満のときに前記第一補正処理を行い、前記撮像時Ｆ値が前記第一閾値以上のときに前記第二補正処理を行い、前記補正処理部は、前記第一補正処理においては、前記第二画素セルを中心とする第一範囲にある複数の前記第一画素セルの出力信号を用いて補正を行い、前記第二補正処理においては、前記第二画素セルを中心とする前記第一範囲よりも広い第二範囲にある複数の前記第一画素セルの出力信号の平均に前記第二画素セルの出力信号を近づけるためのゲインを、前記第二画素セルの出力信号に乗じて前記増幅を行うものである。

本発明によれば、焦点検出用の画素セルの出力信号を精度良く補正して撮像画質を向上させることのできる信号処理装置及びこれを備える撮像装置並びに信号補正方法を提供することができる。

本発明の第一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図 図１に示すデジタルカメラに搭載される固体撮像素子５の概略構成を示す平面模式図 固体撮像素子５において焦点検出用画素セル３１Ｌを中心とする５×５個の画素セルを示す図 図１に示すデジタルカメラにおける任意の焦点検出用画素セルの出力信号を補正するときの動作を説明するためのフローチャート 図１に示すデジタルカメラにおける任意の焦点検出用画素セルの出力信号を補正するときの動作の第一の変形例を説明するためのフローチャート 図１に示すデジタルカメラにおける固体撮像素子５の全体構成を示す平面模式図 図１に示すデジタルカメラにおける任意の焦点検出用画素セルの出力信号を補正するときの動作の第二の変形例を説明するためのフローチャート 図１に示すデジタルカメラにおける任意の焦点検出用画素セルの出力信号を補正するときの動作の第三の変形例を説明するためのフローチャート 図１に示すデジタルカメラの第四の変形例において判定閾値を焦点距離に応じて変えることを説明する図 図１に示すデジタルカメラの第五の変形例において用いる２種類の判定条件のデータを説明するための図 図１０に示すデータの変形例を示す図 図１に示すデジタルカメラに搭載される固体撮像素子５の変形例である固体撮像素子５ａの平面模式図 撮像装置としてスマートフォンを説明する図である。 図１３のスマートフォンの内部ブロック図である。

以下、本発明の実施形態について図面を参照して説明する。

（第一実施形態）
図１は、本発明の第一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。

図１に示すデジタルカメラの撮像系は、フォーカスレンズ、ズームレンズ等のレンズを含む撮影レンズ１及び絞り２を有する撮影光学系と、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の固体撮像素子５と、この両者の間に設けられた赤外線カットフィルタ（ＩＲＣＵＴ）３と、光学ローパスフィルタ（ＯＬＰＦ）４とを備えている。

固体撮像素子５は、複数の撮像用画素セルと、撮影光学系の瞳領域の異なる部分を通過した一対の光束をそれぞれ受光する２種類の焦点検出用画素セルとを二次元状に配置した構成になっており、撮影レンズ１により結像される像を受光して撮像画像信号を出力すると共に、上記一対の光束に対応する一対の焦点検出信号を出力する。

デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、フラッシュ発光部１２及び受光部１３を制御する。また、システム制御部１１は、レンズ駆動部８を制御して撮影レンズ１に含まれるフォーカスレンズの位置を調整したり、撮影レンズ１に含まれるズームレンズの位置の調整を行ったりする。更に、システム制御部１１は、絞り駆動部９を介して絞り２の開口量を制御することにより、露光量の調整を行う。

また、システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子５を駆動し、撮影レンズ１を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。

デジタルカメラの電気制御系は、更に、固体撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、このアナログ信号処理部６から出力されるＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備える。アナログ信号処理部６及びＡ／Ｄ変換回路７は、システム制御部１１によって制御される。

更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、撮像画像信号に対し、各種画像処理を行って撮影画像データを生成するデジタル信号処理部１７と、デジタル信号処理部１７で生成された撮影画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部１８と、固体撮像素子５の焦点検出用画素セルから出力される対の焦点検出信号の位相差に基づいて撮影レンズ１のデフォーカス量を算出する焦点検出部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された表示部２３が接続される表示制御部２２とを備えている。メモリ制御部１５、デジタル信号処理部１７、圧縮伸張処理部１８、焦点検出部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

図２は、図１に示すデジタルカメラに搭載される固体撮像素子５の概略構成を示す平面模式図である。固体撮像素子５は、画素セルが二次元状に配置される撮像領域の全面又は一部に、焦点検出用画素セルが散在して設けられている。図２では、撮像領域のうちの、焦点検出用画素セルが設けられている部分を拡大した図を示している。

固体撮像素子５は、行方向Ｘ及びこれに直交する列方向Ｙに二次元状（図２の例では正方格子状）に配列された多数の画素セル（図中の各正方形）を備えている。多数の画素セルは、行方向Ｘに一定ピッチで並ぶ複数の画素セルからなる画素セル行を、列方向Ｙに一定のピッチで並べた配置となっている。多数の画素セルは、撮像用画素セル３０と焦点検出用画素セル３１Ｌと焦点検出用画素セル３１Ｒとを含んでいる。各画素セルは光を受光して電荷に変換する光電変換部を含む。

撮像用画素セル３０は、図１に示す撮影レンズ１の瞳領域の異なる部分を通過した一対の光（例えば撮影レンズ１の主軸に対して左側を通過した光と右側を通過した光）の双方を受光する画素セルである。

焦点検出用画素セル３１Ｌは、上記一対の光の一方を受光する画素セルであり、撮像用画素セル３０と比較すると、光電変換部の開口（ハッチングを付していない領域）が左側に偏心した構成となっている。

焦点検出用画素セル３１Ｒは、上記一対の光の他方を受光する画素セルであり、撮像用画素セル３０と比較すると、光電変換部の開口（ハッチングを付していない領域）が右側に偏心した構成となっている。

なお、焦点検出用画素セルの構成は上述したものに限らず、よく知られている構成を採用することができる。

各画素セルに含まれる光電変換部の上方にはカラーフィルタが搭載されており、このカラーフィルタの配列が固体撮像素子５を構成する多数の画素セル全体でベイヤー配列となっている。

図２では、赤色（Ｒ）光を透過するカラーフィルタが搭載される画素セルに“Ｒ”を記している。また、緑色（Ｇ）光を透過するカラーフィルタが搭載される画素セルに“Ｇ”を記している。更に、青色（Ｂ）光を透過するカラーフィルタが搭載される画素セルに“Ｂ”を記している。図２の例では、固体撮像素子５がカラーフィルタを搭載しているが、カラーフィルタを搭載していないものであってもよい。

焦点検出用画素セル３１Ｌは、図２の上から３番目と９番目の画素セル行において、緑色（Ｇ）光を透過するカラーフィルタが搭載された画素セルの位置に３画素セルおきに配置されている。

焦点差検出用画素セル３１Ｒは、図２の上から４番目と１０番目の画素セル行において、緑色（Ｇ）光を透過するカラーフィルタが搭載された画素セルの位置に３画素セルおきに配置されている。

斜め方向に隣接する焦点検出用画素セル３１Ｌと焦点検出用画素セル３１Ｒはペアを構成しており、固体撮像素子５には、このペアが複数設けられた構成となっている。

図１に示す焦点検出部１９は、焦点検出用画素セル３１Ｌ及び焦点検出用画素セル３１Ｒから読み出される信号群を用いて、撮影レンズ１の焦点調節状態、ここでは合焦状態から離れている量とその方向、すなわちデフォーカス量を算出する。

図１に示すシステム制御部１１は、焦点検出部１９によって算出されたデフォーカス量に基づいて、撮像レンズ１に含まれるフォーカスレンズの位置を制御して焦点調節を行う。

焦点調節が行われた状態で撮影指示がなされると、システム制御部１１は、固体撮像素子５により撮像を行わせ、この撮像によって固体撮像素子５から出力される撮像画像信号がデジタル信号処理部１７に取り込まれる。そして、デジタル信号処理部１７は、この撮像画像信号に含まれる焦点検出用画素セルの出力信号を補正する。

デジタル信号処理部１７は、焦点検出用画素セルに対し、この焦点検出用画素セルの周囲にある撮像用画素セルの出力信号を用いて、この焦点検出用画素セルの出力信号を補正する補間補正処理と、焦点検出用画素セルの出力信号にゲインを乗じてこれを増幅することで、この焦点検出用画素セルの出力信号を補正するゲイン補正処理とのいずれかを行う。

図３は、図２に示す固体撮像素子５において焦点検出用画素セル３１Ｌを中心とする５×５個の画素セルを抽出した図である。

デジタル信号処理部１７は、焦点検出用画素セル３１Ｌの出力信号を補間補正処理によって補正する場合は、その焦点検出用画素セル３１Ｌの周囲にある焦点検出用画素セル３１Ｌと同色光を検出する撮像用画素セル３０の出力信号を合成して１つの信号を生成し、その信号を、焦点検出用画素セル３１Ｌの出力信号と置き換えることで、補正を行う。

例えば、図３に示す焦点検出用画素セル３１Ｌを補間補正処理によって補正する場合は、この焦点検出用画素セル３１Ｌの周囲にある焦点検出用画素セル３１Ｌと同色光を検出する○で囲った撮像用画素セル３０の出力信号を平均（単純平均、重み付け平均等を含む）して得られる出力信号を、この焦点検出用画素セル３１Ｌの出力信号と置換する。

また、デジタル信号処理部１７は、図３に示す焦点検出用画素セル３１Ｌをゲイン補正処理によって補正する場合は、例えば、この焦点検出用画素セル３１Ｌの周囲にある焦点検出用画素セル３１Ｌと同色光を検出する○で囲った撮像用画素セル３０の出力信号の平均値に、この焦点検出用画素セル３１Ｌの出力信号を近づけるためのゲインを求め、この焦点検出用画素セル３１Ｌの出力信号に当該ゲインを乗じる。

なお、図３に示す焦点検出用画素セル３１Ｌをゲイン補正処理によって補正する場合、デジタル信号処理部１７は、この焦点検出用画素セル３１Ｌの周囲にある焦点検出用画素セル３１Ｌと同色光を検出する○及び△で囲った撮像用画素セル３０の出力信号の平均値に、この焦点検出用画素セル３１Ｌの出力信号を近づけるためのゲインを求め、この焦点検出用画素セル３１Ｌの出力信号に当該ゲインを乗じるようにしてもよい。

このように、補間補正処理においては、焦点検出用画素セルを中心とする第一範囲にある複数の撮像用画素セルの出力信号を用いて信号補間を行い、ゲイン補正処理においては、焦点検出用画素セルの出力信号に、この焦点検出用画素セルを中心とする第一範囲よりも広い第二範囲にある複数の撮像用画素セルの出力信号の平均に近づけるためのゲインを乗じることで、ゲイン補正処理による補正誤差を減らすことができる。

補間補正処理は、焦点検出用画素セル周辺に結像する被写体がぼけている場合には補正誤差が小さくなり、当該被写体がぼけていない場合には補正誤差が大きくなる。

また、ゲイン補正処理は、焦点検出用画素セルの出力信号に、撮像用画素セルの出力信号に近づけるためのゲインを乗じる処理であるため、焦点検出用画素セルと撮像用画素セルの感度差が大きく、ゲインが大きくなる状況では、補正後の焦点検出用画素セルの出力信号に含まれるノイズも大きくなってしまい、補正誤差が大きくなる。

焦点検出用画素セルと撮像用画素セルの感度差は、デジタルカメラにおける絞り２のＦ値が小さくなるほど（絞り２が開放側にむかうほど）大きくなる。これは、Ｆ値が小さいと、撮影レンズ１の瞳領域を通過する光の径が大きくなって、２種類の焦点検出用画素セルにおいて検出される位相差が大きくなりやすくなるためである。

また、絞り２のＦ値が大きいほど被写界深度は深くなる。このため、Ｆ値が大きいほど、被写体においてぼけていない領域が増えることになる。被写体においてぼけていない領域が多い場合には、補間補正処理を行うと補正誤差が多くなる。

つまり、Ｆ値が大きいときには、感度差が小さくかつ被写界深度が深くなるため、ゲイン補正処理を行うことで補正誤差を減らすことができ、Ｆ値が小さいときには、感度差が大きくかつ被写界深度が浅くなるため、補間補正処理を行うことで補正誤差を減らすことができる。

そこで、デジタル信号処理部１７は、補間補正処理とゲイン補正処理のいずれかを、撮像画像信号を得るための撮像を行った時点でのＦ値（撮像時Ｆ値という）に応じて選択して実行する。撮像時Ｆ値は、デジタルカメラがレンズ交換型の場合は、装着されるレンズによって固定の値となる場合もある。

図４は、図１に示すデジタルカメラにおける固体撮像素子５に含まれる任意の焦点検出用画素セルの出力信号を補正するときの動作を説明するためのフローチャートである。

デジタル信号処理部１７は、まず、撮像時Ｆ値の情報をシステム制御部１１から取得し、撮像時Ｆ値と閾値Ｔｈ０を比較する（ステップＳ１）。

撮像時Ｆ値が閾値Ｔｈ０未満のとき（ステップＳ１：ＹＥＳ）、デジタル信号処理部１７は、補正対象としている焦点検出用画素セルの出力信号を補間補正処理によって補正する（ステップＳ２）。

撮像時Ｆ値が閾値Ｔｈ０以上のとき（ステップＳ１：ＮＯ）、デジタル信号処理部１７は、補正対象としている焦点検出用画素セルの出力信号をゲイン補正処理によって補正する（ステップＳ３）。

デジタル信号処理部１７は、このような動作を、全ての焦点検出用画素セルについて行うことで、補正を終了する。なお、閾値Ｔｈ０は、全ての焦点検出用画素セルを補正した場合の補正誤差の量が最も少なくなるように、予め決めておけばよい。

以上のように、図１に示すデジタルカメラによれば、撮像時Ｆ値に応じて補間補正処理とゲイン補正処理のどちらを実行するかを決めるため、誤差の少ない最適な補正を行うことができる。したがって、焦点検出用画素セルと撮像用画素セルを含む固体撮像素子によって撮像して得られる画像の品質を向上させることができる。

特許文献１では、焦点検出用画素セルの周囲の撮像用画素セルの出力信号のばらつきが大きいときにゲイン補正処理の割合を増やし、出力信号のばらつきが小さいときに補間補正処理の割合を増やしている。

しかし、出力信号のばらつきが大きい場合でも、焦点検出用画素セルと撮像用画素セルの感度差が大きいときには、ゲイン補正処理を行ってしまうとノイズが増えてしまい、補正誤差が大きくなることがある。また、出力信号のばらつきが小さい場合でも、焦点検出用画素セルと撮像用画素セルの感度差が小さいときには、補間補正処理を行うよりはゲイン補正処理を行った方が補正誤差は少ないことがある。

このように、焦点検出用画素セルと撮像用画素セルの感度差に応じて最適な補正方法を決めることが画質向上の上で有利となるが、特許文献１ではこの感度差、即ち、撮像時Ｆ値を考慮して補正処理の切り替えを行っておらず、十分な画質向上が見込めない。これに対し、図１のデジタルカメラによれば、撮像時Ｆ値を考慮して補正処理の切り替えを行うため、十分な画質向上を図ることができる。

次に、図１に示すデジタルカメラのデジタル信号処理部１７の動作の変形例を説明する。

（第一の変形例）
焦点検出用画素セル３１Ｌと焦点検出用画素セル３１Ｒは、その構造が異なるため、感度には差が生じることがある。そのため、焦点検出用画素セル３１Ｌと撮像用画素セル３０の感度差と、焦点検出用画素セル３１Ｒと撮像用画素セル３０の感度差とは一致せず、両者に差が生じる場合がある。

そこで、この変形例では、焦点検出用画素セル３１Ｌの出力信号を補正するときと、焦点検出用画素セル３１Ｒの出力信号を補正するときとで、補間補正処理とゲイン補正処理の切り替えに用いる判定閾値を異なる値にしている。

図５は、図１に示すデジタルカメラにおける固体撮像素子５に含まれる任意の焦点検出用画素セルの出力信号を補正するときの動作の第一の変形例を説明するためのフローチャートである。

デジタル信号処理部１７は、補正対象の焦点検出用画素セルが焦点検出用画素セル３１Ｒであるとき（ステップＳ１１：ＹＥＳ）は、システム制御部１１から取得した撮像時Ｆ値と、焦点検出用画素セル３１Ｒに対応して予め決められた閾値Ｔｈ１とを比較する（ステップＳ１２）。

そして、デジタル信号処理部１７は、撮像時Ｆ値が閾値Ｔｈ１未満のとき（ステップＳ１２：ＹＥＳ）は、焦点検出用画素セル３１Ｒの出力信号を補間補正処理によって補正し（ステップＳ１３）、撮像時Ｆ値が閾値Ｔｈ１以上のとき（ステップＳ１２：ＮＯ）は、焦点検出用画素セル３１Ｒの出力信号をゲイン補正処理によって補正する（ステップＳ１４）。

デジタル信号処理部１７は、補正対象の焦点検出用画素セルが焦点検出用画素セル３１Ｌであるとき（ステップＳ１１：ＮＯ）は、システム制御部１１から取得した撮像時Ｆ値と、焦点検出用画素セル３１Ｌに対応して予め決められた閾値Ｔｈ２とを比較する（ステップＳ１５）。閾値Ｔｈ２は閾値Ｔｈ１とは異なる値である。

そして、デジタル信号処理部１７は、撮像時Ｆ値が閾値Ｔｈ２未満のとき（ステップＳ１５：ＹＥＳ）は、焦点検出用画素セル３１Ｌの出力信号を補間補正処理によって補正し（ステップＳ１６）、撮像時Ｆ値が閾値Ｔｈ２以上のとき（ステップＳ１５：ＮＯ）は、焦点検出用画素セル３１Ｌの出力信号をゲイン補正処理によって補正する（ステップＳ１７）。

以上のように、焦点検出用画素セルの種類に応じて、補間補正処理とゲイン補正処理のどちらを行うかを判定するための撮像時Ｆ値の閾値を異なる値にすることで、より正確な補正が可能となる。

なお、焦点検出用画素セル３１Ｒと焦点検出用画素セル３１Ｌの感度差は、固体撮像素子５全体で見ると、製造ばらつきによって吸収されてほとんど目立たなくなる場合もある。そのため、図４で説明したように、全ての焦点検出用画素セルに対して判定閾値を同じにしても、十分な画質向上効果を得ることができる。

以上の説明では、固体撮像素子５が、２種類の焦点検出用画素セルを有するものとしたが、３種類以上の焦点検出用画素セル（例えば、撮影レンズ１の瞳領域を上下左右に４分割し、各分割領域を通過する光を受光する４種類の焦点検出用画素セル）を有する固体撮像素子であっても、同様に、各種類の焦点検出用画素セルに対して異なる判定閾値を決めておくことで、画質向上が可能である。

（第二の変形例）
焦点検出用画素セルと撮像用画素セルの感度差は、焦点検出用画素セルが配置される撮像領域上の位置によって変化する。このことを、図６を参照して説明する。

図６は、図１に示すデジタルカメラにおける固体撮像素子５の全体構成を示す平面模式図である。図６の例では、固体撮像素子５の撮像領域５１の中央部分にあるＡＦ領域５２に、図２に示すように、焦点検出用画素セルと撮像用画素セルが配置され、その他の領域には撮像用画素セルだけが配置されている。

ＡＦ領域５２は、光の入射角（撮像領域５１の受光面の垂線に対する角度）が小さくなる領域５２ｂと、領域５２ｂよりも入射角が大きくなる領域５２ａと領域５２ｃとに分けられる。

同じＦ値であっても、領域５２ｂと、領域５２ａ，５２ｃとでは、領域５２ａ，５２ｃにある焦点検出用画素セルの方が、入射角が大きくなるため位相差が出やすくなり、焦点検出用画素セルと撮像用画素セルの感度差が大きくなる。

このため、領域５２ａ，５２ｃにある焦点検出用画素セルに対しては、領域５２ｂにある焦点検出用画素セルと比較すると、補間補正処理が実行されやすくすることで、補正誤差を減らすことができる。

そこで、この変形例では、領域５２ｂにある焦点検出用画素セルの出力信号を補正するときと、領域５２ａ，５２ｃにある焦点検出用画素セルの出力信号を補正するときとで、補間補正処理とゲイン補正処理の切り替えに用いる判定閾値を異なる値にする。

例えば、領域５２ｂにある焦点検出用画素セルの出力信号を補正するときの判定閾値はＦ２．８とし、領域５２ａ，５２ｃにある焦点検出用画素セルの出力信号を補正するときの判定閾値は、領域５２ｂにある焦点検出用画素セルの出力信号を補正するときの判定閾値よりも大きいＦ３．０とする。

図７は、図１に示すデジタルカメラにおける固体撮像素子５に含まれる任意の焦点検出用画素セルの出力信号を補正するときの動作の第二の変形例を説明するためのフローチャートである。

デジタル信号処理部１７は、補正対象の焦点検出用画素セルが領域５２ｂに配置されたものである場合（ステップＳ２１：ＹＥＳ）はステップＳ２２以降の処理を行い、補正対象の焦点検出用画素セルが領域５２ｂに配置されたものでなく、領域５２ａ，ｃに配置されたものである場合（ステップＳ２１：ＮＯ）はステップＳ２５以降の処理を行う。

ステップＳ２２において、デジタル信号処理部１７は、システム制御部１１から取得した撮像時Ｆ値と閾値（Ｆ２．８）を比較する。

そして、デジタル信号処理部１７は、撮像時Ｆ値がＦ２．８未満のとき（ステップＳ２２：ＹＥＳ）は、補正対象としている焦点検出用画素セルの出力信号を補間補正処理によって補正し（ステップＳ２３）、撮像時Ｆ値がＦ２．８以上のとき（ステップＳ２２：ＮＯ）は、補正対象としている焦点検出用画素セルの出力信号をゲイン補正処理によって補正する（ステップＳ２４）。

また、ステップＳ２５において、デジタル信号処理部１７は、システム制御部１１から取得した撮像時Ｆ値と閾値（Ｆ３．０）を比較する。

そして、デジタル信号処理部１７は、撮像時Ｆ値がＦ３．０未満のとき（ステップＳ２５：ＹＥＳ）は、補正対象としている焦点検出用画素セルの出力信号を補間補正処理によって補正し（ステップＳ２６）、撮像時Ｆ値がＦ３．０以上のとき（ステップＳ２５：ＮＯ）は、補正対象としている焦点検出用画素セルの出力信号をゲイン補正処理によって補正する（ステップＳ２７）。

このように、焦点検出用画素セルの配置位置に応じて判定閾値を決めておくことで、撮像画質を更に向上させることができる。

（第三の変形例）
第三の変形例は、第二の変形例と第一の変形例と組み合わせたものである。

図８は、図１に示すデジタルカメラにおける固体撮像素子５に含まれる任意の焦点検出用画素セルの出力信号を補正するときの動作の第三の変形例を説明するためのフローチャートである。

デジタル信号処理部１７は、補正対象の焦点検出用画素セルが領域５２ｂに配置されたものである場合（ステップＳ８１：ＹＥＳ）は、図５のステップＳ１１以降の処理を行う。また、デジタル信号処理部１７は、補正対象の焦点検出用画素セルが領域５２ａ又は領域５２ｃに配置されたものである場合（ステップＳ８１：ＮＯ）はステップＳ８２以降の処理を行う。

ステップＳ８２において、デジタル信号処理部１７は、補正対象の焦点検出用画素セルが領域５２ａに配置されたものである場合（ステップＳ８２：ＹＥＳ）はステップＳ８３以降の処理を行い、補正対象の焦点検出用画素セルが領域５２ｃに配置されたものである場合（ステップＳ８２：ＮＯ）はステップＳ９０以降の処理を行う。

ステップＳ８３において、デジタル信号処理部１７は、補正対象の焦点検出用画素セルが焦点検出用画素セル３１Ｒであるとき（ステップＳ８３：ＹＥＳ）は、システム制御部１１から取得した撮像時Ｆ値と閾値Ｔｈ３とを比較する（ステップＳ８４）。閾値Ｔｈ３は、閾値Ｔｈ１よりも大きな値である。

そして、デジタル信号処理部１７は、撮像時Ｆ値が閾値Ｔｈ３未満のとき（ステップ８４：ＹＥＳ）は、焦点検出用画素セル３１Ｒの出力信号を補間補正処理によって補正し（ステップＳ８５）、撮像時Ｆ値が閾値Ｔｈ３以上のとき（ステップＳ８４：ＮＯ）は、焦点検出用画素セル３１Ｒの出力信号をゲイン補正処理によって補正する（ステップＳ８６）。

ステップＳ８３において、デジタル信号処理部１７は、補正対象の焦点検出用画素セルが焦点検出用画素セル３１Ｌであるとき（ステップＳ８３：ＮＯ）は、システム制御部１１から取得した撮像時Ｆ値と、閾値Ｔｈ４を比較する（ステップＳ８７）。閾値Ｔｈ４は閾値Ｔｈ３とは異なる値であり、閾値Ｔｈ２よりも大きな値である。

そして、デジタル信号処理部１７は、撮像時Ｆ値が閾値Ｔｈ４未満のとき（ステップＳ８７：ＹＥＳ）は、焦点検出用画素セル３１Ｌの出力信号を補間補正処理によって補正し（ステップＳ８８）、撮像時Ｆ値が閾値Ｔｈ４以上のとき（ステップＳ８７：ＮＯ）は、焦点検出用画素セル３１Ｌの出力信号をゲイン補正処理によって補正する（ステップＳ８９）。

ステップＳ９０において、デジタル信号処理部１７は、補正対象の焦点検出用画素セルが焦点検出用画素セル３１Ｒであるとき（ステップＳ９０：ＹＥＳ）は、システム制御部１１から取得した撮像時Ｆ値と上記閾値Ｔｈ４を比較する（ステップＳ９１）。

そして、デジタル信号処理部１７は、撮像時Ｆ値が閾値Ｔｈ４未満のとき（ステップ９１：ＹＥＳ）は、焦点検出用画素セル３１Ｒの出力信号を補間補正処理によって補正し（ステップＳ９２）、撮像時Ｆ値が閾値Ｔｈ４以上のとき（ステップＳ９１：ＮＯ）は、焦点検出用画素セル３１Ｒの出力信号をゲイン補正処理によって補正する（ステップＳ９３）。

ステップＳ９０において、デジタル信号処理部１７は、補正対象の焦点検出用画素セルが焦点検出用画素セル３１Ｌであるとき（ステップＳ９０：ＮＯ）は、システム制御部１１から取得した撮像時Ｆ値と上記閾値Ｔｈ３を比較する（ステップＳ９４）。

そして、デジタル信号処理部１７は、撮像時Ｆ値が閾値Ｔｈ３未満のとき（ステップＳ９４：ＹＥＳ）は、焦点検出用画素セル３１Ｌの出力信号を補間補正処理によって補正し（ステップＳ９５）、撮像時Ｆ値が閾値Ｔｈ３以上のとき（ステップＳ９４：ＮＯ）は、焦点検出用画素セル３１Ｌの出力信号をゲイン補正処理によって補正する（ステップＳ９６）。

以上のように、焦点検出用画素セルの位置に応じて判定閾値を変えると共に、焦点検出用画素セルの種類によっても判定閾値を変えることで、より精度の高い補正が可能になる。

なお、図８のステップＳ８４とステップＳ９１、ステップＳ８７とステップＳ９４において判定閾値を逆にしているのは、領域５２ａでは焦点検出用画素セル３１Ｒの感度が焦点検出用画素セル３１Ｌよりも高くなり、領域５２ｃでは、焦点検出用画素セル３１Ｌの感度が焦点検出用画素セル３１Ｒよりも高くなるためである。

（第四の変形例）
焦点検出用画素セルによって検出される位相差は、撮影レンズ１の焦点距離によっても変化する。具体的には、同一Ｆ値であれば、焦点距離が長いほど、撮影レンズ１の開口径が大きくなり、２種類の焦点検出用画素セルにおいて位相差が出やすくなる。つまり、焦点距離が長い場合には、焦点検出用画素セルと撮像用画素セルの感度差がゲイン補正処理に耐えられる程度の値となるＦ値の範囲が、焦点距離が短い場合よりも狭くなる。

そこで、第四の変形例では、図４のステップＳ１の判定で用いる閾値を、撮影レンズ１の撮影時における焦点距離（撮像時焦点距離）に応じて異なる値に設定する。

例えば、図９に示すように、設定可能な焦点距離を５つの範囲に区切り、焦点距離が長いほど、判定閾値が大きくなるように設定する。つまり、焦点距離が長いほど、補間補正処理が行われやすくする。

このように判定閾値を設定しておくことで、例えば、望遠側で撮影した場合には、撮像時Ｆ値が最小値からＦ８．０までの広い範囲で補間補正処理が行われるため、判定閾値を例えばＦ３．５で固定している場合と比べると、補間補正処理が行われる割合を増やすことができ、補正誤差を低減して画質向上を図ることができる。

なお、第一の変形例〜第三の変形例においても、焦点距離に応じて判定閾値を決めておくことで、同様の効果を得ることができる。

（第五の変形例）
この変形例では、デジタル信号処理部１７が、補正対象の焦点検出用画素セルの周囲にある撮像用画素セルの出力信号の平均（以下、出力平均という）と平坦度を算出し、算出した出力平均及び平坦度と、撮像時Ｆ値とを用いて、補間補正処理とゲイン補正処理のどちらを行うかを決定する。

デジタルカメラのメモリ１６には、補間補正処理とゲイン補正処理のどちらを行うかを判定するための判定条件のデータが２種類記憶されている。

図１０は、この２種類の判定条件のデータを説明するための図である。図１０のＦＩＧ１０Ａ、ＦＩＧ１０Ｂには、横軸に出力平均をとり、縦軸に平坦度としての分散をとったグラフを示している。

ＦＩＧ１０ＡとＦＩＧ１０Ｂの各々には、判定ライン７０が示されており、この判定ライン７０の形状及び位置は、ＦＩＧ１０ＡとＦＩＧ１０Ｂとで異なっている。

ＦＩＧ１０ＡとＦＩＧ１０Ｂでは、縦軸と横軸で囲まれる領域のうち、判定ライン７０を含みかつ判定ライン７０よりも上側をゲイン補正領域７１とし、判定ライン７０よりも下側を信号補間領域７２としている。

デジタル信号処理部１７は、上記算出した分散及び出力平均がゲイン補正領域７１に入るとき（第一条件を満たすとき）にゲイン補正処理を行い、分散及び出力平均が信号補間領域７２に入るとき（第二条件を満たすとき）に補間補正処理を行う。このように、ＦＩＧ１０Ａ又はＦＩＧ１０Ｂに例示した判定条件のデータは、第一条件と第二条件の組み合わせを定義したデータである。

メモリ１６には、デジタルカメラに設定可能なＦ値の範囲を２つに分割して得られる各分割範囲にそれぞれ対応して、上記判定条件のデータが記憶されている。例えば、ＦＩＧ１０Ａのデータは、Ｆ値の範囲を２つに分割して得られる分割範囲の境界のＦ値（このＦ値を閾値Ｔｈ５という）をＦ２．８とし、Ｆ値がＦ２．８以上の範囲に対応して決められている。また、ＦＩＧ１０Ｂのデータは、Ｆ値がＦ２．８未満の範囲に対応して決められている。

デジタル信号処理部１７は、撮像時Ｆ値に対応する判定条件のデータにしたがって、実行する補正処理を決定する。例えば、デジタル信号処理部１７は、撮像時Ｆ値が閾値Ｔｈ５以上のときは、ＦＩＧ１０Ａに示されるデータにしたがって実行する補正処理を決定し、撮像時Ｆ値が閾値Ｔｈ５未満のときは、ＦＩＧ１０Ｂに示されるデータにしたがって、実行する補正処理を決定する。

上記閾値Ｔｈ５は、第一の変形例〜第四の変形例で述べたように、焦点検出用画素セルの種類や位置、撮影レンズ１の焦点距離毎に異なる値を設定することができる。

出力平均が大きいということは、ゲイン補正処理において用いるゲインが大きくなることを意味する。ゲインが大きくなると、ノイズの増幅も大きくなるため、ゲイン補正処理による補正誤差は大きくなる。そのため、出力平均が大きいときには補間補正処理を行い、出力平均が小さいときにはゲイン補正処理を行うことが好ましい。

また、分散が大きいということは、焦点検出用画素セルの周辺にシャープネスの高い被写体があると想定されるため、信号補間処理を行うと補正誤差は大きくなる。そのため、分散が大きいときにはゲイン補正処理を行い、分散が小さいときには補間補正処理を行うことが好ましい。

ただし、出力平均が大きい場合でも、分散が非常に大きい場合には、補間補正処理ではなくゲイン補正処理を行った方が補正誤差を少なくできる場合もある。また、分散が小さい場合でも、出力平均が小さい場合には、補間補正処理ではなくゲイン補正処理を行った方が補正誤差を少なくできる場合もある。

これらのことを考慮して、図１０に示したデータでは、補正誤差が最も少なくなるように判定ライン７０を設定している。

また、補正誤差を最も少なくできる判定ライン７０は、撮影レンズ１における絞り２のＦ値によって変化する。例えば、Ｆ値が大きくなれば、焦点検出用画素セルと撮像用画素セルの感度差が小さくなり、ゲイン補正処理におけるゲインが小さくなり、ゲイン補正処理における補正誤差が減少する方向となる。また、Ｆ値が大きくなれば、被写界深度が深くなって被写体のシャープネスが高くなるため、補間補正処理による補正誤差が増加する方向となる。

つまり、Ｆ値が大きいほど、補間補正処理よりもゲイン補正処理が行われやすくすることが好ましい。図１０に示す２種類のデータは、ＦＩＧ１０Ａが、Ｆ値が閾値Ｔｈ５以上のときに対応するものであり、ＦＩＧ１０Ｂが、Ｆ値が閾値Ｔｈ５未満のときに対応するものである。この２種類のデータを比較すると、Ｆ値が大きいほど、ゲイン補正処理が補間補正処理よりも行われやすくなっていることがわかる。

以上のように、補間補正処理とゲイン補正処理のどちらを行うかを決定するための判定条件のデータを２種類用意しておき、この２種類のデータのどちらを用いるかを撮像時Ｆ値によって決めることで、補正誤差を最小限に減らすことができ、撮像画質を向上させることができる。

なお、ここでは、上記判定条件のデータを２種類としたが、これは３種類以上としてもよい。

この場合、メモリ１６には、デジタルカメラに設定可能なＦ値の範囲を３つ以上に分割して得られる各分割範囲に対応させて、図１０に示すようなゲイン補正領域と信号補間領域の組み合わせを示す判定条件のデータを記憶しておく。そして、デジタル信号処理部１７は、撮像時Ｆ値を含む分割範囲に対応するデータにしたがって、どの補正処理を実行するかを決定する。

（第六の変形例）
この変形例では、図１０に示したデータの別例について説明する。

図１１のＦＩＧ１１Ａ、ＦＩＧ１１Ｂには、横軸に出力平均をとり、縦軸に分散をとったグラフを示している。そして、ＦＩＧ１１ＡとＦＩＧ１１Ｂの各々には、出力平均をＸ、分散をＹとしたときに、Ｙ＝ｋＸで示される判定ライン８０が示されている。そして、この判定ライン８０におけるｋの値は、ＦＩＧ１１ＡとＦＩＧ１１Ｂとで異なっている。

ＦＩＧ１１ＡとＦＩＧ１１Ｂでは、縦軸と横軸で囲まれる領域のうち、判定ライン８０を含みかつ判定ライン８０よりも上側をゲイン補正領域８１とし、判定ライン８０よりも下側を信号補間領域８２としている。

デジタル信号処理部１７は、上記算出した出力平均と分散をＦＩＧ１１Ａ，ＦＩＧ１１Ｂのグラフにプロットした点（例えば図中の点Ａ）がゲイン補正領域８１にあればゲイン補正処理を実行し、上記点が信号補間領域８２にあれば補間補正処理を実行する。

言い換えると、上記算出した出力平均と分散をＦＩＧ１１Ａ，ＦＩＧ１１Ｂのグラフにプロットした点（例えば図中の点Ａ）と原点とを結ぶ直線の傾きが、判定ライン８０の傾きｋ以上であればゲイン補正処理を実行し、上記直線の傾きが判定ライン８０の傾きｋ未満であれば補間補正処理を実行する。

ＦＩＧ１１Ａのデータは、Ｆ値が閾値Ｔｈ６以上の範囲に対応し、ＦＩＧ１１Ｂのデータは、Ｆ値が閾値Ｔｈ６未満の範囲に対応して決められている。

上記閾値Ｔｈ６は、第一の変形例〜第四の変形例で述べたように、焦点検出用画素セルの種類や位置、撮影レンズ１の焦点距離毎に異なる値を設定することができる。

第五の変形例でも述べたように、Ｆ値が大きいほど、ゲイン補正処理が補間補正処理よりも行われやすくすることが好ましい。そのため、上記ｋの値は、対応するＦ値が大きいほど、小さくなっている。

このように、図１１に示す判定条件のデータを用いることでも、補正誤差を最小限に減らすことができ、撮像画質を向上させることができる。

なお、本変形例においても上記判定条件のデータを３種類以上としてもよい。

（第七の変形例）
この変形例では、図２に示した固体撮像素子５の構成の別例について説明する。

図１２は、図１に示すデジタルカメラに搭載される固体撮像素子５の変形例である固体撮像素子５ａの平面模式図である。固体撮像素子５ａは、各画素セルに搭載されるカラーフィルタの配列が図２とは異なる。固体撮像素子５ａの画素セルに搭載されるカラーフィルタは、Ｒフィルタの数と、Ｂフィルタの数と、Ｇフィルタの数との比が１：１：２．５となるように配列されている。

固体撮像素子５ａに搭載されるカラーフィルタの配列は、図１２に示したユニットＵ１内のフィルタ配列と、ユニットＵ１内のフィルタ配列においてＲフィルタとＢフィルタの位置を入れ替えたユニットＵ２内のフィルタ配列とが市松状に配置されたものとなっている。

言い換えると、ユニットＵ１とユニットＵ２とが、水平、垂直方向に交互に並べられた配列となっている。

ユニットＵ１は、輝度系フィルタであるＧフィルタが４隅と中央に配置されている。また、ユニットＵ１において、中央のＧフィルタの行方向Ｘの両隣にはＲフィルタが配置され、中央のＧフィルタの列方向Ｙの両隣にはＢフィルタが配置されている。

ユニットＵ２は、ユニットＵ１において、ＲフィルタとＢフィルタの位置を入れ替えたものになっている。

また、ユニットＵ１，Ｕ２のそれぞれの４隅のＧフィルタは、ユニットＵ１とユニットＵ２とが水平、垂直方向に交互に配置されることにより、２×２画素のＧフィルタの正方配列を含む配列となっている。

固体撮像素子５ａのカラーフィルタ配列は、ユニットＵ１とユニットＵ２とを、水平、垂直方向に交互に２つずつ配列した６行×６列のフィルタ配列が基本配列パターンであり、この基本配列パターンが繰り返される配列となっている。

以上のようなカラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色（Ｇ）に対応する第１のフィルタ（Ｇフィルタ）が、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置される。また、第１のフィルタに対応する第１の色の画素数の比率が、第１の色以外の２色（Ｂ，Ｒ）の第２のフィルタ（Ｂフィルタ、Ｒフィルタ）に対応する第２の色（Ｂ，Ｒ）の画素数の比率よりも大きくなる。このような配列により、高周波領域での同時化処理の再現精度を向上させ、かつエリアシングを抑制することができる。

また、第２の色（Ｂ，Ｒ）に対応する第２のフィルタ（Ｂフィルタ、Ｒフィルタ）が、前記基本配列パターン内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置されるため、色モワレ（偽色）の発生を抑圧して高解像度化を図ることができる。

更に、このカラーフィルタ配列は、所定の基本配列パターンが水平方向及び垂直方向に繰り返されているため、後段での同時化（補間）処理を行う際に、繰り返しパターンにしたがって処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。

このような配列のカラーフィルタを搭載する固体撮像素子５ａにおいて、Ｇフィルタを搭載する画素セルの一部が焦点検出量画素セル３１Ｌ，３１Ｒになっている。

以上のような固体撮像素子５ａであっても、上述してきた補正処理を行うことで、撮像画質を向上させることができる。

（第八の変形例）
本変形例では、撮像装置としてスマートフォンの構成について説明する。

図１３は、本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。図１３に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

図１４は、図１３に示すスマートフォン２００の構成を示すブロック図である。図１４に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。

表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。

操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。

図１３に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。

係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０１の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２１１は、スピーカ２０５やマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。また、図１３に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

操作部２０７は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１３に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２１２は、主制御部２２０の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達することや、スマートフォン２００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０や外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２１５は、例えば、３軸の加速度センサなどを備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向や加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２２０は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

更に、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２０８は、図１に示したデジタルカメラにおける外部メモリ制御部２０、記録媒体２１、表示制御部２２、表示部２３、及び操作部１４以外の構成を含む。カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることができる。図１３に示すにスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。

また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示することや、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用することができる。また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。更には、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等などを付加して記録部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることもできる。

以上のような構成のスマートフォン２００においても、上述した補正処理により、撮像画質を向上させることができる。

以上の説明では、Ｇフィルタを搭載する画素セルを焦点検出用画素セルとしているが、Ｒフィルタを搭載する画素セルや、Ｂフィルタを搭載する画素セルを焦点検出用画素セルとしてもよい。Ｇフィルタを搭載する画素セルは、他のフィルタを搭載する画素セルよりも多く設けられるため、補間補正処理をより精度良く行うことができる。

図１に示すデジタルカメラは、撮影光学系を固定として説明したが、撮影光学系が着脱可能なものであってもよい。このような、撮影光学系が着脱可能なデジタルカメラにおいては、装着される撮影光学系の種類分、設定できるＦ値の範囲が広くなるため、上述したように、撮像時Ｆ値を少なくとも用いて補間補正処理とゲイン補正処理のどちらを実行するかを決めることが、画質向上を図る上で特に有効となる。

以上説明してきたように、本明細書には以下の事項が開示されている。

開示された信号処理装置は、二次元状に配置された、撮像用の複数の第一画素セル及び焦点検出用の複数の第二画素セルを含み、光学系を介して被写体を撮像する撮像素子からの信号を処理する信号処理装置であって、上記第二画素セルの周囲にある上記第一画素セルの出力信号を用いて生成した信号を上記第二画素セルの出力信号と置換することにより、その第二画素セルの出力信号を補正する第一補正処理と、上記第二画素セルの出力信号を増幅することで上記第二画素セルの出力信号を補正する第二補正処理とのいずれかを行う補正処理部を備え、上記補正処理部は、補正対象となる信号を取得するための撮像時における上記光学系に含まれる絞りのＦ値である撮像時Ｆ値を少なくとも用いて、上記第一補正処理と上記第二補正処理のどちらを実行するかを決定するものである。

開示された信号処理装置は、上記第二画素セルの周囲にある上記第一画素セルの出力信号の平均を算出する平均算出部と、上記第二画素セルの周囲にある上記第一画素セルの出力信号の平坦度を算出する平坦度算出部とを備え、上記補正処理部は、上記平均値、上記平坦度、及び上記撮像時Ｆ値を用いて、上記第一補正処理と上記第二補正処理のどちらを実行するかを決定するものである。

開示された信号処理装置は、上記平坦度が分散であり、上記補正処理部は、上記分散及び平均が第一条件を満たすときに上記第一補正処理を行い、上記分散及び平均が第二条件を満たすときに上記第二補正処理を行い、上記第一条件と上記第二条件の組み合わせを複数種類記憶する記憶部を備え、上記複数種類の組み合わせは、設定可能な上記Ｆ値の範囲を分割して得られる各分割範囲にそれぞれ対応して決められており、上記補正処理部は、上記複数種類の組み合わせの中から上記撮像時Ｆ値を含む上記分割範囲に対応するものを選択して使用するものである。

開示された信号処理装置は、上記第一条件が、上記平均を第一軸にとり、上記分散を第二軸にとったグラフにおいて、上記平均及び分散をプロットした点と原点とを結ぶ直線の傾きが、予め決められた傾き閾値未満となる条件であり、上記第二条件は、上記直線の傾きが上記傾き閾値以上となる条件であり、上記複数種類の組み合わせは、それぞれの上記傾き閾値が異なっているものである。

開示された信号処理装置は、上記第二の画素セルが、上記光学系の瞳領域の異なる部分を通過する複数の光束のそれぞれを受光する複数種類の画素セルを含み、上記各分割範囲の境界となるＦ値は、上記複数種類の画素セル毎に異なる値が決められているものである。

開示された信号処理装置は、上記各分割範囲の境界となるＦ値が、上記第一画素セル及び上記第二画素セルが二次元状に配置される領域における、上記第二画素セルの位置に応じて異なる値が決められているものである。

開示された信号処理装置は、上記各分割範囲の境界となるＦ値が、上記光学系の焦点距離に応じて異なる値が決められているものである。

開示された信号処理装置の上記補正処理部は、上記撮像時Ｆ値が予め決められた第一閾値未満のときに上記第一補正処理を行い、上記撮像時Ｆ値が上記第一閾値以上のときに上記第二補正処理を行うものである。

開示された信号処理装置の上記第二の画素セルは、上記光学系の瞳領域の異なる部分を通過する複数の光束のそれぞれを受光する複数種類の画素セルを含み、上記複数種類の画素セル毎に異なる値の上記第一閾値が決められているものである。

開示された信号処理装置における上記第一閾値は、上記第一画素セル及び上記第二画素セルが二次元状に配置される領域における、上記第二画素セルの位置に応じて異なる値が決められているものである。

開示された信号処理装置における上記第一閾値は、上記光学系の焦点距離に応じて異なる値が決められているものである。

開示された信号処理装置の上記補正処理部は、上記第一補正処理においては、上記第二画素セルを中心とする第一範囲にある複数の上記第一画素セルの出力信号を用いて補正を行い、上記第二補正処理においては、上記第二画素セルを中心とする上記第一範囲よりも広い第二範囲にある複数の上記第一画素セルの出力信号の平均に上記第二画素セルの出力信号を近づけるためのゲインを、上記第二画素セルの出力信号に乗じて上記増幅を行うものである。

開示された撮像装置は、上記信号処理装置と、上記撮像素子とを備え、上記光学系が着脱可能に構成されているものである。

開示された撮像装置は、上記信号処理装置と、上記撮像素子とを備えるものである。

開示された信号補正方法は、光学系を介して被写体を撮像する撮像素子であって、二次元状に配置された撮像用の複数の第一画素セル及び焦点検出用の複数の第二画素セルを含む撮像素子の上記第二画素セルから出力される信号を補正する信号補正方法であって、上記第二画素セルの周囲にある上記第一画素セルの出力信号を用いて生成した信号を上記第二画素セルの出力信号と置換することにより、その第二画素セルの出力信号を補正する第一補正処理と、上記第二画素セルの出力信号を増幅することで上記第二画素セルの出力信号を補正する第二補正処理とのいずれかを行う補正処理ステップを備え、上記補正処理ステップでは、補正対象となる信号を取得するための撮像時における上記光学系に含まれる絞りのＦ値である撮像時Ｆ値を少なくとも用いて、上記第一補正処理と上記第二補正処理のどちらを実行するかを決定するものである。

本発明によれば、焦点検出用の画素セルの出力信号を精度良く補正して撮像画質を向上させることのできる信号処理装置及びこれを備える撮像装置並びに信号補正方法を提供することができる。

本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、２０１２年５月１０日出願の日本特許出願（特願２０１２−１０８５６０）に基づくものであり、その内容はここに参照として取り込まれる。

５ 固体撮像素子
３０ 撮像用画素セル
３１Ｒ，３１Ｌ 焦点検出用画素セル
１７ デジタル信号処理部

Claims (12)

1. 二次元状に配置された、撮像用の複数の第一画素セル及び焦点検出用の複数の第二画素セルを含み、光学系を介して被写体を撮像する撮像素子からの信号を処理する信号処理装置であって、
   前記第二画素セルの周囲にある前記第一画素セルの出力信号を用いて生成した信号を前記第二画素セルの出力信号と置換することにより、当該第二画素セルの出力信号を補正する第一補正処理と、前記第二画素セルの出力信号を増幅することで前記第二画素セルの出力信号を補正する第二補正処理とのいずれかを行う補正処理部を備え、
   前記補正処理部は、補正対象となる信号を取得するための撮像時における前記光学系に含まれる絞りのＦ値である撮像時Ｆ値を少なくとも用いて、前記第一補正処理と前記第二補正処理のどちらを実行するかを決定し、
   前記第二画素セルの周囲にある前記第一画素セルの出力信号の平均を算出する平均算出部と、
   前記第二画素セルの周囲にある前記第一画素セルの出力信号の平坦度を算出する平坦度算出部とを更に備え、
   前記補正処理部は、前記平均、前記平坦度、及び前記撮像時Ｆ値を用いて、前記第一補正処理と前記第二補正処理のどちらを実行するかを決定する信号処理装置。
2. 請求項１記載の信号処理装置であって、
   前記平坦度は分散であり、
   前記補正処理部は、前記分散及び平均が第一条件を満たすときに前記第一補正処理を行い、前記分散及び平均が第二条件を満たすときに前記第二補正処理を行い、
   前記第一条件と前記第二条件の組み合わせを複数種類記憶する記憶部を備え、
   前記複数種類の組み合わせは、設定可能な前記Ｆ値の範囲を分割して得られる各分割範囲にそれぞれ対応して決められており、
   前記補正処理部は、前記複数種類の組み合わせの中から前記撮像時Ｆ値を含む前記分割範囲に対応するものを選択して使用する信号処理装置。
3. 請求項２記載の信号処理装置であって、
   前記第一条件は、前記平均を第一軸にとり、前記分散を第二軸にとったグラフにおいて、前記平均及び分散をプロットした点と原点とを結ぶ直線の傾きが、予め決められた傾き閾値未満となる条件であり、
   前記第二条件は、前記直線の傾きが前記傾き閾値以上となる条件であり、
   前記複数種類の組み合わせは、それぞれの前記傾き閾値が異なっている信号処理装置。
4. 請求項２又は３記載の信号処理装置であって、
   前記第二画素セルは、前記光学系の瞳領域の異なる部分を通過する複数の光束のそれぞれを受光する複数種類の画素セルを含み、
   前記各分割範囲の境界となるＦ値は、前記複数種類の画素セル毎に異なる値が決められている信号処理装置。
5. 請求項２〜４のいずれか１項記載の信号処理装置であって、
   前記各分割範囲の境界となるＦ値は、前記第一画素セル及び前記第二画素セルが二次元状に配置される領域における、前記第二画素セルの位置に応じて異なる値が決められている信号処理装置。
6. 請求項２〜５のいずれか１項記載の信号処理装置であって、
   前記各分割範囲の境界となるＦ値は、前記光学系の焦点距離に応じて異なる値が決められている信号処理装置。
7. 二次元状に配置された、撮像用の複数の第一画素セル及び焦点検出用の複数の第二画素セルを含み、光学系を介して被写体を撮像する撮像素子からの信号を処理する信号処理装置であって、
   前記第二画素セルの周囲にある前記第一画素セルの出力信号を用いて生成した信号を前記第二画素セルの出力信号と置換することにより、当該第二画素セルの出力信号を補正する第一補正処理と、前記第二画素セルの出力信号を増幅することで前記第二画素セルの出力信号を補正する第二補正処理とのいずれかを行う補正処理部を備え、
   前記補正処理部は、補正対象となる信号を取得するための撮像時における前記光学系に含まれる絞りのＦ値である撮像時Ｆ値を少なくとも用いて、前記第一補正処理と前記第二補正処理のどちらを実行するかを決定し、
   前記補正処理部は、前記撮像時Ｆ値が予め決められた第一閾値未満のときに前記第一補正処理を行い、前記撮像時Ｆ値が前記第一閾値以上のときに前記第二補正処理を行い、
   前記第二画素セルは、前記光学系の瞳領域の異なる部分を通過する複数の光束のそれぞれを受光する複数種類の画素セルを含み、
   前記複数種類の画素セル毎に異なる値の前記第一閾値が決められている信号処理装置。
8. 請求項７記載の信号処理装置であって、
   前記第一閾値は、前記第一画素セル及び前記第二画素セルが二次元状に配置される領域における、前記第二画素セルの位置に応じて異なる値が決められている信号処理装置。
9. 請求項７又は８記載の信号処理装置であって、
   前記第一閾値は、前記光学系の焦点距離に応じて異なる値が決められている信号処理装置。
10. 請求項１〜９のいずれか１項記載の信号処理装置であって、
    前記補正処理部は、前記第一補正処理においては、前記第二画素セルを中心とする第一範囲にある複数の前記第一画素セルの出力信号を用いて補正を行い、前記第二補正処理においては、前記第二画素セルを中心とする前記第一範囲よりも広い第二範囲にある複数の前記第一画素セルの出力信号の平均に前記第二画素セルの出力信号を近づけるためのゲインを、前記第二画素セルの出力信号に乗じて前記増幅を行う信号処理装置。
11. 二次元状に配置された、撮像用の複数の第一画素セル及び焦点検出用の複数の第二画素セルを含み、光学系を介して被写体を撮像する撮像素子からの信号を処理する信号処理装置であって、
    前記第二画素セルの周囲にある前記第一画素セルの出力信号を用いて生成した信号を前記第二画素セルの出力信号と置換することにより、当該第二画素セルの出力信号を補正する第一補正処理と、前記第二画素セルの出力信号を増幅することで前記第二画素セルの出力信号を補正する第二補正処理とのいずれかを行う補正処理部を備え、
    前記補正処理部は、補正対象となる信号を取得するための撮像時における前記光学系に含まれる絞りのＦ値である撮像時Ｆ値を少なくとも用いて、前記第一補正処理と前記第二補正処理のどちらを実行するかを決定し、
    前記補正処理部は、前記第一補正処理においては、前記第二画素セルを中心とする第一範囲にある複数の前記第一画素セルの出力信号を用いて補正を行い、前記第二補正処理においては、前記第二画素セルを中心とする前記第一範囲よりも広い第二範囲にある複数の前記第一画素セルの出力信号の平均に前記第二画素セルの出力信号を近づけるためのゲインを、前記第二画素セルの出力信号に乗じて前記増幅を行う信号処理装置。
12. 二次元状に配置された、撮像用の複数の第一画素セル及び焦点検出用の複数の第二画素セルを含み、光学系を介して被写体を撮像する撮像素子からの信号を処理する信号処理装置であって、
    前記第二画素セルの周囲にある前記第一画素セルの出力信号を用いて生成した信号を前記第二画素セルの出力信号と置換することにより、当該第二画素セルの出力信号を補正する第一補正処理と、前記第二画素セルの出力信号を増幅することで前記第二画素セルの出力信号を補正する第二補正処理とのいずれかを行う補正処理部を備え、
    前記補正処理部は、補正対象となる信号を取得するための撮像時における前記光学系に含まれる絞りのＦ値である撮像時Ｆ値を少なくとも用いて、前記第一補正処理と前記第二補正処理のどちらを実行するかを決定し、
    前記補正処理部は、前記撮像時Ｆ値が予め決められた第一閾値未満のときに前記第一補正処理を行い、前記撮像時Ｆ値が前記第一閾値以上のときに前記第二補正処理を行い、
    前記補正処理部は、前記第一補正処理においては、前記第二画素セルを中心とする第一範囲にある複数の前記第一画素セルの出力信号を用いて補正を行い、前記第二補正処理においては、前記第二画素セルを中心とする前記第一範囲よりも広い第二範囲にある複数の前記第一画素セルの出力信号の平均に前記第二画素セルの出力信号を近づけるためのゲインを、前記第二画素セルの出力信号に乗じて前記増幅を行う信号処理装置。

Images