JPWO2013168505A1 - 撮像装置及び信号補正方法 - Google Patents

Abstract

撮像用画素セル３０と、焦点検出用画素セル３１Ｒ，３１Ｌのペアとを含む撮像素子５を有するデジタルカメラのデジタル信号処理部１７は、撮像素子５によって撮像して得られる撮像画像信号においてフレア又はゴーストの少なくとも一方の影響を受けている領域の有無を判定し、当該領域があると判定したときには、撮像画像信号に含まれる全ての焦点検出用画素セルの出力信号に対し、当該出力信号を撮像画像信号に含まれる焦点検出用画素セルの周囲にある撮像用前画素セルの出力信号を用いた信号補間により補正する処理を行う。

Description

本発明は、撮像装置及び信号補正方法に関する。

近年、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子の高解像度化に伴い、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ，携帯情報端末）等の撮影機能を有する情報機器の需要が急増している。なお、以上のような撮像機能を有する情報機器を撮像装置と称する。

ところで、主要な被写体までの距離を検出してその被写体に焦点を合わせる合焦制御方法には、コントラストＡＦ（Ａｕｔｏ Ｆｏｃｕｓ、自動合焦）方式や位相差ＡＦ方式がある。位相差ＡＦ方式は、コントラストＡＦ方式に比べて合焦位置の検出を高速，高精度に行うことができるため、様々な撮像装置で多く採用されている。

位相差ＡＦ方式により合焦制御を行う撮像装置に搭載される固体撮像素子には、例えば、遮光膜開口が互いに逆方向に偏心した焦点検出用の画素セルのペアを撮像領域の全面に離散的に設けたものが使用される（特許文献１参照）。

この焦点検出用の画素セルは、遮光膜開口の面積がその他の通常の画素セルよりも小さくなっているため、その出力信号を撮像画像信号として使用するには不十分なものとなる。そこで、焦点検出用の画素セルの出力信号を補正する必要が生じる。

特許文献１は、焦点検出用の画素セルの出力信号を、その周りの通常の画素セルの出力信号を用いて補間生成する補間補正処理と、焦点検出用の画素セルの出力信号をゲイン増幅して補正するゲイン補正処理とを、焦点検出用の画素セルの周りの通常の画素セルの出力信号のバラツキに応じて選択して実行する方法を開示している。

特許文献１に記載されている撮像装置では、撮像範囲内やその近傍に強い光源がある場合、光学系を構成するレンズの表面や固体撮像素子のチップ表面等での反射によって、ゴーストやフレアが発生してしまう。そして、ゴーストやフレアを発生させる光が焦点検出用の画素セルに入射されると、高精度なデフォーカス量の算出、つまりはフォーカス制御を行うことができなくなる。

このようなゴーストやフレアを発生させる光による位相差ＡＦ精度の低下を防ぐ技術として、特許文献２，３に記載されたものが知られている。

特許文献２は、ゴーストやフレアの発生の有無を判定し、ゴーストやフレアが発生していると判定されたときには、焦点検出用の画素セルの出力信号を補正して、位相差ＡＦ精度を向上させる方法を開示している。

特許文献３は、固体撮像素子の出力から、撮影光源の位置及び光量を検出し、該撮影光源の位置及び光量の情報と記憶部にあらかじめ記憶している撮影光源の位置に応じたゴーストやフレアを発生させる光の情報から補正値を算出し、固体撮像素子から出力される被写体像に関する光量分布をこの補正値を用いて補正することで、位相差ＡＦ精度を向上させる方法を開示している。

日本国特開２０１０−６２６４０号公報 日本国特開２００８−２４２３３３号公報 日本国特開２００６−１８４３２１号公報

上述したゲイン補正処理は、焦点検出用の画素セルの感度と、その周囲にある通常の画素セルの感度との差を縮小するためのゲインを、焦点検出用の画素セルの出力信号に乗じることで補正を行うものである。

そのため、焦点検出用の画素セルの感度と、その周囲にある通常の画素セルの感度との差が大きいと、その分、大きなゲインを焦点検出用の画素セルの出力信号に乗じる必要がある。大きなゲインを焦点検出用の画素セルの出力信号に乗じると、その出力信号に含まれるノイズも増加するため、補正誤差が大きくなる。

ゴーストやフレアが発生した場合、ゴーストやフレアが発生した領域においては、ゴーストやフレアが発生していない領域と比べて、焦点検出用の画素セルの感度と通常の画素セルの感度の差が大きくなる。このため、例えば全ての焦点検出用の画素セルに対してゲイン補正処理を行うと、画像全体において補正誤差の大きい領域と少ない領域が混在することになり、画質が低下する可能性がある。

つまり、ゴーストやフレアが発生した場合には、ゴーストやフレアが発生した領域における補正誤差と、ゴーストやフレアが発生していない領域における補正誤差との差をいかに小さくするかが、画質向上の点で重要となる。

特許文献１は、焦点検出用の画素セルの周りの通常の画素セルの出力信号のバラツキに応じて補正方法を決めるものであり、ゴーストやフレアが生じた場合の画質低下の改善については考慮されていない。

特許文献２，３は、焦点検出用の画素セルの出力信号そのものをゴーストやフレアの有無に応じて補正するものであるが、位相差ＡＦのために出力信号の補正を行っているだけであり、焦点検出用の画素セルの出力信号を撮像画像信号として使用する場合にどうするかを開示しているものではない。

本発明は、上記事情に鑑みてなされたものであり、焦点検出用の画素セルと撮像用の画素セルを含む撮像素子により撮像して得られる撮像画像の品質を、ゴーストやフレアが生じている場合でも低下させることのない撮像装置及び信号補正方法を提供することを目的とする。

本発明の撮像装置は、撮像用の複数の第一画素セルと、撮影レンズの異なる瞳領域を通過した光を受光する複数種類の焦点検出用の第二画素セルからなる複数のペアとを含む撮像素子を有する撮像装置であって、上記撮像素子によって撮像して得られる撮像画像信号を用いて、上記撮像画像信号がフレア又はゴーストの少なくとも一方の影響を受けているか否かを判定する判定部と、上記撮像画像信号に含まれる上記第二画素セルの出力信号に対し、その第二画素セルの出力信号を上記撮像画像信号に含まれる上記第二画素セルの周囲にある複数の上記第一画素セルの出力信号を用いた信号補間により補正する補間補正処理と、その第二画素セルの出力信号をその出力信号にゲイン値を乗じて補正するゲイン補正処理とのいずれかを行う補正処理部と、上記補正処理部による補正処理後の撮像画像信号を処理して撮像画像データを生成する画像データ生成部と、を備え、上記補正処理部は、上記判定部による判定結果に基づいて、上記第二画素セルの出力信号に対して、上記補間補正処理と上記ゲイン補正処理のどちらを実行するかを決定するものである。

本発明の信号補正方法は、二次元状に配置された、撮像用の複数の第一画素セル及び撮像レンズの異なる瞳領域を通過した光を受光する複数種類の焦点検出用の第二画素セルからなる複数のペアを含む撮像素子から出力される撮像画像信号を補正する信号補正方法であって、上記撮像素子によって撮像して得られる撮像画像信号を用いて、上記撮像画像信号がフレア又はゴーストの少なくとも一方の影響を受けているか否かを判定する判定ステップと、上記撮像画像信号に含まれる上記第二画素セルの出力信号に対し、その出力信号を、上記撮像画像信号に含まれる、上記第二画素セルの周囲にある複数の上記第一画素セルの出力信号を用いた信号補間により補正する補間補正処理と、その出力信号にゲイン値を乗じて増幅することで補正するゲイン補正処理とのいずれかを行う補正処理ステップと、上記補正処理ステップによる補正処理後の上記撮像画像信号を処理して撮像画像データを生成する画像データ生成ステップと、を備え、上記補正処理ステップでは、上記判定ステップの判定結果に基づいて、上記第二画素セルの出力信号に対して、上記補間補正処理と上記ゲイン補正処理のどちらを実行するかを決定するものである。

本発明によれば、焦点検出用の画素セルと撮像用の画素セルを含む撮像素子により撮像して得られる撮像画像の品質を、ゴーストやフレアが生じている場合でも低下させることのない撮像装置及び信号補正方法を提供することができる。

本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図 図１に示すデジタルカメラに搭載される固体撮像素子５の概略構成を示す平面模式図 図２に示す固体撮像素子５において焦点検出用画素セル３１Ｌを中心とする５×５個の画素セルを抽出した図 図１に示すデジタルカメラにおける固体撮像素子５の平面模式図 図１に示すデジタル信号処理部１７によって生成されるゲインテーブルの一例をグラフにした図 図１に示すデジタル信号処理部１７によって生成されるゲインテーブルの一例をグラフにした図 位相差検出用画素の位置による感度の違いを説明するための図 図１に示すデジタル信号処理部１７によって生成されるゲインテーブルの一例を示す図 図１に示すデジタル信号処理部１７によって生成されるゲインテーブルの一例を示す図 図１に示すデジタルカメラにおける固体撮像素子５から出力された撮像画像信号に含まれる全ての焦点検出用画素セルの出力信号を補正するときの動作を説明するためのフローチャート 図１に示すデジタル信号処理部１７の処理内容の変形例を説明するための図 図１に示すデジタル信号処理部１７の処理内容の変形例を説明するための図 図１に示すデジタル信号処理部１７の処理内容の変形例を説明するための図 図１に示すデジタル信号処理部１７の処理内容の変形例を説明するための図 撮像装置としてスマートフォンを説明する図 図１５のスマートフォンの内部ブロック図

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。

図１に示すデジタルカメラの撮像系は、フォーカスレンズ、ズームレンズ等のレンズを含む撮影レンズ１及び絞り２を有する撮影光学系と、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の固体撮像素子５と、この両者の間に設けられた赤外線カットフィルタ（ＩＲＣＵＴ）３と、光学ローパスフィルタ（ＯＬＰＦ）４とを備えている。

固体撮像素子５は、複数の撮像用画素セルと、撮影光学系の異なる瞳領域を通過した一対の光束をそれぞれ受光する２種類の焦点検出用画素セルとを二次元状に配置した構成になっており、撮影レンズ１により結像される像を受光して撮像画像信号を出力すると共に、上記一対の光束に対応する一対の焦点検出信号を出力する。

デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、フラッシュ発光部１２及び受光部１３を制御する。また、システム制御部１１は、レンズ駆動部８を制御して撮影レンズ１に含まれるフォーカスレンズの位置を調整したり、撮影レンズ１に含まれるズームレンズの位置の調整を行ったりする。更に、システム制御部１１は、絞り駆動部９を介して絞り２の開口量を制御することにより、露光量の調整を行う。

また、システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子５を駆動し、撮影レンズ１を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。

デジタルカメラの電気制御系は、更に、固体撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、このアナログ信号処理部６から出力されるＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備える。アナログ信号処理部６及びＡ／Ｄ変換回路７は、システム制御部１１によって制御される。

更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、固体撮像素子５によって撮像して得られる撮像画像信号に対し、各種画像処理を行って撮影画像データを生成するデジタル信号処理部１７と、デジタル信号処理部１７で生成された撮影画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部１８と、固体撮像素子５の焦点検出用画素セルから出力される対の焦点検出信号の位相差に基づいて撮影レンズ１のデフォーカス量を算出する焦点検出部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された表示部２３が接続される表示制御部２２とを備えている。メモリ制御部１５、デジタル信号処理部１７、圧縮伸張処理部１８、焦点検出部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

図２は、図１に示すデジタルカメラに搭載される固体撮像素子５の概略構成を示す平面模式図である。図２は、被写体側から固体撮像素子５を見たときの図である。固体撮像素子５は、画素セルが二次元状に配置される撮像領域の全面又は一部に、焦点検出用画素セルが散在して設けられている。図２では、撮像領域のうちの、焦点検出用画素セルが設けられている部分を拡大した図を示している。

固体撮像素子５は、行方向Ｘ及びこれに直交する列方向Ｙに二次元状（図２の例では正方格子状）に配列された多数の画素セル（図中の各正方形）を備えている。多数の画素セルは、行方向Ｘに一定ピッチで並ぶ複数の画素セルからなる画素セル行を、列方向Ｙに一定のピッチで並べた配置となっている。多数の画素セルは、撮像用画素セル３０と焦点検出用画素セル３１Ｌと焦点検出用画素セル３１Ｒとを含んでいる。各画素セルは光を受光して電荷に変換する光電変換部を含む。

撮像用画素セル３０は、図１に示す撮影レンズ１の異なる瞳領域を通過した一対の光（例えば撮影レンズ１の主軸に対して左側を通過した光と右側を通過した光）の双方を受光する画素セルである。

焦点検出用画素セル３１Ｌは、上記一対の光の一方を受光する画素セルであり、撮像用画素セル３０と比較すると、光電変換部の開口（ハッチングを付していない領域）が左側に偏心した構成となっている。

焦点検出用画素セル３１Ｒは、上記一対の光の他方を受光する画素セルであり、撮像用画素セル３０と比較すると、光電変換部の開口（ハッチングを付していない領域）が右側に偏心した構成となっている。

なお、焦点検出用画素セルの構成は上述したものに限らず、よく知られている構成を採用することができる。また、ここでは、焦点検出用画素セル３１Ｒ及び焦点検出用画素セル３１Ｌによって、行方向Ｘに位相差を持つ一対の像信号を検出するものとしたが、遮光膜開口の偏心方向を列方向Ｙにして、列方向Ｙに位相差を持つ一対の像信号を検出するようにしてもよい。

各画素セルに含まれる光電変換部の上方にはカラーフィルタが搭載されており、このカラーフィルタの配列が固体撮像素子５を構成する多数の画素セル全体でベイヤー配列となっている。

図２では、赤色（Ｒ）光を透過するカラーフィルタが搭載される画素セルに“Ｒ”を記している。また、緑色（Ｇ）光を透過するカラーフィルタが搭載される画素セルにＧ”を記している。更に、青色（Ｂ）光を透過するカラーフィルタが搭載される画素セルに“Ｂ”を記している。図２の例では、固体撮像素子５がカラーフィルタを搭載しているが、カラーフィルタを搭載していないものであってもよい。

各画素セルに含まれる光電変換部の上方（カラーフィルタを設ける場合はそれよりも上方）には、この光電変換部に光を集光するためのマイクロレンズが設けられる。

このマイクロレンズは、固体撮像素子５全体において撮像用画素セル同士又は焦点検出用画素セル同士の感度を揃えるために、配置位置のスケーリングが行われている。

配置位置のスケーリングとは、斜め方向から入射する光を効率よく集光するために、各画素セルに含まれるマイクロレンズの中心位置が、固体撮像素子５の中心から端部にむかうほど、画素セルの中心位置に対して固体撮像素子５の中心側にずれており、そのずれ量が固体撮像素子５の中心から端部に向かうほど大きくなっていることを言う。

焦点検出用画素セル３１Ｌは、図２の上から３番目と９番目の画素セル行において、緑色（Ｇ）光を透過するカラーフィルタが搭載された画素セルの位置に３画素セルおきに配置されている。

焦点差検出用画素セル３１Ｒは、図２の上から４番目と１０番目の画素セル行において、緑色（Ｇ）光を透過するカラーフィルタが搭載された画素セルの位置に３画素セルおきに配置されている。

斜め方向に隣接する焦点検出用画素セル３１Ｌと焦点検出用画素セル３１Ｒはペアを構成しており、固体撮像素子５には、このペアが複数設けられた構成となっている。

図１に示す焦点検出部１９は、焦点検出用画素セル３１Ｌ及び焦点検出用画素セル３１Ｒから読み出される信号群を用いて、撮影レンズ１の焦点調節状態、ここでは合焦状態から離れている量とその方向、すなわちデフォーカス量を算出する。

図１に示すシステム制御部１１は、焦点検出部１９によって算出されたデフォーカス量に基づいて、撮像レンズ１に含まれるフォーカスレンズの位置を制御して焦点調節を行う。

焦点調節が行われた状態で撮影指示がなされると、システム制御部１１は、固体撮像素子５により撮像を行わせ、この撮像によって固体撮像素子５から出力される撮像画像信号（各画素セルから出力される出力信号の集合）がデジタル信号処理部１７に取り込まれる。そして、デジタル信号処理部１７は、この撮像画像信号に含まれる焦点検出用画素セルの出力信号を補正し、補正後の撮像画像信号を処理して、撮像画像データを生成する。

デジタル信号処理部１７は、焦点検出用画素セルに対し、この焦点検出用画素セルの周囲にある撮像用画素セルの出力信号を用いた信号補間により、この焦点検出用画素セルの出力信号を補正する補間補正処理と、焦点検出用画素セルの出力信号にゲインを乗じてこれを増幅することで、この焦点検出用画素セルの出力信号を補正するゲイン補正処理とのいずれかを行う。

図３は、図２に示す固体撮像素子５において焦点検出用画素セル３１Ｌを中心とする５×５個の画素セルを抽出した図である。

デジタル信号処理部１７は、図３に示す焦点検出用画素セル３１Ｌを補間補正処理によって補正する場合は、例えば、この焦点検出用画素セル３１Ｌの周囲にある焦点検出用画素セル３１Ｌと同色光を検出する○で囲った撮像用画素セル３０の出力信号を平均して得られる出力信号を、この焦点検出用画素セル３１Ｌの出力信号と置換する。

また、デジタル信号処理部１７は、図３に示す焦点検出用画素セル３１Ｌをゲイン補正処理によって補正する場合は、例えば、この焦点検出用画素セル３１Ｌの周囲にある焦点検出用画素セル３１Ｌと同色光を検出する○で囲った撮像用画素セル３０の出力信号の平均値に、この焦点検出用画素セル３１Ｌの出力信号を近づけるためのゲインを求め、この焦点検出用画素セル３１Ｌの出力信号に当該ゲインを乗じる。

デジタル信号処理部１７は、撮像画像信号において、ゴーストやフレア等の画像にとっては不要（ノイズ）となる光の影響を受けている領域があるか否かを、その撮像画像信号を用いて判定する。そして、デジタル信号処理部１７は、この判定結果に基づいて、焦点検出用画素セルに対して行う補正処理を、補間補正処理とゲイン補正処理のいずれかに決定する。

図４は、図１に示す固体撮像素子５の全体構成を示す平面模式図である。図２に示した焦点検出用画素セルは、固体撮像素子５の中央にある領域Ａに離散的に設けられている。領域Ａ以外の領域には、撮像用画素セル３０のみが配置されている。

図４の例では、領域Ａを６×６のブロックに分割している。図４においては、領域Ａを、６つの列（左から順に３Ｌ、２Ｌ、１Ｌ、１Ｒ、２Ｒ、３Ｒ）と、６つの行（上から順に３Ｕ、２Ｕ、１Ｕ、１Ｂ、２Ｂ、３Ｂ）とに分けており、各行と各列が交差する位置に１つのブロックが存在している。

デジタル信号処理部１７は、撮像画像信号を用いて、それに含まれる焦点検出用画素セルの出力信号をゲイン補正処理によって補正する際に用いるゲイン値を算出する。

例えば、デジタル信号処理部１７は、図４の任意のブロックにある撮像用画素セル３０の出力信号の平均値ＡｖＳと、当該ブロックにある焦点検出用画素セル３１Ｌの出力信号の平均値ＡｖＬを算出し、ＡｖＳ／ＡｖＬを、当該ブロックにある焦点検出用画素セル３１Ｌに対応するゲイン値として算出する。

同様に、デジタル信号処理部１７は、図４の任意のブロックにある撮像用画素セル３０の出力信号の平均値ＡｖＳと、当該ブロックにある焦点検出用画素セル３１Ｒの出力信号の平均値ＡｖＲを算出し、ＡｖＳ／ＡｖＲを、当該ブロックにある焦点検出用画素セル３１Ｒに対応するゲイン値として算出する。

この演算により、ゲイン値（ＡｖＳ／ＡｖＬ）及びゲイン値（ＡｖＳ／ＡｖＲ）が各ブロックに対応付けられたゲインテーブルが生成される。

図５及び図６は、図４に示す３６個のブロックにある焦点検出用画素セル３１Ｒに対応するゲイン値の一例を示す図である。

図５は、撮像画像信号がゴースト又はフレアの少なくとも一方の影響を受けていないときのゲインテーブルの例である。図６は、撮像画像信号がゴーストの影響を受けているときのゲインテーブルの例である。図６では、図４の列３Ｌと列２Ｌと列３Ｒにおいてゴーストの原因光が入射している場合の撮像画像信号から求めたゲインテーブルを示している。

図５に示すように、撮像時にゴースト又はフレアの少なくとも一方が発生していない場合は、同一行にある６つのブロックに対応するゲイン値を結ぶ線は、右肩上がりの略直線形状となる。また、同一列にある６つのブロックに対応するゲイン値の幅（最小値と最大値の差）は小さくなっている。なお、このように、ゲイン値を結ぶ線が右肩上がりの形状となるのは、次のような理由からである。

位相差検出用画素３１Ｒは、開口が図２において右側に偏心している。このため、図７に示すように、固体撮像素子５の左側端部にある位相差検出用画素３１Ｒの開口には、撮影レンズ１の左側を通ってきた光は半分入り、撮影レンズ１の右側を通ってきた光は入らない。一方、固体撮像素子５の右側端部にある位相差検出用画素３１Ｒの開口には、撮影レンズ１の右側を通ってきた光は半分入り、撮影レンズ１の左側を通ってきた光は全て入る。また、固体撮像素子５の中心部にある位相差検出用画素３１Ｒの開口には、撮影レンズ１の左側を通ってきた光だけが入り、撮影レンズ１の右側を通ってきた光は入らない。

このように、位相差検出用画素３１Ｒの感度は、固体撮像素子５の左端部から右端部に向かうほど高くなっている。このため、ゲイン値についても、列３Ｌから列３Ｒに向かうにしたがって大きくなる。

図６に示すように、撮像時にゴーストが発生している場合は、同一行にある６つのブロックに対応するゲイン値を結ぶ線は、略下凸形状の曲線となり、領域Ａにおける端部の列（３Ｌ、３Ｒ）では、同一列にある６つのブロックに対応するゲイン値の幅が大きくなっている。

このように、ゴースト又はフレアの少なくとも一方の有無によって、生成されるゲインテーブルは変化する。このことを利用して、デジタル信号処理部１７は、生成したゲインテーブルを用いてゴースト又はフレアの少なくとも一方の有無を判定している。

以下では、ゲインテーブルを用いたゴースト又はフレアの少なくとも一方の有無の判定方法の具体例について説明する。

図８は、図５に示すゲインテーブルから生成される隣接ゲイン値差テーブルを示す図である。図９は、図６に示すゲインテーブルから生成される隣接ゲイン値差テーブルを示す図である。

隣接ゲイン値差テーブルは、任意のブロックに対応するゲイン値と、そのブロックに対して焦点検出用画素セル３１Ｒ，３１Ｌにより検出される一対の像信号のずれる方向（固体撮像素子５の場合は行方向Ｘにおいて右方向）に隣接するブロックに対応するゲイン値との差分を算出して得られるものである。

図８，９において、“＊＊−＃＃”の表記は、列＊＊とそれに対して右方向に隣接する列＃＃のそれぞれの同一行にあるブロックのゲイン値の差（列＃＃のブロックのゲイン値から列＊＊のブロックのゲイン値を減算した値）を示している。

図８，９に示した隣接ゲイン値差テーブルにおける各数値は、領域Ａにおけるゲイン値の変動の度合いを示すものとなる。ゴースト又はフレアの少なくとも一方が発生していない場合は、図５に示すように、この変動の度合いは小さくなり、ゴーストが発生している場合は、図６に示すように、この変動の度合いは大きくなる。このことを利用して、デジタル信号処理部１７は、まず、隣接ゲイン値差テーブルにおける各数値のうちの最大値と最小値の差を算出する。

図８に示す隣接ゲイン値差テーブルにおける各数値のうちの最大値は２２であり、最小値は７であるため、双方の差は１５となる。

図９に示す隣接ゲイン値差テーブルにおける各数値のうちの最大値は２４５であり、最小値は−６７であるため、双方の差は３１２となる。

隣接ゲイン値差テーブルにおける各数値のうちの最大値と最小値の差の閾値を例えば２０に設定しておけば、図５に示すゲインテーブルの生成元となる撮像画像信号はゴースト又はフレアの少なくとも一方の影響を受けている領域がないと判定され、図６に示すゲインテーブルの生成元となる撮像画像信号はゴースト又はフレアの少なくとも一方の影響を受けている領域があると判定される。

ゴースト又はフレアの少なくとも一方が発生していないときの、隣接ゲイン値差テーブルにおける各数値のうちの最大値と最小値の差と、ゴースト又はフレアの少なくとも一方が発生しているときの、隣接ゲイン値差テーブルにおける各数値のうちの最大値と最小値の差は、予め実験的に求めておくことができるため、この実験結果により、上記閾値をデジタルカメラ毎に適当な値に決めておくことができる。

なお、ゴースト又はフレアの少なくとも一方が発生していると、同一列における６つのブロックのゲイン値の最大値と最小値の差がゴースト又はフレアの少なくとも一方が発生していないときと比べて大きくなる特性を利用し、デジタル信号処理部１７は次のようにゴースト又はフレアの少なくとも一方の発生有無を判定してもよい。

つまり、デジタル信号処理部１７は、図５又は図６に示すゲインテーブルにおいて、同一列における数値のうちの最大値と最小値の差が、予め決められた値を超える列がある場合は、そのゲインテーブルの生成元となる撮像画像信号にはゴースト又はフレアの少なくとも一方の影響を受けている領域があると判定する。また、デジタル信号処理部１７は、同一列における数値のうちの最大値と最小値の差が、予め決められた値を超える列がない場合は、そのゲインテーブルの生成元となる撮像画像信号にはゴースト又はフレアの少なくとも一方の影響を受けている領域がないと判定する。

この判定方法によれば、演算量を減らすことができるため、低消費電力化、補正処理の高速化が可能になる。

また、隣接ゲイン値差テーブルにおける各数値のうちの最大値と最小値の差に基づくゴースト又はフレアの少なくとも一方の有無の判定方法と、ゲインテーブルにおける同一列の最大値と最小値の差に基づくゴースト又はフレアの少なくとも一方の有無の判定方法とをそれぞれ行い、２つの判定の両方においてゴースト又はフレアの少なくとも一方の影響を受けている領域があると判定したことをもって、撮像画像信号においてゴースト又はフレアの少なくとも一方による影響を受けている領域があると最終的に判定してもよい。このように、２つの判定方法を組み合わせることで、ゴースト又はフレアの少なくとも一方の有無の判定精度を向上させることができる。

図１０は、図１に示すデジタルカメラにおける固体撮像素子５から出力された撮像画像信号に含まれる全ての焦点検出用画素セルの出力信号を補正するときの動作を説明するためのフローチャートである。

固体撮像素子５により撮像が行われて、撮像画像信号がメインメモリ１６に記憶されると、デジタル信号処理部１７は、この撮像画像信号を用いて上述したゲインテーブルを算出し、このゲインテーブルを用いて、撮像画像信号においてゴースト又はフレアの少なくとも一方の影響を受けている領域の有無を判定する（ステップＳ１）。

撮像画像信号においてゴースト又はフレアの少なくとも一方の影響を受けている領域があると判定した場合（ステップＳ１：ＹＥＳ）、デジタル信号処理部１７は、固体撮像素子５から出力された撮像画像信号に含まれる全ての焦点検出用画素セルの出力信号を、補間補正処理によって補正し（ステップＳ７）、補正処理を終了する。

撮像画像信号においてゴースト又はフレアの少なくとも一方の影響を受けている領域がないと判定した場合（ステップＳ１：ＮＯ）、デジタル信号処理部１７は、補正を行う対象の焦点検出用画素セルの番号ｎ（初期値は０）をｎ＋１に更新する（ステップＳ２）。

次に、デジタル信号処理部１７は、補正を行う対象の焦点検出用画素セルの出力信号について、補間補正処理を行ったときの補正精度とゲイン補正処理を行ったときの補正精度のどちらが高いかを判定する（ステップＳ３）。

例えば、デジタル信号処理部１７は、補正を行う対象の焦点検出用画素セルの周辺にある撮像用画素セルの出力信号を用いて、焦点検出用画素セルの周囲に被写体のエッジや高周波模様があるか否か判定する。

そして、デジタル信号処理部１７は、エッジや高周波模様があると判定した場合には、ゲイン補正処理の方が補正精度が高いと判定し、エッジや高周波模様がないと判定した場合には、補間補正処理の方が補正精度が高いと判定する。

又は、デジタル信号処理部１７は、補正を行う対象の焦点検出用画素セルに対応するゲインテーブル上のゲイン値が予め決められた値よりも大きい場合には、ゲイン補正処理を行うとノイズが大きくなるため、補間補正処理の方が補正精度が高いと判定する。なお、補正精度の判定は、良く知られている方法を用いることができる。

デジタル信号処理部１７は、ゲイン補正処理を行ったときの補正精度の方が高いと判定した場合（ステップＳ３：ＮＯ）、ステップＳ１の判定の際に生成したゲインテーブルに基づき、補正を行う対象の焦点検出用画素セルの出力信号をゲイン補正処理によって補正する（ステップＳ４）。

一方、デジタル信号処理部１７は、補間補正処理を行ったときの補正精度の方が高いと判定した場合（ステップＳ３：ＹＥＳ）、補正を行う対象の焦点検出用画素セルの出力信号を補間補正処理によって補正する（ステップＳ５）。

ステップＳ４、ステップＳ５の後、デジタル信号処理部１７は、補正を行う対象の焦点検出用画素セルの番号ｎが、撮像画像信号に含まれる焦点検出用画素セルの出力信号の総数ｋに達していれば（ステップＳ６：ＹＥＳ）処理を終了し、達していなければ（ステップＳ６：ＮＯ）、ステップＳ２に処理を戻す。

以上のように、図１に示すデジタルカメラは、撮像画像信号においてゴースト又はフレアの少なくとも一方の影響を受けている領域の有無を判定し、ゴースト又はフレアの少なくとも一方の影響を受けている領域が有ると判定した場合には、全ての焦点検出用画素セルの出力信号を補間補正処理によって補正し、ゴースト又はフレアの少なくとも一方の影響を受けている領域が無いと判定した場合には、各焦点検出用画素セルの出力信号を補正精度が相対的に高い補正処理によって補正する。

このように、ゴースト又はフレアの少なくとも一方が発生しているときには、各焦点検出用画素セルの出力信号が補間補正処理によって補正されるため、補正後の撮像画像信号において、ゴースト又はフレアの少なくとも一方の影響を受けている領域とゴースト又はフレアの少なくとも一方の影響を受けていない領域とで画質が大きく変化するのを防ぐことができ、撮像画質を向上させることができる。

なお、図１０のフローチャートにおいて、ステップＳ２〜ステップＳ６の処理は省略し、ステップＳ１：ＮＯのときに、デジタル信号処理部１７が、全ての焦点検出用画素セルに対して補間補正処理又はゲイン補正処理を行うようにしてもよい。

例えば、デジタル信号処理部１７は、ゲインテーブルにおいて、これ以上になると補正後のノイズが多くなり画質が劣化してしまう値である閾値を超えるゲイン値の数が予め決められた数を超える場合は、全ての焦点検出用画素セルに対して補間補正処理を行う。閾値を超えるゲイン値の数が予め決められた数以下の場合、デジタル信号処理部１７は、全ての焦点検出用画素セルに対してゲイン補正処理を行う。つまり、デジタル信号処理部１７は、撮像画像信号全体として補正による補正誤差が少なくなる補正処理を選択して実行する。

このように、ゴースト又はフレアの少なくとも一方が発生していないときには、補間補正処理とゲイン補正処理のうちの画質向上に最適な補正処理を選択して実行することができるため、ゴースト又はフレアの少なくとも一方が発生していないときの画質向上も図ることができる。

なお、ゴースト又はフレアの少なくとも一方の影響を受けている領域の有無の判定方法は上述したものに限らない。例えば特許文献２、３に記載された方法を採用してもよい。また、以下に記載する方法により判定してもよい。

（ゴースト又はフレアの少なくとも一方の影響を受けている領域の有無の判定方法の変形例）
この変形例では、ゴースト又はフレアの少なくとも一方の発生しない条件において基準画像を固体撮像素子５により撮像して得られる基準撮像画像信号を用いて算出された上記各ブロックに対するゲイン値である基準ブロックゲイン値がメインメモリ１６に予め記憶される。

そして、デジタル信号処理部１７は、基準ブロックゲイン値と、被写体を固体撮像素子５により撮像して得られる撮像画像信号を用いて算出した上記各ブロックに対するゲイン値である撮像ブロックゲイン値との差分である基準−撮像ゲイン値差を算出する。

更に、デジタル信号処理部１７は、焦点検出用画素セルのペアにより検出される像信号のずれ方向において隣接する２つのブロックについて算出した基準−撮像ゲイン値差の差分を算出し、この差分の最大値と最小値の差が予め決められた値を超える場合に、撮像画像信号においてゴースト又はフレアの少なくとも一方の影響を受けている領域があると判定する。

図１１は、図４に示した領域Ａの任意の行にある６つのブロックに対してゲイン値を算出した結果を示す図である。図１１には、基準画像（例えば、灰色一色の画像、白一色の画像、位相差画素の検出色と同じ色一色の画像等の単色のベタ画像）を固体撮像素子５により撮像して得られる基準撮像画像信号を用いて算出したゲイン値（基準画像のゲイン）と、被写体を固体撮像素子５により撮像して得られる撮像画像信号を用いて算出したゲイン値（撮像画像のゲイン）とを示している。

図１２のＦＩＧ１２Ａは、図１１に示した撮像画像のゲインを示すテーブルであり、図１２のＦＩＧ１２Ｂは、図１１に示した基準画像のゲインを示すテーブルである。また、図１２のＦＩＧ１２Ｃは、ＦＩＧ１２Ａに示す各ブロックのゲイン値からＦＩＧ１２Ｂに示す当該各ブロックのゲイン値を減算した値（基準−撮像ゲイン値差）を示す図である。

図１２において、ＦＩＧ１２Ｂに示したテーブルはメインメモリ１６に予め記憶されている。

デジタル信号処理部１７は、ＦＩＧ１２ＡのデータとＦＩＧ１２Ｂのデータから、ＦＩＧ１２Ｃのデータを算出する。そして、デジタル信号処理部１７は、任意のブロックに対応する基準−撮像ゲイン値差と、そのブロックに対して焦点検出用画素セル３１Ｒ，３１Ｌにより検出される一対の像信号のずれ方向（固体撮像素子５の場合は行方向Ｘにおいて右方向）に隣接するブロックの基準−撮像ゲイン値差との差分を算出して、ＦＩＧ１２Ｄに示すテーブルを生成する。

図１２のＦＩＧ１２Ｄにおいて、“＊＊−＃＃”の表記は、列＊＊とそれに対して右方向に隣接する列＃＃のそれぞれの同一行にあるブロックの基準−撮像ゲイン値差の差（列＃＃のブロックの基準−撮像ゲイン値差から列＊＊のブロックの基準−撮像ゲイン値差を減算した値）を示している。

デジタル信号処理部１７は、ＦＩＧ１２Ｄに示すデータを、図４に示した各行について生成し、生成したデータにおける最大値と最小値の差を算出する。そして、デジタル信号処理部１７は、この差が予め決められた閾値を超える場合に、ゴースト又はフレアの少なくとも一方による影響を受けている領域があると判定し、この差が予め決められた値以下の場合に、ゴースト又はフレアの少なくとも一方による影響を受けている領域がないと判定する。

このように、基準画像に対するゲインテーブルと、撮像画像に対するゲインテーブルの各ゲイン値の差の変動によって、ゴースト又はフレアの少なくとも一方による影響を受けている領域の有無を判定することで、ゴースト又はフレアの少なくとも一方による影響を受けている領域の判定に用いる閾値を、全ての固体撮像素子５で一律の値に設定することができ、デジタルカメラの製造コストを削減することができる。

ここまでは、撮像画像信号においてゴースト又はフレアの少なくとも一方による影響を受けている領域があるかないかを判定し、ゴースト又はフレアの少なくとも一方による影響を受けている領域が有ると判定した場合には、全ての焦点検出用画素セルに対して補間補正処理を実行するものとした。

しかし、撮像画像信号において、ゴースト又はフレアの少なくとも一方による影響を受けている領域の位置を判定できる場合には、ゴースト又はフレアの少なくとも一方による影響を受けている領域に対してのみ補間補正処理を行い、それ以外の領域に対しては、補正精度の高い補正処理を行うことで、撮像画質をより向上させることができる。

撮像画像信号において、ゴースト又はフレアの少なくとも一方による影響を受けている領域の位置は、次のようにして判定する。

（第一の判定例）
デジタル信号処理部１７は、固体撮像素子５により被写体を撮像してえられる撮像画像信号を用いて生成したゲインテーブルにおいて、任意のブロックのゲイン値と、焦点検出用画素セルのペアによって検出される２つの像信号のずれ方向に直交する方向（図４の列方向Ｙ）においてその任意のブロックに隣接するブロックのゲイン値との差の平均値を算出する。そして、この平均値が予め決められた値を超えるブロックにある焦点検出用画素セルの出力信号を、ゴースト又はフレアの少なくとも一方の影響がある領域として判定する。

例えば、固体撮像素子５により被写体を撮像してえられる撮像画像信号を用いて生成したゲインテーブルが図１３のＦＩＧ１３Ａに示すものである場合を考える。この場合、デジタル信号処理部１７は、各ブロックのゲイン値と、そのブロックの上下（端の行にあるブロックについては上又は下）に隣接するブロックのゲイン値との差を算出し、その差の平均値を算出する。

具体的には、行１Ｕと列２Ｌの交点にあるブロックのゲイン値は８００であり、その上下にあるブロックのゲイン値はそれぞれ４５０である。このため、デジタル信号処理部１７は、｛（８００−４５０）＋（８００−４５０）｝／２の演算により求まる値３５０を、当該ブロックにおける値とする。このような演算を各ブロックについて行った結果を図１３のＦＩＧ１３Ｂに示している。

図５と図６を比較して分かるように、ゴースト又はフレアの少なくとも一方が発生していると、列方向Ｙにおいて隣接するブロック間のゲイン値の差が大きくなる。このため、デジタル信号処理部１７は、ＦＩＧ１３Ｂに示すデータに対して閾値を設定し、この閾値以上のブロックについては、ゴースト又はフレアの少なくとも一方の影響を受けていると判定し、この閾値未満のブロックについては、ゴースト又はフレアの少なくとも一方の影響を受けていないと判定することができる。

例えば、ＦＩＧ１３Ｂにおいて閾値を１００に設定すると、ハッチングを付したブロックが、ゴースト又はフレアの少なくとも一方の影響を受けているブロックと判定される。

（第二の判定例）
ゴースト又はフレアの少なくとも一方が発生しない条件で基準画像を撮像して得られる基準撮像画像信号を用いてゲインテーブルを生成し、これをメインメモリ１６に記憶しておく。デジタル信号処理部１７は、撮像画像信号を用いて生成したＦＩＧ１４Ａに示すゲインテーブルの各ブロックのゲイン値から、基準撮像画像信号を用いて生成したＦＩＧ１４Ｂに示すゲインテーブルの当該各ブロックのゲイン値を減算して、ＦＩＧ１４Ｃに示すテーブルを生成する。

ゴースト又はフレアの少なくとも一方の影響を受けているブロックについては、基準撮像画像信号を用いて生成したゲイン値と撮像画像信号を用いて生成したゲイン値との差が大きくなる。このため、デジタル信号処理部１７は、ＦＩＧ１４Ｃに示すテーブルにおいて、予め決められた閾値以上のゲイン値となるブロックについてはゴースト又はフレアの少なくとも一方の影響を受けていると判定し、当該閾値未満となるブロックについては、ゴースト又はフレアの少なくとも一方の影響を受けていないと判定する。

例えば、ＦＩＧ１４Ｃにおいて閾値を１００に設定すると、ハッチングを付したブロックが、ゴースト又はフレアの少なくとも一方の影響を受けているブロックと判定される。

この第一の判定例と第二の判定例により、撮像画像信号においてゴースト又はフレアの少なくとも一方による影響を受けている領域の有無と、その領域の位置を判定することができる。

デジタル信号処理部１７は、第一の判定例又は第二の判定例により、撮像画像信号においてゴースト又はフレアの少なくとも一方による影響を受けている領域の有無を判定し、ゴースト又はフレアの少なくとも一方による影響を受けている領域が有ると判定した場合は、その領域に含まれる焦点検出用画素セルの出力信号を、補間補正処理によって補正し、それ以外の領域に含まれる焦点検出用画素セルの出力信号は、補正精度の高い方の補正処理を行って補正する。また、デジタル信号処理部１７は、ゴースト又はフレアの少なくとも一方による影響を受けている領域が無いと判定した場合は、図１０のステップＳ２以降の処理を行う。

このようにすることで、補正後の撮像画像信号において、ゴースト又はフレアの少なくとも一方の影響を受けている領域と、その他の領域とで画質が大きく変わってしまうのを防ぐことができ、撮像画質を向上させることができる。

次に、撮像装置としてスマートフォンの構成について説明する。

図１５は、本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。図１５に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

図１６は、図１５に示すスマートフォン２００の構成を示すブロック図である。図１５に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。

表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。

操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。

図１５に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。

係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０１の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２１１は、スピーカ２０５やマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。また、図１５に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

操作部２０７は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１５に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２１２は、主制御部２２０の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達することや、スマートフォン２００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０や外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２１５は、例えば、３軸の加速度センサなどを備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向や加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２２０は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

更に、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２０８は、図１に示したデジタルカメラにおける外部メモリ制御部２０、記録媒体２１、表示制御部２２、表示部２３、及び操作部１４以外の構成を含む。カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることができる。図１５に示すにスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。

また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示することや、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用することができる。また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。更には、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等などを付加して記録部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることもできる。

以上のような構成のスマートフォン２００においても、デジタル信号処理部１７が上述した信号補正処理を行うことで、高品質の撮影が可能になる。

以上説明してきたように、本明細書には以下の事項が開示されている。

開示された撮像装置は、撮像用の複数の第一画素セルと、撮影レンズの異なる瞳領域を通過した光を受光する複数種類の焦点検出用の第二画素セルからなる複数のペアとを含む撮像素子を有する撮像装置であって、上記撮像素子によって撮像して得られる撮像画像信号を用いて、上記撮像画像信号がフレア又はゴーストの少なくとも一方の影響を受けているか否かを判定する判定部と、上記撮像画像信号に含まれる上記第二画素セルの出力信号に対し、その第二画素セルの出力信号を上記撮像画像信号に含まれる上記第二画素セルの周囲にある複数の上記第一画素セルの出力信号を用いた信号補間により補正する補間補正処理と、その第二画素セルの出力信号をその出力信号にゲイン値を乗じて補正するゲイン補正処理とのいずれかを行う補正処理部と、上記補正処理部による補正処理後の撮像画像信号を処理して撮像画像データを生成する画像データ生成部と、を備え、上記補正処理部は、上記判定部による判定結果に基づいて、上記第二画素セルの出力信号に対して、上記補間補正処理と上記ゲイン補正処理のどちらを実行するかを決定するものである。

開示された撮像装置は、上記補正処理部は、上記フレア又はゴーストの少なくとも一方の影響を受けていないと判定された場合には、上記第二画素セルの出力信号に対して上記補間補正処理と上記ゲイン補正処理のうちのいずれかを行い、上記フレア又はゴーストの少なくとも一方の影響を受けていると判定された場合には、上記第二画素セルの出力信号に対して上記補間補正処理を行うものである。

開示された撮像装置は、上記判定部は、上記撮像画像信号における上記フレア又はゴーストの少なくとも一方の影響を受けている領域を、上記撮像画像信号を用いて判定し、上記補正処理部は、上記撮像画像信号においてフレア又はゴーストの少なくとも一方の影響を受けている領域に含まれる上記第二画素セルの出力信号については上記補間補正処理を行い、上記撮像画像信号においてフレア又はゴーストの少なくとも一方の影響を受けていない領域に含まれる上記第二画素セルの出力信号については、上記補間補正処理と上記ゲイン補正処理のいずれかを行うものである。

開示された撮像装置は、上記判定部は、上記第二画素セルが配置される領域を複数ブロックに分割し、各ブロックにおいてそのブロック内にある上記第二画素セルの出力信号を上記ゲイン補正処理により補正するために必要なゲイン値である撮像ブロックゲイン値を、上記撮像画像信号を用いて算出し、上記撮像ブロックゲイン値を用いて、上記フレア又はゴーストの少なくとも一方の影響を受けているか否かを判定するものである。

開示された撮像装置は、上記判定部は、上記第二画素セルによって検出される２つの像信号のずれる方向において隣接する２つの上記ブロックについて算出された上記撮像ブロックゲイン値の差分である隣接ブロックゲイン値差の最大値と最小値の差が予め決められた値を超える場合に、フレア又はゴーストの少なくとも一方の影響を受けていると判定するものである。

開示された撮像装置は、フレア又はゴーストの少なくとも一方が発生しない条件で基準画像を上記撮像素子により撮像して得られる基準撮像画像信号を用いて算出された上記各ブロックに対するゲイン値である基準ブロックゲイン値が予め記憶される記憶部を備え、上記判定部は、上記基準ブロックゲイン値と上記撮像ブロックゲイン値との差分である基準ブロックゲイン値差を算出し、上記第二画素セルによって検出される２つの像信号のずれ方向において隣接する２つの上記ブロックについて算出された上記基準ブロックゲイン値差の差分の最大値と最小値の差が予め決められた値を超える場合に、フレア又はゴーストの少なくとも一方の影響を受けていると判定するものである。

開示された撮像装置は、上記判定部は、上記第二画素セルが配置される領域を複数ブロックに分割し、各ブロックにおいてそのブロック内にある上記第二画素セルの出力信号を上記ゲイン補正処理により補正するために必要なゲイン値である撮像ブロックゲイン値を、上記撮像画像信号を用いて算出し、その撮像ブロックゲイン値を用いてフレア又はゴーストの少なくとも一方の影響を受けている領域を判定するものである。

開示された撮像装置は、上記判定部は、各ブロックについて、上記第二画素セルによって検出される２つの像信号のずれ方向に直交する方向に隣接するブロックとの上記撮像ブロックゲイン値の差の平均値を算出し、その平均値が予め決められた値を超えるブロックに対応する信号を、フレア又はゴーストの少なくとも一方の影響を受けている領域として判定するものである。

開示された撮像装置は、フレア又はゴーストの少なくとも一方が発生しない条件で基準画像を上記撮像素子により撮像して得られる基準撮像画像信号を用いて算出された上記各ブロックに対するゲイン値である基準ブロックゲイン値が予め記憶される記憶部を備え、上記判定部は、上記基準ブロックゲイン値と上記撮像ブロックゲイン値との差が予め決められた値を超えるブロックに対応する信号を、フレア又はゴーストの少なくとも一方の影響を受けている領域として判定するものである。

開示された信号補正方法は、二次元状に配置された、撮像用の複数の第一画素セル及び撮像レンズの異なる瞳領域を通過した光を受光する複数種類の焦点検出用の第二画素セルからなる複数のペアを含む撮像素子から出力される撮像画像信号を補正する信号補正方法であって、上記撮像素子によって撮像して得られる撮像画像信号を用いて、上記撮像画像信号がフレア又はゴーストの少なくとも一方の影響を受けているか否かを判定する判定ステップと、上記撮像画像信号に含まれる上記第二画素セルの出力信号に対し、その出力信号を、上記撮像画像信号に含まれる、上記第二画素セルの周囲にある複数の上記第一画素セルの出力信号を用いた信号補間により補正する補間補正処理と、その出力信号にゲイン値を乗じて増幅することで補正するゲイン補正処理とのいずれかを行う補正処理ステップと、上記補正処理ステップによる補正処理後の上記撮像画像信号を処理して撮像画像データを生成する画像データ生成ステップと、を備え、上記補正処理ステップでは、上記判定ステップの判定結果に基づいて、上記第二画素セルの出力信号に対して、上記補間補正処理と上記ゲイン補正処理のどちらを実行するかを決定するものである。

本発明によれば、焦点検出用の画素セルと撮像用の画素セルを含む撮像素子により撮像して得られる撮像画像の品質を、ゴーストやフレアが生じている場合でも低下させることのない撮像装置及び信号補正方法を提供することができる。

本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、２０１２年５月１０日出願の日本特許出願（特願２０１２−１０８５５９）と、２０１２年１１月１５日出願の日本特許出願（特願２０１２−２５１５６５）とに基づくものであり、その内容はここに参照として取り込まれる。

５ 固体撮像素子
３０ 撮像用画素セル
３１Ｒ，３１Ｌ 焦点検出用画素セル
１７ デジタル信号処理部

Claims (10)

1. 撮像用の複数の第一画素セルと、撮影レンズの異なる瞳領域を通過した光を受光する複数種類の焦点検出用の第二画素セルからなる複数のペアとを含む撮像素子を有する撮像装置であって、
   前記撮像素子によって撮像して得られる撮像画像信号を用いて、前記撮像画像信号がフレア又はゴーストの少なくとも一方の影響を受けているか否かを判定する判定部と、
   前記撮像画像信号に含まれる前記第二画素セルの出力信号に対し、当該第二画素セルの出力信号を前記撮像画像信号に含まれる前記第二画素セルの周囲にある複数の前記第一画素セルの出力信号を用いた信号補間により補正する補間補正処理と、当該第二画素セルの出力信号を当該出力信号にゲイン値を乗じて補正するゲイン補正処理とのいずれかを行う補正処理部と、
   前記補正処理部による補正処理後の撮像画像信号を処理して撮像画像データを生成する画像データ生成部と、を備え、
   前記補正処理部は、前記判定部による判定結果に基づいて、前記第二画素セルの出力信号に対して、前記補間補正処理と前記ゲイン補正処理のどちらを実行するかを決定する撮像装置。
2. 請求項１記載の撮像装置であって、
   前記補正処理部は、前記フレア又はゴーストの少なくとも一方の影響を受けていないと判定された場合には、前記第二画素セルの出力信号に対して前記補間補正処理と前記ゲイン補正処理のうちのいずれかを行い、前記フレア又はゴーストの少なくとも一方の影響を受けていると判定された場合には、前記第二画素セルの出力信号に対して前記補間補正処理を行う撮像装置。
3. 請求項１記載の撮像装置であって、
   前記判定部は、前記撮像画像信号における前記フレア又はゴーストの少なくとも一方の影響を受けている領域を、前記撮像画像信号を用いて判定し、
   前記補正処理部は、前記撮像画像信号においてフレア又はゴーストの少なくとも一方の影響を受けている領域に含まれる前記第二画素セルの出力信号については前記補間補正処理を行い、前記撮像画像信号においてフレア又はゴーストの少なくとも一方の影響を受けていない領域に含まれる前記第二画素セルの出力信号については、前記補間補正処理と前記ゲイン補正処理のいずれかを行う撮像装置。
4. 請求項１又は２記載の撮像装置であって、
   前記判定部は、前記第二画素セルが配置される領域を複数ブロックに分割し、各ブロックにおいて当該ブロック内にある前記第二画素セルの出力信号を前記ゲイン補正処理により補正するために必要なゲイン値である撮像ブロックゲイン値を、前記撮像画像信号を用いて算出し、前記撮像ブロックゲイン値を用いて、前記フレア又はゴーストの少なくとも一方の影響を受けているか否かを判定する撮像装置。
5. 請求項４記載の撮像装置であって、
   前記判定部は、前記第二画素セルによって検出される２つの像信号のずれる方向において隣接する２つの前記ブロックについて算出された前記撮像ブロックゲイン値の差分である隣接ブロックゲイン値差の最大値と最小値の差が予め決められた値を超える場合に、フレア又はゴーストの少なくとも一方の影響を受けていると判定する撮像装置。
6. 請求項４記載の撮像装置であって、
   フレア又はゴーストの少なくとも一方が発生しない条件で基準画像を前記撮像素子により撮像して得られる基準撮像画像信号を用いて算出された前記各ブロックに対するゲイン値である基準ブロックゲイン値が予め記憶される記憶部を備え、
   前記判定部は、前記基準ブロックゲイン値と前記撮像ブロックゲイン値との差分である基準ブロックゲイン値差を算出し、前記第二画素セルによって検出される２つの像信号のずれ方向において隣接する２つの前記ブロックについて算出された前記基準ブロックゲイン値差の差分の最大値と最小値の差が予め決められた値を超える場合に、フレア又はゴーストの少なくとも一方の影響を受けていると判定する撮像装置。
7. 請求項３記載の撮像装置であって、
   前記判定部は、前記第二画素セルが配置される領域を複数ブロックに分割し、各ブロックにおいて当該ブロック内にある前記第二画素セルの出力信号を前記ゲイン補正処理により補正するために必要なゲイン値である撮像ブロックゲイン値を、前記撮像画像信号を用いて算出し、当該撮像ブロックゲイン値を用いてフレア又はゴーストの少なくとも一方の影響を受けている領域を判定する撮像装置。
8. 請求項７記載の撮像装置であって、
   前記判定部は、各ブロックについて、前記第二画素セルによって検出される２つの像信号のずれ方向に直交する方向に隣接するブロックとの前記撮像ブロックゲイン値の差の平均値を算出し、当該平均値が予め決められた値を超えるブロックに対応する信号を、フレア又はゴーストの少なくとも一方の影響を受けている領域として判定する撮像装置。
9. 請求項７記載の撮像装置であって、
   フレア又はゴーストの少なくとも一方が発生しない条件で基準画像を前記撮像素子により撮像して得られる基準撮像画像信号を用いて算出された前記各ブロックに対するゲイン値である基準ブロックゲイン値が予め記憶される記憶部を備え、
   前記判定部は、前記基準ブロックゲイン値と前記撮像ブロックゲイン値との差が予め決められた値を超えるブロックに対応する信号を、フレア又はゴーストの少なくとも一方の影響を受けている領域として判定する撮像装置。
10. 二次元状に配置された、撮像用の複数の第一画素セル及び撮像レンズの異なる瞳領域を通過した光を受光する複数種類の焦点検出用の第二画素セルからなる複数のペアを含む撮像素子から出力される撮像画像信号を補正する信号補正方法であって、
    前記撮像素子によって撮像して得られる撮像画像信号を用いて、前記撮像画像信号がフレア又はゴーストの少なくとも一方の影響を受けているか否かを判定する判定ステップと、
    前記撮像画像信号に含まれる前記第二画素セルの出力信号に対し、当該出力信号を、前記撮像画像信号に含まれる、前記第二画素セルの周囲にある複数の前記第一画素セルの出力信号を用いた信号補間により補正する補間補正処理と、当該出力信号にゲイン値を乗じて増幅することで補正するゲイン補正処理とのいずれかを行う補正処理ステップと、
    前記補正処理ステップによる補正処理後の前記撮像画像信号を処理して撮像画像データを生成する画像データ生成ステップと、を備え、
    前記補正処理ステップでは、前記判定ステップの判定結果に基づいて、前記第二画素セルの出力信号に対して、前記補間補正処理と前記ゲイン補正処理のどちらを実行するかを決定する信号補正方法。

Images