JP5779726B2 - 撮像装置及び露出決定方法 - Google Patents

Description

本発明は、撮像装置及び露出決定方法に関する。

近年、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子の高解像度化に伴い、デジタルスチルカメラ、デジタルビデオカメラ、スマートフォン等の携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ，携帯情報端末）等の撮影機能を有する情報機器の需要が急増している。なお、以上のような撮像機能を有する情報機器を撮像装置と称する。

これら撮像装置では、主要な被写体までの距離を検出してその被写体に焦点を合わせる合焦制御方法として、コントラストＡＦ（Ａｕｔｏ Ｆｏｃｕｓ、自動合焦）方式や位相差ＡＦ方式が採用されている。位相差ＡＦ方式は、コントラストＡＦ方式に比べて合焦位置の検出を高速に行うことができるため、様々な撮像装置で多く採用されている。

例えば、特許文献１には、撮像素子の画素の一部を位相差検出用の画素とし、位相差検出用の画素から読み出した信号を用いて位相差ＡＦを行う撮像装置が開示されている。

また、特許文献２には、位相差ＡＦセンサの出力信号を利用して露出を決定する撮像装置が記載されている。

日本国特開２０１０−２８６８２６号公報 日本国特開２００４−２６４４５１号公報

特許文献１のように、位相差検出用の画素から読み出した信号を用いて位相差ＡＦを行う撮像装置では、位相差検出用の画素の感度が、通常の画素の感度よりも大幅に低くなっている。そのため、位相差ＡＦを高精度に行うには、通常の画素ではなく、位相差検出用の画素が適正露出となるように露出条件を決める必要がある。

位相差検出用の画素は、撮影光学系の瞳領域の例えば右半分を通過した光を検出する右画素と、撮影光学系の瞳領域の例えば左半分を通過した光を検出する左画素との少なくとも２種類が用いられる。右画素と左画素は、入射角感度特性の違いから、撮像素子の像高（画素が配置されるエリアにおける撮影光学系の光軸と交わる点からの距離）が同じであっても、それらが配置される場所によっては感度に差が生じてしまう。

したがって、位相差検出用の画素が適正露出となるように露出条件を決めるには、撮像素子の像高による感度の違いを考慮する必要がある。

本発明は、上記事情に鑑みてなされたものであり、位相差検出用の画素を適正に露光して位相差ＡＦを高精度に行うことが可能な撮像装置及び露出決定方法を提供することを目的とする。

本発明の撮像装置は、複数の撮像用画素と複数の位相差検出用画素が配置される受光面を含む撮像素子を有する撮像装置であって、上記複数の撮像用画素は、撮像光学系の瞳領域を通過した光束により形成された像を撮像するものであり、上記複数の位相差検出用画素は、上記撮像光学系の瞳領域の異なる部分を通過した一対の光束により形成された一対の像の一方を撮像する複数の第一の位相差検出用画素、及び、上記一対の像の他方を撮像する複数の第二の位相差検出用画素を含み、上記撮像素子の受光面には、上記第一の位相差検出用画素と上記第二の位相差検出用画素のペアが複数配置される位相差検出エリアが上記一対の像のずれる方向に複数個並べて設けられ、選択された上記位相差検出エリアにある上記位相差検出用画素の出力信号に基づいて露出条件を決定する露出決定部と、上記露出決定部により決定された露出条件で上記撮像素子により撮像を行って得られる撮像画像信号のうち、上記選択された位相差検出エリアにある上記第一の位相差検出用画素及び上記第二の位相差検出用画素の出力信号を利用してデフォーカス量を演算するデフォーカス量演算部とを備え、
上記露出決定部は、上記選択された位相差検出エリアにおいて感度最大の上記位相差検出用画素と感度最小の上記位相差検出用画素との感度差が予め決められた値を超える上記位相差検出エリアが選択された場合には、上記選択された位相差検出エリアにおける感度最大の上記位相差検出用画素の出力信号に基づいて露出条件を決定し、上記感度差が予め決められた値以下となる上記位相差検出エリアが選択された場合には、上記選択された位相差検出エリアにおける全ての上記位相差検出用画素の感度の平均に等しい感度を持つ位相差検出用画素である平均感度画素の出力信号に基づいて露出条件を決定するものである。

本発明の露出決定方法は、複数の撮像用画素と複数の位相差検出用画素が配置される受光面を含む撮像素子を有する撮像装置で用いる露出決定方法であって、上記複数の撮像用画素は、撮像光学系の瞳領域を通過した光束により形成された像を撮像するものであり、上記複数の位相差検出用画素は、上記撮像光学系の瞳領域の異なる部分を通過した一対の光束により形成された一対の像の一方を撮像する複数の第一の位相差検出用画素、及び、上記一対の像の他方を撮像する複数の第二の位相差検出用画素を含み、上記撮像素子の受光面には、上記第一の位相差検出用画素と上記第二の位相差検出用画素のペアが複数配置される位相差検出エリアが上記一対の像のずれる方向に複数個並べて設けられ、選択された上記位相差検出エリアにある上記位相差検出用画素の出力信号に基づいて露出条件を決定する露出決定ステップと、上記決定した露出条件で上記撮像素子により撮像を行って得られる撮像画像信号のうち、上記選択された位相差検出エリアにある上記第一の位相差検出用画素及び上記第二の位相差検出用画素の出力信号を利用してデフォーカス量を演算するデフォーカス量演算ステップとを備え、
上記露出決定ステップでは、上記選択された位相差検出エリアにおいて感度最大の上記位相差検出用画素と感度最小の上記位相差検出用画素との感度差が予め決められた値を超える上記位相差検出エリアが選択された場合には、上記選択された位相差検出エリアにおける感度最大の上記位相差検出用画素の出力信号に基づいて露出条件を決定し、上記感度差が予め決められた値以下となる上記位相差検出エリアが選択された場合には、上記選択された位相差検出エリアにおける全ての上記位相差検出用画素の感度の平均に等しい感度を持つ位相差検出用画素である平均感度画素の出力信号に基づいて露出条件を決定するものである。

本発明によれば、位相差検出用の画素を適正に露光して位相差ＡＦを高精度に行うことが可能な撮像装置及び露出決定方法を提供することができる。

本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図 図１に示すデジタルカメラに搭載される固体撮像素子５の平面構成を示す部分拡大図 図１に示すデジタルカメラに搭載される固体撮像素子５の全体構成を示す平面模式図 固体撮像素子５における行方向Ｘの位置（水平画素位置）での位相差検出用画素５１Ｒ，５１Ｌの感度比を示す図 図４に示すような感度比となることを説明するための図 図１に示すデジタルカメラの動作を説明するためのフローチャート 図１に示すデジタルカメラの動作の変形例を説明するためのフローチャート 図１に示すデジタルカメラに搭載される固体撮像素子５に設けるＡＦエリアの変形例を示す図 感度比の形状の変形例を示す図 感度比の形状の変形例を示す図 撮像装置としてスマートフォンを説明する図 図１１のスマートフォンの内部ブロック図

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。

図１に示すデジタルカメラの撮像系は、撮像光学系としてのレンズ装置（撮影レンズ１と絞り２とを含む）と、ＣＣＤ型やＣＭＯＳ型等の固体撮像素子５とを備えている。

撮影レンズ１及び絞り２を含むレンズ装置は、カメラ本体に着脱可能又は固定となっている。

デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、フラッシュ発光部１２及び受光部１３を制御する。また、システム制御部１１は、レンズ駆動部８を制御して撮影レンズ１に含まれるフォーカスレンズの位置を調整したり、撮影レンズ１に含まれるズームレンズの位置の調整を行ったりする。更に、システム制御部１１は、絞り駆動部９を介して絞り２の開口量を制御することにより、露光量の調整を行う。

また、システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子５を駆動し、撮影レンズ１を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。

デジタルカメラの電気制御系は、更に、固体撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、このアナログ信号処理部６から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備える。アナログ信号処理部６及びＡ／Ｄ変換回路７は、システム制御部１１によって制御される。アナログ信号処理部６及びＡ／Ｄ変換回路７は固体撮像素子５に内蔵されることもある。

更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、Ａ／Ｄ変換回路７から出力される撮像画像信号に対し、補間演算、ガンマ補正演算、及びＲＧＢ／ＹＣ変換処理等を行って撮影画像データを生成するデジタル信号処理部１７と、デジタル信号処理部１７で生成された撮影画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部１８と、デフォーカス量を演算するデフォーカス量演算部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された表示部２３が接続される表示制御部２２とを備えている。メモリ制御部１５、デジタル信号処理部１７、圧縮伸張処理部１８、デフォーカス量演算部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

図２は、図１に示すデジタルカメラに搭載される固体撮像素子５の平面構成を示す部分拡大図である。

固体撮像素子５は、行方向Ｘ及びこれに直交する列方向Ｙに二次元状に配列された多数の画素５１（図中の各正方形のブロック）を備えている。図２では全ての画素５１は図示していないが、実際には、数百万〜１千数万個程度の画素５１が二次元状に配列される。固体撮像素子５により撮像を行うと、この多数の画素５１の各々から出力信号が得られる。この多数の出力信号の集合を本明細書では撮像画像信号という。

各画素５１は、フォトダイオード等の光電変換部と、この光電変換部上方に形成されたカラーフィルタとを含む。

図２では、赤色光を透過するカラーフィルタを含む画素５１には“Ｒ”の文字を付し、緑色光を透過するカラーフィルタを含む画素５１には“Ｇ”の文字を付し、青色光を透過するカラーフィルタを含む画素５１には“Ｂ”の文字を付している。

多数の画素５１は、行方向Ｘに並ぶ複数の画素５１からなる画素行を、列方向Ｙに複数個並べた配列となっている。そして、奇数行の画素行と偶数行の画素行は、各画素行の画素５１の配列ピッチの略１／２、行方向Ｘにずれている。

奇数行の画素行の各画素５１に含まれるカラーフィルタの配列は全体としてベイヤ配列となっている。また、偶数行の画素行の各画素５１に含まれるカラーフィルタの配列も全体としてベイヤ配列となっている。奇数行にある画素５１と、この画素５１に対して右下に隣接する、この画素５１と同色光を検出する画素５１とがペア画素を構成する。

このような画素配列の固体撮像素子５によれば、ペア画素を構成する２つの画素５１の出力信号を加算することでカメラの高感度化を図ったり、ペア画素を構成する２つの画素５１の露光時間を変え、かつ、この２つの画素５１の出力信号を加算することでカメラの広ダイナミックレンジ化を図ったりすることができる。

固体撮像素子５では、多数の画素５１のうちの一部が位相差検出用画素となっている。

位相差検出用画素は、複数の位相差検出用画素５１Ｒと複数の位相差検出用画素５１Ｌとを含む。

複数の位相差検出用画素５１Ｒは、撮影レンズ１の瞳領域の異なる部分を通過した一対の光束の一方（例えば瞳領域の右半分を通過した光束）を受光し受光量に応じた信号を出力する。つまり、固体撮像素子５に設けられた複数の位相差検出用画素５１Ｒは、撮影レンズ１の瞳領域の異なる部分を通過した一対の光束の一方によって形成される像を撮像するものとなる。

複数の位相差検出用画素５１Ｌは、上記一対の光束の他方（例えば瞳領域の左半分を通過した光束）を受光し受光量に応じた信号を出力する。つまり、固体撮像素子５に設けられた複数の位相差検出用画素５１Ｌは、撮影レンズ１の瞳領域の異なる部分を通過した一対の光束の他方によって形成される像を撮像するものとなる。なお、右、左は、撮像素子で撮影するときの撮影者にとっての方向を示すものとする。

なお、位相差検出用画素５１Ｒ，５１Ｌ以外の複数の画素５１（以下、撮像用画素という）は、撮影レンズ１の瞳領域のほぼ全ての部分を通過した光束によって形成される像を撮像するものとなる。

画素５１の光電変換部上方には、遮光膜が設けられ、この遮光膜には、光電変換部の受光面積を規定する開口が形成されている。

撮像用画素５１の開口（図２において符号ａで示す）の中心は、撮像用画素５１の光電変換部の中心（正方形のブロックの中心）と一致している。なお、図２では、図を簡略化するために、撮像用画素５１については一部のみに開口ａを図示している。

これに対し、位相差検出用画素５１Ｒの開口（図２において符号ｃで示す）の中心は、位相差検出用画素５１Ｒの光電変換部の中心に対し右側に偏心している。

位相差検出用画素５１Ｌの開口（図２において符号ｂで示す）の中心は、位相差検出用画素５１Ｌの光電変換部の中心に対して左側に偏心している。

固体撮像素子５では、緑色のカラーフィルタが搭載される画素５１の一部が位相差検出用画素５１Ｒ又は位相差検出用画素５１Ｌとなっている。勿論、他の色のカラーフィルタが搭載される画素を位相差検出用画素としてもよい。

位相差検出用画素５１Ｒと位相差検出用画素５１Ｌは、それぞれ、画素５１が配置される領域において離散的及び周期的に配置されている。

位相差検出用画素５１Ｒは、図２の例では、偶数行の画素行の一部（図２の例では、３画素行おきに並ぶ４つの画素行）において、行方向Ｘに３つの画素おきに配置されている。

位相差検出用画素５１Ｌは、図２の例では、奇数行の画素行の一部（位相差検出用画素５１Ｒを含む画素行の隣にある画素行）において、行方向Ｘに、位相差検出用画素５１Ｒと同じ周期で配置されている。

このような構成により、遮光膜の開口ｂを通って画素５１Ｌに受光される光は、図２の紙面上方に設けられる撮影レンズ１の被写体から見て左側からの光、すなわち被写体を右眼で見た方向から来た光が主となり、遮光膜の開口ｃを通って画素５１Ｒに受光される光は、撮影レンズ１の被写体から見て右側からの光、すなわち被写体を左眼で見た方向から来た光が主となる。

即ち、全ての位相差検出用画素５１Ｒによって、被写体を左眼で見た撮像画像信号を得ることができ、全ての位相差検出用画素５１Ｌによって、被写体を右眼で見た撮像画像信号を得ることができる。このため、両者を組み合わせることで、被写体の立体画像データを生成したり、両者を相関演算することで位相差情報を生成したりすることが可能になる。

なお、位相差検出用画素５１Ｒと位相差検出用画素５１Ｌは、遮光膜の開口を逆方向に偏心させることで、撮影レンズ１の瞳領域の異なる部分を通過した光束をそれぞれ受光できるようにして位相差情報を得られるようにしている。しかし、位相差情報を得るための構造はこれに限らず、よく知られているものを採用することができる。

図３は、図１に示すデジタルカメラに搭載される固体撮像素子５の全体構成を示す平面模式図である。

固体撮像素子５は、全ての画素５１が配置される受光面５０を有する。そして、この受光面５０に、位相差情報を取得する対象となる位相差検出エリア（ＡＦエリア）５２が図２の例では９つ設けられている。

ＡＦエリア５２は、図２に示した互いに近接位置される位相差検出用画素５１Ｒと位相差検出用画素５１Ｌのペアを複数含むエリアである。受光面５０のうちＡＦエリア５２を除く部分には、撮像用画素５１だけが配置される。

図２に示した９つのＡＦエリア５２のうち、行方向Ｘにおいて真ん中にある３つのＡＦエリア５２は、それぞれ、平面視において受光面５０における撮像光学系の光軸との交点を通りかつ列方向Ｙに延びる直線を跨いで行方向Ｘに幅を持つエリアである。言い換えると、行方向Ｘにおいて真ん中にある３つのＡＦエリア５２は、受光面５０の行方向Ｘにおける中央（光軸位置）を跨いで配置されるエリアである。

図１に示すデフォーカス量演算部１９は、９つのＡＦエリア５２の中からユーザ操作等により選択された１つのＡＦエリア５２にある位相差検出用画素５１Ｌ及び位相差検出用画素５１Ｒから読み出される出力信号群を用いて、上記一対の光束によって形成される２つの像の相対的な位置ずれ量である位相差量を演算する。そして、この位相差量に基づいて、撮影レンズ１の焦点調節状態、ここでは合焦状態から離れている量とその方向、すなわちデフォーカス量を求める。

図１に示すシステム制御部１１は、デフォーカス量演算部１９によって演算されたデフォーカス量に基づいて、撮像レンズ１に含まれるフォーカスレンズを合焦位置に移動させて、撮像レンズ１の合焦状態を制御する。

位相差検出用画素５１Ｒと位相差検出用画素５１Ｌは、開口が逆方向に偏心しているものである。このため、この開口の偏心方向（図２の行方向Ｘ）における位置がほぼ同じであっても、位相差検出用画素５１Ｒと位相差検出用画素５１Ｌには感度差が発生する。

図４は、固体撮像素子５における行方向Ｘの位置（水平画素位置）での位相差検出用画素５１Ｒ，５１Ｌの感度比を示す図である。符号５１Ｒで示した直線が位相差検出用画素５１Ｒの感度比を示し、符号５１Ｌで示した直線が位相差検出用画素５１Ｌの感度比を示している。

図４では、図３において左端部にある３つのＡＦエリア５２の水平画素位置の範囲を符号５２Ｌで示し、図３において中央部にある３つのＡＦエリア５２の水平画素位置の範囲を符号５２Ｃで示し、図３において右端部にある３つのＡＦエリア５２の水平画素位置の範囲を符号５２Ｒで示している。

任意の位相差検出用画素の感度比とは、任意の位相差検出用画素とこれに近接する撮像用画素（ただし当該任意の位相差検出用画素と同色光を検出するもの）の出力信号をそれぞれＡ，Ｂとしたとき、Ａ／Ｂ、又は、Ｂ／Ａで表される値のことをいう。また、本明細書において、近接する２つの画素とは、実質的に同じ被写体部分からの光を受光していると見なすことのできる程度に近接している２つの画素のことを言う。なお、図４では、感度比をＡ／Ｂとしたときのものを示している。

位相差検出用画素５１Ｒ，５１Ｌは列方向Ｙにも周期的に配置されている。ただし、位相差検出用画素５１Ｒと位相差検出用画素５１Ｌは列方向Ｙには開口が偏心していないため、列方向Ｙのどの位置においても、感度比は図４に示すようになる。

複数の位相差検出用画素５１Ｒの出力信号と、複数の位相差検出用画素５１Ｌの出力信号は、それぞれ、それ単独では、被写体によって行方向Ｘでの位置毎にレベルが異なるため、位相差検出用画素の感度分布がどのようになっているかは分からない。しかし、図４に示すように、位相差検出用画素とこれに近接する撮像用画素の出力信号との比である感度比を求めれば、位相差検出用画素の感度分布を知ることができる。

なお、固体撮像素子５では、位相差検出用画素５１Ｒと位相差検出用画素５１Ｌの行方向Ｘにおける位置が厳密には同じではないが、図４では、近接する位相差検出用画素５１Ｒと位相差検出用画素５１Ｌは、行方向Ｘにおける位置が同じものとして扱っている。

位相差検出用画素５１Ｒは、開口ｃが図２において右側に偏心している。このため、図５に示すように、受光面５０の左側端部にある位相差検出用画素５１Ｒの開口ｃには、撮影レンズ１の左側を通ってきた光は半分入り、撮影レンズ１の右側を通ってきた光は入らなくなる。一方、受光面５０の右側端部にある位相差検出用画素５１Ｒの開口ｃには、撮影レンズ１の右側を通ってきた光は半分入り、撮影レンズ１の左側を通ってきた光は全て入る。また、固体撮像素子５の中心部にある位相差検出用画素５１Ｒの開口ｃには、撮影レンズ１の左側を通ってきた光だけが入り、撮影レンズ１の右側を通ってきた光は入らなくなる。

また、位相差検出用画素５１Ｌは、開口ｂが位相差検出用画素５１Ｒと行方向Ｘにおいて逆方向に偏心しているため、その感度比の特性は位相差検出用画素５１Ｒと逆になる。

したがって、図４に示したように、位相差検出用画素５１Ｌの感度比は、固体撮像素子５の左端部から右端部に向かうほど低くなる。また、位相差検出用画素５１Ｒの感度比は、固体撮像素子５の左端部から右端部に向かうほど高くなる。

なお、受光面５０の行方向Ｘにおける中央部分（受光面５０において、撮像光学系の光軸と交わる部分を通りかつ列方向Ｙに延びる直線と重なる部分）の近傍では、行方向Ｘの光成分がほぼ垂直に入射するため、位相差検出用画素５１Ｌの感度比と位相差検出用画素５１Ｒの感度比はほぼ同じになる。

図１に示すデジタルカメラでは、位相差量の算出に用いる位相差検出用画素の出力信号レベルを、デフォーカス量演算部１９において正確なデフォーカス量を求められるような適度な値にするために、システム制御部１１が、選択されたＡＦエリア５２にある位相差検出用画素の露光量が適正な値となるように、露出条件（絞り、シャッター速度等）を決める。

図４に示すように、ＡＦエリア５２は、行方向Ｘにおける位置によって、そのエリア内における感度比の形状が異なる。そのため、システム制御部１１は、選択されたＡＦエリア５２の行方向Ｘにおける位置によって、露出条件の決定アルゴリズムを変更する。

例えば、図３において左端部にある３つのＡＦエリア５２においては、これら各ＡＦエリア５２にある位相差検出用画素のうち、左端部にある位相差検出用画素５１Ｌの感度が最も高くなる。

したがって、システム制御部１１は、図３において左端部にある３つのＡＦエリア５２が選択された場合には、当該ＡＦエリア５２において感度最大の位相差検出用画素５１Ｌを選択し、選択した位相差検出用画素Ｌの出力信号に基づいて、選択した位相差検出用画素５１Ｌの露光量が適正となるように、露出条件を決定する。

図４に示す範囲５２Ｌに対応する位相差検出用画素の中では、左端部にある位相差検出用画素５１Ｌの感度が最も高い。そのため、感度最大の位相差検出用画素５１Ｌが適正露光量となるように露出条件を決めることで、範囲５２Ｌにある全ての位相差検出用画素の出力信号が飽和レベルに達してしまうのを防ぐことができる。この結果、選択したＡＦエリア５２からの出力信号を用いた位相差量の算出を正確に行うことが可能になる。

同様に、システム制御部１１は、図３において右端部にある３つのＡＦエリア５２が選択された場合には、当該ＡＦエリア５２において感度最大となる位相差検出用画素５１Ｒを選択し、選択した位相差検出用画素５１Ｒの出力信号に基づいて、選択した位相差検出用画素５１Ｒの露光量が適正となるように、露出条件を決定する。

一方、システム制御部１１は、図３において真ん中にある３つのＡＦエリア５２が選択された場合には、当該ＡＦエリア５２にある全ての位相差検出用画素の感度の平均に一致する感度を持つ位相差検出用画素５１Ｒ又は位相差検出用画素セル５１Ｌ、つまり、図４において２つの直線が交わる点における感度比を持つ位相差検出用画素５１Ｒ又は位相差検出用画素５１Ｌを選択する。

そして、システム制御部１１は、選択した位相差検出用画素の出力信号に基づいて、選択した位相差検出用画素の露光量が適正となるように、露出条件を決定する。この場合の露出条件とは、主に露光時間であるが、Ｆ値を変える場合もある。システム制御部１１は、選択した位相差検出用画素の出力が予め決められた範囲に入るように露光時間、場合によっては、Ｆ値を調整する。

撮像光学系の光学条件（Ｆ値、焦点距離、及びフォーカスレンズ位置の組み合わせ）が変わると、固体撮像素子５に入射する光の入射角が変わる。このため、図４に示す位相差検出用画素５１Ｒ，５１Ｌの各々の感度比の直線の傾きは、撮像光学系の光学条件によって変化する。

範囲５２Ｃでは、感度最大となる位相差検出用画素と、感度最小となる位相差検出用画素との感度差が、範囲５２Ｌ，５２Ｒと比べて小さい。上述したように、撮像光学系の光学条件によってこの感度差は上下するが、それでも、範囲５２Ｌ，５２Ｒに比べれば、範囲５２Ｃにおける感度差は小さい。

ある範囲における感度差が小さいということは、その範囲に対応する全ての位相差検出用画素の感度の平均値と、その範囲における位相差検出用画素の最大感度との差が小さいことを意味する。

このため、感度差が小さい範囲（図４の例では範囲５２Ｃ）にあるＡＦエリア５２においては、そのＡＦエリア５２内の全ての位相差検出用画素の感度の平均に等しい感度を持つ位相差検出用画素が適正露光量となるように露出条件を決めても、そのＡＦエリア５２内において感度最大となる位相差検出用画素が飽和する可能性は低い。

したがって、システム制御部１１は、範囲５２ＣにあるＡＦエリア５２が選択された場合には、そのＡＦエリア５２内の全ての位相差検出用画素の感度の平均に等しい感度を持つ位相差検出用画素を選択し、選択した位相差検出用画素が適正露光量となるように露出条件を決める。

このようにすることで、範囲５２Ｒ，５２Ｌに対応するＡＦエリア５２が選択された場合よりも、位相差検出用画素の露光量を多くすることができるため、Ｓ／Ｎを良好にして位相差量の算出精度を上げることができる。

一般的には、主要被写体を撮像範囲の中心に合わせて撮像することが多い。このため、範囲５２ＣにあるＡＦエリア５２が選択された場合に上記方法で露出条件を決めることで、ほとんどの撮影において、位相差検出用画素の露光量を増やしつつ飽和を防いで、位相差ＡＦの精度を向上させることができる。

また、撮像範囲の端部にある被写体に焦点を合わせて撮像する場合には、位相差検出用画素の露光量をあまり増やせなくなる。しかし、位相差検出用画素の飽和を確実に防ぐことができるため、位相差ＡＦの精度が低下するのを防ぐことができる。

以上のように構成されたデジタルカメラの動作について説明する。

図６は、図１に示すデジタルカメラのＡＦ指示がなされてからの動作を説明するためのフローチャートである。

撮影モードに設定され、シャッタボタンの半押し操作等によってＡＦ指示がなされると、システム制御部１１は、事前に選択されたＡＦエリア５２の位置を判定する（ステップＳ１）。

選択されたＡＦエリア５２の位置が、行方向Ｘにおける右端部又は左端部であった場合（ステップＳ１：ＹＥＳ）、システム制御部１１は、選択されたＡＦエリア５２において感度最大となる位相差検出用画素を選択する（ステップＳ２）。

この感度最大となる位相差検出用画素は、選択されたＡＦエリア５２が左端部であれば、固体撮像素子５にある位相差検出用画素５１Ｌのうち最も左端にある位相差検出用画素５１Ｌとなり、選択されたＡＦエリア５２が右端部であれば、固体撮像素子５にある位相差検出用画素５１Ｒのうち最も右端にある位相差検出用画素５１Ｒとなる。各ＡＦエリア５２において感度最大となる位相差検出用画素の位置は、固体撮像素子５に対して設定するＡＦエリア５２の位置と、位相差検出用画素の配置とによって予め決まるため、予めメモリに記憶しておくことができる。

選択されたＡＦエリア５２の位置が行方向Ｘにおける中央であった場合（ステップＳ１：ＮＯ）、システム制御部１１は、選択されたＡＦエリア５２において、エリア内の全ての位相差検出用画素の感度の平均に等しい感度を持つ位相差検出用画素を選択する（ステップＳ７）。

中央にあるＡＦエリア５２において、エリア内の全ての位相差検出用画素の感度の平均に等しい感度を持つ位相差検出用画素の行方向Ｘでの位置は、図４に示すデータにおいて感度比の直線の交点に対応する位置である。このため、この位置の座標を、図４に示すデータから求めて予め記憶しておけばよい。

ステップＳ２及びステップＳ７の後、システム制御部１１は、選択した位相差検出用画素の出力信号を取得し、この出力信号に基づいて、露出条件を決定する（ステップＳ３）。

露出条件を決定すると、システム制御部１１は、決定した露出条件で固体撮像素子５により撮像を行わせる（ステップＳ４）。この撮像によって固体撮像素子５から出力された撮像画像信号はメインメモリ１６に記憶される。

そして、デフォーカス量演算部１９が、メインメモリ１６に記憶された上記撮像画像信号のうち、選択されたＡＦエリア５２にある位相差検出用画素５１Ｒ，５１Ｌの出力信号を用いて相関演算を行って位相差量を算出し、この位相差量に基づいてデフォーカス量を算出する（ステップＳ５）。このとき、ステップＳ４の撮像によって得られた撮像画像信号のうち、撮像用画素５１の出力信号を用いて、ライブビュー画像の生成及び表示を行ってもよい。

ステップＳ５の後は、システム制御部１１が、ステップＳ５で算出されたデフォーカス量に基づいてフォーカスレンズを合焦位置に移動させる合焦制御を行い（ステップＳ６）、その後は、撮像待機状態となる。

以上のように、図１に示すデジタルカメラは、露出条件を決めるときの基準となる位相差検出用画素を、選択されたＡＦエリア５２の位置に応じて決めた位相差検出用画素とする。このため、例えば、選択されたＡＦエリア５２内の全ての位相差検出用画素の出力信号に基づいて露出条件を決める場合と比較すると、位相差量をより正確に算出することができる。

なお、図５のステップＳ７においてエリア内平均感度に等しい感度をもつ位相差検出用画素を選択し、その位相差検出用画素の出力信号に基づいて露出条件を決めて撮像を行った場合でも、撮像光学系の性能や撮像光学系の光学条件によっては、感度比の直線の傾きが急になり、範囲５２Ｃの端部にある位相差検出用画素の出力信号が飽和してしまうことも考えられる。範囲５２Ｃの端部にある位相差検出用画素の出力信号が飽和した状態では、位相差量の算出精度が低下する。

そこで、このような位相差量の算出精度低下を防ぐためのフローを図７に示す。

図７は、図１に示すデジタルカメラのＡＦ指示がなされてからの動作の変形例を説明するためのフローチャートである。図７において図６と同じ処理には同一符号を付してある。

ステップＳ１の判定がＹＥＳのときのフローは図６と同じである。ステップＳ１の判定がＮＯのときにステップＳ７の処理を行った後、システム制御部１１は、ステップＳ７で選択した位相差検出用画素の出力信号に基づいて露出条件を決定する（ステップＳ８）。

露出条件を決定すると、システム制御部１１は、決定した露出条件で固体撮像素子５により撮像を行わせる（ステップＳ９）。この撮像によって固体撮像素子５から出力された撮像画像信号はメインメモリ１６に記憶される。

ステップＳ９の後、システム制御部１１は、メインメモリ１６に記憶された撮像画像信号のうち、選択されたＡＦエリア５２において感度最大の位相差検出用画素（範囲５２Ｃの左端部にある位相差検出用画素５１Ｌと右端部にある位相差検出用画素セル５１Ｒ）の出力信号を取得する。システム制御部１１は、範囲５２Ｃの左端部にある位相差検出用画素５１Ｌから取得した出力信号のレベルの平均値と、範囲５２Ｃの右端部にある位相差検出用画素５１Ｒから取得した出力信号のレベルの平均値とのいずれかが、閾値ＴＨ以上か否かを判定する（ステップＳ１０）。

システム制御部１１は、上記２つの平均値のいずれかが閾値ＴＨ以上であれば（ステップＳ１０：ＹＥＳ）、ステップＳ２において、範囲５２Ｃの左端部にある位相差検出用画素５１Ｌと、範囲５２Ｃの右端部にある位相差検出用画素５１Ｒとを選択し、ステップＳ３において、当該選択した位相差検出用画素の出力信号に基づいて露出条件を決定する。その後はステップＳ４以降の処理を行って撮像を再度行う。

一方、システム制御部１１は、上記２つの平均値の両方が閾値ＴＨ未満であれば（ステップＳ１０：ＮＯ）、ステップＳ９の撮像で得られた撮像画像信号に含まれる位相差検出用画素の出力信号を用いたデフォーカス量の算出をデフォーカス量演算部１９に行わせる（ステップＳ５）。

上記閾値ＴＨは、位相差検出用画素の飽和レベルかそれに近い値としておけばよい。

以上のように、図７に示す変形例によれば、図３において中央のＡＦエリア５２が選択されたときの位相差ＡＦの精度低下を更に防ぐことができる。

上記説明では、図７のステップＳ１０の判定がＹＥＳのときに、露出条件を再び決定して撮像を行い、デフォーカス量を算出するものとした。

しかし、ステップＳ１０の判定がＹＥＳのときには、デフォーカス量算出部１９が、出力信号のレベルが閾値ＴＨ以上となっている位相差検出用画素を除く位相差検出用画素の出力信号を用いて、デフォーカス量の算出を行うようにしてもよい。このように、飽和している位相差検出用画素の出力信号を用いずにデフォーカス量を算出することで、位相差ＡＦの精度低下を防ぐことができる。

なお、図３では、行方向ＸにおいてＡＦエリア５２が３つ並ぶ例を示したが、行方向Ｘに見たときのＡＦエリア５２の数は複数個であればよい。ＡＦエリア５２が行方向Ｘに複数個並ぶ場合には、各ＡＦエリア５２において感度比の形状が異なるため、選択されたＡＦエリア５２の位置に応じた位相差検出用画素を選択し、選択した位相差検出用画素の出力信号に基づいて露出条件を決めることで、位相差ＡＦを高精度に行うことができる。

例えば、図８に示すように、行方向Ｘに５個のＡＦエリア５２を設けた場合、５個のＡＦエリア５２のうちの真ん中のＡＦエリア５２（受光面５０と光軸との交点を通り列方向Ｙに延びる直線を跨ぐエリア）については、図３の真ん中にあるＡＦエリア５２と同様の方法で露出条件を決定する。

また、５個のＡＦエリア５２のうちの左端部のＡＦエリア５２については、図３の左端部にあるＡＦエリア５２と同様の方法で露出条件を決定する。５個のＡＦエリア５２のうちの右端部のＡＦエリア５２については、図３の右端部にあるＡＦエリア５２と同様の方法で露出条件を決定する。

また、５個のＡＦエリア５２のうちの左から２番目と右から２番目にあるＡＦエリア５２については、そのエリア内で感度最大の位相差検出用画素の出力信号に基づいて露出条件を決めればよい。

なお、図３，８では、ＡＦエリア５２を受光面５０の一部に設けるものとしたが、受光面５０全体にＡＦエリア５２を隙間なく設定してもよい。

ここまでは、画素５１がいわゆるハニカム配列されたものを例にしたが、画素５１が正方格子状に配列された固体撮像素子にも本発明は適用可能である。

また、ここまでは、固体撮像素子５が複数色のカラーフィルタを搭載してカラー撮像を行うものとしたが、固体撮像素子５は、カラーフィルタを緑色の単色にするか又は省略して、モノクロ撮像用の撮像素子としてもよい。

また、ここまでは、撮像装置としてデジタルカメラを例にしたが、カメラ付のスマートフォンでも本実施形態の技術を適用することができる。

なお、図４に示した感度比の形状は、レンズ装置の種類によって変化する。レンズ装置がデジタルカメラに固定であれば、選択されたＡＦエリア５２の位置に応じて、そのＡＦエリア５２内のどの位相差検出用画素を基準に露出を決めればよいかを決めておくことができる。

しかし、レンズ装置を交換可能なデジタルカメラの場合は、選択されたＡＦエリア５２の位置に応じて決めた位相差検出用画素の出力信号に基づいて露出条件を決めてしまうと、適正な露出が得られない場合がある。

例えば、図１に示すデジタルカメラにおいて、撮像光学系が別のものに交換された結果、感度比の形状が図９に示すようになったとする。

この場合、範囲５２Ｃにおいて、感度最大となる位相差検出用画素と、感度最小となる位相差検出用画素との感度差は、図４の例と比較して大きくなる。したがって、範囲５２ＣにあるＡＦエリア５２が選択された場合に、そのＡＦエリア５２内の全ての位相差検出用画素の感度の平均に等しい感度を持つ位相差検出用画素が適正露光量となるように露出条件を決めても、そのＡＦエリア５２内において感度最大となる位相差検出用画素が飽和する可能性は高くなってしまう。

また、図１に示すデジタルカメラにおいて、撮像光学系が別のものに交換された結果、感度比の形状が図１０に示すようになったとする。

この場合、範囲５２Ｌ，５２Ｒにおいて、感度最大となる位相差検出用画素と、感度最小となる位相差検出用画素との感度差は、図４の例と比較して小さくなる。したがって、範囲５２Ｌ，５２ＲにあるＡＦエリア５２が選択された場合に、そのＡＦエリア５２内の全ての位相差検出用画素の感度の平均に等しい感度を持つ位相差検出用画素が適正露光量となるように露出条件を決めても、そのＡＦエリア５２内において感度最大となる位相差検出用画素が飽和する可能性は低い。

そこで、システム制御部１１は、選択されたＡＦエリア５２について、そのＡＦエリア５２内にある感度最大の位相差検出用画素と感度最小の位相差検出用画素の感度差を求める。そして、この感度差が、図６のステップＳ７の処理を行って露出条件を決めても、位相差検出用画素が飽和しない程度の値になっていれば、ステップＳ７の処理を行い、この感度差が、図６におけるステップＳ７の処理を行って露出条件を決めた場合に、位相差検出用画素が飽和するほど大きな値になっていれば、図６のステップＳ２の処理を行う。

なお、図４、図９、図１０に示す感度比のデータは、デジタルカメラに装着可能なレンズ装置毎に、予め生成しておき、デジタルカメラ内のメモリに記憶しておく。又は、システム制御部１１が、レンズ装置が装着されたときのライブビュー画像等から生成してメモリに記憶するようにしてもよい。

このように、システム制御部１１は、選択されたＡＦエリア５２における感度差に応じた位相差検出用画素を当該選択された位相差検出エリアから選択し、選択した位相差検出用画素の出力信号に基づいて露出条件を決定する。このようにすることで、レンズ装置が交換可能であっても、適正な露出を行って、位相差ＡＦの精度低下を防ぐことができる。また、レンズ装置が固定の場合でも、撮像条件によって感度比は変化するため、上記のようにすることで、レンズ装置固定のデジタルカメラにおいても位相差ＡＦの精度低下を防ぐことができる。

次に、カメラ付のスマートフォンの構成について説明する。

図１１は、本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。図１１に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

図１２は、図１１に示すスマートフォン２００の構成を示すブロック図である。図１２に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。

表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。

操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。

図１１に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。

係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０１の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２１１は、スピーカ２０５やマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。また、図１１に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

操作部２０７は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１１に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２１２は、主制御部２２０の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達することや、スマートフォン２００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０や外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２１５は、例えば、３軸の加速度センサなどを備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向や加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２２０は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

更に、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２０８は、図１に示したデジタルカメラにおける外部メモリ制御部２０、記録媒体２１、表示制御部２２、表示部２３、及び操作部１４以外の構成を含む。カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることができる。図１１に示すにスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。

また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示することや、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用することができる。また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。更には、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等などを付加して記録部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることもできる。

以上のような構成のスマートフォン２００においても、カメラ部２０８の撮像素子として固体撮像素子５を用い、カメラ部２０８が図６，７に示した処理を行うことで、高精度の位相差ＡＦ，高品質の撮影が可能になる。

以上説明してきたように、本明細書には以下の事項が開示されている。

開示された撮像装置は、複数の撮像用画素と複数の位相差検出用画素が配置される受光面を含む撮像素子を有する撮像装置であって、上記複数の撮像用画素は、撮像光学系の瞳領域を通過した光束により形成された像を撮像するものであり、上記複数の位相差検出用画素は、上記撮像光学系の瞳領域の異なる部分を通過した一対の光束により形成された一対の像の一方を撮像する複数の第一の位相差検出用画素、及び、上記一対の像の他方を撮像する複数の第二の位相差検出用画素を含み、上記撮像素子の受光面には、上記第一の位相差検出用画素と上記第二の位相差検出用画素のペアが複数配置される位相差検出エリアが上記一対の像のずれる方向に複数個並べて設けられ、選択された上記位相差検出エリアにある上記位相差検出用画素の出力信号に基づいて露出条件を決定する露出決定部と、上記露出決定部により決定された露出条件で上記撮像素子により撮像を行って得られる撮像画像信号のうち、上記選択された位相差検出エリアにある上記第一の位相差検出用画素及び上記第二の位相差検出用画素の出力信号を利用してデフォーカス量を演算するデフォーカス量演算部とを備え、上記露出決定部は、上記選択された位相差検出エリアにおいて感度最大の上記位相差検出用画素と感度最小の上記位相差検出用画素との感度差、又は、上記選択された位相差検出エリアの上記受光面における上記ずれる方向での位置、に応じた位相差検出用画素を当該選択された位相差検出エリアから選択し、選択した位相差検出用画素の出力信号に基づいて露出条件を決定するものである。

開示された撮像装置は、上記露出決定部が、上記感度差が予め決められた値を超える上記位相差検出エリアが選択された場合には、上記選択された位相差検出エリアにおける感度最大の上記位相差検出用画素の出力信号に基づいて露出条件を決定するものである。

開示された撮像装置は、上記露出決定部が、上記感度差が予め決められた値以下となる上記位相差検出エリアが選択された場合には、上記選択された位相差検出エリアにおける全ての上記位相差検出用画素の感度の平均に等しい感度を持つ位相差検出用画素である平均感度画素の出力信号に基づいて露出条件を決定するものである。

開示された撮像装置は、上記露出決定部が、上記選択された位相差検出エリアの位置が上記ずれる方向における端部である場合には、上記選択された位相差検出エリアにおける感度最大の上記位相差検出用画素に基づいて露出条件を決定するものである。

開示された撮像装置は、上記露出決定部が、上記選択された位相差検出エリアが、上記受光面において上記撮像光学系の光軸との交点を通りかつ上記ずれる方向に直交する方向に延びる直線と重なるエリアである場合には、上記選択された位相差検出エリアにおいて、上記選択された位相差検出エリアにおける全ての上記位相差検出用画素の感度の平均に等しい感度を持つ位相差検出用画素である平均感度画素に基づいて露出条件を決定するものである。

開示された撮像装置は、上記露出決定部により、上記平均感度画素が選択され、上記平均感度画素の出力信号に基づいて露出条件が決定された場合に、上記露出条件で上記撮像素子により撮像を行って得られる撮像画像信号のうち、上記選択された位相差検出エリアにおける感度最大の位相差検出用画素の出力信号のレベルを判定する出力信号レベル判定部を備え、上記レベルが閾値未満と判定された場合に、上記デフォーカス量演算部は、上記撮像画像信号を利用してデフォーカス量を算出し、上記レベルが上記閾値以上と判定された場合に、上記露出決定部が、上記選択された位相差検出エリアにおける感度最大の位相差検出用画素を選択し、選択した位相差検出用画素の出力信号に基づいて露出条件を再決定し、上記デフォーカス量演算部が、上記再決定された露出条件にしたがって撮像して得られた撮像画像信号を利用してデフォーカス量を演算するものである。

開示された撮像装置は、上記露出決定部により、上記平均感度画素の出力信号に基づいて露出条件が決定された場合に、当該露出条件で上記撮像素子により撮像を行って得られる撮像画像信号のうち、上記選択された位相差検出エリアにおける感度最大の位相差検出用画素の出力信号のレベルを判定する出力信号レベル判定部を備え、上記レベルが閾値未満と判定された場合に、上記デフォーカス量演算部は、上記撮像画像信号を利用してデフォーカス量を算出し、上記レベルが上記閾値以上と判定された場合に、上記デフォーカス量演算部は、上記撮像画像信号のうち、上記閾値以上のレベルとなっている上記位相差検出用画素の出力信号を除く信号を利用してデフォーカス量を演算するものである。

開示された露出決定方法は、複数の撮像用画素と複数の位相差検出用画素が配置される受光面を含む撮像素子を有する撮像装置を用いた露出決定方法であって、上記複数の撮像用画素は、撮像光学系の瞳領域を通過した光束により形成された像を撮像するものであり、上記複数の位相差検出用画素は、上記撮像光学系の瞳領域の異なる部分を通過した一対の光束により形成された一対の像の一方を撮像する複数の第一の位相差検出用画素、及び、上記一対の像の他方を撮像する複数の第二の位相差検出用画素を含み、上記撮像素子の受光面には、上記第一の位相差検出用画素と上記第二の位相差検出用画素のペアが複数配置される位相差検出エリアが上記一対の像のずれる方向に複数個並べて設けられ、選択された上記位相差検出エリアにある上記位相差検出用画素の出力信号に基づいて露出条件を決定する露出決定ステップと、上記決定した露出条件で上記撮像素子により撮像を行って得られる撮像画像信号のうち、上記選択された位相差検出エリアにある上記第一の位相差検出用画素及び上記第二の位相差検出用画素の出力信号を利用してデフォーカス量を演算するデフォーカス量演算ステップとを備え、上記露出決定ステップでは、上記選択された位相差検出エリアにおいて感度最大の上記位相差検出用画素と感度最小の上記位相差検出用画素との感度差、又は、上記選択された位相差検出エリアの上記受光面における上記ずれる方向での位置、に応じた位相差検出用画素を当該選択された位相差検出エリアから選択し、選択した位相差検出用画素の出力信号に基づいて露出条件を決定するものである。

本発明は、デジタルカメラに適用して有用である。

以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。
本出願は、２０１２年１１月２０日出願の日本特許出願（特願２０１２−２５４３１７）に基づくものであり、その内容はここに取り込まれる。

５ 固体撮像素子
１１ システム制御部
１９ デフォーカス量演算部
５０ 受光面
５１ 画素
５２ ＡＦエリア（位相差検出エリア）
５１Ｒ，５１Ｌ 位相差検出用画素
Ｘ 行方向（一対の像のずれ方向）
Ｙ 列方向

Claims (4)

1. 複数の撮像用画素と複数の位相差検出用画素が配置される受光面を含む撮像素子を有する撮像装置であって、
   前記複数の撮像用画素は、撮像光学系の瞳領域を通過した光束により形成された像を撮像するものであり、
   前記複数の位相差検出用画素は、前記撮像光学系の瞳領域の異なる部分を通過した一対の光束により形成された一対の像の一方を撮像する複数の第一の位相差検出用画素、及び、前記一対の像の他方を撮像する複数の第二の位相差検出用画素を含み、
   前記撮像素子の受光面には、前記第一の位相差検出用画素と前記第二の位相差検出用画素のペアが複数配置される位相差検出エリアが前記一対の像のずれる方向に複数個並べて設けられ、
   選択された前記位相差検出エリアにある前記位相差検出用画素の出力信号に基づいて露出条件を決定する露出決定部と、
   前記露出決定部により決定された露出条件で前記撮像素子により撮像を行って得られる撮像画像信号のうち、前記選択された位相差検出エリアにある前記第一の位相差検出用画素及び前記第二の位相差検出用画素の出力信号を利用してデフォーカス量を演算するデフォーカス量演算部とを備え、
   前記露出決定部は、
   前記選択された位相差検出エリアにおいて感度最大の前記位相差検出用画素と感度最小の前記位相差検出用画素との感度差が予め決められた値を超える前記位相差検出エリアが選択された場合には、前記選択された位相差検出エリアにおける感度最大の前記位相差検出用画素の出力信号に基づいて露出条件を決定し、
   前記感度差が予め決められた値以下となる前記位相差検出エリアが選択された場合には、前記選択された位相差検出エリアにおける全ての前記位相差検出用画素の感度の平均に等しい感度を持つ位相差検出用画素である平均感度画素の出力信号に基づいて露出条件を決定する撮像装置。
2. 請求項１記載の撮像装置であって、
   前記露出決定部により、前記平均感度画素の出力信号に基づいて露出条件が決定された場合に、当該露出条件で前記撮像素子により撮像を行って得られる撮像画像信号のうち、前記選択された位相差検出エリアにおける感度最大の位相差検出用画素の出力信号のレベルを判定する出力信号レベル判定部を備え、
   前記レベルが閾値未満と判定された場合に、前記デフォーカス量演算部は、前記撮像画像信号を利用してデフォーカス量を算出し、
   前記レベルが前記閾値以上と判定された場合に、前記露出決定部が、前記選択された位相差検出エリアにおける感度最大の位相差検出用画素を選択し、選択した位相差検出用画素の出力信号に基づいて露出条件を再決定し、前記デフォーカス量演算部が、前記再決定された露出条件にしたがって撮像して得られた撮像画像信号を利用してデフォーカス量を演算する撮像装置。
3. 請求項１記載の撮像装置であって、
   前記露出決定部により、前記平均感度画素の出力信号に基づいて露出条件が決定された場合に、当該露出条件で前記撮像素子により撮像を行って得られる撮像画像信号のうち、前記選択された位相差検出エリアにおける感度最大の位相差検出用画素の出力信号のレベルを判定する出力信号レベル判定部を備え、
   前記レベルが閾値未満と判定された場合に、前記デフォーカス量演算部は、前記撮像画像信号を利用してデフォーカス量を算出し、
   前記レベルが前記閾値以上と判定された場合に、前記デフォーカス量演算部は、前記撮像画像信号のうち、前記閾値以上のレベルとなっている前記位相差検出用画素の出力信号を除く信号を利用してデフォーカス量を演算する撮像装置。
4. 複数の撮像用画素と複数の位相差検出用画素が配置される受光面を含む撮像素子を有する撮像装置で用いる露出決定方法であって、
   前記複数の撮像用画素は、撮像光学系の瞳領域を通過した光束により形成された像を撮像するものであり、
   前記複数の位相差検出用画素は、前記撮像光学系の瞳領域の異なる部分を通過した一対の光束により形成された一対の像の一方を撮像する複数の第一の位相差検出用画素、及び、前記一対の像の他方を撮像する複数の第二の位相差検出用画素を含み、
   前記撮像素子の受光面には、前記第一の位相差検出用画素と前記第二の位相差検出用画素のペアが複数配置される位相差検出エリアが前記一対の像のずれる方向に複数個並べて設けられ、
   選択された前記位相差検出エリアにある前記位相差検出用画素の出力信号に基づいて露出条件を決定する露出決定ステップと、
   前記決定した露出条件で前記撮像素子により撮像を行って得られる撮像画像信号のうち、前記選択された位相差検出エリアにある前記第一の位相差検出用画素及び前記第二の位相差検出用画素の出力信号を利用してデフォーカス量を演算するデフォーカス量演算ステップとを備え、
   前記露出決定ステップでは、
   前記選択された位相差検出エリアにおいて感度最大の前記位相差検出用画素と感度最小の前記位相差検出用画素との感度差が予め決められた値を超える前記位相差検出エリアが選択された場合には、前記選択された位相差検出エリアにおける感度最大の前記位相差検出用画素の出力信号に基づいて露出条件を決定し、
   前記感度差が予め決められた値以下となる前記位相差検出エリアが選択された場合には、前記選択された位相差検出エリアにおける全ての前記位相差検出用画素の感度の平均に等しい感度を持つ位相差検出用画素である平均感度画素の出力信号に基づいて露出条件を決定する露出決定方法。

Images