JPWO2015146214A1 - 撮像装置及び合焦制御方法 - Google Patents

Abstract

位相差ＡＦ方式による合焦制御の精度を向上させることができる撮像装置及び合焦制御方法を提供する。位相差ＡＦ処理部（１９）は、ＡＦエリア（５３）にある位相差検出用画素（５２Ａ）の検出信号群ＳＡと、位相差検出用画素（５２Ｂ）の検出信号群ＳＢと、位相差検出用画素（５２Ａ）を含む行と位相差検出用画素（５２Ｂ）を含む行の間の行にあるＧ画素（５１）の検出信号群ＳＮとを用いた演算により、検出信号群ＳＡと検出信号群ＳＮとの間の第一の相関値と、検出信号群ＳＢと検出信号群ＳＮとの間の第二の相関値と、を加算した値に相当する第三の相関値を算出し、第三の相関値からデフォーカス量Ｄｆ１を生成する。システム制御部（１１）は、デフォーカス量Ｄｆ１に基づいてフォーカスレンズを駆動する。

Description

本発明は、撮像装置及び合焦制御方法に関する。

近年、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子の高解像度化に伴い、デジタルスチルカメラ、デジタルビデオカメラ、スマートフォン等の携帯電話機等の撮影機能を有する電子機器の需要が急増している。なお、以上のような撮像機能を有する電子機器を撮像装置と称する。

これら撮像装置では、主要な被写体に焦点を合わせる合焦制御方法として、位相差ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）方式（例えば特許文献１参照）が採用されている。

位相差ＡＦ方式による合焦制御は、撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方を受光する位相差検出用画素と、この一対の光束の他方を受光する位相差検出用画素のペアが撮像面に離散的に配置された撮像素子を用いて行われる。この位相差検出用画素のペア間で検出信号の相関演算を行い、相関演算の結果からデフォーカス量を生成し、このデフォーカス量に基づいて合焦制御を行うのが一般的である。

特許文献１には、同一行に位相差検出用画素のペアが配置された撮像素子を用いると、位相差検出方向に交差するエッジがある場合に焦点検出がうまくいかなくなるという課題が示されている。そして、この課題を解決するために、位相差検出用画素のペアのうちの一方と、この一方の位相差検出用画素を含む行の上隣及び下隣の行にある上記一対の光束の両方を受光する撮像用画素とでそれぞれ相関演算を行った結果からデフォーカス量を生成し、このデフォーカス量に基づいて合焦制御を行うことが記載されている。

特開２０１３−１９０７３４号公報

上記のように、位相差検出用画素のペア間で検出信号の相関演算を行う場合には、一方の位相差検出用画素の検出信号群（ａ１〜ａ５）からなるデータ波形と、他方の位相差検出用画素の検出信号群（ｂ１〜ｂ５）からなるデータ波形とで囲まれる面積を、２つのデータ波形の相関値として求めることになる。

図１４に示すように、検出信号群（ａ１〜ａ５）に対して検出信号群（ｂ１〜ｂ５）を右方向にずらしていくと、検出信号群（ａ１〜ａ５）と検出信号群（ｂ１〜ｂ５）とで位置が重なる信号の数は減少していく。つまり、検出信号群（ｂ１〜ｂ５）のずらし量が大きくなるほど、相関値を求める２つのデータ範囲が狭くなるため、相関演算結果の信頼性は低下する。

ずらし量があまり大きくない状態で、相関値の極小値が得られれば、相関演算結果の信頼性はある程度保つことができる。しかし、主要被写体に対して全くピントがあっていない大ボケの状態では、相関値が極小値となるまでに必要なずらし量は大きくなる。このため、大ボケの状態では、相関演算結果の信頼性が低下しやすく、合焦位置を決定できなかったり、合焦位置を決定できてもその精度が低下したりする。

特許文献１では、位相差検出用画素のペア間で相関演算を行う際に、相関値を求める２つのデータ範囲が狭くなることによる相関演算結果の信頼性低下という課題については認識されていない。

また、特許文献１に記載の撮像装置は、位相差検出用画素のペアの一方の検出信号と、撮像用画素の検出信号との相関演算結果に基づいて合焦制御を行うモードを有している。このモードで動作するときには、位相差検出用画素のペアの他方の検出信号は使われない。したがって、相関演算の結果には誤差が含まれる可能性が高い。

本発明は、上記事情に鑑みてなされたものであり、位相差ＡＦ方式による合焦制御の精度を向上させることができる撮像装置及び合焦制御方法を提供することを目的とする。

本発明の撮像装置は、行方向に分割される撮像光学系の瞳領域のうちの一方の分割領域を通過した光束に応じた信号を検出する第１の信号検出部、他方の分割領域を通過した光束に応じた信号を検出する第２の信号検出部、及び上記２つの分割領域を通過した光束に応じた信号を検出する第３の信号検出部を含む複数の信号検出部が、上記行方向と上記行方向に直交する列方向に二次元状に配置された撮像面を有し、上記撮像面において、上記第１の信号検出部及び上記第２の信号検出部のペアが上記行方向に複数配列されたペア行の周囲には上記第３の信号検出部のみが配置されている撮像素子と、上記ペア行を構成する上記複数の第１の信号検出部を含む行及び上記ペア行を構成する上記複数の第２の信号検出部を含む行、とは異なる行にあり、上記ペア行を構成する上記ペアの配列ピッチと同一ピッチで配列されかつ上記ペア行を構成する上記ペアの数よりも多い数の上記第３の信号検出部の検出信号群と、上記複数の第１の信号検出部の検出信号群と、上記複数の第２の信号検出部の検出信号群と、を用いた演算により、上記複数の第１の信号検出部の検出信号群と上記第３の信号検出部の検出信号群との間の第一の相関値と、上記複数の第２の信号検出部の検出信号群と上記第３の信号検出部の検出信号群との間の第二の相関値と、を加算した値に相当する第三の相関値を算出し、上記第三の相関値からデフォーカス量を生成するデフォーカス量生成部と、上記デフォーカス量生成部によって生成されたデフォーカス量に基づいて上記撮像光学系の合焦制御を行う合焦制御部と、を備えるものである。

本発明の合焦制御方法は、行方向に分割される撮像光学系の瞳領域のうちの一方の分割領域を通過した光束に応じた信号を検出する第１の信号検出部、他方の分割領域を通過した光束に応じた信号を検出する第２の信号検出部、及び上記２つの分割領域を通過した光束に応じた信号を検出する第３の信号検出部を含む複数の信号検出部が、上記行方向と上記行方向に直交する列方向に二次元状に配置された撮像面を有し、上記撮像面において、上記第１の信号検出部及び上記第２の信号検出部のペアが上記行方向に複数配列されたペア行の周囲には上記第３の信号検出部のみが配置されている撮像素子を有する撮像装置の合焦制御方法であって、上記ペア行を構成する上記複数の第１の信号検出部を含む行及び上記ペア行を構成する上記複数の第２の信号検出部を含む行、とは異なる行にあり、上記ペア行を構成する上記ペアの配列ピッチと同一ピッチで配列されかつ上記ペア行を構成する上記ペアの数よりも多い数の上記第３の信号検出部の検出信号群と、上記複数の第１の信号検出部の検出信号群と、上記複数の第２の信号検出部の検出信号群と、を用いた演算により、上記複数の第１の信号検出部の検出信号群と上記第３の信号検出部の検出信号群との間の第一の相関値と、上記複数の第２の信号検出部の検出信号群と上記第３の信号検出部の検出信号群との間の第二の相関値と、を加算した値に相当する第三の相関値を算出し、上記第三の相関値からデフォーカス量を生成するデフォーカス量生成ステップと、上記デフォーカス量生成ステップによって生成したデフォーカス量に基づいて上記撮像光学系の合焦制御を行う合焦制御ステップと、を備えるものである。

本発明によれば、位相差ＡＦ方式による合焦制御の精度を向上させることができる撮像装置及び合焦制御方法を提供することができる。

本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。 図１に示すデジタルカメラに搭載される撮像素子５の全体構成を示す平面模式図である。 図２に示す１つのＡＦエリア５３の部分拡大図である。 図３に示すペア行の位相差検出用画素５２Ａ，５２Ｂのみを示した図である。 位相差検出用画素５２Ａの断面構成を示す図である。 大ボケ時のデフォーカス量の生成方法を説明するための図である。 大ボケ時のデフォーカス量の生成方法を説明するための図である。 図１に示すデジタルカメラのオートフォーカス動作を説明するためのフローチャートである。 大ボケ時のデフォーカス量の生成に用いる撮像用画素５１の変形例を説明するための図である。 大ボケ時のデフォーカス量の生成に用いる撮像用画素５１の変形例を説明するための図である。 図１に示すデジタルカメラの撮像素子５の変形例を示す図である。 撮像装置としてスマートフォンを説明する図である。 図１２のスマートフォンの内部ブロック図である。 相関演算を行うときの２つの検出信号群の関係を説明するための図である。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。

図１に示すデジタルカメラは、焦点調節のためのフォーカスレンズ、及び、ズームレンズ等を含む撮像レンズ１と、絞り２とを有するレンズ装置を備える。レンズ装置は撮像光学系を構成する。

レンズ装置はカメラ本体に固定であるが、別のものに交換可能であってもよい。撮像レンズ１は少なくともフォーカスレンズを含んでいればよい。フォーカスレンズは、レンズ系全体を移動させることで焦点調節を行う単焦点レンズでもよい。

デジタルカメラは、レンズ装置を通して被写体を撮像するＣＣＤ型やＣＭＯＳ型等の撮像素子５と、撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、アナログ信号処理部６から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備える。

アナログ信号処理部６及びＡ／Ｄ変換回路７は、システム制御部１１によって制御される。アナログ信号処理部６及びＡ／Ｄ変換回路７は撮像素子５に内蔵されることもある。

デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、レンズ駆動部８を制御し撮像レンズ１に含まれるフォーカスレンズを駆動して主要被写体に合焦させる合焦制御を行ったり、撮像レンズ１に含まれるズームレンズの位置の調整を行ったりする。更に、システム制御部１１は、絞り駆動部９を介して絞り２の開口量を制御することにより、露光量の調整を行う。

また、システム制御部１１は、撮像素子駆動部１０を介して撮像素子５を駆動し、撮像レンズ１を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。この指示信号には、撮像光学系の合焦制御の実行を指示する指示信号が含まれる。

更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、Ａ／Ｄ変換回路７から出力される撮像画像信号に対し、補間演算、ガンマ補正演算、及びＲＧＢ／ＹＣ変換処理等を行って撮影画像データを生成するデジタル信号処理部１７と、位相差ＡＦ処理部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された表示部２３が接続される表示制御部２２と、を備える。

メモリ制御部１５、デジタル信号処理部１７、位相差ＡＦ処理部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

図２は、図１に示すデジタルカメラに搭載される撮像素子５の全体構成を示す平面模式図である。

撮像素子５は、行方向Ｘ及び行方向Ｘに直交する列方向Ｙに二次元状に配列された複数の画素（信号検出部）が配置された撮像面５０を有する。この撮像面５０には、フォーカスを合わせる対象となるエリアであるＡＦエリア５３が図２の例では９つ設定されている。

ＡＦエリア５３は、画素として撮像用画素と位相差検出用画素とを含むエリアである。

撮像面５０のうちＡＦエリア５３を除く部分には、撮像用画素だけが配置される。なお、ＡＦエリア５３は、撮像面５０に隙間無く設けてあってもよい。

図３は、図２に示す１つのＡＦエリア５３の部分拡大図である。

ＡＦエリア５３には、画素５１（図中正方形のブロック）が二次元状に配列されている。各画素５１は、フォトダイオード等の光電変換部と、この光電変換部上方に形成されたカラーフィルタとを含む。

図３では、赤色光を透過するカラーフィルタ（Ｒフィルタ）を含む画素５１（Ｒ画素５１ともいう）には“Ｒ”の文字を付し、緑色光を透過するカラーフィルタ（Ｇフィルタ）を含む画素５１（Ｇ画素５１ともいう）には“Ｇ”の文字を付し、青色光を透過するカラーフィルタ（Ｂフィルタ）を含む画素５１（Ｂ画素５１ともいう）には“Ｂ”の文字を付している。カラーフィルタの配列は撮像面５０全体でベイヤ配列となっている。

ＡＦエリア５３では、Ｇ画素５１の一部（図３中の網掛けを付した画素）が位相差検出用画素５２Ａ，５２Ｂとなっている。図３の例では、上から３行目におけるＧ画素５１の一部が位相差検出用画素５２Ａとなっており、この各位相差検出用画素５２Ａに対して列方向Ｙに最も近い同色のＧ画素５１が位相差検出用画素５２Ｂとなっている。位相差検出用画素５２Ａと、この位相差検出用画素５２Ａに対して列方向Ｙに最も近い位相差検出用画素５２Ｂとでペアが構成される。このペアが行方向Ｘに複数（図の例では８個）並べられており、この８つのペアによりペア行が構成される。ＡＦエリア５３において、ペア行が配置された領域ＰＡの周囲には、撮像用画素５１のみが配置されている。

図３は部分拡大図のため、ＡＦエリア５３には１つのペア行しかないが、ＡＦエリア５３にはペア行が列方向Ｙに複数配列されている。つまり、ＡＦエリア５３は、図３に示した構成のブロックを、列方向Ｙに複数並べた構成である。

図４は、図３に示すペア行における位相差検出用画素５２Ａ，５２Ｂのみを示した図である。

位相差検出用画素５２Ａは、一方向（図３の例では行方向Ｘ）に分割された撮像レンズ１の瞳領域の一方の分割領域を通過した光束を受光し受光量に応じた信号を検出する第１の信号検出部である。

位相差検出用画素５２Ｂは、撮像レンズ１の瞳領域の他方の分割領域を通過した光束を受光し受光量に応じた信号を検出する第２の信号検出部である。

撮像用画素５１は、撮像レンズ１の瞳領域の上記２つの分割領域の双方を通過した光束を受光し受光量に応じた信号を検出する第３の信号検出部である。

各画素５１の光電変換部上方には遮光膜が設けられ、この遮光膜には、光電変換部の受光面積を規定する開口が形成されている。

撮像用画素５１の開口の中心は、撮像用画素５１の光電変換部の中心と一致している。これに対し、位相差検出用画素５２Ａの開口（図４の白抜き部分）の中心は、位相差検出用画素５２Ａの光電変換部の中心に対し右側に偏心している。

また、位相差検出用画素５２Ｂの開口（図４の白抜き部分）の中心は、位相差検出用画素５２Ｂの光電変換部の中心に対して左側に偏心している。ここでいう右方向は、図３で示すＸ方向の一方の方向であり、左方向はＸ方向のもう一方の方向である。

図５は、位相差検出用画素５２ＡのＸ方向での断面構成を示す図である。図５に示すように、位相差検出用画素５２Ａは、開口ｃが光電変換部（ＰＤ）に対して右に偏心している。

図５に示すように、光電変換部の片側を遮光膜によって覆う事によって、遮光膜で覆った方向と逆の方向から入射した光を選択的に遮光することができる。

この構成により、ペア行を構成する複数の位相差検出用画素５２Ａと複数の位相差検出用画素５２Ｂによって、これら２つの画素群の各々によって撮像される像における行方向Ｘの位相差を検出することができる。

図１に示す位相差ＡＦ処理部１９は、ユーザ操作等によって選択されたＡＦエリア５３に結像する被写体の合焦度に応じて、以下の２つの方法のいずれかでデフォーカス量を生成する。位相差ＡＦ処理部１９は、デフォーカス量生成部として機能する。

（第一の方法）
位相差ＡＦ処理部１９は、９つのＡＦエリア５３の中からユーザ操作等により選択されたＡＦエリア５３において、ブロック毎に、ペア行の位相差検出用画素５２Ａ及び位相差検出用画素５２Ｂの検出信号群同士の相関演算を行い、位相差検出用画素５２Ａによって撮像される像と位相差検出用画素５２Ｂによって撮像される像の相対的な位置ずれ量である位相差（２つの検出信号群の相関値が最小となるときの２つの検出信号群の行方向Ｘへのずらし量）を算出する。

位相差ＡＦ処理部１９は、この位相差に基づいて、撮像レンズ１による主要被写体の結像面と撮像素子５の撮像面５０とを一致させるために必要なフォーカスレンズの移動量であるデフォーカス量Ｄｆｒを生成する。位相差ＡＦ処理部１９は、各ブロックについて生成したデフォーカス量Ｄｆｒを平均し、平均して得たデフォーカス量Ｄｆをシステム制御部１１に通知する。

（第二の方法）
位相差ＡＦ処理部１９は、選択されたＡＦエリア５３の各ブロックにおいて、ペア行を構成する複数の位相差検出用画素５２Ａの検出信号群ＳＡと、このペア行を構成する複数の位相差検出用画素５２Ｂの検出信号群ＳＢを取得する。

また、位相差ＡＦ処理部１９は、このペア行を構成する複数の位相差検出用画素５２Ａを含む第一の行（図３の例では上から３つ目の画素行）と、このペア行を構成する複数の位相差検出用画素５２Ｂを含む第二の行（図３の例では上から５つ目の画素行）とは異なる行（ここでは、図３における第一の行と第二の行の間の行とする）にあり、このペア行を構成するペアの配列ピッチと同一ピッチで配列されかつこのペア行を構成するペアの数よりも多い数の位相差検出用画素５２Ａ，５２Ｂと同色光を検出する撮像用画素５１（以下、相関演算対象画素という）の検出信号群ＳＮを取得する。

位相差ＡＦ処理部１９は、検出信号群ＳＡと、検出信号群ＳＢと、検出信号群ＳＮとを用いた演算により、検出信号群ＳＡと検出信号群ＳＮとを相関演算した結果得られる第一の相関値と、検出信号群ＳＢと検出信号群ＳＮとを相関演算した結果得られる第二の相関値とを加算した値に等しい第三の相関値を算出する。そして、位相差ＡＦ処理部１９は、この第三の相関値からデフォーカス量Ｄｆ１を生成する。

位相差ＡＦ処理部１９は、選択されたＡＦエリア５３の各ブロックについて、第三の相関値を算出し、この第三の相関値からデフォーカス量Ｄｆ１を生成する。そして、位相差ＡＦ処理部１９は、各ブロックについて生成したデフォーカス量Ｄｆ１からデフォーカス量Ｄｆ２を生成し、デフォーカス量Ｄｆ２をシステム制御部１１に通知する。例えば、各ブロックについて生成したデフォーカス量Ｄｆ１をデフォーカス量Ｄｆ２とする。

システム制御部１１は、位相差ＡＦ処理部１９で生成されたデフォーカス量Ｄｆｒ又はデフォーカス量Ｄｆ１に基づいて、フォーカスレンズを駆動して合焦制御を行う。システム制御部１１は、合焦制御部として機能する。具体的には、システム制御部１１は、位相差ＡＦ処理部１９から通知されたデフォーカス量Ｄｆ又はデフォーカス量Ｄｆ２にしたがって、このデフォーカス量の分だけフォーカスレンズを移動させて合焦制御を行う。

以下、上記の第二の方法について具体例を挙げて詳しく説明する。

図６は、第三の相関値を算出する方法を説明するための図である。図６には、図３に示したＡＦエリア５３の１ブロックが図示されている。

図６では、太枠で囲った４行目にあるＧ画素５１を相関演算対象画素としている。図６に示すように、相関演算対象画素の行方向Ｘの配列ピッチは、位相差検出用画素５２Ａ，５２Ｂのペアの行方向Ｘの配列ピッチと同じである。また、相関演算対象画素の数は、位相差検出用画素５２Ａ，５２Ｂのペアの数よりも４つ多くなっている。

図７は、図６の位相差検出用画素５２Ａと、位相差検出用画素５２Ｂと、相関演算対象画素である撮像用画素５１とを抽出した図である。

図６において、位相差検出用画素５２Ａの左下にありかつ位相差検出用画素５２Ｂの左上にある相関演算対象画素としての撮像用画素５１については、これら位相差検出用画素５２Ａ，５２Ｂとほぼ同じ位置にあるとみなせる。このため、図７では、任意の位相差検出用画素５２Ａの左下にある相関演算対象画素の撮像用画素５１については、行方向Ｘの位置（“ｉ”で示す）がこの位相差検出用画素５２Ａと同じものとして図示している。

図７において、位置ｉの位相差検出用画素５２Ａの検出信号をＳＡ_ｉとする。位置ｉの位相差検出用画素５２Ｂの検出信号をＳＢ_ｉとする。位置ｉの撮像用画素５１の検出信号をＳＮ_ｉとする。

この設定により、ＳＡ_１〜ＳＡ_８からなる検出信号群が上記の検出信号群ＳＡになり、ＳＢ_１〜ＳＢ_８からなる検出信号群が上記の検出信号群ＳＢになり、ＳＮ_−１〜ＳＮ_１０からなる検出信号群が上記の検出信号群ＳＮになる。

ＳＡ_１〜ＳＡ_８からなる検出信号群に対する、ＳＮ_−１〜ＳＮ_１０からなる検出信号群の相関値である第一の相関値Ｓ［Ａ―Ｎ］は、以下の式（１）により求めることができる。ｄは２つの検出信号群のずらし量であり、−Ｌ〜Ｌまで１ずつ増減する値である。Ｌは任意の値である。

ＳＢ_１〜ＳＢ_８からなる検出信号群に対する、ＳＮ_−１〜ＳＮ_１０からなる検出信号群の相関値である第二の相関値Ｓ［Ｂ―Ｎ］は、以下の式（２）により求めることができる。

式（１）からは、検出信号群ＳＮを検出信号群ＳＡに対して行方向Ｘにずらし量ｄずらしたときの、検出信号群ＳＮと検出信号群ＳＡの一致度を示す第一の相関値を求めることができる。

図７から分かるように、検出信号群ＳＮは検出信号群ＳＡよりも信号数が多い。このため、ずらし量ｄの値が−２〜＋２までの間は、検出信号群ＳＡの全ての検出信号を第一の相関値の算出に用いることができる。

また、式（２）からは、検出信号群ＳＮを検出信号群ＳＢに対して行方向Ｘにずらし量ｄずらしたときの、検出信号群ＳＮと検出信号群ＳＢの一致度を示す第二の相関値を求めることができる。

図７から分かるように、検出信号群ＳＮは検出信号群ＳＢよりも信号数が多い。このため、ずらし量ｄの値が−２〜＋２までの間は、検出信号群ＳＢの全ての検出信号を第二の相関値の算出に用いることができる。

このように、式（１）と式（２）の相関演算では、検出信号群ＳＡと検出信号群ＳＢとで相関演算を行う場合と比べて、演算に使用できる位相差検出用画素の検出信号の数が多くなる。

したがって、式（１）と式（２）を利用して、デフォーカス量を生成すれば、ずらし量ｄが大きくなるような大ボケの状態であっても、生成されるデフォーカス量の信頼性を高めることが可能である。

ここで、ＳＮ_ｉは、位置ｉの位相差検出用画素５２Ａの検出信号ＳＡ_ｉと、位置ｉの位相差検出用画素５２Ｂの検出信号ＳＢ_ｉの和で近似することができる。

つまり、以下の式（３）の関係が成り立つ。

式（１）に式（３）を代入すると、式（４）が得られる。

Ａ_ｉ＋ｄとＢ_ｉ＋ｄはそれぞれ正の値なので、式（４）は以下の式（５）に変形できる。

式（２）についても同様に、以下の式（６）に変形できる。

式（５）のＳ［Ａ−Ｎ］と式（６）のＳ［Ｂ−Ｎ］の和は、以下の式（７）となる。

したがって、位相差ＡＦ処理部１９は、式（７）の演算を行うことで、第三の相関値を得ることができる。

なお、式（７）は、ずらし量ｄの値によっては、検出信号が存在しない場合がある。例えば、ｄ＝１でｉ＝８のときはＳＢ_ｉ＋ｄ＝ＳＢ_９が式に現れるが、検出信号ＳＢ_９は存在しない。このため、この場合には、ＳＢ_９を含む項の値は０として扱う。ＳＡ_ｉ＋ｄとＳＮ_ｉ＋ｄについても同様である。

位相差ＡＦ処理部１９は、式（７）で求まる第三の相関値が最小となるときのずらし量ｄの値を位相差とし、この位相差からデフォーカス量Ｄｆ１を生成する。以上により、検出信号群ＳＡと検出信号群ＳＢとの相関演算を行って位相差を求める場合と比較して、位相差の検出精度を高めることができる。

次に、図１に示すデジタルカメラのオートフォーカス動作について説明する。

図８は、図１に示すデジタルカメラのオートフォーカス動作を説明するためのフローチャートである。

デジタルカメラが撮像モードに設定されると、システム制御部１１は、ライブビュー画像の表示を開始させる（ステップＳ１）。

具体的には、システム制御部１１は、撮像素子５により被写体を撮像し、撮像して得られる撮像画像データに基づく画像を表示部２３に表示させる制御を繰り返し行う。

ライブビュー画像の表示が開始された後、操作部１４に含まれるシャッタボタンの半押し操作等によって撮像光学系の合焦制御の実行指示（以下、オートフォーカスの実行指示。図ではＡＦ指示）がなされると（ステップＳ２：ＹＥＳ）、位相差ＡＦ処理部１９は、このオートフォーカスの実行指示がなされた時点で得られている撮像画像信号のうち最新のもの（以下、撮像画像信号Ｇａとする）を用いて、選択されているＡＦエリア５３に結像する被写体の合焦度を判定する。位相差ＡＦ処理部１９は、合焦度判定部として機能する。

例えば、位相差ＡＦ処理部１９は、撮像画像信号Ｇａのうち、選択されているＡＦエリア５３の各ブロックから得られた位相差検出用画素５２Ａ，５２Ｂ間で検出信号群の相関演算を行い、この相関演算で得られる位相差の値を閾値ＴＨ１と比較する。

そして、位相差ＡＦ処理部１９は、位相差が閾値ＴＨ１以上であれば合焦度が閾値ＴＨ未満である（大ボケである）と判定し、位相差が閾値ＴＨ１未満であれば合焦度が閾値ＴＨ以上である（小ボケである）と判定する。

または、位相差ＡＦ処理部１９は、撮像画像信号Ｇａのうち、選択されているＡＦエリア５３の各ブロックから得られた位相差検出用画素５２Ａ，５２Ｂ間で検出信号群の相関演算を行った結果、位相差を決められなかった場合は、合焦度が閾値ＴＨ未満である（大ボケである）と判定する。

相関演算で求まる相関値が最小となったときの２つの検出信号群のずらし量を位相差として検出するが、ずらし量毎の相関値に大きな差がない場合には、位相差を決定することができない。このような場合は、被写体にエッジが少なくボケが大きい状態と考えられる。したがって、位相差を検出できないときは合焦度が閾値ＴＨ未満と判定し、位相差を検出できたときは合焦度が閾値ＴＨ以上と判定することができる。

または、位相差ＡＦ処理部１９は、撮像画像信号Ｇａのうち、選択されているＡＦエリア５３にある撮像用画素５１の検出信号を用いてＡＦエリア５３に結像する被写体のコントラストを算出する。

具体的には、ＡＦエリア５３において、隣接する撮像用画素５１の検出信号の差分の積算値をコントラスト値として算出する。コントラストが低い被写体はボケが大きい可能性が高い。したがって、位相差ＡＦ処理部１９は、コントラスト値が閾値ＴＨ２未満であれば合焦度が閾値ＴＨ未満と判定し、コントラスト値が閾値ＴＨ２以上であれば合焦度が閾値ＴＨ以上と判定する。

判定の結果、合焦度が閾値ＴＨ未満であれば（ステップＳ３：ＮＯ）、位相差ＡＦ処理部１９はステップＳ４の処理を行い、合焦度が閾値ＴＨ以上であれば（ステップＳ３：ＹＥＳ）、位相差ＡＦ処理部１９はステップＳ８の処理を行う。

ステップＳ８において、位相差ＡＦ処理部１９は、撮像画像信号Ｇａのうち、選択されているＡＦエリア５３の各ブロックにある位相差検出用画素５２Ａと位相差検出用画素５２Ｂの検出信号群同士で相関演算を行って、各ブロックについてデフォーカス量Ｄｆｒを生成する。更に、位相差ＡＦ処理部１９は、このデフォーカス量Ｄｆｒの平均値を最終的なデフォーカス量Ｄｆとして生成し、デフォーカス量Ｄｆをシステム制御部１１に通知する。

システム制御部１１は、位相差ＡＦ処理部１９から通知されたデフォーカス量Ｄｆに基づき、フォーカスレンズをデフォーカス量Ｄｆに相当する分だけ移動させて（ステップＳ９）、オートフォーカスを完了する。

ステップＳ４において、位相差ＡＦ処理部１９は、撮像画像信号Ｇａから、選択されているＡＦエリア５３の各ブロックから得られた検出信号群ＳＡ、検出信号群ＳＢ、及び検出信号群ＳＮを取得する。そして、位相差ＡＦ処理部１９は、式（７）の演算により第三の相関値を算出する。

位相差ＡＦ処理部１９は、算出した第三の相関値からデフォーカス量Ｄｆ１を生成する
（ステップＳ５）。位相差ＡＦ処理部１９は、各ブロックについて生成したデフォーカス量Ｄｆ１からデフォーカス量Ｄｆ２を生成する（ステップＳ６）。

ステップＳ６でデフォーカス量Ｄｆ２が生成されると、これがシステム制御部１１に通知される。システム制御部１１は、このデフォーカス量Ｄｆ２に基づき、フォーカスレンズをデフォーカス量Ｄｆ２に相当する分だけ移動させて（ステップＳ７）、オートフォーカスが完了する。

以上のように、図１のデジタルカメラによれば、位相差検出用画素５２Ａの検出信号群と位相差検出用画素５２Ｂの検出信号群だけでなく、これら検出信号群よりも検出信号の数が多い撮像用画素５１の検出信号群を用いてデフォーカス量Ｄｆ１を生成するため、大ボケの状態であっても合焦精度を確保することができる。

なお、図８の動作例では、合焦度が閾値未満のときにステップＳ４以降の処理を行うものとした。しかし、ステップＳ４以降の処理を常に行うようにしてもよい。ステップＳ４以降の処理が有効となるのは、位相差検出用画素５２Ａ，５２Ｂの２つの検出信号群のずらし量が大きくなるような大ボケの状態である。このため、合焦度が閾値未満のときにのみステップＳ４以降の処理を行うことで、演算量が増えるのを防ぐことができる。

図６の説明では、ブロック内にある各位相差検出用画素５２Ａに対して一方向（左下方向）にある計８つの撮像用画素５１に加え、この８つの撮像用画素５１が配置される領域の左端部よりも行方向Ｘの外側にある計２つの撮像用画素５１と、この８つの撮像用画素５１が配置される領域の右端部よりも行方向Ｘの外側にある計２つの撮像用画素５１とを併せて、相関演算対象画素とした。

しかし、図９に示すように、ブロック内にある各位相差検出用画素５２Ａに対して一方向（左下方向）にある計８つの撮像用画素５１に加え、この８つの撮像用画素５１が配置される領域の左端部よりも行方向Ｘの外側にある計２つの撮像用画素５１を併せた１０個の撮像用画素５１を相関演算対象画素としてもよい。このようにした場合でも合焦精度を上げることができる。

また、図１０に示すように、位相差検出用画素５２Ｂを含む第二の行の下の行にある全てのＧ画素５１（太線で囲ったもの）を相関演算対象画素としてもよい。図６，９のように、位相差検出用画素５２Ａを含む第一の行と、位相差検出用画素５２Ｂを含む第二の行との間にある行のＧ画素５１を相関演算対象画素とすることで、上記式（３）の近似がより正確なものとなる。このため、合焦精度を向上させることができる。

また、相関演算対象画素は、その数が多いほど合焦精度が高くなるものの、その数が多すぎると式（７）の演算量が多くなり消費電力が大きくなる。このため、位相差ＡＦ処理部１９は、相関演算対象画素の数を制御することが好ましい。

具体的には、位相差ＡＦ処理部１９は、図８のステップＳ３で判定した合焦度が閾値ＴＨ未満の場合には、この合焦度が低いほど、相関演算対象の撮像用画素の数を増やす。

合焦度が低いかどうかは、合焦度を示すパラメータの大きさで判断すればよい。パラメータとしては、位相差検出用画素５２Ａの検出信号群と位相差検出用画素５２Ｂの検出信号群との相関演算により求めた位相差や、前述したコントラスト値を用いる。

位相差が大きい（つまり合焦度が低い）と、それだけ合焦精度が低下しやすくなるため、位相差ＡＦ処理部１９は相関演算対象画素の数を増やす。位相差が小さいと、それだけ合焦精度が低下しにくくなるため、位相差ＡＦ処理部１９は相関演算対象画素の数を減らす。

コントラスト値が小さい（つまり合焦度が低い）と、それだけ合焦精度が低下しやすくなるため、位相差ＡＦ処理部１９は相関演算対象画素の数を増やす。コントラスト値が大きいと、それだけ合焦精度が低下しにくくなるため、位相差ＡＦ処理部１９は相関演算対象画素の数を減らす。

このようにすることで、合焦精度の向上と消費電力の削減を両立させることができる。

撮像素子５では、ペアを構成する位相差検出用画素５２Ａと位相差検出用画素５２Ｂとが異なる行に配置されたものとしているが、ペアを構成する位相差検出用画素５２Ａと位相差検出用画素５２Ｂとが同じに配置されていてもよい。

図１１は、撮像素子５のＡＦエリア５３の１つのブロック内の構成の変形例を示す図である。

図１１の構成では、網掛けをした画素５１が、第１の信号検出部と、第２の信号検出部と、第３の信号検出部のそれぞれとして機能する。

図１１の太線枠で囲った部分の拡大図に示すように、網掛けをした画素５１は、２つに分割されており、分割した２つをそれぞれ位相差検出用画素ｇ１と位相差検出用画素ｇ２としている。

この構成では、位相差検出用画素ｇ１が第１の信号検出部となり、位相差検出用画素ｇ２が第２の信号検出部となる。画素５１内の第１の信号検出部と第２の信号検出部からは独立に信号を読み出すことができる。

そして、同じ画素５１にある第１の信号検出部と第２の信号検出部の信号を加算すると、位相差のない通常の撮像用信号を得られる。したがって、網掛けをした画素５１は、第３の信号検出部としても機能する。

図１１の構成でも、行方向Ｘで隣り合う位相差検出用画素ｇ１間の距離Ｐ１は、隣り合うＲ画素５１間の距離Ｐ２と同じになる。このため、図中の破線で囲ったＧ画素５１を相関演算対象画素とすることで、これまで説明したのと同じ処理を適用可能である。

本明細書では撮像装置としてデジタルカメラを例にしたが、以下では、撮像装置としてカメラ付のスマートフォンの実施形態について説明する。

図１２は、本発明の撮像装置の一実施形態であるスマートフォン２００の外観を示すものである。図１２に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

図１３は、図１２に示すスマートフォン２００の構成を示すブロック図である。図１３に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。

表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。

操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。

図１２に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。

係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０１の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２１１は、スピーカ２０５やマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。また、図１２に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

操作部２０７は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１２に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２１２は、主制御部２２０の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達することや、スマートフォン２００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０や外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２１５は、例えば、３軸の加速度センサなどを備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向や加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２２０は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

更に、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２０８は、図１に示したデジタルカメラにおける外部メモリ制御部２０、記録媒体２１、表示制御部２２、表示部２３、及び操作部１４以外の構成を含む。カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることができる。図１２に示すスマートフォン
２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。

また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示することや、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用することができる。また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。更には、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等などを付加して記憶部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることもできる。

以上のような構成のスマートフォン２００においても、カメラ部２０８の撮像素子として撮像素子５を用い、主制御部２２０とカメラ部２０８において図８で説明した処理を行うことで、大ボケ状態であっても、精度の高い合焦制御が可能になる。

以上説明してきたように、本明細書には以下の事項が開示されている。

開示された撮像装置は、行方向に分割される撮像光学系の瞳領域のうちの一方の分割領域を通過した光束に応じた信号を検出する第１の信号検出部、他方の分割領域を通過した光束に応じた信号を検出する第２の信号検出部、及び上記２つの分割領域を通過した光束に応じた信号を検出する第３の信号検出部を含む信号検出部が、上記行方向と上記行方向に直交する列方向に二次元状に配置された撮像面を有し、上記撮像面において、上記第１の信号検出部及び上記第２の信号検出部のペアが上記行方向に複数配列されたペア行の周囲には上記第３の信号検出部のみが配置されている撮像素子と、上記ペア行を構成する上記複数の第１の信号検出部を含む行及び上記ペア行を構成する上記複数の第２の信号検出部を含む行、とは異なる行にあり、上記ペア行を構成する上記ペアの配列ピッチと同一ピッチで配列されかつ上記ペア行を構成する上記ペアの数よりも多い数の上記第３の信号検出部の検出信号群と、上記複数の第１の信号検出部の検出信号群と、上記複数の第２の信号検出部の検出信号群と、を用いた演算により、上記複数の第１の信号検出部の検出信号群と上記第３の信号検出部の検出信号群との間の第一の相関値と、上記複数の第２の信号検出部の検出信号群と上記第３の信号検出部の検出信号群との間の第二の相関値と、を加算した値に相当する第三の相関値を算出し、上記第三の相関値からデフォーカス量を生成するデフォーカス量生成部と、上記デフォーカス量生成部によって生成されたデフォーカス量に基づいて上記撮像光学系の合焦制御を行う合焦制御部と、を備えるものである。

開示された撮像装置において、上記撮像素子は、上記ペアを構成する上記第１の信号検出部と上記第２の信号検出部が異なる行に配置されていてもよい。

開示された撮像装置において、上記ペアの数よりも多い数の第３の信号検出部を含む行は、上記複数の第１の信号検出部を含む行と上記複数の第２の信号検出部を含む行の間の行であってもよい。

開示された撮像装置は、上記撮像面において上記ペア行を含む領域に結像する主要被写体の合焦度を判定する合焦度判定部を更に備えていてもよく、上記デフォーカス量生成部は、上記合焦度判定部によって上記合焦度が閾値未満であると判定された場合に、上記第三の相関値からデフォーカス量を生成し、上記合焦度判定部によって上記合焦度が上記閾値以上であると判定された場合に、上記複数の第１の信号検出部の検出信号群と上記複数の第２の信号検出部の検出信号群との相関値からデフォーカス量を生成してもよい。

開示された撮像装置において、上記デフォーカス量生成部は、上記第三の相関値を算出する際に用いる上記第３の信号検出部の検出信号群を構成する検出信号の数を、上記合焦度が低いほど多くしてもよい。

開示された合焦制御方法は、行方向に分割される撮像光学系の瞳領域のうちの一方の分割領域を通過した光束に応じた信号を検出する第１の信号検出部、他方の分割領域を通過した光束に応じた信号を検出する第２の信号検出部、及び上記２つの分割領域を通過した光束に応じた信号を検出する第３の信号検出部を含む信号検出部が、上記行方向と上記行方向に直交する列方向に二次元状に配置された撮像面を有し、上記撮像面において、上記第１の信号検出部及び上記第２の信号検出部のペアが上記行方向に複数配列されたペア行の周囲には上記第３の信号検出部のみが配置されている撮像素子を有する撮像装置の合焦制御方法であって、上記ペア行を構成する上記複数の第１の信号検出部を含む行及び上記ペア行を構成する上記複数の第２の信号検出部を含む行、とは異なる行にあり、上記ペア行を構成する上記ペアの配列ピッチと同一ピッチで配列されかつ上記ペア行を構成する上記ペアの数よりも多い数の上記第３の信号検出部の検出信号群と、上記複数の第１の信号検出部の検出信号群と、上記複数の第２の信号検出部の検出信号群と、を用いた演算により、上記複数の第１の信号検出部の検出信号群と上記第３の信号検出部の検出信号群との間の第一の相関値と、上記複数の第２の信号検出部の検出信号群と上記第３の信号検出部の検出信号群との間の第二の相関値と、を加算した値に相当する第三の相関値を算出し、上記第三の相関値からデフォーカス量を生成するデフォーカス量生成ステップと、上記デフォーカス量生成ステップによって生成したデフォーカス量に基づいて上記撮像光学系の合焦制御を行う合焦制御ステップと、を備えるものである。

本発明は、デジタルカメラ等に適用して利便性が高く、有効である。

１ 撮像レンズ
２ 絞り
５ 撮像素子
１１ システム制御部（合焦制御部）
１９ 位相差ＡＦ処理部（デフォーカス量生成部、合焦度判定部）
５０ 撮像面
５１ 画素、撮像用画素（第３の信号検出部）
５２Ａ，５２Ｂ 位相差検出用画素（第１の信号検出部、第２の信号検出部）
５３ ＡＦエリア
Ｘ 行方向
Ｙ 列方向

Claims (6)

1. 行方向に分割される撮像光学系の瞳領域のうちの一方の分割領域を通過した光束に応じた信号を検出する第１の信号検出部、他方の分割領域を通過した光束に応じた信号を検出する第２の信号検出部、及び前記２つの分割領域を通過した光束に応じた信号を検出する第３の信号検出部を含む複数の信号検出部が、前記行方向と前記行方向に直交する列方向に二次元状に配置された撮像面を有し、前記撮像面において、前記第１の信号検出部及び前記第２の信号検出部のペアが前記行方向に複数配列されたペア行の周囲には前記第３の信号検出部のみが配置されている撮像素子と、
   前記ペア行を構成する前記複数の第１の信号検出部を含む行及び前記ペア行を構成する前記複数の第２の信号検出部を含む行、とは異なる行にあり、前記ペア行を構成する前記ペアの配列ピッチと同一ピッチで配列されかつ前記ペア行を構成する前記ペアの数よりも多い数の前記第３の信号検出部の検出信号群と、前記複数の第１の信号検出部の検出信号群と、前記複数の第２の信号検出部の検出信号群と、を用いた演算により、前記複数の第１の信号検出部の検出信号群と前記第３の信号検出部の検出信号群との間の第一の相関値と、前記複数の第２の信号検出部の検出信号群と前記第３の信号検出部の検出信号群との間の第二の相関値と、を加算した値に相当する第三の相関値を算出し、前記第三の相関値からデフォーカス量を生成するデフォーカス量生成部と、
   前記デフォーカス量生成部によって生成されたデフォーカス量に基づいて前記撮像光学系の合焦制御を行う合焦制御部と、を備える撮像装置。
   
2. 請求項１記載の撮像装置であって、
   前記撮像素子は、前記ペアを構成する前記第１の信号検出部と前記第２の信号検出部が異なる行に配置されている撮像装置。
   
3. 請求項２記載の撮像装置であって、
   前記ペアの数よりも多い数の第３の信号検出部を含む行は、前記複数の第１の信号検出部を含む行と前記複数の第２の信号検出部を含む行の間の行である撮像装置。
   
4. 請求項１〜３のいずれか１項記載の撮像装置であって、
   前記撮像面において前記ペア行を含む領域に結像する主要被写体の合焦度を判定する合焦度判定部を更に備え、
   前記デフォーカス量生成部は、前記合焦度判定部によって前記合焦度が閾値未満であると判定された場合に、前記第三の相関値からデフォーカス量を生成し、前記合焦度判定部によって前記合焦度が前記閾値以上であると判定された場合に、前記複数の第１の信号検出部の検出信号群と前記複数の第２の信号検出部の検出信号群との相関値からデフォーカス量を生成する撮像装置。
   
5. 請求項４記載の撮像装置であって、
   前記デフォーカス量生成部は、前記第三の相関値を算出する際に用いる前記第３の信号検出部の検出信号群を構成する検出信号の数を、前記合焦度が低いほど多くする撮像装置。
   
6. 行方向に分割される撮像光学系の瞳領域のうちの一方の分割領域を通過した光束に応じた信号を検出する第１の信号検出部、他方の分割領域を通過した光束に応じた信号を検出する第２の信号検出部、及び前記２つの分割領域を通過した光束に応じた信号を検出する第３の信号検出部を含む複数の信号検出部が、前記行方向と前記行方向に直交する列方向に二次元状に配置された撮像面を有し、前記撮像面において、前記第１の信号検出部及び前記第２の信号検出部のペアが前記行方向に複数配列されたペア行の周囲には前記第３の信号検出部のみが配置されている撮像素子を有する撮像装置の合焦制御方法であって、
   前記ペア行を構成する前記複数の第１の信号検出部を含む行及び前記ペア行を構成する前記複数の第２の信号検出部を含む行、とは異なる行にあり、前記ペア行を構成する前記ペアの配列ピッチと同一ピッチで配列されかつ前記ペア行を構成する前記ペアの数よりも多い数の前記第３の信号検出部の検出信号群と、前記複数の第１の信号検出部の検出信号群と、前記複数の第２の信号検出部の検出信号群と、を用いた演算により、前記複数の第１の信号検出部の検出信号群と前記第３の信号検出部の検出信号群との間の第一の相関値と、前記複数の第２の信号検出部の検出信号群と前記第３の信号検出部の検出信号群との間の第二の相関値と、を加算した値に相当する第三の相関値を算出し、前記第三の相関値からデフォーカス量を生成するデフォーカス量生成ステップと、
   前記デフォーカス量生成ステップによって生成したデフォーカス量に基づいて前記撮像光学系の合焦制御を行う合焦制御ステップと、を備える合焦制御方法。

Images