JP6028112B2 - 撮像装置及び合焦制御方法 - Google Patents

Description

本発明は、撮像装置及び合焦制御方法に関する。

近年、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子の高解像度化に伴い、デジタルスチルカメラ、デジタルビデオカメラ、スマートフォン等の携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ，携帯情報端末）等の撮影機能を有する情報機器の需要が急増している。なお、以上のような撮像機能を有する情報機器を撮像装置と称する。

これら撮像装置では、主要な被写体に焦点を合わせる合焦制御方法として、コントラストＡＦ（Ａｕｔｏ Ｆｏｃｕｓ、自動合焦）方式や位相差ＡＦ方式（例えば特許文献１〜３参照）が採用されている。

位相差ＡＦ方式により合焦制御を行う撮像装置に搭載される固体撮像素子には、例えば、遮光膜開口が互いに逆方向に偏心した位相差検出用画素のペアを撮像面の全面に離散的に設けたものが使用される。

この位相差検出用画素は、遮光膜開口が光電変換部に対して偏心していない通常の撮像用画素と比べて感度が低い。そのため、被写体が低照度の場合には、位相差検出用画素から得られる信号レベルが低下してしまう。このような信号レベルの低下を補うべく、単純にゲインアップ処理をして相関演算を行うと、相関演算結果において誤差が生じてしまう。

特許文献１には、近接する位相差検出用画素同士で出力信号を加算し、加算後の信号を用いて、デフォーカス量を決定するための相関演算を行う構成が開示されている。

また、特許文献２には、低輝度時や大デフォーカス時に、連続して撮像して得た複数の撮像画像信号における同一位置の位相差検出用画素同士の信号を加算し、加算後の信号を用いた相関演算により、デフォーカス量を算出する構成が開示されている。

特許文献１，２の構成によれば、位相差検出用画素の信号同士を加算することによって信号量を増やすことができるため、暗い被写体に対しても精度の高い合焦制御が可能になる。

特開２０１０−９１９９１号公報 特開２０１２−８２１２号公報 特開２００１−３３０８８２号公報

特許文献１に記載の撮像装置のように、異なる時刻に得られた複数の撮像画像信号間で位相差検出用画素の信号を加算する方法は、被写体が変化していない場合には有効である。しかし、被写体が変化していた場合には、デフォーカス量の異なる可能性のある２つの撮像シーンにおける位相差検出用画素の信号を加算して相関演算することになるため、相関演算結果に誤差が生じる可能性がある。

特許文献２に記載の撮像装置は、異なる位置にある位相差検出用画素の信号を加算する構成のため、位相差検出用画素の数を減らしてデフォーカス量を算出することになり、相関演算結果の精度が低下してしまう。

特許文献３に記載の撮像装置は、被写体に動体が含まれる場合にシャッタ速度を速くするものであるが、シャッタ速度を速くすると露光量が不足するため、暗い被写体に対して合焦精度が低下するという課題を解決することはできない。

本発明は、上記事情に鑑みてなされたものであり、位相差検出用画素の信号レベルが低い場合であっても、合焦制御の精度が低下するのを極力防ぐことのできる撮像装置及び合焦制御方法を提供することを目的とする。

本発明の撮像装置は、撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部、及び、上記一対の光束の他方に応じた信号を検出する第２の信号検出部を含み、上記撮像光学系を通して被写体を撮像する撮像素子と、上記撮像素子によって連続して行われる複数回の撮像の各々によって得られた撮像画像信号のうち、上記撮像素子の撮像面におけるフォーカスを合わせる対象となるエリアに対応する範囲の上記第１の信号検出部及び上記第２の信号検出部の検出信号、を用いて複数の第一のデフォーカス量を算出する第一のデフォーカス量算出部と、上記複数回の撮像の各々によって得られた撮像画像信号のうち上記範囲の上記第１の信号検出部の検出信号について、同じ上記第１の信号検出部の検出信号同士を加算し、上記複数回の撮像の各々によって得られた撮像画像信号のうち上記範囲の上記第２の信号検出部の検出信号について、同じ上記第２の信号検出部の検出信号同士を加算し、加算後の上記第１の信号検出部の検出信号と上記第２の信号検出部の検出信号を用いて第二のデフォーカス量を算出する第二のデフォーカス量算出部と、上記複数の第一のデフォーカス量と上記第二のデフォーカス量との比較により、上記第二のデフォーカス量に基づいた上記撮像光学系の合焦制御を行うか否かを判定する判定部と、を備えるものである。

本発明の合焦制御方法は、撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部と、上記一対の光束の他方に応じた信号を検出する第２の信号検出部とを含み、上記撮像光学系を通して被写体を撮像する撮像素子によって連続して行われる複数回の撮像の各々によって得られた撮像画像信号のうち、上記撮像素子の撮像面におけるフォーカスを合わせる対象となるエリアに対応する範囲の上記第１の信号検出部及び上記第２の信号検出部の検出信号、を用いて複数の第一のデフォーカス量を算出する第一のデフォーカス量算出ステップと、上記複数回の撮像の各々によって得られた撮像画像信号のうち上記範囲の上記第１の信号検出部の検出信号について、同じ上記第１の信号検出部の検出信号同士を加算し、上記複数回の撮像の各々によって得られた撮像画像信号のうち上記範囲の上記第２の信号検出部の検出信号について、同じ上記第２の信号検出部の検出信号同士を加算し、加算後の上記第１の信号検出部の検出信号と上記第２の信号検出部の検出信号を用いて第二のデフォーカス量を算出する第二のデフォーカス量算出ステップと、上記複数の第一のデフォーカス量と上記第二のデフォーカス量との比較により、上記第二のデフォーカス量に基づいた上記撮像光学系の合焦制御を行うか否かを判定する判定ステップと、を備えるものである。

本発明によれば、位相差検出用画素の信号レベルが低い場合であっても、合焦制御の精度が低下するのを極力防ぐことのできる撮像装置及び合焦制御方法を提供することができる。

本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。 図１に示すデジタルカメラに搭載される撮像素子５の全体構成を示す平面模式図である。 図２に示す１つのＡＦエリア５３の部分拡大図である。 図３に示す位相差検出用画素５２のみを示した図である。 位相差検出用画素５２Ａの断面構成を示す図である。 撮像素子５に含まれる全ての画素を撮像用画素５１とした構成を示す図である。 図１に示すデジタルカメラのオートフォーカス動作を説明するためのフローチャートである。 図１に示すデジタルカメラのオートフォーカス動作の変形例を説明するためのフローチャートである。 図１に示すデジタルカメラのブロック構成の変形例を示す図である。 図１に示すデジタルカメラのオートフォーカス動作の変形例を説明する図である。 図１に示すデジタルカメラのオートフォーカス動作の変形例を説明する図である。 撮像装置としてスマートフォンを説明する図である。 図１２のスマートフォンの内部ブロック図である。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。

図１に示すデジタルカメラは、焦点調節のためのフォーカスレンズ、及び、ズームレンズ等を含む撮像レンズ１と、絞り２とを有するレンズ装置を備える。レンズ装置は撮像光学系を構成する。

図１に示すレンズ装置はカメラ本体に固定されているが、別のレンズ装置に交換可能であってもよい。撮像レンズ１は少なくともフォーカスレンズを含んでいればよい。フォーカスレンズは、レンズ系全体を移動させることで焦点調節を行う単焦点レンズでもよい。

デジタルカメラは、撮像光学系を通して被写体を撮像するＣＣＤ型やＣＭＯＳ型等の撮像素子５と、撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、アナログ信号処理部６から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備える。

アナログ信号処理部６及びＡ／Ｄ変換回路７は、システム制御部１１によって制御される。アナログ信号処理部６及びＡ／Ｄ変換回路７は撮像素子５に内蔵されることもある。

デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、レンズ駆動部８を制御し撮像レンズ１に含まれるフォーカスレンズを駆動して主要被写体に合焦させる合焦制御を行ったり、撮像レンズ１に含まれるズームレンズの位置の調整を行ったりする。更に、システム制御部１１は、絞り駆動部９を介して絞り２の開口量を制御することにより、露光量の調整を行う。

また、システム制御部１１は、撮像素子駆動部１０を介して撮像素子５を駆動し、撮像素子５に、撮像レンズ１を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。この指示信号には、撮像光学系の合焦制御の実行を指示する指示信号が含まれる。

更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、デジタル信号処理部１７と、コントラストＡＦ処理部１８と、位相差ＡＦ処理部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された表示部２３が接続される表示制御部２２と、を備える。デジタル信号処理部１７は、Ａ／Ｄ変換回路７から出力される撮像画像信号に対し、補間演算、ガンマ補正演算、及びＲＧＢ／ＹＣ変換処理等を行って撮影画像データを生成する。

メモリ制御部１５、デジタル信号処理部１７、コントラストＡＦ処理部１８、位相差ＡＦ処理部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

図２は、図１に示すデジタルカメラに搭載される撮像素子５の全体構成を示す平面模式図である。

撮像素子５は、行方向Ｘ及びこれに直交する列方向Ｙに二次元状に配列された多数の画素が配置される撮像面５０を有する。この撮像面５０には、フォーカスを合わせる対象となるエリアであるＡＦエリア５３が図２の例では９つ設定されている。

ＡＦエリア５３は、画素として撮像用画素と位相差検出用画素とを含むエリアである。

撮像面５０のうちＡＦエリア５３を除く部分には、撮像用画素だけが配置される。なお、ＡＦエリア５３は、撮像面５０に隙間無く設けてあってもよい。

図３は、図２に示す１つのＡＦエリア５３の部分拡大図である。

ＡＦエリア５３には、画素５１が二次元状に配列されている。各画素５１は、フォトダイオード等の光電変換部と、この光電変換部上方に形成されたカラーフィルタとを含む。

図３では、赤色光を透過するカラーフィルタ（Ｒフィルタ）を含む画素５１（Ｒ画素５１）には“Ｒ”の文字を付し、緑色光を透過するカラーフィルタ（Ｇフィルタ）を含む画素５１（Ｇ画素５１）には“Ｇ”の文字を付し、青色光を透過するカラーフィルタ（Ｂフィルタ）を含む画素５１（Ｂ画素５１）には“Ｂ”の文字を付している。カラーフィルタの配列は撮像面５０全体でベイヤ配列となっている。

ＡＦエリア５３では、Ｇ画素５１の一部（図３中の網掛けを付した画素５１）が位相差検出用画素５２となっている。図３の例では、Ｒ画素５１とＧ画素５１を含む画素行のうちの任意の画素行における各Ｇ画素５１と、この各Ｇ画素５１に対して列方向Ｙに最も近い同色のＧ画素５１とが、位相差検出用画素５２となっている。ここでは図３に図示するように、２次元状配列の一方の方向であり位相差分離方向と同じ方向をＸ方向または行方向、他の方向をＹ方向または列方向と規定する。

図４は、図３に示す位相差検出用画素５２のみを示した図である。

図４に示すように、位相差検出用画素５２は、位相差検出用画素５２Ａと位相差検出用画素５２Ｂの２種類の画素を含む。

位相差検出用画素５２Ａは、撮像レンズ１の瞳領域の異なる部分を通過した一対の光束の一方を受光し受光量に応じた信号を検出する第１の信号検出部である。

位相差検出用画素５２Ｂは、上記一対の光束の他方を受光し受光量に応じた信号を検出する第２の信号検出部である。

なお、ＡＦエリア５３において、位相差検出用画素５２Ａ，５２Ｂ以外の複数の画素５１は撮像用画素であり、撮像用画素は、撮像レンズ１を通過した上記一対の光束を受光し受光量に応じた信号を検出する。

各画素５１の光電変換部上方には遮光膜が設けられ、この遮光膜には、光電変換部の受光面積を規定する開口が形成されている。

撮像用画素５１の開口の中心は、撮像用画素５１の光電変換部の中心と一致している。これに対し、位相差検出用画素５２Ａの開口（図４の白抜き部分）の中心は、位相差検出用画素５２Ａの光電変換部の中心に対し右側に偏心している。

また、位相差検出用画素５２Ｂの開口（図４の白抜き部分）の中心は、位相差検出用画素５２Ｂの光電変換部の中心に対して左側に偏心している。ここでいう右方向は、図３で示すＸ方向の一方の方向であり、左方向はＸ方向のもう一方の方向である。

図５は、位相差検出用画素５２Ａの断面構成を示す図である。図５に示すように、位相差検出用画素５２Ａは、開口ｃが光電変換部（ＰＤ）に対して右に偏心している。

図５に示すように、光電変換部の片側を遮光膜によって覆う事によって、遮光膜で覆った方向と逆の方向から入射した光を選択的に遮光することができる。

この構成により、任意の行にある位相差検出用画素５２Ａからなる画素群と、この画素群の各位相差検出用画素５２Ａに対して一方向に同一距離で配置された位相差検出用画素５２Ｂからなる画素群とによって、これら２つの画素群の各々によって撮像される像における行方向Ｘの位相差を検出することができる。

撮像素子５は、撮像レンズ１の瞳領域の異なる部分を通過した一対の光束の一方を受光し受光量に応じた信号を検出する第１の信号検出部と、上記一対の光束の他方を受光し受光量に応じた信号を検出する第２の信号検出部とのペアを複数有する構成であればよく、図２〜５に示した構成に限らない。

例えば、撮像素子５に含まれる全ての画素を撮像用画素５１とし、各撮像用画素５１を２つに分割して、一方の分割エリアを位相差検出用画素５２Ａとし、他方の分割エリアを位相差検出用画素５２Ｂとした構成であってもよい。

図６は、撮像素子５に含まれる全ての画素を撮像用画素５１とし、各撮像用画素５１を２つに分割した構成を示す図である。

図６の構成では、撮像素子５においてＲを付した撮像用画素５１を２つに分割し、分割した２つをそれぞれ位相差検出用画素Ｒ１と位相差検出用画素Ｒ２としている。

また、撮像素子５においてＧを付した撮像用画素５１を２つに分割し、分割した２つをそれぞれ位相差検出用画素Ｇ１と位相差検出用画素Ｇ２としている。

また、撮像素子５においてＢを付した撮像用画素５１を２つに分割し、分割した２つをそれぞれ位相差検出用画素Ｂ１と位相差検出用画素Ｂ２としている。

この構成では、位相差検出用画素Ｒ１，Ｇ１，Ｂ１がそれぞれ第１の信号検出部となり、位相差検出用画素Ｒ２，Ｇ２，Ｂ２がそれぞれ第２の信号検出部となる。第１の信号検出部と第２の信号検出部からは独立に信号を読み出すことができる。

そして、第１の信号検出部と第２の信号検出部の信号を加算すると、位相差のない通常の撮像用信号を得られる。つまり、図６の構成では、全ての画素を、位相差検出用画素と撮像用画素との両方として用いることができる。

図１に示す位相差ＡＦ処理部１９は、９つのＡＦエリア５３の中からユーザ操作等により選択された１つのＡＦエリア５３にある位相差検出用画素５２Ａ及び位相差検出用画素５２Ｂから読み出される検出信号群同士の相関演算により、上記一対の光束によって形成される２つの像の相対的な位置ずれ量である位相差を演算する。

そして、位相差ＡＦ処理部１９は、この位相差に基づいて、撮像レンズ１による主要被写体の結像面と撮像素子５の撮像面５０とを一致させるために必要なフォーカスレンズの移動量であるデフォーカス量を算出する。

なお、ＡＦエリア５３は１つだけでなく、連続して並ぶ複数個を選択できるようにしてもよい。

図１に示すコントラストＡＦ処理部１８は、９つのＡＦエリア５３の中からユーザ操作等により選択された１つのＡＦエリア５３によって撮像される画像を解析し、周知のコントラストＡＦ方式によって撮影レンズ１の合焦位置を決定する。

即ち、コントラストＡＦ処理部１８は、システム制御部１１の制御によって撮影レンズ１のフォーカスレンズ位置を動かしながら、動かした位置（複数の位置）毎に得られる画像のコントラスト（明暗差）を求める。そして、コントラストが最大となるフォーカスレンズ位置を合焦位置として決定する。

なお、ＡＦエリア５３は１つだけでなく、連続して並ぶ複数個を選択できるようにしてもよい。

本実施形態のデジタルカメラは、オートフォーカスの実行指示があると、位相差ＡＦ方式による合焦制御又はコントラストＡＦ方式による合焦制御をシステム制御部１１が行う。

また、システム制御部１１は、位相差ＡＦ方式による合焦制御として、１回の撮像によって得られた位相差検出用画素の信号に基づいて合焦制御を行う第一の合焦制御と、連続する複数回の撮像によって得られた位相差検出用画素の信号を加算した信号に基づいて合焦制御を行う第二の合焦制御とを行う。

図７は、図１に示すデジタルカメラの動作を説明するための図である。

デジタルカメラが撮像モードに設定されると、システム制御部１１は、ライブビュー画像の表示を開始させる（ステップＳ１）。

具体的には、システム制御部１１は、撮像素子５により被写体を撮像し、撮像して得られる撮像画像データに基づく画像を表示部２３に表示させる制御を繰り返し行う。

ライブビュー画像の表示が開始された後、操作部１４に含まれるシャッタボタンの半押し操作等によって撮像光学系の合焦制御の実行指示（以下、オートフォーカスの実行指示という。図ではＡＦ指示）がなされると（ステップＳ２：ＹＥＳ）、システム制御部１１は、このオートフォーカスの実行指示がなされた時点で得られている撮像画像信号のうち最新のもの（以下、撮像画像信号Ｇ２とする）を用いて、撮像素子５によって撮像されている被写体の明るさを判定する。例えば、システム制御部１１は、撮像画像信号Ｇ２の輝度値の平均又は積算値を明るさとして求める。

システム制御部１１は、求めた明るさが閾値以下であれば（ステップＳ３：ＹＥＳ）、位相差ＡＦ処理部１９にステップＳ４の処理を行わせ、求めた明るさが閾値を超えていれば（ステップＳ３：ＮＯ）、位相差ＡＦ処理部１９にステップＳ１１の処理を行わせる。

ステップＳ１１において、位相差ＡＦ処理部１９は、撮像画像信号Ｇ２のうちの選択されているＡＦエリア５３に対応する範囲内の位相差検出用画素５２Ａの検出信号群と位相差検出用画素５２Ｂの検出信号群とを用いて相関演算を行うことにより、第一のデフォーカス量であるデフォーカス量Ｄ２を算出する。位相差ＡＦ処理部１９は第一のデフォーカス量算出部として機能する。

システム制御部１１は、ステップＳ１１で決定されたデフォーカス量Ｄ２に基づいて、フォーカスレンズを合焦位置に移動させて（ステップＳ１２）、オートフォーカスを完了する。

ステップＳ４において、位相差ＡＦ処理部１９は、オートフォーカスの実行指示がなされた時点で得られている撮像画像信号のうち、撮像時刻が最新の撮像画像信号と、撮像時刻が２番目に新しい撮像画像信号とを取得する。この２つの撮像画像信号のうち、撮像時刻の新しい方が撮像画像信号Ｇ２とし、撮像時刻が古い方を撮像画像信号Ｇ１とする。

ステップＳ４の後、位相差ＡＦ処理部１９は、撮像画像信号Ｇ１のうちの選択されているＡＦエリア５３に対応する範囲内の位相差検出用画素５２Ａの検出信号群と位相差検出用画素５２Ｂの検出信号群とで相関演算を行って、第一のデフォーカス量であるデフォーカス量Ｄ１を算出する。

また、位相差ＡＦ処理部１９は、撮像画像信号Ｇ２のうちの選択されているＡＦエリア５３に対応する範囲内の位相差検出用画素５２Ａの検出信号群と位相差検出用画素５２Ｂの検出信号群とで相関演算を行って、第一のデフォーカス量であるデフォーカス量Ｄ２を算出する（ステップＳ５）。

ステップＳ５の後、システム制御部１１は、位相差ＡＦ処理部１９によって算出されたデフォーカス量Ｄ１とデフォーカス量Ｄ２の差が閾値ＴＨ１未満かどうかを判定する（ステップＳ６）。

デフォーカス量Ｄ１とデフォーカス量Ｄ２の差が閾値ＴＨ１以上の場合（ステップＳ６：ＮＯ）、撮像されている被写体に、撮像面５０に垂直な方向の大きな動きがあると判断できる。

このため、システム制御部１１は、コントラストＡＦ処理部１８を選択し、コントラストＡＦ処理部１８に合焦位置を決定させ、決定された合焦位置にフォーカスレンズを駆動して（ステップＳ１０）、オートフォーカスを完了する。

デフォーカス量Ｄ１とデフォーカス量Ｄ２の差が閾値ＴＨ１未満の場合（ステップＳ６：ＹＥＳ）、システム制御部１１はステップＳ７の処理を位相差ＡＦ処理部１９に行わせる。

選択されたＡＦエリア５３にあるｋ個の位相差検出用画素５２Ａを、その撮像面５０における位置に応じて５２Ａ（１）〜５２Ａ（ｋ）とすると、ステップＳ７において、位相差ＡＦ処理部１９は、撮像画像信号Ｇ１に含まれる位相差検出用画素５２Ａ（ｎ）（ｎ＝１〜ｋ）の検出信号と、撮像画像信号Ｇ２に含まれる位相差検出用画素５２Ａ（ｎ）の検出信号とを加算する。

撮像画像信号Ｇ１における位相差検出用画素５２Ａ（ｎ）の検出信号と、撮像画像信号Ｇ２における位相差検出用画素５２Ａ（ｎ）の検出信号は、撮像面５０における位置が同じ位相差検出用画素５２Ａから得られたものであり、これらは対応している。

同様に、選択されたＡＦエリア５３にあるｋ個の位相差検出用画素５２Ｂを、その撮像面５０における位置に応じて５２Ｂ（１）〜５２Ｂ（ｋ）とすると、ステップＳ７において、位相差ＡＦ処理部１９は、撮像画像信号Ｇ１に含まれる位相差検出用画素５２Ｂ（ｎ）（ｎ＝１〜ｋ）の検出信号と、撮像画像信号Ｇ２に含まれる位相差検出用画素５２Ｂ（ｎ）の検出信号とを加算する。

撮像画像信号Ｇ１における位相差検出用画素５２Ｂ（ｎ）の検出信号と、撮像画像信号Ｇ２における位相差検出用画素５２Ｂ（ｎ）の検出信号は、撮像面５０における位置が同じ位相差検出用画素５２Ｂから得られたものであり、これらは対応している。

そして、ステップＳ７において、位相差ＡＦ処理部１９は、加算後の位相差検出用画素５２Ａの検出信号群と、加算後の位相差検出用画素５２Ｂの検出信号群との相関演算を行い、その結果に基づいて第二のデフォーカス量であるデフォーカス量Ｄｓを算出する。位相差ＡＦ処理部１９は、第二のデフォーカス量算出部として機能する。

すなわち、ステップＳ７において、位相差ＡＦ処理部１９は、連続する２回の撮像の各々によって得られた撮像画像信号のうち選択されたＡＦエリア５３に対応する範囲の位相差検出用画素５２Ａの検出信号について、該範囲における位置が同じ検出信号同士を加算する。また、位相差ＡＦ処理部１９は、該２回の撮像の各々によって得られた撮像画像信号のうち選択されたＡＦエリア５３に対応する範囲の位相差検出用画素５２Ｂの検出信号について、該範囲における位置が同じ検出信号同士を加算する。そして、位相差ＡＦ処理部１９は、加算後の位相差検出用画素５２Ａの検出信号群と位相差検出用画素５２Ｂの検出信号群を用いてデフォーカス量Ｄｓを算出する。

ステップＳ７の後、システム制御部１１は、デフォーカス量Ｄ１とデフォーカス量Ｄｓの差Δ１（符号を無視した絶対値）と、デフォーカス量Ｄ２とデフォーカス量Ｄｓの差Δ２（符号を無視した絶対値）を算出する。

そして、システム制御部１１は、Δ１とΔ２のいずれかが閾値ＴＨ２（第一の閾値）以上になるかどうかを判定する（ステップＳ８）。

Δ１とΔ２のいずれかが閾値ＴＨ２以上になっている場合（ステップＳ８：ＹＥＳ）、システム制御部１１は、ステップＳ１０にてコントラストＡＦ方式による合焦制御を行う。

Δ１とΔ２のいずれも閾値ＴＨ２未満である場合（ステップＳ８：ＮＯ）、システム制御部１１は、デフォーカス量Ｄｓに基づいてフォーカスレンズを合焦位置に移動させて（ステップＳ９）、オートフォーカスを完了する。

以上のように、図１のデジタルカメラは、被写体が暗い場合には、デフォーカス量Ｄ１及びデフォーカス量Ｄ２とデフォーカス量Ｄｆとの比較により、デフォーカス量Ｄｆに基づいたフォーカスレンズの駆動を行うか否かをシステム制御部１１が判定している。システム制御部１１は判定部として機能する。

２回の撮像で得られた位相差検出用画素の検出信号を加算して求めたデフォーカス量Ｄｓと、加算を行わずに求めたデフォーカス量Ｄ１，Ｄ２の各々との差のいずれかが大きいということは、デフォーカス量Ｄｓの信頼性は低いと言える。

一方で、デフォーカス量Ｄｓとデフォーカス量Ｄ１，Ｄ２の各々との差のいずれも小さいということは、デフォーカス量Ｄｓの信頼性は高いと言える。

このため、デフォーカス量Ｄｓとデフォーカス量Ｄ１，Ｄ２の各々との差がいずれも小さいときにのみ、デフォーカス量Ｄｓに基づく合焦制御を行うようにすることで、被写体が暗い場合でも高精度の合焦制御を行うことが可能になる。

なお、図７の動作例では、ステップＳ６の判定を入れているが、デフォーカス量Ｄ１とデフォーカス量Ｄ２の差が閾値ＴＨ１以上の場合でも、デフォーカス量Ｄｓとデフォーカス量Ｄ１，Ｄ２の各々との差が閾値ＴＨ２未満になる可能性はゼロではない。

このため、ステップＳ６の判定は省略してステップＳ５の後はステップＳ７に移行するようにしてもよい。

また、図１のデジタルカメラによれば、被写体が明るいときには、通常の位相差ＡＦと同じように、デフォーカス量Ｄ２に基づく合焦制御が行われるため、高速かつ高精度の合焦制御が可能となる。

また、図１のデジタルカメラによれば、Δ１とΔ２がいずれかが閾値ＴＨ以上のときには、コントラストＡＦ方式による合焦制御が行われる。このため、被写体が暗くかつデフォーカス量Ｄｓの信頼性が低くなる状況でも、オートフォーカスが不能となるのを防ぐことができる。

なお、図７のステップＳ１０では、システム制御部１１が、コントラストＡＦを行う代わりに、最新の撮像画像信号Ｇ２から求められたデフォーカス量Ｄ２に基づきフォーカスレンズを駆動してもよい。

このようにすることで、被写体が暗くかつデフォーカス量Ｄｓの信頼性が低くなる状況でも、オートフォーカスが不能となるのを防ぐことができる。また、コントラストＡＦ方式に移行せずにすむため、オートフォーカス完了までの時間を短くすることができる。

また、図７のステップＳ１０において、システム制御部１１は、コントラストＡＦを行うことなく、オートフォーカスが不能であることを表示部２３に表示させる等によってユーザに通知してもよい。この場合、システム制御部１１は通知部として機能する。

このようにすることで、マニュアルによりフォーカス調整をさせるモードへの移行を早期の段階でユーザに促すことができ、シャッタチャンスを逃す可能性を減らすことができる。

また、図７のステップＳ１０において、システム制御部１１は、撮像光学系の合焦制御を行わずに、処理を終了させてもよい。また、図７のステップＳ１０において、システム制御部１１は、予め決められた合焦位置にフォーカスレンズを移動させる合焦制御を行ってオートフォーカスを完了させてもよい。

また、図７の動作例では、被写体が暗いときにステップＳ４以降の処理を行うものとした。しかし、デフォーカス量Ｄｓに基づく合焦制御が有効となるのは、位相差検出用画素の検出信号レベルが低くなるような撮像状況であり、被写体が暗いときだけに限らない。

例えば、撮像素子５に入射する光線角度が大きくなって位相差検出用画素に入射する光が少なくなるような場合（広角撮像時）にステップＳ４以降の処理を行ってもよい。または、位相差検出用画素の検出信号レベルが小さい場合にステップＳ４以降の処理を行ってもよい。

また、図７のステップＳ８では、Δ１とΔ２の各々と閾値ＴＨ２との比較で、デフォーカス量Ｄｓに基づく合焦制御を行うか否かを判定している。この変形例として、Δ１とΔ２のばらつきによって、デフォーカス量Ｄｓに基づく合焦制御を行うか否かを判定してもよい。

例えば、システム制御部１１は、ばらつきを示す数値としてΔ１とΔ２の分散を求め、この分散が閾値ＴＨ３（第二の閾値）未満の場合にデフォーカス量Ｄｓに基づく合焦制御を行うと判定してステップＳ９の処理を行う。一方、システム制御部１１は、この分散が閾値ＴＨ３以上の場合にデフォーカス量Ｄｓに基づく合焦制御を行わないと判定してステップＳ１０の処理を行う。

Δ１とΔ２のばらつきが大きいということは、デフォーカス量Ｄｓの値の信頼性が低いと判断できる。このため、Δ１とΔ２のばらつきによってデフォーカス量Ｄｓに基づく合焦制御を行うか否かを判定することでも、図７の動作例と同様の効果を得ることができる。

なお、図７の動作例では、ステップＳ４にて２つの撮像画像信号を取得し、ステップＳ５において２つのデフォーカス量を算出し、ステップＳ７において２つの撮像画像信号を加算してデフォーカス量を算出するものとした。

しかし、ステップＳ４にて、連続して撮像して得られた撮像画像信号を新しいものから３つ以上取得し、この３つ以上の撮像画像信号の各々からステップＳ５にてデフォーカス量Ｄ１，Ｄ２，Ｄ３，・・・を算出し、ステップＳ７において、この３つ以上の撮像画像信号のうち対応する位相差検出用画素の検出信号同士を加算した信号からデフォーカス量Ｄｓを算出し、３つ以上のデフォーカス量Ｄ１，Ｄ２，Ｄ３，・・・と、デフォーカス量Ｄｓとの比較により、ステップＳ９の処理を行うか否かを判定してもよい。

図８は、図１に示すデジタルカメラの動作の変形例を説明するためのフローチャートである。図８において図７と同じ処理には同一符号を付して説明を省略する。

図８の動作例では、図７で説明したステップＳ１の後にステップＳ４〜ステップＳ７の処理が行われる。

そして、システム制御部１１は、ステップＳ７の判定がＮＯであればステップＳ２１にて内部メモリのフラグを“１”にする。また、システム制御部１１は、ステップＳ７の判定がＹＥＳであればステップＳ２２にて内部メモリのフラグを“０”にする。

ステップＳ２１とステップＳ２２の後、オートフォーカスの実行指示があると（ステップＳ２３：ＹＥＳ）、システム制御部１１は図７のステップＳ２と同じ方法で被写体の明るさを判定する（ステップＳ２４）。オートフォーカスの実行指示がない場合（ステップＳ２３：ＮＯ）はステップＳ４に処理が戻る。

ステップＳ２４の判定がＮＯのときは、ステップＳ１１とステップＳ１２の処理が順次行われて、オートフォーカスが完了する。

ステップＳ２４の判定がＹＥＳのときは、システム制御部１１が内部メモリのフラグを確認する（ステップＳ２５）。システム制御部１１は、フラグ＝１であればステップＳ９の処理を行い、フラグ＝０であればステップＳ１０の処理を行う。

以上のように、図８の動作例によれば、オートフォーカスの実行指示がなされる前に、デフォーカス量Ｄｓに基づく合焦制御を行うか否かをシステム制御部１１が判定する。このため、オートフォーカスの実行指示がなされてからオートフォーカスが完了するまでの時間を図７の例と比較して短縮することができる。したがって、高速のオートフォーカスが可能になる。

図９は、図１に示すデジタルカメラの変形例を示す図である。図９のデジタルカメラは、動体検出部２６を追加した点を除いては図１と同じ構成である。

動体検出部２６は、撮像素子５により連続して撮像して得られる複数の撮像画像信号を利用して、撮像中の被写体に動体が含まれるか否かを検出する。

動体検出部２６は、複数の撮像画像信号のうち、選択されているＡＦエリア５３から得られた画像信号同士の比較（例えばブロックマッチングや特許文献３に記載の方法等）によって、選択されているＡＦエリア５３内における主要被写体の動きベクトルを算出する。

動体検出部２６は、動きベクトルの大きさが所定値以上であれば動体ありと判定し、動きベクトルの大きさが所定値未満であれば動体なしと判定する。

図９に示すデジタルカメラの位相差ＡＦ処理部１９は、動体検出部２６によって動体ありが検出された場合には、図７，８のステップＳ５において、撮像画像信号Ｇ１，Ｇ２毎に設定するＡＦエリア５３に対応する範囲の位置を、動体の動きに応じて移動させて第一のデフォーカス量を算出する。また、位相差ＡＦ処理部１９は、動体検出部２６によって動体ありが検出された場合には、図７，８のステップＳ７において、撮像画像信号Ｇ１，Ｇ２毎に設定するＡＦエリア５３に対応する範囲の位置を、動体の動きに応じて移動させて第二のデフォーカス量を算出する。

図１０は、図９のデジタルカメラの位相差ＡＦ処理部１９によるデフォーカス量Ｄ２の算出手順を説明する図である。

図１０（ａ）は撮像画像信号Ｇ１を示している。図１０（ａ）には、撮像画像信号Ｇ１のうち、選択されているＡＦエリア５３に対応する範囲５３ａが示されている。

図１０（ｂ）は撮像画像信号Ｇ２を示している。図１０（ｂ）には、撮像画像信号Ｇ２のうち、選択されているＡＦエリア５３に対応する範囲５３ａが示されている。図１０（ａ）と図１０（ｂ）を比較して分かるように、撮像画像信号Ｇ１，Ｇ２に含まれる物体Ｈは、右方向に移動する動体として動体検出部２６により検出される。

図９に示すデジタルカメラの位相差ＡＦ処理部１９は、動体検出部２６により動体Ｈが検出された場合は、撮像画像信号Ｇ２から抽出すべき画像信号の範囲５３ａを、動体Ｈの動きベクトルに基づく方向に、動きベクトルの大きさだけ、図１０（ｃ）のように移動させる。移動後の範囲を符号５３ａａとする。

そして、この状態で、位相差ＡＦ処理部１９は、図１０（ｃ）の範囲５３ａａ内の画像信号に含まれる位相差検出用画素の検出信号を用いて、デフォーカス量Ｄ２を算出する。

また、位相差ＡＦ処理部１９は、動体検出部２６により動体Ｈが検出された場合は、図７，８のステップＳ７において、図１０（ａ）に示す撮像画像信号Ｇ１の範囲５３ａにある各位相差検出用画素５２の検出信号と、図１０（ｃ）に示す撮像画像信号Ｇ２の範囲５３ａａにおいて該検出信号と同じ位置にある検出信号とを加算する。そして、位相差ＡＦ処理部１９は、加算後の検出信号を用いてデフォーカス量Ｄｓを算出する。

範囲５３ａ，５３ａａにおいて例えば左上角を原点としたときに、各範囲において任意の位相差検出用画素５２の検出信号の座標を（ｘｉ、ｙｉ）とすると、同じ位置にある検出信号とは、座標（ｘｉ、ｙｉ）が同じ値の検出信号のことを言う。

このように、図９のデジタルカメラは、動体が検出されたときには、選択されているＡＦエリア５３を固定にせず、ＡＦエリア５３を動体に追従させて動かす。このようにすることで、撮像画像信号Ｇ１の範囲５３ａ内の画像信号に基づく画像と、撮像画像信号Ｇ２の範囲５３ａａ内のＡＦエリア５３に対応する画像信号に基づく画像とで、主要部の位置が大きく変化することがなくなる。このため、デフォーカス量Ｄｓに基づく合焦制御を行うか否かの判定精度を向上させることができる。

なお、図１０の説明では、ＡＦエリア５３に対応する範囲５３ａの大きさを固定にしているが、動体が検出されたときには、範囲５３ａの大きさを、検出された動体の面積に応じて変更してもよい。

例えば、図１１に示すように、範囲５３ａを範囲５３ａｘまで狭める。これにより、範囲５３ａｘにおいては、範囲５３ａと比較して動体Ｈの背景の占める割合が減少する。

このため、撮像画像信号Ｇ１の範囲５３ａｘ内の画像信号に基づく画像と、撮像画像信号Ｇ２の範囲５３ａｘ内の画像信号に基づく画像との一致度が高くなる。この結果、デフォーカス量Ｄｓに基づく合焦制御を行うか否かの判定精度を向上させることができる。

なお、図９に示すデジタルカメラは、周知の手ブレ補正機能を持っていることが好ましい。手ブレ補正機能があることで、撮像素子５によって撮像される画像のブレが抑制される。このため、画像全体の動きを排除することができ、動体検出部２６によって動体のみを精度良く検出することが可能となる。この結果、デフォーカス量Ｄｓに基づく合焦制御を行うか否かの判定精度を向上させることができる。

本明細書では撮像装置としてデジタルカメラを例にしたが、以下では、撮像装置としてカメラ付のスマートフォンの実施形態について説明する。

図１２は、本発明の撮像装置の一実施形態であるスマートフォン２００の外観を示すものである。図１２に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

図１３は、図１２に示すスマートフォン２００の構成を示すブロック図である。図１３に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。

表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。

操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。

図１２に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。

係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０１の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２１１は、スピーカ２０５やマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。また、図１２に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

操作部２０７は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１２に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２１２は、主制御部２２０の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達することや、スマートフォン２００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０や外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２１５は、例えば、３軸の加速度センサなどを備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向や加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２２０は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

更に、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２０８は、図１に示したデジタルカメラにおける外部メモリ制御部２０、記録媒体２１、表示制御部２２、表示部２３、及び操作部１４以外の構成を含む。カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることができる。図１２に示すスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。

また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示することや、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用することができる。また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。更には、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等などを付加して記録部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることもできる。

以上のような構成のスマートフォン２００においても、カメラ部２０８の撮像素子として撮像素子５を用い、主制御部２２０において図７，８，１０，１１で説明した処理を行うことで、高速高精度の合焦制御が可能になる。

以上説明してきたように、本明細書には以下の事項が開示されている。

開示された撮像装置は、撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部、及び、上記一対の光束の他方に応じた信号を検出する第２の信号検出部を含み、上記撮像光学系を通して被写体を撮像する撮像素子と、上記撮像素子によって連続して行われる複数回の撮像の各々によって得られた撮像画像信号のうち、上記撮像素子の撮像面におけるフォーカスを合わせる対象となるエリアに対応する範囲の上記第１の信号検出部及び上記第２の信号検出部の検出信号、を用いて複数の第一のデフォーカス量を算出する第一のデフォーカス量算出部と、上記複数回の撮像の各々によって得られた撮像画像信号のうち上記範囲の上記第１の信号検出部の検出信号について、上記範囲において位置が同じ検出信号同士を加算し、上記複数回の撮像の各々によって得られた撮像画像信号のうち上記範囲の上記第２の信号検出部の検出信号について、上記範囲において位置が同じ検出信号同士を加算し、加算後の上記第１の信号検出部の検出信号と上記第２の信号検出部の検出信号を用いて第二のデフォーカス量を算出する第二のデフォーカス量算出部と、上記複数の第一のデフォーカス量と上記第二のデフォーカス量との比較により、上記第二のデフォーカス量に基づいた上記撮像光学系の合焦制御を行うか否かを判定する判定部と、を備えるものである。

開示された撮像装置において、上記判定部は、上記複数の第一のデフォーカス量の各々と上記第二のデフォーカス量との差が全て第一の閾値より小さい場合に、上記第二のデフォーカス量に基づいた上記撮像光学系の合焦制御を行うと判定してもよい。

開示された撮像装置において、上記判定部は、上記複数の第一のデフォーカス量の各々と上記第二のデフォーカス量との差のばらつきが第二の閾値より小さい場合に、上記第二のデフォーカス量に基づいた上記撮像光学系の合焦制御を行うと判定してもよい。

開示された撮像装置において、上記判定部は、上記撮像素子によって撮像される被写体の明るさが閾値より小さい場合に上記判定を行ってもよい。

開示された撮像装置は、上記第二のデフォーカス量に基づいた上記撮像光学系の合焦制御を行わないと上記判定部により判定された場合に、上記撮像光学系の合焦制御が不能であることを通知する通知部を更に備えてもよい。

開示された撮像装置は、上記第二のデフォーカス量に基づいた上記撮像光学系の合焦制御を行わないと上記判定部により判定された場合に、上記合焦制御を行わない、又は、予め決められた合焦位置にしたがって合焦制御を行ってもよい。

開示された撮像装置において、上記判定部は、上記撮像光学系の合焦制御の実行指示がなされる前に上記判定を行ってもよい。

開示された撮像装置は、上記複数回の撮像の各々によって得られる撮像画像信号を利用して、撮像中の被写体に動体が含まれるか否かを検出する動体検出部を更に備えてもよく、上記第一のデフォーカス量算出部は、上記動体検出部により被写体に動体が含まれることが検出された場合に、上記複数回の撮像によって得られる撮像画像信号に対して設定する上記範囲を、上記動体の動きに応じて移動させて上記第一のデフォーカス量を算出し、上記第二のデフォーカス量算出部は、上記動体検出部により被写体に動体が含まれることが検出された場合に、上記複数回の撮像によって得られる撮像画像信号に対して設定する上記範囲を、上記動体の動きに応じて移動させて上記第二のデフォーカス量を算出してもよい。

開示された撮像装置において、上記第一のデフォーカス量算出部及び上記第二のデフォーカス量算出部は、上記動体検出部によって動体が検出された場合には、上記複数回の撮像によって得られる撮像画像信号に対して設定する上記範囲の大きさを上記動体の面積に応じて変更してもよい。

開示された合焦制御方法は、撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部と、上記一対の光束の他方に応じた信号を検出する第２の信号検出部とを含み、上記撮像光学系を通して被写体を撮像する撮像素子によって連続して行われる複数回の撮像の各々によって得られた撮像画像信号のうち、上記撮像素子の撮像面におけるフォーカスを合わせる対象となるエリアに対応する範囲の上記第１の信号検出部及び上記第２の信号検出部の検出信号、を用いて複数の第一のデフォーカス量を算出する第一のデフォーカス量算出ステップと、上記複数回の撮像の各々によって得られた撮像画像信号のうち上記範囲の上記第１の信号検出部の検出信号について、上記範囲において位置が同じ検出信号同士を加算し、上記複数回の撮像の各々によって得られた撮像画像信号のうち上記範囲の上記第２の信号検出部の検出信号について、上記範囲において位置が同じ検出信号同士を加算し、加算後の上記第１の信号検出部の検出信号と上記第２の信号検出部の検出信号を用いて第二のデフォーカス量を算出する第二のデフォーカス量算出ステップと、上記複数の第一のデフォーカス量と上記第二のデフォーカス量との比較により、上記第二のデフォーカス量に基づいた上記撮像光学系の合焦制御を行うか否かを判定する判定ステップと、を備えるものである。

本発明は、デジタルカメラ等に適用して利便性が高く、有効である。

１ 撮像レンズ
２ 絞り
５ 撮像素子
１１ システム制御部（通知部、判定部）
１８ コントラストＡＦ処理部
１９ 位相差ＡＦ処理部（第一のデフォーカス量算出部、第二のデフォーカス量算出部）２６ 動体検出部
５０ 撮像面
５１ 画素
５２，５２Ａ，５２Ｂ 位相差検出用画素
５３ ＡＦエリア

Claims (10)

1. 撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部、及び、前記一対の光束の他方に応じた信号を検出する第２の信号検出部を含み、前記撮像光学系を通して被写体を撮像する撮像素子と、
   前記撮像素子によって連続して行われる複数回の撮像の各々によって得られた撮像画像信号のうち、前記撮像素子の撮像面におけるフォーカスを合わせる対象となるエリアに対応する範囲の前記第１の信号検出部及び前記第２の信号検出部の検出信号、を用いて複数の第一のデフォーカス量を算出する第一のデフォーカス量算出部と、
   前記複数回の撮像の各々によって得られた撮像画像信号のうち前記範囲の前記第１の信号検出部の検出信号について、同じ前記第１の信号検出部の検出信号同士を加算し、前記複数回の撮像の各々によって得られた撮像画像信号のうち前記範囲の前記第２の信号検出部の検出信号について、同じ前記第２の信号検出部の検出信号同士を加算し、加算後の前記第１の信号検出部の検出信号と前記第２の信号検出部の検出信号を用いて第二のデフォーカス量を算出する第二のデフォーカス量算出部と、
   前記複数の第一のデフォーカス量と前記第二のデフォーカス量との比較により、前記第二のデフォーカス量に基づいた前記撮像光学系の合焦制御を行うか否かを判定する判定部と、を備える撮像装置。
2. 請求項１記載の撮像装置であって、
   前記判定部は、前記複数の第一のデフォーカス量の各々と前記第二のデフォーカス量との差が全て第一の閾値より小さい場合に、前記第二のデフォーカス量に基づいた前記撮像光学系の合焦制御を行うと判定する撮像装置。
3. 請求項１記載の撮像装置であって、
   前記判定部は、前記複数の第一のデフォーカス量の各々と前記第二のデフォーカス量との差のばらつきが第二の閾値より小さい場合に、前記第二のデフォーカス量に基づいた前記撮像光学系の合焦制御を行うと判定する撮像装置。
4. 請求項１〜３のいずれか１項記載の撮像装置であって、
   前記判定部は、前記撮像素子によって撮像される被写体の明るさが閾値より小さい場合に前記判定を行う撮像装置。
5. 請求項１〜４のいずれか１項記載の撮像装置であって、
   前記第二のデフォーカス量に基づいた前記撮像光学系の合焦制御を行わないと前記判定部により判定された場合に、前記撮像光学系の合焦制御が不能であることを通知する通知部を更に備える撮像装置。
6. 請求項１〜４のいずれか１項記載の撮像装置であって、
   前記第二のデフォーカス量に基づいた前記撮像光学系の合焦制御を行わないと前記判定部により判定された場合に、前記合焦制御を行わない、又は、予め決められた合焦位置にしたがって合焦制御を行う撮像装置。
7. 請求項１〜６のいずれか１項記載の撮像装置であって、
   前記判定部は、前記撮像光学系の合焦制御の実行指示がなされる前に前記判定を行う撮像装置。
8. 請求項１〜７のいずれか１項記載の撮像装置であって、
   前記複数回の撮像の各々によって得られる撮像画像信号を利用して、撮像中の被写体に動体が含まれるか否かを検出する動体検出部を更に備え、
   前記第一のデフォーカス量算出部は、前記動体検出部により被写体に動体が含まれることが検出された場合に、前記複数回の撮像によって得られる撮像画像信号に対して設定する前記範囲を、前記動体の動きに応じて移動させて前記第一のデフォーカス量を算出し、
   前記第二のデフォーカス量算出部は、前記動体検出部により被写体に動体が含まれることが検出された場合に、前記複数回の撮像によって得られる撮像画像信号に対して設定する前記範囲を、前記動体の動きに応じて移動させて前記第二のデフォーカス量を算出する撮像装置。
9. 請求項８記載の撮像装置であって、
   前記第一のデフォーカス量算出部及び前記第二のデフォーカス量算出部は、前記動体検出部によって動体が検出された場合には、前記複数回の撮像によって得られる撮像画像信号に対して設定する前記範囲の大きさを前記動体の面積に応じて変更する撮像装置。
10. 撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部と、前記一対の光束の他方に応じた信号を検出する第２の信号検出部とを含み、前記撮像光学系を通して被写体を撮像する撮像素子によって連続して行われる複数回の撮像の各々によって得られた撮像画像信号のうち、前記撮像素子の撮像面におけるフォーカスを合わせる対象となるエリアに対応する範囲の前記第１の信号検出部及び前記第２の信号検出部の検出信号、を用いて複数の第一のデフォーカス量を算出する第一のデフォーカス量算出ステップと、
    前記複数回の撮像の各々によって得られた撮像画像信号のうち前記範囲の前記第１の信号検出部の検出信号について、同じ前記第１の信号検出部の検出信号同士を加算し、前記複数回の撮像の各々によって得られた撮像画像信号のうち前記範囲の前記第２の信号検出部の検出信号について、同じ前記第２の信号検出部の検出信号同士を加算し、加算後の前記第１の信号検出部の検出信号と前記第２の信号検出部の検出信号を用いて第二のデフォーカス量を算出する第二のデフォーカス量算出ステップと、
    前記複数の第一のデフォーカス量と前記第二のデフォーカス量との比較により、前記第二のデフォーカス量に基づいた前記撮像光学系の合焦制御を行うか否かを判定する判定ステップと、を備える合焦制御方法。

Images