JP5807125B2 - 撮像装置及びその合焦制御方法 - Google Patents

Description

本発明は、位相差ＡＦ方式とコントラストＡＦ方式の２方式を搭載した撮像装置及びその合焦制御方法に関する。

デジタルスチルカメラ等の撮像装置には、ＡＦ（オートフォーカス）機能が搭載されている。撮像装置に搭載されるＡＦ方式には、主として位相差ＡＦ方式とコントラストＡＦ方式の２つの方式がある。近年の撮像装置は、この２つの方式を搭載し、撮影状況に応じて２つの方式のうちの一方を選択して使用する様になっている。

例えば、下記の特許文献１記載の従来技術では、装着レンズの種類によって位相差ＡＦとコントラストＡＦを切り換えている。

また、特許文献２に記載の従来技術では、被写体画像の周波数成分に応じて位相差ＡＦとコントラストＡＦを切り換えている。

また、特許文献３に記載の従来技術では、露出値に応じて位相差ＡＦとコントラストＡＦを切り換えている。

また、特許文献４に記載の従来技術では、被写体輝度に応じて位相差ＡＦとコントラストＡＦを切り換えている。

２つの方式を切り替えるものではないが、特許文献５には、位相差ＡＦにおいて、位相差検出用画素への隣接画素からの光の漏れこみがある場合には、その漏れこみの量を補正することが記載されている。

日本国特開２０１１―１７０１５３号公報 日本国特開２００９―６３９２１号公報 日本国特開２０１２―４９２０１号公報 日本国特開２００８―５２１５１号公報 日本国特開２００９−１２２５２４号公報

位相差ＡＦ方式とコントラストＡＦ方式は、前者の方が合焦速度が速く、後者の方が合焦精度が高いという利点がある。カメラユーザは、高速な合焦位置の検出を望む。このため、最初に位相差ＡＦ方式で合焦位置の検出を行い、位相差ＡＦ方式で合焦位置の検出ができないときや合焦位置が誤算出されるときは、次にコントラストＡＦ方式で合焦位置の検出を行うのが良い。

しかし、位相差ＡＦ方式では合焦位置が誤算出されやすい被写体が存在し、この場合は、最初からコントラストＡＦ方式で合焦位置の検出を行った方が合焦位置の検出時間を短縮することが可能となる。

従来技術の場合、被写体画像の輝度や露出値、周波数成分で位相差ＡＦ方式，コントラストＡＦ方式のいずれかを選択している。しかし、これだけでは、位相差ＡＦ方式で合焦位置が誤算出されやすい被写体を排除できないため、高速なＡＦ処理ができない。

本発明の目的は、位相差ＡＦ方式に不適切な被写体の場合には直ちにコントラストＡＦ方式を選択できる撮像装置及びその合焦制御方法を提供することにある。

本発明の撮像装置は、フォーカスレンズを含む撮像光学系を介して被写体を撮像する撮像素子を有する撮像装置であって、上記撮像素子は、受光面上に配列形成された複数の撮像用画素及び複数の位相差検出用画素を含み、上記複数の撮像用画素は、検出色の異なる少なくとも３種類の撮像用画素を含み、上記位相差検出用画素は、上記撮像用画素のいずれかの検出色と同じ色を検出し、上記位相差検出用画素の出力信号を利用した位相差ＡＦ方式による合焦制御と上記撮像用画素の出力信号を利用したコントラストＡＦ方式による合焦制御とのいずれかを選択的に行う合焦制御部を備え、上記合焦制御部は、上記受光面に対して設定される位相差を検出する対象となるエリアであって、上記少なくとも３種類の撮像用画素と上記位相差検出用画素を含む位相差検出エリアによって撮像される被写体像の色の検出信号を取得し、上記位相差検出用画素が検出する色を第一の色としたとき、上記位相差検出エリア内の上記第一の色を検出する上記撮像用画素の出力信号量である第一の出力信号量と、上記位相差検出エリア内において上記第一の色とは異なる色を検出する上記撮像用画素のうち上記位相差検出用画素に隣接する撮像用画素と同一色を検出する撮像用画素の出力信号量である第二の出力信号量との比を算出し、上記比を、上記第一の出力信号量に対する上記第二の出力信号量の割合としたときに、上記割合が第一の閾値以上である場合に上記コントラストＡＦ方式による合焦制御のみを行うことを決定し、上記割合が上記第一の閾値未満である場合に上記位相差ＡＦ方式による合焦制御を行うことを決定するものである。

本発明の合焦制御方法は、フォーカスレンズを含む撮像光学系を介して被写体を撮像する撮像素子を有する撮像装置による合焦制御方法であって、上記撮像素子は、受光面上に配列形成された複数の撮像用画素及び複数の位相差検出用画素を含み、上記複数の撮像用画素は、検出色の異なる少なくとも３種類の撮像用画素を含み、上記位相差検出用画素は、上記撮像用画素のいずれかの検出色と同じ色を検出し、上記位相差検出用画素の出力信号を利用した位相差ＡＦ方式による合焦制御と上記撮像用画素の出力信号を利用したコントラストＡＦ方式による合焦制御のいずれかを選択的に行う合焦制御ステップを備え、上記合焦制御ステップでは、
上記受光面に対して設定される位相差を検出する対象となるエリアであって、上記少なくとも３種類の撮像用画素と上記位相差検出用画素を含む位相差検出エリアによって撮像される被写体像の色の検出信号を取得し、上記位相差検出用画素が検出する色を第一の色としたとき、上記位相差検出エリア内の上記第一の色を検出する上記撮像用画素の出力信号量である第一の出力信号量と、上記位相差検出エリア内において上記第一の色とは異なる色を検出する上記撮像用画素のうち上記位相差検出用画素に隣接する撮像用画素と同一色を検出する撮像用画素の出力信号量である第二の出力信号量との比を算出し、上記比を、上記第一の出力信号量に対する上記第二の出力信号量の割合としたときに、上記割合が第一の閾値以上である場合に上記コントラストＡＦ方式による合焦制御のみを行うことを決定し、上記割合が上記第一の閾値未満である場合に上記位相差ＡＦ方式による合焦制御を行うことを決定するものである。

本発明によれば、位相差ＡＦ方式に不適切な被写体の場合には直ちにコントラストＡＦ方式を選択できる撮像装置を提供することができる。

本発明の一実施形態に係る撮像装置の機能ブロック構成図である。 図１に示す固体撮像素子の受光面における要部平面図である。 図１に示す固体撮像素子の受光面の説明図である。 図１に示すデジタルカメラのＡＦ動作を説明するためのフローチャートである。 図１に示す固体撮像素子の画素配列の変形例を示す図である。 図１に示すデジタルカメラのＡＦ動作の第一の変形例を説明するためのフローチャートである。 図１に示すデジタルカメラのＡＦ動作の第二の変形例を説明するための図である。 図１に示すデジタルカメラのＡＦ動作の第三の変形例を説明するための図である。 図１に示すデジタルカメラのＡＦ動作の第三の変形例を説明するためのフローチャートである。 本発明の撮像装置の一例であるスマートフォンの外観図である。 図１０に示すスマートフォンの機能ブロック構成図である。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。

図１に示すデジタルカメラの撮像系は、撮像光学系としてのレンズ装置（撮影レンズ１と絞り２とを含む）と、レンズ装置を介して被写体を撮像するＣＣＤ型やＣＭＯＳ型等の固体撮像素子５とを備えている。撮影レンズ１及び絞り２を含むレンズ装置は、カメラ本体に着脱可能又は固定となっている。

撮影レンズ１は、合焦用のフォーカスレンズと、焦点距離変更のためのズームレンズとを含む。ズームレンズは省略可能である。

デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、フラッシュ発光部１２及び受光部１３を制御する。また、システム制御部１１は、レンズ駆動部８を制御して撮影レンズ１に含まれるフォーカスレンズの位置を調整したり、撮影レンズ１に含まれるズームレンズの位置の調整を行ったりする。更に、システム制御部１１は、絞り駆動部９を介して絞り２の開口量を制御することにより、露光量の調整を行う。

また、システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子５を駆動し、撮影レンズ１を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。

このシステム制御部１１は、後述する様に、コントラストＡＦ処理部１８と位相差ＡＦ処理部１９のいずれか一方を被写体色に応じて選択し、選択した処理部によって決定された合焦位置にしたがって、撮影レンズ１の合焦制御を行う。

デジタルカメラの電気制御系は、更に、固体撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、このアナログ信号処理部６から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備える。アナログ信号処理部６及びＡ／Ｄ変換回路７は、システム制御部１１によって制御される。アナログ信号処理部６及びＡ／Ｄ変換回路７は固体撮像素子５に内蔵されることもある。

更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、Ａ／Ｄ変換回路７から出力される撮像画像信号に対し、補間演算、ガンマ補正演算、及びＲＧＢ／ＹＣ変換処理等を行って撮影画像データを生成するデジタル信号処理部１７と、コントラストＡＦ方式により合焦位置を決定するコントラストＡＦ処理部１８と、位相差ＡＦ方式により合焦位置を決定する位相差ＡＦ処理部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された表示部２３が接続される表示制御部２２と、を備える。メモリ制御部１５、デジタル信号処理部１７、コントラストＡＦ処理部１８、位相差ＡＦ処理部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

図２は、図１に示すデジタルカメラに搭載される固体撮像素子５の平面構成を示す部分拡大図である。

固体撮像素子５は、受光面上の行方向Ｘ及びこれに直交する列方向Ｙに二次元状に配列された多数の画素５１（図中の各正方形のブロック）を備えている。図２では全ての画素５１は図示していないが、実際には、数百万〜１千数万個程度の画素５１が二次元状に配列される。固体撮像素子５により撮像を行うと、この多数の画素５１の各々から出力信号が得られる。

各画素５１は、フォトダイオード等の光電変換部と、この光電変換部上方に形成されたカラーフィルタとを含む。

図２では、赤色光を透過するカラーフィルタ（Ｒフィルタ）を含む画素５１には“Ｒ”の文字を付し、緑色光を透過するカラーフィルタ（Ｇフィルタ）を含む画素５１には“Ｇ”の文字を付し、青色光を透過するカラーフィルタ（Ｂフィルタ）を含む画素５１には“Ｂ”の文字を付している。

多数の画素５１は、行方向Ｘに並ぶ複数の画素５１からなる画素行を、列方向Ｙに複数個並べた配列となっている。そして、奇数行の画素行と偶数行の画素行は、各画素行の画素５１の配列ピッチの略１／２、行方向Ｘにずれている。

奇数行の画素行の各画素５１に含まれるカラーフィルタの配列は全体としてベイヤ配列となっている。また、偶数行の画素行の各画素５１に含まれるカラーフィルタの配列も全体としてベイヤ配列となっている。奇数行にある画素５１と、この画素５１に対して右下に隣接する、この画素５１と同色光を検出する画素５１とがペアを構成する。本明細書において“隣接する２つの画素”とは、中心同士を結ぶ線分の長さが最短となる２つの画素のことを言う。

このような画素配列の固体撮像素子５によれば、ペアを構成する２つの画素５１の出力信号を加算することでカメラの高感度化を図ることができる。また、ペアを構成する２つの画素５１の露光時間を変え、かつ、この２つの画素５１の出力信号を加算することでカメラの広ダイナミックレンジ化を図ることができる。

固体撮像素子５では、ペアのうちの一部を位相差検出用画素のペア（以下、位相差ペアともいう）としている。各位相差ペアは、図２の例では、斜めに隣接する位相差検出用画素５１Ｒと位相差検出用画素５１Ｌとで構成される。位相差ペアは、隣接する同色画素のペアに限らず、例えば１，２画素や数画素程度離れた近接する同色画素のペアとしても良い。

位相差検出用画素５１Ｒは、撮影レンズ１の瞳領域の異なる部分を通過した一対の光束の一方（例えば瞳領域の右半分を通過した光束）を受光し受光量に応じた信号を出力する。つまり、固体撮像素子５に設けられた位相差検出用画素５１Ｒは、撮影レンズ１の瞳領域の異なる部分を通過した一対の光束の一方によって形成される像を撮像するものとなる。

位相差検出用画素５１Ｌは、上記一対の光束の他方（例えば瞳領域の左半分を通過した光束）を受光し受光量に応じた信号を出力する。つまり、固体撮像素子５に設けられた位相差検出用画素５１Ｌは、撮影レンズ１の瞳領域の異なる部分を通過した一対の光束の他方によって形成される像を撮像するものとなる。

なお、位相差検出用画素５１Ｒ，５１Ｌ以外の複数の画素５１（以下、撮像用画素という）は、撮影レンズ１の瞳領域のほぼ全ての部分を通過した光束によって形成される像を撮像するものとなる。撮像用画素５１のうち、Ｒフィルタを搭載するものをＲ画素５１、Ｇフィルタを搭載するものをＧ画素５１、Ｂフィルタを搭載するものをＢ画素５１ともいう。

各画素５１の光電変換部上方には、遮光膜が設けられる。この遮光膜には、光電変換部の受光面積を規定する開口が形成されている。

撮像用画素５１の開口（図２において符号ａで示す）の中心は、撮像用画素５１の光電変換部の中心（正方形のブロックの中心）と一致している。なお、図２では、図を簡略化するために、撮像用画素５１については一箇所のみに開口ａを図示している。

これに対し、位相差検出用画素５１Ｒの開口（図２において符号ｃで示す）の中心は、位相差検出用画素５１Ｒの光電変換部の中心に対し右側に偏心している。位相差検出用画素５１Ｌの開口（図２において符号ｂで示す）の中心は、位相差検出用画素５１Ｌの光電変換部の中心に対して左側に偏心している。

固体撮像素子５では、緑色のカラーフィルタが搭載される画素５１の一部が位相差検出用画素５１Ｒ又は位相差検出用画素５１Ｌとなっている。

図示する例では、位相差検出用画素５１Ｒと位相差検出用画素５１Ｌは、それぞれ、画素５１が配置される領域において離散的及び周期的に配置されている。

位相差検出用画素５１Ｒは、図２の例では、偶数行の画素行の一部（図２の例では、３画素行おきに並ぶ４つの画素行）において、行方向Ｘに３つの画素おきに配置されている。位相差検出用画素５１Ｌは、図２の例では、奇数行の画素行の一部（位相差検出用画素５１Ｒを含む画素行の隣にある画素行）において、行方向Ｘに、位相差検出用画素５１Ｒと同じ周期で配置されている。

このような構成により、遮光膜の開口ｂを通って画素５１Ｌに受光される光は、図２の紙面上方に設けられる撮影レンズ１の被写体から見て左側からの光、すなわち被写体を右眼で見た方向から来た光が主となる。また、遮光膜の開口ｃを通って画素５１Ｒに受光される光は、撮影レンズ１の被写体から見て右側からの光、すなわち被写体を左眼で見た方向から来た光が主となる。

即ち、全ての位相差検出用画素５１Ｒによって、被写体を左眼で見た撮像画像信号を得ることができ、全ての位相差検出用画素５１Ｌによって、被写体を右眼で見た撮像画像信号を得ることができる。このため、両者を組み合わせ相関演算することで位相差情報を求めることが可能になる

なお、位相差検出用画素５１Ｒと位相差検出用画素５１Ｌは、遮光膜の開口を逆方向に偏心させることで位相差情報を得られるようにしている。しかし、位相差情報を得るための構造はこれに限らず、よく知られているものを採用することができる。例えば、位相差ペアに共通の１つのマイクロレンズ（トップレンズ）を搭載する構造でも良い。

図３は、図１に示すデジタルカメラに搭載される固体撮像素子５の全体構成を示す平面模式図である。

固体撮像素子５は、全ての画素５１が配置される受光面５０を有する。そして、この受光面５０に、位相差情報を取得する対象となる位相差検出エリア（以下、ＡＦエリアという）５２が図２の例では９つ設けられている。

ＡＦエリア５２は、Ｒフィルタ搭載の撮像用画素５１、Ｇフィルタ搭載の撮像用画素５１、及びＢフィルタ搭載の撮像用画素５１と、複数の位相差ペアとを含むエリアである。

受光面５０のうちＡＦエリア５２を除く部分には、撮像用画素５１だけが配置される。なお、ＡＦエリア５２は、受光面５０に隙間無く埋めるように設けてあってもよい。

図１に示す位相差ＡＦ処理部１９は、９つのＡＦエリア５２の中からユーザ操作等により選択された１つのＡＦエリア５２にある位相差検出用画素５１Ｌ及び位相差検出用画素５１Ｒから読み出される出力信号群を用いて、上記一対の光束によって形成される２つの像の相対的な位置ずれ量である位相差量を演算する。そして、この位相差量に基づいて、撮影レンズ１の焦点調節状態、ここでは合焦状態から離れている量とその方向、すなわちデフォーカス量を求める。そして、位相差ＡＦ処理部１９は、このデフォーカス量からフォーカスレンズの合焦位置を決定する。

図１に示すコントラストＡＦ処理部１８は、９つのＡＦエリア５２の中からユーザ操作等により選択された１つのＡＦエリア５２によって撮像される画像を解析し、周知のコントラストＡＦ方式によって撮影レンズ１の合焦位置を決定する。

即ち、コントラストＡＦ処理部１８は、システム制御部１１の制御によって撮影レンズ１のフォーカスレンズ位置を動かしながら、動かした位置毎に得られる画像のコントラスト（明暗差）を求める。そして、コントラストが最大となるフォーカスレンズ位置を合焦位置として決定する。

なお、ＡＦエリア５２は１つだけでなく、連続して並ぶ複数個を選択できるようにしてもよい。

図１に示すシステム制御部１１は、選択されたＡＦエリア５２によって撮像される被写体像の色を判定し、その色に応じて、コントラストＡＦ処理部１８と位相差ＡＦ処理部１９のいずれか一方を選択する。そして、選択したコントラストＡＦ処理部１８又は位相差ＡＦ処理部１９に合焦位置を決定させ、決定された合焦位置に基づいて、撮影レンズ１のフォーカスレンズを合焦位置に制御する。

固体撮像素子５では、位相差検出用画素５１Ｌ，５１Ｒにおいて、これに隣接しかつこれと異なる色を検出する撮像用画素５１からの光の漏れ込み（混色）が多くなると、例えば特許文献５に記載されている様に、位相差ＡＦ精度が落ちてしまう。

例えば、図２に示した画素配列では、任意のＡＦエリア５２によって撮像される被写体像において、緑色成分に対して赤色成分や青色成分の量が多いと、Ｒ画素５１やＢ画素５１から位相差検出用画素５１Ｒ，５１Ｌへの光の漏れ込みが多くなり、位相差検出量に影響が及ぶ。

特に、赤色光は、半導体中での吸収係数が他の色に比べて小さいため、半導体中においてより深くまで進入する。したがって、斜め入射した赤色光による、位相差検出用画素への混色が顕著になる場合がある。

そこで、本実施形態では、選択されたＡＦエリア５２により撮像される被写体像において、位相差検出用画素５１Ｒ，５１Ｌが検出する色成分よりも他の色成分の方が大幅に多くなるような場合には、位相差ＡＦ方式ではＡＦ精度が期待できないと判断して、コントラストＡＦ方式を選択するようにしている。逆に、選択されたＡＦエリア５２により撮像される被写体像が赤色や青色に偏っていない場合には、位相差ＡＦ方式を選択する。このように、位相差ＡＦ方式によって合焦位置を決めにくくなるような被写体色の場合にはコントラストＡＦ方式を選択することで、高速かつ高精度のＡＦ動作が可能となる。

図４は、図１に示すデジタルカメラの動作を説明するためのフローチャートである。

撮影モードに設定されると、固体撮像素子５によるライブビュー画像生成用の撮像が開始され、表示部２３にライブビュー画像が表示される（ステップＳ１）。そして、シャッタボタンが半押しされてＡＦ指示がなされると（ステップＳ２：ＹＥＳ）、システム制御部１１は、ＡＦ指示の直前又は直後に固体撮像素子５によって撮像して得られていた撮像画像信号から、事前に選択されたＡＦエリア５２にある各画素５１の出力信号を取得する（ステップＳ３）。

次に、システム制御部１１は、取得した出力信号のうち、位相差検出用画素５１Ｒ，５１Ｌの出力信号を除く、Ｒ画素５１、Ｇ画素５１、及びＢ画素５１のそれぞれについて、その出力信号量の平均値を算出する。

そして、Ｒ画素５１の出力信号の平均値をＲａｖ、Ｇ画素５１の出力信号の平均値をＧａｖ、Ｂ画素５１の出力信号の平均値をＢａｖとすると、システム制御部１１は、Ｂａｖ／ＧａｖとＲａｖ／Ｇａｖを算出する（ステップＳ４）。

Ｂａｖ／Ｇａｖは、選択されているＡＦエリア５２によって撮像される被写体像において、位相差検出用画素が検出する緑色成分に対し青色成分がどの程度の割合で存在しているかを示す値となる。

また、Ｒａｖ／Ｇａｖは、選択されているＡＦエリア５２によって撮像される被写体像において、緑色成分に対し赤色成分がどの程度の割合で存在しているかを示す値となる。したがって、Ｂａｖ／Ｇａｖ及びＲａｖ／Ｇａｖの大きさにより、選択されたＡＦエリア５２によって撮像される被写体像の色を判定することができる。

Ｂａｖ／Ｇａｖの値が大きいほど、位相差検出用画素５１Ｒ，５１Ｌに青色の光が漏れ込む量が多くなり、位相差量の算出精度が低下する方向にむかう。また、Ｒａｖ／Ｇａｖの値が大きいほど、位相差検出用画素５１Ｒ，５１Ｌに赤色の光が漏れ込む量が多くなり、位相差量の算出精度が低下する方向にむかう。

そこで、図１に示すデジタルカメラでは、位相差量の算出精度が許容範囲外となるときのＢａｖ／Ｇａｖ及びＲａｖ／Ｇａｖの各々の下限値を閾値αとして設定している。

そして、システム制御部１１は、Ｂａｖ／ＧａｖとＲａｖ／Ｇａｖのいずれか一方が閾値α以上であるか否かを判定する（ステップＳ５）。

ステップＳ５の判定がＹＥＳのとき、システム制御部１１は、位相差ＡＦ精度が許容できない被写体色であると判定して、コントラストＡＦ処理部１８を選択する（ステップＳ６）。一方、ステップＳ５の判定がＮＯのとき、システム制御部１１は、位相差ＡＦ精度が許容できる被写体色であると判定して、位相差ＡＦ処理部１９を選択する（ステップＳ７）。

ステップＳ６、Ｓ７の後、システム制御部１１は、選択したＡＦ処理部に合焦位置の決定を行わせ、決定された合焦位置にフォーカスレンズを移動させる（ステップＳ８）。

そして、システム制御部１１は、合焦したことを示す情報を表示部２３に表示させたり、合焦したことを示す音をスピーカから出力させたりして、合焦したことを報知する（ステップＳ９）。

その後は、撮影待機状態となり、シャッタボタンが全押しされると、固体撮像素子５により画像記録のための撮像が行われる。

なお、図２に示す画素配置では、位相差検出用画素５１Ｌに隣接するＲ画素５１とＢ画素５１のうち、Ｒ画素５１についてはＢ画素５１よりも、位相差検出用画素５１Ｌの開口ｂから遠い位置にある。位相差検出用画素５１Ｒについても同様である。このため、Ｒ画素５１からの混色による位相差ＡＦ精度への影響は無視することも可能である。

この場合、図４のステップＳ５では、Ｂａｖ／Ｇａｖがα以上であればステップＳ６を行い、Ｂａｖ／Ｇａｖがα未満であればステップＳ７を行うようにしてもよい。

例えば、図２において位相差検出用画素５１Ｌの位置を位相差検出用画素５１Ｒの右下に変えた図５に示す画素配置では、開口ｂに対してはＢ画素５１が相対的に近くにあり、開口ｃに対してはＲ画素５１が相対的に近くなる。このような場合には、ステップＳ５のように、Ｂａｖ／ＧａｖとＲａｖ／Ｇａｖの両方の大きさによって判定を行うのがよい。

また、Ｂａｖ／Ｇａｖの閾値とＲａｖ／Ｇａｖの閾値は同じとしたが、カラーフィルタ配列によっては、異なる閾値にするのがよい場合もある。赤色光は青色光に比べて波長が長く、混色しやすい。このため、例えば図５のように、位相差検出用画素においてＲ画素とＢ画素からの混色が同程度に発生しうる画素配置であれば、Ｒａｖ／Ｇａｖの閾値をＢａｖ／Ｇａｖの閾値より小さくしておくのがよい。

また、ステップＳ４では、Ｒａｖを、ＡＦエリア５２内の全てのＲ画素５１の出力信号量の平均として求めた。しかし、位相差検出用画素の混色の原因になるのは、位相差検出用画素の周辺の画素だけである。したがって、Ｒａｖを、ＡＦエリア５２内の全てのＲ画素５１の出力信号量の平均ではなく、位相差検出用画素５１Ｒ，５１Ｌに隣接するＲ画素５１の出力信号量の平均としてもよい。

同様に、Ｂａｖを、ＡＦエリア５２内の位相差検出用画素５１Ｒ，５１Ｌに隣接するＢ画素５１の出力信号量の平均としてもよい。

Ｇａｖについては、ＡＦエリア５２において、位相差検出用画素５１Ｒ（５１Ｌ）と行方向Ｘにおける位置が同じで、かつ、位相差検出用画素５１Ｒ（５１Ｌ）に最も近い位置にあるＧ画素５１の出力信号量の平均としてもよい。

以上のようにすることで、演算量を減らしてＡＦ速度を向上させることができる。

また、ステップＳ４では、被写体像における緑色成分と赤色成分又は青色成分の比として、Ｒａｖ／Ｇａｖ及びＢａｖ／Ｇａｖの代わりに、Ｇａｖ／Ｒａｖ及びＧａｖ／Ｂａｖを算出してもよい。

Ｇａｖ／Ｂａｖの値が小さいほど、位相差検出用画素５１Ｒ，５１Ｌに青色の光が漏れ込む量が多くなり、位相差量の算出精度が低下する方向にむかう。また、Ｇａｖ／Ｒａｖの値が小さいほど、位相差検出用画素５１Ｒ，５１Ｌに赤色の光が漏れ込む量が多くなり、位相差量の算出精度が低下する方向にむかう。

そこで、ステップＳ４においてＧａｖ／Ｒａｖ及びＧａｖ／Ｂａｖを算出する場合は、位相差量の算出精度が許容範囲外となるときのＧａｖ／Ｒａｖ及びＧａｖ／Ｂａｖの各々の上限値を閾値αとして設定しておく。そして、図４のステップＳ５において、Ｇａｖ／Ｒａｖ又はＧａｖ／Ｂａｖがそれぞれ閾値α以下となるときにステップＳ６の処理を行い、Ｇａｖ／Ｒａｖ及びＧａｖ／Ｂａｖがそれぞれ閾値αを超えるときにステップＳ７の処理を行えばよい。

図６は、図１に示すデジタルカメラの動作の第一の変形例を説明するためのフローチャートである。図６において図４の処理手順と同じステップには同一符号を付してある。

ステップＳ１でライブビュー画像の生成・表示が開始されると、固体撮像素子５から出力される撮像画像信号を用いてステップＳ３〜Ｓ７の処理が行われる。

ステップＳ６及びステップＳ７の後、シャッタボタンの半押しによるＡＦ指示がなければ（ステップＳ２３：ＮＯ）、システム制御部１１はステップＳ１に処理を戻す。つまり、デジタルカメラの電源がオンされてからＡＦ指示がなされるまでは、定期的に、ステップＳ１〜ステップＳ７の処理が行われる。

ステップＳ６及びステップＳ７の後、シャッタボタンの半押しによるＡＦ指示があれば（ステップＳ２３：ＹＥＳ）、システム制御部１１は、ステップＳ８の処理を行う。

以上のように、ＡＦ指示がなされる前の段階で、コントラストＡＦと位相差ＡＦのどちらを行うかを決めておくことで、ＡＦ指示がなされてからフォーカスレンズが合焦位置に移動するまでの時間を短縮することができ、ＡＦの高速化が可能となる。

図７は、図１に示すデジタルカメラのＡＦ動作の第二の変形例を説明するためのフローチャートである。図４の処理手順に比べて、ステップＳ４とステップＳ５との間に、ステップＳ３１を設けた点だけが異なる。このステップＳ３１では、ステップＳ５の判定で用いる閾値αの設定を行う。

位相差ＡＦ方式は、隣接画素から位相差検出用画素への混色割合が多いと、誤差が多くなりＡＦ精度が期待できない。この混色つまり隣接画素からの光の漏れ込み量は、位相差検出用画素に対する光線の入射角度に依存する。つまり、入射角度がきつくなるほど、光の漏れ込み量は多くなる。

そこで、本変形例では、選択されたＡＦエリア５２に入射する光線の角度に応じて閾値αを決定する。

任意の画素５１に入射する光の角度は、撮像光学系の光学条件（撮像光学系のＦ値、撮像光学系の焦点距離（ズームレンズの位置）、及びフォーカスレンズの位置の少なくとも１つ）によって決まる。また、任意の画素５１に入射する光の角度は、その画素５１が属するＡＦエリア５２の位置によっても変わる。例えば、図３において真ん中のＡＦエリア５２よりも４隅のＡＦエリアでは斜め入射光が多くなる。

そこで、例えばテーブルデータとして、ＡＦエリア５２毎に、Ｆ値、ズームレンズの位置、及びフォーカスレンズの位置の全ての組み合わせに対して閾値αをα１，α２，…αｉとして生成しＲＯＭ等のメモリに記憶しておく。

具体的には、入射する光線が受光面５０に対して垂直なときを入射角０°とし、ＡＦエリア５２内の位相差検出用画素５１Ｒ，５１Ｌに対する光線の入射角度の平均値が大きいほど、閾値αｉは小さい値にしておく。

そして、システム制御部１１は、ステップＳ３１において、ＡＦ指示が行われた時点での光学条件と選択されているＡＦエリア５２の位置に該当する閾値αｉをメモリから読み出し、ステップＳ５の判定で用いる閾値αとして設定する。

本実施形態では、撮像光学系の光学条件とＡＦエリア５２の位置に応じて適切な閾値αが設定されるため、位相差ＡＦ方式が適切に選択される可能性が高くなる。

なお、ＡＦエリア５２の数が受光面５０において例えば真ん中に１つしか設定できない場合は、ＡＦエリア５２の位置の違いによる閾値αの違いは生じない。このため、この場合は、光学条件毎に閾値αを求めてメモリに記憶しておく。そして、システム制御部１１は、ステップＳ３１において、ＡＦ指示が行われた時点での光学条件に対応する閾値αｉをメモリから読み出し、ステップＳ５の判定で用いる閾値αとして設定すればよい。

図７の変形例は、図６の変形例にも適用可能である。即ち、図６のステップＳ４とステップＳ５の間に図７のステップＳ３１の処理を追加してもよい。この場合は、ステップＳ３１において、システム制御部１１は、ステップＳ３で取得した出力信号を得るための撮像が行われた時点での光学条件と選択されているＡＦエリア５２の位置に該当する閾値αｉをメモリから読み出し、ステップＳ５の判定で用いる閾値αとして設定すればよい。

図８は、図１に示すデジタルカメラのＡＦ動作の第三の変形例の説明図であり、図９は、その処理手順を示すフローチャートである。図９では、図４のフローチャートの処理ステップと同じ処理ステップには同一符号を付して説明は省略し、異なるステップについて説明する。

図４の実施形態では、図３に示す９つのＡＦエリア５２のうちの選択された１つのＡＦエリアにおけるＲａｖ／Ｇａｖ，Ｂａｖ／Ｇａｖで、ステップＳ５の判定を行った。これに対し、本変形例では、選択された１つのＡＦエリア５２を、図８に示す様に、例えば４×４＝１６の部分エリア５２―ｉ（ｉ＝１〜１６）に複数個に分割する。

システム制御部１１は、ステップＳ３の次のステップＳ４１で、１６個の部分エリア５２―ｉの夫々についてＢａｖ／Ｇａｖ，Ｒａｖ／Ｇａｖの値を求める。

そして、次のステップＳ４２で、システム制御部１１は、Ｂａｖ／Ｇａｖ又はＲａｖ／Ｇａｖの値が閾値α以上となる部分エリアの数が閾値β以上（例えば、β＝８）となるか否かを判定する。

システム制御部１１は、ステップＳ４２の判定の結果、（Ｒａｖ／Ｇａｖ）≧α又は（Ｂａｖ／Ｇａｖ）≧αとなる部分エリアの数がβ以上の場合（ステップＳ４２：ＹＥＳ）には、ステップＳ６に進んでコントラストＡＦ方式を選択する。

システム制御部１１は、ステップＳ４２の判定の結果、（Ｒａｖ／Ｇａｖ）≧α又は（Ｂａｖ／Ｇａｖ）≧αとなる部分エリアの数がβ未満の場合（ステップＳ４２：ＮＯ）には、ステップＳ７に進んで位相差ＡＦ方式を選択する。

なお、この変形例においても、図７の変形例と同様に、閾値αを光学条件（光線角度情報）とＡＦエリア５２の位置で決めるステップＳ３１を設けても良い。更に、閾値βも、光学条件（光線角度情報）とＡＦエリア５２の位置で決めても良い。また、図９の変形例は、図６の変形例にも適用可能である。

図９のステップＳ４２の判定がＮＯのときに、Ｒａｖ／Ｇａｖ≧αとなる部分エリア、又は、Ｂａｖ／Ｇａｖ≧αとなる部分エリアがあった場合は、位相差ＡＦ処理部１９は、これらの部分エリアを除く部分エリアにある位相差検出用画素５１の出力信号を用いて、位相差ＡＦ方式による合焦位置の決定を行うのが好ましい。

また、図９のステップＳ４２では、Ｒａｖ／Ｇａｖ≧αとなる部分エリアの数Ｎとβとを比較して、Ｎ≧βであればステップＳ６の処理を行い、Ｎ＜βであればステップＳ７の処理を行うようにしてもよい。前述したように、赤色光の方が青色光よりも混色しやすいので、上記のようにすることでも高い効果を得ることができる。

以上述べた実施形態によれば、ＡＦエリア内の被写体色の色割合によって、位相差ＡＦ方式を実行するか否かを決定する。このため、位相差ＡＦ方式を実行したときに合焦する確率が高くなり、高速ＡＦ処理を行うことが可能となる。

なお、上述した実施形態では、図２，図５の画素配列を持つ固体撮像素子５を例に説明したが、本発明はこれに限るものではなく、各画素が正方格子配列される場合にも適用可能である。

また、位相差検出用画素５１Ｒ，５１ＬをＧフィルタ搭載画素としたが、Ｒフィルタ搭載画素を位相差検出用画素としたり、Ｂフィルタ搭載画素を位相差検出用画素としたりする場合にも上述した実施形態を適用可能である。いずれの場合も、被写体画像において、位相差検出用画素の検出色の成分量とその他の色の成分量との比を求め、この比の大小によって、位相差ＡＦを行うかコントラストＡＦを行うかを選択すればよい。

また、位相差検出用画素５１Ｒ，５１Ｌは、色フィルタの代わりに、光の輝度成分を透過する輝度フィルタを搭載する画素としてもよい。輝度フィルタとしては、透明フィルタやＮＤフィルタ等があり、光電変換部上方にフィルタを設けず光が光電変換部に直接入射する構成も輝度フィルタを設けたということができる。

位相差検出用画素５１Ｒ，５１Ｌが輝度フィルタ搭載画素である場合は、位相差検出用画素５１Ｒ，５１ＬにおいてはＲ，Ｇ，Ｂ全ての色が検出される。これらの色のうち、赤色は混色が発生しやすい。つまり、被写体が赤味を帯びたものであると、位相差検出用画素５１Ｒ，５１Ｌにおいて混色による影響が大きくなって位相差ＡＦ精度が低下する可能性が高い。

そこで、位相差検出用画素５１Ｒ，５１Ｌが輝度フィルタ搭載画素である場合は、図４のステップＳ５において、システム制御部１１が、Ｒａｖ／ＧａｖとＲａｖ／Ｂａｖを算出する。そして、システム制御部１１は、Ｒａｖ／ＧａｖとＲａｖ／Ｂａｖのいずれかが閾値以上になるときには、被写体が赤に偏ったものであると判定して、ステップＳ７の処理を行い、Ｒａｖ／ＧａｖとＲａｖ／Ｂａｖの両方が閾値未満になるときには、ステップＳ６の処理を行えばよい。

また、ここまでの説明では、ステップＳ５やステップＳ４２の判定結果に応じて、コントラストＡＦと位相差ＡＦのどちらかを選択し、選択した方式のみを使用してＡＦを行うものとした。しかし、ステップＳ７の処理が行われた場合には、ステップＳ８における合焦制御として、位相差ＡＦとコントラストＡＦ方式とを併用して行っても良い。

つまり、ステップＳ７の処理を行った後、システム制御部１１は、位相差ＡＦ処理部１９により合焦位置を決定された合焦位置にフォーカスレンズを移動させ、その状態で、コントラストＡＦ処理部１８に合焦位置を決定させて、決定させた合焦位置にフォーカスレンズを移動させる。このように、位相差ＡＦを行った後、コントラストＡＦにより合焦位置の微調整を行うことで、ＡＦ精度を高めることができる。

以上、本発明の撮像装置の実施形態として、デジタルカメラについて説明してきたが、撮像装置の構成はこれに限定されない。本発明のその他の撮像装置としては、例えば、内蔵型又は外付け型のPC用カメラ、或いは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。

本発明の撮像装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

図１０は、本発明の撮像装置の一実施形態であるスマートフォン２００の外観を示すものである。図１０に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

図１１は、図１０に示すスマートフォン２００の構成を示すブロック図である。図１１に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。

表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。

操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。

図１０に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。

このような配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０１の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２１１は、スピーカ２０５やマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。また、図１０に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

操作部２０７は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１０に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２１２は、主制御部２２０の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達することや、スマートフォン２００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０や外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２１５は、例えば、３軸の加速度センサなどを備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向や加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２２０は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

更に、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２０８は、ＡＦ機能を搭載しており、図１に示したデジタルカメラにおける外部メモリ制御部２０、記録媒体２１、表示制御部２２、表示部２３、及び操作部１４以外の構成を含む。カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることができる。図９に示すにスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。

また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示することや、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用することができる。また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。更には、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等などを付加して記録部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることもできる。

以上のような構成のスマートフォン２００においても、カメラ部２０８の撮像素子として固体撮像素子５を用い、カメラ部２０８が図４，図６，図７，図９の動作を行うことで、高速高精度なＡＦ処理を実現可能となる。

このスマートフォン２００で被写体画像を撮像する場合、小さな固体撮像素子を用いなければならない関係で、画素への入射光が斜め入射光になる可能性が高い。つまり、上述した混色によるＡＦ機能の低下が懸念される。

しかし、スマートフォン２００は、位相差ＡＦ機能とコントラストＡＦ機能の２つを搭載し、図４，図６，図７，図９の実施形態と同様に、２つの機能を被写体色によって選択する。このため、位相差ＡＦ機能が選択されたときの合焦確率が向上し、位相差ＡＦ処理に不向きな被写体の場合にはコントラストＡＦ方式が選択されることになる。

以上述べた様に、本明細書には以下の事項が開示されている。

開示された撮像装置は、フォーカスレンズを含む撮像光学系を介して被写体を撮像する撮像素子を有する撮像装置であって、上記撮像素子は、受光面上に配列形成された複数の撮像用画素及び複数の位相差検出用画素を含み、上記複数の撮像用画素は、検出色の異なる少なくとも３種類の撮像用画素を含み、上記位相差検出用画素の出力信号を利用した位相差ＡＦ方式による合焦制御と上記撮像用画素の出力信号を利用したコントラストＡＦ方式による合焦制御のいずれかを選択的に行う合焦制御部を備え、上記合焦制御部は、上記受光面に対して設定される位相差を検出する対象となるエリアであって、上記少なくとも３種類の撮像用画素と上記位相差検出用画素を含む位相差検出エリアによって撮像される被写体像の色に応じて、上記位相差ＡＦ方式による合焦制御を行うか否かを決定するものである。

開示された撮像装置は、上記位相差検出用画素が、上記少なくとも３種類の撮像用画素のいずれかの検出色と同じ色を検出するものであり、上記合焦制御部が、上記位相差検出用画素が検出する色を第一の色としたとき、上記位相差検出エリア内の上記第一の色を検出する上記撮像用画素の出力信号量である第一の出力信号量と、上記位相差検出エリア内において上記第一の色とは異なる色を検出する上記撮像用画素のうち上記位相差検出用画素に隣接する撮像用画素と同一色を検出する撮像用画素の出力信号量である第二の出力信号量との比の大きさによって上記被写体像の色を判定するものである。

開示された撮像装置は、上記合焦制御部が、上記比を、上記第一の出力信号量に対する上記第二の出力信号量の割合としたときに、上記割合が第一の閾値以上である場合に上記コントラストＡＦ方式による合焦制御のみを行うことを決定し、上記割合が上記第一の閾値未満である場合に上記位相差ＡＦ方式による合焦制御を行うことを決定するものである。

開示された撮像装置は、上記合焦制御部が、上記位相差検出エリアを複数の部分エリアに分割し、上記部分エリア毎に上記割合を求め、上記割合が上記第一の閾値以上となる部分エリアの個数が第二の閾値以上となる場合に上記コントラストＡＦ方式による合焦制御のみを行うことを決定し、上記個数が上記第二の閾値未満となる場合に上記位相差ＡＦ方式による合焦制御を行うことを決定するものである。

開示された撮像装置は、上記合焦制御部が、上記位相差ＡＦ方式による合焦制御を行うことを決定した場合には、上記割合が上記第一の閾値以上となる部分エリアを除く部分エリアにある上記位相差検出用画素の出力信号を利用して位相差ＡＦ方式による合焦制御を行うものである。

開示された撮像装置は、上記合焦制御部が、上記撮像光学系の光学条件に応じて上記第一の閾値を設定するものである。

開示された撮像装置は、上記合焦制御部が、上記位相差検出エリアの上記受光面における位置と上記光学条件に応じて上記第一の閾値を設定するものである。

開示された撮像装置は、上記合焦制御部が、上記撮像光学系の光学条件に応じて上記第二の閾値を設定するものである。

開示された撮像装置は、上記合焦制御部が、上記位相差検出エリアの上記受光面における位置と上記光学条件に応じて上記第二の閾値を設定するものである。

開示された撮像装置は、上記光学条件が、上記撮像光学系のＦ値、上記撮像光学系の焦点距離、及び上記フォーカスレンズの位置のうちの少なくとも１つであるものである。

開示された撮像装置は、上記合焦制御部が、上記位相差ＡＦ方式による合焦制御を行うか否かの決定を、上記合焦制御の指示がなされる前に行うものである。

開示された合焦制御方法は、フォーカスレンズを含む撮像光学系を介して被写体を撮像する撮像素子を有する撮像装置による合焦制御方法であって、上記撮像素子は、受光面上に配列形成された複数の撮像用画素及び複数の位相差検出用画素を含み、上記複数の撮像用画素は、検出色の異なる少なくとも３種類の撮像用画素を含み、上記位相差検出用画素の出力信号を利用した位相差ＡＦ方式による合焦制御と上記撮像用画素の出力信号を利用したコントラストＡＦ方式による合焦制御のいずれかを選択的に行う合焦制御ステップを備え、上記合焦制御ステップでは、上記受光面に対して設定される位相差を検出する対象となるエリアであって、上記少なくとも３種類の撮像用画素と上記位相差検出用画素を含む位相差検出エリアによって撮像される被写体像の色に応じて、上記位相差ＡＦ方式による合焦制御を行うか否かを決定するものである。

以上述べた実施形態によれば、位相差ＡＦ方式を選択したとき位相差ＡＦ処理で合焦する確率が高くなる。また、位相差ＡＦ処理に不向きな被写体の場合には直ちにコントラストＡＦ方式が選択されるため、高速ＡＦを実現することが可能になる。

本発明に係る撮像装置は、被写体色によって位相差ＡＦ方式を行うか否かを決定するため、位相差ＡＦ方式を選択したときの合焦確率が高くなり、ＡＦ処理の高速化を図ることが可能となる。このため、デジタルカメラやスマートフォン等に適用すると有用である。

以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。
本出願は、２０１２年１０月２６日出願の日本特許出願（特願２０１２−２３６８２３）に基づくものであり、その内容はここに取り込まれる。

１ 撮影レンズ
５ 固体撮像素子
１１ システム制御部（合焦制御部）
１７ デジタル信号処理部
１８ コントラストＡＦ処理部
１９ 位相差ＡＦ処理部
５１ 画素
５１Ｌ，５１Ｒ 位相差検出用画素
ａ，ｂ，ｃ 遮光膜開口
５２ ＡＦエリア
５２―ｉ 部分エリア

Claims (10)

1. フォーカスレンズを含む撮像光学系を介して被写体を撮像する撮像素子を有する撮像装置であって、
   前記撮像素子は、受光面上に配列形成された複数の撮像用画素及び複数の位相差検出用画素を含み、
   前記複数の撮像用画素は、検出色の異なる少なくとも３種類の撮像用画素を含み、
   前記位相差検出用画素は、前記撮像用画素のいずれかの検出色と同じ色を検出し、
   前記位相差検出用画素の出力信号を利用した位相差ＡＦ方式による合焦制御と前記撮像用画素の出力信号を利用したコントラストＡＦ方式による合焦制御とのいずれかを選択的に行う合焦制御部を備え、
   前記合焦制御部は、
   前記受光面に対して設定される位相差を検出する対象となるエリアであって、前記少なくとも３種類の撮像用画素と前記位相差検出用画素を含む位相差検出エリアによって撮像される被写体像の色の検出信号を取得し、
   前記位相差検出用画素が検出する色を第一の色としたとき、前記位相差検出エリア内の前記第一の色を検出する前記撮像用画素の出力信号量である第一の出力信号量と、前記位相差検出エリア内において前記第一の色とは異なる色を検出する前記撮像用画素のうち前記位相差検出用画素に隣接する撮像用画素と同一色を検出する撮像用画素の出力信号量である第二の出力信号量との比を算出し、
   前記比を、前記第一の出力信号量に対する前記第二の出力信号量の割合としたときに、前記割合が第一の閾値以上である場合に前記コントラストＡＦ方式による合焦制御のみを行うことを決定し、前記割合が前記第一の閾値未満である場合に前記位相差ＡＦ方式による合焦制御を行うことを決定する撮像装置。
2. 請求項１記載の撮像装置であって、
   前記合焦制御部は、前記位相差検出エリアを複数の部分エリアに分割し、前記部分エリア毎に前記割合を求め、前記割合が前記第一の閾値以上となる部分エリアの個数が第二の閾値以上となる場合に前記コントラストＡＦ方式による合焦制御のみを行うことを決定し、前記個数が前記第二の閾値未満となる場合に前記位相差ＡＦ方式による合焦制御を行うことを決定する撮像装置。
3. 請求項２記載の撮像装置であって、
   前記合焦制御部は、前記位相差ＡＦ方式による合焦制御を行うことを決定した場合には、前記割合が前記第一の閾値以上となる部分エリアを除く部分エリアにある前記位相差検出用画素の出力信号を利用して位相差ＡＦ方式による合焦制御を行う撮像装置。
4. 請求項１乃至３のいずれか１項記載の撮像装置であって、
   前記合焦制御部は、前記撮像光学系の光学条件に応じて前記第一の閾値を設定する撮像装置。
5. 請求項４記載の撮像装置であって、
   前記合焦制御部は、前記位相差検出エリアの前記受光面における位置と前記光学条件に応じて前記第一の閾値を設定する撮像装置。
6. 請求項２又は３記載の撮像装置であって、
   前記合焦制御部は、前記撮像光学系の光学条件に応じて前記第二の閾値を設定する撮像装置。
7. 請求項６記載の撮像装置であって、
   前記合焦制御部は、前記位相差検出エリアの前記受光面における位置と前記光学条件に応じて前記第二の閾値を設定する撮像装置。
8. 請求項４乃至７のいずれか１項項記載の撮像装置であって、
   前記光学条件は、前記撮像光学系のＦ値、前記撮像光学系の焦点距離、及び前記フォーカスレンズの位置のうちの少なくとも１つである撮像装置。
9. 請求項１乃至８のいずれか１項記載の撮像装置であって、
   前記合焦制御部は、前記位相差ＡＦ方式による合焦制御を行うか否かの決定を、前記合焦制御の指示がなされる前に行う撮像装置。
10. フォーカスレンズを含む撮像光学系を介して被写体を撮像する撮像素子を有する撮像装置による合焦制御方法であって、
    前記撮像素子は、受光面上に配列形成された複数の撮像用画素及び複数の位相差検出用画素を含み、
    前記複数の撮像用画素は、検出色の異なる少なくとも３種類の撮像用画素を含み、
    前記位相差検出用画素は、前記撮像用画素のいずれかの検出色と同じ色を検出し、
    前記位相差検出用画素の出力信号を利用した位相差ＡＦ方式による合焦制御と前記撮像用画素の出力信号を利用したコントラストＡＦ方式による合焦制御のいずれかを選択的に行う合焦制御ステップを備え、
    前記合焦制御ステップでは、
    前記受光面に対して設定される位相差を検出する対象となるエリアであって、前記少なくとも３種類の撮像用画素と前記位相差検出用画素を含む位相差検出エリアによって撮像される被写体像の色の検出信号を取得し、
    前記位相差検出用画素が検出する色を第一の色としたとき、前記位相差検出エリア内の前記第一の色を検出する前記撮像用画素の出力信号量である第一の出力信号量と、前記位相差検出エリア内において前記第一の色とは異なる色を検出する前記撮像用画素のうち前記位相差検出用画素に隣接する撮像用画素と同一色を検出する撮像用画素の出力信号量である第二の出力信号量との比を算出し、
    前記比を、前記第一の出力信号量に対する前記第二の出力信号量の割合としたときに、前記割合が第一の閾値以上である場合に前記コントラストＡＦ方式による合焦制御のみを行うことを決定し、前記割合が前記第一の閾値未満である場合に前記位相差ＡＦ方式による合焦制御を行うことを決定する合焦制御方法。

Images