JPWO2015045683A1

JPWO2015045683A1 - 撮像装置及び合焦制御方法

Info

Publication number: JPWO2015045683A1
Application number: JP2015539018A
Authority: JP
Inventors: 恒史遠藤
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2013-09-27
Filing date: 2014-08-20
Publication date: 2017-03-09
Anticipated expiration: 2034-08-20
Also published as: JP5942043B2; WO2015045683A1; CN105593736A; US9854151B2; CN105593736B; US20160212324A1

Abstract

本発明は、移動する被写体に合焦し続ける場合に使用する動体予測における演算量を減らしながら、動体予測精度を向上させることのできる撮像装置及び合焦制御方法を提供する。システム制御部（１１）は、１フレーム目の撮像処理と２フレーム目の撮像処理で得た被写体距離の情報から３フレーム目の撮像処理における被写体距離を予測し、予測した被写体距離に対する誤差を、算出されるフォーカスレンズ位置に対する最大誤差の情報から求め、被写体距離の誤差が大きい場合には、予測した被写体距離に基づくフォーカス制御ではなく、予測したフォーカスレンズ位置に基づくレンズ駆動を行う。

Description

本発明は、撮像装置及び合焦制御方法に関する。

近年、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子の高解像度化に伴い、デジタルスチルカメラ、デジタルビデオカメラ、スマートフォン等の携帯電話機、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ，携帯情報端末）等の撮影機能を有する情報機器の需要が急増している。なお、以上のような撮像機能を有する情報機器を撮像装置と称する。

これら撮像装置では、主要な被写体に焦点を合わせる合焦制御方法として、コントラストＡＦ（ＡｕｔｏＦｏｃｕｓ、自動合焦）方式や位相差ＡＦ方式が採用されている。

また、移動する被写体にレンズ駆動を追従させるモードを備える撮像装置も知られている。例えば特許文献１には、過去複数回に求めた像面位置の情報から将来の像面位置を予測し、次の露光時に、該予測した像面位置と撮像素子の受光面とが一致するようにレンズ駆動を行う撮像装置が記載されている。

特開２００１−２１７９４号公報

物体からレンズの主点までの距離（被写体距離）をｂとし、レンズの主点から該物体の結像面までの距離（像面距離）をａとし、レンズの主点とレンズの焦点の距離（焦点距離）をｆとすると、（１／ａ）＋（１／ｂ）＝（１／ｆ）・・・（１）が成り立つ。

式（１）の両辺にａｂｆを乗じると、ａｆ＋ｂｆ＝ａｂ・・・（２）となる。

ここで、レンズの焦点と結像面とのズレ量を像ズレ量ａ’とすると、ａ＝ｆ＋ａ’・・・（３）の関係が成り立つ。

式（２）に式（３）を代入して整理すると、ａ’（ｆ−ｂ）＝−ｆ^２・・・（４）となる。

式（４）において、被写体距離が十分に大きいと仮定して（ｆ−ｂ）を−ｂで近似すると、ａ’＝ｆ^２／ｂ・・・（５）となる。

式（５）に式（３）を代入して整理すると、ａ＝（ｆ^２／ｂ）＋ｆ・・・（６）となる。

このように、式（６）から、像面距離ａは被写体距離とは逆数の関係にあることが分かる。このため、等速で遠近方向に移動する被写体をその被写体の結像面で観測すると、被写体位置毎の像面距離ａの間隔は均等にはならない。したがって、像面距離ａを正確に予測するには、特許文献１に記載されたような多項式の予測式を利用する必要があるが、これでは演算量が多くなってしまう。

本発明は、上記事情に鑑みてなされたものであり、移動する被写体に合焦し続ける場合に使用する動体予測における演算量を減らしながら、動体予測精度を向上させることのできる撮像装置を提供することを目的とする。

本発明の撮像装置は、フォーカスレンズを含む撮像光学系を通して被写体を撮像する撮像素子を有する撮像装置であって、上記撮像素子は、上記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部と、上記一対の光束の他方に応じた信号を検出する第２の信号検出部とを含み、上記フォーカスレンズを駆動して、主要被写体に合焦させる合焦制御を行う合焦制御部と、上記撮像素子により行われる撮像によって得られる上記第１の信号検出部の検出信号及び上記第２の信号検出部の検出信号の相関演算の結果に基づいて、主要被写体が結像される結像面と上記撮像素子の受光面とが一致する上記フォーカスレンズの位置であるフォーカスレンズ位置を求めるフォーカスレンズ位置生成部と、上記フォーカスレンズ位置生成部によって求められたフォーカスレンズ位置を、主要被写体と上記フォーカスレンズとの距離である被写体距離に換算する被写体距離換算部と、上記被写体距離換算部によって生成された時系列で連続する複数の撮像の各々に対応する上記被写体距離から、上記複数の撮像の最後の撮像の次に行われる撮像における被写体距離を予測する被写体距離予測部と、上記フォーカスレンズ位置生成部によって生成された時系列で連続する複数の撮像の各々に対応する上記フォーカスレンズ位置から、上記複数の撮像の最後の撮像の次に行われる撮像における上記フォーカスレンズ位置を予測するフォーカスレンズ位置予測部と、上記フォーカスレンズ位置生成部によって生成されるフォーカスレンズ位置に対する最大誤差の情報を取得する最大誤差情報取得部と、を備え、上記合焦制御部は、上記最後の撮像の次に行う撮像の前に行う合焦制御として、上記フォーカスレンズ位置生成部によって生成された時系列で連続する複数の撮像の各々に対応する上記フォーカスレンズ位置と上記最大誤差の情報とに基づき、上記レンズ位置予測部によって予測されたフォーカスレンズ位置にしたがって上記フォーカスレンズを駆動する第一の合焦制御と、上記被写体距離予測部によって予測された被写体距離にしたがって上記フォーカスレンズを駆動する第二の合焦制御のいずれかを選択するものである。

本発明の合焦制御方法は、フォーカスレンズを含む撮像光学系を通して被写体を撮像する撮像素子を有する撮像装置における合焦制御方法であって、上記撮像素子は、上記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部と、上記一対の光束の他方に応じた信号を検出する第２の信号検出部とを含み、上記撮像素子により行われる撮像によって得られる上記第１の信号検出部の検出信号及び上記第２の信号検出部の検出信号の相関演算の結果に基づいて、主要被写体が結像される結像面と上記撮像素子の受光面とが一致する上記フォーカスレンズの位置であるフォーカスレンズ位置を求めるフォーカスレンズ位置生成ステップと、上記フォーカスレンズ位置生成ステップで求めたフォーカスレンズ位置を、主要被写体と上記フォーカスレンズとの距離である被写体距離に換算する被写体距離換算ステップと、上記被写体距離換算ステップで生成した時系列で連続する複数の撮像の各々に対応する上記被写体距離から、上記複数の撮像の最後の撮像の次に行われる撮像における被写体距離を予測する被写体距離予測ステップと、上記フォーカスレンズ位置生成ステップで生成した時系列で連続する複数の撮像の各々に対応する上記フォーカスレンズ位置から、上記複数の撮像の最後の撮像の次に行われる撮像における上記フォーカスレンズ位置を予測するフォーカスレンズ位置予測ステップと、上記フォーカスレンズ位置生成ステップで生成されるフォーカスレンズ位置に対する最大誤差の情報を取得する最大誤差情報取得ステップと、上記最後の撮像の次に行われる撮像のために行う合焦制御として、上記フォーカスレンズ位置生成ステップで生成した時系列で連続する複数の撮像の各々に対応する上記フォーカスレンズ位置と上記最大誤差の情報とに基づき、上記フォーカスレンズ位置予測ステップで予測したフォーカスレンズ位置にしたがって上記フォーカスレンズを駆動する第一の合焦制御と、上記被写体距離予測ステップで予測した被写体距離にしたがって上記フォーカスレンズを駆動する第二の合焦制御のいずれかを選択し、選択した合焦制御をその撮像前に実行する合焦制御ステップと、を備えるものである。

本発明によれば、移動する被写体に合焦し続ける場合に使用する動体予測における演算量を減らしながら、動体予測精度を向上させることのできる撮像装置を提供することができる。

本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。図１に示すデジタルカメラに搭載される固体撮像素子５の全体構成を示す平面模式図である。図２に示す１つのＡＦエリア５３の部分拡大図である。図３に示す位相差検出用画素５２のみを示した図である。フォーカスレンズ位置に対する最大誤差の算出方法を説明するための図である。図１に示すデジタルカメラの連写モード時の動作を説明するためのフローチャートである。被写体距離と合焦状態でのフォーカスレンズ位置との関係を示す図である。被写体距離に生じうる誤差の算出方法の変形例を説明するためのフローチャートである。図８の動作におけるステップＳ２２，Ｓ２３を説明するための図である。撮像装置としてスマートフォンを説明する図である。図８のスマートフォンの内部ブロック図である。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。

図１に示すデジタルカメラは、焦点調節のためのフォーカスレンズ、及び、ズームレンズ等を含む撮像レンズ１と、絞り２とを有するレンズ装置を備える。レンズ装置は撮像光学系を構成する。レンズ装置はカメラ本体に固定である。撮像レンズ１は少なくともフォーカスレンズを含んでいればよい。また、レンズ系全体を移動させることで焦点調節を行う単焦点レンズでもよい。

カメラ本体は、レンズ装置を通して被写体を撮像するＣＣＤ型やＣＭＯＳ型等の固体撮像素子５と、固体撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、アナログ信号処理部６から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備える。アナログ信号処理部６及びＡ／Ｄ変換回路７は、システム制御部１１によって制御される。アナログ信号処理部６及びＡ／Ｄ変換回路７は固体撮像素子５に内蔵されることもある。

デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、レンズ駆動部
８を制御して撮像レンズ１に含まれるフォーカスレンズの位置を調整して主要被写体に合焦させる合焦制御を行ったり、撮像レンズ１に含まれるズームレンズの位置の調整を行ったりする。更に、システム制御部１１は、絞り駆動部９を介して絞り２の開口量を制御することにより、露光量の調整を行う。システム制御部１１は、合焦制御部として機能する。

また、システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子５を駆動し、撮像レンズ１を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。

更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、Ａ／Ｄ変換回路７から出力される撮像画像信号に対し、補間演算、ガンマ補正演算、及びＲＧＢ／ＹＣ変換処理等を行って撮影画像データを生成するデジタル信号処理部１７と、位相差ＡＦ方式により合焦位置を決定する位相差ＡＦ処理部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された表示部２３が接続される表示制御部２２と、を備える。

メモリ制御部１５、デジタル信号処理部１７、位相差ＡＦ処理部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

図２は、図１に示すデジタルカメラに搭載される固体撮像素子５の全体構成を示す平面模式図である。

固体撮像素子５は、行方向Ｘ及びこれに直交する列方向Ｙに二次元状に配列された多数の画素が配置される受光面５０を有する。この受光面５０には、フォーカスを合わせる対象となるエリアであるＡＦエリア５３が図２の例では９つ設けられている。

ＡＦエリア５３は、画素として撮像用画素と位相差検出用画素とを含むエリアである。

受光面５０のうちＡＦエリア５３を除く部分には、撮像用画素だけが配置される。なお、ＡＦエリア５３は、受光面５０に隙間無く設けてあってもよい。

図３は、図２に示す１つのＡＦエリア５３の部分拡大図である。

ＡＦエリア５３には、画素５１が二次元状に配列されている。各画素５１は、フォトダイオード等の光電変換部と、この光電変換部上方に形成されたカラーフィルタとを含む。

図３では、赤色光を透過するカラーフィルタ（Ｒフィルタ）を含む画素５１（Ｒ画素５１）には“Ｒ”の文字を付し、緑色光を透過するカラーフィルタ（Ｇフィルタ）を含む画素５１（Ｇ画素５１）には“Ｇ”の文字を付し、青色光を透過するカラーフィルタ（Ｂフィルタ）を含む画素５１（Ｂ画素５１）には“Ｂ”の文字を付している。カラーフィルタの配列は受光面５０全体でベイヤ配列となっている。

ＡＦエリア５３では、Ｇ画素５１の一部（図３中の網掛けを付した画素５１）が位相差検出用画素５２となっている。図３の例では、Ｒ画素５１とＧ画素５１を含む画素行のうちの任意の画素行における各Ｇ画素５１と、この各Ｇ画素５１に対して列方向Ｙに最も近い同色のＧ画素５１とが、位相差検出用画素５２となっている。ここでは図３に図示するように、２次元状配列の一方の方向をＸ方向または行方向、他の方向をＹ方向または列方向と規定する。

図４は、図３に示す位相差検出用画素５２のみを示した図である。

図４に示すように、位相差検出用画素５２は、位相差検出用画素５２Ａと位相差検出用画素５２Ｂの２種類の画素を含む。

位相差検出用画素５２Ａは、撮像レンズ１の瞳領域の異なる部分を通過した一対の光束の一方を受光し受光量に応じた信号を検出する第１の信号検出部である。

位相差検出用画素５２Ｂは、上記一対の光束の他方を受光し受光量に応じた信号を検出する第２の信号検出部である。

なお、ＡＦエリア５３において、位相差検出用画素５２Ａ，５２Ｂ以外の複数の画素５１は撮像用画素であり、撮像用画素は、撮像レンズ１を通過した上記一対の光束を受光し受光量に応じた信号を検出する。

各画素５１の光電変換部上方には遮光膜が設けられ、この遮光膜には、光電変換部の受光面積を規定する開口が形成されている。

撮像用画素５１の開口の中心は、撮像用画素５１の光電変換部の中心と一致している。これに対し、位相差検出用画素５２Ａの開口（図４の白抜き部分）の中心は、位相差検出用画素５２Ａの光電変換部の中心に対し右側に偏心している。また、位相差検出用画素５２Ｂの開口（図４の白抜き部分）の中心は、位相差検出用画素５２Ｂの光電変換部の中心に対して左側に偏心している。ここでいう右方向は、図３で示すＸ方向の一方の方向であり、左方向はＸ方向のもう一方の方向である。

この構成により、任意の行にある位相差検出用画素５２Ａからなる画素群と、この画素群の各位相差検出用画素５２Ａに対して一方向に同一距離で配置された位相差検出用画素５２Ｂからなる画素群とによって、これら２つの画素群の各々によって撮像される像における行方向Ｘの位相差を検出することができる。

図１に示す位相差ＡＦ処理部１９は、９つのＡＦエリア５３の中からユーザ操作等により選択された１つのＡＦエリア５３にある位相差検出用画素５２Ａ及び位相差検出用画素５２Ｂから読み出される検出信号群を用いて上記一対の光束によって形成される２つの像の相対的な位置ずれ量である位相差を演算する。

そして、位相差ＡＦ処理部１９は、この位相差に基づいて、撮像レンズ１による主要被写体の結像面と固体撮像素子５の受光面とが一致するときのフォーカスレンズの位置の情報を生成する。位相差ＡＦ処理部１９は、フォーカスレンズ位置生成部として機能する。具体的には、位相差ＡＦ処理部１９は、位相差からデフォーカス量を求め、このデフォーカス量を、フォーカスレンズを駆動するモータの駆動パルス数に変換し、この駆動パルス数を合焦状態を得るためのフォーカスレンズ位置を示す情報とする。

なお、本明細書では、フォーカスレンズの移動可能な範囲における例えば最近接端を基準位置とし、この基準位置からの距離（駆動パルス数）をフォーカスレンズの位置としている。

なお、ＡＦエリア５３は１つだけでなく、連続して並ぶ複数個を選択できるようにしてもよい。

位相差ＡＦ処理部１９によって算出される位相差は、位相差検出用画素５２Ａ又は位相差検出用画素５２Ｂの行方向Ｘにおける配置間隔以上の精度では求まらない。図３の例では、位相差検出用画素５２Ａが１画素を空けて配置されているため、１画素単位で位相差を検出することができる。しかし、１画素より小さい距離の位相差は検出することができない。例えば、位相差検出用画素５２Ａによって撮像される像と位相差検出用画素５２Ｂによって撮像される像とが行方向Ｘに０．５画素分ずれていた場合でも、位相差は１画素として検出されてしまい、０．５画素分の誤差が発生する。

また、位相差ＡＦ処理部１９によって算出される位相差は、同じ被写体を撮像した場合でも、撮像レンズ１のＦ値（撮像レンズ１の焦点距離を撮像レンズ１の口径（絞り２開放時の絞り２の開口直径）で割った値）、撮像時の絞り値、撮像時のズーム倍率、固体撮像素子５のノイズ等によって大きさが変化する。したがって、上述した誤差は、撮像レンズ１のＦ値、撮像時の絞り値、撮像時のズーム倍率、固体撮像素子５のノイズ等によって大きさが変わる。

図１に示すデジタルカメラは、位相差ＡＦ処理部１９で生成される合焦状態を得るためのフォーカスレンズ位置に対して発生し得る最大の誤差（以下、最大誤差）の情報をメインメモリ１６に予め記憶している。

最大誤差の求め方としては、合焦状態となるフォーカスレンズ位置が既知の被写体に対し、絞り値及びズーム倍率をあらゆる組合せで変更して撮像を行い、各組合せにおいて得られる位相差から求まるフォーカスレンズ位置のうち最も大きい値と、該既知のフォーカスレンズ位置との差を最大誤差として求める方法がある。

また、位相差検出用画素５２の行方向Ｘにおける配置間隔と撮像レンズ１のＦ値とから最大誤差を求める方法がある。

図５は、演算により最大誤差を求める方法を説明するための図である。

図５に示すように、主要被写体Ｐが撮像レンズ１によって結像される面である結像面と固体撮像素子５の受光面との距離をｘとし、位相差ＡＦ処理部１９によって算出される位相差をｙとし、主要被写体Ｐから結像面に入射する光の入射角をθとする。

撮像レンズ１のＦ値は、Ｆ値＝２／tan（θ）の関係にあるため、tan（θ）＝２／（Ｆ値）となる。

また、距離ｘは、ｘ＝ｙ／２tan（θ）となり、ここにtan（θ）＝２／（Ｆ値）を代入すると、ｘ＝ｙ＊（Ｆ値）／４となる。

ここで、ｙの値は、上述したように、位相差検出用画素の行方向Ｘにおける配置間隔よりも小さい値は検出できないため、ｘ＝ｙ＊（Ｆ値）／４の式において、ｙに該配置間隔を代入して得られる値を駆動パルス数に換算した値が、上記最大誤差となる。このように、位相差検出用画素の配置間隔の情報と、撮像レンズ１のＦ値の情報とから、最大誤差を算出することができる。

以下、主要被写体に合焦させた状態で固体撮像素子５により撮像（静止画撮像）を行う撮像処理を複数回（以下ではＫ回が設定されているものとする）連続して行う連写モードでのデジタルカメラの動作について説明する。撮像とは、固体撮像素子５の露光を開始してから、その露光によって得られた撮像画像信号を固体撮像素子５から読み出すまでの処理を言う。

連写モードに設定されると、システム制御部１１は、固体撮像素子５により、ライブビュー画像表示のための撮像を開始させる。これにより、固体撮像素子５による撮像、該撮像により得られる撮像画像信号からの撮像画像データの生成、該撮像画像データに基づくライブビュー画像の表示部２３への表示、の一連の処理が繰り返し行われる。

操作部１４に含まれるシャッタボタンの操作等によって連写撮像の開始指示があると、位相差ＡＦ処理部１９が、該指示の直前の撮像によって得られる撮像画像信号から、選択されたＡＦエリア５３にある位相差検出用画素５２Ａ及び位相差検出用画素５２Ｂの検出信号を取得し、位相差検出用画素５２Ａと位相差検出用画素５２Ｂの検出信号群同士の相関演算を行う。

位相差ＡＦ処理部１９は、この相関演算の結果から位相差を求め、この位相差から、合焦状態を得るためのフォーカスレンズ位置を算出し、算出したフォーカスレンズ位置を、算出した時刻と関連付けてメインメモリ１６に記憶する（ステップＳ１）。

次に、システム制御部１１は、位相差ＡＦ処理部１９によって算出されたフォーカスレンズ位置の情報を取得し、このフォーカスレンズ位置にフォーカスレンズを移動させる合焦制御を行った後、固体撮像素子５により、連写のＮフレーム目の撮像を行わせる（ステップＳ２）。なお、Ｎの初期値は“１”である。

このステップＳ２の撮像によって得られた撮像画像信号からデジタル信号処理部１７により撮像画像データが生成され、この撮像画像データが記録媒体２１に記録される。

ステップＳ２の後、システム制御部１１は、Ｎ＝Ｋであれば（ステップＳ３：ＹＥＳ）、連写撮像を終了し、Ｎ≠Ｋであれば（ステップＳ３：ＮＯ）、ステップＳ４の処理を位相差ＡＦ処理部１９に行わせる。

ステップＳ４において、位相差ＡＦ処理部１９は、ステップＳ２の撮像によって得られる撮像画像信号に含まれる位相差検出用画素の検出信号を用いて、合焦状態を得るためのフォーカスレンズ位置を算出し、算出したフォーカスレンズ位置を、算出した時刻と関連付けてメインメモリ１６に記憶する。

ステップＳ４の後、システム制御部１１は、メインメモリ１６に記憶されているフォーカスレンズ位置のうち、関連付けられている時刻が最新のもの（フォーカスレンズ位置ｌ１とする）と、その次に新しいもの（フォーカスレンズ位置ｌ２とする）とをメインメモリ１６から取得し、取得したフォーカスレンズ位置ｌ１，ｌ２を被写体距離に換算する（ステップＳ５）。システム制御部１１は、被写体距離換算部として機能する。

合焦状態とは、固体撮像素子５の受光面と撮像レンズ１の結像面が一致することであるから、合焦状態を得るためのフォーカスレンズ位置は、撮像レンズ１の主点と結像面との距離である上述した像面距離ａと対応する。

したがって、ステップＳ５において、システム制御部１１は、式（６）のｆに撮像レンズ１の焦点距離を代入し、式（６）のａにフォーカスレンズ位置ｌ１を代入してｂについて解くことで、フォーカスレンズ位置ｌ１を被写体距離Ｌ１に換算する。また、システム制御部１１は、式（６）のｆに撮像レンズ１の焦点距離を代入し、式（６）のａにフォーカスレンズ位置ｌ２を代入してｂについて解くことで、フォーカスレンズ位置ｌ２を被写体距離Ｌ２に換算する。

ステップＳ５の後、システム制御部１１は、被写体距離Ｌ１と被写体距離Ｌ２とを用いて、Ｎフレームの次のフレームの撮像時における被写体距離Ｌ３を予測する（ステップＳ６）。被写体距離の予測方法としては周知の方法を採用すればよい。システム制御部１１は被写体距離予測部として機能する。

次に、システム制御部１１は、予測した被写体距離Ｌ３をフォーカスレンズ位置ｌ３に換算する。システム制御部１１は、式（６）のｂに被写体距離Ｌ３を代入することで、フォーカスレンズ位置ｌ３を求める（ステップＳ７）。

次に、システム制御部１１は、位置位相差ＡＦ処理部１９によって生成されるフォーカスレンズ位置に対する最大誤差（ここではαとする）の情報をメインメモリ１６から取得する（ステップＳ８）。システム制御部１１は、最大誤差情報取得部として機能する。

次に、システム制御部１１は、フォーカスレンズ位置ｌ３にαを加算した値を式（６）にしたがって被写体距離Ｌ３ａに換算し、フォーカスレンズ位置ｌ３からαを減算した値を式（６）にしたがって被写体距離Ｌ３ｂに換算する（ステップＳ９）。

図７は、合焦状態における被写体距離（ｂ）とフォーカスレンズ位置（像面距離ａ）との関係を示す図である。

図７に示すように、被写体距離がＢである場合、被写体距離Ｂから換算されるフォーカスレンズ位置はｘ１となり、ｘ１に最大誤差であるαを加算した値に対応する被写体距離Ｂｂ、及び、ｘ１から最大誤差であるαを減算した値に対応する被写体距離Ｂａの各々と被写体距離Ｂとの差（符号を無視した絶対値）は小さな値となる。

一方、被写体距離がＢよりも十分に大きいＡである場合、被写体距離Ａから換算されるフォーカスレンズ位置はｘ２となり、ｘ２に最大誤差であるαを加算した値に対応する被写体距離Ａｂ、及び、ｘ２から最大誤差であるαを減算した値に対応する被写体距離Ａａの各々と被写体距離Ａとの差（符号を無視した絶対値）は大きな値となる。

このように、位相差ＡＦ処理部１９によって生成された複数のフォーカスレンズ位置に基づいて予測される被写体距離が大きいときは、フォーカスレンズ位置に対する最大誤差によって、予測される距離に対する誤差も大きくなる。このため、予測した被写体距離にしたがって合焦制御を行うと、合焦精度が低下してしまう。

そこで、システム制御部１１は、ステップＳ１０において、被写体距離Ｌ３ａと被写体距離Ｌ３ｂとの差分が閾値ＴＨを超えるか否かを判定し、この差分が閾値ＴＨを超えていた場合には、ステップＳ１１の処理を行い、この差分が閾値ＴＨを超えていない場合にはステップＳ１２の処理を行う。

ステップＳ１１において、システム制御部１１は、フォーカスレンズ位置ｌ１，ｌ２から、Ｎフレームの次のフレームの撮像時におけるフォーカスレンズ位置ｌ３ａを予測する。システム制御部１１は、フォーカスレンズ位置予測部として機能する。フォーカスレンズ位置の予測方法としては、特許文献１に記載された方法等の公知のものを用いればよい。

ステップＳ１１の後、システム制御部１１は、予測したフォーカスレンズ位置ｌ３ａにフォーカスレンズを移動させる合焦制御（第一の合焦制御）を行う（ステップＳ１３）。

ステップＳ１２において、システム制御部１１は、予測した被写体距離Ｌ３から換算したフォーカスレンズ位置ｌ３にフォーカスレンズを移動させる合焦制御（第二の合焦制御）を行う。

ステップＳ１２とステップＳ１３の後は、ステップＳ１４にてＮが（Ｎ＋１）に変更され、ステップＳ２の処理が行われる。

以上のように、図１のデジタルカメラによれば、ステップＳ６で予測される被写体距離Ｌ３が大きくなるときにだけ、ステップＳ１１，Ｓ１３の処理（過去複数のフォーカスレンズ位置から将来のフォーカスレンズ位置を予測して合焦制御を行う処理）が行われる。このため、常にフォーカスレンズ位置を予測して合焦制御を行う従来方式に比べて、動体予測に要する演算量を減らすことができ、動体に対する追従速度の向上、消費電力低下を実現することができる。

図６では、これから行うフレームの撮像における被写体距離に生じうる誤差として、まず、被写体距離Ｌ３を予測し、この被写体距離Ｌ３と最大誤差の情報とから、被写体距離Ｌ３ａと被写体距離Ｌ３ｂを生成し、被写体距離Ｌ３ａと被写体距離Ｌ３ｂの差を誤差として求めるものとした。以下では、この誤差の求め方の変形例を説明する。

図８は、被写体距離に生じうる誤差の算出方法の変形例を説明するためのフローチャートである。図８において図６と同じ処理には同一符号を付して説明を省略する。

ステップＳ４の後、システム制御部１１は、位相差ＡＦ処理部１９によって生成されるフォーカスレンズ位置に対する最大誤差（ここではαとする）の情報をメインメモリ１６から取得する（ステップＳ２０）。

次に、システム制御部１１は、メインメモリ１６に記憶されているフォーカスレンズ位置のうち、関連付けられている時刻が最新のもの（フォーカスレンズ位置ｌ１とする）と、その次に新しいもの（フォーカスレンズ位置ｌ２とする）とをメインメモリ１６から取得する。

そして、システム制御部１１は、フォーカスレンズ位置ｌ１に最大誤差αを加算した値を被写体距離Ｂａに換算し、フォーカスレンズ位置ｌ１から最大誤差αを減算した値を被写体距離Ｂｂに換算する。また、システム制御部１１は、フォーカスレンズ位置ｌ２に最大誤差αを加算した値を被写体距離Ａａに換算し、フォーカスレンズ位置ｌ２から最大誤差αを減算した値を被写体距離Ａｂに換算する（ステップＳ２１）。

この処理により、図９に示すように、時刻ｔ１に対して２つの被写体距離（黒い丸印）が生成され、時刻ｔ２に対して２つの被写体距離（黒い丸印）が生成される。

ステップＳ２１の後、システム制御部１１は、被写体距離Ｂａと被写体距離Ａａを用いて、次のフレームの撮像時刻ｔ３における被写体距離の誤差上限値である被写体距離Ｃａを予測する（ステップＳ２２。また、システム制御部１１は、被写体距離Ｂｂと被写体距離Ａｂを用いて、時刻ｔ３における被写体距離の誤差下限値である被写体距離Ｃｂを予測する（ステップＳ２３）。

次に、システム制御部１１は、距離Ｃａと距離Ｃｂとの差分が閾値ＴＨを超えるか否かを判定し、この差分が閾値ＴＨを超えていた場合には、ステップＳ１１の処理を行い、この差分が閾値ＴＨを超えていない場合には、図６のステップＳ５、図６のステップＳ６の処理を順次行った後、ステップＳ１２の処理を行う。

図８の動作によれば、ステップＳ２４の判定がＹＥＳになった場合には、ステップＳ１
２で使用する被写体距離Ｌ３を予測する処理が不要となる。このため、不要な演算を減らして消費電力を低減することができる。

ここまでは、レンズ装置がカメラ本体に固定であることを前提として説明した。しかし、本発明は、カメラ本体に対してレンズ装置を着脱可能なレンズ交換式のデジタルカメラにも適用可能である。

レンズ交換式のデジタルカメラの場合は、システム制御部１１が、レンズ装置に内蔵される記憶部からこのレンズ装置に含まれる撮像レンズのＦ値と焦点距離の情報を取得する。システム制御部１１はＦ値取得部として機能する。そして、システム制御部１１は、位相差検出用画素の配置間隔の情報を記憶する記憶部としてのメインメモリ１６から該配置間隔の情報を取得し、この情報と、レンズ装置から取得したＦ値とによって最大誤差を算出してメインメモリ１６に記憶する。また、システム制御部１１は、レンズ装置から取得した焦点距離から式（６）に示す関数を生成してメインメモリ１６に記憶する。

なお、交換レンズにおける撮像レンズのＦ値と焦点距離の情報は、ユーザが手動によってシステム制御部１１に入力できるようにしてもよい。

システム制御部１１は、図６、８に示した動作フローにおいて、フォーカスレンズ位置から被写体距離への換算処理、被写体距離からフォーカスレンズ位置への換算処理を、メインメモリ１６に記憶した上記関数にしたがって行う。また、システム制御部１１は、ステップＳ９において、メインメモリ１６に記憶した最大誤差の情報を利用して、被写体距離Ｌ３ａ，Ｌ３ｂを得る。

このように、レンズ交換型のデジタルカメラであっても、装着されるレンズ装置に対応して式（６）の関数と最大誤差とを生成してメモリに記憶しておくことで、動体に対する追従速度の向上、消費電力低下を実現することができる。

本明細書では撮像装置としてデジタルカメラを例にしたが、以下では、撮像装置としてカメラ付のスマートフォンの実施形態について説明する。

図１０は、本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。図１０に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

図１１は、図１０に示すスマートフォン２００の構成を示すブロック図である。図１１に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。

表示パネル２０２は、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）、ＯＥＬＤ（ＯｒｇａｎｉｃＥｌｅｃｔｒｏ−ＬｕｍｉｎｅｓｃｅｎｃｅＤｉｓｐｌａｙ）などを表示デバイスとして用いたものである。

操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。

図１０に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。

係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０１の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２１１は、スピーカ２０５やマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。また、図１０に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

操作部２０７は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１０に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２１２は、主制御部２２０の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈｍｅｍｏｒｙｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄｄｉｓｋｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａｃａｒｄｍｉｃｒｏｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（ＲａｄｉｏＦｒｅｑｕｅｎｃｙＩｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（ＩｎｆｒａｒｅｄＤａｔａＡｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（ＵｌｔｒａＷｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙｃａｒｄ）やＳＩＭ（ＳｕｂｓｃｒｉｂｅｒＩｄｅｎｔｉｔｙＭｏｄｕｌｅＣａｒｄ）／ＵＩＭ（ＵｓｅｒＩｄｅｎｔｉｔｙＭｏｄｕｌｅＣａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達することや、スマートフォン２００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０や外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２１５は、例えば、３軸の加速度センサなどを備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向や加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能
を備える。

アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２２０は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

更に、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２０８は、図１に示したデジタルカメラにおける外部メモリ制御部２０、記録媒体２１、表示制御部２２、表示部２３、及び操作部１４以外の構成を含む。

カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることができる。

図１０に示すスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。

また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示することや、操作パネル
２０３の操作入力のひとつとして、カメラ部２０８の画像を利用することができる。

また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。更には、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等などを付加して記録部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることもできる。

以上のような構成のスマートフォン２００においても、カメラ部２０８の撮像素子として固体撮像素子５を用い、主制御部２２０において図６、８に例示した処理を行うことで、連写モードにおける撮像品質を向上させることができる。

以上説明してきたように、本明細書には以下の事項が開示されている。

開示された撮像装置は、フォーカスレンズを含む撮像光学系を通して被写体を撮像する撮像素子を有する撮像装置であって、上記撮像素子は、上記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部と、上記一対の光束の他方に応じた信号を検出する第２の信号検出部とを含み、上記フォーカスレンズを駆動して、主要被写体に合焦させる合焦制御を行う合焦制御部と、上記撮像素子により行われる撮像によって得られる上記第１の信号検出部の検出信号及び上記第２の信号検出部の検出信号の相関演算の結果に基づいて、主要被写体が結像される結像面と上記撮像素子の受光面とが一致する上記フォーカスレンズの位置であるフォーカスレンズ位置を求めるフォーカスレンズ位置生成部と、上記フォーカスレンズ位置生成部によって求められたフォーカスレンズ位置を、主要被写体と上記フォーカスレンズとの距離である被写体距離に換算する被写体距離換算部と、上記被写体距離換算部によって生成された時系列で連続する複数の撮像の各々に対応する上記被写体距離から、上記複数の撮像の最後の撮像の次に行われる撮像における被写体距離を予測する被写体距離予測部と、上記フォーカスレンズ位置生成部によって生成された時系列で連続する複数の撮像の各々に対応する上記フォーカスレンズ位置から、上記複数の撮像の最後の撮像の次に行われる撮像における上記フォーカスレンズ位置を予測するフォーカスレンズ位置予測部と、上記フォーカスレンズ位置生成部によって生成されるフォーカスレンズ位置に対する最大誤差の情報を取得する最大誤差情報取得部と、を備え、上記合焦制御部は、上記最後の撮像の次に行う撮像の前に行う合焦制御として、上記フォーカスレンズ位置生成部によって生成された時系列で連続する複数の撮像の各々に対応する上記フォーカスレンズ位置と上記最大誤差の情報とに基づき、上記レンズ位置予測部によって予測されたフォーカスレンズ位置にしたがって上記フォーカスレンズを駆動する第一の合焦制御と、上記被写体距離予測部によって予測された被写体距離にしたがって上記フォーカスレンズを駆動する第二の合焦制御のいずれかを選択するものである。

開示された撮像装置は、上記合焦制御部は、上記被写体距離予測部によって予測された上記被写体距離から換算した上記フォーカスレンズ位置に上記最大誤差を加算及び減算して得られる位置を上記被写体距離換算部によって被写体距離に換算し、上記換算した２つの被写体距離の差が閾値を超える場合には上記第一の合焦制御を選択し、上記差が上記閾値以下の場合には上記第二の合焦制御を選択するものである。

開示された撮像装置は、上記合焦制御部が、上記フォーカスレンズ位置生成部によって生成された時系列で連続する複数の撮像の各々に対応する上記フォーカスレンズ位置に上記最大誤差を加算して得られる位置から、上記複数の撮像の次に行われる撮像における第一の被写体距離を予測し、上記複数の撮像の各々に対応する上記フォーカスレンズ位置から上記最大誤差を減算して得られる位置から、上記複数の撮像の次に行われる撮像における第二の被写体距離を予測し、上記第一の被写体距離と上記第二の被写体距離の差が閾値を超える場合には上記第一の合焦制御を選択し、上記差が上記閾値以下の場合には上記第二の合焦制御を選択するものである。

開示された撮像装置は、上記撮像光学系が交換可能であり、上記撮像素子における上記第１の信号検出部又は上記第２の信号検出部の配置間隔の情報を記憶する記憶部と、装着された上記撮像光学系のＦ値の情報を取得するＦ値取得部と、を備え、上記最大誤差情報取得部は、上記記憶部に記憶されている上記配置間隔の情報と上記Ｆ値取得部によって取得されたＦ値の情報とから上記最大誤差を算出することで上記最大誤差の情報を取得するものである。

開示された合焦制御方法は、フォーカスレンズを含む撮像光学系を通して被写体を撮像する撮像素子を有する撮像装置における合焦制御方法であって、上記撮像素子は、上記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部と、上記一対の光束の他方に応じた信号を検出する第２の信号検出部とを含み、上記撮像素子により行われる撮像によって得られる上記第１の信号検出部の検出信号及び上記第２の信号検出部の検出信号の相関演算の結果に基づいて、主要被写体が結像される結像面と上記撮像素子の受光面とが一致する上記フォーカスレンズの位置であるフォーカスレンズ位置を求めるフォーカスレンズ位置生成ステップと、上記フォーカスレンズ位置生成ステップで求めたフォーカスレンズ位置を、主要被写体と上記フォーカスレンズとの距離である被写体距離に換算する被写体距離換算ステップと、上記被写体距離換算ステップで生成した時系列で連続する複数の撮像の各々に対応する上記被写体距離から、上記複数の撮像の最後の撮像の次に行われる撮像における被写体距離を予測する被写体距離予測ステップと、上記フォーカスレンズ位置生成ステップで生成した時系列で連続する複数の撮像の各々に対応する上記フォーカスレンズ位置から、上記複数の撮像の最後の撮像の次に行われる撮像における上記フォーカスレンズ位置を予測するフォーカスレンズ位置予測ステップと、上記フォーカスレンズ位置生成ステップで生成されるフォーカスレンズ位置に対する最大誤差の情報を取得する最大誤差情報取得ステップと、上記最後の撮像の次に行われる撮像のために行う合焦制御として、上記フォーカスレンズ位置生成ステップで生成した時系列で連続する複数の撮像の各々に対応する上記フォーカスレンズ位置と上記最大誤差の情報とに基づき、上記フォーカスレンズ位置予測ステップで予測したフォーカスレンズ位置にしたがって上記フォーカスレンズを駆動する第一の合焦制御と、上記被写体距離予測ステップで予測した被写体距離にしたがって上記フォーカスレンズを駆動する第二の合焦制御のいずれかを選択し、選択した合焦制御をその撮像前に実行する合焦制御ステップと、を備えるものである。

本発明は、特にデジタルカメラ、スマートフォン等に適用して利便性が高く、有効である。

１撮像レンズ
２絞り
５固体撮像素子
１１システム制御部
１９位相差ＡＦ処理部
５２Ａ，５２Ｂ位相差検出用画素

Claims

フォーカスレンズを含む撮像光学系を通して被写体を撮像する撮像素子を有する撮像装置であって、
前記撮像素子は、前記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部と、前記一対の光束の他方に応じた信号を検出する第２の信号検出部とを含み、
前記フォーカスレンズを駆動して、主要被写体に合焦させる合焦制御を行う合焦制御部と、
前記撮像素子により行われる撮像によって得られる前記第１の信号検出部の検出信号及び前記第２の信号検出部の検出信号の相関演算の結果に基づいて、主要被写体が結像される結像面と前記撮像素子の受光面とが一致する前記フォーカスレンズの位置であるフォーカスレンズ位置を求めるフォーカスレンズ位置生成部と、
前記フォーカスレンズ位置生成部によって求められたフォーカスレンズ位置を、主要被写体と前記フォーカスレンズとの距離である被写体距離に換算する被写体距離換算部と、
前記被写体距離換算部によって生成された時系列で連続する複数の撮像の各々に対応する前記被写体距離から、前記複数の撮像の最後の撮像の次に行われる撮像における被写体距離を予測する被写体距離予測部と、
前記フォーカスレンズ位置生成部によって生成された時系列で連続する複数の撮像の各々に対応する前記フォーカスレンズ位置から、前記複数の撮像の最後の撮像の次に行われる撮像における前記フォーカスレンズ位置を予測するフォーカスレンズ位置予測部と、
前記フォーカスレンズ位置生成部によって生成されるフォーカスレンズ位置に対する最大誤差の情報を取得する最大誤差情報取得部と、を備え、
前記合焦制御部は、前記最後の撮像の次に行う撮像の前に行う合焦制御として、前記フォーカスレンズ位置生成部によって生成された時系列で連続する複数の撮像の各々に対応する前記フォーカスレンズ位置と前記最大誤差の情報とに基づき、前記レンズ位置予測部によって予測されたフォーカスレンズ位置にしたがって前記フォーカスレンズを駆動する第一の合焦制御と、前記被写体距離予測部によって予測された被写体距離にしたがって前記フォーカスレンズを駆動する第二の合焦制御のいずれかを選択する撮像装置。
請求項１記載の撮像装置であって、
前記合焦制御部は、前記被写体距離予測部によって予測された前記被写体距離から換算した前記フォーカスレンズ位置に前記最大誤差を加算及び減算して得られる位置をそれぞれ前記被写体距離換算部によって被写体距離に換算し、前記換算した２つの被写体距離の差が閾値を超える場合には前記第一の合焦制御を選択し、前記差が前記閾値以下の場合には前記第二の合焦制御を選択する撮像装置。
請求項１記載の撮像装置であって、
前記合焦制御部は、前記フォーカスレンズ位置生成部によって生成された時系列で連続する複数の撮像の各々に対応する前記フォーカスレンズ位置に前記最大誤差を加算して得られる位置から、前記複数の撮像の次に行われる撮像における第一の被写体距離を予測し、前記複数の撮像の各々に対応する前記フォーカスレンズ位置から前記最大誤差を減算して得られる位置から、前記複数の撮像の次に行われる撮像における第二の被写体距離を予測し、前記第一の被写体距離と前記第二の被写体距離の差が閾値を超える場合には前記第一の合焦制御を選択し、前記差が前記閾値以下の場合には前記第二の合焦制御を選択する撮像装置。
請求項２又は３記載の撮像装置であって、
前記撮像光学系が交換可能であり、
前記撮像素子における前記第１の信号検出部又は前記第２の信号検出部の配置間隔の情報を記憶する記憶部と、
装着された前記撮像光学系のＦ値の情報を取得するＦ値取得部と、を備え、
前記最大誤差情報取得部は、前記記憶部に記憶されている前記配置間隔の情報と前記Ｆ値取得部によって取得されたＦ値の情報とから前記最大誤差を算出することで前記最大誤差の情報を取得する撮像装置。
フォーカスレンズを含む撮像光学系を通して被写体を撮像する撮像素子を有する撮像装置における合焦制御方法であって、
前記撮像素子は、前記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部と、前記一対の光束の他方に応じた信号を検出する第２の信号検出部とを含み、
前記撮像素子により行われる撮像によって得られる前記第１の信号検出部の検出信号及び前記第２の信号検出部の検出信号の相関演算の結果に基づいて、主要被写体が結像される結像面と前記撮像素子の受光面とが一致する前記フォーカスレンズの位置であるフォーカスレンズ位置を求めるフォーカスレンズ位置生成ステップと、
前記フォーカスレンズ位置生成ステップで求めたフォーカスレンズ位置を、主要被写体と前記フォーカスレンズとの距離である被写体距離に換算する被写体距離換算ステップと、
前記被写体距離換算ステップで生成した時系列で連続する複数の撮像の各々に対応する前記被写体距離から、前記複数の撮像の最後の撮像の次に行われる撮像における被写体距離を予測する被写体距離予測ステップと、
前記フォーカスレンズ位置生成ステップで生成した時系列で連続する複数の撮像の各々に対応する前記フォーカスレンズ位置から、前記複数の撮像の最後の撮像の次に行われる撮像における前記フォーカスレンズ位置を予測するフォーカスレンズ位置予測ステップと、
前記フォーカスレンズ位置生成ステップで生成されるフォーカスレンズ位置に対する最大誤差の情報を取得する最大誤差情報取得ステップと、
前記最後の撮像の次に行われる撮像のために行う合焦制御として、前記フォーカスレンズ位置生成部によって生成された時系列で連続する複数の撮像の各々に対応する前記フォーカスレンズ位置と前記最大誤差の情報とに基づき、前記フォーカスレンズ位置予測ステップで予測したフォーカスレンズ位置にしたがって前記フォーカスレンズを駆動する第一の合焦制御と、前記被写体距離予測ステップで予測した被写体距離にしたがって前記フォーカスレンズを駆動する第二の合焦制御のいずれかを選択し、選択した合焦制御を当該撮像前に実行する合焦制御ステップと、を備える合焦制御方法。