JP6801658B2 - 撮像装置、撮像方法、及びプログラム - Google Patents

Description

本開示は、撮像装置、撮像方法、及びプログラムに関する。

例えば、ディジタル（ビデオ／スチル）カメラ等の撮影装置のオートフォーカス（以下、AFと略す）方式としては、位相差AF（以下、PDAFとも記載する）方式や、コントラストAF（以下、CDAFとも記載する）方式、PDAFとCDAFとを組み合わせたハイブリッドAF方式が知られている。

位相差AF方式では、撮像光学系の射出瞳を瞳分割して得られる２つの像の位相差を用いて、AFが行われる。

位相差AF方式としては、画像を撮影する撮像素子としてのイメージセンサとは別に、外付けの位相差センサを設けて、その位相差センサの出力から位相差を求める方式がある。さらに、位相差AF方式としては、撮像光学系の射出瞳の異なる領域を通過した光を受光する、位相差を検出するための検出画素を、撮像素子を構成する一部の画素として配置し、検出画素の画素値から位相差を求める像面位相差AF方式がある。

位相差AF方式では、AFにあたって、撮像光学系の焦点位置（レンズ位置）を移動するAFスキャン動作を行う必要がないため、AFを、比較的、短時間で実行することができる。

一方、コントラストAF方式では、AFスキャン動作が行われながら、イメージセンサで撮影される画像のコントラストを評価するコントラスト評価値が求められる。そして、コントラスト評価値が最大になる撮像光学系のレンズ位置が、合焦位置として検出され、レンズ位置が、合焦位置に移動される。

コントラストAF方式は、位相差AF方式に比較して、一般に、合焦位置の検出精度は高いが、AFスキャン動作が行われるために、AFの実行（完了）に時間を要することがある。

位相差AF方式は、AFの実行時間（合焦位置の検出時間）の面で優れており、コントラストAF方式は、AFの精度（合焦位置の検出精度）の面で優れている。ハイブリッドAF方式は、位相差AF方式、及び、コントラストAF方式の両方の優れた面を有している。

すなわち、ハイブリッド方式では、最初に、位相差AF方式によって、（撮像光学系の）レンズ位置が、合焦位置付近に移動され、その後、コントラストAF方式によって、レンズ位置が、合焦位置に移動される。これにより、レンズ位置を、短時間かつ高精度に、合焦位置に移動することができる。

また、近年では、焦点の位置を固定せずに、被写体に対して焦点を合わせ続ける、所謂コンティニュアスAFと呼ばれる機能が提案されている。コンティニュアスAFでは、焦点の位置が固定されないため、特に、動いている被写体に対して焦点を合わせる場合に有効であり、動画像を撮像する際にも適用され得る。例えば、特許文献１には、コンティニュアスAFの一例が開示されている。

特許第５４００３９６号公報

なお、動画像の撮像時や、連続撮影（所謂、連写）時には、被写体に対して焦点の位置をより好適な態様で追従させるために（即ち、追従性を向上させるために）、比較的、短時間でAFを実行することが可能な位相差AF方式のみを適用する場合がある。

一方で、動画像の撮像時や連続撮影時のように、位相差AF方式のみを適用した場合には、コントラストAF方式やハイブリッドAF方式を適用した場合に比べて、合焦精度が低下する場合がある。

そこで、本開示では、被写体に対する焦点の位置の追従性と合焦精度の向上とを両立することが可能な、撮像装置、撮像方法、及びプログラムを提案する。

本開示によれば、撮像光学系の射出瞳の異なる領域を通過した光を受光する、当該射出瞳を瞳分割して得られる２つの像の位相差を検出するための検出画素を含む受光面を有する撮像素子と、位相差AF（Auto Focus）方式に基づく第１の焦点検出と、コントラストAF方式に基づく第２の焦点検出との少なくともいずれかの焦点検出を実行する第１の検出部と、前記焦点検出により検出された合焦位置に向かって、前記撮像光学系に含まれる少なくとも１つの光学部材を駆動する合焦制御部と、被写体像の変化を検出する第２の検出部と、を備え、前記第１の検出部は、前記第１の焦点検出後に、前記被写体像の変化量が閾値未満の状態が所定の期間以上継続した場合に、前記第１の焦点検出または前記第２の焦点検出を実行し、前記所定の期間に関連するパラメータを、直前に実行された前記第１の焦点検出の結果に応じて設定し、前記第１の焦点検出に失敗した場合に、前記所定の期間に関連するパラメータとして、当該第１の焦点検出に成功した場合とは異なるパラメータを設定する、撮像装置が提供される。

また、本開示によれば、撮像光学系の射出瞳の異なる領域を通過した光の受光結果に基づき、当該射出瞳を瞳分割して得られる２つの像の位相差を検出することと、プロセッサが、位相差AF方式に基づく第１の焦点検出と、コントラストAF方式に基づく第２の焦点検出との少なくともいずれかの焦点検出を実行することと、前記焦点検出により検出された合焦位置に向かって、前記撮像光学系に含まれる少なくとも１つの光学部材を駆動することと、被写体像の変化を検出することと、を含み、前記第１の焦点検出後に、前記被写体像の変化量が閾値未満の状態が所定の期間以上継続した場合に、前記第１の焦点検出または前記第２の焦点検出が実行され、前記所定の期間に関連するパラメータが、直前に実行された前記第１の焦点検出の結果に応じて設定され、前記第１の焦点検出に失敗した場合に、前記所定の期間に関連するパラメータとして、当該第１の焦点検出に成功した場合とは異なるパラメータが設定される、撮像方法が提供される。

また、本開示によれば、コンピュータに、撮像光学系の射出瞳の異なる領域を通過した光の受光結果に基づき、当該射出瞳を瞳分割して得られる２つの像の位相差を検出することと、プロセッサが、位相差AF方式に基づく第１の焦点検出と、コントラストAF方式に基づく第２の焦点検出との少なくともいずれかの焦点検出を実行することと、前記焦点検出により検出された合焦位置に向かって、前記撮像光学系に含まれる少なくとも１つの光学部材を駆動することと、被写体像の変化を検出することと、を実行させ、前記第１の焦点検出後に、前記被写体像の変化量が閾値未満の状態が所定の期間以上継続した場合に、前記第１の焦点検出または前記第２の焦点検出が実行され、前記所定の期間に関連するパラメータが、直前に実行された前記第１の焦点検出の結果に応じて設定され、前記第１の焦点検出に失敗した場合に、前記所定の期間に関連するパラメータとして、当該第１の焦点検出に成功した場合とは異なるパラメータが設定される、プログラムが提供される。

以上説明したように本開示によれば、被写体に対する焦点の位置の追従性と合焦精度の向上とを両立することが可能な、撮像装置、撮像方法、及びプログラムが提供される。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本技術を適用したカメラモジュールの一実施の形態の構成例を示すブロック図である。 撮像光学系側から見たイメージセンサの構成例を示す平面図である。 本技術の固体撮像装置の基本的な概略構成について説明する図である。 通常画素の構成例を示す図である。 検出画素の構成例を示す図である。 通常画素、左遮光画素、及び、右遮光画素それぞれの画素値の系列の例を示す図である。 右遮光画素が存在するラインから得られる右遮光系列と、その右遮光画素とペアの左遮光画素が存在するラインから得られる左遮光系列との例を示す図である。 コントラストAF(CDAF)、位相差AF(PDAF)、及び、ハイブリッドAFを説明する図である。 位相差とデフォーカス量との関係を説明する図である。 位相差AF方式及びコントラストAF方式それぞれにおける合焦位置の一例について説明するための説明図である。 撮像光学系の焦点位置（レンズ位置）を移動する制御の一例について説明するための説明図である。 本開示の一実施形態に係るカメラモジュールのAFに係る一連の動作の流れの一例を示したフローチャートである。 同実施形態に係るカメラモジュールによるAFに係る動作の一例について説明するための説明図である。 同実施形態に係るカメラモジュールによるAFに係る動作の一例について説明するための説明図である。 同実施形態の変形例１に係るカメラモジュールのAFに係る一連の動作の流れの一例を示したフローチャートである。 同実施形態の変形例２に係るカメラモジュールのAFに係る一連の動作の流れの一例を示したフローチャートである。 同実施形態の変形例２に係るカメラモジュールにおけるコントラストAF方式に基づくAFに係る動作の流れの一例を示したフローチャートである。 同実施形態の変形例２に係るカメラモジュールの動作の一例について説明するための説明図である。 同実施形態の変形例２に係るカメラモジュールの動作の一例について説明するための説明図である。 同実施形態に係るカメラモジュールを使用する使用例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本技術を適用したカメラモジュールの一実施の形態
２．イメージセンサの構成例
３．画素の構成例
４．AFの説明
５．位相差とデフォーカス量
６．合焦精度の検討
７．技術的特徴
８．変形例
８．１．変形例１：位相差AFの結果に応じたシーン安定待ち時間の設定
８．２．変形例２：位相差AFの結果に応じたコントラストAFの動作の切り替え
９．カメラモジュールの使用例
１０．まとめ

＜１．本技術を適用したカメラモジュールの一実施の形態＞
図１は、本技術を適用したカメラモジュールの一実施の形態の構成例を示すブロック図である。

図１において、カメラモジュールは、レンズ鏡筒１１、光学フィルタ１２、イメージセンサ１３、メイン処理部１４、照明制御部１５、センサ駆動部１６、位相差AF処理部１７、画像処理部１８、フォーカス駆動部１９、表示部２０、操作部２１、フラッシュメモリ２２、フォーカスアクチュエータ２３、及び、照明部２４を有する。

なお、図１において、カメラモジュールは、レンズ鏡筒１１と一体的に構成される。但し、カメラモジュールは、レンズ鏡筒１１を取り外し可能なように構成することができる。

レンズ鏡筒１１は、レンズ群や絞り等の撮像光学系１１Ａを有し、そこに入射する光を、光学フィルタ１２を介して、イメージセンサ１３上に集光する。

なお、撮像光学系１１Ａのレンズ群のレンズ位置（ひいては焦点位置）は、光軸L方向に移動可能になっており、これにより、フォーカスの調整を行うことができるようになっている。

光学フィルタ１２は、イメージセンサ１３で撮影される撮影画像に生じる偽色やモアレを軽減するための光学素子である。すなわち、光学フィルタ１２は、光学的なローパスフィルタであり、撮像光学系１１Ａからの光の一部の成分を減衰して、イメージセンサ１３に出射する。

イメージセンサ１３は、撮像光学系１１Ａから、光学フィルタ１２を介して入射する光（被写体光）を受光することにより、撮影画像を撮影する撮像素子である。イメージセンサ１３としては、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等を採用することができる。

イメージセンサ１３は、撮影により得られる撮影画像（の画像信号）を、センサ駆動部１６に供給する。

メイン処理部１４は、カメラモジュールを構成する各ブロックを制御する。

メイン処理部１４は、CPU(Central Processing Unit)３１、メモリ３２、ADC(Analog to Digital Converter)３３、DAC(Digital to Analog Converter)３４、及び、通信I/F(Interface)３５を有する。

CPU３１は、メモリ３２に記憶されたプログラムを実行することにより、照明制御部１５ないしフラッシュメモリ２２等を制御し、AFや、撮影画像の撮影、各種の画像処理、撮影画像の記録等の各種の処理を実行させる。

メモリ３２は、RAM(Random Access Memory)等の揮発性メモリや、EEPROM(Electrically Erasable Programmable Read Only Memory)等の不揮発性メモリ等で構成され、CPU３１が実行するプログラムや、CPU３１の動作上必要なデータを記憶する。

メモリ３２に記憶されるデータとしては、位相差AFのための後述するAFパラメータがある。

ADC３３は、アナログ信号をディジタル信号にAD変換する。DAC３４は、ディジタル信号をアナログ信号にDA変換する。通信I/F３５は、インターネット等との間の通信を制御する。

照明制御部１５は、照明部２４を制御し、被写体を照明する光や、AF用のトーチ補助光となる光を発光させる。

すなわち、照明制御部１５は、イメージセンサ１３の撮影動作に同期して、照明部２４に、被写体を照明する光となる電子フラッシュを発光（点灯）させる。また、照明制御部１５は、AFの動作に同期して、照明部２４に、トーチ補助光を発光させる。

センサ駆動部１６は、イメージセンサ１３を制御することにより、撮影画像を撮影させる。また、センサ駆動部１６は、イメージセンサ１３で撮影された撮影画像の画像信号を、必要に応じて、AD変換して、メイン処理部１４や位相差AF処理部１７に供給する。

位相差AF処理部１７は、センサ駆動部１６からの撮影画像の画像信号のうちの、後述する検出画素の画素値を用いて、位相差AFにより、撮像光学系１１Ａ（のレンズ群）のレンズ位置を移動させるレンズ移動量を算出して、メイン処理部１４に供給する。

画像処理部１８は、イメージセンサ１３で撮影され、センサ駆動部１６、及び、メイン処理部１４を介して供給される撮影画像について、γ変換や、カラー補間、JPEG(Joint Photographic Experts Group)等の所定の圧縮伸張方式による圧縮伸張等の画像処理を行う。また、画像処理部１８は、撮影画像のコントラストを表すコントラスト評価値を算出し、メイン処理部１４に供給する。メイン処理部１４では、画像処理部１８からのコントラスト評価値を用いて、コントラストAF（の制御）が行われる。

フォーカス駆動部１９は、メイン処理部１４の制御に従って、フォーカスアクチュエータ２３を駆動し、撮像光学系１１Ａのレンズ位置を、光軸L方向に移動させることで、フォーカス調節を行う。

表示部２０は、例えば、LCD(Liquid Crystal Display)パネル等で構成され、カメラモジュールの撮影モードに関する情報や、撮影前のプレビュー画像、撮影後の確認用画像、AF時の合焦状態の画像等を表示する。

操作部２１は、ユーザによって操作されるスイッチ群であり、電源スイッチや、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を含む。

フラッシュメモリ２２は、カメラモジュールに着脱可能になっている。フラッシュメモリ２２には、メイン処理部１４から供給される撮影画像が記録（記憶）される。

フォーカスアクチュエータ２３は、フォーカス駆動部１９により駆動され、撮像光学系１１Ａのレンズ位置を、光軸L方向に移動させる。

照明部２４は、照明制御部１５の制御に従って、被写体を照明する光や、AF用のトーチ補助光となる光を発光する。

照明部２４としては、例えば、キセノン管を用いた閃光照明装置や、連続発光が可能なLED(Light Emitting Diode)を有するLED照明装置等を採用することができる。カメラモジュールが、スマートフォン等の携帯機器に搭載される場合には、照明部２４としては、比較的小型のLED照明装置を採用することができる。

照明部２４は、所定のパターンの溝が形成された投光レンズ（図示せず）を介して、光を、被写界に投光し、暗い被写体や、低コントラストの被写体に対するAFの精度を向上させる。

なお、位相差AF処理部１７は、イメージセンサ１３に含める（内蔵させる）ことができる。

また、位相差AF処理部１７は、ハードウェアにより実現することもできるし、ソフトウェアにより実現することもできる。位相差AF処理部１７を、ソフトウェアによって実現する場合には、そのソフトウェアを構成するプログラムが、例えば、メイン処理部１４等のコンピュータにインストールされ、メイン処理部１４のCPU３１によって実行される。

この場合、CPU３１がプログラムに従って行う処理は、必ずしも、後述するフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、CPU３１がプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

ここで、プログラムは、コンピュータとしてのメイン処理部１４に内蔵されている記録媒体としてのメモリ３２にあらかじめ記録しておくことができる。

あるいはまた、プログラムは、リムーバブルな記録媒体である、例えば、フラッシュメモリ２２に格納（記録）し、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、フラッシュメモリ２２からメイン処理部１４にインストールする他、インターネット等の通信網や、地上波等の放送網を介して、メイン処理部１４にダウンロードし、内蔵するメモリ３２にインストールすることができる。

＜２．イメージセンサの構成例＞
図２Ａは、撮像光学系１１Ａ側から見たイメージセンサ１３の構成例を示す平面図である。

イメージセンサ１３は、光を受光する受光面５０を有し、受光面５０は、横×縦がH×V個の画素で構成される。

ここで、本実施の形態では、受光面５０を、複数の画素からなる画素グループとしての、例えば、矩形のブロックに分割したときの、そのブロックを、画素ブロック５１ともいう。

図２Ａでは、画素ブロック５１を構成する一部の画素群として、9×9画素を図示してある。

画素には、例えば、オンチップで、ベイヤ配列のR(Red)，G(Green)、又は、B(Blue)の（原色）カラーフィルタが形成されている。

いま、R，G，Bのカラーフィルタが形成された画素を、それぞれ、R画素、G画素、B画素ということとする。R画素、G画素、B画素は、オンチップのカラーフィルタにより、それぞれ、R，G，Bの光の分光感度を有する。ベイヤ配列では、横×縦が2×2画素を基本単位として、対角の位置に、G画素が配置され、残りの2箇所に、R画素とB画素が配置される。

図２Ａでは、基本単位としての2×2画素として、例えば、右上に、R画素が、左下に、B画素が、左上及び右下に、G画素が、それぞれ配置されている。

ベイヤ配列では、以上のような基本単位が、横及び縦に繰り返し並んでいる。

なお、図２Ａでは、基本単位の左上のG画素は、Grと図示してあり、右下のG画素は、Gbと図示してある。

受光面５０には、位相差AFに用いる位相差を検出するための検出画素５３と、検出画素５３以外の、位相差の検出には用いられない通常画素（撮影画像となる画像を得る目的の画素）５２とが含まれる。

検出画素５３の詳細については、後述するが、検出画素５３では、撮像光学系１１Ａの射出瞳の異なる領域としての、例えば、右半分又は左半分を通過した光を受光するために、左半分又は右半分が遮光されている。

なお、撮影画像については、G画素の画素値から、輝度の主成分が取得される。

ここで、図２Ｂを参照して、本技術の固体撮像装置（即ち、イメージセンサ１３）の基本的な概略構成について説明する。

第１の例として、図２Ｂ上段に示される固体撮像装置３３０は、１つの半導体チップ３３１内に、画素領域３３２、制御回路３３３、上述した信号処理回路を含むロジック回路３３４とを搭載して構成される。

第２の例として、図２Ｂ中段に示される固体撮像装置３４０は、第１の半導体チップ部３４１と第２の半導体チップ部３４２とから構成される。第１の半導体チップ部３４１には、画素領域３４３と制御回路３４４が搭載され、第２の半導体チップ部３４２には、上述した信号処理回路を含むロジック回路３４５が搭載される。そして、第１の半導体チップ部３４１と第２の半導体チップ部３４２とが相互に電気的に接続されることで、１つの半導体チップとしての固体撮像装置３４０が構成される。

第３の例として、図２Ｂ下段に示される固体撮像装置３５０は、第１の半導体チップ部３５１と第２の半導体チップ部３５２とから構成される。第１の半導体チップ部３５１には、画素領域３５３が搭載され、第２の半導体チップ部３５２には、制御回路３５４と、上述した信号処理回路を含むロジック回路３５５が搭載される。そして、第１の半導体チップ部３５１と第２の半導体チップ部３５２とが相互に電気的に接続されることで、１つの半導体チップとしての固体撮像装置３５０が構成される。

＜３．画素の構成例＞
図３は、通常画素５２の構成例を示す図である。

図３のＡは、受光面５０のうちの、通常画素５２のみの領域の構成例を示す平面図である。

図３のＢは、通常画素５２を、図３のＡの線分L11に沿って切断した断面を模式的に示す断面図である。

通常画素５２は、図中、下から、PD(Photo Diode)６１、CL(Contact Layer)６２、カラーフィルタ６３、オンチップレンズ（マイクロレンズ）６４が積層された構成になっている。

通常画素５２では、オンチップレンズ６４に入射した光のうちの所定の色成分の光が、カラーフィルタ６３を通過し、透明のCL６２を介して、PD６１に入射する。PD６１では、そこに入射する光が受光され、光電変換される。PD６１での光電変換の結果得られる電気信号が、通常画素５２の画素値として出力される。

図４は、検出画素５３の構成例を示す図である。

図４のＡは、受光面５０のうちの、検出画素５３を含む領域の構成例を示す平面図である。

図４では、受光面５０のR画素、G画素、B画素のうちの、G画素の一部が、検出画素５３になっている。なお、検出画素としては、G画素ではなく、R画素やB画素の一部を採用することができる。

検出画素５３では、撮像光学系１１Ａの射出瞳の異なる領域としての、例えば、右半分と左半分のそれぞれを通過した光を受光するために、左半分が遮光された左遮光画素５３Ｌと、右半分が遮光された右遮光画素５３Ｒとがある。

撮像光学系１１Ａの射出瞳を瞳分割して得られる２つの像の位相差を検出するために、左遮光画素５３Ｌと、右遮光画素５３Ｒとは、ペア（対）になっている。

図４のＢは、検出画素５３のうちの左遮光画素５３Ｌを、図４のＡの線分L21に沿って切断した断面を模式的に示す断面図である。

図４のＣは、検出画素５３のうちの右遮光画素５３Ｒを、図４のＡの線分L22に沿って切断した断面を模式的に示す断面図である。

なお、図４の検出画素５３において、図３の通常画素５２と同様に構成される部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

検出画素５３は、PD６１ないしオンチップレンズ６４を有する点で、通常画素５２と共通する。但し、検出画素５３は、CL６２に、遮光膜６６が設けられている点で、通常画素５２と相違する。

検出画素５３のうちの左遮光画素５３Ｌでは、図４のＢに示すように、遮光膜６６が、左遮光画素５３Ｌの左半分を遮光するように設けられている。これにより、左遮光画素５３Ｌでは、オンチップレンズ６４側から見て、オンチップレンズ６４の中心から右半分だけが開口している。その結果、左遮光画素５３Ｌでは、撮像光学系１１Ａの射出瞳の、例えば、右半分を通過した光が受光される。

検出画素５３のうちの右遮光画素５３Ｒでは、図４のＣに示すように、遮光膜６６が、右遮光画素５３Ｒの右半分を遮光するように設けられている。これにより、右遮光画素５３Ｒでは、オンチップレンズ６４側から見て、オンチップレンズ６４の中心から左半分だけが開口している。その結果、右遮光画素５３Ｒでは、撮像光学系１１Ａの射出瞳の、例えば、左半分を通過した光が受光される。

以上のような左遮光画素５３Ｌと右遮光画素５３Ｒとのペアにより、撮像光学系１１Ａの射出瞳の、水平方向（横方向）への瞳分割が行われる。

なお、検出画素５３は、例えば、水平方向に規則的に、受光面５０の全体に亘って配置される。検出画素５３の数を多くすれば、位相差、ひいては、位相差AFの精度は向上するが、撮影画像の画質が劣化する。そのため、検出画素５３の数や配置位置は、位相差AFの精度と、撮影画像の画質とのトレードオフを考慮して決定することができる。

また、検出画素５３の配置パターンは、一定パターンにすることもできるし、例えば、受光面５０の中心部や周辺部といった場所によって、異なるパターンにすることもできる。

図５は、通常画素５２、左遮光画素５３Ｌ、及び、右遮光画素５３Ｒそれぞれの画素値の系列の例を示す図である。

ここで、ライン（水平ライン）に並ぶ通常画素５２の画素値の系列を、通常系列ともいう。また、ラインに並ぶ左遮光画素５３Ｌの画素値の系列を、左遮光系列ともいい、ラインに並ぶ右遮光画素５３Ｒの画素値の系列を、右遮光系列ともいう。

図５は、通常画素５２と右遮光画素５３Ｒとが混在するラインから得られる通常系列と右遮光系列、及び、その右遮光画素５３Ｒとペアの左遮光画素５３Ｌが存在するラインから得られる左遮光系列を示している。

図５において、横軸は、画素の位置を表し、縦軸は、画素値（明るさ）を表す。

検出画素５３（左遮光画素５３Ｌ及び右遮光画素５３Ｒ）によれば、通常系列として現れる被写体像が、左遮光系列として現れる像（以下、左遮光像ともいう）と、右遮光系列として現れる像（以下、右遮光像ともいう）とに分離される。

左遮光像と右遮光像との相対的な位置関係を表す位相差を、左遮光像と右遮光像との相関演算を行うこと等によって検出することで、その位相差から、被写体像のフォーカスのずれ量であるデフォーカス量を検出することができる。

図６は、右遮光画素５３Ｒが存在するラインから得られる右遮光系列と、その右遮光画素５３Ｒとペアの左遮光画素５３Ｌが存在するラインから得られる左遮光系列との例を示す図である。

図６において、横軸は、画素の位置を表し、縦軸は、画素値を表す。

図６では、通常画素５２であるR画素が存在するラインL31の一部のG画素が、右遮光画素５３Ｒになっている。さらに、図６では、ラインL31の直後のラインL32の一部のG画素が、左遮光画素５３Ｌになっている。そして、例えば、右遮光画素５３Ｒと、その右遮光画素５３Ｒの左斜め下の左遮光画素５３Ｌとが、（左遮光像と右遮光像との）位相差を検出するためのペアになっている。

位相差は、左遮光系列及び右遮光系列を用いて、画素数を単位として求める（検出する）ことができる。

被写体像が合焦状態になっているときのデフォーカス量は0であるから、位相差から検出されるデフォーカス量を0にするように、撮像光学系１１Ａのレンズ位置を移動することで、AFを行うことができる。

＜４．AFの説明＞
図７は、コントラストAF(CDAF)、位相差AF(PDAF)、及び、ハイブリッドAFを説明する図である。

図７において、横軸は、撮像光学系１１Ａのレンズ位置を表し、縦軸は、コントラスト評価値及び位相差を表す。

また、図７において、横軸の左方向は、Inf（無限遠）方向を表し、右方向は、マクロ（至近）方向を表す。

ここで、Inf方向は、遠い位置の被写体にフォーカスが合う方向であり、マクロ方向とは、近い位置の被写体にフォーカスが合う方向である。

コントラストAF(CDAF)では、レンズ位置を移動しながら、各レンズ位置において、撮影画像のコントラストを表すコントラスト評価値が求められる。レンズ位置の移動は、コントラスト評価値が上昇するように行われる。

コントラスト評価値は、合焦位置で最大になるので、コントラストAFでは、レンズ位置が、合焦位置に近づくように移動されていき、一旦、合焦位置を追い越す。その後、レンズ位置は、少しずつ、合焦位置を再び追い越すように移動され、そのときに得られるコントラスト評価値を用いて、コントラスト評価値が最大になるレンズ位置、すなわち、合焦位置が検出される。そして、レンズ位置が、コントラスト評価値が最大になる位置である合焦位置に移動される。

位相差AF(PDAF)では、レンズ位置が合焦位置にあるときに、位相差が0になるとすると、位相差が0になるように、レンズ位置が、いわば直接的に移動される。

ハイブリッドAFでは、まず、位相差AFによって、レンズ位置が合焦位置付近に移動され、その後、コントラストAFによって、レンズ位置が合焦位置に精度良く移動される。

＜５．位相差とデフォーカス量＞
図８は、位相差とデフォーカス量との関係を説明する図である。

位相差、及び、デフォーカス量は、いずれも、被写体像のフォーカスのずれ量を表すが、AFでは、デフォーカス量は、現在のレンズ位置から合焦位置までが、どれだけ離れているかを表す物理量として用いる。

すなわち、AFにおいて、デフォーカス量は、現在のレンズ位置から合焦位置までの距離と方向を表す。

図８のＡは、デフォーカス量を説明する図である。

コントラスト評価値が最大になるレンズ位置を合焦位置として、デフォーカス量は、現在のレンズ位置から合焦位置までの距離と方向を表す。

いま、レンズ位置の移動量を、um（マイクロメートル）で表すこととすると、デフォーカス量の単位としては、umを採用することができる。

一方、位相差は、被写体像のフォーカスのずれ量を、左遮光像と右遮光像との相対的な位置関係として表し、その単位は、画素数である。

図８のＢは、位相差とデフォーカス量との関係を示す図である。

図８のＢにおいて、横軸は、位相差を表し、縦軸は、デフォーカス量を表す。

位相差とデフォーカス量とは、理想的には、図８のＢに示すように、線形の関係を有し、したがって、位相差とデフォーカス量とについては、一方から他方を求めることができる。

いま、位相差を、デフォーカス量に変換（換算）する係数を、換算係数aということとすると、デフォーカス量は、位相差を用いて、式（１）に従って求めることができる。

デフォーカス量[um]＝位相差[画素数]×換算係数a[um／画素数] ・・・（１）

位相差とデフォーカス量との関係を、換算特性ということとすると、換算特性は、理想的には、直線で表される。図８のＢに示すように、横軸を位相差とし、縦軸をデフォーカス量とした2次元平面において、換算係数aは、直線で表される換算特性の傾きを表す。

換算係数aは、カメラモジュールを製造する製造工場において、カメラモジュールの試験等を行うことによって、事前に（出荷前に）取得することができる。

＜６．合焦精度の検討＞
前述したように、位相差AF方式では、AFにあたって、撮像光学系の焦点位置（レンズ位置）を移動するAFスキャン動作を行う必要がないため、AFを、比較的、短時間で実行することができる。そのため、動画像の撮像や連続撮影（所謂、連写）においては、例えば、被写体に対する焦点の位置の追従性を向上させるために、位相差AFのみで合焦を行う場合がある。

一方で、動画像の撮像や連続撮影において、位相差AFのみで合焦を行う場合には、コントラストAF方式やハイブリッドAF方式に基づき合焦を行った場合に比べて、合焦精度が低下する場合がある。

例えば、図９は、位相差AF方式及びコントラストAF方式それぞれにおける合焦位置の一例について説明するための説明図であり、位相差及びコントラスト評価値のそれぞれと、レンズ位置との関係の一例を示している。図９において、コントラスト評価値とレンズ位置との関係を示すグラフについては、横軸がレンズ位置を示し、縦軸がコントラスト評価値を示している。また、位相差とレンズ位置との関係を示すグラフについては、横軸がレンズ位置を示し、縦軸が位相差を示す。

図９において、参照符号ｐ１１は、位相差が0となるレンズ位置を示しており、即ち、位相差AF方式における合焦位置の一例を示している。また、参照符号ｐ１３は、コントラスト評価値が最大となるレンズ位置を示しており、即ち、コントラストAF方式における合焦位置の一例を示している。

図９に示す例では、参照符号Ｒ１１として示すように、位相差AF方式に基づく合焦位置ｐ１１と、コントラストAF方式に基づく合焦位置ｐ１３との間には、ずれが生じていることがわかる。前述したように、一般的には、コントラストAF方式は、位相差AF方式に比べて、より高い精度で合焦を行うことが可能である。即ち、図９に示す例では、位相差AF方式のみに基づき合焦を行った場合には、コントラストAF方式に基づき合焦を行った場合に比べて、参照符号Ｒ１１で示すようにレンズ位置にずれが生じ、このずれの分だけ合焦精度が低下することとなる。

また、動画像の撮像時や連続撮影時には、例えば、焦点位置が細かく前後する所謂ハンチングと呼ばれる現象の発生を抑止するために、静止画像の撮像時に比べて、合焦と判断するレンズ位置の幅がより広く設定されている場合がある。例えば、図１０は、撮像光学系の焦点位置（レンズ位置）を移動する制御の一例について説明するための説明図であり、特に、動画像の撮像時や連続撮影時における制御の一例を示している。図１０において、縦軸は、レンズ位置を示しており、横軸は、AFにあたって、レンズ位置を移動する場合のステップ数を示している。

図１０に示す例では、参照符号ｐ３１で示されたレンズ位置を合焦位置とし、当該合焦位置に向けて撮像光学系の焦点位置が移動するように制御されている。また、図１０に示す例では、合焦位置を基準として、参照符号Ｒ２１で示すようにレンズ位置の範囲（例えば、合焦位置とのレンズ位置の差が閾値内の範囲）が設定されており、撮像光学系の焦点位置が当該範囲Ｒ２１内に含まれる場合に合焦したものと判定され、当該撮像光学系の焦点位置の移動が停止している。そのため、例えば、図１０に示す例では、合焦と判定された撮像光学系の焦点位置（レンズ位置）と、合焦位置との間に、参照符号Ｒ２３で示すずれが生じている。即ち、図１０に示す例では、合焦と判定された場合の撮像光学系の焦点位置が、最大で、合焦位置と範囲Ｒ２１の端部それぞれとの間の差分（例えば、上述した閾値分）だけ、当該合焦位置からずれる可能性があり、このずれの分だけ合焦精度が低下する可能性がある。

このような状況を鑑みて、本開示では、動画像の撮像時や連続撮影時における、被写体に対する焦点の位置の追従性を維持し、かつ、合焦精度をより向上させることが可能な仕組みを提案する。

＜７．技術的特徴＞
ここで、図１１〜図１３を参照して、本開示の一実施形態に係るカメラモジュールの技術的特徴について説明する。例えば、図１１は、本開示の一実施形態に係るカメラモジュールのAFに係る一連の動作の流れの一例を示したフローチャートであり、特に、動画像の撮像時や連続撮影時におけるAFに係る動作の一例を示している。

（ステップＳ１０１）
まず、カメラモジュールは、位相差AF方式に基づき、撮像光学系１１Ａ（のレンズ群）のレンズ位置を制御する。より具体的には、位相差AF処理部１７は、位相差AF方式に基づき焦点検出を行い、当該焦点検出の結果に基づき、撮像光学系１１Ａ（のレンズ群）のレンズ位置を移動させるレンズ移動量を算出する。メイン処理部１４は、位相差AF処理部１７により算出されたレンズ移動量に基づき、フォーカス駆動部１９の動作を制御することで、フォーカスアクチュエータ２３を駆動させ、撮像光学系１１Ａのレンズ位置を、光軸L方向に移動させることで、フォーカス調節を行う。

（ステップＳ１０３）
位相差AF方式に基づく撮像光学系１１Ａのレンズ位置の制御が完了すると、カメラモジュールは、シーンの安定待ちを行う。具体的な一例として、カメラモジュールは、被写体像の撮像結果に基づき取得される、色情報、明るさ情報、位相差情報、及びコントラスト情報や、カメラモジュールの位置や向きの変化の検出結果（例えば、加速度センサや角速度センサによる検出結果）に基づき取得されるジャイロ情報等のカメラ制御に関連する検波値のうち、少なくともいずれか（または、複数の組み合わせ）に基づき、被写体像の変化を検出する。そして、カメラモジュールは、検出した被写体像の変化量が閾値未満の場合には、当該被写体像が変化していない（即ち、シーンが安定している）ものと認識する。

（ステップＳ１０５）
カメラモジュールは、所定の期間（例えば、所定のフレーム数）中にシーンの変化（即ち、被写体像の変化）を検出した場合には（Ｓ１０５、ＹＥＳ）、再度、位相差AF方式に基づき、撮像光学系１１Ａのレンズ位置を制御する（Ｓ１０１）。

（ステップＳ１０７）
一方で、シーンの変化が検出されない状態（即ち、シーンが安定している状態）が所定の期間以上継続した場合（例えば、所定のフレーム数以上継続した場合）には（Ｓ１０５、ＮＯ）、カメラモジュールは、コントラストAF方式に基づき、撮像光学系１１Ａのレンズ位置を制御する。より具体的には、画像処理部１８は、撮影画像のコントラストを表すコントラスト評価値を算出する。メイン処理部１４では、画像処理部１８により算出されたコントラスト評価値を用いて、コントラストAF（の制御）が行われる。

（ステップＳ１０９）
コントラストAFが成功した場合には（Ｓ１０９、ＹＥＳ）、撮像光学系１１Ａのレンズ位置が、当該コントラストAFに基づく合焦位置に移動するように制御される。

（ステップＳ１１１）
一方で、コントラストAFが失敗した場合には（Ｓ１０９、ＮＯ）、カメラモジュールは、撮像光学系１１Ａのレンズ位置が、あらかじめ決められた位置（即ち、失敗位置）に移動するように制御する。

（ステップＳ１１３）
次いで、カメラモジュールは、シーンの変化待ちを行う。具体的には、カメラモジュールは、前述したカメラ制御に関する検波値に基づき、被写体像の変化を検出する。そして、カメラモジュールは、検出した被写体像の変化量が閾値以上の場合には、当該被写体像が変化している（即ち、シーンが変化している）ものと認識する。

（ステップＳ１１５）
シーンの変化を検出した場合には（Ｓ１１５、ＹＥＳ）、カメラモジュールは、再度、位相差AF方式に基づき、撮像光学系１１Ａのレンズ位置を制御する（Ｓ１０１）。

（ステップＳ１１７）
一方で、シーンの変化が検出されない場合には（Ｓ１１５、ＮＯ）、カメラモジュールは、一連の処理の終了が指示されない限り（Ｓ１１７、ＮＯ）、シーンの変化待ちを継続する（Ｓ１１３）。そして、例えば、電源のオフ等のような操作部２１を介したユーザからの操作等により、一連の処理の終了が指示された場合には、カメラモジュールは、上述した、AFに係る一連の動作を終了する。

以上、図１１を参照して、本開示の一実施形態に係るカメラモジュールのAFに係る一連の動作の流れの一例として、特に、動画像の撮像時や連続撮影時におけるAFに係る動作の一例について説明した。

次に、本開示の一実施形態に係るカメラモジュールによるAFに係る動作の一例について、図１２及び図１３を参照しながら、具体的な例をあげて説明する。図１２及び図１３は、本開示の一実施形態に係るカメラモジュールによるAFに係る動作の一例について説明するための説明図である。

例えば、図１２は、カメラモジュールの画角内に、動く被写体（以降では、単に「動体」と称する場合がある）が存在する状態の一例を示している。図１２において、参照符号ｖ１１は、当該動体を示している。

図１２に示す例は、動体の移動に伴いシーンが逐次変化している状態を示している。このような状況下では、本実施形態に係るカメラモジュールは、位相差AF方式に基づき、撮像光学系１１Ａのレンズ位置を制御する（即ち、合焦を行う）。より具体的な一例として、図１２に示す例では、本実施形態に係るカメラモジュールは、位相差AF方式に基づき、画角内を移動する動体ｖ１１に対して焦点の位置を追従させるように、撮像光学系１１Ａのレンズ位置を制御する。

次いで、図１３を参照する。図１３は、図１２に示す例から時間が経過し、動体ｖ１１がカメラモジュールの画角の外に移動した状態、即ち、当該画角内に動体が存在せず、シーンが安定している状態の一例を示している。

図１３に示すような状況下では、本実施形態に係るカメラモジュールは、シーンの安定待ちを行う。そして、当該カメラモジュールは、シーンが安定している状態（即ち、被写体の変化量が閾値未満の状態）が所定の期間以上継続した場合に、コントラストAF方式に基づき撮像光学系１１Ａのレンズ位置を制御する（即ち、合焦を行う）。このような制御により、本実施形態に係るカメラモジュールは、シーンが安定している状態において、さらに合焦精度を向上させることが可能となる。

なお、位相差AF方式に基づく焦点検出の結果に基づき、撮像光学系１１Ａのレンズ位置が合焦位置のより近傍に位置するように制御される（即ち、合焦精度がより高い状態に制御される）場合も想定され得る。そのため、本実施形態に係るカメラモジュールは、位相差AF方式に基づく焦点検出の結果に基づき、撮像光学系１１Ａのレンズ位置が合焦位置のより近傍に位置するように制御された場合（例えば、当該レンズ位置と合焦位置との差が所定の閾値未満となった場合）には、シーンの安定待ちやコントラストAF方式に基づくレンズ位置の制御（Ｓ１０３〜Ｓ１１１に係る処理）を省略し、シーンの変化待ちに係る処理（Ｓ１１３）に遷移するように構成されていてもよい。なお、ここで、撮像光学系１１Ａのレンズ位置が合焦位置のより近傍に位置する状態とは、例えば、合焦位置を基準として、図１０の範囲Ｒ２１よりも、より狭い範囲内（即ち、合焦位置により近いレンズ位置）に撮像光学系１１Ａのレンズ位置が制御された状態に相当し得る。

以上、図１１〜図１３を参照して、本開示の一実施形態に係るカメラモジュールの技術的特徴について説明した。なお、上記に説明した例では、本実施形態に係るカメラモジュールは、シーンの安定待ち後に、コントラストAF方式に基づき合焦を行っていたが、合焦精度をより向上させることが可能であれば、その方法は、必ずしもコントラストAF方式に基づく制御には限定されない。具体的な一例として、本実施形態に係るカメラモジュールは、シーンの安定待ち後に、再度位相差AF方式に基づき合焦を行うことで、合焦精度を向上させてもよい。

＜８．変形例＞
次に、本開示の一実施形態に係るカメラモジュールの変形例について説明する。

［８．１．変形例１：位相差AFの結果に応じたシーン安定待ち時間の設定］
まず、本実施形態の変形例１に係るカメラモジュールの一例について説明する。変形例１に係るカメラモジュールは、シーンが変化している状態では位相差AF方式に基づき焦点検出を行う点では、前述した実施形態に係るカメラモジュール（図１１参照）と同様である。一方で、変形例１に係るカメラモジュールは、当該位相差AF方式に基づく焦点検出の成否に応じて、続いて実行されるシーンの安定待ちの期間を設定する点で、前述した実施形態に係るカメラモジュールと異なる。

例えば、図１４は、本実施形態の変形例１に係るカメラモジュールのAFに係る一連の動作の流れの一例を示したフローチャートである。図１４に示す例では、参照符号Ｓ１２１及びＳ１２３として示された処理が、前述した実施形態に係るカメラモジュールの動作（図１１参照）と異なる。そこで、本説明では、変形例１に係るカメラモジュールのAFに係る動作について、特に、前述した実施形態に係るカメラモジュールと異なる部分に着目して説明する。

（ステップＳ１０１）
まず、カメラモジュールは、位相差AF方式に基づき焦点検出を行い、当該焦点検出の結果に基づき、撮像光学系１１Ａ（のレンズ群）のレンズ位置を制御する。本動作については、前述した実施形態に係るカメラモジュール（図１１参照）と同様である。

（ステップＳ１２１）
次いで、位相差AF方式に基づく焦点検出の結果に応じて、以降にステップＳ１２３として実行するシーンの安定待ち（図１１に示す例におけるステップＳ１０３に相当する処理）の時間に関するパラメータ（例えば、フレーム数）を設定する。

具体的な一例として、変形例１にカメラモジュールは、位相差AF方式に基づく焦点検出に失敗した場合には、当該焦点検出に成功した場合よりもシーンの安定待ちの時間がより短くなるように、対応するパラメータを設定する。また、変形例１にカメラモジュールは、位相差AF方式に基づく焦点検出に成功した場合には、シーン安定待ちの時間として、例えば、前述した実施形態に係るカメラモジュール（図１１参照）と同様の時間となるように（即ち、位相差AF方式に基づく焦点検出に失敗した場合よりもシーンの安定待ちの時間がより長くなるように）、対応するパラメータを設定してもよい。

（ステップＳ１２３）
次いで、カメラモジュールは、ステップＳ１２１で設定したパラメータに基づき、シーンの安定待ちを行う。

なお、ステップＳ１０５以降の動作については、前述した実施形態に係るカメラモジュール（図１１参照）と同様である。即ち、所定の期間中にシーンの変化を検出した場合には（Ｓ１０５、ＹＥＳ）、カメラモジュールは、再度、位相差AF方式に基づき、撮像光学系１１Ａのレンズ位置を制御する（Ｓ１０１）。また、シーンの変化が検出されない状態が所定の期間以上継続した場合には（Ｓ１０５、ＮＯ）、カメラモジュールは、ステップＳ１０７以降の処理を実行する。

以上のような制御に伴い、変形例１に係るカメラモジュールは、位相差AF方式に基づく焦点検出の成否に応じて、続いて実行されるシーンの安定待ち及びコントラストAF方式に基づく焦点検出の挙動を選択的に切り替えることが可能となる。より具体的な一例として、変形例１に係るカメラモジュールは、例えば、位相差AF方式に基づく焦点検出に失敗した場合には、当該焦点検出の成功時と同様に安定待ちを行わずに、直ちにコントラストAF方式に基づく焦点検出に実行することが可能となる。

なお、上記に説明した例はあくまで一例であり、必ずしも、変形例１に係るカメラモジュールの動作を限定するものではない。具体的な一例として、変形例１に係るカメラモジュールは、シーンの安定待ちの時間に関するパラメータに対して、位相差AF方式に基づく焦点検出の成功時と失敗時との双方において同様のパラメータを設定してもよいことは言うまでもない。

以上、図１４を参照して、本実施形態の変形例１に係るカメラモジュールの一例について説明した。

［８．２．変形例２：位相差AFの結果に応じたコントラストAFの動作の切り替え］
次に、変形例２に係るカメラモジュールの一例について説明する。変形例２に係るカメラモジュールは、位相差AF方式に基づく焦点検出の成否に応じて、シーンの安定待ち後に実行する、コントラストAF方式に基づく撮像光学系１１Ａ（のレンズ群）のレンズ位置の制御量を設定する（切り替える）点で、前述した実施形態や変形例１に係るカメラモジュールと異なる。

例えば、図１５は、本実施形態の変形例２に係るカメラモジュールのAFに係る一連の動作の流れの一例を示したフローチャートである。図１５に示す例では、参照符号Ｓ１３０して示された処理が、前述した変形例１に係るカメラモジュールの動作（図１４参照）と異なる。また、図１６は、本実施形態の変形例２に係るカメラモジュールにおけるコントラストAF方式に基づくAFに係る動作の流れの一例を示したフローチャートであり、図１５に示す例において参照符号Ｓ１３０で示された処理の一例を示している。そこで、本説明では、変形例２に係るカメラモジュールのAFに係る動作について、特に、前述した変形例１に係るカメラモジュールと異なる部分に着目して説明する。

（ステップＳ１０１〜Ｓ１０５）
ステップＳ１０１〜Ｓ１０５に係る処理については、前述した変形例１に係るカメラモジュール（図１４参照）と同様である。即ち、カメラモジュールは、まず位相差AF方式に基づき焦点検出を行い、当該焦点検出の結果に基づき、撮像光学系１１Ａ（のレンズ群）のレンズ位置を制御する（Ｓ１０１）。次いで、位相差AF方式に基づく焦点検出の結果に応じて、シーンの安定待ちの時間に関するパラメータを設定し（Ｓ１２１）、設定した当該パラメータに基づきシーンの安定待ちを行う。そして、所定の期間中にシーンの変化を検出した場合には（Ｓ１０５、ＹＥＳ）、再度、位相差AF方式に基づき、撮像光学系１１Ａのレンズ位置を制御する（Ｓ１０１）。

（ステップＳ１３０）
また、シーンの変化が検出されない状態が所定の期間以上継続した場合には（Ｓ１０５、ＮＯ）、コントラストAF方式に基づき、撮像光学系１１Ａのレンズ位置を制御する。

ここで、図１６を参照して、ステップＳ１３０で示された処理の詳細について説明する。

（ステップＳ１３３）
図１６に示すように、変形例２に係るカメラモジュールは、先行して実行した位相差AF
方式に基づく焦点検出（図１５のＳ１０１）の成否に応じて、コントラストAF方式に基づく動作を切り替える。

具体的には、位相差AF方式に基づく焦点検出に成功した場合には（Ｓ１３１、ＹＥＳ）、撮像光学系１１Ａのレンズ位置は、合焦位置の近傍に位置している可能性が高い。そのため、このような状況下では、変形例２に係るカメラモジュールは、合焦位置付近のみを対象としてコントラストAF方式に基づき合焦位置を探索し、撮像光学系１１Ａのレンズ位置を制御する。また、このとき、カメラモジュールは、コントラストAF方式に基づくAFに係る動作における、１ステップあたりの撮像光学系１１Ａのレンズ位置の制御量がより小さくなるように（即ち、移動量がより短くように）設定する。

ここで、図１７を参照して、変形例２に係るカメラモジュールの、位相差AF方式に基づく焦点検出に成功した場合の動作について、具体的な例をあげてさらに詳しく説明する。図１７は、変形例２に係るカメラモジュールの動作の一例について説明するための説明図である。図１７において、横軸は、撮像光学系１１Ａのレンズ位置を表し、縦軸は、コントラスト評価値を表す。

図１７に示すように、位相差AF方式に基づく焦点検出に成功した場合には、当該焦点検出の結果に基づき、撮像光学系１１Ａのレンズ位置は、合焦位置（即ち、コントラスト評価値が最大となるレンズ位置）の近傍に移動するように制御されることとなる。そのため、変形例２に係るカメラモジュールは、図１７に示すように、位相差AF方式に基づく焦点検出の結果に応じた制御後のレンズ位置を基点として、合焦位置の付近（即ち、図１７に示す「焦点検出範囲」）を対象に、コントラスト評価値が最大となるレンズ位置（即ち、合焦位置）を細かく探索する。このような制御により、変形例２に係るカメラモジュールは、位相差AF方式に基づく焦点検出に成功した場合には、より高い精度で合焦するように、撮像光学系１１Ａのレンズ位置を制御することが可能となる。また、この場合には、１ステップあたりの撮像光学系１１Ａのレンズ位置の制御量（即ち、移動量）がより短くなるように設定されるため、コントラストAF方式に基づく撮像光学系１１Ａの動作を、より目立ちにくくすることが可能となる。

（ステップＳ１３５）
次に、位相差AF方式に基づく焦点検出に失敗した場合（Ｓ１３１、ＮＯ）に着目する。この場合には、撮像光学系１１Ａのレンズ位置は、合焦位置から離れている可能性が高い。そのため、このような状況下では、変形例２に係るカメラモジュールは、位相差AF方式に基づく焦点検出に成功した場合よりもより広い範囲（例えば、コントラスト評価値の全範囲）を対象として、コントラストAF方式に基づき合焦位置を探索し、撮像光学系１１Ａのレンズ位置を制御する。また、このとき、カメラモジュールは、コントラストAF方式に基づくAFに係る動作における、１ステップあたりの撮像光学系１１Ａのレンズ位置の制御量が、位相差AF方式に基づく焦点検出に成功した場合よりも大きくなるように（即ち、移動量がより長くなるように）設定する。

ここで、図１８を参照して、変形例２に係るカメラモジュールの、位相差AF方式に基づく焦点検出に失敗した場合の動作について、具体的な例をあげてさらに詳しく説明する。図１８は、変形例２に係るカメラモジュールの動作の一例について説明するための説明図である。図１８において、横軸は、撮像光学系１１Ａのレンズ位置を表し、縦軸は、コントラスト評価値を表す。また、図１８において、参照符号ｐ２１は、位相差AF方式に基づく焦点検出に失敗した場合における、撮像光学系１１Ａのレンズ位置（例えば、失敗位置）の一例を模式的に示している。

即ち、図１８に示す例では、位相差AF方式に基づく焦点検出に失敗したため、変形例２に係るカメラモジュールは、例えば、撮像光学系１１Ａのレンズ位置が、失敗位置ｐ２１に移動するように制御する。そのため、カメラモジュールは、例えば、図１８に示すように、コントラスト評価値の全範囲を対象に、コントラスト評価値が最大となるレンズ位置を探索することとなる。例えば、図１８に示す例では、カメラモジュールは、「焦点検出範囲」として示された範囲（即ち、図１７に示す「焦点検出範囲」よりも広い範囲）で撮像光学系１１Ａのレンズ位置を制御し、コントラスト評価値が最大となるレンズ位置を探索している。そのため、このような場合には、カメラモジュールは、１ステップあたりの撮像光学系１１Ａのレンズ位置の制御量が、位相差AF方式に基づく焦点検出に成功した場合よりも、より大きくなるように設定する。このような制御により、変形例２に係るカメラモジュールは、位相差AF方式に基づく焦点検出に失敗した場合には、コントラストAFにより、より早く合焦するように、撮像光学系１１Ａのレンズ位置を制御することが可能となる。

なお、コントラストAF方式に基づく撮像光学系１１Ａのレンズ位置の制御以降の処理（即ち、図１５におけるステップＳ１０９以降の処理）については、前述した変形例１に係るカメラモジュールの場合（図１４参照）と同様である。

なお、上記に説明した例では、変形例２に係るカメラモジュールの動作の一例として、変形例１に係るカメラモジュールの動作（図１４参照）に対して、コントラストAF方式に基づく撮像光学系１１Ａのレンズ位置の制御に係る動作を置き換える例について説明した。一方で、変形例２に係るカメラモジュールの動作は、必ずしも同動作には限定されない。具体的な一例として、前述した実施形態に係るカメラモジュールの動作（図１１参照）に対して、コントラストAF方式に基づく撮像光学系１１Ａのレンズ位置の制御に係る動作（Ｓ１０５）を、変形例２に係るカメラモジュールの同動作（Ｓ１３０）に置き換えてもよい。

以上、図１５〜図１８を参照して、変形例２に係るカメラモジュールの一例について説明した。

＜９．カメラモジュールの使用例＞
次に、上述のカメラモジュールを使用する使用例について図１９を参照して説明する。図１９は、上述のカメラモジュールを使用する使用例を示す図である。

上述したカメラモジュールは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々な電子機器に使用することができる。

・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する電子機器
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される電子機器
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される電子機器
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される電子機器
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される電子機器
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される電子機器
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される電子機器
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される電子機器

＜１０．まとめ＞
以上、説明したように、本開示の一実施形態に係るカメラモジュールは、まず、位相差AF方式に基づき焦点検出を行い、当該焦点検出の結果に基づき、撮像光学系１１Ａのレンズ位置を制御する（即ち、合焦を行う）。次いで、本実施形態に係るカメラモジュールは、シーンの安定待ちを行う。このとき、所定の期間中にシーンの変化を検出した場合には、当該カメラモジュールは、再度、位相差AF方式に基づき、撮像光学系１１Ａのレンズ位置を制御する。また、シーンが安定している状態（即ち、被写体の変化量が閾値未満の状態）が所定の期間以上継続した場合には、当該カメラモジュールは、コントラストAF方式に基づき撮像光学系１１Ａのレンズ位置を制御する（即ち、合焦を行う）。以上のような制御に基づき、本実施形態に係るカメラモジュールは、例えば、動体の撮像時には、当該動体に対してより好適な態様で焦点の位置を追従させ、シーンが安定した場合には、合焦精度をより向上させることが可能となる。換言すると、本実施形態に係るカメラモジュールに依れば、動画像の撮像時や連続撮影時における、被写体に対する焦点の位置の追従性を維持し、かつ、合焦精度をより向上させることが可能となる。以上のように、本実施形態に係るカメラモジュールに依れば、被写体に対する焦点の位置の追従性と合焦精度の向上とを両立することが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像光学系の射出瞳の異なる領域を通過した光を受光する、当該射出瞳を瞳分割して得られる２つの像の位相差を検出するための検出画素を含む受光面を有する撮像素子と、
位相差AF（Auto Focus）方式に基づく第１の焦点検出と、コントラストAF方式に基づく第２の焦点検出との少なくともいずれかの焦点検出を実行する第１の検出部と、
前記焦点検出により検出された合焦位置に向かって、前記撮像光学系に含まれる少なくとも１つの光学部材を駆動する合焦制御部と、
被写体像の変化を検出する第２の検出部と、
を備え、
前記第１の検出部は、前記第１の焦点検出後に、前記被写体像の変化量が閾値未満の状態が所定の期間以上継続した場合に、前記第１の焦点検出または前記第２の焦点検出を実行する、
撮像装置。
（２）
前記第１の検出部は、前記所定の期間に関連するパラメータを、直前に実行された前記第１の焦点検出の結果に応じて設定する、前記（１）に記載の撮像装置。
（３）
前記第１の検出部は、前記第１の焦点検出に失敗した場合に、前記所定の期間に関連するパラメータとして、当該第１の焦点検出に成功した場合とは異なるパラメータを設定する、前記（２）に記載の撮像装置。
（４）
前記第１の検出部は、前記第１の焦点検出に失敗した場合に、前記所定の期間に関連するパラメータとして、当該第１の焦点検出に成功した場合とは同じパラメータを設定する、前記（２）に記載の撮像装置。
（５）
前記第１の検出部は、前記第１の焦点検出の結果に応じて、前記被写体像の変化量が閾値未満の状態が所定の期間以上継続した場合に実行される前記第２の焦点検出における、前記光学部材の制御量を設定する、前記（１）〜（４）のいずれか一項に記載の撮像装置。
（６）
前記第２の検出部は、被写体像の撮像結果に基づき、当該被写体像の変化を検出する、前記（１）〜（５）のいずれか一項に記載の撮像装置。
（７）
前記第２の検出部は、前記撮像装置の位置または向きの検出結果に基づき、前記被写体像の変化を検出する、前記（１）〜（６）のいずれか一項に記載の撮像装置。
（８）
撮像光学系の射出瞳の異なる領域を通過した光の受光結果に基づき、当該射出瞳を瞳分割して得られる２つの像の位相差を検出することと、
プロセッサが、位相差AF方式に基づく第１の焦点検出と、コントラストAF方式に基づく第２の焦点検出との少なくともいずれかの焦点検出を実行することと、
前記焦点検出により検出された合焦位置に向かって、前記撮像光学系に含まれる少なくとも１つの光学部材を駆動することと、
被写体像の変化を検出することと、
を含み、
前記第１の焦点検出後に、前記被写体像の変化量が閾値未満の状態が所定の期間以上継続した場合に、前記第１の焦点検出または前記第２の焦点検出が実行される、
撮像方法。
（９）
コンピュータに、
撮像光学系の射出瞳の異なる領域を通過した光の受光結果に基づき、当該射出瞳を瞳分割して得られる２つの像の位相差を検出することと、
プロセッサが、位相差AF方式に基づく第１の焦点検出と、コントラストAF方式に基づく第２の焦点検出との少なくともいずれかの焦点検出を実行することと、
前記焦点検出により検出された合焦位置に向かって、前記撮像光学系に含まれる少なくとも１つの光学部材を駆動することと、
被写体像の変化を検出することと、
を実行させ、
前記第１の焦点検出後に、前記被写体像の変化量が閾値未満の状態が所定の期間以上継続した場合に、前記第１の焦点検出または前記第２の焦点検出が実行される、
プログラム。

１１ レンズ鏡筒
１１Ａ 撮像光学系
１２ 光学フィルタ
１３ イメージセンサ
１４ メイン処理部
１５ 照明制御部
１６ センサ駆動部
１７ 処理部
１８ 画像処理部
１９ フォーカス駆動部
２０ 表示部
２１ 操作部
２２ フラッシュメモリ
２３ フォーカスアクチュエータ
２４ 照明部
３１ CPU
３２ メモリ
３３ ADC
３４ DAC
３５ I/F
５０ 受光面
５１ 画素ブロック
５２ 通常画素
５３ 検出画素
５３Ｌ 左遮光画素
５３Ｒ 右遮光画素
６１ PD
６２ CL
６３ カラーフィルタ
６４ オンチップレンズ
６６ 遮光膜

Claims (6)

1. 撮像光学系の射出瞳の異なる領域を通過した光を受光する、当該射出瞳を瞳分割して得られる２つの像の位相差を検出するための検出画素を含む受光面を有する撮像素子と、
   位相差AF（Auto Focus）方式に基づく第１の焦点検出と、コントラストAF方式に基づく第２の焦点検出との少なくともいずれかの焦点検出を実行する第１の検出部と、
   前記焦点検出により検出された合焦位置に向かって、前記撮像光学系に含まれる少なくとも１つの光学部材を駆動する合焦制御部と、
   被写体像の変化を検出する第２の検出部と、
   を備え、
   前記第１の検出部は、
   前記第１の焦点検出後に、前記被写体像の変化量が閾値未満の状態が所定の期間以上継続した場合に、前記第１の焦点検出または前記第２の焦点検出を実行し、
   前記所定の期間に関連するパラメータを、直前に実行された前記第１の焦点検出の結果に応じて設定し、
   前記第１の焦点検出に失敗した場合に、前記所定の期間に関連するパラメータとして、当該第１の焦点検出に成功した場合とは異なるパラメータを設定する、
   撮像装置。
2. 前記第１の検出部は、前記第１の焦点検出の結果に応じて、前記被写体像の変化量が閾値未満の状態が所定の期間以上継続した場合に実行される前記第２の焦点検出における、前記光学部材の制御量を設定する、請求項１に記載の撮像装置。
3. 前記第２の検出部は、被写体像の撮像結果に基づき、当該被写体像の変化を検出する、請求項１または請求項２に記載の撮像装置。
4. 前記第２の検出部は、前記撮像装置の位置または向きの検出結果に基づき、前記被写体像の変化を検出する、請求項１〜３のいずれか一項に記載の撮像装置。
5. 撮像光学系の射出瞳の異なる領域を通過した光の受光結果に基づき、当該射出瞳を瞳分割して得られる２つの像の位相差を検出することと、
   プロセッサが、位相差AF方式に基づく第１の焦点検出と、コントラストAF方式に基づく第２の焦点検出との少なくともいずれかの焦点検出を実行することと、
   前記焦点検出により検出された合焦位置に向かって、前記撮像光学系に含まれる少なくとも１つの光学部材を駆動することと、
   被写体像の変化を検出することと、
   を含み、
   前記第１の焦点検出後に、前記被写体像の変化量が閾値未満の状態が所定の期間以上継続した場合に、前記第１の焦点検出または前記第２の焦点検出が実行され、
   前記所定の期間に関連するパラメータが、直前に実行された前記第１の焦点検出の結果に応じて設定され、
   前記第１の焦点検出に失敗した場合に、前記所定の期間に関連するパラメータとして、当該第１の焦点検出に成功した場合とは異なるパラメータが設定される、
   撮像方法。
6. コンピュータに、
   撮像光学系の射出瞳の異なる領域を通過した光の受光結果に基づき、当該射出瞳を瞳分割して得られる２つの像の位相差を検出することと、
   プロセッサが、位相差AF方式に基づく第１の焦点検出と、コントラストAF方式に基づく第２の焦点検出との少なくともいずれかの焦点検出を実行することと、
   前記焦点検出により検出された合焦位置に向かって、前記撮像光学系に含まれる少なくとも１つの光学部材を駆動することと、
   被写体像の変化を検出することと、
   を実行させ、
   前記第１の焦点検出後に、前記被写体像の変化量が閾値未満の状態が所定の期間以上継続した場合に、前記第１の焦点検出または前記第２の焦点検出が実行され、
   前記所定の期間に関連するパラメータが、直前に実行された前記第１の焦点検出の結果に応じて設定され、
   前記第１の焦点検出に失敗した場合に、前記所定の期間に関連するパラメータとして、当該第１の焦点検出に成功した場合とは異なるパラメータが設定される、
   プログラム。

Images