JPWO2017154366A1 - ローパスフィルタ制御装置、およびローパスフィルタ制御方法、ならびに撮像装置 - Google Patents

Abstract

本開示のローパスフィルタ制御装置は、位相差画素と通常画素とを含む撮像素子に対する入射光の光路上に配置された可変ローパスフィルタのローパス特性を、通常画素の露光期間と位相差画素の露光期間とで変化させるローパスフィルタ制御部を備える。

Description

本開示は、可変ローパスフィルタを用いた撮影に適用されるローパスフィルタ制御装置、およびローパスフィルタ制御方法、ならびに撮像装置に関する。

一般的に、コンパクトカメラやミラーレスカメラでは、被写体の高周波成分の検出によるコントラスト方式のオートフォーカス（コントラストＡＦ）が採用されている。一方、高速オートフォーカスを実現するために、撮像素子に位相差検出用の画素（位相差画素）を埋め込んだ位相差方式のオートフォーカス（位相差ＡＦ）が提案されている。

特開２０１３−１９０６０３号公報 特開平５−４８９５１号公報

位相差ＡＦを採用する場合、埋め込んだ位相差画素の影響により撮影画像の品質を落とすことがないように、埋め込む位相差画素の数には制限を設けている。そのため、特に高周波の被写体などの焦点検出においては、充分なサンプリング数の検出データがとれず、焦点検出の誤差を生ずる場合がある。

高精度の焦点検出ができるようにしたローパスフィルタ制御装置、およびローパスフィルタ制御方法、ならびに撮像装置を提供することが望ましい。

本開示の一実施の形態に係るローパスフィルタ制御装置は、位相差画素と通常画素とを含む撮像素子に対する入射光の光路上に配置された可変ローパスフィルタのローパス特性を、通常画素の露光期間と位相差画素の露光期間とで変化させるローパスフィルタ制御部を備えたものである。

本開示の一実施の形態に係る画像処理方法は、位相差画素と通常画素とを含む撮像素子に対する入射光の光路上に配置された可変ローパスフィルタのローパス特性を、通常画素の露光期間と位相差画素の露光期間とで変化させるようにしたものである。

本開示の一実施の形態に係る撮像装置は、位相差画素と通常画素とを含む撮像素子と、撮像素子に対する入射光の光路上に配置された可変ローパスフィルタと、可変ローパスフィルタのローパス特性を、通常画素の露光期間と位相差画素の露光期間とで変化させるローパスフィルタ制御部とを備えたものである。

本開示の一実施の形態に係るローパスフィルタ制御装置、ローパスフィルタ制御方法、または撮像装置では、通常画素の露光期間と位相差画素の露光期間とで、ローパス特性が変化するように可変ローパスフィルタが制御される。

本開示の一実施の形態に係るローパスフィルタ制御装置、ローパスフィルタ制御方法、または撮像装置によれば、通常画素の露光期間と位相差画素の露光期間とで、ローパス特性を変化させるようにしたので、高精度の焦点検出を行うことができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示の第１の実施の形態に係る撮像装置の概要を示す断面図である。 撮像装置の制御系の構成例を示すブロック図である。 位相差画素の構成例を示す上面図である。 位相差画素の構成例を示す断面図である。 位相差画素を含む画素構造の一例を示す構成図である。 可変ローパスフィルタで高周波数成分を低減しなかった場合における位相差画素の理想出力値と再現出力値との第１の例を示す説明図である。 可変ローパスフィルタで高周波数成分を低減した場合における位相差画素の理想出力値と再現出力値との第１の例を示す説明図である。 可変ローパスフィルタで高周波数成分を低減しなかった場合における位相差画素の理想出力値と再現出力値との第２の例を示す説明図である。 可変ローパスフィルタで高周波数成分を低減した場合における位相差画素の理想出力値と再現出力値との第２の例を示す説明図である。 可変ローパスフィルタのカット周波数を制御する動作の一例を示す流れ図である。 可変ローパスフィルタのカット周波数を制御する動作の一例を示す流れ図である。 可変ローパスフィルタのカット周波数を制御する動作の一例を示す流れ図である。 可変ローパスフィルタのカット周波数を制御する動作の一例を示す流れ図である。 可変ローパスフィルタのカット周波数を制御する動作の一例を示す流れ図である。 可変ローパスフィルタのカット周波数を制御する動作の一例を示す流れ図である。 可変ローパスフィルタのカット周波数を複合的に制御する動作の一例を示す流れ図である。 可変ローパスフィルタのカット周波数の一例を示す説明図である。 位相差ＡＦ用のカット周波数に設定する場合のシーケンス例を示すシーケンス図である。

以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
１．１ 撮像装置の構成例（図１、図２）
１．２ 位相差画素の構成および原理（図３〜図５）
１．３ 可変ローパスフィルタの制御動作の具体例（図６〜図１８）
１．４ 効果
２．その他の実施の形態

＜１．第１の実施の形態＞
位相差ＡＦを採用する場合、埋め込んだ位相差画素の影響により撮影画像の品質を落とすことがないように、埋め込む位相差画素の数には制限を設けている。そのため、特に高周波の被写体などの焦点検出においては、充分なサンプリング数の検出データがとれず、焦点検出の誤差を生ずる場合がある。一方、デジタルカメラには、入射光の特定の周波数以上の成分を低減させるために、光学ローパスフィルタを撮像素子の前に配置して、モアレ現象を低減させているものがある。さらに、この光学ローパスフィルタで低減する周波数を変更できるようにし、例えば、静止画のような全画素読み出しモードと、動画のような画素の加算や間引きを行う読み出し出しモードとのそれぞれに最適な周波数を設定する手法も提案されている（例えば、特許文献１）。また、光学ローパスフィルタを撮影レンズの前方につけた場合に発生するコントラストＡＦ方式特有の焦点検出精度悪化の解決のために、光学ローパスフィルタを回転させて、カットオフ周波数を可変にする手法も提案されている（例えば特許文献２）。

これらの従来技術は、画像のモアレ低減やコントラストＡＦ方式特有の課題を解決するための手法である。このため、例えば通常撮影時にはモアレ低減のために光学ローパスフィルタによって高周波成分を低減し、逆に、焦点検出時には、高周波成分を低減させないようにする制御方法が提案されている。しかしながら、位相差方式の焦点検出時において、高周波成分を低減させないようにする制御を行うと、上記したように埋め込む位相差検出画素数の制限により、逆に、焦点検出精度が悪化してしまう。

そこで、本実施の形態では、高精度の焦点検出ができるようにした撮像装置を提供する。

［１．１ 撮像装置の構成例］
（撮像装置の概要）
図１は、本開示の第１の実施の形態に係る撮像装置の概要を示している。

本実施の形態に係る撮像装置は、レンズ部１と、レンズ部１が装着されるカメラ本体とを備えている。カメラ本体は、電子ビューファインダ（ＥＶＦ）２と、可変ローパスフィルタ（ＬＰＦ）３と、撮像素子４と、液晶表示部５とを備えている。

レンズ部１は、被写体の光学像を撮像素子４上に形成するものである。レンズ部１は、合焦のためのフォーカスレンズを含んでいる。

撮像素子４は、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等で構成されている。撮像素子４は、レンズ部１によって形成された光学像の光電変換およびＡ／Ｄ（アナログ／デジタル）変換を行い、光学像に応じた撮像信号を出力する。撮像素子４は、後述する図３〜図５に示すように、画素１０と位相差画素２０とを含んでいる。位相差画素２０は、位相差方式による焦点検出を行うための画素である。画素１０は、被写体の撮影画像の生成を行うための通常画素である。

可変ローパスフィルタ３は、撮像素子４の前面側、撮像素子４に対する入射光の光路上に配置されている。可変ローパスフィルタ３は、ローパス特性の１つとしてカット周波数が可変であり、撮像素子４への入射光からカット周波数を超える成分を低減するようになっている。

可変ローパスフィルタ３としては、例えば、入射光に対する光の分離度を制御することによって、ローパス特性が変化する可変式の光学ローパスフィルタ（ＯＬＰＦ）を用いることができる。可変式光学ローパスフィルタは、例えば、第１の複屈折板および第２の複屈折板と、液晶層と、第１の電極および第２の電極とを有し、液晶層を、第１の電極および第２の電極によって挟み、その外側をさらに第１の複屈折板および第２の複屈折板で挟んだ構成となっている。可変光学ローパスフィルタでは、光の偏光状態をコントロールし、連続的にローパス特性を変化させ、カット周波数を変えることが可能となっている。可変光学ローパスフィルタでは、液晶層に印加する電界（第１の電極および第２の電極間への印加電圧）を変えることでローパス特性を制御できる。

（撮像装置の制御系の構成）
図２は、撮像装置の制御系の構成例を示している。
撮像装置は、メモリ７と、レンズ駆動制御部１１と、撮像部４１と、メイン制御部４２と、撮像制御部４３と、可変ローパスフィルタ制御部４４と、信号処理部４５と、画像処理部４６と、焦点制御部４７と、位相差焦点検出部４８と、操作部５０とを備えている。

撮像部４１は、上述の撮像素子４を含んでいる。画像処理部４６は、コントラスト焦点検出部４９を含んでいる。画像処理部４６は、外部モニタ６に接続されていてもよい。操作部５０は、メインスイッチ（メインＳＷ）５１と、シャッタボタン５２とを含んでいる。シャッタボタン５２は、レリーズボタンとも呼ばれる。

本実施の形態に係る撮像装置は、合焦モードとして、マニュアルフォーカスモードとオートフォーカス（ＡＦ）モードとを有している。オートフォーカスモードとしては、位相差ＡＦモードと、コントラストＡＦモードとを有している。また、位相差ＡＦとコントラストＡＦとを組み合わせたハイブリッドＡＦモードを有していてもよい。位相差ＡＦモードにおける焦点検出は、位相差焦点検出部４８で行われる。コントラストＡＦモードにおける焦点検出は、コントラスト焦点検出部４９で行われる。

また、本実施の形態に係る撮像装置は、合焦したらピント（焦点位置）を固定するシングルＡＦモードと、被写体の動きに応じて焦点位置を追随しつづけるコンティニュアスＡＦモードとを有している。

また、本実施の形態に係る撮像装置は、液晶表示部５または外部モニタ６に撮影画像を表示するライブビューモード（ＬＶモード）を有している。また、ライブビューモード時に撮影画像を拡大表示する拡大表示モードを有している。例えば、合焦のために撮影画像を拡大表示するピント拡大モード時や、外部モニタ６に撮影画像を表示するモニタ出力モード時に拡大表示モードとなる。

（撮像装置の動作の概要）
本実施の形態に係る撮像装置では、メイン制御部４２が各種制御部の動作タイミングをコントロールする。メインスイッチ５１がオンされ、撮影動作が開始されると、撮像制御部４３から撮像部４１に対してライブビューモードの指示が送られ、ライブビューモード用の画像信号が信号処理部４５に送られる。

信号処理部４５は、ライブビューモード用の画像信号と位相差検出用の信号とを分離する。信号処理部４５は、位相差検出用の信号を位相差焦点検出部４８に出力する。位相差焦点検出部４８では、位相差検出用の信号に基づいて位相差検出値を計算し、焦点制御部４７に送る。

一方、ライブビューモード用の画像信号は、画像処理部４６に出力される。画像処理部４６では、コントラスト焦点検出部４９において、画像信号に基づいてコントラスト方式による焦点検出演算が行われ、そのコントラスト検出値が焦点制御部４７に送られる。

その後、シャッタボタン５２の半押し動作などで、焦点検出動作が開始されると、焦点制御部４７では、位相差検出値とコントラスト検出値とを用いて、最終的な焦点調節制御量を算出し、その結果がレンズ駆動制御部１１に送られる。焦点制御部４７による焦点調節制御量の算出には、レンズ部１のレンズデータ１２が適宜参照される。レンズ駆動制御部１１では、焦点調節制御量に基づいてレンズ部１のフォーカスレンズを動作させる。これにより、焦点調節動作（オートフォーカス動作）が行われる。

その後、シャッタボタン５２の押し込み動作で撮影動作が開始されると、撮像制御部４３から、撮影画像モードの指示が送られ、撮影画像用の信号が信号処理部４５に送られ、撮影画像が生成される。生成された撮影画像のデータは、画像処理部４６で所定の画像フォーマットに変換され、メモリ７や図示しない外部メモリに記録される。

一方、可変ローパスフィルタ制御部４４は、可変ローパスフィルタ３のカット周波数を制御する。メイン制御部４２は可変ローパスフィルタ制御部４４を介して、各種設定状態や各種撮影状態に応じて、撮影画像または焦点検出に適したローパス効果を得ることができるよう可変ローパスフィルタ３のカット周波数の制御をすることが可能である。

なお、図２の構成例では、撮像部４１とは別のブロックで各種信号処理を行う例を示したが、各種信号処理の一部または全体を撮像部４１内において行ってもよい。例えば、信号処理部４５、画像処理部４６、および位相差焦点検出部４８の一部または全体が、撮像部４１内にモジュール化されて一体化されていてもよい。

［１．２ 位相差画素の構成および原理］
図３および図４は、撮像素子４に埋め込まれる位相差画素２０の構成例を示している。図３は、位相差画素２０を上面から見た構成例を示している。図４は、位相差画素２０の断面構成例を示している。

位相差画素２０は、一対の位相差画素２０Ａ，２０Ｂを有している。一対の位相差画素２０Ａ，２０Ｂはそれぞれ、フォトダイオード２４と、フォトダイオード２４への入射光を制限するフィルタ部とを有している。フィルタ部は、遮光膜２１と、透過部２２と、マイクロレンズ２３とを有している。

一対の位相差画素２０Ａ，２０Ｂではそれぞれ、遮光膜２１によって、フォトダイオード２４への入射光の概ね半分を遮光する形になっている。一対の位相差画素２０Ａ，２０Ｂではそれぞれ、異なる角度の入射光をフォトダイオード２４で検出する。これにより、マイクロレンズ２３における瞳領域が分割されて、一方の位相差画素２０Ａと他方の位相差画素２０Ｂとに対称的な角度で光が入射する。この結果、一方の位相差画素２０Ａの画素群の受光量分布と、他方の位相差画素２０Ｂの画素群の受光量分布とでは、互いに光量分布の位置がずれる。これらの受光量分布のずれ量は、光軸方向における焦点のずれ量に応じた値となる。このため、受光量分布のずれ量を位相差として検出することにより、光軸方向における焦点のずれ量が求められる。

図５は、撮像素子４における画素１０の全体構成例を示している。

撮像素子４の画素１０は、例えばベイヤーパターンと呼ばれるコーディングパターンを有している。画素１０は、例えば、２次元的に配列された、互いに画素位置が異なるＲ（赤），Ｇ（緑），Ｂ（青）の３つの色の画素からなる。なお、図５では、Ｂ色の画素をＢｒと記す。なお、図５では、画素構造としてベイヤーパターンの例を示したが、画素構造は、ベイヤーパターン以外でもよい。また、Ｒ，Ｇ，Ｂ以外の画素を備えた構成であってもよい。例えば、Ｗ（白色）画素をさらに備えた構成であってもよい。

ここで、撮像素子４の中に位相差画素２０を埋め込む場合、位相差画素２０が埋め込まれた位置の撮影画素値は、他の画素位置の画素値から補完処理などで推定して求める必要がある。このため、位相差画素２０は、撮像素子４の中に多く埋め込むほど焦点検出精度は向上するものの、その一方で、撮影画像の画像品質に影響を与えないようにするため、位相差画素２０の画素数は制限される。そのため実際は、撮影画素値を取得する際に位相差画素２０の周辺の画素１０による補完処理が適切に行われるように、位相差画素２０は、図５に示したように適当な間隔を空けて、撮像素子４の中に埋め込まれる。

（位相差画素２０の出力値と可変ローパスフィルタ３の効果の例１）
図６は、可変ローパスフィルタ３で高周波数成分を低減しなかった場合における位相差画素２０の理想出力値と再現出力値との第１の例を示している。図６では、白黒の単エッジの被写体に対して位相差画素２０で焦点検出した場合の出力値の例を示している。

図６の左側において、６０Ａは一方の位相差画素２０Ａの画素群による出力（理想値），６０Ｂは他方の位相差画素２０Ｂの画素群による出力（理想値）を示している。これらの理想出力は、位相差画素２０Ａ，２０Ｂが無限数埋まっていたと仮定した場合における、位相差画素２０Ａ，２０Ｂでの光学的な像（Ａ像，Ｂ像）の出力となっている。Ｐａ，Ｐｂは、位相差画素２０Ａ，２０Ｂにおいて実際の出力が得られるサンプリング点となっている。Ｐａは一方の位相差画素２０Ａによるサンプリング点、Ｐｂは他方の位相差画素２０Ｂによるサンプリング点を示している。

位相差画素２０Ａ，２０Ｂは実際には間隔をあけて配置されているので、Ｐａ，Ｐｂのサンプリング点でしか出力は得られない。図６の右側には、図６の左側におけるＰａ，Ｐｂのサンプリング点からの出力に基づいて位相差の出力を再現した例を示す。６１Ａは一方の位相差画素２０Ａによる出力（再現値）、６１Ｂは他方の位相差画素２０Ｂによる出力（再現値）を示している。図６の右側に示したように、サンプリング点Ｐａ，Ｐｂの出力だけで位相差を再現した場合、図６の左側に示した本来の位相差とは異なる値となる。このため、この位相差に基づいて焦点検出を行うと焦点検出誤差を生ずる。

このように、撮像素子４において位相差画素２０を間隔をあけて埋めると、焦点検出誤差を生ずる場合がある。この焦点検出誤差は、図７に示したように、位相差画素２０の配置に適した周波数成分を低減するように可変ローパスフィルタ３のカット周波数を設定することで低減でき、精度のよい位相差検出が可能である。

図７は、可変ローパスフィルタ３で高周波数成分を低減した場合における位相差画素２０の理想出力値と再現出力値との第１の例を示している。図７では、図６と同様、白黒の単エッジの被写体に対して位相差画素２０で焦点検出した場合の出力値の例を示している。

図７の左側には、図６の左側と同様に、一方の位相差画素２０Ａの画素群による出力（理想値）６０Ａと，他方の位相差画素２０Ｂの画素群による出力（理想値）６０Ｂとを示す。また、Ｐａ，Ｐｂは、位相差画素２０Ａ，２０Ｂにおいて実際の出力が得られるサンプリング点となっている。

図７の右側には、図７の左側におけるＰａ，Ｐｂのサンプリング点からの出力に基づいて位相差の出力を再現した例を示す。６１Ａは一方の位相差画素２０Ａによる出力（再現値）、６１Ｂは他方の位相差画素２０Ｂによる出力（再現値）を示す。

図７から分かるように、可変ローパスフィルタ３で高周波成分を低減することで、サンプリング点Ｐａ，Ｐｂの出力だけで位相差を再現した場合であっても、図７の左側に示した本来の位相差に近い値を得ることができる。このため、この位相差に基づいて焦点検出を行うことで、焦点検出誤差は小さくなる。

（位相差画素２０の出力値と可変ローパスフィルタ３の効果の例２）
図８は、可変ローパスフィルタ３で高周波数成分を低減しなかった場合における位相差画素２０の理想出力値と再現出力値との第２の例を示している。図９は、可変ローパスフィルタ３で高周波数成分を低減した場合における位相差画素２０の理想出力値と再現出力値との第２の例を示している。

図８および図９では、高周波成分が多い被写体に対して位相差画素２０で焦点検出した場合の出力値の例を示している。

図８の左側には、図６の左側と同様に、一方の位相差画素２０Ａの画素群による出力（理想値）６０Ａと，他方の位相差画素２０Ｂの画素群による出力（理想値）６０Ｂとを示す。また、Ｐａ，Ｐｂは、位相差画素２０Ａ，２０Ｂにおいて実際の出力が得られるサンプリング点となっている。

図８の右側には、図８の左側におけるＰａ，Ｐｂのサンプリング点からの出力に基づいて位相差の出力を再現した例を示す。６１Ａは一方の位相差画素２０Ａによる出力（再現値）、６１Ｂは他方の位相差画素２０Ｂによる出力（再現値）を示す。

高周波成分が多い被写体に対して、図８の右側に示したように、サンプリング点Ｐａ，Ｐｂの出力だけで位相差を再現した場合、位相差の誤差が大きいだけでなく、元の位相差が再現できず、位相差の検出が不可能になる場合も発生する。このため、この位相差に基づいて焦点検出を行うと大きい焦点検出誤差を生じたり、焦点検出が不可能になる場合が発生する。

図９の左側には、図６の左側と同様に、一方の位相差画素２０Ａの画素群による出力（理想値）６０Ａと，他方の位相差画素２０Ｂの画素群による出力（理想値）６０Ｂとを示す。また、Ｐａ，Ｐｂは、位相差画素２０Ａ，２０Ｂにおいて実際の出力が得られるサンプリング点となっている。

図９の右側には、図９の左側におけるＰａ，Ｐｂのサンプリング点からの出力に基づいて位相差の出力を再現した例を示す。６１Ａは一方の位相差画素２０Ａによる出力（再現値）、６１Ｂは他方の位相差画素２０Ｂによる出力（再現値）を示す。

図９から分かるように、可変ローパスフィルタ３で高周波成分を低減することで、サンプリング点Ｐａ，Ｐｂの出力だけで位相差を再現した場合であっても、図９の左側に示した本来の位相差に近い値を得ることができる。高周波成分が多い被写体であっても、可変ローパスフィルタ３で高周波成分を低減することで、波形の再現性が比較的良くなり、位相差も検出しやすい。このため、この位相差に基づいて焦点検出を行うことで、焦点検出誤差は小さくなる。

［１．３ 可変ローパスフィルタの制御動作の具体例］
本実施の形態に係る撮像装置では、メイン制御部４２の指示に従い、可変ローパスフィルタ制御部４４が、各種設定状態や各種撮影状態に応じて可変ローパスフィルタ３のローパス特性の制御を行う。例えば、ローパス特性の制御として、以下のような可変ローパスフィルタ３のカット周波数の制御を行う。なお、以下では、適宜、図１０ないし図１５を参照して説明する。

可変ローパスフィルタ制御部４４は、位相差焦点検出部４８による位相差検出動作時と撮影動作時とで、カット周波数が異なる周波数に切り替わるように可変ローパスフィルタ３を制御する。この場合、撮影動作時よりも位相差検出動作時の方がカット周波数が低くなるように、可変ローパスフィルタ３を制御することが好ましい。ここでいう撮影動作とは、通常画素である画素１０に基づく画像を生成する動作であり、画素１０の露光期間を含んでいる。また、位相差検出動作は、位相差画素２０に基づく位相差方式による焦点検出動作であり、位相差画素２０の露光期間を含んでいる。

また、可変ローパスフィルタ制御部４４は、位相差検出動作時において、被写体の条件に応じて、カット周波数を変化させてもよい。

例えば、図１４に示したように、可変ローパスフィルタ制御部４４は、位相差検出動作時において、被写体の輝度が所定の輝度よりも低輝度である場合（ステップＳ１０５；Ｙ）には、被写体が所定の輝度よりも高輝度である場合（ステップＳ１０５；Ｎ）に比べて、カット周波数が高くなるように、可変ローパスフィルタ３を制御する。また、例えば、可変ローパスフィルタ制御部４４は、位相差検出動作時において、被写体のコントラストが所定のコントラストよりも低コントラストである場合（ステップＳ１０５；Ｙ）には、所定のコントラストよりも高コントラストである場合（ステップＳ１０５；Ｎ）に比べて、カット周波数が高くなるように、可変ローパスフィルタ３を制御する。

また、例えば、可変ローパスフィルタ制御部４４は、位相差検出動作時において、被写体に所定の高周波成分が所定の値よりも多く含まれる場合には、所定の高周波成分が所定の値よりも少ない場合に比べて、カット周波数が低くなるように、可変ローパスフィルタ３を制御する。また、例えば、可変ローパスフィルタ制御部４４は、位相差検出動作時において、被写体に所定の強いエッジ成分が所定の値よりも多く含まれる場合には、所定の強いエッジ成分が所定の値よりも少ない場合に比べて、カット周波数が低くなるように、可変ローパスフィルタ３を制御する。

また、可変ローパスフィルタ制御部４４は、位相差検出動作時において、焦点のずれ量に応じて、カット周波数を変化させてもよい。

例えば、図１５に示したように、可変ローパスフィルタ制御部４４は、位相差検出動作時において、焦点のずれ量が所定の範囲内（合焦付近）である場合（ステップＳ１０６；Ｙ）には、焦点のずれ量が所定の範囲外である場合（ステップＳ１０６；Ｎ）に比べて、カット周波数が低くなるように、可変ローパスフィルタ３を制御する。

また、例えば、図１２に示したように、可変ローパスフィルタ制御部４４は、マニュアルフォーカスモードによる動作時（ステップＳ１０３；Ｙ）には、オートフォーカスモードによる動作時（ステップＳ１０３；Ｎ）に比べて、カット周波数が高くなるように、可変ローパスフィルタ３を制御する。

また、例えば、図１２に示したように、可変ローパスフィルタ制御部４４は、拡大表示モードの拡大表示の倍率に応じて、カット周波数を変化させてもよい。例えば、可変ローパスフィルタ制御部４４は、ピント拡大モード時やモニタ出力モード時等（ステップＳ１０３；Ｙ）、拡大表示の倍率が高くなるほど、カット周波数が高くなるように、可変ローパスフィルタ３を制御する。

また、可変ローパスフィルタ制御部４４は、焦点検出動作時において、コントラスト焦点検出部４９によるコントラスト検出動作を行う場合には、コントラスト検出動作を行わない場合に比べて、カット周波数が高くなるように、可変ローパスフィルタ３を制御してもよい。

また、例えば、図１３に示したように、可変ローパスフィルタ制御部４４は、シングルＡＦモード時（ステップＳ１０４；Ｙ）よりもコンティニュアスＡＦモード時（ステップＳ１０４；Ｎ）の方が、カット周波数が低くなるように、可変ローパスフィルタ３を制御してもよい。

また、可変ローパスフィルタ制御部４４は、例えば、図１０に示したように、動画撮影中の場合には、静止画撮影中の場合に比べて、カット周波数が低くなるように、可変ローパスフィルタ３を制御してもよい。

また、可変ローパスフィルタ制御部４４は、例えば、図１１に示したように、シャッタボタン５２がオンされることによる、静止画撮影中である場合には、ＡＦモードやＬＶモードである場合に比べて、カット周波数が高くなるように、可変ローパスフィルタ３を制御してもよい。

図１６は、可変ローパスフィルタ３のカット周波数を複合的に制御する動作（カット周波数の設定動作）の一例を示している。上記図１０ないし図１５に示した可変ローパスフィルタ３の制御を、図１６に示したように複合的に行ってもよい。なお、図１６に示す複合的な制御の流れは一例であり、各ステップは図１６に示した例とは異なる順序で実行されてもよい。また、図１６に示した各ステップの組み合わせとは異なる組み合わせで複合的な制御を行ってもよい。

まず、メイン制御部４２は、動画撮影中であるか否かを判断する（ステップＳ１０１）。動画撮影中であると判断した場合（ステップＳ１０１；Ｙ）には、メイン制御部４２は、可変ローパスフィルタ制御部４４によって、可変ローパスフィルタ３のカット周波数を、動画撮影画像に適したカット周波数（周波数１）に設定する（ステップＳ１１０）。動画撮影は、加算処理や画素間引き処理が行われることが多いため、カット周波数は、静止画撮影画像よりも低い周波数を設定することが望ましい。動画撮影中のオートフォーカス（位相差検出）にとって最適化するためには、より低い周波数に設定するのが望ましいが、記録される画像の品質を優先して、動画撮影画像に適したカット周波数に設定する。

動画撮影中ではないと判断した場合（ステップＳ１０１；Ｎ）には、メイン制御部４２は、次に、シャッタボタン５２が押し込まれて、シャッタボタン５２がオンされることによる、静止画撮影中であるか否かを判断する（ステップＳ１０２）。静止画撮影中であると判断した場合（ステップＳ１０２；Ｙ）には、メイン制御部４２は、可変ローパスフィルタ制御部４４によって、可変ローパスフィルタ３のカット周波数を、静止画撮影画像に適したカット周波数（周波数２）に設定する（ステップＳ１０９）。

静止画撮影中ではないと判断した場合（ステップＳ１０２；Ｎ）には、メイン制御部４２は、次に、マニュアルフォーカスモード、ピント拡大モード、またはモニタ出力モードであるか否かを判断する（ステップＳ１０３）。いずれかのモードであると判断した場合（ステップＳ１０３；Ｙ）には、メイン制御部４２は、可変ローパスフィルタ制御部４４によって、可変ローパスフィルタ３のカット周波数を、ライブビューモードに適したカット周波数（周波数３）に設定する（ステップＳ１０８）。マニュアルフォーカスモード、ピント拡大モード、またはモニタ出力モードでは、撮影画像を大きく拡大して液晶表示部５や外部モニタ６に表示する。このため、画像の視認性を良くするため、高周波成分を残すように、カット周波数を高めに設定することが望ましい。なお、以下のフローでも同様であるが、図１６では、マニュアルフォーカスモード、ピント拡大モード、およびモニタ出力モードの全てにおいてライブビューモード用のカット周波数（周波数３）に設定しているが、各モードごとに個別に最適なカット周波数を設定してもよい。

マニュアルフォーカスモード、ピント拡大モード、またはモニタ出力モードのいずれのモードでもないと判断した場合（ステップＳ１０３；Ｎ）には、メイン制御部４２は、次に、シングルＡＦモードであるか否かを判断する（ステップＳ１０４）。

位相差方式による焦点検出を行うカメラでも、位相差方式による焦点検出とコントラスト方式による焦点検出とを併用したハイブリッドＡＦモードで撮影を行う場合がある。一般的に、コントラストＡＦは、精度は良い反面、レンズ位置を動かしながら、高周波成分が最も高くなる焦点位置を検出していくため、検出に時間がかかることや、ピントぼけ量が大きい場合には検出が遅くなる場合がある。この課題を解決するため、位相差検出による焦点検出を併用して、高速かつ高精度のオートフォーカスを達成している。ただし、コントラストＡＦは高周波成分を検出するため、あまり高周波成分を低減し過ぎないことが望ましく、シングルＡＦ撮影モードでは、ライブビューモードと同じカット周波数（周波数３）に設定しておく（ステップＳ１０８）。ただし、シングルＡＦモードでも、位相差方式による焦点検出を行うときとコントラスト方式による焦点検出を行うときとで、カット周波数を逐次切り替えることも可能である。

一方、シングルＡＦモードではない場合（ステップＳ１０４；Ｎ）には、被写体の動きに応じて焦点位置を追随しつづけるコンティニュアスＡＦモードとなる。この場合は、検出速度を優先し、位相差検出によるオートフォーカスが主体とするため、メイン制御部４２は、可変ローパスフィルタ制御部４４によって、基本的には可変ローパスフィルタ制御部４４が位相差ＡＦ用に最適なカット周波数（周波数４）となるように設定する（ステップＳ１０７）。

ただし、この場合でも、被写体条件として、高周波成分が少なく、周波数をカットしない方が精度に有利と思われる低輝度や低コントラストの被写体に対して焦点検出する場合（ステップＳ１０５；Ｙ）にも、高めのカット周波数（周波数３）に設定することが望ましい。または、検出誤差の大きくなる高周波成分や強エッジ成分を含む被写体以外は、高めのカット周波数（周波数３）に設定することでも同等の効果が得られる。

また、焦点のずれ量が所定の範囲外で、被写体のピントがぼけている場合（ステップＳ１０６；Ｎ）には、被写体は低周波成分が多くなり、かつ上記した位相差画素２０の間隔があいていることによる焦点検出誤差は発生しにくい。このため、焦点のずれ量が所定の範囲外にある場合には、高めのカット周波数（周波数３）に設定し、むしろ高周波成分を残しておく方ことが望ましい。また、おおよそ合焦付近にあるとき（ステップＳ１０６；Ｙ）には、位相差ＡＦ用のカット周波数（周波数４）に設定する方が良い。

以上の被写体条件によるカット周波数の切り替えは、焦点検出以外の情報、例えば輝度情報や被写体の画像情報により判別することもできるし、過去の焦点検出情報から推定することも可能である。

図１７は、図１６の例に示した周波数１〜４の相対的な関係の一例を示している。
図１７に示したように、カット周波数の低い順から、（周波数４）＜（周波数３）＜（周波数１）＜（周波数２）に設定することが好ましい。

（シーケンス例）
図１６のフローで、位相差ＡＦ用のカット周波数（周波数４）に設定する場合のシーケンス例を、図１８に示す。

まず、メインスイッチ５１がオンされると、液晶表示部５に画像を表示（ライブビュー表示）するために、露光と読み出しを開始する。その後、シャッタボタン５２の半押し動作により、焦点検出動作が始まると露光と読み出しの後に、位相差画素２０の出力による位相差焦点検出を行い、位相差ＡＦ動作を開始する。この時、可変ローパスフィルタ３を位相差検出用に最適な設定にする。ユーザは、被写体の構図が決まるとシャッタボタン５２を押しこみ、撮影動作に入るが、このときに撮像装置では絞り制御を行い、撮影用の画像の露光を行う。この露光が始まるまでに、メイン制御部４２は、可変ローパスフィルタ制御部４４によって可変ローパスフィルタ３を撮影画像に適したカット周波数に設定するよう制御する。その後、画像データの読み出しとメモリ７への書き込みが行われるが、露光が終われば次回の焦点検出動作に合わせて、位相差焦点検出用のカット周波数に戻しておく。なお、連写モードなどに設定されていて、引き続き露光と読み出しを行う場合は、メイン制御部４２は、可変ローパスフィルタ制御部４４によって可変ローパスフィルタ３を撮影画像用のカット周波数に設定しておく。

［１．４ 効果］
以上のように、本実施の形態によれば、通常画素である画素１０の露光期間と位相差画素２０の露光期間とで、可変ローパスフィルタ３のローパス特性を変化させるようにしたので、高精度の焦点検出を行うことができる。

本実施の形態によれば、位相差焦点検出を行う時には、焦点検出誤差が少なくなるように、可変ローパスフィルタ３のカット周波数を位相差焦点検出に適した周波数に設定することによって、高精度の焦点検出が可能になる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。

＜２．その他の実施の形態＞
本開示による技術は、上記各実施の形態の説明に限定されず種々の変形実施が可能である。

例えば、可変ローパスフィルタ３は、光学式の可変ローパスフィルタに限らず、他の構成であってもよい。例えば、圧電素子を用いて撮像素子４を微小振動させることでローパスフィルタ効果を得るようなものであってもよい。または、レンズ部１の少なくとも一部のレンズを移動させることによってローパスフィルタ効果を得るようなものであってもよい。

また、図１に示した撮像装置が適用されるカメラとしてのバリエーションは様々な形態を考えることができる。レンズ部１は、固定式でも交換式でもよい。レンズ部１が交換式の場合、可変ローパスフィルタ３はカメラ本体内ではなく、レンズ部１に設けられていてもよい。

また、本開示による技術は、車載カメラや監視カメラ等にも適用可能である。その他、内視鏡等の医療用のカメラにも適用可能である。

また、図１に示した撮像装置では、メモリ７や外部メモリに撮影結果を保存したり、液晶表示部５に撮影結果を表示するようにしたが、これら保存や表示の代わりに、画像データをネットワークで他の装置に伝送しても構わない。また、信号処理部４５および画像処理部４６や、可変ローパスフィルタ制御部４４等が、撮像装置本体とは別であっても構わない。例えば、それらの処理部が、撮像装置に接続されたネットワークの先にあっても構わない。また、撮像装置本体では画像処理等を行わずに、外部メモリに画像データを保存してＰＣ（パーソナルコンピュータ）等の別の装置で画像処理を行っても構わない。

なお、信号処理部４５および画像処理部４６や、可変ローパスフィルタ制御部４４等での処理は、コンピュータによるプログラムとして実行することが可能である。本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。

また、本技術による一連の画像処理や制御処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体にあらかじめ記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Local Area Network）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

また、例えば、本技術は以下のような構成を取ることができる。
（１）
位相差画素と通常画素とを含む撮像素子に対する入射光の光路上に配置された可変ローパスフィルタのローパス特性を、前記通常画素の露光期間と前記位相差画素の露光期間とで変化させるローパスフィルタ制御部
を備えたローパスフィルタ制御装置。
（２）
前記ローパスフィルタ制御部は、
前記通常画素の露光期間よりも前記位相差画素の露光期間の方が前記可変ローパスフィルタのカット周波数が低くなるように、前記可変ローパスフィルタを制御する
上記（１）に記載のローパスフィルタ制御装置。
（３）
前記ローパスフィルタ制御部は、
前記位相差画素の露光期間において、被写体の条件に応じて、前記ローパス特性を変化させる
上記（１）または（２）に記載のローパスフィルタ制御装置。
（４）
前記ローパスフィルタ制御部は、
前記位相差画素の露光期間において、前記被写体の輝度が所定の輝度よりも低輝度である場合、または前記被写体のコントラストが所定のコントラストよりも低コントラストである場合には、前記被写体が所定の輝度よりも高輝度である場合、または所定のコントラストよりも高コントラストである場合に比べて、前記可変ローパスフィルタのカット周波数が高くなるように、前記可変ローパスフィルタを制御する
上記（３）に記載のローパスフィルタ制御装置。
（５）
前記ローパスフィルタ制御部は、
前記位相差画素の露光期間において、前記被写体に所定の高周波成分が所定の値よりも多く含まれる場合、または所定の強いエッジ成分が所定の値よりも多く含まれる場合には、前記所定の高周波成分が所定の値よりも少ない場合、または前記所定の強いエッジ成分が所定の値よりも少ない場合に比べて、前記可変ローパスフィルタのカット周波数が低くなるように、前記可変ローパスフィルタを制御する
上記（３）に記載のローパスフィルタ制御装置。
（６）
前記ローパスフィルタ制御部は、
前記位相差画素による位相差検出動作時において、焦点のずれ量に応じて、前記可変ローパスフィルタのカット周波数を変化させる
上記（１）ないし（５）のいずれか１つに記載のローパスフィルタ制御装置。
（７）
前記ローパスフィルタ制御部は、
前記位相差画素による位相差検出動作時において、前記焦点のずれ量が所定の範囲内である場合には、前記焦点のずれ量が所定の範囲外である場合に比べて、前記カット周波数が低くなるように、前記可変ローパスフィルタを制御する
上記（６）に記載のローパスフィルタ制御装置。
（８）
前記ローパスフィルタ制御部は、
マニュアルフォーカスモードによる動作時には、オートフォーカスモードによる動作時に比べて、前記可変ローパスフィルタのカット周波数が高くなるように、前記可変ローパスフィルタを制御する
上記（１）ないし（７）のいずれか１つに記載のローパスフィルタ制御装置。
（９）
前記ローパスフィルタ制御部は、
前記通常画素による撮影画像を拡大表示する拡大表示モードにおける拡大表示の倍率に応じて、前記可変ローパスフィルタのカット周波数を変化させる
上記（１）ないし（８）のいずれか１つに記載のローパスフィルタ制御装置。
（１０）
前記ローパスフィルタ制御部は、
前記拡大表示の倍率が高くなるほど、前記カット周波数が高くなるように、前記可変ローパスフィルタを制御する
上記（９）に記載のローパスフィルタ制御装置。
（１１）
前記ローパスフィルタ制御部は、
焦点検出動作時において、コントラスト方式の検出動作を行う場合には、前記コントラスト方式の検出動作を行わない場合に比べて、前記可変ローパスフィルタのカット周波数が高くなるように、前記可変ローパスフィルタを制御する
上記（１）ないし（１０）のいずれか１つに記載のローパスフィルタ制御装置。
（１２）
前記ローパスフィルタ制御部は、
合焦したら焦点位置を固定するシングルオートフォーカスモード時よりも、被写体の動きに応じて焦点位置を追随しつづけるコンティニュアスオートフォーカスモード時の方が、前記可変ローパスフィルタのカット周波数が低くなるように、前記可変ローパスフィルタを制御する
上記（１）ないし（１１）のいずれか１つに記載のローパスフィルタ制御装置。
（１３）
位相差画素と通常画素とを含む撮像素子に対する入射光の光路上に配置された可変ローパスフィルタのローパス特性を、前記通常画素の露光期間と前記位相差画素の露光期間とで変化させる
ローパスフィルタ制御方法。
（１４）
位相差画素と通常画素とを含む撮像素子と、
前記撮像素子に対する入射光の光路上に配置された可変ローパスフィルタと、
前記可変ローパスフィルタのローパス特性を、前記通常画素の露光期間と前記位相差画素の露光期間とで変化させるローパスフィルタ制御部と
を備えた撮像装置。

本出願は、日本国特許庁において２０１６年３月１１日に出願された日本特許出願番号第２０１６−０４８４０１号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。

当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (14)

1. 位相差画素と通常画素とを含む撮像素子に対する入射光の光路上に配置された可変ローパスフィルタのローパス特性を、前記通常画素の露光期間と前記位相差画素の露光期間とで変化させるローパスフィルタ制御部
   を備えたローパスフィルタ制御装置。
2. 前記ローパスフィルタ制御部は、
   前記通常画素の露光期間よりも前記位相差画素の露光期間の方が前記可変ローパスフィルタのカット周波数が低くなるように、前記可変ローパスフィルタを制御する
   請求項１に記載のローパスフィルタ制御装置。
3. 前記ローパスフィルタ制御部は、
   前記位相差画素の露光期間において、被写体の条件に応じて、前記ローパス特性を変化させる
   請求項１に記載のローパスフィルタ制御装置。
4. 前記ローパスフィルタ制御部は、
   前記位相差画素の露光期間において、前記被写体の輝度が所定の輝度よりも低輝度である場合、または前記被写体のコントラストが所定のコントラストよりも低コントラストである場合には、前記被写体が所定の輝度よりも高輝度である場合、または所定のコントラストよりも高コントラストである場合に比べて、前記可変ローパスフィルタのカット周波数が高くなるように、前記可変ローパスフィルタを制御する
   請求項３に記載のローパスフィルタ制御装置。
5. 前記ローパスフィルタ制御部は、
   前記位相差画素の露光期間において、前記被写体に所定の高周波成分が所定の値よりも多く含まれる場合、または所定の強いエッジ成分が所定の値よりも多く含まれる場合には、前記所定の高周波成分が所定の値よりも少ない場合、または前記所定の強いエッジ成分が所定の値よりも少ない場合に比べて、前記可変ローパスフィルタのカット周波数が低くなるように、前記可変ローパスフィルタを制御する
   請求項３に記載のローパスフィルタ制御装置。
6. 前記ローパスフィルタ制御部は、
   前記位相差画素による位相差検出動作時において、焦点のずれ量に応じて、前記可変ローパスフィルタのカット周波数を変化させる
   請求項１に記載のローパスフィルタ制御装置。
7. 前記ローパスフィルタ制御部は、
   前記位相差画素による位相差検出動作時において、前記焦点のずれ量が所定の範囲内である場合には、前記焦点のずれ量が所定の範囲外である場合に比べて、前記カット周波数が低くなるように、前記可変ローパスフィルタを制御する
   請求項６に記載のローパスフィルタ制御装置。
8. 前記ローパスフィルタ制御部は、
   マニュアルフォーカスモードによる動作時には、オートフォーカスモードによる動作時に比べて、前記可変ローパスフィルタのカット周波数が高くなるように、前記可変ローパスフィルタを制御する
   請求項１に記載のローパスフィルタ制御装置。
9. 前記ローパスフィルタ制御部は、
   前記通常画素による撮影画像を拡大表示する拡大表示モードにおける拡大表示の倍率に応じて、前記可変ローパスフィルタのカット周波数を変化させる
   請求項１に記載のローパスフィルタ制御装置。
10. 前記ローパスフィルタ制御部は、
    前記拡大表示の倍率が高くなるほど、前記カット周波数が高くなるように、前記可変ローパスフィルタを制御する
    請求項９に記載のローパスフィルタ制御装置。
11. 前記ローパスフィルタ制御部は、
    焦点検出動作時において、コントラスト方式の検出動作を行う場合には、前記コントラスト方式の検出動作を行わない場合に比べて、前記可変ローパスフィルタのカット周波数が高くなるように、前記可変ローパスフィルタを制御する
    請求項１に記載のローパスフィルタ制御装置。
12. 前記ローパスフィルタ制御部は、
    合焦したら焦点位置を固定するシングルオートフォーカスモード時よりも、被写体の動きに応じて焦点位置を追随しつづけるコンティニュアスオートフォーカスモード時の方が、前記可変ローパスフィルタのカット周波数が低くなるように、前記可変ローパスフィルタを制御する
    請求項１に記載のローパスフィルタ制御装置。
13. 位相差画素と通常画素とを含む撮像素子に対する入射光の光路上に配置された可変ローパスフィルタのローパス特性を、前記通常画素の露光期間と前記位相差画素の露光期間とで変化させる
    ローパスフィルタ制御方法。
14. 位相差画素と通常画素とを含む撮像素子と、
    前記撮像素子に対する入射光の光路上に配置された可変ローパスフィルタと、
    前記可変ローパスフィルタのローパス特性を、前記通常画素の露光期間と前記位相差画素の露光期間とで変化させるローパスフィルタ制御部と
    を備えた撮像装置。

Images