JPWO2016002447A1 - フィルタ制御装置およびフィルタ制御方法、ならびに撮像装置 - Google Patents

Abstract

本開示のフィルタ制御装置は、撮影された画像に対する、画像処理により変更される画像の倍率に応じて、撮像装置に搭載される光学ローパスフィルタのローパス特性を変化させる制御を行うフィルタ制御部を備える。

Description

本開示は、静止画または動画を撮影する撮像装置（カメラ）に好適なフィルタ制御装置およびフィルタ制御方法、ならびに撮像装置に関する。

デジタルカメラには通常、撮像時のサンプリングに起因するエイリアシングで発生する偽信号を防ぐため、光学ローパスフィルタ（ＯＬＰＦ）が搭載されている（特許文献１，２参照）。

特開２０１３−１５６３７９号公報 特開２０１３−１９０６０３号公報

通常の光学ローパスフィルタでは、設計時に決めた１種類のローパス特性を持たせることしかできないため、偽信号が少なくなるようにローパス特性を強く設定すると画像のシャープネス（鮮鋭性）も低下してしまい、逆にシャープネスの低下を抑えると偽信号が多くなってしまう。すなわち、１種類のローパス特性では、これらトレードオフとなる画質要因を両立させることが困難であった。

一方、画像の倍率を画像処理により変更し拡大や縮小を行う技術が知られている。画像を拡大する場合、画素値を補間する処理を行うが、このとき、拡大と補間にともなうシャープネスの低下により画質の低下が生じていた。また、撮影時にモアレのように周期的な偽信号が生じた場合は、それが拡大によって低周波の領域に移動し、より目立つようになり画質が低下していた。

シャープネスの低下は、画像処理によりある程度の補正が可能であるが、この処理ではノイズ等も同時に強調してしまうため別の要因による画質低下が生じていた。光学ローパスフィルタを搭載しなければ、拡大時に生じるシャープネス低下も含めたシャープネス全般の向上が、ノイズを増やすことなく可能なため、従来、光学ローパスフィルタを非搭載としシャープネスを高めたカメラが存在した。しかし、このようなカメラでは、トレードオフとなる偽信号の発生が防げなくなるため望ましい解決策ではなかった。また、光学ローパスフィルタの光路への挿入／非挿入をメカ的に切り替える技術も知られていたが、この方法では、ローパス効果あり／なしの２状態のみが可能で、拡大倍率によってシャープネスの低下度合いが異なることには十分な対応が困難であった。加えて、動画撮影では、連続的に記録が行われるため、撮影中に画像を拡大する操作（電子ズーム）が行われた場合、光学ローパスフィルタの切り替えができず対応が困難であった。

従って、高画質の画像を得ることができるようにしたフィルタ制御装置およびフィルタ制御方法、ならびに撮像装置を提供することが望ましい。

本開示の一実施の形態に係るフィルタ制御装置は、撮影された画像に対する、画像処理により変更される画像の倍率に応じて、撮像装置に搭載される光学ローパスフィルタのローパス特性を変化させる制御を行うフィルタ制御部を備えたものである。

本開示の一実施の形態に係るフィルタ制御方法は、撮影された画像に対する、画像処理により変更される画像の倍率に応じて、撮像装置に搭載される光学ローパスフィルタのローパス特性を変化させる制御を行うものである。

本開示の一実施の形態に係る撮像装置は、光学ローパスフィルタと、撮影された画像に対する、画像処理により変更される画像の倍率に応じて、光学ローパスフィルタのローパス特性を変化させる制御を行うフィルタ制御部とを備えたものである。

本開示の一実施の形態に係るフィルタ制御装置、フィルタ制御方法または撮像装置では、撮影された画像に対して画像処理によって倍率の変更がなされた場合に、倍率に応じて光学ローパスフィルタのローパス特性を変化させる。

本開示の一実施の形態に係るフィルタ制御装置、フィルタ制御方法または撮像装置によれば、撮影された画像に対して画像処理によって倍率の変更がなされた場合に、倍率に応じて光学ローパスフィルタのローパス特性を変化させるようにしたので、高画質の画像を得ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示の一実施の形態に係るフィルタ制御装置を含むカメラ（撮像装置）の一構成例を示すブロック図である。 Ｒａｗデータを処理する外部装置の一構成例を示すブロック図である。 可変光学ローパスフィルタの一構成例を示す断面図である。 図３に示した可変光学ローパスフィルタにおけるローパス効果が０％の状態の一例を示す説明図である。 図３に示した可変光学ローパスフィルタにおけるローパス効果が１００％の状態の一例を示す説明図である。 図３に示した可変光学ローパスフィルタにおけるローパス効果が５０％の状態の一例を示す説明図である。 図３に示した可変光学ローパスフィルタの印加電圧によるＭＴＦ特性の変化の一例を示す特性図である。 図３に示した可変光学ローパスフィルタに撮像レンズを組み合わせた場合における、印加電圧によるＭＴＦ特性の変化の一例を示す特性図である。 通常の光学ローパスフィルタのＭＴＦ特性の一例を示す特性図である。 画像拡大時におけるＭＴＦ特性の変化の一例を示す説明図である。 画像拡大時の画素補間アルゴリズムの違いによるＭＴＦ特性の変化の一例を示す説明図である。 画像拡大時におけるＭＴＦ特性の低下をローパス特性を変更することによって補正した例を示す説明図である。 画像拡大時におけるＭＴＦ特性の低下をローパス特性の変更とシャープネスの補正とを併用して補正した例を示す説明図である。 図１３の補正に比べてローパス効果とシャープネスの補正とを強めた場合の例を示す説明図である。 画像縮小時に発生するエイリアシングの一例を示す説明図である。 図１５に示したエイリアシングを可変光学ローパスフィルタのローパス効果によって抑制した例を示す説明図である。 カメラ全体の制御の流れの一例を示す流れ図である。 ライブビュー処理（１）時の制御の流れの一例を示す流れ図である。 静止画撮影処理時の制御の流れの一例を示す流れ図である。 動画撮影処理時の制御の流れの一例を示す流れ図である。 ローパス効果調整モードがノーマルのときに使用する、可変光学ローパスフィルタへの印加電圧の一例を示す説明図である。 ローパス効果調整モードがオートのときに使用する、高周波成分検出用のハイパスフィルタの一例を示す説明図である。 可変光学ローパスフィルタへの印加電圧に応じた、シャープネス補正量（空間フィルタ係数）の一例を示す説明図である。 可変光学ローパスフィルタの他の構成例を示す断面図である。

以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
＜１．構成＞
［１．１ カメラ（撮像装置）の構成例］（図１）
［１．２ Ｒａｗデータを処理する外部装置の構成例］（図２）
［１．３ 可変光学ローパスフィルタの構成および原理］（図３〜図６）
［１．４ 画像処理時の画質低下とその解決手段］（図７〜図１６）
＜２．動作＞
［２．１ カメラ全体の制御動作］（図１７）
［２．２ ライブビュー処理］（図１８）
［２．３ 静止画撮影処理］（図１９、図２１〜図２３）
［２．４ 動画撮影処理］（図２０）
＜３．効果＞
＜４．その他の実施の形態＞

＜１．構成＞
［１．１ カメラ（撮像装置）の構成例］
図１は、本開示の一実施の形態に係るフィルタ制御装置を含むカメラ（撮像装置）１００の一構成例を示している。このカメラ１００は、撮像光学系１と、レンズ制御部４と、可変光学ローパスフィルタ制御部（ＯＬＰＦ制御部）５と、撮像素子６と、画像処理部７とを備えている。このカメラ１００はまた、拡大・間引き処理部８と、シャープネス補正処理部９と、圧縮・記録処理部１０と、表示パネル１１と、記録メディア１２と、制御マイコン（マイクロコンピュータ）１３と、操作部２０とを備えている。

撮像光学系１は、撮像レンズ１Ａと、可変光学ローパスフィルタ（可変ＯＬＰＦ）３０とを有している。撮像レンズ１Ａは、光学的な被写体像を撮像素子６上に形成するものである。撮像レンズ１Ａは、複数のレンズを有し、少なくとも１つのレンズを移動させることにより、光学的なフォーカス調節やズーム調節が可能となっている。可変光学ローパスフィルタ３０は、あらかじめ撮像光学系１に組み込まれて搭載されてもよいし、交換可能なフィルタとしてユーザにより搭載されてもよい。レンズ制御部４は、光学的なズーム倍率、およびフォーカスの調節等のために撮像レンズ１Ａの少なくとも１つのレンズを駆動するものである。撮像素子６は、撮像レンズ１Ａおよび可変光学ローパスフィルタ３０を介して受光面に結像された被写体像を光電変換により電気信号に変換して画像データを生成するものである。撮像素子６は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサにより構成されている。

画像処理部７は、撮像素子６から読み出された画像データに対して、ホワイトバランス、デモザイク、階調変換、色変換、およびノイズリダクションなどの画像処理を行うものである。

表示パネル１１は、例えば液晶パネルにより構成され、ライブビュー画像を表示する表示部としての機能を有している。その他、表示パネル１１には、装置の設定メニューやユーザの操作状態を表示してもよい。また、撮影条件等の各種の撮影データを表示してもよい。

圧縮・記録処理部１０は、画像データを表示パネル１１に表示するのに適した表示データに変換したり、画像データを記録メディア１２への記録に適したデータに変換する等の処理を行うものである。記録メディア１２は、撮影された画像データが記録されるものである。圧縮・記録処理部１０は、通常、記録メディア１２に記録する画像データとしてＪＰＥＧ等の圧縮された画像データを記録する。その他、いわゆるＲａｗデータを記録メディア１２に記録してもよい。

操作部２０は、メインスイッチ（メインＳＷ）と、シャッタボタン２１と、可変ＯＬＰＦ効果設定ボタン２２と、ピント調整操作部２３とを有している。操作部２０はまた、シャッタボタン２１の押下量に応じてオン（Ｏｎ）されるスイッチＳＷ１およびスイッチＳＷ２を有している。

ピント調整操作部２３は手動（マニュアル）によるピント調整を可能にするものであり、例えば、撮像レンズ１Ａのレンズ鏡胴に設けられたピント調整リングであってもよい。可変ＯＬＰＦ効果設定ボタン２２は、可変光学ローパスフィルタ３０のローパス特性を手動により設定するためのものである。

可変光学ローパスフィルタ３０は、第１の可変光学ローパスフィルタ２と、第２の可変光学ローパスフィルタ３とを有している。後述するように、可変光学ローパスフィルタ３０が、特定の一次元方向のローパス特性を制御するタイプのものである場合、２組の可変光学ローパスフィルタ３０（第１の可変光学ローパスフィルタ２および第２の可変光学ローパスフィルタ３）を用いることにより、水平方向と垂直方向との双方に対するローパス特性を制御することができる。

拡大・間引き処理部８は、画像処理によって、撮影された画像の倍率を変更（拡大もしくは縮小）する電子ズーム処理を行うものである。拡大・間引き処理部８は、画像の縮小を行う場合、画素の間引き処理を行う。拡大・間引き処理部８は、画像の拡大を行う場合、画素の補間処理を行う。

シャープネス補正処理部９は、画像処理によって画像のシャープネスを補正するものである。シャープネス補正処理部９は、後述するように、撮影された画像に対して画像処理によって倍率の変更がなされた場合に、倍率に応じてシャープネス補正特性を変化させる処理を行う。シャープネス補正処理部９はまた、例えばハイパスフィルタによってエイリアシングによる偽信号の発生の検出、または予測を行うエイリアシング検出・予測部１４としての機能を有していてもよい。

制御マイコン１３は、各回路ブロックの統括制御を行うものである。ＯＬＰＦ制御部５は、操作部２０または制御マイコン１３からの指示に従って、可変光学ローパスフィルタ３０のローパス特性を制御するものである。制御マイコン１３およびＯＬＰＦ制御部５は、後述するように、撮影された画像に対して画像処理によって倍率の変更がなされた場合に、倍率に応じて可変光学ローパスフィルタ３０のローパス特性を変化させる制御を行う。

制御マイコン１３およびＯＬＰＦ制御部５は例えば、画像処理によって画像が拡大され、かつエイリアシングの発生が検出されない、または予測されない場合に、後述の図１２および図１３に示すように、可変光学ローパスフィルタ３０のローパス特性を倍率が１倍のときよりも弱くする制御を行ってもよい。制御マイコン１３およびＯＬＰＦ制御部５はまた、例えば画像処理によって画像が拡大され、かつエイリアシングの発生が検出または予測される場合に、後述の図１４に示すように、可変光学ローパスフィルタ３０のローパス特性を、エイリアシングの発生が検出されない、または予測されない場合よりも強くする制御を行ってもよい。制御マイコン１３およびＯＬＰＦ制御部５はまた、例えば画像処理によって画像が拡大された場合に、可変光学ローパスフィルタ３０のローパス特性を、後述の図１２に示すように、画像の拡大前よりも弱くする制御を行ってもよい。制御マイコン１３およびＯＬＰＦ制御部５はまた、例えば画像処理によって画像が縮小された場合に、可変光学ローパスフィルタ３０のローパス特性を、後述の図１６に示すように、画像の縮小前よりも強くする制御を行ってもよい。

［１．２ Ｒａｗデータを処理する外部装置の構成例］
図２は、Ｒａｗデータを処理する外部装置１０３の一構成例を示している。図１には、カメラ１００内において画像データに対して各種の画像処理を施す構成を示したが、図２に示したように、カメラ１００が、Ｒａｗデータ記録部１０９を備え、Ｒａｗデータ１０１と共に、撮影時のローパス特性を示すデータをメタデータ１０２として記録し、外部装置１０３において画像処理を行ってもよい。外部装置１０３における画像処理の機能は、例えばＰＣ（パーソナルコンピュータ）上のアプリケーションで実現される。なお、カメラ１００において、Ｒａｗデータの記録時には、画像処理部７、拡大・間引き処理部８、およびシャープネス補正部９で行われる処理は適用されない（信号が各部を素通りする）。

外部装置１０３は、画像処理部１０４と、拡大・間引き処理部１０５と、シャープネス補正処理部１０６と、圧縮・記録処理部１０７とを備えている。

図２に示した外部装置１０３において、図１のカメラ１００内の各回路ブロックと同じ名称の回路ブロックは、基本的に、同等の処理機能を持つ。外部装置１０３で処理された画像データは、出力ファイル１０８として記録される。

［１．３ 可変光学ローパスフィルタの構成および原理］
図３〜図６をさらに参照しつつ、より具体的に可変光学ローパスフィルタ３０の構成および原理を説明する。

（可変光学ローパスフィルタ３０の構成例）
図３は、可変光学ローパスフィルタ３０の一構成例を示している。可変光学ローパスフィルタ３０は、第１の複屈折板３１および第２の複屈折板３２と、液晶層３３と、第１の電極３４および第２の電極３５とを有している。液晶層３３が、第１の電極３４および第２の電極３５によって挟まれ、その外側をさらに第１の複屈折板３１および第２の複屈折板３２で挟んだ構成となっている。第１の電極３４および第２の電極３５は、液晶層３３に電界を印加するためのものである。なお、可変光学ローパスフィルタ３０はさらに、例えば、液晶層３３の配向を規制する配向膜をさらに備えていてもよい。第１の電極３４および第２の電極３５はそれぞれ、１枚の透明なシート状電極からなる。なお、第１の電極３４および第２の電極３５の少なくとも一方が、複数の部分電極で構成されていてもよい。

第１の複屈折板３１は、可変光学ローパスフィルタ３０の光入射側に配置されており、例えば、第１の複屈折板３１の外側の表面が光入射面となっている。入射光Ｌ１は、被写体側から光入射面に入射する光である。第２の複屈折板３２は、可変光学ローパスフィルタ３０の光出射側に配置されており、例えば、第２の複屈折板３２の外側の表面が光出射面となっている。可変光学ローパスフィルタ３０の透過光Ｌ２は、光出射面から外部に出射された光である。

第１の複屈折板３１および第２の複屈折板３２はそれぞれ、複屈折性を有しており、１軸性結晶の構造を有している。第１の複屈折板３１および第２の複屈折板３２はそれぞれ、複屈折性を利用して円偏光の光をｐｓ分離する機能を有している。第１の複屈折板３１および第２の複屈折板３２はそれぞれ、例えば、水晶、方解石またはニオブ酸リチウムによって構成されている。

液晶層３３は例えば、ＴＮ(Twisted Nematic)液晶で構成されている。ＴＮ液晶は、通過する光の偏光方向をネマティック液晶の回転に沿って回転させる旋光性を有している。

図３の基本構成で、特定の一次元方向のローパス特性がコントロールできるため、本実施の形態では図３の可変光学ローパスフィルタ３０を第１の可変光学ローパスフィルタ２と第２の可変光学ローパスフィルタ３との２組搭載し、水平方向と垂直方向に対するローパス特性を制御する。

（可変光学ローパスフィルタ３０の原理）
図４〜図６を参照して、可変光学ローパスフィルタ３０の原理を説明する。図４は、図３に示した可変光学ローパスフィルタにおけるローパス効果が０％の状態の一例を示している。図５はローパス効果が１００％の状態の一例を示している。図６はローパス効果が５０％の状態の一例を示している。なお、図４〜図６では、第１の複屈折板３１の光学軸と第２の複屈折板３２の光学軸とが互いに平行である場合を例にしている。また、図４〜図６に示す電圧値は一例であり、図示した電圧値に限られるものではない。以降の他の図において示す電圧値等の数値についても同様である。

可変光学ローパスフィルタ３０では、光の偏光状態をコントロールし、連続的にローパス特性を変化させることが可能となっている。可変光学ローパスフィルタ３０では、液晶層３３に印加する電界（第１の電極３４および第２の電極３５間への印加電圧）を変えることでローパス特性を制御できる。例えば図４に示したように、印加電圧が０Ｖの状態でローパス効果がゼロ（素通しと同じ）、図５に示したように、５Ｖを印加した状態でローパス効果が最大（１００％）となる。また、図６に示したように、３Ｖを印加した状態でローパス効果が中間状態（５０％）となる。ローパス効果が最大となるときの特性は、第１の複屈折板３１および第２の複屈折板３２の特性によって決まる。

図４〜図６の各状態において、第１の複屈折板３１で入射光Ｌ１がｓ偏光成分とｐ偏光成分とに分離する。

図４に示した状態では、液晶層３３での旋光が９０°となることにより、液晶層３３においてｓ偏光成分がｐ偏光成分に変換され、ｐ偏光成分がｓ偏光成分に変換される。その後、第２の複屈折板３２でｐ偏光成分とｓ偏光成分とが合成され、透過光Ｌ２となる。図４に示した状態では、最終的なｓ偏光成分とｐ偏光成分との分離幅ｄはゼロであり、ローパス効果はゼロとなる。

図５に示した状態では、液晶層３３での旋光が０°となることにより、液晶層３３をｓ偏光成分がｓ偏光成分のまま透過し、ｐ偏光成分がｐ偏光成分のまま透過する。その後、第２の複屈折板３２でｐ偏光成分とｓ偏光成分との分離幅がさらに拡大される。図５に示した状態では、最終的な透過光Ｌ２において、ｓ偏光成分とｐ偏光成分との分離幅ｄが最大となり、ローパス効果は最大（１００％）となる。

図６に示した状態では、液晶層３３での旋光が４５°となることにより、液晶層３３をｓ偏光成分がｓ偏光成分とｐ偏光成分とを含む状態で透過し、その後、第２の複屈折板３２でｓ偏光成分とｐ偏光成分とに分離する。ｐ偏光成分も同様に、液晶層３３をｓ偏光成分とｐ偏光成分とを含む状態で透過し、その後、第２の複屈折板３２でｓ偏光成分とｐ偏光成分とに分離する。最終的な透過光Ｌ２には、分離幅ｄで分離されたｓ偏光成分およびｐ偏光成分と、ｐ偏光成分およびｓ偏光成分とが合成された成分とが含まれた状態となり、ローパス効果が中間状態（５０％）となる。

［１．４ 画像処理時の画質低下とその解決手段］
ローパス効果を連続的に変化させることが可能な可変光学ローパスフィルタ３０の技術を用いて、静止画撮影時、動画撮影時、およびライブビュー時のように画素ピッチが異なるケースでローパス効果を変化させ、それぞれで特性を最適化する技術が知られている。しかしながら、画像の拡大時に生じるシャープネス低下に対しては、なんら対応が行われておらず画質低下が生じていた。

一方、画像を縮小する場合も、画像を間引くために画像処理段階で生じるエイリアシングにより画質の低下を招いていた。このエイリアシングは、画像処理によるフィルタで低減が可能であるが、複数の画素信号とフィルタ特性を与える信号のコンボリューション（畳み込み）演算を行う必要があるため、それなりの演算時間を要し、実現のためのコストも必要であった。従来、光学ローパスフィルタは同様にエイリアシングを防ぐ目的で搭載されているが、その特性は縮小しない状態に最適化された一定のものであるため、画像の縮小時にはまったく寄与していなかった。

可変光学ローパスフィルタ３０を用いることで、上記、一連の問題を解決することが可能であるが（具体的な解決方法は別途記述）、手動によるピント調整を行う場合には、撮影時にトレードオフとなるシャープネスと偽信号の関係がトレードオフとならないため新たな問題が発生する。すなわち、手動によるピント合わせを行う場合、像がもっともシャープになるピント位置を見つけるのであるが、このときは、シャープネスが高い方がピントの合っている時とボケているときの差がより多くなり、ピントが合わせやすくなる。そして偽信号も、ピントが合っているときに最も多く発生するため、むしろ偽信号を抑制しない方がピントの合う位置がよくわかるのである。

また、従来、カメラ内で上記のような画像処理を行わず、いわゆるＲａｗデータ１０１を記録し、ＰＣ上のアプリケーションソフトウェアで、拡大やシャープネスの補正を行うカメラが存在するが、このようなカメラでも別の問題が生じる。可変光学ローパスフィルタ３０のローパス特性を変化させた状態でＲａｗデータ１０１を記録し、拡大時のシャープネス補正をＰＣ上のアプリで最適化する場合、ＰＣアプリではローパス特性を知ることができないため適切な処理ができなかった。Ｒａｗデータ１０１に種々のメタデータを埋め込む手段は公知であるが、可変光学ローパスフィルタ３０のローパス特性を示すデータに関しては記録されておらず上記のような問題が生じてしまう。

また、可変光学ローパスフィルタ３０を用いた場合、撮影時と同じ画素ピッチで画像の一部を拡大表示する手段があれば、偽信号の発生とシャープネスの低下を実際に確認しつつ手動で効果を設定し、最適なトレードオフの状態を得ることが可能であるにもかかわらず、従来このような手法は知られていなかった。

図７に、可変光学ローパスフィルタ３０に印加する電圧を変化させた場合のＭＴＦ特性の変化の一例を示す。図７において、横軸は空間周波数（ｃ／ｍｍ（ｃｙｃｌｅ／ｍｍ））、縦軸はＭＴＦ値を示す。以降の他のＭＴＦ特性を示す図についても同様である。

図８は、図３に示した可変光学ローパスフィルタ３０に撮像レンズ１Ａを組み合わせた場合における、印加電圧によるＭＴＦ特性の変化の一例を示している。０Ｖでは、ローパス効果なしの素通し状態なので、撮像レンズ１ＡのＭＴＦ特性そのものとなる。

図９は、通常の光学ローパスフィルタのＭＴＦ特性の一例を示している。この場合は、設計時に決めた特定のローパス特性のみを与えることになる。

図１０および図１１を参照して、画像の拡大時に生じるＭＴＦ特性の低下について説明する。図１０は、画像拡大時におけるＭＴＦ特性の変化の一例を示している。図１１は、像拡大時の画素補間アルゴリズムの違いによるＭＴＦ特性の変化の一例を示している。

画像処理で画像を拡大した場合、次の２つの要因でシャープネスの低下が生じる。１つめは、拡大そのものの影響である。画像データを拡大した場合、仮に理想的に拡大できたとしても、その周波数特性は、拡大した分だけ低周波側にシフトしたものになってしまう。図１０では通常時（１倍）と２倍拡大した場合のそれぞれのＭＴＦ特性を示している。拡大すると元の画像に比べるとシャープネスが低下したものとなってしまう。

２つめの要因は、画素補間アルゴリズムによる周波数特性の低下である。拡大する場合、なんらかの方法で画素と画素の間に新しい画素情報を生成しなければならない。通常、これは周辺の画素から補間により生成する。補間で画素を生成する場合、周波数特性の低下が発生し、その特性は補間アルゴリズムによって決まる。図１１では、代表的な補間アルゴリズムである、最近傍値法、平均法、およびＣｕｂｉｃ−ｃｏｎｖｏｌｕｔｉｏｎ法の周波数特性を示している。いずれのアルゴリズムも周波数特性の低下が生じることが分かる。

図１２は、画像の拡大によるＭＴＦ特性の低下を可変光学ローパスフィルタ３０のローパス特性を変更することで補正した例を示す。図１０および図１１で示したように、画像を拡大した場合、拡大そのものの影響と、補間アルゴリズムの影響とによってＭＴＦ特性の低下が生じる。このＭＴＦ特性の低下は、画像処理で一部、補正することが可能であるが、画像処理で補正した場合は、ノイズ等の画像以外の信号も同時に強調してしまうため、画質の低下が生じてしまう。

可変光学ローパスフィルタ３０を搭載したカメラ１００では、拡大時に可変光学ローパスフィルタ３０のローパス特性を通常時（倍率が１倍）よりも弱く設定することで、ノイズの増加を抑えつつシャープネスの補正が可能となる。例えば、可変光学ローパスフィルタ３０の印加電圧を３Ｖから０Ｖに設定する。ローパス効果を弱めると、撮影時にエイリアシングが発生する可能性があるが、発生するか否かは被写体に大きく依存する。一方、拡大によるシャープネスの低下は、拡大すると常に発生してしまうため、ローパス効果を弱めシャープネスを補正する方が確率的には高画質の画像を得ることが可能となる。

図１３に画像の拡大によるＭＴＦ特性の低下を可変光学ローパスフィルタ３０のローパスフィルタ特性の変更と画像処理（シャープネスの補正）とを併用して補正した例を示す。図１２で説明したように、画像拡大時に生じるＭＴＦ特性の低下を可変光学ローパスフィルタ３０の特性を弱く設定することで補正できる。しかし、図１２から分かるように補間処理では、高周波部分の情報は欠落したままとなり、この部分に本来被写体が持っている情報が生じることはない。このため、可変光学ローパスフィルタ３０を弱めてもなお画像としてのシャープネスは不足している印象を与えることが多い。このため、さらに画像のシャープネスを強調し、このシャープネスの不足感を補うことが有効である。このさらなる強調には、可変光学ローパスフィルタ３０をさらに弱める手段も可能であるが、この方法ではローパスなしの状態（電圧０Ｖ）以上にはシャープネスを補正することができない。このため、シャープネス補正処理部９またはシャープネス補正処理部１０６によって、画像処理によるシャープネス補正処理を併用することが有効である。最適な補正量は、拡大率によって変化するため、拡大率に応じて可変光学ローパスフィルタ３０でカバーできる範囲はこれにより補正し、残りを画像処理で補うように補正する考え方が、ノイズ増加を少なくするという観点では有効である。画像処理によるシャープネスの補正は、後に説明するように空間フィルタによる処理等を利用できる。

図１４に、撮影時にエイリアシングが発生するか否かを検出、予測することで、さらに適応的な動作を行い画質を向上させた例を示す。図１４では、図１３の補正に比べてローパス効果とシャープネスの補正とを強めた場合の例を示している。図１３において、拡大時のシャープネス低下を補正するために、可変光学ローパスフィルタ３０のローパス効果調整と画像処理による補正とを併用した場合を説明した。このとき、画像処理による補正はノイズの増加を招くため、ローパス効果を弱める方法を優先させる方法が有効であることを述べた。一方で、ローパス効果を弱くするとエイリアシングによる偽信号の発生が、懸念されることも既に説明した。このトレードオフは、偽信号の発生を検出ないし予測する手段があれば、改善が可能である。すなわち、シャープネスの補正を行う際、偽信号が検出ないし予測される場合は、図１４に示すように可変光学ローパスフィルタ３０の効果を強めて偽信号を抑制し、それによるシャープネスの低下分は画像処理による補正を強める。逆に偽信号が検出されない、ないし予測されない場合は、図１３で示したようにローパス効果を弱め、画像処理によるシャープネス補正は弱めるようにする。モアレのような周期的な偽信号が発生すると、拡大時にはその周波数がより低い方にシフトし、影響が目立ちやすくなるのでこのような適応的な処理が有効となる。偽信号の具体的な検出、予測手段については、後の静止画撮影処理の部分で説明する。

図１５および図１６に画像縮小時に生じるエイリアシングの発生例と、それを可変光学ローパスフィルタ３０によって抑制した例を示す。図１５および図１６において、上段は画像の縮小前の状態を示し、下段は画像を１／２に縮小した状態を示す。画像の縮小は、すなわち画像のサンプリング間隔を粗くするということであり、このとき図１５に示すようにエイリアシングによる偽信号が発生する。通常は、縮小前に画像処理によるローパスフィルタを適用し、高い周波数成分を取り除くようにする。この処理は、シャープネス補正と同様な空間フィルタによって行われるが、ローパスフィルタの信号と画素値の二次元畳み込み演算を行わなければならないため一定の処理時間を要する。

画像の縮小時、画像処理の代わりに可変光学ローパスフィルタ３０でローパス特性を適用することで、図１６に示すようにエイリアシングの原因となる高周波の成分を除去できる。この時のローパス特性は通常時よりも効果を強くする。可変光学ローパスフィルタ３０でローパス効果を適用した場合は、画像処理によるフィルタ処理が不要なので、処理速度を向上させることが可能となる。このように、可変光学ローパスフィルタ３０を用いて処理を高速化する方法は、例えば、カメラ１００に通常モードの他に画像サイズは小さくなるが連続撮影（連写）速度が速くなる高速連写モードを設ける場合に特に有効である。また、拡大モードを持たず、縮小のみが可能なカメラ１００の場合、画像処理によるローパス処理回路を省略できるので、カメラ１００のコストを抑えることができる。

＜２．動作＞
［２．１ カメラ全体の制御動作］）
図１７にカメラ全体の制御の流れの一例を示す。制御マイコン１３は自身で、または他の回路ブロックを制御することにより、カメラ全体の制御処理として、図１７に示したステップＳ１〜ステップＳ１３の処理を行う。

カメラ１００の起動後、制御マイコン１３は、ステップＳ１でメインスイッチ（メインＳＷ）の状態を判定し、Ｏｎの場合ステップＳ２に進み、Ｏｆｆの場合は、そのままスイッチの状態判定を繰り返す。ステップＳ２では、必要な初期化を行う。

ステップＳ３では、制御マイコン１３は、ライブビュー画像の表示と、ピント調整操作部２３によってマニュアルでピント調整を行う場合、および画像を拡大して可変光学ローパスフィルタ３０の効果をマニュアルで設定する場合に必要な処理を行う。詳細は、後述する。

ステップＳ４では、制御マイコン１３は、再びメインＳＷの状態を判定し、Ｏｎのままの場合は次のステップＳ５に進み、Ｏｆｆの場合は、ステップＳ１３へ進み、カメラ１００を待機状態にするための終了処理を行った後、ステップＳ１に戻る。

ステップＳ５では、制御マイコン１３は、シャッタボタン２１を半押しした状態でＯｎとなるスイッチＳＷ１の状態を検出し、スイッチＳＷ１がＯｎの場合は、ステップＳ６の撮影準備動作に移る。スイッチＳＷ１がＯｎでない場合は、ステップＳ３に戻り、ライブビュー処理（１）を繰り返す。

ステップＳ６では、制御マイコン１３は、撮影のために必要な準備処理を行う。本実施の形態では、ここでの主要な処理であるオートフォーカスによるピント合わせの処理のみ説明する。制御マイコン１３からレンズ制御部４に所定の指示を与え、撮像レンズ１Ａのフォーカス位置を連続的に変化させつつ画像の読み出しを繰り返す。制御マイコン１３は、読み出した画像データから被写体のコントラスト評価値を算出し、評価値が最大となる位置を求め、そこにレンズのフォーカス位置を固定する。デジタルカメラで一般的なコントラストＡＦ（オートフォーカス）方式である。

ステップＳ７では、制御マイコン１３は、再度ライブビュー画像を表示するためステップＳ３と同様の処理を行う。スイッチＳＷ１がＯｎになった状態では露出を固定するようにするため、ここでは露出演算は行わない点がステップＳ３との相違点である。

ステップＳ８では、制御マイコン１３は、シャッタボタン２１が押されたことを検出するスイッチＳＷ２がＯｎかＯｆｆかを判定する。制御マイコン１３は、Ｏｎだった場合は、ステップＳ９以下の撮影動作に移る。制御マイコン１３は、スイッチＳＷ２がＯｆｆだった場合は、ステップＳ１１でスイッチＳＷ１がＯｆｆになったかどうかを判定し、Ｏｆｆになった場合は、ステップＳ３に戻りライブビュー処理（１）以降を繰り返す。制御マイコン１３は、スイッチＳＷ１がＯｎのままだった場合は、ステップＳ７に戻りライブビュー処理（２）以降の動作を繰り返す。

ステップＳ９では、制御マイコン１３は、カメラ１００の記録モードを判定する。制御マイコン１３は、記録モードが静止画モードだった場合はステップＳ１０の静止画撮影処理に、動画モードだった場合はステップＳ１２の動画撮影処理に分岐する。ステップＳ１０の静止画撮影処理とステップＳ１２の動画撮影処理については、後に詳述する。制御マイコン１３は、両処理の終了後は、ステップＳ３に戻って一連の動作を繰り返す。

［２．２ ライブビュー処理］
図１８にライブビュー処理（１）の流れの一例を示す。制御マイコン１３は自身で、または他の回路ブロックを制御することにより、上記ステップＳ３のライブビュー処理（１）として、図１８に示したステップＳ１００〜ステップＳ１０６の処理を行う。

まず、ステップＳ１００で、制御マイコン１３は、撮像素子６からライブビュー画像データを読み出す。ライブビュー画像データは、表示パネル１１に表示するために必要な画素数だけあればよいので、撮像素子６内部で垂直方向に複数の画素を加算し、画素を間引いたデータを読み出すようにする。

次にステップＳ１０１で、制御マイコン１３は、読み出した画像データから露出（ＡＥ）とホワイトバランス（ＡＷＢ）の演算を行う。制御マイコン１３は、露出演算の結果から、レンズ制御部４に設定する絞り値と撮像素子６に設定するシャッタ速度とを求め、露出を適正にコントロールする（この結果が反映されるのは、次の読み出し画像からになる）。ホワイトバランス演算で求めたホワイトバランスゲインは、次の画像処理段階で適用される。

ステップＳ１０２で、読み出した画像データに対し、画像処理部７で適切な処理を行う。この画像処理には、ホワイトバランス、デモザイク、階調変換、色変換、およびノイズリダクションなどの処理を含むが、いずれもデジタルカメラとして一般的なものであり、ここでは説明を省略する。電子ズームの指示が行われている場合は、画像データに対し、電子ズームブロック（拡大・間引き処理部８）で拡大処理が行われる。次にシャープネス補正処理部９で、シャープネスの補正が行われる。電子ズームとシャープネス補正処理の詳細は、後の静止画撮影処理（図１９）において説明する。これらの処理を経た画像は、表示パネル１１に出力されライブビュー画像が表示される。

ステップＳ１０３では、制御マイコン１３は、カメラ１００のフォーカスモード設定がマニュアルフォーカスモードか否かを判定する。制御マイコン１３は、マニュアルフォーカスモードの場合はステップＳ１０４へ、そうでない場合はそのままライブビュー処理（１）を終了する。

ステップＳ１０４では、制御マイコン１３は、ピント調整操作部２３からの指示に基づきマニュアルによるピント調整動作を行う。このモードでは、撮像素子６から、表示パネル１１に表示可能な画素数の画像データを部分的に間引かずに読み出す。表示パネル１１には被写体を部分的に拡大した画像が表示されピント調整に適した状態となる。このモードでは、ピント調整操作部２３として、例えばレンズ鏡胴に設けたピント調整リングの回転量によって、ピント位置が変化するようにレンズ制御部４が動作し、ユーザは表示される画像を見ながら、このリングを手で回転することによってピント調整ができる。また、撮像素子６から読み出す位置は、詳細の説明は省略するが、上下左右４方向で方向を指定可能なスイッチによって変更が可能となっている。このモードでは、可変光学ローパスフィルタ３０に印加する電圧を０Ｖにするように、制御マイコン１３からＯＬＰＦ制御部５に指示を出す。すなわち、ローパス効果がゼロとなるようにする。こうすることで、ピントが合っていない状態とピントの合った状態の差が大きくなり、ピント合わせがよりやり易くなる。また、エイリアシングによる偽信号は、ピントが合った状態でもっとも多くなるため、ローパス効果をゼロとすることで偽信号の出方を目安にしたピント調整も可能となり、さらにピント調整を容易にすることが可能となる。
なお、上記ではマニュアルによるピント調整時に被写体の拡大画像を表示させる場合を例にしたが、画像を拡大表示することなくピント調整を行うことも可能である。この場合であっても、ピント調整前に比べてピント調整時のローパス効果を弱める制御を行うことで、ピント合わせがやり易くなるので好ましい。

ステップＳ１０５では、制御マイコン１３は、ローパス効果の調整モードが、マニュアルか否かを判定する。本実施の形態では、ローパス効果調整モードとして、ノーマル、オート、マニュアルの３種類を有する。制御マイコン１３は、モードがマニュアルだった場合は、ステップＳ１０６へ進む。制御マイコン１３は、モードがマニュアル以外の場合は、そのままライブビュー処理（１）を終了する。

ステップＳ１０６では、制御マイコン１３は、マニュアルローパス効果調整モードの動作を行う。このモードでは、ピント調整操作部２３によってマニュアルでピントを合わせた後、表示されている画像を見ながら、強／弱２方向の可変ＯＬＰＦ効果設定ボタン２２を操作することで、適切なローパス効果を設定できる。ライブビュー画像は、カメラ１００のフレーミングのために上述のように間引いた画像を読み出し、画像全体を表示する。このときに発生する偽信号は、画素ピッチが異なるため最終的に記録される画像に現れるものとは異なる。このモードでは、マニュアルフォーカスモードと同様、画像を間引かずに読み出して表示する。全体が表示できないので、マニュアルフォーカスモードと同様、４方向のスイッチによって表示する位置を変更できるようになっている。なお、本実施の形態では、マニュアルでピントを合わせた後にローパス効果を調整する構成としたが、本モードに切り替わったときに既に述べたオートフォーカスの動作を１回行わせてから効果調整をするようにしてもよい。また、画像の倍率は、上記のとおり間引いたり縮小したりしない状態であれば、さらに拡大して表示できるようにしてもよく、このような構成では、被写体のさらに細かな部分のチェックがより容易となる。

［２．３ 静止画撮影処理］
図１９に静止画撮影処理の流れの一例を示す。制御マイコン１３は自身で、または他の回路ブロックを制御することにより、静止画撮影処理として、図１９に示したステップＳ２００〜ステップＳ２０９の処理を行う。

なお、以下の説明では適宜、図２１〜図２３を参照する。図２１は、ローパス効果調整モードがノーマルのときに使用する、可変光学ローパスフィルタ３０への印加電圧をまとめたパラメータ表を示す。図２２は、ローパス効果調整モードがオートのときに使用する、高周波成分検出用のハイパスフィルタを示す。図２３は、可変光学ローパスフィルタ３０への印加電圧に応じた、シャープネス補正量（空間フィルタ係数）をまとめたパラメータ表を示す。

図１９において、制御マイコン１３は、最初に、ステップＳ２００で可変光学ローパスフィルタ３０に印加する電圧を決定し、ＯＬＰＦ制御部５に指示を与えて可変光学ローパスフィルタ３０に電圧を印加する。印加電圧の決定は、以下のように行う。

本実施の形態では、上記ライブビュー処理（１）の説明で述べたように、ローパス効果調整モードとして、ノーマル、オート、マニュアルの３モードを持つ。ノーマルモードは、あらかじめカメラ１００内に保持したモードごとの印加電圧を記述したテーブルに従い印加電圧を決定する。オートモードでは、仮画像を撮影し、取得した画像を解析することでローパス効果を決定する。マニュアルモードは、手動で効果を調整するモードで、既にライブビュー処理（１）でその内容を説明した。

ステップＳ２００では、制御マイコン１３は、最初に上記のローパス効果調整モードを判定し、それぞれのモードに応じた処理に分岐する。制御マイコン１３は、ノーマルモードでは、カメラ１００の設定、すなわち電子ズームモードないし高速連写モードのそれぞれに応じて、カメラ１００内に保持するパラメータ表（図２１）を参照して印加電圧を決定する。制御マイコン１３は、電子ズームの場合、表に示すように、電圧は、倍率に対し離散的に記録されているので、その中間の倍率だった場合は、表から該当する区間の電圧を読み出し、それを補間して印加電圧を決定する。制御マイコン１３は、高速連写モードでは、画像の間引き状態に対応した１種類の印加電圧を読み出す。

オートモードでは、取得した仮画像からローパス効果を決定する。まず、可変光学ローパスフィルタ３０に対し電圧０Ｖ（ローパス効果なし状態）を印加し、その状態で撮像素子６から仮画像を取得する。読み出した画像は、画像処理部７で通常時と同じ処理を適用された後、拡大・間引き処理部８を何も処理を適用せずに素通りし、シャープネス補正処理部９のエイリアシング検出・予測部１４で、ハイパスフィルタによる高周波成分の検出処理が行われる。

ハイパスフィルタは例えば図２２に示すもので、処理を適用した後、残った高周波成分が積算される。この高周波成分の積算値に対しあらかじめ印加電圧を決めておき、それに従って可変光学ローパスフィルタ３０に印加する電圧を決定する。すなわち、高周波成分が多い被写体では、それだけエイリアシングによる偽信号の発生が多くなる可能性があるため、ローパス効果を強くする。逆に高周波成分がほとんど存在しない被写体では、偽信号が発生する可能性が低いためローパス効果を弱くする。なお、本実施の形態では、高周波成分の検出により偽信号の発生を予測する構成としたが、これ以外にも例えば、ローパス効果を適用しない状態と適用した状態の２種類の画像を取得し、その差分から偽信号の発生を検出するようにしてもよい。また、取得した画像をフーリエ変換し、モアレのような周期的な成分を検出するような手法も有効である。

マニュアルモードでは、ライブビュー処理（１）の部分で説明したように、すでに可変光学ローパスフィルタ３０への印加電圧が決まっており、それが適用されている。

ノーマルモードおよびオートモードの場合は、制御マイコン１３は、ステップＳ２００の最後で、それぞれのローパス効果調整モードに応じて決定した印加電圧をＯＬＰＦ制御部５に指示し、効果を適用する。

続くステップＳ２０１で、撮像素子６から画像データを読み出す。ステップＳ２０２では、制御マイコン１３は、撮影モードがＲａｗ撮影モードか否かを判定する。Ｒａｗ撮影モードだった場合は、ステップＳ２０９へ分岐し、カメラ１００内で画像処理を適用する前のＲａｗ画像をファイルに保存し、終了する。このとき、ステップＳ２００で決定した可変光学ローパスフィルタ３０への印加電圧をローパス特性を示すデータとして、他の撮影データとともにメタデータ１０２としてファイルに記録する。撮影モードがＲａｗ撮影モードでなかった場合は、ステップＳ２０３へと進む。

ステップＳ２０３では、読み出した画像データに画像処理部７でホワイトバランス、デモザイク、階調変換、色変換、およびノイズリダクションなどの処理を適用する。続くステップＳ２０４では、制御マイコン１３は、撮影モードを判定し、モードが電子ズームモードの場合は、ステップＳ２０５へ、高速連写モードの場合はステップＳ２０６へそれぞれ分岐し、通常モードの場合は、ステップＳ２０７へ進む。

ステップＳ２０５では、制御マイコン１３は、電子ズーム設定に応じた画像の拡大処理を行う。これは、拡大・間引き処理部８に対し、入力画像サイズと出力画像サイズ、拡大倍率を指定することで必要な変換が行われる。電子ズーム時は、入力画素数と出力画素数を通常時（１倍）と同じように指定し、ユーザに設定されたズーム倍率を拡大倍率に設定することで、画像サイズを保ったまま、画像中心部を補間処理で拡大した画像が出力される。画像の補間は、例えば図１１に特性を示したｃｕｂｉｃ−ｃｏｎｖｏｌｕｔｉｏｎ法で行われる。このアルゴリズムの詳細は、種々の画像処理に関する文献で公知であるので省略する。

ステップＳ２０６では、制御マイコン１３は、高速連写モードの処理を行う。高速連写モードでは、画像の倍率は１倍に保ったまま、画素数を減らす処理を行う。すなわち、拡大・間引き処理部８に、入力画素数として通常時と同じ画素数、出力画素数として水平、垂直のサイズを例えば半分（画素数で１／４）になる値を設定する。この場合、拡大倍率は、画素数の比から自動設定される。拡大・間引き処理部８では入出力の画素数の比に対応した間隔で、例えば最近傍法により単純に画素が間引かれる。水平、垂直とも半分なので、一つ置きに画素が間引かれる。通常、このような単純間引きで再サンプルを行うと、エイリアシングが生じ画質が劣化するが、例えば、可変光学ローパスフィルタ３０のローパス特性を通常時の画素ピッチの半分のところでゼロとなるような特性を設定することで、エイリアシングを発生させることなく高画質な間引き画像を得ることができる。

次にステップＳ２０７で、シャープネス補正を適用する。シャープネス補正は、例えば５×５の空間フィルタによって行われる。ステップＳ２００で決定した可変光学ローパスフィルタ３０のローパス特性（印加電圧）に応じて、あらかじめ決定しカメラ１００内に保持したシャープネス補正パラメータ表（図２３）を参照することで、フィルタ係数を決定、処理を適用する。

ステップＳ２０８で、制御マイコン１３は、圧縮・記録処理部１０に必要な指示を与えることで、一連の処理を適用した画像を例えばＪＰＥＧアルゴリズムで圧縮し、記録メディア１２に記録する。このとき、撮影条件などのメタデータ１０２も同時に記録し、終了する。

（外部装置でＲａｗデータを処理する場合の動作例）
図２において、カメラ１００から出力されたＲａｗデータ１０１を外部装置１０３に読み込んで画像処理を行う。画像処理部１０４は、カメラ１００内の画像処理部７と同等の機能を持ち、上述の静止画撮影処理のステップＳ２０３で説明したものと同じ処理を行う。以下、図１のカメラ１００内の各回路ブロックと同じ機能を持つ拡大・間引き処理部１０５、シャープネス補正処理部１０６、および圧縮・記録処理部１０７のそれぞれで、カメラ１００内における静止画撮影処理時と同等の処理を行う。

カメラ１００内の処理との差分として、拡大・間引き処理で用いるカメラ１００のモード設定、電子ズーム時の拡大倍率は、Ｒａｗデータ１０１に記録されたメタデータ１０２の中に記録されている情報を使用する。また、シャープネス補正処理で使用するローパス特性は、同様にメタデータ１０２として記録された印加電圧を使用する。

外部装置１０３で上記一連の処理を適用された画像データは、出力ファイル１０８として記録される。

［２．４ 動画撮影処理］
図２０に動画撮影処理の流れの一例を示す。制御マイコン１３は自身で、または他の回路ブロックを制御することにより、動画撮影処理として、図２０に示したステップＳ３００〜ステップＳ３０９の処理を行う。動画撮影時の処理は、同じ名称の処理については、基本的に静止画撮影処理で説明したものと同じ内容となるため、以下に差分のみ説明する。

本実施の形態では、静止画撮影時も動画撮影時も撮像素子から読みだす画像データは同じであるが、もしこれが異なり、静止画撮影時と画素ピッチが異なる場合は、ステップＳ３００で、可変光学ローパスフィルタ３０に印加する電圧を決定する際に用いる表を動画専用のものに入れ替える。動画時は、高速で画像を読み出す必要があるため、画素を間引く場合があり、このような場合に画素ピッチが変化する。

ステップＳ３０３として、動画撮影中も連続してピント調整、露出制御、ホワイトバランス処理を行うためのＡＦ・ＡＥ・ＡＷＢ処理が追加される。ここでの処理は、例えば算出した露出値が直前のフレームに対して急激に変化しないように変化をスムージングするなど、動画撮影に最適化した処理となる。

動画時は、静止画撮影にあった高速連写モードが無いので、ステップＳ３０５の撮影モード判定は、電子ズームかそれ以外かを判定するだけとなる。

ステップＳ３０８の圧縮と記録処理については、動画に適した例えばＩＴＵ−Ｔ Ｈ．２６４などの圧縮方式とＡＶＣＨＤなど動画ファイルフォーマットに変更される。

ステップＳ３０９には、動画記録の終了判定が追加され、記録が終了していない場合は、ステップＳ３００に戻り、一連の動作を繰り返す。記録終了が指示された場合は動画撮影処理を終了する。動画記録の終了指示は、シャッタボタン２１のスイッチＳＷ２を記録開始後いったんＯｆｆにしてから再度Ｏｎにすることで行う。

＜３．効果＞
本実施の形態によれば、撮影された画像に対して画像処理によって倍率の変更がなされた場合に、倍率に応じて可変光学ローパスフィルタ３０のローパス特性を変化させるようにしたので、高画質の画像を得ることができる。また、以下の効果が得られる。

シャープネスが低下する画像の拡大時、可変光学ローパスフィルタ３０のローパス特性を弱く設定することで、シャープネスの低下を抑えた高画質な画像を得ることが可能となる。さらに、画像の拡大時に設定した可変光学ローパスフィルタ３０のローパス特性に対し、画像処理によるシャープネス補正処理を最適化するように調整することで、より高画質な画像を得ることが可能となる。

また、同じく画像の拡大時、エイリアシングによるモアレの発生が検出されない、または予測されない場合は、可変光学ローパスフィルタ３０のローパス特性を弱く設定することで、シャープネスの低下を抑えた高画質な画像を得ることが可能となる。

上記とは逆に、画像の拡大時、エイリアシングの発生が検出、または予測される場合は、可変光学ローパスフィルタ３０のローパス特性を強く設定することで、撮影時に発生する偽信号を抑え、かつシャープネス低下分をシャープネス補正処理部９で画像処理により補正することで、偽信号がより低周波に変換されて目立つことを防ぎつつ、シャープネスの低下も抑えた高画質な画像を得ることが可能となる。

上記いずれの場合も、単に拡大時のシャープネス低下を防ぐと言う点だけなら、可変光学ローパスフィルタ３０を使用しないことで同様の効果を得ることが可能であるが、この場合は、エイリアシングによる偽信号が発生するため、別の意味で画質が劣化する。本実施の形態によれば、通常時撮影時の偽信号による画質劣化と、拡大時のシャープネス低下に適応的に対応可能となり、常に高画質の写真が撮影できるようになる。

メカ的に光学ローパスフィルタの挿入／非挿入を切り替える先行例に対しては、拡大倍率によって異なるシャープネスの低下度合に適応的に対応が可能であり、さらに動画撮影中に拡大が行われた場合でも、記録画像に不連続な変化を与えることなく対応可能で、より高画質の写真（動画）を得ることができる。

一方、画像を縮小する際は、可変光学ローパスフィルタ３０で縮小時の画素ピッチに対応したローパス特性を適用することで、画像処理によるフィルタを適用しなくてもエイリアシングを生じることなく高画質の縮小画像が得られるため、処理が高速でカメラ１００の構成が簡略化できコストも低減できる。

さらに、手動によるピント調整時のピントの合わせやすさと、記録時の画質を両立することが可能となるので、ピント精度の向上による効果も含む、さらに高画質の画像を得ることが可能となる。

また、可変光学ローパスフィルタ３０と、撮影時と同じ画素ピッチで画像の一部を拡大表示する表示パネル１１とを組み合わせることで、偽信号の発生とシャープネスの低下を実際に確認しつつ手動で効果を設定することが可能となり、撮影時要件に応じた最適なトレードオフ状態を設定することで高画質な写真を得ることが可能となる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

＜４．その他の実施の形態＞
本開示による技術は、上記実施の形態の説明に限定されず種々の変形実施が可能である。

例えば、可変光学ローパスフィルタ３０は図３〜図６に示した構成例に限らず、他の構成であってもよい。例えば、圧電素子を用いて撮像素子６を微小振動させることでローパスフィルタ効果を得るようなものであってもよい。また例えば、図２４に示したように、液晶層３３と第１の電極３４および第２の電極３５とを第１の透明基板３６および第２の透明基板３７によって挟み、その外側に第１の複屈折板３１および第２の複屈折板３２を配置した構成となっていてもよい。第１の透明基板３６および第２の透明基板３７としては、複屈折性の影響を与えないよう、石英ガラスなどの光学的等方性材料を用いることが好ましい。

また例えば、本技術は以下のような構成を取ることができる。
（１）
撮影された画像に対する、画像処理により変更される前記画像の倍率に応じて、撮像装置に搭載される光学ローパスフィルタのローパス特性を変化させる制御を行うフィルタ制御部を備えた
フィルタ制御装置。
（２）
画像処理によって前記画像のシャープネスを補正するシャープネス補正処理部をさらに備え、
前記シャープネス補正処理部は、前記倍率に応じてシャープネス補正特性を変化させる
上記（１）に記載のフィルタ制御装置。
（３）
前記フィルタ制御部は、画像処理による前記画像の拡大と、エイリアシングの発生の検出または予測とに応じて、前記光学ローパスフィルタのローパス特性を前記倍率が１倍のときよりも弱くする
上記（１）または（２）に記載のフィルタ制御装置。
（４）
前記フィルタ制御部は、画像処理によって前記画像が拡大され、かつエイリアシングの発生が検出または予測される場合に、前記光学ローパスフィルタのローパス特性を、前記エイリアシングの発生が検出されない、または予測されない場合よりも強くする
上記（３）に記載のフィルタ制御装置。
（５）
前記フィルタ制御部は、画像処理によって前記画像が拡大された場合に、前記光学ローパスフィルタのローパス特性を、前記画像が拡大される前よりも弱くする
上記（１）または（２）に記載のフィルタ制御装置。
（６）
前記フィルタ制御部は、画像処理によって前記画像が縮小された場合に、前記光学ローパスフィルタのローパス特性を、前記画像の縮小前よりも強くする
上記（１）ないし（５）のいずれか１つに記載のフィルタ制御装置。
（７）
前記フィルタ制御部は、ピント調整操作部によるピント調整が行われている間は、前記光学ローパスフィルタのローパス効果を、前記ピント調整が行われていない場合よりも弱くする
上記（１）ないし（６）のいずれか１つに記載のフィルタ制御装置。
（８）
前記光学ローパスフィルタのローパス特性を示すデータをＲａｗデータと共に記録するＲａｗデータ記録部をさらに備えた
上記（１）ないし（７）のいずれか１つに記載のフィルタ制御装置。
（９）
前記撮像装置は、前記撮影された画像をライブビュー画像として表示する
上記（１）ないし（８）のいずれか１つに記載のフィルタ制御装置。
（１０）
ライブビュー画像の倍率の変更がなされた場合に、前記光学ローパスフィルタのローパス特性を変化させることが可能なローパスフィルタ効果設定部をさらに備えた
上記（１）ないし（９）のいずれか１つに記載のフィルタ制御装置。
（１１）
前記光学ローパスフィルタは、
液晶層と、
前記液晶層を挟んで互いに対向配置され、前記液晶層に電界を印加する第１および第２の電極と、
前記液晶層、ならびに前記第１および第２の電極を挟んで互いに対向配置された第１および第２の複屈折板とを有し、
前記第１および第２の電極間の電圧変化に応じてローパス特性が変化する
上記（１）ないし（１０）のいずれか１つに記載のフィルタ制御装置。
（１２）
撮影された画像に対する、画像処理により変更される前記画像の倍率に応じて、撮像装置に搭載される光学ローパスフィルタのローパス特性を変化させる制御を行う
フィルタ制御方法。
（１３）
光学ローパスフィルタと、
撮影された画像に対する、画像処理により変更される前記画像の倍率に応じて、前記光学ローパスフィルタのローパス特性を変化させる制御を行うフィルタ制御部と
を備えた撮像装置。

本出願は、日本国特許庁において２０１４年７月３日に出願された日本特許出願番号第２０１４−１３８０６０号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。

当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (13)

1. 撮影された画像に対する、画像処理により変更される前記画像の倍率に応じて、撮像装置に搭載される光学ローパスフィルタのローパス特性を変化させる制御を行うフィルタ制御部を備えた
   フィルタ制御装置。
2. 画像処理によって前記画像のシャープネスを補正するシャープネス補正処理部をさらに備え、
   前記シャープネス補正処理部は、前記倍率に応じてシャープネス補正特性を変化させる
   請求項１に記載のフィルタ制御装置。
3. 前記フィルタ制御部は、画像処理による前記画像の拡大と、エイリアシングの発生の検出または予測とに応じて、前記光学ローパスフィルタのローパス特性を前記倍率が１倍のときよりも弱くする
   請求項１に記載のフィルタ制御装置。
4. 前記フィルタ制御部は、画像処理によって前記画像が拡大され、かつエイリアシングの発生が検出または予測される場合に、前記光学ローパスフィルタのローパス特性を、前記エイリアシングの発生が検出されない、または予測されない場合よりも強くする
   請求項３に記載のフィルタ制御装置。
5. 前記フィルタ制御部は、画像処理によって前記画像が拡大された場合に、前記光学ローパスフィルタのローパス特性を、前記画像が拡大される前よりも弱くする
   請求項１に記載のフィルタ制御装置。
6. 前記フィルタ制御部は、画像処理によって前記画像が縮小された場合に、前記光学ローパスフィルタのローパス特性を、前記画像の縮小前よりも強くする
   請求項１に記載のフィルタ制御装置。
7. 前記フィルタ制御部は、ピント調整操作部によるピント調整が行われている間は、前記光学ローパスフィルタのローパス効果を、前記ピント調整が行われていない場合よりも弱くする
   請求項１に記載のフィルタ制御装置。
8. 前記光学ローパスフィルタのローパス特性を示すデータをＲａｗデータと共に記録するＲａｗデータ記録部をさらに備えた
   請求項１に記載のフィルタ制御装置。
9. 前記撮像装置は、前記撮影された画像をライブビュー画像として表示する
   請求項１に記載のフィルタ制御装置。
10. ライブビュー画像の倍率の変更がなされた場合に、前記光学ローパスフィルタのローパス特性を変化させることが可能なローパスフィルタ効果設定部をさらに備えた
    請求項１に記載のフィルタ制御装置。
11. 前記光学ローパスフィルタは、
    液晶層と、
    前記液晶層を挟んで互いに対向配置され、前記液晶層に電界を印加する第１および第２の電極と、
    前記液晶層、ならびに前記第１および第２の電極を挟んで互いに対向配置された第１および第２の複屈折板とを有し、
    前記第１および第２の電極間の電圧変化に応じてローパス特性が変化する
    請求項１に記載のフィルタ制御装置。
12. 撮影された画像に対する、画像処理により変更される前記画像の倍率に応じて、撮像装置に搭載される光学ローパスフィルタのローパス特性を変化させる制御を行う
    フィルタ制御方法。
13. 光学ローパスフィルタと、
    撮影された画像に対する、画像処理により変更される前記画像の倍率に応じて、前記光学ローパスフィルタのローパス特性を変化させる制御を行うフィルタ制御部と
    を備えた撮像装置。

Images