WO2018181358A1

WO2018181358A1 - 撮像装置および撮像素子

Info

Publication number: WO2018181358A1
Application number: PCT/JP2018/012506
Authority: WO
Inventors: 奏太中西
Original assignee: 株式会社ニコン
Priority date: 2017-03-27
Filing date: 2018-03-27
Publication date: 2018-10-04
Also published as: US11626436B2; US20200058694A1; CN110326284A; JP6760486B2; US20210296386A1; CN110326284B; JPWO2018181358A1; US11056521B2

Abstract

撮像装置は、透過させる光の波長を第１の波長と第２の波長とで変更可能なフィルタと、前記フィルタを透過した光を受光する受光部とを有する複数の画素が配置され、光学系による像を撮像する撮像部と、前記撮像部で撮像された像を解析する解析部と、前記解析部での解析結果に基づいて、前記フィルタで透過させる光の波長を制御する制御部と、を備える。

Description

撮像装置および撮像素子

　本発明は、撮像装置および撮像素子に関する。

　透過波長が可変である波長可変フィルタを画素毎に備えた撮像装置が知られている（特許文献１）。しかし、従来の撮像装置では、設定した各画素の透過波長が被写体に適していない場合があるという問題があった。

日本国特開２０１３－８５０２８号公報

　本発明の第１の態様によると、撮像装置は、透過させる光の波長を第１の波長と第２の波長とで変更可能なフィルタと、前記フィルタを透過した光を受光する受光部とを有する複数の画素が配置され、光学系による像を撮像する撮像部と、前記撮像部で撮像された像を解析する解析部と、前記解析部での解析結果に基づいて、前記フィルタで透過させる光の波長を制御する制御部と、を備える。
　本発明の第２の態様によると、撮像装置は、第１の波長の光を透過させる第１状態と第２の波長の光を透過させる第２状態とを変更可能なフィルタと、前記フィルタを透過した光を受光して信号を出力する受光部と、前記受光部から出力された前記信号に基づいて、前記フィルタを前記第１状態又は前記第２状態に制御する制御部と、を備える。
　本発明の第３の態様によると、撮像装置は、被写体からの光のうち第１の波長の光を透過させる第１状態と第２の波長の光を透過させる第２状態とを変更可能なフィルタと、前記フィルタを透過した光を受光して信号を出力する受光部と、前記被写体からの光を検出し、前記フィルタを前記第１状態又は前記第２状態に制御する制御部と、を備える。
　本発明の第４の態様によると、撮像装置は、第１の波長の光を透過させる第１状態と第２の波長の光を透過させる第２状態とを変更可能なフィルタと、前記フィルタを透過した光を受光して信号を出力する受光部と、前記受光部から出力された信号に基づく像の空間周波数成分を検出する検出部と、前記検出部により検出された前記空間周波数成分に基づいて、前記フィルタを前記第１状態又は前記第２状態に制御する制御部と、を備える。
　本発明の第５の態様によると、撮像素子は、第１の波長の光を透過させる第１状態と第２の波長の光を透過させる第２状態とを変更可能なフィルタと、前記フィルタを透過した光を受光して信号を出力する受光部と、前記受光部から出力された前記信号に基づいて、前記フィルタを前記第１状態又は前記第２状態に制御する制御部と、を備える。

第１の実施の形態に係る撮像装置の構成を示すブロック図である。第１の実施の形態に係る撮像素子の一部の構成を示すブロック図である。第１の実施の形態に係る撮像素子の構造を説明するための図である。第１の実施の形態に係る撮像素子の波長可変フィルタによる色フィルタ配列と、空間周波数範囲を示す図である。第１の実施の形態に係る撮像素子の波長可変フィルタによる色フィルタ配列と、空間周波数範囲を示す図である。第１の実施の形態に係る撮像素子の波長可変フィルタによる色フィルタ配列と、空間周波数範囲を示す図である。第１の実施の形態に係る撮像装置の動作の一例を示したフローチャートである。第２の実施の形態に係る撮像装置の構成を示すブロック図である。第２の実施の形態に係る撮像素子の波長可変フィルタによる色フィルタ配列と、空間周波数範囲を示す図である。第２の実施の形態に係る撮像素子の波長可変フィルタによる色フィルタ配列と、空間周波数範囲を示す図である。第２の実施の形態に係る撮像素子の波長可変フィルタによる色フィルタ配列と、空間周波数範囲を示す図である。第３の実施の形態に係る撮像素子の波長可変フィルタによる色フィルタ配列と、空間周波数範囲を示す図である。第３の実施の形態に係る撮像素子の波長可変フィルタによる色フィルタ配列と、空間周波数範囲を示す図である。第３の実施の形態に係る撮像素子の波長可変フィルタによる色フィルタ配列を示す図である。

（第１の実施の形態）
　図１は、第１の実施の形態に係る撮像装置の一例である電子カメラ１（以下、カメラ１と称する）の構成例を示す図である。カメラ１は、カメラボディ２と交換レンズ３とにより構成される。交換レンズ３は、不図示のマウント部を介してカメラボディ２に着脱可能に装着される。カメラボディ２に交換レンズ３が装着されると、カメラボディ２側の接続部２０２と交換レンズ３側の接続部３０２とが接続され、カメラボディ２および交換レンズ３間の通信が可能となる。

　図１において、被写体からの光は、図１のＺ軸プラス方向に向かって入射する。また、座標軸に示すように、Ｚ軸に直交する紙面手前方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する下方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きが分かるように座標軸を表示する。

　交換レンズ３は、撮像光学系（結像光学系）３１と、レンズ制御部３２と、レンズメモリ３３とを備える。撮像光学系３１は、焦点調節レンズ（フォーカスレンズ）を含む複数のレンズと絞りとを含み、カメラボディ２の撮像素子４の撮像面上に被写体像を結像する。

　レンズ制御部３２は、カメラボディ２のボディ制御部２１から出力される信号に基づき、焦点調節レンズを光軸Ｌ１方向に進退移動させて撮像光学系３１の焦点位置を調節する。また、レンズ制御部３２は、カメラボディ２のボディ制御部２１から出力される信号に基づき、絞りの開口径を制御する。

　レンズメモリ３３は、例えば、不揮発性の記憶媒体等により構成される。レンズメモリ３３には、交換レンズ３に関連する情報がレンズ情報として記憶される。レンズメモリ３３へのレンズ情報の書き込みや、レンズメモリ３３からのレンズ情報の読み出しは、レンズ制御部３２によって行われる。

　カメラボディ２は、ボディ制御部２１と、撮像素子４と、メモリ２３と、表示部２４と、操作部２５とを備える。撮像素子４は、例えば、ＣＭＯＳイメージセンサやＣＣＤイメージセンサである。撮像素子４は、撮像光学系３１を通過した光束を受光して、被写体像を撮像する。撮像素子４には、光電変換部を有する複数の画素が、第１の方向である行方向（水平方向）及びそれと交差する第２の方向である列方向（垂直方向）に配置される。光電変換部は、例えばフォトダイオード（ＰＤ）によって構成される。撮像素子４は、光電変換部を有する複数の画素を有し、撮像光学系３１による被写体像を撮像する撮像部４である。撮像素子４は、入射した光を光電変換して画素信号を生成し、生成した画素信号をボディ制御部２１に出力する。画素信号は、光電変換部によって光電変換された電荷に基づいて生成される信号である。

　メモリ２３は、例えば、メモリカード等の記録媒体である。メモリ２３には、画像データ等が記録される。メモリ２３へのデータの書き込みや、メモリ２３からのデータの読み出しは、ボディ制御部２１によって行われる。表示部２４は、画像データに基づく画像、シャッター速度や絞り値等の撮影に関する情報、およびメニュー画面等を表示する。操作部２５は、レリーズボタン、電源スイッチなどの各種設定スイッチ等を含み、それぞれの操作に応じた操作信号をボディ制御部２１へ出力する。

　ボディ制御部２１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等により構成され、制御プログラムに基づきカメラ１の各部を制御する。また、ボディ制御部２１は、撮影モード設定部２１１と、焦点検出部２１２と、周波数特性検出部２１３を有する解析部２２と、フィルタ制御部２１４と、第１の画像データ生成部２１５と、第２の画像データ生成部２１６とを有する。

　撮影モード設定部２１１は、操作部２５から出力される操作信号に基づいて、撮影モードを設定する。例えば、撮影モード設定部２１１は、操作信号に基づき、レリーズボタンの半押し操作を検知した場合には、後述するスルー画像、即ち表示用の画像データを生成し表示部２４に表示する第１撮影モードに設定する。なお、第１撮影モードは、電源スイッチのオンに基づき、設定してもよい。また、撮影モード設定部２１１は、操作信号に基づき、レリーズボタンの全押し操作を検知した場合には、記録用の画像データを生成しその画像データをメモリ２３に記録する第２撮影モードに設定する。ここで、画像データとは、静止画用の画像データ、または動画用の画像データである。

　焦点検出部２１２は、撮像光学系３１の自動焦点調節（ＡＦ）に必要な処理を行う。具体的には、焦点検出部２１２は、撮像光学系３１の焦点調節レンズを光軸方向に所定距離ずつ移動させながら、所定距離毎に撮像素子４からの画素信号に基づき被写体像のコントラスト評価値を順次算出する。焦点検出部２１２は、コントラスト評価値がピーク、即ち最大値を示す焦点調節レンズの位置を合焦位置として算出する。焦点検出部２１２は、算出した合焦位置に関する信号を、レンズ制御部３２に出力する。レンズ制御部３２は、焦点調節レンズを合焦位置に移動して焦点調節を行う。

　解析部２２は、撮像光学系３１によって形成される被写体像を解析する。解析部２２は、例えば、周波数特性検出部２１３によって被写体像の空間周波数特性を検出する。具体的には、周波数特性検出部２１３は、撮像素子４から出力される各画素の画素信号に基づき被写体像の空間周波数特性を検出する。空間周波数特性とは、例えば画像（データ）全体または画像の一部を周波数解析して得られる、画像を空間周波数ごとの成分（振幅強度、信号強度）により示した特性である。例えば、空間周波数特性は、空間周波数と空間周波数ごとの成分との関係を示す空間周波数分布によって表され、画像の周期パターンや繰り返しの程度を示す。

　周波数特性検出部２１３は、被写体像の水平方向（画素配列の行方向）の空間周波数の高周波成分及び垂直方向（画素配列の列方向）の空間周波数の高周波成分をそれぞれ算出し、算出した高周波成分に基づき、被写体像の空間周波数特性を検出する。周波数特性検出部２１３は、詳細は後述するが、被写体像の各色成分（Ｒ成分、Ｇ成分、およびＢ成分）について空間周波数の高周波成分を算出する。被写体像の空間周波数の高周波成分（高周波数成分）とは、被写体像の空間周波数のうちの相対的に高い周波数（高周波数）における成分（振幅強度、信号強度）である。例えば、被写体像の高周波成分は、被写体像の空間周波数成分のうちの後述の画素ピッチ（画素の間隔）ｄに相当する空間周波数の成分である。なお、高周波成分は、これに限られず、間隔２ｄに相当する周波数成分であってもよい。また、高周波成分は、複数の周波数成分を合算したものであってもよい。更に、隣り合う画素の画素信号の差分を積算した値を、被写体像の高周波成分として用いてもよい。

　周波数特性検出部２１３は、水平方向の空間周波数の高周波成分が、垂直方向の空間周波数の高周波成分よりも、所定量Ｔ１以上、即ち定められた量以上多い場合に、被写体像の空間周波数特性を第１の空間周波数特性として検出する。
　周波数特性検出部２１３は、垂直方向の空間周波数の高周波成分が、水平方向の空間周波数の高周波成分よりも、所定量Ｔ１以上、即ち定められた量以上多い場合に、被写体像の空間周波数特性を第２の空間周波数特性として検出する。
　周波数特性検出部２１３は、水平方向の空間周波数の高周波成分と垂直方向の空間周波数の高周波成分とが略等しい場合、即ち両方向の高周波成分の差が上記の所定量Ｔ１以内である場合に、被写体像の空間周波数特性を第３の空間周波数特性として検出する。
　このように本実施の形態では、周波数特性検出部２１３は、被写体像の空間周波数特性が、第１、第２、第３の空間周波数特性のいずれに、属するかを検出する。

　周波数特性検出部２１３は、空間周波数の高周波成分を、例えば、撮像素子４からの画素信号に対して高速フーリエ変換（ＦＦＴ）処理を行うことによって算出する。また、周波数特性検出部２１３は、空間周波数の高周波成分を、第１の画像データ生成部２１５または第２の画像データ生成部２１６により生成される画像データに対して高速フーリエ変換処理を行うことによって算出するようにしてもよい。更に、周波数特性検出部２１３は、高速フーリエ変換処理の代わりに、以下の演算処理によって空間周波数の高周波成分を算出することもできる。即ち、周波数特性検出部２１３は、行方向に配置された隣接画素の画素信号の差分をそれぞれ算出して、それらの差分を積算して水平方向の空間周波数の高周波成分を算出する。同様に、周波数特性検出部２１３は、列方向に配置された隣接画素の画素信号の差分をそれぞれ算出して、それらの差分を積算して垂直方向の空間周波数の高周波成分を算出する。

　フィルタ制御部２１４は、解析部２２での被写体像の解析結果に基づいて、撮像素子４の画素の色配列を制御する。フィルタ制御部２１４が、被写体像の解析結果に基づいて、撮像素子４の画素の位置を制御するともいえる。例えば、フィルタ制御部２１４は、周波数特性検出部２１３によって検出された被写体像の空間周波数特性に基づいて撮像素子４の画素の色配列を制御して、撮像素子４の解像度（分解能）を変更する。詳細は後述するが、フィルタ制御部２１４は、撮像素子４の各画素の波長可変フィルタの透過波長を制御することによって解像度を変更する。

　なお、フィルタ制御部２１４は、被写体を撮像して得られる画像の画像構造に基づいて、波長可変フィルタの透過波長を制御してもよい。フィルタ制御部２１４は、画像のテキスチャ、画像に含まれるエッジ、画素信号または画像データの周期パターン等の被写体画像の特徴に関する情報に基づいて、波長可変フィルタの透過波長を制御するようにしてもよい。この場合、解析部２２は、各画素の画素信号または画像データを解析し、被写体画像の特徴に関する情報を生成する。フィルタ制御部２１４は、解析部２２により生成された被写体画像の特徴に関する情報に基づいて、波長可変フィルタの透過波長を制御して撮像素子４の解像度を変更する。

　第１の画像データ生成部２１５は、撮影モード設定部２１１により第１撮影モードに設定された場合に、撮像素子４から出力される画素信号に対して各種の画像処理を行って、表示用の画像データを生成する。表示部２４は、第１の画像データ生成部２１５により生成された表示用の画像データに基づいて画像を表示する。

　第２の画像データ生成部２１６は、撮影モード設定部２１１により第２撮影モードに設定された場合に、撮像素子４から出力される画素信号に対して各種の画像処理を行って、記録用の画像データを生成する。第２の画像データ生成部２１６は、生成した記録用の画像データをメモリ２３に記録させる。第１の画像データ生成部２１５および第２の画像データ生成部２１６により行われる画像処理には、例えば、階調変換処理、輪郭強調処理等の公知の画像処理が含まれる。なお、第１の画像データ生成部２１５と第２の画像データ生成部２１６とは、表示用の画像データまたは記録用の画像データを生成する画像データ生成部として一体的に構成されてもよい。

　図２および図３を参照して、第１の実施の形態に係る撮像素子４の構成について説明する。図２は、第１の実施の形態に係る撮像素子４の一部の構成を示すブロック図である。図３は、第１の実施の形態に係る撮像素子４の構造を説明するための図である。図３（ａ）は、撮像素子４の断面構造の一例を示す断面図であり、図３（ｂ）は、撮像素子４の波長可変フィルタ７２の透明電極のレイアウト例を説明するための平面図である。

　図２に示すように、撮像素子４は、複数の画素１０と、フィルタ垂直駆動部４１と、フィルタ水平駆動部４２と、画素垂直駆動部４３と、カラム回路部４４と、水平走査部４５と、出力部４６と、制御部４７とを備える。撮像素子４では、画素１０が二次元状（例えば、行方向およびそれと交差する列方向）に配置される。図２に示す例では、説明を簡略化するために、画素１０は水平方向１５画素×垂直方向１２画素のみ図示しているが、撮像素子４は、例えば数百万画素～数億画素、又はそれ以上の画素を有する。

　図３（ａ）に示すように、撮像素子４は、半導体基板１００と、配線層１１０と、支持基板１２０と、マイクロレンズ７１と、波長可変フィルタ７２とを備える。図３（ａ）に示す例では、撮像素子４は、裏面照射型の撮像素子として構成されている。半導体基板１００は、配線層１１０を介して支持基板１２０に積層される。半導体基板１００は、シリコン等の半導体基板により構成され、支持基板１２０は、半導体基板やガラス基板等により構成される。配線層１１０は、導体膜（金属膜）および絶縁膜を含む配線層であり、複数の配線やビアなどが配置される。導体膜には、銅、アルミニウム等が用いられる。絶縁膜は、酸化膜や窒化膜などで構成される。上述したように、撮像光学系３１を通過した光は、主にＺ軸プラス方向へ向かって入射する。

　画素１０（図３においては画素１０ａ～１０ｃ）は、マイクロレンズ７１と、波長可変フィルタ７２と、遮光膜７４と、光電変換部７５とを含んで構成される。マイクロレンズ７１は、入射した光を光電変換部７５に集光する。遮光膜７４は、隣接する画素の境界に配置され、隣接画素間で光が漏れることを抑制する。光電変換部７５は、入射した光を光電変換して電荷を生成する。

　波長可変フィルタ７２は、マイクロレンズ７１側から半導体基板１００側に向かって順次積層されたエレクトロクロミック（以下、ＥＣと称する）層６１、６２、６３と、透明電極５１、５２、５３、５４とを有する。ＥＣ層６１～６３は、金属酸化物等のエレクトロクロミック材料を用いて形成される。透明電極５１～５４は、例えばＩＴＯ（酸化インジウムスズ）等により形成される。ＥＣ層６１と透明電極５２との間、ＥＣ層６２と透明電極５３との間、及びＥＣ層６３と透明電極５４との間には、絶縁膜７３がそれぞれ設けられる。また、波長可変フィルタ７２には、不図示の電解質層（電解質膜）が設けられる。

　透明電極５１は、図３（ｂ）に明示したように、Ｘ方向に、即ち行方向に配列された複数のＥＣ層６１の一方の面を覆うように、行方向に配列された複数のＥＣ層毎に、配置される。図２に示した例では、画素１０の配列は、１２行であるので、透明電極５１は、１２本並置されている。透明電極５２及び透明電極５３は、透明電極５１と同様に、Ｘ方向に配置された複数のＥＣ層６２及びＥＣ層６３の一方の面を覆うように配置される。

　透明電極５４は、３つのＥＣ層６１、６２、６３に共通の電極で、ＥＣ層６３の他方の面側に配置される。共通透明電極５４は、図３（ｂ）に明示したように、Ｘ方向と交差するＹ方向、即ち列方向に配列された複数のＥＣ層６３に沿って、列方向に配列された複数のＥＣ層毎に、配置される。図２に示した例では、画素１０の配列は、１５列であるので、共通透明電極５４は、１５本並置されている。

　透明電極５１～５３および共通透明電極５４は、ＥＣ層６１、６２、６３に対してマトリクス状（網目状）に配置される電極となる。透明電極５１～５３は、フィルタ垂直駆動部４１に接続され、共通透明電極５４は、フィルタ水平駆動部４２に接続される。これにより、本実施の形態では、マトリクス状の電極を用いてＥＣ層６１、６２、６３の駆動制御を行うアクティブマトリクス駆動を行うことができる。

　ＥＣ層６１は、透明電極５１と共通透明電極５４とによる駆動信号の供給によって酸化還元反応を生じることによりＢ（青）を発色する。従って、ＥＣ層６１は、駆動信号の供給によって、入射光のうち、Ｂ（青）に対応する波長域の光を透過させる。ＥＣ層６２は、透明電極５２と共通透明電極５４とによる駆動信号の供給によって酸化還元反応を生じることによりＧ（緑）を発色する。従って、ＥＣ層６２は、駆動信号の供給によって、入射光のうち、Ｇ（緑）に対応する波長域の光を透過させる。ＥＣ層６３は、透明電極５３と共通透明電極５４とによる駆動信号の供給によって酸化還元反応を生じることによりＲ（赤）を発色する。従って、ＥＣ層６３は、駆動信号の供給によって、入射光のうち、Ｒ（赤）に対応する波長域の光を透過させる。ＥＣ層６１、６２、６３は、上述の駆動信号の供給を停止した場合は、一定時間の間は上記の発色が持続され、リセット信号を供給した場合は、入射する光のうちの全ての波長域の光を透過する透明（消色）の状態になる。

　上述のように、複数の波長可変フィルタ７２の各々は、Ｂ（青）を発色するＥＣ層６１、Ｇ（緑）を発色するＥＣ層６２、およびＲ（赤）を発色するＥＣ層６３の３つのフィルタにより構成される。３つのＥＣ層６１、６２、６３のいずれにも、駆動信号が供給されていない状態では、３層ＥＣ透過波長域は、Ｗ（白）となる。３つのＥＣ層６１、６２、６３の全てに駆動信号を供給すると、３層ＥＣ透過波長域は、ＢＫ（黒）となる。同様に、ＥＣ層６１のみに、ＥＣ層６２のみに、及びＥＣ層６３のみに、それぞれ駆動信号を供給した場合には、３層ＥＣ透過波長域は、それぞれＢ（青）、Ｇ（緑）、Ｒ（赤）になる。
　これにより、波長可変フィルタ７２は、ＥＣ層６１～６３の透過波長の組み合わせにより、Ｗ（白）、ＢＫ（黒）、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のいずれかの波長域の光を主に透過させることが可能となる。

　以下の説明において、波長可変フィルタ７２の３層ＥＣ透過波長域がＢ（青）になった画素をＢ画素と称し、３層ＥＣ透過波長域がＧ（緑）になった画素をＧ画素と称し、３層ＥＣ透過波長域がＲ（赤）になった画素をＲ画素と称する。即ち、波長可変フィルタ７２が、Ｂ（青）の色フィルタに制御された画素をＢ画素と称し、同様に、波長可変フィルタ７２が、Ｇ（緑）の色フィルタに制御された画素をＧ画素と、Ｒ（赤）の色フィルタに制御された画素をＲ画素と、称する。このように、各画素１０は、波長可変フィルタ７２を透過する波長が適宜変更され、その波長の光成分を光電変換する。各画素１０の光電変換部７５は、波長可変フィルタ７２を透過した光を光電変換する。光電変換部７５は、波長可変フィルタ７２を透過した被写体からの光を受光する受光部７５でもあり、光電変換部７５（受光部７５）は、入射光を光電変換して信号（電荷）を生成する。

　図２において、フィルタ垂直駆動部４１は、複数の波長可変フィルタ７２の行を選択して、即ち、複数の透明電極５１～５３のうちの所定の透明電極を選択してそれに駆動信号を供給する。フィルタ水平駆動部４２は、複数の波長可変フィルタ７２の列を選択して、即ち、複数の共通透明電極５４のうちの所定の共通透明電極を選択してそれに駆動信号を供給する。こうして、フィルタ垂直駆動部４１によって選択された透明電極５１～５３とフィルタ水平駆動部４２によって選択された共通透明電極５４との両方に関するＥＣ層が発色する。

　例えば、図３（ｂ）において、フィルタ水平駆動部４２が３本の共通透明電極５４のうちの右端の共通透明電極５４を選択して駆動信号を供給し、更にフィルタ垂直駆動部４１が９本の透明電極５１～５３のうち図３（ｂ）において上端の透明電極５１を選択して駆動信号を供給すると、右上端に位置するＥＣ層６１が発色する。また、フィルタ水平駆動部４２が同じ共通透明電極５４を選択して駆動信号を供給し、更にフィルタ垂直駆動部４１が図３（ｂ）において上端の透明電極５２を選択して駆動信号を供給すると、右上端のＥＣ層６２が発色する。また、フィルタ水平駆動部４２が同じ共通透明電極５４を選択して駆動信号を供給し、更にフィルタ垂直駆動部４１が図３（ｂ）において上端の透明電極５３を選択して駆動信号を供給すると、右上端のＥＣ層６３が発色する。

　図２において、制御部４７は、カメラ１のボディ制御部２１からの信号に基づいて、フィルタ垂直駆動部４１、フィルタ水平駆動部４２、画素垂直駆動部４３、カラム回路部４４、水平走査部４５、および出力部４６を制御する。例えば、制御部４７は、ボディ制御部２１のフィルタ制御部２１４からの指示に応じて、フィルタ垂直駆動部４１およびフィルタ水平駆動部４２を制御する。制御部４７は、フィルタ垂直駆動部４１およびフィルタ水平駆動部４２から各波長可変フィルタ７２に入力される信号を制御することにより、各波長可変フィルタ７２の透過波長を設定（変更）する。画素垂直駆動部４３は、制御部４７からの信号に基づいて、制御信号を各画素１０に供給して、各画素１０の動作を制御する。

　カラム回路部４４は、複数のアナログ／デジタル変換部（ＡＤ変換部）を含んで構成され、各画素１０から垂直信号線を介して入力された画素信号をデジタル信号に変換し、変換後のデジタル信号を水平走査部４５に出力する。水平走査部４５は、カラム回路部４４から出力された画素信号を、出力部４６に順次出力する。出力部４６は、不図示の信号処理部を有し、水平走査部４５から入力された信号に対して相関二重サンプリングや信号量を補正する処理等の信号処理を行い、カメラ１のボディ制御部２１に出力する。出力部４６は、ＬＶＤＳやＳＬＶＳ等の高速インタフェースに対応した入出力回路等を有し、信号をボディ制御部２１に高速に伝送する。

　本実施の形態によるカメラ１は、上述したように、撮像素子４から出力される各画素の画素信号に基づいて、被写体像の空間周波数成分を検出する。そして、カメラ１は、空間周波数成分に基づいて波長可変フィルタ７２を制御して、画素の色配列を切り替えることによって、撮像素子４の解像度を変更する。具体的には、フィルタ制御部２１４は、制御モードを変更して、例えば、図４（ａ）の画素の色配列と、図５（ａ）の画素の色配列と、図６（ａ）の画素の色配列とを切り替える。

　フィルタ制御部２１４は、第１、第２、及び第３のフィルタ制御モードを有する。フィルタ制御部２１４は、以下に詳述するようにＲ画素、Ｇ画素、及びＢ画素を、第１のフィルタ制御モードでは図４（ａ）の色配列に配置し、第２のフィルタ制御モードでは図５（ａ）の色配列に配置し、第３のフィルタ制御モードでは図６（ａ）の色配列に配置する。即ち、フィルタ制御部２１４は、Ｒ画素、Ｇ画素、及びＢ画素の位置を制御する。詳細は後述するが、図４（ａ）に示した画素の色配列では、水平方向および垂直方向にバランスのよい解像度となる。また、図５（ａ）に示した画素の色配列では、水平方向に高い解像度となり、図６（ａ）に示した画素の色配列では、垂直方向に高い解像度となる。フィルタ制御部２１４は、被写体像の空間周波数成分に基づき、第１、第２、及び第３のフィルタ制御モードのいずれかを選択して、撮影対象となる被写体に適した解像度が得られる画素の色配列に切り替える。

　フィルタ制御部２１４は、例えば、水平方向及び垂直方向の各々の空間周波数の高周波成分がほぼ等しい被写体像を撮像する場合は、第１のフィルタ制御モードを実行し、図４（ａ）の水平方向及び垂直方向にバランスのよい解像度が得られる画素の色配列に設定する。フィルタ制御部２１４は、水平方向の空間周波数の高周波成分が垂直方向の空間周波数の高周波成分よりも所定量多い被写体像を撮像する場合は、第２のフィルタ制御モードを実行し、図５（ａ）の水平方向に高い解像度が得られる画素の色配列に設定する。また、フィルタ制御部２１４は、例えば、垂直方向の空間周波数の高周波成分が水平方向の空間周波数の高周波成分よりも所定量多い被写体像を撮像する場合は、第３のフィルタ制御モードを実行し、図６（ａ）の垂直方向に高い解像度が得られる画素の色配列に設定する。以下では、フィルタ制御部２１４の各制御モードにおける画素の色配列について詳細に説明する。

　図４（ａ）は、フィルタ制御部２１４の第１のフィルタ制御モードにおけるＲ画素、Ｇ画素、Ｂ画素の色配列を示し、図４（ｂ）は、図４（ａ）の色配列の場合に解像可能な空間周波数範囲を示す図である。図４（ａ）においては、上述したように、Ｒ画素１０は、波長可変フィルタ７２がＲ（赤）フィルタに制御された画素１０である。Ｇ画素１０は、波長可変フィルタ７２がＧ（緑）フィルタに制御された画素１０であり、Ｂ画素１０は、波長可変フィルタ７２がＢ（青）フィルタに制御された画素１０である。

　図４（ａ）では、制御部４７は、ボディ制御部２１のフィルタ制御部２１４からの指示に応じて各波長可変フィルタ７２を制御して、Ｒ画素１０と、Ｇ画素１０と、Ｂ画素１０とをベイヤー配列に従って配置させている。Ｒ画素１０とＧ画素１０とが行方向に交互にピッチｄ、即ち間隔ｄで配置された画素列と、Ｇ画素１０とＢ画素１０とが行方向に交互にピッチｄ、即ち間隔ｄで配置された画素列とが列方向に交互に並べられている。ベイヤー配列では、水平方向（行方向）のＲ画素同士の間隔（２ｄ）は、垂直方向（列方向）のＲ画素同士の間隔（２ｄ）と同一である。同様に、水平方向（行方向）のＧ画素同士の間隔（２ｄ）は、垂直方向（列方向）のＧ画素同士の間隔（２ｄ）と同一であり、水平方向（行方向）のＢ画素同士の間隔（２ｄ）は、垂直方向（列方向）のＢ画素同士の間隔（２ｄ）と同一である。

　図４（ｂ）は、図４（ａ）のベイヤー配列の場合の解像可能な空間周波数範囲を示している。図４（ｂ）において、縦軸ｆｙは垂直方向の空間周波数を示しており、横軸ｆｘは水平方向の空間周波数を示している。図４（ｂ）では、Ｇ画素１０の解像可能な空間周波数範囲が実線で示され、Ｒ画素１０、Ｂ画素１０の解像可能な空間周波数範囲が点線で示されている。このように、ベイヤー配列では、Ｇ画素１０の解像可能な空間周波数範囲は、水平方向と垂直方向とで同一になり、Ｒ画素１０、Ｂ画素１０の解像可能な空間周波数範囲も、水平方向と垂直方向とで同一になる。

　このような図４（ａ）のＲ画素、Ｇ画素、及びＢ画素のベイヤー配列は、記録用の画像データを生成しその画像データをメモリ２３に記録する第２撮影モード時において、周波数特性検出部２１３によって第３の空間周波数特性が検出された場合に、使用される。また、図４（ａ）のベイヤー配列は、スルー画像、即ち表示用の画像データを生成し表示部２４に表示する第１撮影モード時には、被写体像の空間周波数特性に関係なく、使用される。

　図５（ａ）は、フィルタ制御部２１４の第２のフィルタ制御モードにおけるＲ画素、Ｇ画素、及びＢ画素の水平重視の画素の色配列を示す図である。図５（ｂ）は、図５（ａ）の色配列の場合に解像可能な空間周波数範囲を示している。

　図５（ａ）では、Ｒ画素１０が行方向に連続して間隔（ピッチ）ｄで配置された画素列と、Ｇ画素１０が行方向に連続して間隔ｄで配置された画素列と、Ｂ画素１０が行方向に連続して間隔ｄで配置された画素列とが列方向に繰り返し並べられている。従って、Ｒ画素１０、Ｇ画素１０、およびＢ画素１０の各々は、列方向において間隔３ｄで配置されている。このようなＲ画素、Ｇ画素、及びＢ画素の水平重視の画素の色配列は、制御部４７が、ボディ制御部２１のフィルタ制御部２１４からの指示に応じて各波長可変フィルタ７２を制御することによって達成される。

　以上のように、Ｒ画素、Ｇ画素、及びＢ画素の各々は、行方向に間隔ｄで配置され、列方向に間隔３ｄで配置されるので、このような画素の色配列のＲ画素、Ｇ画素及びＢ画素の解像可能な空間周波数範囲は、図５（ｂ）に示したように、水平方向（行方向）の解像度が垂直方向（列方向）の解像度よりも高くなる。
　このような図５（ａ）のＲ画素、Ｇ画素、及びＢ画素の水平重視の画素の色配列は、第２撮影モード時に、周波数特性検出部２１３によって第１の空間周波数特性が検出された場合に使用される。

　図６（ａ）は、フィルタ制御部２１４の第３のフィルタ制御モードにおけるＲ画素、Ｇ画素、及びＢ画素の垂直重視の画素の色配列を示す図である。図６（ｂ）は、図６（ａ）の色配列の場合に解像可能な空間周波数範囲を示している。

　図６（ａ）では、Ｒ画素１０が列方向に連続して間隔ｄで配置された画素列と、Ｇ画素１０が列方向に連続して間隔ｄで配置された画素列と、Ｂ画素１０が列方向に連続して間隔ｄで配置された画素列とが行方向に繰り返し並べられている。従って、Ｒ画素１０、Ｇ画素１０、およびＢ画素１０の各々は、行方向（水平方向）において間隔３ｄで配置されている。このようなＲ画素、Ｇ画素、及びＢ画素の垂直重視の画素の色配列は、制御部４７が、ボディ制御部２１のフィルタ制御部２１４からの指示に応じて各波長可変フィルタ７２を制御することによって達成される。

　以上のように、Ｒ画素、Ｇ画素、及びＢ画素の各々は、列方向に間隔ｄで配置され、行方向に間隔３ｄで配置されるので、このような画素の色配列のＲ画素、Ｇ画素及びＢ画素の解像可能な空間周波数範囲は、図６（ｂ）に示したように、垂直方向（列方向）の解像度が水平方向（行方向）の解像度よりも高くなる。
　このような図６（ａ）のＲ画素、Ｇ画素、及びＢ画素の垂直重視の画素の色配列は、第２撮影モード時に周波数特性検出部２１３によって第２の空間周波数特性が検出された場合に使用される。

　前述した周波数特性検出部２１３は、被写体像の各色成分についての空間周波数の高周波成分を算出する。具体的には、周波数特性検出部２１３は、撮像素子４から出力されるＲ、Ｇ、およびＢ画素の画素信号、即ちＲ成分、Ｇ成分、およびＢ成分の画素信号に基づき、Ｒ色、Ｇ色、及びＢ色に関する水平方向の高周波成分と垂直方向の高周波成分とをそれぞれ算出する。図４（ａ）に示すベイヤー配列の場合は、撮像素子４は、水平方向の間隔２ｄ毎のＲ成分の画素信号、水平方向の間隔２ｄ毎のＧ成分の画素信号、および水平方向の間隔２ｄ毎のＢ成分の画素信号を生成する。また、撮像素子４は、垂直方向の間隔２ｄ毎のＲ成分の画素信号、垂直方向の間隔２ｄ毎のＧ成分の画素信号、および垂直方向の間隔２ｄ毎のＢ成分の画素信号を生成する。

　周波数特性検出部２１３は、水平方向の間隔２ｄ毎のＲ成分の画素信号に対して高速フーリエ変換処理を行って、Ｒ成分についての水平方向の高周波成分（空間周波数１/２ｄの信号成分等）を算出する。同様に、周波数特性検出部２１３は、水平方向の間隔２ｄ毎のＢ成分の画素信号に対して高速フーリエ変換処理を行って、Ｂ成分についての水平方向の高周波成分（空間周波数１/２ｄの信号成分等）を算出する。

　また、周波数特性検出部２１３は、垂直方向の間隔２ｄ毎のＲ成分の画素信号に対して高速フーリエ変換処理を行って、Ｒ成分についての垂直方向の高周波成分（空間周波数１/２ｄの信号成分等）を算出する。同様に、周波数特性検出部２１３は、垂直方向の間隔２ｄ毎のＢ成分の画素信号に対して高速フーリエ変換処理を行って、Ｂ成分についての垂直方向の高周波成分（空間周波数１/２ｄの信号成分等）を算出する。

　周波数特性検出部２１３は、Ｇ成分についての高周波成分を算出する場合は、Ｇ成分の画素信号に対して補間処理を行うことによって、隣り合うＧ画素の間に位置するＲ画素１０またはＢ画素１０の位置におけるＧ成分の画素信号を生成する。即ち、周波数特性検出部２１３は、補間処理を行うことによって、水平方向の間隔ｄ毎のＧ成分の画素信号を取得し、垂直方向の間隔ｄ毎のＧ成分の画素信号を取得する。

　以下に、Ｇ成分の水平方向の補間処理について説明する。周波数特性検出部２１３は、図４（ａ）においてＲ画素とＧ画素とが水平方向に交互に配置された画素列については、Ｒ画素の位置に対応するＧ成分の画素信号を、そのＲ画素の上下に位置する２つのＧ画素の画素信号を用いて補間する。同様に、Ｇ画素とＢ画素とが水平方向に交互に配置された画素列については、Ｂ画素の位置に対応するＧ成分の画素信号は、Ｂ画素の上下に位置する２つのＧ画素の画素信号を用いて補間される。

　以下に、Ｇ成分の垂直方向の補間処理について説明する。周波数特性検出部２１３は、図４（ａ）においてＲ画素とＧ画素とが垂直方向に交互に配置された画素列については、Ｒ画素の位置に対応するＧ成分の画素信号を、そのＲ画素の左右に位置する２つのＧ画素の画素信号を用いて補間する。同様に、Ｇ画素とＢ画素とが垂直方向に交互に配置された画素列については、Ｂ画素の位置に対応するＧ成分の画素信号は、Ｂ画素の左右に位置する２つのＧ画素の画素信号を用いて補間される。なお、補間処理においてＧ成分の画素信号を算出する場合は、２つの画素の画素信号を平均することで算出してもよいし、２つの画素の画素信号を重み付け平均することで算出してもよい。

　周波数特性検出部２１３は、上述した補間処理を行うことによって、水平方向の間隔ｄ毎のＧ成分の画素信号を取得し、垂直方向の間隔ｄ毎のＧ成分の画素信号を取得する。周波数特性検出部２１３は、水平方向の間隔ｄ毎のＧ成分の画素信号に対して高速フーリエ変換処理を行って、Ｇ成分についての水平方向の高周波成分（空間周波数１/ｄの信号成分等）を算出する。また、周波数特性検出部２１３は、垂直方向の間隔ｄ毎のＧ成分の画素信号に対して高速フーリエ変換処理を行って、Ｇ成分についての垂直方向の高周波成分（空間周波数１/ｄの信号成分等）を算出する。

　このように、周波数特性検出部２１３は、水平方向および垂直方向について、色成分ごとの高周波成分を算出する。周波数特性検出部２１３は、算出した高周波成分に基づいて、空間周波数特性の判定処理を行う。例えば、周波数特性検出部２１３は、Ｒ成分とＧ成分とＢ成分に関する水平方向の高周波成分を加算して水平方向の加算高周波成分を算出し、同様に、Ｒ成分とＧ成分とＢ成分に関する垂直方向の高周波成分を加算して垂直方向の加算高周波成分を算出する。周波数特性検出部２１３は、水平方向の加算高周波成分と垂直方向の加算高周波成分とを比較して、空間周波数特性の判定処理を行う。なお、色成分ごとに高周波成分を算出する代わりに、ＲＧＢの３つの色成分を混合して高周波成分を算出するようにしてもよい。

　なお、周波数特性検出部２１３は、行方向及び列方向に配置された隣接画素の画素信号の差分をそれぞれ算出して、それらの差分を積算して水平方向及び垂直方向の空間周波数の高周波成分をそれぞれ算出する場合にも、色成分毎の高周波成分を算出してもよい。この場合にも、Ｇ成分の高周波成分を算出する際に、隣り合うＧ画素の間のＲ画素又はＢ画素の位置に対応するＧ成分の画素信号を、上述のように補間により算出する。

　フィルタ制御部２１４は、被写体像の空間周波数特性に基づき、第１、第２、及び第３のフィルタ制御モードのいずれかを選択し、画素の色配列をベイヤー配列、水平重視配列、および垂直重視配列のいずれかに切り替える。

　このように、本実施の形態では、カメラ１は、撮像素子４の波長可変フィルタ７２を制御することによって、Ｒ画素、Ｇ画素、及びＢ画素の位置を制御し、水平及び垂直方向の解像度を変更することができる。即ち、カメラ１は、例えば、図４に示した水平方向および垂直方向にバランスのよい解像度と、図５に示した水平方向に高い解像度と、図６に示した垂直方向に高い解像度とを切り替えることができる。

　図７は、第１の実施の形態に係るカメラ１の動作の一例を示したフローチャートである。この図７のフローチャートを参照して、カメラ１の動作例について説明する。図７に示す処理は、例えばユーザによりレリーズボタンが半押しされて、撮影モード設定部２１１によって第１撮影モードに設定された場合に開始される。

　ステップＳ１００において、フィルタ制御部２１４は、第１のフィルタ制御モードを実行し、撮像素子４の制御部４７を介して各画素１０の波長可変フィルタ７２を制御して、図４（ａ）に示すように、Ｒ画素１０と、Ｇ画素１０と、Ｂ画素１０とをベイヤー配列に従って配置させる。

　ステップＳ１１０において、ボディ制御部２１は、撮像素子４に撮像を行わせる。撮像素子４は、被写体からの光を光電変換し、各画素１０の画素信号をボディ制御部２１に出力する。第１の画像データ生成部２１５は、撮像素子４から出力される画素信号に対して画像処理を行って、表示用の画像データを生成する。表示部２４は、表示用の画像データに基づいて、スルー画像を表示する。

　ステップＳ１２０において、焦点検出部２１２は、撮像素子４からの画素信号に基づき、被写体像のコントラスト評価値を順次算出する。焦点検出部２１２は、コントラスト評価値が最大値となるときの焦点調節レンズの位置に関する信号を生成して、レンズ制御部３２に出力する。レンズ制御部３２は、焦点調節レンズを合焦位置に移動して焦点調節を行う。

　焦点調節レンズが合焦位置に移動した後に、ステップＳ１３０において、周波数特性検出部２１３は、撮像素子４から出力される各画素信号に基づき、水平方向における被写体像の高周波成分と垂直方向における被写体像の高周波成分とをそれぞれ算出する。なお、ステップＳ１３０の高周波成分の算出は、必ずしもステップＳ１２０のＡＦ動作の後に行う必要はなく、ＡＦ動作の前、又はＡＦ動作と同時に行ってもよいが、合焦状態の被写体像の高周波成分を算出するためにはＡＦ動作の後に行うのが望ましい。

　ステップＳ１４０において、撮影モード設定部２１１は、ユーザによるレリーズボタンの全押し操作を検知すると、第２撮影モードに設定する。

　ステップＳ１５０において、周波数特性検出部２１３は、水平方向における被写体像の空間周波数の高周波成分が垂直方向における被写体像の空間周波数の高周波成分よりも所定量Ｔ１以上多いか否かを判定する。水平方向の高周波成分が垂直方向の高周波成分よりも所定量Ｔ１以上多い場合は、周波数特性検出部２１３は被写体像の空間周波数特性が第１の空間周波数特性であると判定して、ステップＳ１６０へ進み、ステップＳ１５０で否定判定されると、ステップＳ１７０へ進む。ステップＳ１６０において、フィルタ制御部２１４は、周波数特性検出部２１３による第１の空間周波数特性の検出に基づき、第２のフィルタ制御モードを実行する。この第２のフィルタ制御モードによって、Ｒ画素１０、Ｇ画素１０、およびＢ画素１０は、図５（ａ）に示すように配置されて、水平方向に高い解像度となる画素の色配列（水平重視配列）へ切り替えられる。

　ステップＳ１７０において、周波数特性検出部２１３は、垂直方向における被写体像の空間周波数の高周波成分が水平方向における被写体像の空間周波数の高周波成分よりも所定量Ｔ１以上多いか否かを判定する。垂直方向の高周波成分が水平方向の高周波成分よりも所定量Ｔ１以上多い場合は、周波数特性検出部２１３は被写体像の空間周波数特性が第２の空間周波数特性であると判定してステップＳ１８０へ進む。ステップＳ１８０において、フィルタ制御部２１４は、周波数特性検出部２１３による第２の空間周波数特性の検出に基づき、第３のフィルタ制御モードを実行する。この第３のフィルタ制御モードによって、Ｒ画素１０、Ｇ画素１０、およびＢ画素１０は、図６（ａ）に示すように配置されて、垂直方向に高い解像度となる画素の色配列（垂直重視配列）へ切り替えられる。

　ステップＳ１７０で否定判定されると、周波数特性検出部２１３は被写体像の空間周波数特性が第３の空間周波数特性であると判定し、即ち、水平方向における高周波成分と垂直方向における高周波成分とがほぼ等しいと判定し、ステップＳ１９０へ進む。ステップＳ１９０においては、フィルタ制御部２１４は、周波数特性検出部２１３による第３の空間周波数特性の検出に基づき、第１のフィルタ制御モードを実行する。この第１のフィルタ制御モードによって、Ｒ画素１０、Ｇ画素１０、およびＢ画素１０は、図４（ａ）に示すようにベイヤー配列に従って配置される。

　ステップＳ２００において、ボディ制御部２１は、撮像素子４に本撮像を行わせる。撮像素子４は、生成した各画素１０の画素信号を、ボディ制御部２１に出力する。第２の画像データ生成部２１６は、撮像素子４から出力される画素信号に対して画像処理を行って、記録用の画像データを生成する。メモリ２３は、記録用の画像データを記録する。このように、ステップＳ２００の本撮像は、周波数特性検出部２１３が検出した被写体像の空間周波数特性に基づく図５（ａ）、図６（ａ）、又は図４（ａ）の画素の色配列で、行われる。

　上述した実施の形態によれば、次の作用効果が得られる。
（１）本実施の形態による撮像装置１では、フィルタ制御部２１４は、解析部２２での被写体像の解析結果に基づいて、撮像部４（撮像素子４）の複数の画素１０の波長可変フィルタ７２の透過波長を制御し、画素の位置を制御する。このため、被写体に応じて撮像素子４の解像度を変更することができる。
（２）本実施の形態による撮像装置１では、制御部２１は、受光部７５（光電変換部７５）により生成された電荷による画素信号に基づいて、波長可変フィルタ７２の透過波長を制御し、画素の色配列を切り替える。このため、被写体に応じて撮像素子４の解像度を変更することができる。

（３）本実施の形態による撮像装置１では、周波数特性検出部２１３は、被写体像の第１の空間周波数成分及び第２の空間周波数成分を検出し、フィルタ制御部２１４は、第１及び第２の空間周波数成分に基づき、波長可変フィルタ７２を制御する。このようにしたので、被写体像の空間周波数成分に基づいて、画素の色配列を切り替えることができる。この結果、被写体に応じて解像度を変更することができる。

（第２の実施の形態）
　図面を参照して、第２の実施の形態に係る撮像装置を説明する。第２の実施の形態の撮像装置は、同色の画素から構成される画素ブロックの大きさを変更すると共に、被写体像の空間周波数特性に基づき画素の色配列を変更する処理を行う。図８は、第２の実施の形態に係る撮像装置の一例であるカメラ１の構成例を示す図である。なお、図中、第１の実施の形態と同一もしくは相当部分には、同一の参照番号を付し、相違点を主に説明する。

　カメラ１のボディ制御部２１は、領域変更部２１７と、加算制御部２１８とを有する。　領域変更部２１７は、互いに隣り合う複数の画素１０の波長可変フィルタ７２の透過波長域が同一になるように撮像素子４を制御することによって、画素ブロックの大きさを変更することができる。即ち、領域変更部２１７は、画素ブロックの大きさを、２画素×２画素のＧ画素ブロック、４画素×４画素のＧ画素ブロック、又は６画素×６画素のＧ画素ブロック等のように変更することができる。同様に、領域変更部２１７は、画素ブロックの大きさを、２画素×２画素のＲ画素ブロック（Ｂ画素ブロック）、４画素×４画素のＲ画素ブロック（Ｂ画素ブロック）、又は６画素×６画素のＲ画素ブロック（Ｂ画素ブロック）等のように変更することができる。

　一般に、カメラ１で撮影されメモリ２３に記録された画像データを用いて外部の表示装置で再生表示する際に、外部の表示装置の表示画素の数と撮像素子４の画素数とがほぼ同等である場合と、外部の表示装置の表示画素の数が撮像素子４の画素数よりも少ない場合とが存在する。
　領域変更部２１７は、例えば、画像を表示する外部の表示装置の表示画素数が撮像素子４の画素数とほぼ同等である場合は、画素ブロックが１つの画素１０によって構成されるように画素ブロックの大きさを決定する。即ち、上述の第１の実施の形態は、画素ブロックが１画素によって構成される例である。
　また、領域変更部２１７は、外部の表示装置の画素数が撮像素子４の画素数に比べて少ない場合は、画素ブロックが複数の画素（２画素×２画素など）によって構成されるように画素ブロックの大きさを決定する。

　加算制御部２１８は、領域変更部２１７により決定された画素ブロックに基づき、撮像素子４の動作を制御する。加算制御部２１８は、画素ブロックが複数の画素から構成された場合に、画素ブロックを構成する複数の画素の信号を加算する加算処理を、撮像素子４に行わせる。具体的には、例えば、撮像素子４は、加算処理として、画素ブロック内の複数の画素１０の各々のフローティングディフュージョンを接続するスイッチをオンオフ制御し、複数の画素１０の信号を平均化する処理を行う。撮像素子４は、複数の画素１０の信号を加算した画素信号を生成して、ボディ制御部２１に出力する。なお、撮像素子４内において加算処理を行う代わりに、撮像素子４から出力された画素信号を撮像素子４の外部で加算処理するようにしてもよい。

　第１の画像データ生成部２１５は、第１撮影モードの場合に、画素ブロック内の複数の画素の信号を加算した加算画素信号に対して各種の画像処理を行って、表示用の画像データを生成する。表示部２４は、第１の画像データ生成部２１５により生成された表示用の画像データに基づいて画像を表示する。

　第２の画像データ生成部２１６は、第２撮影モードの場合に、画素ブロック内の複数の画素の信号を加算した加算画素信号に対して各種の画像処理を行って、記録用の画像データを生成する。第２の画像データ生成部２１６は、生成した記録用の画像データをメモリ２３に記録させる。

　本実施の形態では、フィルタ制御部２１４は、領域変更部２１７によって決定されたＲ画素ブロック、Ｇ画素ブロック、Ｂ画素ブロックの色配列を、フィルタ制御モードに基づき、切り替える。即ち、フィルタ制御部２１４は、以下に詳述するようにＲ画素ブロック、Ｇ画素ブロック、及びＢ画素ブロックを、第１のフィルタ制御モードでは図９（ａ）のベイヤー配列に配置する。同様に、フィルタ制御部２１４は、Ｒ画素ブロック、Ｇ画素ブロック、及びＢ画素ブロックを、第２のフィルタ制御モードでは図１０（ａ）の水平重視配列に配置し、第３のフィルタ制御モードでは図１１（ａ）の垂直重視配列に配置する。フィルタ制御部２１４は、第１、第２、及び第３のフィルタ制御モードのいずれかを選択して、撮影対象となる被写体に適した解像度が得られる画素の色配列に切り替える。以下では、フィルタ制御部２１４の各制御モードにおける画素の色配列について詳細に説明する。

　図９（ａ）は、フィルタ制御部２１４の第１のフィルタ制御モードにおける画素の色配列を示し、図９（ｂ）は、図９（ａ）の色配列の場合に解像可能な空間周波数範囲を示す図である。図９（ａ）では、撮像素子４の制御部４７は、２×２の４つのＲ画素１０を有するＲ画素ブロック２０と、２×２の４つのＧ画素１０を有するＧ画素ブロック２０と、２×２の４つのＢ画素１０を有するＢ画素ブロック２０とをベイヤー配列に従って配置させている。

　Ｒ画素ブロック２０とＧ画素ブロック２０とが行方向に交互に間隔２ｄで配置された画素列と、Ｇ画素ブロック２０とＢ画素ブロック２０とが行方向に交互に間隔２ｄで配置された画素列とが列方向に交互に並べられている。ベイヤー配列では、水平方向（行方向）のＲ画素ブロック２０同士の間隔（４ｄ）は、垂直方向（列方向）のＲ画素ブロック２０同士の間隔（４ｄ）と同一である。同様に、水平方向（行方向）のＧ画素ブロック２０同士の間隔（４ｄ）は、垂直方向（列方向）のＧ画素ブロック２０同士の間隔（４ｄ）と同一であり、水平方向（行方向）のＢ画素ブロック２０同士の間隔（４ｄ）は、垂直方向（列方向）のＢ画素ブロック２０同士の間隔（４ｄ）と同一である。

　図９（ｂ）は、図９（ａ）のベイヤー配列のＲ画素ブロック２０、Ｇ画素ブロック２０、Ｂ画素ブロック２０の解像可能な空間周波数範囲を示している。図９（ｂ）では、Ｇ画素ブロック２０の解像可能な空間周波数範囲が実線で示され、Ｒ画素ブロック２０、Ｂ画素ブロック２０の解像可能な空間周波数範囲が点線で示されている。このように、ベイヤー配列では、Ｇ画素ブロック２０の解像可能な空間周波数範囲は、水平方向と垂直方向とで同一になり、Ｒ画素ブロック２０、Ｂ画素ブロック２０の解像可能な空間周波数範囲は、水平方向と垂直方向とで同一になる。
　このようなベイヤー配列は、第１の実施の形態と同様に、第１撮影モード時に、被写体像の空間周波数特性に関係なく使用され、第２撮影モード時には、周波数特性検出部２１３によって第３の空間周波数特性が検出された場合に使用される。

　図１０（ａ）は、フィルタ制御部２１４の第２のフィルタ制御モードにおける画素の色配列を示す図である。図１０（ｂ）は、図１０（ａ）の色配列の場合に解像可能な空間周波数範囲を示している。

　図１０（ａ）では、Ｒ画素ブロック２０が行方向に連続して間隔２ｄで配置された画素列と、Ｇ画素ブロック２０が行方向に連続して間隔２ｄで配置された画素列と、Ｂ画素ブロック２０が行方向に連続して間隔２ｄで配置された画素列とが列方向に繰り返し並べられている。従って、Ｒ画素ブロック２０、Ｇ画素ブロック２０、およびＢ画素ブロック２０の各々は、列方向において間隔６ｄで配置されている。

　以上のように、Ｒ画素ブロック２０、Ｇ画素ブロック２０、及びＢ画素ブロック２０の各々は、行方向に間隔２ｄで配置され、列方向に間隔６ｄで配置されるので、このような画素の色配列の場合の解像可能な空間周波数範囲は、図１０（ｂ）に示したように、水平方向（行方向）の解像度が垂直方向（列方向）の解像度よりも高くなる。
　このような図１０（ａ）のＲ画素ブロック、Ｇ画素ブロック、及びＢ画素ブロックの水平重視配列は、第２撮影モード時に、周波数特性検出部２１３によって第１の空間周波数特性が検出された場合に使用される。

　図１１（ａ）は、フィルタ制御部２１４の第３のフィルタ制御モードにおける画素の色配列を示す図である。図１１（ｂ）は、図１１（ａ）の色配列の場合に解像可能な空間周波数範囲を示している。

　図１１（ａ）では、Ｒ画素ブロック２０が列方向に連続して間隔２ｄで配置された画素列と、Ｇ画素ブロック２０が列方向に連続して間隔２ｄで配置された画素列と、Ｂ画素ブロック２０が列方向に連続して間隔２ｄで配置された画素列とが行方向に繰り返し並べられている。従って、Ｒ画素ブロック２０、Ｇ画素ブロック２０、およびＢ画素ブロック２０の各々は、行方向において間隔６ｄで配置されている。

　以上のように、Ｒ画素ブロック２０、Ｇ画素ブロック２０、及びＢ画素ブロック２０の各々は、列方向に間隔２ｄで配置され、行方向に間隔６ｄで配置されるので、このような画素の色配列の場合の解像可能な空間周波数範囲は、図１１（ｂ）に示したように、垂直方向（列方向）の解像度が水平方向（行方向）の解像度よりも高くなる。
　このような図１１（ａ）のＲ画素ブロック、Ｇ画素ブロック、及びＢ画素ブロックの垂直重視配列は、第２撮影モード時に周波数特性検出部２１３によって第２の空間周波数特性が検出された場合に使用される。

　次に、本実施の形態のカメラ１の動作を説明する。本実施の形態のカメラ１は、図７のフローチャートと同様の処理を行う。ステップＳ１００においては、カメラ１は、第１のフィルタ制御モードを実行し、図９（ａ）に示すように、画素の色配列をベイヤー配列とする。ステップＳ１５０からステップＳ１９０においては、カメラ１は、被写体像の空間周波数特性に基づき画素の色配列を変更する処理を行う。カメラ１は、第１の空間周波数特性を検出した場合は、第２のフィルタ制御モードを実行して画素の色配列を図１０（ａ）に示す水平重視配列とし、第２の空間周波数特性を検出した場合は、第３のフィルタ制御モードを実行して画素の色配列を図１１（ａ）に示す垂直重視配列とする。カメラ１は、第１及び第２の空間周波数特性を検出しない場合は、画素の色配列をベイヤー配列とする。

　このように、本実施の形態では、カメラ１は、画素ブロックの大きさを決定すると共に、撮像素子４の波長可変フィルタ７２を制御することによって、水平方向及び垂直方向の解像度を変更することができる。即ち、カメラ１は、例えば、図９に示した水平方向および垂直方向にバランスのよい解像度と、図１０に示した水平方向に高い解像度と、図１１に示した垂直方向に高い解像度とを切り替えることができる。

（第３の実施の形態）
　図面を参照して、第３の実施の形態に係る撮像装置を説明する。第３の実施の形態と第２の実施の形態との主な相違は、以下の通りである。第２の実施の形態の場合の水平重視配列では、図１０（ａ）に示したように、行方向におけるＲ画素ブロックの間隔２ｄ、Ｇ画素ブロックの間隔２ｄ、およびＢ画素ブロックの間隔２ｄは互いに同一である。同様に、列方向におけるＲ画素ブロックの間隔６ｄ、Ｇ画素ブロックの間隔６ｄ、およびＢ画素ブロックの間隔６ｄも、互いに同一である。また、第２の実施の形態の場合の垂直重視配列でも、図１１（ａ）に示したように、列方向におけるＲ画素ブロックの間隔２ｄ、Ｇ画素ブロックの間隔２ｄ、およびＢ画素ブロックの間隔２ｄも互いに同一である。同様に、行方向におけるＲ画素ブロックの間隔６ｄ、Ｇ画素ブロックの間隔６ｄ、およびＢ画素ブロックの間隔６ｄも、互いに同一である。
　第３の実施の形態の場合の水平重視配列および垂直重視配列では、Ｇ画素ブロック同士の間隔と、Ｒ画素ブロック同士の間隔およびＢ画素ブロック同士の間隔とが異なっている。その他の構成は、第２の実施の形態と同一である。

　本実施の形態では、フィルタ制御部２１４は、Ｒ画素ブロック２０、Ｇ画素ブロック２０、及びＢ画素ブロック２０を、第１のフィルタ制御モードでは第２の実施の形態の場合と同様に、図９（ａ）のベイヤー配列に配置する。同様に、フィルタ制御部２１４は、Ｒ画素ブロック２０、Ｇ画素ブロック２０、及びＢ画素ブロック２０を、第２のフィルタ制御モードでは図１２（ａ）の水平重視配列に配置し、第３のフィルタ制御モードでは図１３（ａ）の垂直重視配列に配置する。

　図１２（ａ）は、フィルタ制御部２１４の第２のフィルタ制御モードにおける水平重視の画素の色配列を示す図である。図１２（ｂ）は、図１２（ａ）の色配列の場合に解像可能な空間周波数範囲を示している。

　図１２（ａ）では、Ｒ画素ブロック２０とＢ画素ブロック２０とが行方向に交互に間隔２ｄで配置された画素列と、Ｇ画素ブロック２０が行方向に連続して間隔２ｄで配置された画素列とが列方向に繰り返し並べられている。従って、行方向には、Ｇ画素ブロック２０同士は、間隔２ｄで配置され、Ｒ画素ブロック２０同士及びＢ画素ブロック２０同士は、それぞれ間隔４ｄで配置されている。また、列方向には、Ｇ画素ブロック２０同士は、間隔４ｄで配置され、Ｒ画素ブロック２０同士及びＢ画素ブロック２０同士は、それぞれ間隔８ｄで配置されている。

　こうして、図１２（ａ）に示す水平重視の画素の色配列では、行方向のＲ画素ブロック２０同士の間隔４ｄは、列方向のＲ画素ブロック２０同士の間隔８ｄよりも小さくなる。同様に、行方向のＧ画素ブロック２０同士の間隔２ｄは、列方向のＧ画素ブロック２０同士の間隔４ｄよりも小さくなり、行方向のＢ画素ブロック２０同士の間隔４ｄは、列方向のＢ画素ブロック２０同士の間隔８ｄよりも小さくなる。また、行方向のＧ画素ブロック２０同士の間隔２ｄは、行方向のＲ画素ブロック２０同士の間隔４ｄおよびＢ画素ブロック２０同士の間隔４ｄの各々よりも小さくなる。更に、列方向のＧ画素ブロック２０同士の間隔４ｄは、列方向のＲ画素ブロック２０同士の間隔８ｄおよびＢ画素ブロック２０同士の間隔８ｄの各々よりも小さくなる。

　以上のような水平重視配列の場合の解像可能な空間周波数範囲は、図１２（ｂ）に示したように、水平方向（行方向）の解像度が垂直方向（列方向）の解像度よりも高くなる。
　このような図１２（ａ）のＲ画素ブロック、Ｇ画素ブロック、及びＢ画素ブロックの水平重視配列は、第２撮影モード時に、周波数特性検出部２１３によって第１の空間周波数特性が検出された場合に使用される。

　図１３（ａ）は、フィルタ制御部２１４の第３のフィルタ制御モードにおける垂直重視の画素の色配列を示す図である。図１３（ｂ）は、図１３（ａ）の色配列の場合に解像可能な空間周波数範囲を示している。

　図１３（ａ）では、Ｇ画素ブロック２０が列方向に連続して間隔２ｄで配置された画素列と、Ｒ画素ブロック２０とＢ画素ブロック２０とが列方向に交互に間隔２ｄで配置された画素列とが行方向に繰り返し並べられている。従って、列方向には、Ｇ画素ブロック２０同士は、間隔２ｄで配置され、Ｒ画素ブロック２０同士及びＢ画素ブロック２０同士は、それぞれ間隔４ｄで配置されている。また、行方向には、Ｇ画素ブロック２０同士は、間隔４ｄで配置され、Ｒ画素ブロック２０同士及びＢ画素ブロック２０同士は、それぞれ間隔８ｄで配置されている。

　こうして、図１３（ａ）に示す垂直重視の画素の色配列では、列方向のＲ画素ブロック２０同士の間隔４ｄは、行方向のＲ画素ブロック２０同士の間隔８ｄよりも小さくなる。同様に、列方向のＧ画素ブロック２０同士の間隔２ｄは、行方向のＧ画素ブロック２０同士の間隔４ｄよりも小さくなり、列方向のＢ画素ブロック２０同士の間隔４ｄは、行方向のＢ画素ブロック２０同士の間隔８ｄよりも小さくなる。また、列方向のＧ画素ブロック２０同士の間隔２ｄは、列方向のＲ画素ブロック２０同士の間隔４ｄおよびＢ画素ブロック２０同士の間隔４ｄの各々よりも小さくなる。更に、行方向のＧ画素ブロック２０同士の間隔４ｄは、行方向のＲ画素ブロック２０同士の間隔８ｄおよびＢ画素ブロック２０同士の間隔８ｄの各々よりも小さくなる。

　以上のような垂直重視配列の場合の解像可能な空間周波数範囲は、図１３（ｂ）に示したように、垂直方向（列方向）の解像度が水平方向（行方向）の解像度よりも高くなる。
　このような図１３（ａ）のＲ画素ブロック、Ｇ画素ブロック、及びＢ画素ブロックの垂直重視配列は、第２撮影モード時に周波数特性検出部２１３によって第２の空間周波数特性が検出された場合に使用される。

　次に、本実施の形態の動作を説明する。本実施の形態のカメラ１は、図７のフローチャートと同様の処理を行う。ステップＳ１００においては、カメラ１は、第１のフィルタ制御モードを実行し、図９（ａ）に示すように、画素の色配列をベイヤー配列とする。ステップＳ１５０からステップＳ１９０においては、カメラ１は、被写体像の空間周波数特性に基づき画素の色配列を変更する処理を行う。カメラ１は、第１の空間周波数特性を検出した場合は、第２のフィルタ制御モードを実行して画素の色配列を図１２（ａ）に示す水平重視配列とし、第２の空間周波数特性を検出した場合は、第３のフィルタ制御モードを実行して画素の色配列を図１３（ａ）に示す垂直重視配列とする。カメラ１は、第１及び第２の空間周波数特性を検出しない場合は、画素の色配列をベイヤー配列とする。

　このように、本実施の形態では、カメラ１は、例えば、図９に示した水平方向および垂直方向にバランスのよい解像度と、図１２に示した水平方向に高い解像度と、図１３に示した垂直方向に高い解像度とを切り替えることができる。

　なお、水平重視配列に切り替える場合に、図１２（ａ）の画素の色配列に代えて、図１４（ａ）の画素の色配列に切り替えるようにしてもよい。図１４（ａ）に示す画素の色配列では、Ｒ画素ブロック２０とＢ画素ブロック２０とが行方向に交互に間隔２ｄで配置された画素列と、Ｇ画素ブロック２０が行方向に連続して間隔２ｄで配置された画素列とが列方向に半ブロックずれて、即ち間隔ｄだけシフトして、繰り返し並べられている。図１４（ａ）の色配列の場合における解像可能な空間周波数範囲は、図１２（ｂ）に示す空間周波数範囲と同様となる。

　また、垂直重視配列に切り替える場合に、図１３（ａ）の画素の色配列に代えて、図１４（ｂ）の画素の色配列に切り替えるようにしてもよい。図１４（ｂ）に示す画素の色配列では、Ｇ画素ブロック２０が列方向に連続して間隔２ｄで配置された画素列と、Ｒ画素ブロック２０とＢ画素ブロック２０とが列方向に交互に間隔２ｄで配置された画素列とが列方向に半ブロックずれて、即ち間隔ｄだけシフトして、繰り返し並べられている。図１４（ｂ）の色配列の場合における解像可能な空間周波数範囲は、図１３（ｂ）に示す空間周波数範囲と同様となる。

　このように、図１４（ａ）に示した水平重視の画素の色配列及び図１４（ｂ）に示した垂直重視の画素の色配列を使用する場合には、図９に示したベイヤー配列も、例えば奇数行の画素の色配列と偶数行の画素の色配列とを列方向に相対的に半ブロックずらして、即ち間隔（ピッチ）ｄだけシフトして配置してもよい。

　また、上述した水平重視配列における奇数行の画素の色配列と偶数行の画素の色配列との相対的なずらし、垂直重視配列における奇数列の画素の色配列と偶数列の画素の色配列との相対的なずらし、及びベイヤー配列における同様の相対的なずらしは、図５（ａ）の水平重視配列、図６（ａ）の垂直重視配列、及び図４（ａ）のベイヤー配列にも、それぞれ適用することができる。

　次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
　上述した第１の実施の形態では、ベイヤー配列から水平重視配列または垂直重視配列に切り替える場合に、Ｒ画素１０、Ｇ画素１０、およびＢ画素１０の各々について、水平方向と垂直方向との間隔を変更する例について説明した。しかし、ＲＧＢ画素のうちの一種の画素（例えばＧ画素）については、上述のように水平方向と垂直方向との間隔を変更するが、他の画素（Ｒ画素、Ｂ画素）については、間隔を変更せずに水平方向および垂直方向で同一間隔にしてもよい。例えばＧ画素のみの間隔変更は、周波数特性検出部２１３が、Ｇ成分（Ｇ色）に関する空間周波数の高周波成分が水平方向と垂直方向とで大きく相違しているが、Ｒ成分（Ｒ色）及びＢ成分（Ｂ色）に関する空間周波数の高周波成分が水平方向と垂直方向とでほぼ同等であると判定した場合などに、有効である。

　また、ＲＧＢ画素のうちの二種の画素（例えば、Ｇ画素とＢ画素）については、上述のように水平方向と垂直方向との間隔を変更するが、残りの画素（例えば、Ｒ画素）については、間隔を変更せずに水平方向および垂直方向で同一間隔にしてもよい。例えばＧ画素とＢ画素のみの間隔変更は、周波数特性検出部２１３が、Ｇ成分及びＢ成分の各々に関する空間周波数の高周波成分が水平方向と垂直方向とで大きく相違しているが、Ｒ成分に関する空間周波数の高周波成分が水平方向と垂直方向とでほぼ同等であると判定した場合などに、有効である。

　上述のＲＧＢ画素のうちの一種の画素のみの間隔変更、又は、ＲＧＢ画素のうちの二種の画素のみの間隔変更は、第２及び第３の実施の形態にも適用することができる。即ち、Ｒ画素ブロック、Ｇ画素ブロック、及びＢ画素ブロックのうちの一種の画素ブロックのみを水平方向及び垂直方向で間隔を変更してもよいし、二種の画素ブロックのみを水平方向及び垂直方向で間隔を変更してもよい。

（変形例２）
　撮像素子４全体の波長可変フィルタ７２を同一に制御するのではなく、被写体の部分だけを適宜解像度（分解能）が良好になるように制御してもよい。例えば、公知の被写体認識技術等を用いて特定の被写体を検出した場合に、特定の被写体の部分に対応する波長可変フィルタ７２のみ制御してもよい。

（変形例３）
　水平重視配列の場合の画素間または画素ブロック間の間隔は、上述した間隔に限らず、（水平方向の間隔）＜（垂直方向の間隔）の条件下で、水平方向間隔と垂直方向間隔とを変更してもよい。同様に、垂直重視配列の場合の画素間または画素ブロック間の間隔は、上述した間隔に限らず、（水平方向の間隔）＞（垂直方向の間隔）の条件下で、水平方向間隔と垂直方向間隔とを変更してもよい。

（変形例４）
　撮像素子４とは別のセンサ（例えば、ＡＦのために必要な処理を行うセンサ、露光量決定用のセンサ等）からの信号を用いて、被写体像の解析（例えば空間周波数成分の検出）を行うようにしてもよい。この場合には、図１の撮像光学系（結像光学系）３１が撮像素子４の撮像面に結像する被写体像と同等の被写体像を上記の別のセンサによって撮像し、この別のセンサの画素信号に基づき、解析部２２によって被写体像を解析する。例えば、解析部２２の周波数特性検出部２１３が、この別のセンサの画素信号に基づき、被写体像の空間周波数特性を検出する。なお、別のセンサに配置される画素は、上述した実施の形態と同様の高周波成分を検出するために、撮像素子４の画素と同等の間隔で配置されることが望ましい。

（変形例５）
　上述した実施の形態では、周波数特性検出部２１３の検出結果に基づき、画素の色配列を、ベイヤー配列から水平重視配列又は垂直重視配列に切り替える例について説明した。その代わりに、周波数特性検出部２１３の検出結果に基づき、画素の色配列を、ベイヤー配列から水平重視配列と垂直重視配列との一方に切り替えるようにしてもよい。例えば、ベイヤー配列から水平重視配列のみに切り替える場合には、周波数特性検出部２１３が被写体像の水平方向の空間周波数の高周波成分を算出して、その高周波成分が所定の値以上になったら、水平重視配列に切り替える。ベイヤー配列から水平重視配列のみに切り替える場合には、水平方向の高周波成分が垂直方向の高周波成分よりも多い（大きい）場合に、水平重視配列に切り替えるようにしてもよい。

　他方、ベイヤー配列から垂直重視配列のみに切り替える場合には、周波数特性検出部２１３が被写体像の垂直方向の空間周波数の高周波成分を算出して、その高周波成分が所定の値以上になったら、垂直重視配列に切り替える。ベイヤー配列から垂直重視配列のみに切り替える場合には、垂直方向の高周波成分が水平方向の高周波成分よりも多い場合に、垂直重視配列に切り替えるようにしてもよい。

　画素の色配列を、水平重視配列から垂直重視配列に切り替えるようにしてもよい。この場合には、例えば、垂直方向の高周波成分が水平方向の高周波成分よりも所定量以上多い場合に、水平重視配列から垂直重視配列に切り替える。なお、垂直方向の高周波成分が水平方向の高周波成分よりも多い場合に垂直重視配列に切り替えるようにしてもよい。
　画素の色配列を、垂直重視配列から水平重視配列に切り替えるようにしてもよい。この場合には、例えば、水平方向の高周波成分が垂直方向の高周波成分よりも所定量以上多い場合に、垂直重視配列から水平重視配列に切り替える。なお、水平方向の高周波成分が垂直方向の高周波成分よりも多い場合に水平重視配列に切り替えるようにしてもよい。

（変形例６）
　上述した実施の形態では、周波数特性検出部２１３は、レリーズボタンの半押し操作に応じて空間周波数特性を検出する例について説明した。しかし、周波数特性検出部２１３は、レリーズボタンの全押し操作に応じて、空間周波数特性を検出するようにしても良い。

（変形例７）
　上述した実施の形態では、周波数特性検出部２１３は、垂直方向の空間周波数の高周波成分が、水平方向の空間周波数の高周波成分よりも、所定量Ｔ１以上多い場合に、被写体像の空間周波数特性を第２の空間周波数特性として検出する例について説明した。しかし、周波数特性検出部２１３は、垂直方向の空間周波数の高周波成分が、水平方向の空間周波数の高周波成分よりも、所定値Ｔ１とは異なる所定量Ｔ２以上多い場合に、被写体像の空間周波数特性を第２の空間周波数特性として検出するようにしてもよい。

（変形例８）
　上述した実施の形態では、図７のフローチャートを用いて静止画撮影を行う場合の例について説明した。しかし、動画撮影を行う場合についても、この撮像装置を適用することができる。この場合には、動画撮影中の水平重視配列又は垂直重視配列の撮像素子では、水平方向及び垂直方向の空間周波数の高周波成分を検出することは難しいので、上述の変形例３に説明した、撮像素子４とは別のセンサによって、空間周波数成分の検出を行うようにすることが望ましい。

（変形例９）
　上述した実施の形態では、焦点検出部２１２は、撮像素子４からの信号に基づいてコントラストＡＦに必要な処理を行う例について説明した。しかし、焦点検出部２１２は、撮像素子４に設けた焦点検出用画素の画素信号に基づいて、位相差ＡＦに必要な処理を行う焦点検出部であってもよい。この場合には、上述のステップＳ１２０において、焦点検出部２１２は、フィルタ制御部２１４が画素の色配列をベイヤー配列に制御している状態における焦点検出用画素からの画素信号に基づいて、位相差ＡＦに必要な処理を行う。更には、撮像光学系３１の光路から分岐された光路に撮像素子４とは別の焦点検出用センサを設けて、この焦点検出用センサにおいて位相差ＡＦに必要な処理を行うようにしてもよい。

（変形例１０）
　上述した実施の形態では、波長可変フィルタ７２は、Ｒ（赤）を発色するＥＣ層、Ｇ（緑）を発色するＥＣ層、およびＢ（青）を発色するＥＣ層の３つのフィルタにより構成される例について説明した。しかし、波長可変フィルタ７２は、Ｍｇ（マゼンタ）を発色するＥＣ層、Ｙｅ（イエロー）を発色するＥＣ層、およびＣｙ（シアン）を発色するＥＣ層の３つのフィルタにより構成するようにしてもよい。この場合、波長可変フィルタ７２は、３つのＥＣ層の透過波長の組み合わせにより、Ｍｇ、Ｙｅ、Ｃｙ、Ｗ、ＢＫ、Ｒ、Ｇ、Ｂのいずれかの波長域の光を主に透過させることが可能となる。また、波長可変フィルタ７２には液晶を用いた波長可変フィルタを用いるようにしてもよい。

（変形例１１）
　上述した実施の形態では、光電変換部としてフォトダイオードを用いる例について説明した。しかし、光電変換部として光電変換膜を用いるようにしてもよい。

（変形例１２）
　上述した実施の形態では、撮像素子４は、裏面照射型の構成とする例について説明した。しかし、撮像素子４を、光が入射する入射面側に配線層１１０を設ける表面照射型の構成としてもよい。

（変形例１３）
　上述の実施の形態および変形例で説明した撮像素子および撮像装置は、カメラ、スマートフォン、タブレット、ＰＣに内蔵のカメラ、車載カメラ、無人航空機（ドローン、ラジコン機等）に搭載されるカメラ等に適用されてもよい。

　上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２０１７年第６０５２７号（２０１７年３月２７日出願）

１　撮像装置、３　撮像素子、２１　ボディ制御部、２２　解析部、３１　撮像光学系、７２　波長可変フィルタ、７５　光電変換部、２１３　周波数特性検出部、２１４　フィルタ制御部、２１５　第１の画像データ生成部、２１６　第２の画像データ生成部

Claims

　透過させる光の波長を第１の波長と第２の波長とで変更可能なフィルタと、前記フィルタを透過した光を受光する受光部とを有する複数の画素が配置され、光学系による像を撮像する撮像部と、
　前記撮像部で撮像された像を解析する解析部と、
　前記解析部での解析結果に基づいて、前記フィルタで透過させる光の波長を制御する制御部と、
を備える撮像装置。
　請求項１に記載の撮像装置において、
　前記制御部は、前記解析部での解析結果に基づいて、前記第１の波長を受光する画素と前記第２の波長を受光する画素の位置を制御する撮像装置。
　請求項２に記載の撮像装置において、
　前記制御部は、第１の方向と第２の方向とで解像度を変えるように前記位置を制御する撮像装置。
　第１の波長の光を透過させる第１状態と第２の波長の光を透過させる第２状態とを変更可能なフィルタと、
　前記フィルタを透過した光を受光して信号を出力する受光部と、
　前記受光部から出力された前記信号に基づいて、前記フィルタを前記第１状態又は前記第２状態に制御する制御部と、
を備える撮像装置。
　被写体からの光のうち第１の波長の光を透過させる第１状態と第２の波長の光を透過させる第２状態とを変更可能なフィルタと、
　前記フィルタを透過した光を受光して信号を出力する受光部と、
　前記被写体からの光を検出し、前記フィルタを前記第１状態又は前記第２状態に制御する制御部と、
を備える撮像装置。
　請求項４または請求項５に記載の撮像装置において、
　前記制御部は、前記信号から生成される画像に基づいて、前記フィルタを前記第１状態又は前記第２状態に制御する撮像装置。
　請求項４から請求項６までのいずれか一項に記載の撮像装置において、
　前記信号から生成される像の第１の方向における第１の空間周波数成分、及び前記第１の方向と異なる第２の方向における第２の空間周波数成分を検出する検出部を有し、
　前記制御部は、検出した前記第１及び第２の空間周波数成分に基づいて、前記フィルタを前記第１状態又は前記第２状態に制御する撮像装置。
　請求項７に記載の撮像装置において、
　前記第１及び第２の空間周波数成分は、前記像の空間周波数成分のうちの高周波成分である撮像装置。
　請求項７または請求項８に記載の撮像装置において、
　前記制御部は、前記第１の空間周波数成分が前記第２の空間周波数成分よりも多い場合は、前記第１の方向における前記第１状態のフィルタの間隔を、前記第２の方向における前記第１状態のフィルタの間隔よりも小さくする撮像装置。
　請求項７から請求項９までのいずれか一項に記載の撮像装置において、
　前記制御部は、前記第２の空間周波数成分が前記第１の空間周波数成分よりも多い場合には、前記第２の方向における前記第１状態のフィルタの間隔を、前記第１の方向における前記第１状態のフィルタの間隔よりも小さくする撮像装置。
　請求項７から請求項１０までのいずれか一項に記載の撮像装置において、
　前記制御部は、前記第１の空間周波数成分が前記第２の空間周波数成分よりも多い場合は、前記第１の方向における前記第２状態のフィルタの間隔を、前記第２の方向における前記第２状態のフィルタの間隔よりも小さくし、前記第２の空間周波数成分が前記第１の空間周波数成分よりも多い場合には、前記第２の方向における前記第２状態のフィルタの間隔を、前記第１の方向における前記第２状態のフィルタの間隔よりも小さくする撮像装置。
　請求項７から請求項１１までのいずれか一項に記載の撮像装置において、
　前記フィルタは、第３の波長の光を透過させる第３状態を有し、
　前記制御部は、前記フィルタを前記第１状態と前記第２状態と前記第３状態とのいずれかに制御し、
　前記制御部は、前記第１の空間周波数成分が前記第２の空間周波数成分よりも多い場合は、前記第１の方向における前記第３状態のフィルタの間隔を、前記第２の方向における前記第３状態のフィルタの間隔よりも小さくし、前記第２の空間周波数成分が前記第１の空間周波数成分よりも多い場合には、前記第２の方向における前記第３状態のフィルタの間隔を、前記第１の方向における前記第３状態のフィルタの間隔よりも小さくする撮像装置。
　請求項１２に記載の撮像装置において、
　前記制御部は、前記第１の方向及び前記第２の方向における、前記第１状態のフィルタの間隔を同一とし、前記第２状態のフィルタの間隔を同一とし、前記第３状態のフィルタの間隔を同一とする第１の制御を有し、
　前記制御部は、前記第１の方向における、前記第１状態のフィルタの間隔、前記第２状態のフィルタの間隔、及び前記第３状態のフィルタの間隔を、前記第２の方向における、前記第１状態のフィルタの間隔、前記第２状態のフィルタの間隔、及び前記第３状態のフィルタの間隔よりもそれぞれ小さくする第２の制御を有し、
　前記制御部は、前記第２の方向における、前記第１状態のフィルタの間隔、前記第２状態のフィルタの間隔、及び前記第３状態のフィルタの間隔を、前記第１の方向における前記第１状態のフィルタの間隔、前記第２状態のフィルタの間隔、及び前記第３状態のフィルタの間隔よりもそれぞれ小さくする第３の制御を有する撮像装置。
　請求項１３に記載の撮像装置において、
　前記制御部は、前記第１の空間周波数成分と前記第２の空間周波数成分との差が定められた量よりも小さい場合には、前記第１の制御で前記フィルタを制御し、
　前記制御部は、前記第１の空間周波数成分が前記第２の空間周波数成分よりも、定められた量以上多い場合は、前記第２の制御で前記フィルタを制御し、
　前記制御部は、前記第２の空間周波数成分が前記第１の空間周波数成分よりも、定められた量以上多い場合は、前記第３の制御で前記フィルタを制御する撮像装置。
　請求項７から請求項１１までのいずれか一項に記載の撮像装置において、
　前記制御部は、複数の前記第１状態の前記フィルタからなる第１のフィルタ群と、複数の前記第２状態の前記フィルタからなる第２のフィルタ群とを生成し、
　前記制御部は、前記第１の空間周波数成分が前記第２の空間周波数成分よりも多い場合は、第１の方向における前記第１のフィルタ群の間隔を、第２の方向における前記第１のフィルタ群の間隔よりも小さくし、前記第２の空間周波数成分が前記第１の空間周波数成分よりも多い場合は、前記第２の方向における前記第１のフィルタ群の間隔を、前記第１の方向における前記第１のフィルタ群の間隔よりも小さくする撮像装置。
　請求項１５に記載の撮像装置において、
　前記フィルタは、第３の波長の光を透過させる第３状態を有し、
　前記制御部は、複数の前記第３状態の前記フィルタからなる第３のフィルタ群を生成し、
　前記制御部は、前記フィルタを前記第１状態と前記第２状態と前記第３状態とのいずれかに制御し、
　前記制御部は、前記第１の空間周波数成分が前記第２の空間周波数成分よりも多い場合は、前記第１の方向における前記第２のフィルタ群の間隔及び前記第３のフィルタ群の間隔を、前記第２の方向における前記第２のフィルタ群の間隔及び前記第３のフィルタ群の間隔よりもそれぞれ小さくし、前記第２の空間周波数成分が前記第１の空間周波数成分よりも多い場合は、前記第２の方向における前記第２のフィルタ群の間隔及び前記第３のフィルタ群の間隔を、前記第１の方向における前記第２のフィルタ群の間隔及び前記第３のフィルタ群の間隔よりもそれぞれ小さくする撮像装置。
　請求項１６に記載の撮像装置において、
　前記制御部は、前記第１の方向及び第２の方向における、前記第１のフィルタ群の間隔を同一とし、前記第２のフィルタ群の間隔を同一とし、前記第３のフィルタ群の間隔を同一とする第１の制御を有し、
　前記制御部は、前記第１の方向における、前記第１のフィルタ群の間隔、前記第２のフィルタ群の間隔、及び前記第３のフィルタ群の間隔を、前記第２の方向における、前記第１のフィルタ群の間隔、前記第２のフィルタ群の間隔、及び前記第３のフィルタ群の間隔よりもそれぞれ小さくする第２の制御を有し、
　前記制御部は、前記第２の方向における、前記第１のフィルタ群の間隔、前記第２のフィルタ群の間隔、及び前記第３のフィルタ群の間隔を、前記第１の方向における前記第１のフィルタ群の間隔、前記第２のフィルタ群の間隔、及び前記第３のフィルタ群の間隔よりもそれぞれ小さくする第３の制御を有する撮像装置。
　請求項１７に記載の撮像装置において、
　前記制御部は、前記第１の空間周波数成分と前記第２の空間周波数成分との差が定められた量よりも小さい場合には、前記第１の制御で前記フィルタを制御し、
　前記制御部は、前記第１の空間周波数成分が前記第２の空間周波数成分よりも、定められた量以上多い場合は、前記第２の制御で前記フィルタを制御し、
　前記制御部は、前記第２の空間周波数成分が前記第１の空間周波数成分よりも、定められた量以上多い場合は、前記第３の制御で前記フィルタを制御する撮像装置。
　第１の波長の光を透過させる第１状態と第２の波長の光を透過させる第２状態とを変更可能なフィルタと、
　前記フィルタを透過した光を受光して信号を出力する受光部と、
　前記受光部から出力された信号に基づく像の空間周波数成分を検出する検出部と、
　前記検出部により検出された前記空間周波数成分に基づいて、前記フィルタを前記第１状態又は前記第２状態に制御する制御部と、
を備える撮像装置。
　第１の波長の光を透過させる第１状態と第２の波長の光を透過させる第２状態とを変更可能なフィルタと、
　前記フィルタを透過した光を受光して信号を出力する受光部と、
　前記受光部から出力された前記信号に基づいて、前記フィルタを前記第１状態又は前記第２状態に制御する制御部と、
を備える撮像素子。