JP6006390B1 - 撮像システム、画像処理方法 - Google Patents

Abstract

【課題】交換レンズの解像力に応じて、画像の解像度向上を適切に設定することができる撮像システム等を提供する。【解決手段】交換レンズ１により結像された光学像を撮像して所定のサンプリング周波数の撮像データを出力する撮像部２１と、画面内の一部領域に対応する撮像データからより高い解像度の画像データを生成する超解像合成部２６およびリサイズ部６８と、複数のＭＴＦ特性値の内の一部領域に対応するＭＴＦ特性値と所定のサンプリング周波数とに基づき、生成される画像データの解像度の上限を決定する制御部３５と、を有する撮像システム。【選択図】図１

Description

本発明は、カメラ本体に交換レンズを着脱できるように装着する撮像システムと、撮像システムから得られた撮像データを処理する画像処理方法とに関する。

カメラ本体に着脱される交換レンズには、様々な光学特性をもったものがある。そこで、光学系の解像力に関するＭＴＦ特性データを交換レンズにもたせて、カメラ本体側で交換レンズからＭＴＦ特性データを受信し、受信したＭＴＦ特性データに基づき、解像力に関係するカメラの機能を制御する技術が従来より提案されている。

例えば、特開２００９−２８２５５１号公報には、交換レンズからＭＴＦ特性データを受信して、受信したＭＴＦ特性データおよび撮像素子の画素ピッチ情報に基づいて、小絞り回折が発生する使用限界Ｆ値を設定し、絞り過ぎによる解像度の低下を避ける技術が記載されている。ここに、該公報において用いられているＭＴＦ特性データは、撮像される画面全体の平均的なＭＴＦ特性値、もしくは、画面全体における代表的な１点のＭＴＦ特性値である。

ところで、撮像面から得られる画像の一部領域である部分画像を、画素補間により拡大するデジタルズームが従来より知られている。

また、レンズにより結像される光学像と撮像素子との相対的な位置を、撮像面内において（例えば、１／２画素ピッチ、１／３画素ピッチ等の非整数画素ピッチで）異ならせながら、複数枚の画像を取得し、取得した複数枚の画像に基づいて１枚の高精細画像を合成する画素ずらし超解像技術が従来より知られている。

特開２００９−２８２５５１号公報

例えばデジタルズームにおいて、画質的に許容できる拡大倍率（デジタルズーム倍率）は、光学レンズの解像力に左右される。同様に画素ずらし超解像において、画素ずらし超解像モードに応じた画素数の増加に従って解像度が向上する上限も、光学レンズの解像力に左右される。そこで、上記公報に記載された交換レンズのＭＴＦ特性データを利用して、カメラ本体が、交換レンズからＭＴＦ特性データを取得し、画質的に許容できるデジタルズーム倍率や画素ずらし超解像モードを判断することが考えられる。

しかし、ＭＴＦ特性値で示されるレンズの特性は、一般的に、画面の中心付近が高く、画面の周辺部は中心付近と比較すると低いなど、画面内の位置によって異っている。例えばデジタルズームは、画像の一部を拡大する技術であるために、本来は拡大対象の領域のみにおけるＭＴＦ特性により画質が決まるが、上記公報に記載されたような、画面の特定の１点や全体平均などの単一の特性値でＭＴＦ特性を代表してしまうと、画質的に許容できるデジタルズーム倍率を正確に判断することができない。

より一般的にいえば、ＭＴＦ特性を一例とするレンズの解像力を示すレンズ特性をより正確に判断しないと、デジタルズームを一例とする画像解像度向上技術を適切に実行することは困難である。

本発明は上記事情に鑑みてなされたものであり、交換レンズの解像力に応じて、画像の解像度向上を適切に設定することができる撮像システム、画像処理方法を提供することを目的としている。

本発明のある態様による撮像システムは、カメラ本体に交換レンズを着脱できるように装着する撮像システムであって、上記カメラ本体に設けられ、上記交換レンズにより結像された光学像を、複数の画素が配列された撮像面で撮像して、所定のサンプリング周波数の撮像データを出力する撮像部と、上記撮像部から得られた画面内の一部領域に対応する上記撮像データに基づき、該撮像データの解像度よりも高い解像度の画像データを生成する解像度変更部と、上記交換レンズの、上記画面内の複数の領域に対応する複数のＭＴＦ特性値の内の、上記一部領域に対応するＭＴＦ特性値と、上記所定のサンプリング周波数とに基づき、上記解像度変更部により生成される画像データの解像度の上限を決定する制御部と、を有している。

本発明のある態様による画像処理方法は、交換レンズにより結像された光学像を、複数の画素が配列された撮像面で撮像して、所定のサンプリング周波数の撮像データを出力する撮像部を備えるカメラ本体に着脱できるように上記交換レンズを装着する撮像システムから得られた上記撮像データを処理する画像処理方法であって、画面内の一部領域に対応する上記撮像データに基づき、該撮像データの解像度よりも高い解像度の画像データを生成する解像度変更ステップと、上記交換レンズの、上記画面内の複数の領域に対応する複数のＭＴＦ特性値の内の、上記一部領域に対応するＭＴＦ特性値と、上記所定のサンプリング周波数とに基づき、上記解像度変更ステップにより生成される画像データの解像度の上限を決定する制御ステップと、を有している。

本発明の撮像システム、画像処理方法によれば、交換レンズの解像力に応じて、画像の解像度向上を適切に設定することができる。

本発明の実施形態１における撮像システムの構成を示すブロック図。 上記実施形態１において、画面を区分する複数の領域の例を示す図。 上記実施形態１の交換レンズのＲＯＭに記憶されている領域毎のＭＴＦ特性値の例を示す図表。 上記実施形態１の撮像素子から得られた原色ベイヤー配列の撮像データの一部を示す図。 上記実施形態１において、１画素ずらし超解像モードにおけるＧｒ画素の画素ずらし順序を示す図。 上記実施形態１において、１画素ずらし超解像モードにおけるＧｂ画素の画素ずらし順序を示す図。 上記実施形態１において、１画素ずらし超解像モードにおけるＲ画素の画素ずらし順序を示す図。 上記実施形態１において、１画素ずらし超解像モードにおけるＢ画素の画素ずらし順序を示す図。 上記実施形態１において、撮像素子から得られた原色ベイヤー配列の撮像データの一部に、１／２画素ずらしによってシフトできる画素位置を空白として加えて示した図。 上記実施形態１において、１／２画素ずらし超解像モードにおけるＧｒ画素の画素ずらし順序を示す図。 上記実施形態１において、１／２画素ずらし超解像モードにおけるＧｂ画素の画素ずらし順序を示す図。 上記実施形態１において、１／２画素ずらし超解像モードにおけるＲ画素の画素ずらし順序を示す図。 上記実施形態１において、１／２画素ずらし超解像モードにおけるＢ画素の画素ずらし順序を示す図。 上記実施形態１において、撮像素子から得られた原色ベイヤー配列の撮像データの一部に、１／３画素ずらしによってシフトできる画素位置を空白として加えて示した図。 上記実施形態１において、１／３画素ずらし超解像モードにおけるＧｒ画素の画素ずらし順序を示す図。 上記実施形態１において、１／３画素ずらし超解像モードにおけるＧｂ画素の画素ずらし順序を示す図。 上記実施形態１において、１／３画素ずらし超解像モードにおけるＲ画素の画素ずらし順序を示す図。 上記実施形態１において、１／３画素ずらし超解像モードにおけるＢ画素の画素ずらし順序を示す図。 上記実施形態１において、画面を区分する複数の領域の組み合わせに応じた画角およびデジタルズーム倍率を示す図表。 上記実施形態１において、交換レンズのＲＯＭに記憶されているＭＴＦ特性値の一例をグラフ化して示す線図。 上記実施形態１において、画角別のＭＴＦ特性値の例を示す線図。 上記実施形態１において、サンプリング周波数により正規化されたＭＴＦ特性値とデジタルズームにおけるコントラスト限界とを示す線図。 上記実施形態１において、サンプリング周波数により正規化されたＭＴＦ特性値と画素ずらし超解像におけるコントラスト限界とを示す線図。 上記実施形態１において、デジタルズームモードが設定されていて１．０倍でライブビュー表示を行っているときに選択することができるデジタルズーム倍率の第１の表示例を示す図。 上記実施形態１において、デジタルズームモードが設定されていて１．３倍でライブビュー表示を行っているときに選択することができるデジタルズーム倍率の第１の表示例を示す図。 上記実施形態１において、デジタルズームモードが設定されていて１．０倍でライブビュー表示を行っているときに選択することができるデジタルズーム倍率の第２の表示例を示す図。 上記実施形態１において、デジタルズームモードが設定されていて１．３倍でライブビュー表示を行っているときに選択することができるデジタルズーム倍率の第２の表示例を示す図。 上記実施形態１において、画角１００％でライブビュー表示を行っており、画素ずらし超解像モードが設定されていて画角１００％で１／２画素ずらし超解像モードが選択されているときにおける、選択することができるトリミング枠とシフト量の表示例を示す図。 上記実施形態１において、画角１００％でライブビュー表示を行っており、画素ずらし超解像モードが設定されていて画角２５％で１／３画素ずらし超解像モードが選択されているときにおける、選択することができるトリミング枠とシフト量の表示例を示す図。 上記実施形態１において、画角１００％でライブビュー表示を行っており、画素ずらし超解像モードが設定されていて画角１００％で１／２画素ずらし超解像モードが選択されているときのトリミング枠とシフト量の表示例を示す図。 上記実施形態１において、画角２５％でライブビュー表示を行っており、画素ずらし超解像モードが設定されていて画角２５％で１／３画素ずらし超解像モードが選択されているときのトリミング枠とシフト量の表示例を示す図。 上記実施形態１において、画素ずらし超解像モードまたはデジタルズームモードにおける撮像システムの作用の一部を示すフローチャート。 上記実施形態１において、画素ずらし超解像モードまたはデジタルズームモードにおける撮像システムの作用の他の一部を示すフローチャート。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図３３は本発明の実施形態１を示したものであり、図１は撮像システムの構成を示すブロック図である。

この撮像システムは、交換レンズ１と、この交換レンズ１が着脱自在に装着されるカメラ本体２と、を備えている。このレンズ交換式の撮像システムを、以下では適宜、カメラと呼称するが、レンズを交換できれば、電話機能付きの通信機器やその他の機器であっても構わない。

交換レンズ１は、レンズ１１と、絞り１２と、フォーカス駆動部１３と、絞り駆動部１４と、インタフェース（Ｉ／Ｆ）１５と、ＲＯＭ１６と、レンズ制御部１７と、を備えている。

レンズ１１は、被写体の光学像を後述する撮像素子４１に結像するものであり、焦点位置を調整するためのフォーカスレンズを含んでいる。

絞り１２は、開口径を変化させることで、レンズ１１を通過する光束の通過範囲を規定する。

フォーカス駆動部１３は、レンズ１１のフォーカスレンズを光軸方向に移動させるように駆動する。

絞り駆動部１４は、絞り１２を駆動して開口径を変化させる。

インタフェース（Ｉ／Ｆ）１５は、カメラ本体２側の後述するインタフェース（Ｉ／Ｆ）３１を介して、交換レンズ１のレンズ制御部１７が後述するカメラ本体２の制御部３５と通信を行う。

ＲＯＭ１６は、画面内の複数の領域に対応する複数のＭＴＦ特性値を記憶する記憶部である。

レンズ制御部１７は、制御部３５からの指令に基づいて、レンズ１１により撮像素子４１に結像される光学像が合焦するようにフォーカス駆動部１３を制御する。また、レンズ制御部１７は、制御部３５からの指令に基づいて、絞り１２の開口径が指令を受けた開口径となるように絞り駆動部１４を制御する。さらに、レンズ制御部１７は、ＲＯＭ１６に記憶されている複数のＭＴＦ特性値を、インタフェース（Ｉ／Ｆ）１５およびインタフェース（Ｉ／Ｆ）３１を介して、カメラ本体２の制御部３５へ送信する。

カメラ本体２は、撮像部２１と、センサシフトユニット２２と、撮像処理部２３と、バス２４と、ＤＲＡＭ２５と、超解像合成部２６と、画像処理部２７と、電子ビューファインダ（ＥＶＦ）２８と、背面パネル２９と、外部メモリ３０と、インタフェース（Ｉ／Ｆ）３１と、操作部３２と、フラッシュメモリ３３と、制御部３５と、を備えている。

撮像部２１は、交換レンズ１により結像された光学像を、複数の画素が配列された撮像面で撮像して、所定のサンプリング周波数の撮像データを出力するものである。ここに、撮像部２１が出力する撮像データは、画面全体に対応するデータであっても良いし、画面内の一部領域に対応するデータであっても構わない。この撮像部２１は、撮像素子４１と、アナログ増幅部４２と、Ａ／Ｄ変換部４３と、画素混合部４４と、インタフェース（Ｉ／Ｆ）４５と、を備えており、例えば１つの撮像ユニットとして構成されている。

撮像素子４１は、上述した撮像面を備え、各画素に入射した光を電気信号に変換して、アナログ信号として出力する。この撮像素子４１は、例えば、撮像面上に原色ベイヤー配列のカラーフィルタを配置した単板撮像素子として構成されている（後述する図４参照）。ただし、撮像素子４１は、この構成に限定されるものではなく、例えばＲＧＢ各色成分をそれぞれ光電変換する画素が基板厚み方向に積層されている構成のものであっても構わないし、その他の構成のものでも良い。なお、撮像素子４１は、被写体の光学像を受光する有効画素が配列された有効画素部と、遮光膜が形成されて常時遮光された状態となっているＯＢ画素が配列されたＯＢ画素部と、を備えている。

アナログ増幅部４２は、撮像素子４１から出力されたアナログ信号を増幅する。

Ａ／Ｄ変換部４３は、アナログ増幅部４２により増幅されたアナログ信号をデジタル信号に変換する。

画素混合部４４は、制御部３５からの指令に従って、空間的な近傍にある同色の画素値同士を混合する。ここに、画素混合部４４による画素混合は、加算、平均、重み付け加算などにより行われ、さらに、画素混合モードに応じて混合画素数を変更することができるようになっている。この混合画素数の変更により、撮像部２１から出力される撮像データの所定のサンプリング周波数が変更される。

画素混合部４４による画素混合は、例えば、ライブビュー表示や動画撮影を行う場合などの、撮像素子４１に構成された全画素よりも少ない画素数の画像を出力すれば足りる場合に、必要に応じて行われる。この画素混合部４４により画素混合を行うことで、撮像部２１から出力される撮像データのデータ量が小さくなり、撮像部２１からの読み出し時間を短縮して、高いフレームレートを達成することができるようになる。なお、例えば静止画用として撮像素子４１に構成された全画素の画素値を出力する場合には、この画素混合部４４は画素混合を行わない。

インタフェース（Ｉ／Ｆ）４５は、デジタル化された撮像データを、撮像処理部２３の後述するインタフェース（Ｉ／Ｆ）４６へ、適宜の伝送方式、例えばシリアル伝送方式などにより出力する。

このような構成により、撮像部２１から出力される撮像データのサンプリング周波数は、まず基本サンプリング周波数が撮像素子４１の画素配列における画素ピッチなどに応じて決定され、さらに画素混合部４４により画素混合が行われた場合には、画素混合モードに応じてサンプリング周波数が変更される。

センサシフトユニット２２は、撮像ユニットとして構成されている撮像部２１を、レンズ１１の光軸に垂直な方向に移動させて、光学像と撮像部２１との相対位置をシフトさせる画素ずらしを行う画素ずらし部である。このセンサシフトユニット２２は、シフト量（画素ずらしシフト量）やシフト回数などが異なる複数の画素ずらし超解像モード（例えば、後述する１画素ずらし、１／２画素ずらし、１／３画素ずらし等の各超解像モード）に設定できるようになっている。

なお、ここでは画素ずらし部の一例として、撮像部２１をシフトする構成（いわゆるセンサシフト方式）を示したが、例えばレンズ１１および絞り１２をシフトする構成（いわゆるレンズシフト方式）を採用しても構わないし、センサシフト方式とレンズシフト方式とを組み合わせても構わないし、その他の構成を採用しても良い。

撮像処理部２３は、撮像部２１から出力された撮像データに、撮像後の基本的な処理を行うものである。この撮像処理部２３は、インタフェース（Ｉ／Ｆ）４６と、ＡＦ（オートフォーカス）検波部４７と、ＡＥ（自動露出）／ホワイトバランス部４８と、リサイズ部４９と、を備えている。

インタフェース（Ｉ／Ｆ）４６は、インタフェース（Ｉ／Ｆ）４５から送信された撮像データを受信する。

ＡＦ検波部４７は、インタフェース（Ｉ／Ｆ）４６を介して受信した撮像データ中のＡＦ検出領域から例えばコントラスト成分を抽出して積算し、コントラスト評価値として制御部３５へ出力する。制御部３５は、このコントラスト評価値が最大値をとるように、レンズ１１中のフォーカスレンズを駆動させてピントを合わせるコントラストＡＦ処理を行う。なお、ここではコントラストＡＦを例に挙げたが、例えば撮像素子４１の撮像面に配列された画素中に位相差画素を設けて、この位相差画素から出力された信号に基づいて位相差ＡＦを行うようにしても構わないし、位相差ＡＦとコントラストＡＦとを組み合わせて行うようにしても良いし、その他のＡＦ方式を採用しても良い。

ＡＥ／ホワイトバランス部４８は、撮像データから輝度相当成分（例えば、輝度成分自体、あるいはＧ成分など）を抽出して、ＡＥ方式（中央部重点測光、スポット測光など）に応じて重み付け加算し、ＡＥ評価値として制御部３５へ出力する。制御部３５は、このＡＥ評価値に基づいて、絞り１２の開口径を変化させ、あるいは撮像素子４１の露光時間を制御し、アナログ増幅部４２の増幅率を制御する。

さらに、ＡＥ／ホワイトバランス部４８は、撮像データ中の色成分（例えば、Ｒ成分およびＢ成分）に、白い被写体が白色に表示されるために必要なゲインを乗算するホワイトバランス処理を行う。具体的に、光源として、昼間太陽、夕方太陽、電球、蛍光灯などの何れが手動または自動で選択されているかに応じたゲインを色成分に対して乗算する、等の処理を行う。

リサイズ部４９は、例えばライブビュー表示や動画撮影を行う場合などに、出力する撮像データの画素数を、背面パネル２９の画素数、ＥＶＦ２８の画素数、あるいは記録用動画の画素数に減らす処理を行う。従って、リサイズが不要な場合、例えば静止画撮影モードに設定されている場合などには、リサイズ部４９は、画素数を減らす処理を行わない（撮影後の静止画像を背面パネル２９やＥＶＦ２８で確認するためのリサイズは、画像処理部２７内の後述するリサイズ部６８により行われる）。

撮像処理部２３により処理された撮像データは、バス２４を介して、例えばＤＲＡＭ２５へ伝送され記憶される。

ここに、バス２４は、カメラ本体２内の各部の間でデータの送受信を行うための伝送路である。

ＤＲＡＭ２５は、高速にアクセスすることができる揮発性メモリであり、撮像処理部２３からの撮像データを記憶すると共に、超解像合成部２６や画像処理部２７による処理途中の画像データ等を記憶するなどにも用いられる。

超解像合成部２６は、撮像部２１から得られた撮像データに基づき、撮像データの解像度よりも高い解像度の画像データを生成する解像度変更部である。具体的に、超解像合成部２６は、画素ずらし超解像モードにおいて取得された複数枚の撮像データから、１枚の撮像データよりも解像度の高い超解像画像データを合成する。この超解像合成部２６は、露光補正部５１と、動き補正部５２と、画素合成部５３と、を備えている。

露光補正部５１は、複数枚の撮像データ中の同一被写体の露光量が同一となるように、撮像データの露光量を補正する。

動き補正部５２は、複数枚の撮像データ中の同一被写体の位置が同一となるように動き補正を行う。

画素合成部５３は、複数枚の撮像データを合成して、１枚の撮像データよりも解像度の高い超解像画像データを生成する。この画像合成処理については、後で図４〜図１８を参照してより詳細に説明する。

画像処理部２７は、撮像部２１から得られた撮像データ、または超解像合成部２６により生成された超解像画像データに対して、現像処理等の各種の画像処理を行い、記録用の画像データ、または表示用の画像データを生成する。この画像処理部は、ＯＢ減算／ホワイトバランス部６１と、デモザイキング部６２と、カラーマトリクス演算部６３と、ガンマ変換部６４と、色空間変換部６５と、エッジ強調部６６と、ノイズ除去部６７と、リサイズ部６８と、符号化部６９と、を備えている。

ＯＢ減算／ホワイトバランス部６１は、撮像素子４１の有効画素データからＯＢ画素データを減算すると共に、ホワイトバランス調整を行う。

デモザイキング部６２は、図４に示すような、１画素につき１色成分のみから構成される原色ベイヤー配列の撮像データを画素補間することにより、１画素につき３色成分で構成される画像データに変換するデモザイキング処理を行う。

カラーマトリクス演算部６３は、画像データを構成する各画素データのＲＧＢ成分を例えば３行１列（あるいは１行３列でも構わない）の行列として構成し、この画素データに３行３列のカラーマトリクスを行列演算する処理を行う。

ガンマ変換部６４は、画像データに非線形処理であるガンマ変換処理を行う。このガンマ変換処理により、画像データの階調特性が、背面パネル２９やＥＶＦ２８で画像を観察するのに適した特性となる。

色空間変換部６５は、ＲＧＢ成分で構成されている画像データを、例えば輝度色差成分で構成される画像データに変換する。

エッジ強調部６６は、画像データの輝度成分からエッジ成分を抽出して、抽出したエッジ成分を強調した後に画像データに加算することで、エッジ強調処理を行う。

ノイズ除去部６７は、画像データからノイズ成分を除去するノイズ除去処理を行う。

リサイズ部６８は、撮像部２１から得られた撮像データに基づき、撮像データの解像度よりも高い解像度の画像データを生成する解像度変更部である。具体的に、リサイズ部６８は、画面内の一部領域に対応する撮像データの画素を補間して拡大画像データを生成する画像拡大部であり、いわゆるデジタルズームを行うものとなっている。さらに、リサイズ部６８は、画像データの解像度を、例えばＥＶＦ２８の表示解像度、あるいは背面パネル２９の表示解像度に変換する処理も行う。

符号化部６９は、画像データを例えばＪＰＥＧ符号化方式に従って符号化する処理を行う。また、符号化部６９は、符号化された画像データを例えばＪＰＥＧ復号化方式に従って復号化する処理も行うようになっている。

電子ビューファインダ（ＥＶＦ）２８は、画像処理部２７により生成された表示用の画像データやカメラに係る各種の情報を表示して、接眼レンズ等を介して観察するように構成された表示部である。

背面パネル２９は、カメラ本体２の背面側（交換レンズ１が配置された面の反対側）に配置されていて、画像処理部２７により生成された表示用の画像データやカメラに係る各種の情報を表示する表示部である。

外部メモリ３０は、例えばカメラ本体２に対して着脱することができるメモリカード等で構成され、画像処理部２７により生成された記録用の画像データを不揮発に記録する記録媒体である。

インタフェース（Ｉ／Ｆ）３１は、交換レンズ１のインタフェース（Ｉ／Ｆ）１５と通信を行うものであり、交換レンズ１のＲＯＭ１６から上述した複数のＭＴＦ特性値を受信する受信部である。

操作部３２は、ユーザがこのカメラに係る各種の操作入力を行うためのものであり、電源をオン／オフするための電源ボタン、あるいは撮影開始および終了を操作するためのレリーズボタン、背面パネル２９等に表示される各種のメニューを選択して決定するための操作ボタン等の操作部材を備えている。この操作部３２により設定できる項目には、撮影モード（静止画撮影モード、動画撮影モード）および再生モードが含まれ、撮影モードにおける詳細な設定項目としては、１枚撮影モード、デジタルズームモード、画素ずらし超解像モードなどが含まれている。

フラッシュメモリ３３は、このカメラを制御するために制御部３５により実行される処理プログラム、制御部３５がこのカメラを制御する際に必要な処理パラメータ（処理プログラムの実行に必要なさまざまなパラメータ、および工場出荷時に調整されたパラメータなど）、ユーザにより設定された設定値、などを不揮発に記憶する記憶媒体である。

制御部３５は、フラッシュメモリ３３に記憶されている処理プログラムに従って、カメラ本体２内の各部を制御すると共に、インタフェース３１を介して交換レンズ１の制御を行う。

この制御部３５は、インタフェース（Ｉ／Ｆ）３１が受信した複数のＭＴＦ特性値と、所定のサンプリング周波数とに基づき、解像度変更部により生成される画像データの解像度の上限を決定する。

すなわち、制御部３５は、デジタルズームモードが設定されているときには、複数のＭＴＦ特性値の内のデジタルズームの対象となる一部領域に対応するＭＴＦ特性値と、所定のサンプリング周波数とに基づいて、拡大画像データの上限拡大倍率を決定する。この上限拡大倍率以下のデジタルズーム倍率が、後で図２４および図２５に示すように画面に表示され、ユーザは上限拡大倍率以下の範囲で所望のデジタルズーム倍率を選択することができる。

また、制御部３５は、インタフェース（Ｉ／Ｆ）３１を介して受信した複数のＭＴＦ特性値と、所定のサンプリング周波数とに基づき、解像度の上限に対応する画素ずらし超解像モードを複数の画素ずらし超解像モードの中から決定する（これにより、解像度の上限以下に対応する画素ずらし超解像モードも決定される）。そして、制御部３５は、決定された複数の画素ずらし超解像モードの中のユーザにより選択された画素ずらし超解像モードに基づいて、センサシフトユニット２２に画素ずらしを行わせながら撮像部２１に複数回の撮像を行わせて、相対位置が異なる複数枚の撮像データを取得させる。そして、制御部３５は、取得された複数枚の撮像データに基づいて、超解像合成部２６に超解像画像データを合成させる。

さらに、制御部３５は、複数のＭＴＦ特性値に基づいて、撮像部２１から出力される撮像データの所定のサンプリング周波数の上限値を決定する。具体的には、装着されている交換レンズ１の解像度がもし撮像素子４１の解像度よりも低い場合には、撮像素子４１の撮像面に構成されている全画素の読み出しを行っても解像度の向上が見込めないために、決定した所定のサンプリング周波数の上限値に基づいて画素混合部４４に適切な画素混合を行わせることで、撮像部２１からの撮像データの読出時間を短縮することができる。

この図１に示すような構成のカメラにおいて、画像を取得する場合には、交換レンズ１を介して結像された被写体の光学像を、撮像素子４１が受光して光電変換し、撮像部２１内で処理を行った後に撮像データとして出力する。この撮像データは、撮像処理部２３により処理された後に、例えばＤＲＡＭ２５に記憶される。

通常の１枚撮影の場合には、ＤＲＡＭ２５に記憶された撮像データが画像処理部２７により処理されて、外部メモリ３０に記録されると共に、ＥＶＦ２８または背面パネル２９に表示される。

このとき、デジタルズームモードに設定されている場合には、リサイズ部６８が、設定されているデジタルズーム倍率等に応じた領域を切り出して拡大処理する。なお、全画面の撮像データからデジタルズーム倍率等に応じた領域を切り出すのに代えて、デジタルズーム倍率等に応じた領域のみの撮像データを撮像部２１から出力するようにしても構わない。

また、画素ずらし超解像モードに設定されている場合には、上述した１画素ずらし、１／２画素ずらし、１／３画素ずらし等の内のどの画素ずらし超解像モードに設定されているかに応じてセンサシフトユニット２２を駆動しながら、撮像部２１により複数枚の撮像データを取得し、撮像処理部２３により処理して例えばＤＲＡＭ２５に記憶する。そして、超解像合成部２６が、取得された複数枚の撮像データに基づいて、超解像画像データを合成し、再びＤＲＡＭ２５に記憶させる。その後、この超解像画像データが画像処理部２７により処理されて、上述したように、記録および表示が行われる。

次に、図２および図３を参照して、記憶部であるＲＯＭ１６に記憶されている、画面内の複数の領域に対応する複数のＭＴＦ特性値について説明する。図２は画面を区分する複数の領域の例を示す図、図３は交換レンズ１のＲＯＭ１６に記憶されている領域毎のＭＴＦ特性値の例を示す図表である。

交換レンズ１の光学特性は、一般的に、画面の中心付近が高く、画面の周辺へ行くほど低くなるために、例えば図２の例に示すように領域同士の境界を矩形として、画面を、中心部の領域Ａ１から辺縁部の領域Ａ４までの４つの同心状の領域に区分している。領域Ａ１〜Ａ４は、互いに重複する部分はなく、領域Ａ１〜Ａ４を全て合わせると全画面が構成され、領域Ａ１は矩形領域、領域Ａ２は領域Ａ１の外周側の矩形リング状の領域、領域Ａ３は領域Ａ２の外周側の矩形リング状の領域、領域Ａ４は領域Ａ３の外周側の矩形リング状の領域となっている。

なお、画面を複数の領域に区分する仕方は、図２に示す例に限るものではないことは勿論であり、例えば水平方向および垂直方向にメッシュ状に区分しても良いし、光学特性に合わせて領域同士の境界が同心円をなすように区分しても良いし、その他の区分法を用いても構わない。

そして、ＲＯＭ１６には、例えば図３に示すような、領域Ａ１〜Ａ４それぞれのＭＴＦ特性値が記憶されている。この図３に示す例においても、領域Ａ１は解像度が高く、領域Ａ２、領域Ａ３、領域Ａ４と周辺部へ行くほど、解像度が低いことを示すＭＴＦ特性値となっている。

続いて、図４は撮像素子４１から得られた原色ベイヤー配列の撮像データの一部を示す図である。

原色ベイヤー配列は、２×２画素を基本配列として、この基本配列の対角位置にＧ画素を配置し、残りの対角位置にＲ画素とＢ画素を配置したものである。そして、便宜上、Ｒ画素と同一ライン上にあるＧ画素をＧｒ画素、Ｂ画素と同一ライン上にあるＧ画素をＧｂ画素と表記するが、Ｇｒ画素とＧｂ画素に色成分としての相違はなく何れもＧ成分である。

通常の１枚撮像の場合には、この図４に示すような原色ベイヤー配列の撮像データが取得されるために、デモザイキング部６２において、例えばＧ画素において欠落しているＲ成分を近傍のＲ画素の画素値から補間して作成し、さらに、Ｇ画素において欠落しているＢ成分を近傍のＢ画素の画素値から補間して作成する処理を行う。同様に、Ｒ画素については近傍のＧ画素およびＢ画素からＧ成分およびＢ成分を補間して作成し、Ｂ画素については近傍のＧ画素およびＲ画素からＧ成分およびＲ成分を補間して作成する。

図５〜図８は１画素ずらし超解像モードにおける画素ずらし順序の一例を説明するためのものであり、図５は１画素ずらし超解像モードにおけるＧｒ画素の画素ずらし順序を示す図、図６は１画素ずらし超解像モードにおけるＧｂ画素の画素ずらし順序を示す図、図７は１画素ずらし超解像モードにおけるＲ画素の画素ずらし順序を示す図、図８は１画素ずらし超解像モードにおけるＢ画素の画素ずらし順序を示す図である。

図５〜図８に示す例では、１枚目の撮像データＰ１を取得した後に、右へ１画素ずらして２枚目の撮像データＰ２を取得し、下へ１画素ずらして３枚目の撮像データＰ３を取得し、左へ１画素ずらして４枚目の撮像データＰ４を取得する。

これにより、Ｇｒ画素、Ｇｂ画素、Ｒ画素、Ｂ画素の何れも、全画素位置についてそれぞれの成分を取得することができるために、デモザイキング処理が不要となる。さらに、Ｇ画素についてはＧｒ画素とＧｂ画素との両方が取得されるために、これらの例えば平均値をＧ画素とすることにより、より低ノイズのＧ画素成分を得ることができる。こうして、解像度変更部である超解像合成部２６により、撮像部２１から得られた撮像データに基づき、撮像データの解像度よりも高い解像度の画像データが生成される。

図９〜図１３は１／２画素ずらし超解像モードにおける画素ずらし順序の一例を説明するためのものであり、図９は撮像素子４１から得られた原色ベイヤー配列の撮像データの一部に、１／２画素ずらしによってシフトできる画素位置を空白として加えて示した図、図１０は１／２画素ずらし超解像モードにおけるＧｒ画素の画素ずらし順序を示す図、図１１は１／２画素ずらし超解像モードにおけるＧｂ画素の画素ずらし順序を示す図、図１２は１／２画素ずらし超解像モードにおけるＲ画素の画素ずらし順序を示す図、図１３は１／２画素ずらし超解像モードにおけるＢ画素の画素ずらし順序を示す図である。

まず、図９〜図１３に示すマス目の間隔は、１／２画素ピッチである。

そして、画素ピッチを単位とし、右方向をｘの正方向、上方向をｙの正方向として、画素ずらし量を（ｘ，ｙ）により表すとすると、図１０〜図１３に示す例では、１枚目の撮像データＰ１を取得した後に、（１／２，−１／２）シフトして２枚目の撮像データＰ２を取得し、（１／２，１／２）シフトして３枚目の撮像データＰ３を取得し、（１／２，−１／２）シフトして４枚目の撮像データＰ４を取得し、（０，−１）シフトして５枚目の撮像データＰ５を取得し、（−１／２，１／２）シフトして６枚目の撮像データＰ６を取得し、（−１／２，−１／２）シフトして７枚目の撮像データＰ７を取得し、（−１／２，１／２）シフトして８枚目の撮像データＰ８を取得する。

これにより、Ｇｒ画素、Ｇｂ画素、Ｒ画素、Ｂ画素の何れも、図１０〜図１３に示すような全画素数の半数のモザイク状の成分を取得することができる。これらの内のＧｒ成分およびＧｂ成分については例えば平均値をとってＧ成分とする。こうして、モザイク状のＲＧＢ成分が得られたら、後でデモザイキング部６２によりデモザイキング処理を行えば良い。

こうして１／２画素ずらしを行って８枚の画像を取得し超解像画像データを生成して、さらに画像処理を行い画像データを生成することで、撮像素子４１から得られる撮像データをそのまま画像処理して得られる画像データの、縦２倍、横２倍の画素密度の画像データを取得することができる。こうして、解像度変更部である超解像合成部２６により、撮像部２１から得られた撮像データに基づき、撮像データの解像度よりも高い解像度の画像データが生成される。

図１４〜図１８は１／３画素ずらし超解像モードにおける画素ずらし順序の一例を説明するためのものであり、図１４は撮像素子４１から得られた原色ベイヤー配列の撮像データの一部に、１／３画素ずらしによってシフトできる画素位置を空白として加えて示した図、図１５は１／３画素ずらし超解像モードにおけるＧｒ画素の画素ずらし順序を示す図、図１６は１／３画素ずらし超解像モードにおけるＧｂ画素の画素ずらし順序を示す図、図１７は１／３画素ずらし超解像モードにおけるＲ画素の画素ずらし順序を示す図、図１８は１／３画素ずらし超解像モードにおけるＢ画素の画素ずらし順序を示す図である。

まず、図１４〜図１８に示すマス目の間隔は、１／３画素ピッチである。

そして、上述と同様に画素ずらし量を（ｘ，ｙ）により表すとすると、図１５〜図１８に示す例では、１枚目の撮像データＰ１を取得した後に、（２／３，０）シフトして２枚目の撮像データＰ２を取得し、（２／３，０）シフトして３枚目の撮像データＰ３を取得し、（０，−２／３）シフトして４枚目の撮像データＰ４を取得し、（０，−２／３）シフトして５枚目の撮像データＰ５を取得し、（−２／３，０）シフトして６枚目の撮像データＰ６を取得し、（−２／３，０）シフトして７枚目の撮像データＰ７を取得し、（０，２／３）シフトして８枚目の撮像データＰ８を取得し、（２／３，０）シフトして９枚目の撮像データＰ９を取得する。

これにより、Ｇｒ画素、Ｇｂ画素、Ｒ画素、Ｂ画素の何れも、図１５〜図１８に示すような全画素数の１／４の成分を取得することができる。そして、これら図１５〜図１８に示すＧｒ画素、Ｇｂ画素、Ｒ画素、Ｂ画素を合わせると、画素ピッチが１／３の原色ベイヤー配列の超解像画像データが得られる。従って、この原色ベイヤー配列の超解像画像データに対して、後でデモザイキング部６２によりデモザイキング処理を行えば良い。

こうして１／３画素ずらしを行って９枚の画像を取得し超解像画像データを生成して、さらに画像処理を行い画像データを生成することで、撮像素子４１から得られる撮像データをそのまま画像処理して得られる画像データの、縦３倍、横３倍の画素密度の画像データを取得することができる。こうして、解像度変更部である超解像合成部２６により、撮像部２１から得られた撮像データに基づき、撮像データの解像度よりも高い解像度の画像データが生成される。

図１９〜図３１を参照しながら、図３２および図３３に沿って、撮影モードが画素ずらし超解像モードまたはデジタルズームモードに設定されたときの撮像システムの作用について説明する。なお、撮影モードとしては、通常の１枚撮影モードを含むその他の各種のモードにも設定することができるが、ここでは簡単のために、撮影モードが画素ずらし超解像モードとデジタルズームモードとの何れかに設定される場合を説明する。

ここに、図３２は画素ずらし超解像モードまたはデジタルズームモードにおける撮像システムの作用の一部を示すフローチャート、図３３は画素ずらし超解像モードまたはデジタルズームモードにおける撮像システムの作用の他の一部を示すフローチャートである。これら図３２および図３３は、図面記載の都合上、１つのフローチャートを２つに分割して図示したものである。図３２および図３３に示す処理は、フラッシュメモリ３３に記憶されている処理プログラムに従って、制御部３５が撮像システム内の各部を制御することにより行われる。

図示しないメイン処理を実行中に、画素ずらし超解像モードまたはデジタルズームモードに設定されると、この処理が開始される。

すると制御部３５はまず、交換レンズ１のＲＯＭ１６に記憶されているＭＴＦ特性値（図３参照）を、インタフェース（Ｉ／Ｆ）１５，３１を介してレンズ制御部１７から受信する（ステップＳ１）。

ここで図２０は、交換レンズ１のＲＯＭ１６に記憶されているＭＴＦ特性値の一例をグラフ化して示す線図である。

次に、制御部３５は、交換レンズ１から受信した図２０に示すようなＭＴＦ特性値に基づいて、図２１に示すような画角別のＭＴＦ特性値を算出する（ステップＳ２）。ここに、図２１は、画角別のＭＴＦ特性値の例を示す線図である。また、図１９は、画面を区分する複数の領域の組み合わせに応じた画角およびデジタルズーム倍率を示す図表である。

まず、図１９に示すように、画面を区分する４つの領域を全て足した場合（Ａ１＋Ａ２＋Ａ３＋Ａ４）は画角が１００％で倍率が１．０倍、辺縁部の領域Ａ４を除いた３つの領域を足した場合（Ａ１＋Ａ２＋Ａ３）は画角が７５％で倍率が１．３倍、さらに領域Ａ３も除いた場合（Ａ１＋Ａ２）は画角が５０％で倍率が２．０倍、そして領域Ａ１のみの場合は画角が２５％で倍率が４．０倍となってる。

そこで制御部３５は、図２０（あるいは図３）に示すような領域Ａ１〜Ａ４毎のＭＴＦ特性値に基づいて、図２１に示すような画角１００％，７５％，５０％，２５％のＭＴＦ特性値をそれぞれ算出する。具体的には、各領域Ａ１〜Ａ４のコントラスト値を、画角（例えば画角１００％ならＡ１〜Ａ４まで、画角７５％ならＡ１〜Ａ３まで、等）に応じて重み付け加算することにより、図２１に示すような画角別のＭＴＦ特性値を算出する。重み付け加算で用いる重みは、画像観察時の重要度から、画像中心付近が大きく画像周辺は相対的に小さくする。

続いて、制御部３５は、フラッシュメモリ３３から撮像素子４１の画素ピッチの情報を取得して、この画素ピッチの情報と現在設定されている撮像モードの情報（画素混合部４４による画素混合の情報など）とに基づいて、撮像部２１から出力される撮像データのサンプリング周波数（ナイキスト周波数でも構わない）を算出する。そして、制御部３５は、算出したサンプリング周波数（またはナイキスト周波数、以下同様）に基づいて、ＭＴＦ特性値を正規化する（ステップＳ３）。

ここに、図２２はサンプリング周波数により正規化されたＭＴＦ特性値とデジタルズームにおけるコントラスト限界とを示す線図である。また、図２２における横軸は、サンプリング周波数で正規化された相対周波数を示している。

また、図２２において、コントラスト１５％付近の点線ＤＺ１．３はデジタルズーム倍率１．３倍のコントラスト限界を示している。同様に、コントラスト２０％付近の点線ＤＺ２はデジタルズーム倍率２倍のコントラスト限界を示し、コントラスト４０％付近の点線ＤＺ４はデジタルズーム倍率４倍のコントラスト限界を示している。これらのデジタルズームのコントラスト限界は、カメラ本体２に対して予め設定され、例えば製造時にフラッシュメモリ３３に記憶されている。なお、ここでは倍率１．３倍、２倍、４倍の例を図示しているが、カメラ本体２において設定することができる全ての倍率に対応するデジタルズームのコントラスト限界をフラッシュメモリ３３に予め記憶させても良いし、中間の倍率に対するデジタルズームのコントラスト限界を補間により算出するようにしても構わない。

さらに、図２２において、ｆＤＺ１．３はデジタルズーム倍率１．３倍におけるレンズＭＴＦの判断周波数、ｆＤＺ２はデジタルズーム倍率２倍におけるレンズＭＴＦの判断周波数、ｆＤＺ４はデジタルズーム倍率４倍におけるレンズＭＴＦの判断周波数である。例えば、判断周波数ｆＤＺ１．３におけるレンズＭＴＦとコントラスト限界ＤＺ１．３とを比較することにより、選択できるデジタルズーム倍率を判断する。

制御部３５は、図２２に示すように正規化されたＭＴＦ特性値を、画角毎に内挿または外挿して、画角毎に、任意の相対周波数におけるコントラストを求めることができるようにする（ステップＳ４）。図２２において、実線は画角１００％における内挿／外挿曲線を、点線は画角７５％における内挿／外挿曲線を、一点鎖線は画角５０％における内挿／外挿曲線を、二点鎖線は画角２５％における内挿／外挿曲線を、それぞれ示している。

さらに、制御部３５は、現在設定されている画素ずらし超解像モードにおける画素ずらしシフト量（１／２画素ずらし超解像モード、１／３画素ずらし超解像モード等）を取得すると共に、フラッシュメモリ３３から撮像素子４１の画素開口率を取得して、画素ずらし超解像のシフト量判断周波数を算出する（ステップＳ５）。

ここに、図２３はサンプリング周波数により正規化されたＭＴＦ特性値と画素ずらし超解像におけるコントラスト限界とを示す線図である。この図２３における横軸も、サンプリング周波数で正規化された相対周波数を示している。また、図２３において、コントラスト３０％付近の点線ＳＲは画素ずらし超解像のコントラスト限界を示している。

さらに、図２３において、ｆ１は１画素ずらし超解像モードにおける相対周波数を、ｆ１／２は１／２画素ずらし超解像モードにおける相対周波数を、ｆ１／３は１／３画素ずらし超解像モードにおける相対周波数を、判断周波数としてそれぞれ示している。これらの相対周波数ｆ１，ｆ１／２，ｆ１／３は、画素ずらし超解像モードにおけるシフト量と、撮像素子４１の画素開口率と、に応じて決まる（例えば、画素ずらしシフト量に応じて基本的な値が定まるが、画素開口率によってこの基本的な値が補正される）。

ここに、図２２に示したデジタルズームの場合には、倍率によってコントラスト限界が変化していたが、図２３に示す画素ずらし超解像の場合には、画素ずらし超解像モード（１画素ずらし、１／２画素ずらし、１／３画素ずらし）が変化しても（ひいては、画素ずらしなしの通常の１枚撮影モードであっても）、コントラスト限界は変化しない（従って、図２３に示すコントラスト限界ＳＲは、通常の１枚撮影におけるコントラスト限界であるということができる）。

このような画素ずらし超解像のコントラスト限界は、カメラ本体２に対して予め設定され、例えば製造時にフラッシュメモリ３３に記憶されている。

なお、上述したステップＳ４において算出されたＭＴＦ特性値の内挿／外挿は、この図２３に対しても同様に適用され、画角に応じた内挿／外挿曲線の線種も図２２に示したのと同様である。

続いて、制御部３５は、図２３に示すような画素ずらし超解像のコントラスト限界ＳＲをフラッシュメモリ３３から取得して、内挿／外挿されたＭＴＦ特性値とコントラスト限界ＳＲとが交差する座標点を求めることにより、選択することができる画素ずらしシフト量を決定する（ステップＳ６）。

ここに、図２３において、画角１００％のＭＴＦ特性値がコントラスト限界ＳＲ以上となる相対周波数（ｆ１、ｆ１／２、ｆ１／３の内の１つ、２つ、または３つ）が、画角１００％において選択することができる画素ずらしシフト量に対応する。

また、一部の画角をトリミングして記録する場合には、画角２５％，５０％，７５％，１００％の内の何れか設定されている画角のＭＴＦ特性値がコントラスト限界ＳＲ以上となる相対周波数（ｆ１、ｆ１／２、ｆ１／３の内の１つ、２つ、または３つ）が、その画角において選択することができる画素ずらしシフト量に対応する。

あるいは、選択されている画素ずらし超解像モードに対応する相対周波数（ｆ１、ｆ１／２、ｆ１／３の何れか）における各画角２５％，５０％，７５％，１００％のＭＴＦ特性値がコントラスト限界ＳＲ以上となる画角が、その画素ずらし超解像モードにおいて選択することができる画角となる（すなわち、選択されている画素ずらし超解像モードにおいて、どこまでトリミングを行うことができるのかを判断することができる）。

さらに、図２２に示すようなデジタルズームのコントラスト限界ＤＺ１．３，ＤＺ２，ＤＺ４等が、カメラ本体２に対して予め設定され、例えば製造時にフラッシュメモリ３３等に記憶されている。そこで、制御部３５は、デジタルズームのコントラスト限界ＤＺ１．３，ＤＺ２，ＤＺ４等をフラッシュメモリ３３から取得して、各デジタルズーム倍率に対応する判断周波数（例えば、デジタルズーム倍率２倍の場合はｆＤＺ２）におけるレンズＭＴＦとコントラスト限界（同様に、デジタルズーム倍率２倍の場合はＤＺ２）とを比較し、レンズＭＴＦがコントラスト限界を上回っているズーム倍率を選択できると判断することで、カメラ本体２に装着されている交換レンズ１に応じて選択することができるデジタルズーム倍率を決定する（ステップＳ７）。

そして、制御部３５は、撮像部２１を含む各部を制御することにより、ライブビュー撮像処理を行い（ステップＳ８）、ライブビューにおいてフレーム単位で得られた画像を背面パネル２９またはＥＶＦ２８にライブビュー表示する（ステップＳ９）。

ここで、図２４はデジタルズームモードが設定されていて１．０倍でライブビュー表示を行っているときに選択することができるデジタルズーム倍率の第１の表示例を示す図、図２５はデジタルズームモードが設定されていて１．３倍でライブビュー表示を行っているときに選択することができるデジタルズーム倍率の第１の表示例を示す図である。

これら図２４および図２５に示す例は、選択することができるデジタルズーム倍率を、デジタルズーム枠および文字で表示する例である。すなわち、この例においては、現在選択されている倍率に対応する画面一杯のデジタルズーム枠が実線の矩形枠で示され、実線のデジタルズーム枠内において（つまり、現在選択されている倍率よりも高倍率側において）選択することができる倍率に対応するデジタルズーム枠が点線の矩形枠で示されると共に、各デジタルズーム枠に対応する倍率が文字で示されている。

具体的に、図２４は、１．０倍のデジタルズームでライブビュー表示を行っているときの様子を示し、実線のデジタルズーム枠により現在選択されている１．０倍（ｘ１．０）の倍率の範囲が示され、選択することができる１．３倍（ｘ１．３）に対応する点線のデジタルズーム枠および２．０倍（ｘ２．０）に対応する点線のデジタルズーム枠がそれぞれ示されている。

同様に、図２５は、１．３倍のデジタルズームでライブビュー表示を行っているときの様子を示し、実線のデジタルズーム枠により現在選択されている１．３倍の倍率の範囲が示され、選択することができる２．０倍に対応する点線のデジタルズーム枠がさらに示されている。なお、図２５に示す例では、選択することができる１．０倍に対応する点線のデジタルズーム枠は、表示範囲外となるために表示されていない。

そして、図２４および図２５に示す例では、ステップＳ７において決定された選択することができるデジタルズームの倍率に４．０倍（ｘ４．０）が入っていないために、４．０倍に対応する点線のデジタルズーム枠は表示されていない。

また、図２６はデジタルズームモードが設定されていて１．０倍でライブビュー表示を行っているときに選択することができるデジタルズーム倍率の第２の表示例を示す図、図２７はデジタルズームモードが設定されていて１．３倍でライブビュー表示を行っているときに選択することができるデジタルズーム倍率の第２の表示例を示す図である。

これら図２６および図２７に示す例は、選択することができるデジタルズーム倍率を文字で並べて表示する例である。すなわち、この例においては、選択することができる倍率が文字で並べて表示されると共に、現在選択されている倍率（図２６ではｘ１．０、図２７ではｘ１．３）が、現在選択されていない倍率よりも大きいサイズの文字で表示されている。また、撮影モードがデジタルズームモードであることを示す「ＤＺｏｏｍ」の文字も表示されている。

なお、ここでは現在選択されている倍率の文字サイズを大きくしているが、これに代えて、またはこれに加えて、太文字としても良いし、文字色を異ならせても良いし、フォントを異ならせても良いし、影付き文字などの文字装飾を異ならせても構わない。

次に、制御部３５は、現在設定されている撮影モードがデジタルズームモードと画素ずらし超解像モードとの何れであるかを判定する（ステップＳ１０）。

ここで画素ずらし超解像モードであると判定された場合には、選択することができるトリミング枠とシフト量をライブビュー画像に重畳して表示する（ステップＳ１１）。

図２８は、画角１００％でライブビュー表示を行っており、画素ずらし超解像モードが設定されていて画角１００％で１／２画素ずらし超解像モードが選択されているときにおける、選択することができるトリミング枠とシフト量の表示例を示す図、図２９は、画角１００％でライブビュー表示を行っており、画素ずらし超解像モードが設定されていて画角２５％で１／３画素ずらし超解像モードが選択されているときにおける、選択することができるトリミング枠とシフト量の表示例を示す図である。

これら図２８および図２９に示す例では、複数のトリミング画角（１００％、７５％、５０％、２５％）に各対応して、トリミング枠が予め用意されている。そして、選択することができるトリミング画角を画面に表示すると共に、トリミング枠で示されるトリミング画角を設定するときに選択することができる画素ずらし超解像モードを文字により表示している。具体的に、現在選択されている画角（ライブビュー時の画角ではなく静止画撮影用に選択されている画角）に対応するトリミング枠が実線の矩形枠で示され、選択することができる画角でかつ画面に表示できる画角に対応するその他のトリミング枠が点線の矩形枠で示されると共に、各トリミング枠に対応する画角の画像を得る際に設定することができる画素ずらし超解像モードが文字で示されている。

このとき、現在選択されている画角に対応するトリミング枠に付随する、画素ずらし超解像モードを示す文字の内の、現在選択されている画素ずらし超解像モードを示す文字が、現在選択されていない画素ずらし超解像モードを示す文字よりも大きいサイズの文字で表示されている。なお、文字サイズを変更するに限るものでないのは上述と同様である。

ここに、図２８および図２９（さらには後述する図３０および図３１）においては、１／２画素ずらし超解像モード（シフト量１／２）により縦２倍×横２倍（トータルで４倍）の高解像度が達成されるために「ＨＲ４」の文字により示し、１／３画素ずらし超解像モード（シフト量１／３）により縦３倍×横３倍（トータルで９倍）の高解像度が達成されるために「ＨＲ９」の文字により示している。

そして、画角１００％ではＨＲ４が、画角７５％ではＨＲ４が、画角５０％ではＨＲ４またはＨＲ９が、画角２５％ではＨＲ４またはＨＲ９が、それぞれ選択できるようになっている。従って、画角５０％または画角２５％では、ＨＲ４とＨＲ９との何れかをユーザが所望に選択することができるが、画角１００％および画角７５％においては１／２画素ずらし超解像モード（ＨＲ４）に自動的に設定されることになる。

また、図３０は、画角１００％でライブビュー表示を行っており、画素ずらし超解像モードが設定されていて画角１００％で１／２画素ずらし超解像モードが選択されているときのトリミング枠とシフト量の表示例を示す図である。図３１は、画角２５％でライブビュー表示を行っており、画素ずらし超解像モードが設定されていて画角２５％で１／３画素ずらし超解像モードが選択されているときのトリミング枠とシフト量の表示例を示す図である。

これら図３０および図３１に示す例では、ライブビューを行っているときのトリミング画角が静止画撮影用に選択された画角となるために、画面の辺縁に（画面一杯に）実線のトリミング枠が示されている。さらに、図３０に示す例では画素ずらし超解像モードとして１／２画素ずらし超解像モード（ＨＲ４）が選択されていることが表示されている。また、図３１に示す例では画素ずらし超解像モードとして１／２画素ずらし超解像モード（ＨＲ４）および１／３画素ずらし超解像モード（ＨＲ９）を選択することができるが、１／３画素ずらし超解像モード（ＨＲ９）が現在選択されていることが大きいサイズの文字により表示されている。

続いて、制御部３５は、画素ずらしシフト量（つまり、画素ずらし超解像モード）を変更する指示が操作部３２を介してユーザによりなされたか否かを判定する（ステップＳ１２）。

ここでシフト量を変更する指示がなされたと判定された場合には、トリミング画角の変更を伴うシフト量の変更である場合には、表示画像の画角を変更する（ステップＳ１３）。ただし、トリミング画角の変更を伴わない場合には、表示画像の画角はそのまま維持される。

さらに、シフト量に応じて、文字部分を含むトリミング枠表示を変更する（ステップＳ１４）。

そして、制御部３５は、指示に応じた画素ずらし超解像モードを設定することで、シフト量を変更する（ステップＳ１５）。

このステップＳ１５の処理を行うか、またはステップＳ１２においてシフト量を変更する指示がなされていないと判定された場合には、制御部３５は、操作部３２のレリーズボタンが押されたか否かを判定する（ステップＳ１６）。

ここで、レリーズボタンが押されていないと判定された場合には、ステップＳ１０へ戻って上述したような処理を行う。

また、ステップＳ１６においてレリーズボタンが押されたと判定された場合には、ライブビューにおいて取得された画像に基づいて、ＡＦ検波部４７がコントラスト評価値を検出し制御部３５がコントラスト評価値に基づきコントラストＡＦ処理を行うと共に、ＡＥ／ホワイトバランス部４８がホワイトバランス処理を行うと共にＡＥ評価値を検出し制御部３５がＡＥ評価値に基づきＡＥ処理を行う（ステップＳ１７）。

続いて、制御部３５が、撮像部２１およびセンサシフトユニット２２を制御して、設定されている画素ずらし超解像モードに応じてレンズ１１により結像される光学像と撮像素子４１との相対的な位置を異ならせながら、撮像部２１に複数回の撮像を行わせて、複数枚の画像データを取得する（ステップＳ１８）。

そして、制御部３５の制御に基づき超解像合成部２６が、取得された複数枚の画像データに基づき超解像画像データを生成する（ステップＳ１９）。なお、超解像画像データの合成処理を、選択されているトリミング画角内の画像データのみに対して行うことにより、合成処理を高速化することができる。

その後、制御部３５の制御に基づき画像処理部２７が、超解像画像データに対して画像処理を行う（ステップＳ２０）。

一方、ステップＳ１０においてデジタルズームモードであると判定された場合には、ステップＳ７において決定された、選択することができるデジタルズーム倍率に対応する例えばデジタルズーム枠が画像処理部２７によりライブビュー画像に重畳され、背面パネル２９またはＥＶＦ２８に表示される（ステップＳ２１）。従って、選択できないデジタルズーム倍率に対応するデジタルズーム枠は、表示されない。

さらに、制御部３５は、デジタルズーム倍率を変更する指示が操作部３２を介してユーザによりなされたか否かを判定する（ステップＳ２２）。

ここでデジタルズーム倍率を変更する指示がなされたと判定された場合には、表示画像の倍率を変更する（ステップＳ２３）。

さらに、設定された倍率に応じて、文字部分を含むデジタルズーム枠表示を変更する（ステップＳ２４）。

このステップＳ２４の処理を行うか、またはステップＳ２２においてデジタルズーム倍率を変更する指示がなされていないと判定された場合には、制御部３５は、操作部３２のレリーズボタンが押されたか否かを判定する（ステップＳ２５）。

ここで、レリーズボタンが押されていないと判定された場合には、ステップＳ１０へ戻って上述したような処理を行う。

また、ステップＳ２５においてレリーズボタンが押されたと判定された場合には、上述したステップＳ１７と同様に、ＡＥ処理、ＡＦ処理、ホワイトバランス処理を行う（ステップＳ２６）。

続いて、制御部３５が、撮像部２１を制御して撮像を行わせ、画像データを取得する（ステップＳ２７）。

その後、制御部３５の制御に基づき画像処理部２７が、画像データに対して画像処理を行う（ステップＳ２８）。

さらに、制御部３５の制御に基づきリサイズ部６８が、画像拡大処理、すなわち電子ズーム処理を行う（ステップＳ２９）。

こうして、ステップＳ２０またはステップＳ２９の処理が行われたら、制御部３５の制御に基づき、画像処理後の画像データが、画像ファイルとして外部メモリ３０に記録される（ステップＳ３０）。このときには撮影画像を確認するために、所定の時間だけ、撮影された画像データをＥＶＦ２８または背面パネル２９に表示するようにしても良い。

そして、再びライブビュー表示を行う（ステップＳ３１）。

このライブビュー表示を行っているときに、制御部３５は、操作部３２からの操作入力を監視しており、画素ずらし超解像モードとデジタルズームモードとの何れでもない他のモード、例えば通常の１枚撮影モード、動画撮影モード、再生モードなどに変更されたか否かを判定する（ステップＳ３２）。

ここで、他のモードに変更されていないと判定された場合には、ステップＳ１０へ戻って上述したような処理を行う。

また、ステップＳ３２において、他のモードに変更されたと判定された場合には、この処理から図示しないメイン処理へリターンする。

なお、上述では、撮像部２１から得られた撮像データに基づき、撮像データの解像度よりも高い解像度の画像データを生成する解像度変更部（超解像合成部２６やリサイズ部６８）と、受信部であるインタフェース（Ｉ／Ｆ）３１が受信した複数のＭＴＦ特性値と、所定のサンプリング周波数とに基づき、解像度変更部により生成される画像データの解像度の上限を決定する制御部３５と、をカメラ本体２内に設けたが、これに限るものではない。例えば、解像度変更部および制御部を撮像システムとは別途の画像処理装置に設けても構わないし、画像処理プログラムをコンピュータに実行させて解像度変更部および制御部と同等の処理を行うようにしても良い。この場合には、上述したような撮像システムから得られた撮像データを、画像処理装置やコンピュータ等に入力して、これらの機器において処理を行えば良い。

また、上述では複数のＭＴＦ特性値を交換レンズ１から受信したが、交換レンズ１の複数の種類に応じたＭＴＦ特性値の複数の組（１つの種類の交換レンズ１に対して、画面内の複数の領域に対応する複数のＭＴＦ特性値でなるＭＴＦ特性値の組がある）を設計値として予め用意し、カメラ本体２内の記憶部に格納しておき、装着された交換レンズ１の種類に応じてＭＴＦ特性値の組を記憶部から読み出して用いても良い。

さらに、カメラ本体２の外部の機器等（交換レンズ１も外部の機器の１つである）から有線または無線の通信回線によって送信された交換レンズ１の種類に応じたＭＴＦ特性値の組を、カメラ本体２の受信部で受信して用いるようにしても良い。１つの具体例は、上述したように、インタフェース（Ｉ／Ｆ）１５，３１を介して、カメラ本体２がＭＴＦ特性値の組を交換レンズ１から受信するものである。また、他の具体例としては、カメラ本体２が、装着された交換レンズ１の種類（この交換レンズ１の種類の情報は、一般的に、交換レンズ１のＲＯＭ１６に記録されていて、交換レンズ１が接続されたときにカメラ本体２の制御部３５により取得される）を例えばインターネット等を介してサーバに送信してリクエストすることにより、サーバから交換レンズ１の種類に応じたＭＴＦ特性値の組を受信するようにしても良い。

そして、上述では、画面内の複数の領域に対応する複数のＭＴＦ特性値を記憶する記憶部として、交換レンズ１に設けられたＲＯＭ１６を挙げたが、これに限るものではない。カメラ本体２に設けられ、複数のＭＴＦ特性値を予め記憶する記憶部として、例えば、ＤＲＡＭ２５などの一時記憶回路、あるいはフラッシュメモリ３３などの不揮発性メモリ、さらにあるいは制御部３５を構成する例えばＣＰＵやＡＳＩＣ等の内部に設けられた演算用レジスタなどを用いても構わない。この場合には、複数のＭＴＦ特性値でなるＭＴＦ特性値の組を、予め記憶部に複数組記憶させておく。そして、カメラ本体２が、装着された交換レンズ１の種類に応じて、記憶部に記憶されているＭＴＦ特性値の組を選択すれば良い。

このような実施形態１によれば、交換レンズ１の複数の領域に対応する複数のＭＴＦ特性値と、所定のサンプリング周波数とに基づき、解像度変更部により生成される画像データの解像度の上限を決定して、撮像データの解像度よりも高い解像度の画像データを生成するようにしたために、交換レンズ１の解像力に応じて、画像の解像度向上を適切に設定することができる。

また、複数のＭＴＦ特性値をカメラ本体２の外部から受信する受信部をカメラ本体２が備える場合には、カメラ本体２が、交換レンズ１のＭＴＦ特性値を予め保持する必要がない利点がある。

さらに、交換レンズ１のＲＯＭ１６に複数の領域に対応する複数のＭＴＦ特性値を記憶させる場合には、交換レンズ１を装着するだけで、ＭＴＦ特性値を受信部であるインタフェース（Ｉ／Ｆ）３１により簡便に取得することができる。

そして、複数のＭＴＦ特性値を予め記憶する記憶部をカメラ本体２に設ける場合には、複数の領域に対応する複数のＭＴＦ特性値を記憶していない交換レンズ１（例えば、ＭＴＦ特性値を記憶していない交換レンズ１、あるいは、画面全体の平均的なＭＴＦ特性値もしくは画面全体における代表的な１点のＭＴＦ特性値のみを記憶する交換レンズ１）にも対応することができる。

また、複数のＭＴＦ特性値の内の一部領域に対応するＭＴＦ特性値と、所定のサンプリング周波数とに基づいて、リサイズ部６８が生成する拡大画像データの上限拡大倍率を決定するようにしたために、適切な拡大倍率を選ぶことができ、装着されている交換レンズ１では解像度の向上が見込めないような過度に大きい拡大倍率を選ぶのを未然に防ぐことができる。

さらに、複数のＭＴＦ特性値と所定のサンプリング周波数とに基づき画素ずらし超解像モードを決定するようにしたために、適切な画素ずらし超解像モードを選ぶことができ、装着されている交換レンズ１では解像度の向上が見込めないような過度にシフト量が小さい画素ずらし超解像モードを選ぶのを未然に防ぐことができる。

加えて、画素混合部４４が画素混合の混合画素数を変更することで、撮像データの所定のサンプリング周波数を変更できるために、例えばライブビューや動画撮影などの用途に応じて、撮像部２１からの読出時間を適切に短縮することができる。

また、複数のＭＴＦ特性値に基づいて所定のサンプリング周波数の上限値を決定する場合には、現在装着されている交換レンズ１では、撮像素子４１の全画素を読み出しても解像度の向上が見込めないときに、撮像部２１からの撮像データの読出時間を適切に短縮することができる。

なお、上述した各部は、回路として構成されていても良い。そして、任意の回路は、同一の機能を果たすことができれば、単一の回路として実装されていても良いし、複数の回路を組み合わせたものとして実装されていても構わない。さらに、任意の回路は、目的とする機能を果たすための専用回路として構成されるに限るものではなく、汎用回路に処理プログラムを実行させることで目的とする機能を果たす構成であっても構わない。

また、上述では主として撮像システムについて説明したが、撮像システムと同様の処理を行う方法（撮像方法、画像処理方法など）であっても良いし、コンピュータに撮像システムと同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取りできる一時的でない記録媒体、等であっても構わない。

そして、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用ができることは勿論である。

１…交換レンズ
２…カメラ本体
１１…レンズ
１２…絞り
１３…フォーカス駆動部
１４…絞り駆動部
１５…インタフェース（Ｉ／Ｆ）
１６…ＲＯＭ
１７…レンズ制御部
２１…撮像部
２２…センサシフトユニット
２３…撮像処理部
２４…バス
２５…ＤＲＡＭ
２６…超解像合成部
２７…画像処理部
２８…電子ビューファインダ（ＥＶＦ）
２９…背面パネル
３０…外部メモリ
３１…インタフェース（Ｉ／Ｆ）
３２…操作部
３３…フラッシュメモリ
３５…制御部
４１…撮像素子
４２…アナログ増幅部
４３…Ａ／Ｄ変換部
４４…画素混合部
４５…インタフェース（Ｉ／Ｆ）
４６…インタフェース（Ｉ／Ｆ）
４７…ＡＦ検波部
４８…ＡＥ／ホワイトバランス部
４９…リサイズ部
５１…露光補正部
５２…動き補正部
５３…画素合成部
６１…ＯＢ減算／ホワイトバランス部
６２…デモザイキング部
６３…カラーマトリクス演算部
６４…ガンマ変換部
６５…色空間変換部
６６…エッジ強調部
６７…ノイズ除去部
６８…リサイズ部
６９…符号化部

Claims (9)

1. カメラ本体に交換レンズを着脱できるように装着する撮像システムであって、
   上記カメラ本体に設けられ、上記交換レンズにより結像された光学像を、複数の画素が配列された撮像面で撮像して、所定のサンプリング周波数の撮像データを出力する撮像部と、
   上記撮像部から得られた画面内の一部領域に対応する上記撮像データに基づき、該撮像データの解像度よりも高い解像度の画像データを生成する解像度変更部と、
   上記交換レンズの、上記画面内の複数の領域に対応する複数のＭＴＦ特性値の内の、上記一部領域に対応するＭＴＦ特性値と、上記所定のサンプリング周波数とに基づき、上記解像度変更部により生成される画像データの解像度の上限を決定する制御部と、
   を有することを特徴とする撮像システム。
2. 上記カメラ本体に設けられ、上記複数のＭＴＦ特性値を該カメラ本体の外部から受信する受信部をさらに有することを特徴とする請求項１に記載の撮像システム。
3. 上記交換レンズに設けられ、上記複数のＭＴＦ特性値を記憶する記憶部をさらに有し、
   上記受信部は、上記複数のＭＴＦ特性値を上記交換レンズから受信することを特徴とする請求項２に記載の撮像システム。
4. 上記カメラ本体に設けられ、上記複数のＭＴＦ特性値を予め記憶する記憶部をさらに有することを特徴とする請求項１に記載の撮像システム。
5. 上記解像度変更部は、上記撮像データの画素を補間して拡大画像データを生成する画像拡大部を含み、
   上記制御部は、上記複数のＭＴＦ特性値の内の上記一部領域に対応するＭＴＦ特性値と、上記所定のサンプリング周波数とに基づいて、上記拡大画像データの上限拡大倍率を決定することを特徴とする請求項１に記載の撮像システム。
6. 上記光学像と上記撮像部との相対位置をシフトさせる画素ずらしを行うものであり、シフト量の異なる複数の画素ずらし超解像モードに設定できる画素ずらし部をさらに有し、
   上記制御部は、ある画素ずらし超解像モードに設定して上記画素ずらし部に画素ずらしを行わせながら上記撮像部に複数回の撮像を行わせて、上記相対位置が異なる複数枚の撮像データを取得させ、
   上記解像度変更部は、上記画面内の一部領域に対応する上記複数枚の撮像データから、１枚の上記撮像データよりも解像度の高い超解像画像データを合成する超解像合成部を含み、
   上記制御部は、上記複数のＭＴＦ特性値の内の上記一部領域に対応するＭＴＦ特性値と、上記所定のサンプリング周波数とに基づき、上記解像度の上限に対応する画素ずらし超解像モードを決定することを特徴とする請求項１に記載の撮像システム。
7. 上記撮像部は、混合画素数を変更できるように画素混合を行う画素混合部を含み、上記混合画素数を変更することにより、上記撮像データの上記所定のサンプリング周波数を変更できることを特徴とする請求項１に記載の撮像システム。
8. 上記制御部は、さらに、上記複数のＭＴＦ特性値に基づいて、上記所定のサンプリング周波数の上限値を決定することを特徴とする請求項７に記載の撮像システム。
9. 交換レンズにより結像された光学像を、複数の画素が配列された撮像面で撮像して、所定のサンプリング周波数の撮像データを出力する撮像部を備えるカメラ本体に着脱できるように上記交換レンズを装着する撮像システムから得られた上記撮像データを処理する画像処理方法であって、
   画面内の一部領域に対応する上記撮像データに基づき、該撮像データの解像度よりも高い解像度の画像データを生成する解像度変更ステップと、
   上記交換レンズの、上記画面内の複数の領域に対応する複数のＭＴＦ特性値の内の、上記一部領域に対応するＭＴＦ特性値と、上記所定のサンプリング周波数とに基づき、上記解像度変更ステップにより生成される画像データの解像度の上限を決定する制御ステップと、
   を有することを特徴とする画像処理方法。