JP6274787B2 - 撮像装置、撮像システム及び画像処理方法 - Google Patents

Description

本発明は、撮像装置、撮像システム及び画像処理方法に関する。

一般の撮像装置は、光学系を介して被写体の光学像を撮像素子に結像させている。このような撮像装置では、光学系の特性に起因して撮像素子の周辺になるほどに撮像素子に結像される光学像の光量の低下が生じる。また、このような撮像装置では、撮像素子の周辺になるほどに光学像の歪が大きくなる。従来、撮像素子の周辺における光量低下を補正するためにシェーディング補正が行われており、また光学系の特性に起因する光学像の歪を補正するために歪補正が行われている。

ここで、シェーディング補正や歪補正を用いて画質劣化が補正されたときに、画像の中心と周辺との間でＳ／Ｎ特性が変化する場合がある。これに対し、特許文献１では、ノイズ低減の抑圧レベルをシェーディング補正等に用いられる補正量に応じて制御することにより、画像の中心と周辺との間でのＳ／Ｎ特性の変化を抑制することが提案されている。

特開２００６−２９５８０７号公報

撮像装置に搭載される光学系の小型化は、撮像装置の分野における大きな課題のうちの一つである。特に、高倍率の光学系は、原理的に大型化し易いため、可能な限りの小型化が望まれている。ここで、高倍率の光学系の小型化を実現しようとした場合には、その光学系の焦点距離によっては十分な大きさのイメージサークルが確保できなくなる可能性がある。イメージサークルとは、被写体の光学像の有効な結像領域、例えば光量低下が一定値以内の撮像素子上の結像領域のことである。

十分な大きさのイメージサークルが確保できない場合において記録画像の解像を保つための手法として、イメージサークルの外側の領域の画像をも記録に使用することが考えられる。ただし、イメージサークルの外側の領域では、光量低下が極端に大きくなる。特許文献１の手法が用いられたとしても、イメージサークルの外側の極端な光量低下によるＳ／Ｎ特性の変化を抑制することは困難である。

本発明は、前記の事情に鑑みてなされたもので、十分な大きさのイメージサークルが確保できないような小型の光学系が用いられた場合であっても画質劣化を良好に補正することが可能な撮像装置、撮像システム及び画像処理方法を提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の撮像装置は、焦点距離が可変であり、被写体の光学像の有効な結像領域であるイメージサークルの大きさが前記焦点距離によって異なる光学系と、前記焦点距離の値と前記イメージサークルの大きさの値との対応関係を示すデータを記憶するデータ記憶部と、前記光学系を介して撮像素子に結像される前記光学像から画像データを得る撮像部と、前記対応関係を示すデータに基づいて前記撮像部で得られた画像データのうちの前記イメージサークルの内側に対応した画像データと前記イメージサークルの外側に対応した画像データとでそれぞれ異なる画像処理を施す画像処理部とを具備し、前記画像処理部は、前記イメージサークルの内側に対応した画像データに対する画像処理として単数フレームの画像データを用いた画像処理を行い、前記イメージサークルの外側に対応した画像データに対する画像処理として複数フレームの画像データの合成処理を行い、前記合成処理における前記複数フレームの画像データの合成比率を像高に応じて変更し、前記イメージサークルの外側に対応した複数フレームの画像データのそれぞれを象限毎の複数の領域に分割し、該分割した複数フレームの画像データの位置合わせを象限毎に行ってから前記合成処理をすることを特徴とする。
前記の目的を達成するために、本発明の第２の態様の撮像装置は、焦点距離が可変であり、被写体の光学像の有効な結像領域であるイメージサークルの大きさが前記焦点距離によって異なる光学系と、前記焦点距離の値と前記イメージサークルの大きさの値との対応関係を示すデータを記憶するデータ記憶部と、前記光学系を介して撮像素子に結像される前記光学像から画像データを得る撮像部と、前記対応関係を示すデータに基づいて前記撮像部で得られた画像データのうちの前記イメージサークルの内側に対応した画像データと前記イメージサークルの外側に対応した画像データとでそれぞれ異なる画像処理を施す画像処理部とを具備し、前記画像処理部は、前記イメージサークルの内側に対応した画像データに対する画像処理として単数フレームの画像データを用いた画像処理を行い、前記イメージサークルの外側に対応した画像データに対する画像処理として複数フレームの画像データの合成処理を行い、前記撮像部は、前記イメージサークルの内側の被写体の露出を適正にするシャッタ速で前記撮像素子によって前記画像データを取得するとともに、前記イメージサークルの内側の被写体の露出を適正にするシャッタ速よりも遅いシャッタ速で前記撮像素子によって前記画像データを取得することによって前記複数フレームの画像データを取得することを特徴とする。
前記の目的を達成するために、本発明の第３の態様の撮像装置は、焦点距離が可変であり、被写体の光学像の有効な結像領域であるイメージサークルの大きさが前記焦点距離によって異なる光学系と、前記焦点距離の値と前記イメージサークルの大きさの値との対応関係を示すデータを記憶するデータ記憶部と、前記光学系を介して撮像素子に結像される前記光学像から画像データを得る撮像部と、前記対応関係を示すデータに基づいて前記撮像部で得られた画像データのうちの前記イメージサークルの内側に対応した画像データと前記イメージサークルの外側に対応した画像データとでそれぞれ異なる画像処理を施す画像処理部とを具備し、前記画像処理部は、前記イメージサークルの内側に対応した画像データに対する画像処理として単数フレームの画像データを用いた画像処理を行い、前記イメージサークルの外側に対応した画像データに対する画像処理として複数フレームの画像データの合成処理を行い、前記画像データにおける注目画素を中心とする注目画素ブロックと類似度の高い比較画素ブロックを前記画像データにおける探索領域内で探索し、前記注目画素と探索された前記比較画素ブロックの中心の比較画素とを重み付け加算する処理を前記画像処理として施し、前記注目画素が前記イメージサークルの内側の画素である場合と前記注目画素が前記イメージサークルの外側の画素である場合とで前記探索領域の大きさ及び前記重み付け加算の際の重み付け係数を変更することを特徴とする。

前記の目的を達成するために、本発明の第４の態様の撮像システムは、焦点距離が可変であり、被写体の光学像の有効な結像領域であるイメージサークルの大きさが前記焦点距離によって異なる光学系と、前記焦点距離の値と前記イメージサークルの大きさの値との対応関係を示すデータを記憶するレンズデータ記憶部と、前記対応関係を示すデータを送るためのレンズインターフェース部とを具備する交換レンズと、前記光学系を介して撮像素子に結像される前記光学像から画像データを得る撮像部と、前記レンズインターフェース部から前記対応関係を示すデータを受けるための装置インターフェース部と、前記装置インターフェース部で受けられた前記対応関係を示すデータに基づいて前記撮像部で得られた画像データのうちの前記イメージサークルの内側に対応した画像データと前記イメージサークルの外側に対応した画像データとでそれぞれ異なる画像処理を施す画像処理部とを具備する撮像装置とを有し、前記画像処理部は、前記イメージサークルの内側に対応した画像データに対する画像処理として単数フレームの画像データを用いた画像処理を行い、前記イメージサークルの外側に対応した画像データに対する画像処理として複数フレームの画像データの合成処理を行い、前記合成処理における前記複数フレームの画像データの合成比率を像高に応じて変更し、前記イメージサークルの外側に対応した複数フレームの画像データのそれぞれを象限毎の複数の領域に分割し、該分割した複数フレームの画像データの位置合わせを象限毎に行ってから前記合成処理をすることを特徴とする。

前記の目的を達成するために、本発明の第５の態様の画像処理方法は、焦点距離が可変であり、被写体の光学像の有効な結像領域であるイメージサークルの大きさが前記焦点距離によって異なる光学系を介して撮像部に結像される前記光学像から画像データを得て、前記焦点距離の値と前記イメージサークルの大きさの値との対応関係を示すデータに基づいて前記撮像部で得られた画像データのうちの前記イメージサークルの内側に対応した画像データと前記イメージサークルの外側に対応した画像データとでそれぞれ異なる画像処理を施し、前記画像処理において、前記イメージサークルの内側に対応した画像データに対する画像処理として単数フレームの画像データを用いた画像処理を行い、前記イメージサークルの外側に対応した画像データに対する画像処理として複数フレームの画像データの合成処理を行い、前記合成処理における前記複数フレームの画像データの合成比率を像高に応じて変更し、前記イメージサークルの外側に対応した複数フレームの画像データのそれぞれを象限毎の複数の領域に分割し、該分割した複数フレームの画像データの位置合わせを象限毎に行ってから前記合成処理をすることを特徴とする。

本発明によれば、十分な大きさのイメージサークルが確保できないような小型の光学系が用いられた場合であっても画質劣化を良好に補正することが可能な撮像装置、撮像システム及び画像処理方法を提供することができる。

本発明の各実施形態に係る撮像システムの全体構成を示す図である。 光学系の一例の構成を示す図である。 本発明の第１の実施形態におけるデータ処理の流れを示す機能ブロック図である。 本発明の第１の実施形態に係る撮像システムの詳細な動作を示すフローチャートである。 撮影回数の設定について説明するための図である。 本発明の第１の実施形態における像高位置と合成比率との関係を示す図である。 象限について示す図である。 合成処理について示すフローチャートである。 本発明の第２の実施形態におけるデータ処理の流れを示す機能ブロック図である。 本発明の第２の実施形態に係る撮像システムの詳細な動作を示すフローチャートである。 本発明の第２の実施形態における像高位置と合成比率との関係を示す図である。 シェーディング特性データの例を示す図である。 本発明の第３の実施形態におけるデータ処理の流れを示す機能ブロック図である。 ノイズ低減処理部２２２５ｃ２の構成を示す図である。 ノイズ低減処理部２２２５ｃ２におけるノイズ低減処理について説明するための図である。 本発明の第４の実施形態におけるデータ処理の流れを示す機能ブロック図である。 画素加算処理について示すフローチャートである。 画素加算係数の設定について説明するための図である。 第４の実施形態における像高位置と合成比率との関係を示す図である。

以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
まず、本発明の第１の実施形態について説明する。図１は、本発明の各実施形態に係る撮像システムの全体構成を示す図である。図１に示す撮像システム１は、交換レンズ１００と、撮像装置２００とを有している。交換レンズ１００は、撮像装置２００に対して着脱されるように構成されている。撮像装置２００に交換レンズ１００が装着された場合に、交換レンズ１００は、撮像装置２００と通信自在に接続される。これにより、交換レンズ１００は、撮像装置２００の制御に従って動作可能な状態となる。

交換レンズ１００は、光学系１０１と、レンズ駆動機構１０４と、絞り駆動機構１０６と、ズーム環１０８と、ズーム位置検出部１１０と、レンズ制御部１１２と、レンズマウント接点１１４とを有している。

光学系１０１は、図示しない被写体からの光線を、撮像素子２０６の撮像面上に結像させるための光学系である。この光学系１０１は、撮影レンズ１０２１と、絞り１０２２とを有している。撮影レンズ１０２１は、焦点距離が可変であって、焦点距離の変化に伴ってイメージサークルの大きさを変化させるように設計された単一又は複数のレンズである。具体的には、本実施形態の例の撮影レンズ１０２１は、図１の一点鎖線で示す光軸方向に沿って駆動されることによってその焦点距離を変化させるように、また焦点距離が相対的に長くなるほどにイメージサークルが小さくなるように設計されている。絞り１０２２は、開閉自在に構成され、撮影レンズ１０２１を介して撮像素子２０６に入射する光線の量を調整する。光学系１０１の詳細については後で説明する。

レンズ駆動機構１０４は、モータ及びその駆動回路等を有している。このレンズ駆動機構１０４は、レンズ制御部１１２の制御に従って、撮影レンズ１０２１をその光軸方向に駆動させる。絞り駆動機構１０６は、絞り１０２２を駆動するための駆動機構を有している。この絞り駆動機構１０６は、レンズ制御部１１２の制御に従って絞り１０２２を駆動させる。

ズーム環１０８は、交換レンズ１００の本体の外周に沿って回転自在に設けられた操作部材である。ズーム位置検出部１１０は、ズーム環１０８の操作量を検出するように構成された例えばエンコーダである。このズーム位置検出部１１０は、ズーム環１０８の操作量を、撮影レンズ１０２１の焦点距離（ズーム位置）の情報としてレンズ制御部１１２に入力する。ここで、ズーム位置の値は、例えば大きくなるほどに撮影レンズ１０２１の焦点距離が長くなることを意味している。

レンズ制御部１１２は、レンズマウント接点１１４及び本体マウント接点２２４を介して撮像装置２００の本体制御部２２２と通信自在に接続される。このレンズ制御部１１２は、本体制御部２２２からの入力やズーム位置検出部１１０からの入力に従ってレンズ駆動機構１０４及び絞り駆動機構１０６を制御する。また、レンズ制御部１１２は、例えばフラッシュメモリであるレンズデータ記憶部１１２１を有している。レンズデータ記憶部１１２１は、光学系１０１の収差特性等のレンズデータを記憶している。また、本実施形態におけるレンズデータ記憶部１１２１は、光軸中心を基準とした像高に対する光量低下量のデータをシェーディング特性データとして記憶している。なお、レンズデータ記憶部１１２１は、撮影レンズ１０２１の焦点距離（ズーム位置）の値毎にシェーディング特性データを記憶している。これは、光学系１０１が焦点距離によってイメージサークルの大きさを変化させる光学系であるためである。

レンズマウント接点１１４は、交換レンズ１００のマウント部に設けられた接点である。このレンズマウント接点１１４は、交換レンズ１００が撮像装置２００に装着された際に本体マウント接点２２４と電気的に接続され、交換レンズ１００と撮像装置２００とが通信するためのレンズインターフェース部として機能する。

撮像装置２００は、シャッタ２０２と、シャッタ駆動機構２０４と、撮像素子２０６と、撮像素子インターフェース（ＩＦ）部２０８と、ＲＡＭ２１０と、ＲＯＭ２１２と、表示素子駆動部２１４と、表示素子２１６と、記録メディア２１８と、操作部２２０と、本体制御部２２２と、本体マウント接点２２４とを有している。

シャッタ２０２は、撮像素子２０６の撮像面を遮光状態又は露光状態とするように構成されている。このシャッタ２０２のシャッタ速が制御されることにより、撮像素子２０６の露光時間が調整される。シャッタ駆動機構２０４は、シャッタ２０２を駆動させるための駆動機構を有し、本体制御部２２２の制御に従ってシャッタ２０２を駆動させる。

撮像素子２０６は、光学系１０１を介して集光された被写体からの光線が結像される撮像面を有している。撮像素子２０６の撮像面には、複数の画素が２次元状に配置されている。また、撮像面の光入射側には、カラーフィルタが設けられている。このような撮像素子２０６は、撮像面に結像された光線に対応した光像（被写体像）を、その光量に応じた電気信号（以下、画像信号という）に変換する。撮像素子２０６とともに撮像部として機能する撮像素子ＩＦ部２０８は、本体制御部２２２のＣＰＵ２２２１の制御に従って撮像制御情報を撮像素子２０６に入力して撮像素子２０６を駆動させる。また、撮像素子ＩＦ部２０８は、本体制御部２２２の制御に従って撮像素子２０６で得られた画像信号を読み出し、読み出した画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。さらに、撮像素子ＩＦ部２０８は、アナログ処理した画像信号をデジタル信号（以下、画像データという）に変換する。

ＲＡＭ２１０は、例えばＳＤＲＡＭであり、ワークエリア及び画像エリアを記憶エリアとして有している。ワークエリアは、撮像装置２００の各部で発生した各種の演算データを一時記憶しておくためにＲＡＭ２１０に設けられた記憶エリアである。画像エリアは、撮像素子ＩＦ部２０８で得られた画像データや画像処理中の画像データ等の撮像装置２００の各部で発生した画像データを一時記憶しておくためにＲＡＭ２１０に設けられた記憶エリアである。

ＲＯＭ２１２は、例えばフラッシュメモリであり、本体制御部２２２のＣＰＵ２２２１が種々の処理を実行するためのプログラムコードを記憶している。また、ＲＯＭ２１２は、撮像素子２０６等の動作に必要な制御パラメータ及び本体制御部２２２に画像処理部２２２５での画像処理に必要な制御パラメータ等の、各種の制御パラメータを記憶している。

表示素子駆動部２１４は、本体制御部２２２から入力された画像データに基づいて表示素子２１６を駆動させ、表示素子２１６に画像を表示させる。表示素子２１６は、例えば液晶ディスプレイや有機ＥＬディスプレイであり、ライブビュー用の画像及び記録メディア２１８に記録された画像等の各種の画像を表示する。

記録メディア２１８は、例えばメモリカードである。記録メディア２１８には、撮影動作によって得られた画像ファイル等が記録される。画像ファイルは、画像データに所定のヘッダを付与して構成されるファイルである。ヘッダには、露出条件を示すデータ等が、タグデータとして記録される。

操作部２２０は、ユーザが撮像装置２００の各種の操作を行うための複数の操作部材を有して構成されている。操作部材としては、レリーズボタン、メニューボタン、電源ボタン等が含まれる。レリーズボタンは、ユーザが撮像装置２００に対して静止画撮影開始の指示をするための操作部材である。このレリーズボタンは、半押しされることによって自動露出（ＡＥ）処理及び自動合焦（ＡＦ）処理の指示を本体制御部２２２に対して与え、全押しされることによって撮影（静止画記録）動作の指示を本体制御部２２２に対して与える。メニューボタンは、撮像装置２００の各種のモードを設定するためのメニュー画面の表示を指示するための操作部材である。ユーザは、メニュー画面上で撮像装置２００に関する各種の設定を行うことができる。この各種の設定としては、例えば記録メディア２１８に記録する画像データの画素数である記録画素数の設定が含まれる。電源ボタンは、ユーザが撮像装置２００に対して電源のオン又はオフを指示するための操作部材である。

本体制御部２２２は、撮像装置２００の動作を制御するための制御回路として、ＣＰＵ２２２１と、ＡＦ制御部２２２２と、ＡＥ制御部２２２３と、動き検出部２２２４と、画像処理部２２２５と、通信制御部２２２６と、メモリ制御部２２２７とを有している。ＣＰＵ２２２１は、シャッタ駆動機構２０４、撮像素子ＩＦ部２０８、表示素子駆動部２１４等の本体制御部２２２の外部の各ブロック及びレンズ制御部１１２、並びに本体制御部２２２の各制御回路の動作を制御する制御部である。ＡＦ制御部２２２２は、ＡＦ処理を制御する。ＡＦ処理は、例えばコントラストＡＦ処理である。具体的には、ＡＦ制御部２２２２は、撮像素子ＩＦ部２０８で得られた画像データの高周波成分を抽出し、この抽出した高周波成分を積算することにより、ＡＦ用の合焦評価値をＡＦエリア毎に取得する。ＣＰＵ２２２１は、この合焦評価値に従って画像データのコントラストを評価しつつ、レンズ制御部１１２を制御して撮影レンズ１０２１を合焦状態とする。ＡＥ制御部２２２３は、ＡＥ処理を制御する。具体的には、ＡＥ制御部２２２３は、撮像素子ＩＦ部２０８で得られた画像データを用いて被写体輝度を算出する。ＣＰＵ２２２１は、この被写体輝度が予め定められた適正値になるように、撮影時の絞り１０２２の開口量（絞り値）、シャッタ２０２の開放時間（シャッタ速）、撮像素子２０６の感度等の露出条件を算出する。動き検出部２２２４は、複数フレームの画像データの間の動きベクトルを象限毎に検出する。象限は、画像データにおける光軸中心相当位置を原点位置として設定される。すなわち、原点位置に対して右上の領域が第１象限であり、原点位置に対して左上の領域が第２象限であり、原点位置に対して左下の領域が第３象限であり、原点位置に対して右下の領域が第４象限である。画像処理部２２２５は、画像データに対する各種の画像処理を行う。本実施形態における画像処理部２２２５は、シェーディング補正部２２２５ａと、合成処理部２２２５ｂと、ノイズ低減処理部２２２５ｃとを有している。シェーディング補正部２２２５ａは、撮影レンズ１０２１の特性等に起因して生じる画像データの周辺部における光量低下を例えばゲイン乗算によって補正する。合成処理部２２２５ｂは、複数フレームの画像データを画素データ単位で合成する。ノイズ低減処理部２２２５ｃは、例えばコアリング処理によって画像データにおけるノイズを低減する。なお、画像処理部２２２５は、シェーディング補正部処理、合成処理、ノイズ低減処理に加えて、色補正処理、ガンマ補正処理、歪補正処理、圧縮処理等の処理も行う。また、画像処理部２２２５は、圧縮されている画像データに対する伸張処理も施す。通信制御部２２２６は、本体制御部２２２のＣＰＵ２２２１等が、レンズ制御部１１２と通信する際の制御を行う。メモリ制御部２２２７は、ＣＰＵ２２２１等が、ＲＡＭ２１０、ＲＯＭ２１２、記録メディア２１８にアクセスする際の制御を行う。

本体マウント接点２２４は、撮像装置２００のマウント部に設けられた接点である。この本体マウント接点２２４は、交換レンズ１００が撮像装置２００に装着された際にレンズマウント接点１１４と電気的に接続され、交換レンズ１００と撮像装置２００とが通信するための装置インターフェース部として機能する。

図２は、光学系１０１の一例の構成を示す図である。ここで、図２（ａ）は、焦点距離がワイド端相当の状態であり、図２（ｂ）は焦点距離がテレ端相当の状態である。図２（ａ）及び図２（ｂ）に示すように、光学系１０１における撮影レンズ１０２１は、５群のレンズＧ１〜Ｇ５によって構成されている。また、絞り１０２２は、５群のレンズＧ１〜Ｇ５の光路中に配置されている。

このような一例の撮影レンズ１０２１では、主に第１群レンズＧ１が被写体側（図面下側）に繰り出されることによって焦点距離が長くなる。その他のレンズ群は、主に収差の補正や焦点の補正に用いられる。ここで、撮影レンズ１０２１を構成している５群のレンズＧ１〜Ｇ５のうち、前玉のレンズに相当する第１群レンズＧ１の口径は、通常の前玉レンズの口径に比べて短くなっている。このため、図２（ａ）のような焦点距離が短い状態では、撮像素子２０６に予め設定されている記録画像領域がイメージサークルの内側に収まるが、図２（ｂ）のような焦点距離が長い状態では、撮像素子２０６の記録画像領域がイメージサークルの内側に収まらなくなる。イメージサークルの外側の画像データは、光量低下が大きく、通常では記録や表示のための画像データとしては使用できない。画像処理部２２２５は、このような光量低下をシェーディング補正処理等を用いて補正する。補正の詳細については後で説明する。

図３は、本発明の第１の実施形態におけるデータ処理の流れを示す機能ブロック図である。図３においては、図１で示した撮像システム１のうち、本実施形態の内容と特に関連している部分が抜き出されている。撮影レンズ１０２１を介して入射した被写体からの光束は、撮像素子２０６の撮像面に結像される。ＣＰＵ２２２１は、撮像素子ＩＦ部２０８を制御して撮像素子２０６による撮影動作を実行する。ここで、撮影時における撮影レンズ１０２１の焦点距離（ズーム位置）は、ズーム位置検出部１１０において検出される。レンズ制御部１１２は、ズーム位置検出部１１０において検出されたズーム位置に応じたシェーディング特性データをレンズデータ記憶部１１２１から取得し、取得したシェーディング特性データを本体制御部２２２のＣＰＵ２２２１に送信する。また、レンズ制御部１１２は、取得した撮影レンズ１０２１の焦点距離（ズーム位置）を本体制御部２２２のＣＰＵ２２２１に送信する。ＣＰＵ２２２１は、焦点距離に応じて１コマ撮影に対する撮影の回数を変更する。詳細については後述する。

撮像素子２０６による撮影動作の結果として得られた画像信号は、撮像素子ＩＦ部２０８によって読み出されてデジタル信号である画像データに変換される。この画像データは、ＲＡＭ２１０の画像エリアに記憶される。ここで、本実施形態では、イメージサークルの外側の画像データにおける光量低下を補正するために複数フレームの画像データが用いられる。そして、複数フレームの画像データを得るために、複数回の撮影が行われる。例えば、図３の例では、最大４回の撮影が行われて４フレームの画像データがＲＡＭ２１０の画像エリアに記憶される。ここで、図３の例における４回の撮影のうち、最初の１回が基準画像のための撮影であり、残りの３回が合成用画像のための撮影である。撮影回数は、シェーディング特性に応じて決定される。撮影回数を決定する処理の詳細は後で説明する。

撮影枚数の設定とともに、ＣＰＵ２２２１は、シェーディング補正処理のためのシェーディング補正係数（補正データ）をシェーディング補正部２２２５ａに入力する。シェーディング補正係数は、画像データの中心（光軸中心相当）の画素データに対する画像データの周辺の画素データの光量低下から決定される。さらに、ＣＰＵ２２２１は、合成処理のための合成比率を算出する。そして、ＣＰＵ２２２１は、合成比率を合成処理部２２２５ｂに入力する。ここで、合成比率は、像高位置に応じて変更される。

シェーディング補正部２２２５ａは、ＲＡＭ２１０から読み出した画像データに対してＣＰＵ２２２１から入力されたシェーディング補正係数を用いてシェーディング補正処理を行う。すなわち、シェーディング補正部２２２５ａは、画像データを構成する各画素データにシェーディング補正係数を乗じる処理を行う。

合成処理が必要な場合、動き検出部２２２４は、シェーディング補正処理された複数フレームの画像データの間の動きベクトルを象限毎に検出する。その後、合成処理部２２２５ｂは、動きベクトルに応じて複数フレームの画像データの位置合わせを象限毎にした後、シェーディング補正処理された複数フレームの画像データをＣＰＵ２２２１から入力された合成比率に従って合成する。その後、ノイズ低減処理部２２２５ｃは、合成処理がされた画像データに対してノイズ低減処理を施す。このノイズ低減処理が施された画像データが表示に使用されたり、記録に使用されたりする。

図４は、本発明の第１の実施形態に係る撮像システムの詳細な動作を示すフローチャートである。図４においてＣＰＵ２２２１は、レンズ制御部１１２との通信により、ズーム位置検出部１１０で検出されている現在の撮影レンズ１０２１の焦点距離（ズーム位置）の情報を取得する（ステップＳ１０１）。続いて、ＣＰＵ２２２１は、レンズ制御部１１２との通信により、現在のズーム位置に応じたレンズデータ、特にシェーディング特性データを取得する（ステップＳ１０２）。その後、ＣＰＵ２２２１は、現在のズーム位置が所定以上であるか否か、すなわち焦点距離が所定以上の長さであるか否かを判定する（ステップＳ１０３）。ステップＳ１０３の判定における所定以上とは、例えば撮像素子２０６の記録画像領域がイメージサークル外にはみ出してしまう値以上のことである。

ステップＳ１０３において現在のズーム位置が所定以上であると判定した場合に、ＣＰＵ２２２１は、シェーディング特性情報に応じて撮影枚数ｍの値を設定するとともに、撮影回数を示すパラメータｉの値を１に初期化する（ステップＳ１０４）。ここで、撮影回数の設定について説明する。前述したように、撮影回数は、シェーディング特性に応じて決定される。シェーディング特性データは、均一輝度面を撮影して得られるデータであって、例えば図６（ａ）に示すデータである。図６（ａ）に示すシェーディング特性データは、横軸に対角像高（光軸中心相当位置を基準とした対角方向の像高）をとり、縦軸に光量（画素データの値）をとったものである。本実施形態のように、記録画像領域がイメージサークル外にはみ出す可能性がある場合、イメージサークルの外側では光量の低下が極端に大きくなる。イメージサークルの境界部における光量をαとし、記録画像領域の端における光量をβとしたとき、α／βがイメージサークルの内側と外側との光量低下の差異を示すことになる。ここで、ゲイン補正によるシェーディング補正処理の場合、イメージサークル境界部のような光量の低下の少ない画素データについては低ノイズで補正が行われるのに対し、記録画像領域の終端部のような光量の低下の大きい画素データについてはゲイン補正によってノイズも増幅されてしまうのでＳ／Ｎが低下する。したがって、本実施形態では、シェーディング補正処理と合成処理とを併用することにより、光量の低下の大きい画素データにおけるシェーディング補正処理によるＳ／Ｎの悪化を抑制する。ここで、同じ露出条件のもとで得られたｍ枚の画像データを合成することによって、ノイズの大きさが１／√ｍになることが知られている。したがって、図６（ｂ）に示すようにしてα／βの大きさに応じて撮影枚数を設定し、設定した撮影枚数の画像データを合成することで、イメージサークルの外側におけるＳ／Ｎの悪化が抑制される。図６（ｂ）の例では、１＜α／β≦√２のときに撮影枚数を２枚とし（このときノイズが１／√２になる）、√２＜α／β≦√３のときに撮影枚数を３枚とし（このときノイズが１／√３になる）、√３＜α／β≦２のときに撮影枚数を４枚としている（このときノイズが１／２になる）。

撮影枚数ｍを設定してパラメータｉを初期化した後、ＣＰＵ２２２１は、ＡＦ制御部２２２２を用いてＡＦ処理を実行するとともにＡＥ制御部２２２３を用いてＡＥ処理を実行する（ステップＳ１０５）。ＡＦ処理においては、イメージサークル内の被写体に合焦するように撮影レンズ１０２１が駆動される。また、ＡＥ処理においては、イメージサークルの内側の被写体の露出が適正になるように露出条件が設定される。ＡＦ処理及びＡＥ処理の後、ＣＰＵ２２２１は、ＡＥ処理の結果として決定された露出条件に従って撮像素子ＩＦ部２０８及びレンズ制御部１１２を制御して基準画像の撮影を実行する（ステップＳ１０６）。撮影の実行後、画像処理部２２２５のシェーディング補正部２２２５ａは、撮影の結果としてＲＡＭ２１０に記憶されている基準画像データに対してシェーディング補正処理を行う（ステップＳ１０７）。シェーディング補正係数Ｓ０（ｚ）は、図６（ａ）のシェーディング特性データを示す像高ｚの関数である。このようなシェーディング補正係数が画素データに乗じられることによって、イメージサークル境界付近の画素データにおける光量低下が補正される。ただし、イメージサークルの外側については光量低下が補正される反面、ノイズが大きく増加する。

続いて、ＣＰＵ２２２１は、合成処理のための基準画像データの合成比率を算出し、算出した合成比率を、基準画像データを構成する各画素データに乗じる（ステップＳ１０８）。ここで、合成比率の算出について説明する。図５は、像高位置と合成比率との関係を示す図である。本実施形態においては、イメージサークルの内側においては、像高位置によらずに基準画像データの合成比率が１（合成用画像データの合成比率が０）に設定される。一方、イメージサークルの外側においては、像高位置が記録画像領域の終端位置に近づくにつれて基準画像データの合成比率が１から減少され、合成用画像データの合成比率が０から増加される。そして、像高位置が記録画像領域の終端位置となったときに基準画像データの合成比率と各合成用画像データの合成比率が１／（撮影枚数）に設定される。

基準画像に対する処理の後、ＣＰＵ２２２１は、ＡＥ処理の結果として決定された露出条件に従って撮像素子ＩＦ部２０８及びレンズ制御部１１２を制御して合成用画像の撮影を実行する（ステップＳ１０９）。撮影の実行後、画像処理部２２２５のシェーディング補正部２２２５ａは、撮影の結果としてＲＡＭ２１０に記憶されている合成用画像データに対してシェーディング補正処理を行う（ステップＳ１１０）。すなわち、シェーディング補正部２２２５ａは、合成用画像データを構成する各画素データに予め定められたゲイン値（シェーディング補正係数）を乗じる処理を行う。合成用画像データに乗じるシェーディング補正係数は、シェーディング補正係数Ｓ０（ｚ）である。

続いて、動き検出部２２２４は、合成用画像データにおける動きベクトルを算出する（ステップＳ１１１）。ここで、動きベクトルは、図７で示すような象限毎に個別に算出される。前述したように、原点位置に対して右上の領域が第１象限であり、原点位置に対して左上の領域が第２象限であり、原点位置に対して左下の領域が第３象限であり、原点位置に対して右下の領域が第４象限である。動きベクトルが算出された後、ＣＰＵ２２２１は、合成用画像データの合成比率を算出する（ステップＳ１１２）。続いて合成処理部２２２５ｂは、合成処理を行う（ステップＳ１１３）。合成処理においては、撮影により得られた基準画像データと各合成用画像データとが画素データ毎に合成比率に従って合成される。以下、図８を参照して合成処理について説明する。

図８において、合成処理部２２２５ｂは、基準画像データに対する画素位置、すなわち合成処理の対象となる画素位置を示すパラメータｊを０に初期化する（ステップＳ２０１）。パラメータｊは、例えば０のときに画像データにおける左上の画素位置を示す。そして、パラメータｊの値が増加する毎に、画素位置が右方向及び下方向に順次ずらされる。続いて、合成処理部２２２５ｂは、パラメータｊに対応した画素位置がイメージサークルの外側の位置であるか否かを判定する（ステップＳ２０２）。ステップＳ２０２においてパラメータｊに対応した画素位置がイメージサークルの外側の位置でないと判定した場合に、合成処理部２２２５ｂは、処理をステップＳ２０８に移行させる。ステップＳ２０２においてパラメータｊに対応した画素位置がイメージサークルの外側の位置であると判定した場合に、合成処理部２２２５ｂは、パラメータｊに対応した画素位置が属している象限を判定する（ステップＳ２０３）。すなわち、合成処理部２２２５ｂは、パラメータｊに対応した画素位置が属している領域が、右上領域である場合には画素位置が第１象限に属していると判定し、左上領域である場合には画素位置が第２象限に属していると判定し、左下領域である場合には画素位置が第３象限に属していると判定し、右下領域である場合には画素位置が第４象限に属していると判定する。

象限の判定後、合成処理部２２２５ｂは、判定された象限における動きベクトルを動き検出部２２２４から取得する（ステップＳ２０４）。そして、合成処理部２２２５ｂは、合成用画像データにおけるパラメータｊに対応した画素位置から動きベクトル分だけずらした画素位置の画素データを取得する（ステップＳ２０５）。続いて、合成処理部２２２５ｂは、パラメータｊに対応した画素位置における合成用画像データの合成比率を取得し、取得した合成用画像データの合成比率をステップＳ２０５で取得した画素データに乗じる（ステップＳ２０６）。その後、合成処理部２２２５ｂは、基準画像データにおけるパラメータｊに対応した画素データとこの画素データと対応する合成用画像データにおける画素データとを加算（合成）する（ステップＳ２０７）。

ステップＳ２０２又はステップＳ２０７の後、合成処理部２２２５ｂは、全画素に対する処理が終了したか否か、すなわちパラメータｊが記録画像領域の終端を示す値になったか否かを判定する（ステップＳ２０８）。ステップＳ２０８において全画素に対する処理が終了していないと判定した場合に、合成処理部２２２５ｂは、パラメータｊをインクリメントする（ステップＳ２０９）。その後、合成処理部２２２５ｂは、処理をステップＳ２０２に戻す。この場合、次の画素位置の画素データに対する処理が行われる。ステップＳ２０８において全画素に対する処理が終了したと判定した場合に、合成処理部２２２５ｂは、図８の処理を終了させる。

ここで、再び図４の説明に戻る。１枚の合成用画像データに対する合成処理の後、ＣＰＵ２２２１は、パラメータｉをインクリメントする（ステップＳ１１４）。その後、ＣＰＵ２２２１は、ｉがｍになったか否かを判定する（ステップＳ１１５）。ステップＳ１１５においてｉがｍになっていないと判定した場合に、ＣＰＵ２２２１は、処理をステップＳ１１０に戻す。この場合、次の合成用画像の撮影が行われる。ステップＳ１１５においてｉがｍになったと判定した場合に、ＣＰＵ２２２１は、処理をステップＳ１１９に移行させる。

ステップＳ１０３において現在のズーム位置が所定以上でないと判定した場合に、ＣＰＵ２２２１は、ＡＦ制御部２２２２を用いてＡＦ処理を実行するとともにＡＥ制御部２２２３を用いてＡＥ処理を実行する（ステップＳ１１６）。

ＡＦ処理及びＡＥ処理の後、ＣＰＵ２２２１は、ＡＥ処理の結果として決定された露出条件に従って撮像素子ＩＦ部２０８及びレンズ制御部１１２を制御して画像の撮影を実行する（ステップＳ１１７）。ステップＳ１１７の撮影は、ステップＳ１０６の基準画像の撮影と同様に行われる。撮影の実行後、画像処理部２２２５のシェーディング補正部２２２５ａは、撮影の結果としてＲＡＭ２１０に記憶されている画像データに対してシェーディング補正処理を行う（ステップＳ１１８）。

ステップＳ１１５においてパラメータｉがｍになったとＣＰＵ２２２１が判定した場合又はステップＳ１１８の後、画像処理部２２２５のノイズ低減処理部２２２５ｃは、画像データに対するノイズ低減処理を行う（ステップＳ１１９）。ここで、図４の例ではノイズ低減処理で画像処理が終了されている。しかしながら、ノイズ低減処理の前後に、ホワイトバランス補正等のその他の画像処理が行われても良い。画像処理の後、ＣＰＵ２２２１は、画像処理により得られた画像データに基づいて画像を表示素子２１６に表示させたり、記録メディア２１８に記録したりする（ステップＳ１２０）。その後、図４の処理が終了する。

以上説明したように本実施形態によれば、焦点距離によって記録画像領域がイメージサークル外にはみ出す可能性のある光学系１０１が用いられた場合には、イメージサークルの内側と外側で異なる画像処理が行われる。すなわち、本実施形態では、像高に応じた合成比率に従って複数フレームの画像データの合成処理が行われる。このように、本実施形態では、シェーディング補正処理とともに像高に応じた合成処理が行われるので、イメージサークルの外側において極端に大きなシェーディング補正係数を用いてシェーディング補正処理が行われることによるＳ／Ｎの悪化を抑制することができる。結果として、焦点距離によって記録画像領域がイメージサークル外にはみ出す可能性のある光学系１０１が用いられた場合であっても、イメージサークルの内側と外側との間のＳ／Ｎの差異を小さくすることができる。

また、本実施形態では、合成対象の画素データが属する象限毎に動きベクトルに基づく位置合わせが行われる。象限毎に位置合わせが行われることにより、合成処理の際の位置合わせの精度を向上させることが可能である。

ここで、本実施形態では、シェーディング補正処理の後に合成処理が行われているが、このような合成処理は例えば歪補正処理の後に行われても良い。歪補正処理もシェーディング補正処理と同様に、補正処理の結果、イメージサークルの外側におけるノイズが増加するので本実施形態の技術が有効である。

［第２の実施形態］
次に本発明の第２の実施形態について説明する。図９は、本発明の第２の実施形態におけるデータ処理の流れを示す機能ブロック図である。ここで、図９において図３と対応する機能を有するブロックについては図３と同様の参照符号を付している。また、図９については、図３と同様の部分については説明を省略する。すなわち、第２の実施形態は、基準画像データと合成用画像データとで露出条件及びシェーディング補正係数を変更することで合成用画像の撮影回数を減らすようにしたものであり、これ以外は第１の実施形態と同様である。

図１０は、本発明の第２の実施形態に係る撮像システムの詳細な動作を示すフローチャートである。ここで、図１０において図４と同様の処理については説明を省略する。すなわち、図１０のステップＳ３０１−Ｓ３０６とステップＳ３１１−Ｓ３１８の処理は、図４のステップＳ１０１−Ｓ１０３及びＳ１０５−Ｓ１０７とステップＳ１１１−１２０の処理と同様である。第２の実施形態においては撮影回数が２回に固定されているので、ステップＳ１０４の撮影回数の決定の処理が省略される。

基準画像データに対するシェーディング補正処理の後、ＣＰＵ２２２１は、合成処理のための基準画像データの合成比率を算出し、算出した合成比率を、基準画像データを構成する各画素データに乗じる（ステップＳ３０７）。ここで、第２の実施形態における合成比率の算出について説明する。図１１は、第２の実施形態における像高位置と合成比率との関係を示す図である。第２の実施形態において、イメージサークルの内側においては、像高位置によらずに基準画像データの合成比率が１（合成用画像データの合成比率が０）に設定される。一方、イメージサークルの外側においては、像高位置が記録画像領域の終端位置に近づくにつれて基準画像データの合成比率が１から減少され、合成用画像データの合成比率が０から増加される。そして、像高位置が記録画像領域の終端位置となったときに基準画像データの合成比率は０に設定され、合成用画像データの合成比率が１に設定される。

基準画像に対する処理の後、ＣＰＵ２２２１は、シェーディング特性データと基準画像の露出条件とに基づいて合成用画像の露出条件を設定する（ステップＳ３０８）。ここで、合成用画像の露出条件の設定について説明する。図１２のシェーディング特性データにおいても示すように、イメージサークルの外側では光量の低下が極端に大きくなる。また、光量の低下の大きい画素データに対してゲイン補正によるシェーディング補正処理が行われるとＳ／Ｎが悪化する。本実施形態においては基準画像データと合成用画像データとの合成処理を行うのに先立って、合成用画像の撮影時のシャッタ速を遅くすることによって、イメージサークルの外側における光量の低下を抑制する。このような処理により、本実施形態においては、イメージサークルの外側におけるＳ／Ｎの悪化を抑制する。ステップＳ３０４で算出された基準画像の撮影時のシャッタ速をａとしたとき、合成用画像の撮影時のシャッタ速ｂは、例えば以下の（式１）で示すように与えられる。
ｂ＝ａ×α／β （式１）
合成用画像の露出条件を設定した後、ＣＰＵ２２２１は、ステップＳ３０８で設定した露出条件に従って合成用画像の撮影を実行する（ステップＳ３０９）。撮影の実行後、ＣＰＵ２２２１は、合成用画像に対するシェーディング補正係数を算出する（ステップＳ３１０）。合成用画像に対するシェーディング補正係数Ｓ１（ｚ）は、例えば以下の（式２）で示すように与えられる。
Ｓ１（ｚ）＝Ｓ０（ｚ）×ａ／ｂ （式２）
シェーディング補正係数の算出後、画像処理部２２２５のシェーディング補正部２２２５ａは、撮影の結果としてＲＡＭ２１０に記憶されている合成用画像データに対してシェーディング補正処理を行う（ステップＳ３１０）。シェーディング補正処理後の処理については図４と同様なので説明を省略する。

以上説明したように本実施形態によれば、シャッタ速を速くすることによって基準画像データよりも明るくした合成用画像データを基準画像データに合成することにより、少ない合成枚数、すなわち少ない撮影回数で第１の実施形態と同様にイメージサークルの内側と外側との間のＳ／Ｎの差異を小さくすることができる。

［第３の実施形態］
次に本発明の第３の実施形態について説明する。図１３は、本発明の第３の実施形態におけるデータ処理の流れを示す機能ブロック図である。ここで、図１３において図３と対応する機能を有するブロックについては図３と同様の参照符号を付している。また、図１３の説明において図３と同様の部分については説明を省略する。第３の実施形態においては、１回の撮影が行われて画像データがＲＡＭ２１０に記憶される。この画像データは、シェーディング補正部２２２５ａにおいてシェーディング補正処理がなされる。シェーディング補正処理におけるシェーディング補正係数は、第１の実施形態と同様である。シェーディング補正部２２２５ａにおいてシェーディング補正処理された画像データは、ノイズ低減処理部２２２５ｃ１とノイズ低減処理部２２２５ｃ２とに入力される。また、本発明の第３の実施形態の撮影動作は、図１０のフローチャートにおいて、合成用画像の撮影及び補正に関わる部分を削除したものに相当する。つまり、ステップＳ３０７―Ｓ３１２を削除したものに相当する。

ノイズ低減処理部２２２５ｃ１では、第１の実施形態と同様に例えばコアリング処理を用いたノイズ低減処理がなされる。ノイズ低減処理部２２２５ｃ１におけるノイズ低減処理によって得られた基準画像データは、合成処理部２２２５ｂに入力される。

一方、ノイズ低減処理部２２２５ｃ２には、ノイズ低減処理部２２２５ｃ１とは異なるノイズ低減処理がなされる。ノイズ低減処理部２２２５ｃ２におけるノイズ低減処理によって得られた周辺用画像データは、合成処理部２２２５ｂに入力される。以下、ノイズ低減処理部２２２５ｃにおけるノイズ低減処理についてさらに説明する。

図１４は、ノイズ低減処理部２２２５ｃ２の構成を示す図である。図１４に示すように、ノイズ低減処理部２２２５ｃ２は、類似度算出部３０２と、画素値算出部３０４とを有している。類似度算出部３０２は、画像データにおいて設定された注目画素ブロックと比較画素ブロックとの類似度を算出し、算出した類似度を類似度重みとして画素値算出部３０４に入力する。ここで、注目画素ブロックは、画像データにおいて順次設定される注目画素を中心とした所定範囲（例えば３×３画素）のブロックである。比較画素ブロックは、注目画素ブロックを含む探索領域において順次設定される比較画素を中心とした注目画素ブロックと同範囲のブロックである。画素値算出部３０４は、それぞれの注目画素ブロックに対して最も類似度重みの大きい比較画素ブロックを探索領域内から探索し、それぞれの注目画素ブロックにおける注目画素の画素データとこの注目画素と対応する比較画素の画素データとをそれぞれの比較画素に設定されている比較画素重みを用いて重み付け加算し、重み付け加算結果を最終的な注目画素の画素データとして出力する。

ここで、ノイズ低減処理部２２２５ｃ２におけるノイズ低減処理では、注目画素がイメージサークルの内側であるか外側であるかに応じて探索領域の大きさと比較画素重みとを変えるようにしてノイズの低減を図る。図１５（ａ）は、注目画素がイメージサークルの内側にある場合の探索領域と比較画素重みとを示している。また、図１５（ｂ）は、注目画素がイメージサークルの外側にある場合の探索領域と比較画素重みとを示している。ここで、探索領域内に記されている数字は、比較画素重みを示している。

図１５（ａ）に示すように、注目画素がイメージサークルの内側である場合には、注目画素ブロックの周辺部（例えば注目画素を中心とする７×７画素）のみに探索領域が設定される。また、図１５（ａ）に示すように、イメージサークル内においては探索領域内の全てで比較画素重みが１に設定される。この場合、注目画素と比較画素とを重み付け加算することによって得られる最終的な注目画素の画素データは、注目画素と比較画素との平均の画素データとなる。

また、図１５（ｂ）に示すように、注目画素がイメージサークルの外側である場合には、注目画素がイメージサークルの内側である場合よりも広い範囲、すなわちイメージサークルの内側の領域も含まれるように探索領域が設定される（例えば１６×１６画素）。さらに、図１５（ｂ）に示すように、イメージサークルの内側、イメージサークルの境界部、イメージサークルの外側の順で比較画素重みが大きくなるように設定される。したがって、この場合、注目画素と対応する比較画素がイメージサークルの内側の画素である場合には、比較画素の重みが大きくなる。すなわち、最終的な注目画素の画素データは、イメージサークルの内側の成分が大きくなってシェーディング補正処理によって増加したイメージサークルの外側の画素におけるノイズが低減される。

ノイズ低減処理部２２２５ｃ１とノイズ低減処理部２２２５ｃ２におけるノイズ低減処理の後、ＣＰＵ２２２１は、基準画像データと周辺用画像データとの合成比率を合成処理部２２２５ｂに入力する。合成比率は、図１１で示したものと同様に像高に応じて決定される。なお、本実施形態においては、図１１における合成用画像データの合成比率を周辺用画像データの合成比率として扱う。合成比率の入力を受けて合成処理部２２２５ｂは、基準画像データと周辺用画像データとを合成する。合成処理の手法は、図８で説明したものと同様で良い。ただし、図８から、ステップＳ２０４の動きベクトルを取得する処理、ステップＳ２０５の合成用画素から動きベクトル分をずらした画素データを取得する処理を削除したフローチャートに相当する処理となる。

以上説明したように本実施形態によれば、シェーディング補正処理された画像データに対して異なる２種類のノイズ低減処理を施すことにより、１回の撮影で第１の実施形態と同様にイメージサークルの内側と外側との間のＳ／Ｎの差異を小さくすることができる。

ここで、第３の実施形態においては、ノイズ低減処理部２２２５ｃ１は、コアリング処理によってノイズ低減処理を行うとしている。これに対し、ノイズ低減処理部２２２５ｃ１もノイズ低減処理部２２２５ｃ２と同様のノイズ低減処理を行うものであっても良い。

［第４の実施形態］
次に本発明の第４の実施形態について説明する。図１６は、本発明の第４の実施形態におけるデータ処理の流れを示す機能ブロック図である。ここで、図１６において図３と対応する機能を有するブロックについては図３と同様の参照符号を付している。また、図１６の説明において図３と同様の部分については説明を省略する。第４の実施形態においては、１回の撮影が行われて画像データがＲＡＭ２１０に記憶される。この画像データは、シェーディング補正部２２２５ａにおいてシェーディング補正処理がなされる。シェーディング補正処理におけるシェーディング補正係数は、第１の実施形態と同様である。シェーディング補正部２２２５ａにおいてシェーディング補正処理された画像データは、画素加算部２２２５ｄに入力される。画素加算部２２２５ｄでは、画素加算処理によってイメージサークルの外側におけるＳ／Ｎの向上が図られる。以下、画素加算処理について説明する。なお、第４の実施形態における撮影動作は、図１０のフローチャートにおいて、合成用画像の撮影及び補正に関わる部分を削除したものに相当する。つまり、ステップＳ３０７―Ｓ３１２を削除したものに相当する。さらに、ステップＳ３１３の合成処理の代わりに後述する図１７の画素加算処理を置き換えたものに相当する。

図１７は、画素加算処理について示すフローチャートである。図１７において、画素加算部２２２５ｄは、画素加算係数を設定する（ステップＳ４０１）。ここで、画素加算係数の設定について説明する。画素加算係数は、シェーディング特性に応じて決定される。シェーディング特性データは、例えば図１８（ａ）に示すデータである。本実施形態においては、第１の実施形態と同様、α／βの大きさに応じて画素加算係数が設定される。例えば、Ｓ／Ｎの悪化が小さい１＜α／β≦√２のときには、注目画素の画素加算係数は、周囲画素の画素加算係数よりも相対的に大きくなるように設定される。図１８（ｂ）は、１＜α／β≦√２のときに、注目画素の画素加算係数：（周囲画素の画素加算係数の合計＋注目画素の画素加算係数）が１：４となるように注目画素とその周囲画素の画素加算係数がそれぞれ設定された例を示している。また、Ｓ／Ｎの悪化が大きい√２＜α／β≦２のときには、注目画素の画素加算係数は、周囲画素の画素加算係数と同等となるように設定される。図１８（ｃ）は、注目画素の画素加算係数：（周囲画素の画素加算係数の合計＋注目画素の重み係数）が１：９となるように注目画素とその周囲画素の重み係数がそれぞれ設定された例を示している。ここで、図１８（ｂ）及び図１８（ｃ）は、９画素加算のときの画素加算係数の設定例である。画素加算する画素数は、９画素に限るものではない。例えば、２５画素加算でも良い。

画素加算係数の設定後、画素加算部２２２５ｄは、注目画素の画素データに対する画素位置、すなわち画素加算処理の対象となる画素位置を示すパラメータｊを０に初期化する（ステップＳ４０２）。パラメータｊは、例えば０のときに画像データにおける左上の画素位置を示す。そして、パラメータｊの値が増加する毎に、画素位置が右方向及び下方向に順次ずらされる。続いて、画素加算部２２２５ｄは、パラメータｊに対応した画素位置がイメージサークルの外側の位置であるか否かを判定する（ステップＳ４０３）。ステップＳ４０３においてパラメータｊに対応した画素位置がイメージサークルの外側の位置でないと判定した場合に、画素加算部２２２５ｄは、処理をステップＳ４０７に移行させる。ステップＳ４０３においてパラメータｊに対応した画素位置がイメージサークルの外側の位置であると判定した場合に、画素加算部２２２５ｄは、注目画素の周囲の画素データをステップＳ４０１で設定した画素加算係数に従って重み付け加算する（ステップＳ４０４）。なお、ここでの重み付け加算においては、実際には注目画素の画素データも含めて重み付け加算する。

その後、画素加算部２２２５ｄは、ＣＰＵ２２２１から合成比率を取得する（ステップＳ４０５）。図１９は、第４の実施形態における像高位置と合成比率との関係を示す図である。第４の実施形態においては、イメージサークルの内側においては、像高位置によらずに注目画素の画素データの合成比率が１（重み付け加算された周囲画素の画素データの合成比率が０）に設定される。一方、イメージサークルの外側においては、像高位置が記録画像領域の終端位置に近づくにつれて注目画素の画素データの合成比率が１から減少され、重み付け加算された周囲画素の画素データの合成比率が０から増加される。そして、像高位置が記録画像領域の終端位置となったときに注目画素の画素データの合成比率は０に設定され、重み付け加算された周囲画素の画素データの合成比率が１に設定される。このような合成比率の取得後、画素加算部２２２５ｄは、重み付け加算された周囲画素の画素データと注目画素の画素データとを合成比率に従って重み付け加算する（ステップＳ４０６）。

ステップＳ４０３又はステップＳ４０６の後、画素加算部２２２５ｄは、全画素に対する処理が終了したか否か、すなわちパラメータｊが記録画像領域の終端を示す値になったか否かを判定する（ステップＳ４０７）。ステップＳ４０７において全画素に対する処理が終了していないと判定した場合に、画素加算部２２２５ｄは、パラメータｊをインクリメントする（ステップＳ４０８）。その後、画素加算部２２２５ｄは、処理をステップＳ４０３に戻す。この場合、次の画素位置の画素データに対する処理が行われる。ステップＳ４０７において全画素に対する処理が終了したと判定した場合に、画素加算部２２２５ｄは、図１７の処理を終了させる。その後、図４のステップＳ１１９、Ｓ１２０と同様の処理が行われる。

以上説明したように本実施形態によれば、画素加算によってイメージサークルの内側と外側のＳ／Ｎの差異を減らしてからノイズ低減処理を施すことにより、第３の実施形態と同様に１回の撮影でイメージサークルの内側と外側との間のＳ／Ｎの差異を小さくすることができる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述した実施形態では、交換レンズ１００と撮像装置２００とが別体の例が示されている。これに対し、交換レンズ１００の各構成が撮像装置２００に内蔵されていても良い。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態による各処理は、ＣＰＵ２２２１に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ２２２１は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１…撮像システム、１００…交換レンズ、１０１…光学系、１０４…レンズ駆動機構、１０６…絞り駆動機構、１０８…ズーム環、１１０…ズーム位置検出部、１１２…レンズ制御部、１１４…レンズマウント接点、２００…撮像装置、２０２…シャッタ、２０４…シャッタ駆動機構、２０６…撮像素子、２０８…撮像素子インターフェース（ＩＦ）部、２１０…ＲＡＭ、２１２…ＲＡＭ、２１４…表示素子駆動部、２１６…表示素子、２１８…記録メディア、２２０…操作部、２２２…本体制御部、２２４…本体マウント接点、３０２…類似度算出部、３０４…画素値算出部、１０２１…撮影レンズ、１０２２…絞り、１１２１…レンズデータ記憶部、２２２１…ＣＰＵ、２２２２…ＡＦ制御部、２２２３…ＡＥ制御部、２２２４…動き検出部、２２２５…画像処理部、２２２５ａ…シェーディング補正部、２２２５ｂ…合成処理部、２２２５ｃ…ノイズ低減処理部、２２２５ｃ１…ノイズ低減処理部、２２２５ｃ２…ノイズ低減処理部、２２２５ｄ…画素加算部、２２２６…通信制御部、２２２７…メモリ制御部

Claims (7)

1. 焦点距離が可変であり、被写体の光学像の有効な結像領域であるイメージサークルの大きさが前記焦点距離によって異なる光学系と、
   前記焦点距離の値と前記イメージサークルの大きさの値との対応関係を示すデータを記憶するデータ記憶部と、
   前記光学系を介して撮像素子に結像される前記光学像から画像データを得る撮像部と、
   前記対応関係を示すデータに基づいて前記撮像部で得られた画像データのうちの前記イメージサークルの内側に対応した画像データと前記イメージサークルの外側に対応した画像データとでそれぞれ異なる画像処理を施す画像処理部と、
   を具備し、
   前記画像処理部は、前記イメージサークルの内側に対応した画像データに対する画像処理として単数フレームの画像データを用いた画像処理を行い、前記イメージサークルの外側に対応した画像データに対する画像処理として複数フレームの画像データの合成処理を行い、前記合成処理における前記複数フレームの画像データの合成比率を像高に応じて変更し、前記イメージサークルの外側に対応した複数フレームの画像データのそれぞれを象限毎の複数の領域に分割し、該分割した複数フレームの画像データの位置合わせを象限毎に行ってから前記合成処理をすることを特徴とする撮像装置。
2. 焦点距離が可変であり、被写体の光学像の有効な結像領域であるイメージサークルの大きさが前記焦点距離によって異なる光学系と、
   前記焦点距離の値と前記イメージサークルの大きさの値との対応関係を示すデータを記憶するデータ記憶部と、
   前記光学系を介して撮像素子に結像される前記光学像から画像データを得る撮像部と、
   前記対応関係を示すデータに基づいて前記撮像部で得られた画像データのうちの前記イメージサークルの内側に対応した画像データと前記イメージサークルの外側に対応した画像データとでそれぞれ異なる画像処理を施す画像処理部と、
   を具備し、
   前記画像処理部は、前記イメージサークルの内側に対応した画像データに対する画像処理として単数フレームの画像データを用いた画像処理を行い、前記イメージサークルの外側に対応した画像データに対する画像処理として複数フレームの画像データの合成処理を行い、
   前記撮像部は、前記イメージサークルの内側の被写体の露出を適正にするシャッタ速で前記撮像素子によって前記画像データを取得するとともに、前記イメージサークルの内側の被写体の露出を適正にするシャッタ速よりも遅いシャッタ速で前記撮像素子によって前記画像データを取得することによって前記複数フレームの画像データを取得することを特徴とする撮像装置。
3. 焦点距離が可変であり、被写体の光学像の有効な結像領域であるイメージサークルの大きさが前記焦点距離によって異なる光学系と、
   前記焦点距離の値と前記イメージサークルの大きさの値との対応関係を示すデータを記憶するデータ記憶部と、
   前記光学系を介して撮像素子に結像される前記光学像から画像データを得る撮像部と、
   前記対応関係を示すデータに基づいて前記撮像部で得られた画像データのうちの前記イメージサークルの内側に対応した画像データと前記イメージサークルの外側に対応した画像データとでそれぞれ異なる画像処理を施す画像処理部と、
   を具備し、
   前記画像処理部は、前記イメージサークルの内側に対応した画像データに対する画像処理として単数フレームの画像データを用いた画像処理を行い、前記イメージサークルの外側に対応した画像データに対する画像処理として複数フレームの画像データの合成処理を行い、
   前記画像データにおける注目画素を中心とする注目画素ブロックと類似度の高い比較画素ブロックを前記画像データにおける探索領域内で探索し、前記注目画素と探索された前記比較画素ブロックの中心の比較画素とを重み付け加算する処理を前記画像処理として施し、前記注目画素が前記イメージサークルの内側の画素である場合と前記注目画素が前記イメージサークルの外側の画素である場合とで前記探索領域の大きさ及び前記重み付け加算の際の重み付け係数を変更することを特徴とする撮像装置。
4. 前記画像処理部は、前記注目画素が前記イメージサークルの内側の画素である場合の前記探索領域の大きさよりも前記注目画素が前記イメージサークルの外側の画素である場合の前記探索領域の大きさを大きくすることを特徴とする請求項３に記載の撮像装置。
5. 前記画像処理部は、前記注目画素が前記イメージサークルの外側の画素である場合に、前記比較画素の重み付け係数を、イメージサークルの内側、イメージサークルの境界部、イメージサークルの外側の順で大きくすることを特徴とする請求項３に記載の撮像装置。
6. 焦点距離が可変であり、被写体の光学像の有効な結像領域であるイメージサークルの大きさが前記焦点距離によって異なる光学系と、
   前記焦点距離の値と前記イメージサークルの大きさの値との対応関係を示すデータを記憶するレンズデータ記憶部と、
   前記対応関係を示すデータを送るためのレンズインターフェース部と、
   を具備する交換レンズと、
   前記光学系を介して撮像素子に結像される前記光学像から画像データを得る撮像部と、
   前記レンズインターフェース部から前記対応関係を示すデータを受けるための装置インターフェース部と、
   前記装置インターフェース部で受けられた前記対応関係を示すデータに基づいて前記撮像部で得られた画像データのうちの前記イメージサークルの内側に対応した画像データと前記イメージサークルの外側に対応した画像データとでそれぞれ異なる画像処理を施す画像処理部と、
   を具備する撮像装置と、
   を有し、
   前記画像処理部は、前記イメージサークルの内側に対応した画像データに対する画像処理として単数フレームの画像データを用いた画像処理を行い、前記イメージサークルの外側に対応した画像データに対する画像処理として複数フレームの画像データの合成処理を行い、前記合成処理における前記複数フレームの画像データの合成比率を像高に応じて変更し、前記イメージサークルの外側に対応した複数フレームの画像データのそれぞれを象限毎の複数の領域に分割し、該分割した複数フレームの画像データの位置合わせを象限毎に行ってから前記合成処理をすることを特徴とする撮像システム。
7. 焦点距離が可変であり、被写体の光学像の有効な結像領域であるイメージサークルの大きさが前記焦点距離によって異なる光学系を介して撮像部に結像される前記光学像から画像データを得て、
   前記焦点距離の値と前記イメージサークルの大きさの値との対応関係を示すデータに基づいて前記撮像部で得られた画像データのうちの前記イメージサークルの内側に対応した画像データと前記イメージサークルの外側に対応した画像データとでそれぞれ異なる画像処理を施し、
   前記画像処理において、前記イメージサークルの内側に対応した画像データに対する画像処理として単数フレームの画像データを用いた画像処理を行い、前記イメージサークルの外側に対応した画像データに対する画像処理として複数フレームの画像データの合成処理を行い、前記合成処理における前記複数フレームの画像データの合成比率を像高に応じて変更し、前記イメージサークルの外側に対応した複数フレームの画像データのそれぞれを象限毎の複数の領域に分割し、該分割した複数フレームの画像データの位置合わせを象限毎に行ってから前記合成処理をすることを特徴とする画像処理方法。