JP7224980B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、撮像画像を処理する画像処理技術に関する。

撮像装置による撮影時において、例えば手ブレ（手振れ）や撮像装置本体の揺れ等があると、撮像面上で被写体像等がぶれてしまう像ブレ現象により、撮像画像の解像度や明瞭度が低下してしまうことがある。このような像ブレ現象を改善するための技術として、光学防振や電子防振等の防振技術が知られている。光学防振を実現する構成としては、撮像装置等の揺れに応じて、撮像光学系の全体又は一部を構成する防振レンズ群を、撮像光学系の光軸に直交する方向に動かすことにより、撮像面上で被写体像等が移動するのを抑制して像ブレを低減する構成が知られている。また光学防振の他の構成として、撮像装置等の揺れに応じて、撮像素子を、撮像光学系の光軸に対して直交する方向へ移動（シフト）、光軸周りに回転（ロール）等させて、撮像面に対する被写体像等の相対的な移動を抑える構成もある。なお、電子防振では、撮影した画像の切り出し範囲を、撮像装置本体の揺れ等に応じて変更することにより、擬似的に像ブレを補正する。従来、これらの防振処理は何れか一つの防振処理のみ行われていたが、近年は、複数の防振処理を同時に行うことで、より防振効果が大きく、高精度な防振を実現することが提案等されている。

また例えば、特許文献１には、撮像光学系の一部を光軸と異なる方向へ動かして、防振処理を行う方法が開示されている。特許文献１には、光学系の防振レンズ群の移動量が最大移動量を超える揺れを検知、又は撮像素子を防振のために移動させる際の移動量が最大移動量を超える揺れを検知した時に、それらを最大移動量まで動かさないようにする手法が開示されている。

特開２０１０－７８９４１号公報

ところで、手ブレ等による像ブレ以外で撮像画像を劣化させる要素としては、レンズの収差や絞り等による回折がある。これら収差等による撮像画像の画質劣化は、画像処理によって補正することが可能である。例えば撮像光学系の収差等の光学特性に関する情報を予め用意しておき、それら情報に基づく画像処理によって画質劣化を補正することができる。ただし、光学防振が行われた場合には収差等も変化してしまうことになるため、光学防振により生ずる収差等の変化をも考慮した画像処理が必要となる。この場合、光学防振に応じた収差等の様々な変化に対応可能な情報が用意されて記憶等されることになり、画質劣化を補正する画像処理の際は、それら光学防振時に生じ得る全ての収差変化等に対応できる情報が読み出されることになる。このため、それら全ての情報を読み出して画像処理に送る転送時間は長くなり、システム全体としてみれば処理時間が長くなってしまい、システムの効率が低下することになる。

そこで本発明は、高精度な防振処理を実現しつつ、膨大な情報の転送負荷および処理時間を軽減して効率化を図ることを可能にすることを目的とする。

本発明の画像処理装置は、複数種類の防振処理に対応したすべてのフィルタ情報を記憶している記憶媒体から、撮影の際に使用された防振処理に対応した前記フィルタ情報を選択して、生成手段へ転送する転送手段と、前記転送されたフィルタ情報を基に所定の演算を行って、撮像画像の補正に用いる補正フィルタを生成する生成手段と、前記撮像画像に対し、前記生成された補正フィルタを用いた補正処理を行う処理手段と、を有し、前記複数種類の防振処理は、撮像光学系の光軸に対して撮像素子を移動させる第１の防振処理を含み、前記転送手段は、撮影の際に使用された防振処理が前記第１の防振処理である場合、前記記憶媒体に記憶されているすべての前記フィルタ情報の中から、前記第１の防振処理における前記撮像素子の移動量に基づく像高に対応したフィルタ情報を選択して前記生成手段へ転送することを特徴とする。

本発明によれば、高精度な防振処理を実現しつつ、膨大な情報の転送負荷および処理時間を軽減して効率化を図ることが可能となる。

撮像装置の中央断面及び電気的なブロックを示す図である。 ブレ補正部の分解斜視図である。 撮像装置における画像撮影時の動作フローチャートである。 ＯＴＦの逆フィルタと画像回復フィルタのゲイン特性の関係図である。 画像回復フィルタの説明図である。 ＰＳＦの説明図である。 光学伝達関数の振幅成分と位相成分の説明図である。 画像回復フィルタの生成処理のフローチャートである。

以下、本発明の好適な一実施形態について、図面を参照しながら詳細に説明する。まず本実施形態の画像処理装置の一適用例である撮像装置の詳細な構成と動作について説明する。
本実施形態の撮像装置は、手ブレや撮像装置本体の揺れ等による像ブレを低減するために、複数種類の防振処理を実行可能な構成を有している。本実施形態では、複数種類の防振処理のうち２種類以上の防振処理を同時に行うことで、高い防振効果及び高精度の防振を実現可能とする例を挙げる。本実施形態では、撮像光学系の全体または防振レンズ群を撮像光学系の光軸に直交する方向に動かす防振処理と、撮像素子を移動させる防振処理とを例に挙げる。撮像素子を移動させる防振処理では、撮像素子を、撮像光学系の光軸に直交する方向へ移動させるシフトと、光軸に対して傾ける方向へ移動させるチルトと、光軸周りに回転させるロールとが可能であるとする。以下の説明では、防振レンズ群を移動させることによる光学防振を、レンズ防振と呼び、撮像素子をシフト、チルト、及びロール等させることによる光学防振を、イメージャー防振と呼ぶことにする。本実施形態において、撮像装置等の揺れは、例えば該撮像装置に設けられた角速度センサや振動ジャイロセンサ等のブレ検知センサにより検出される。そして、撮像装置では、該ブレ検知センサから出力されるブレ検知信号に基づいて、レンズ防振とイメージャー防振による防振処理を行うことで、像ブレを低減する。

図１（ａ）は本実施形態の撮像装置１の中央断面図、図１（ｂ）は本実施形態の撮像装置１の電気的構成を示すブロック図である。図１（ａ）及び図１（ｂ）で同一の符号が付してあるものはそれぞれ対応している。

図１（ａ）及び図１（ｂ）において、レンズユニット２はいわゆる交換レンズであり、撮像装置１の筐体に設けられている不図示のレンズマウント部を介して、撮像装置１に着脱可能となされている。図１（ａ）及び図１（ｂ）は、撮像装置１にレンズユニット２が装着された状態を表しており、この状態の撮像装置１とレンズユニット２とは電気接点１１により電気的に接続される。レンズユニット２は複数のレンズから構成された撮像光学系３を有しており、一部のレンズ群が防振レンズ群として設けられている。図中の一点鎖線は当該撮像光学系３の光軸４を表している。また、レンズユニット２には、防振レンズ群やフォーカスレンズ、絞り等を駆動するレンズ駆動部１３と、レンズ駆動部１３を制御するレンズシステム制御回路１２とをも備えている。レンズ駆動部１３は、防振レンズ群、フォーカスレンズ、および、絞りのそれぞれの駆動機構と、これらの駆動機構の駆動回路とを有している。レンズシステム制御回路１２は、ＣＰＵやＭＰＵなどのプロセッサーであり、電気接点１１を介して撮像装置１のカメラシステム制御回路５と電気的に接続される。なお、本実施形態では、撮像光学系３は着脱可能な交換レンズであるレンズユニット２に設けられている例を挙げたが、これには限定されず、撮像光学系３は撮像装置と一体的に構成されていてもよい。

撮像装置１は、カメラシステム制御回路５、撮像素子６、画像処理回路７、メモリ回路８、表示装置９、操作検出回路１０、シャッタ機構１６、ブレ検知回路１５、ブレ補正部１４等を有して構成されている。電気接点１１は、撮像装置１側の接点とレンズユニット２側の接点とからなる。カメラシステム制御回路５は、撮像装置１内の各部を制御し、また、電気接点１１を介して接続されているレンズユニット２のレンズシステム制御回路１２との間で各種情報をやり取りする。

ブレ検知回路１５は、撮像装置１におけるピッチ方向、ヨー方向、光軸周りのロール方向の各方向の揺れを検知可能なブレ検知センサを備え、これらのブレ検知センサは角速度センサや振動ジャイロセンサなどからなる。ブレ検知回路１５から出力されたブレ検知信号は、カメラシステム制御回路５に送られる。ブレ補正部１４は、撮像素子６を、撮像光学系３の光軸４に対して直交する平面内での移動させるシフト、光軸４に対して傾けるチルト、光軸４の周りに回転させるロールを可能とする駆動機構と、その駆動機構の駆動回路とを有している。カメラシステム制御回路５は、ＣＰＵやＭＰＵなどのプロセッサーである。カメラシステム制御回路５は、イメージャー防振が有効に設定されている場合、ブレ検知信号を基にブレ補正の目標値を生成し、その目標値に基づくブレ補正制御信号を生成してブレ補正部１４に送る。ブレ補正部１４の駆動回路は、ブレ補正制御信号を基に、撮像素子６をシフト、チルト、及びにロール等させる駆動信号を生成して駆動機構を動作させる。これにより、撮像素子６は、ブレ検知回路１５にて検知されたブレを補正する方向にシフト、チルト、及びロール等されて、イメージャー防振処理が実現される。ブレ補正部１４の駆動機構の構成とイメージャー防振時の制御の詳細については後述する。

また、カメラシステム制御回路５は、レンズ防振が有効に設定されている場合、ブレ検知回路１５からのブレ検知信号を基に、レンズユニット２の防振レンズ群によるブレ補正の目標値を生成する。そして、カメラシステム制御回路５は、その目標値を基に、防振レンズ群を光軸４に直交する方向に移動（シフト）させる制御信号を生成する。防振レンズ群を光軸４に直交する方向にシフトさせる制御信号は、電気接点１１を介してレンズシステム制御回路１２に送られる。レンズシステム制御回路１２は、カメラシステム制御回路５から送られてきた制御信号を基に、レンズ駆動部１３を駆動する駆動制御信号を生成する。そして、レンズ駆動部１３は、レンズシステム制御回路１２からの駆動制御信号に基づいて、防振レンズ群を駆動する。これにより、レンズユニット２の防振レンズ群は、ブレ検知回路１５にて検知されたブレを補正する方向にシフトされ、レンズ防振処理が実現される。防振レンズ群の駆動制御に関する詳細は後述する。

また、レンズ防振とイメージャー防振の両方が同時に行われる場合、撮像素子６を移動させるブレ補正の目標値と、防振レンズ群を移動させるブレ補正の目標値とは、相互のブレ補正により防振を実現する目標値となされる。したがって、レンズ防振とイメージャー防振の両方が同時に行われる場合には、それら目標値に基づいて防振レンズ群のシフト、及び撮像素子６のシフト、チルト、及びロール等が行われることで、高い防振効果及び高精度の防振処理が実現される。

撮像装置１の撮像素子６は、ＣＣＤセンサやＣＭＯＳセンサなどを有し、レンズユニット２を介して撮像面上に結像された被写体像等を撮像する。なお、撮像素子６には、撮像面の前面に光学ローパスフィルタといわゆるベイヤ配列に対応したＲＧＢカラーフィルタとが設けられている。撮像素子６から出力された撮像信号は、画像処理回路７に送られる。また、撮像素子６から出力された撮像信号は、画像処理回路７を介してカメラシステム制御回路５にも送られる。

カメラシステム制御回路５は、撮像信号を基に、フォーカス制御に用いるピント評価値や露光制御に用いる露光評価値を取得する。そして、カメラシステム制御回路５はピント評価値を基にフォーカス制御の指令をレンズシステム制御回路１２に送り、レンズシステム制御回路１２はフォーカス制御の指令に基づき、レンズ駆動部１３にフォーカスレンズの駆動制御信号を送る。レンズ駆動部１３は、フォーカスレンズの駆動制御信号に基づいてフォーカスレンズを駆動し、これにより被写体等へのフォーカス合わせが行われる。また、カメラシステム制御回路５は露光評価値を基に絞り制御の指令をレンズシステム制御回路１２に送り、シャッタ速度制御信号をシャッタ機構１６に送る。レンズシステム制御回路１２は絞り制御の指令に基づき、レンズ駆動部１３に絞り駆動制御信号を送る。レンズ駆動部１３は、絞り駆動制御信号に基づいて絞りを制御する。シャッタ機構１６は、シャッタ速度制御信号に基づいてシャッタ機構の開閉動作が制御される。より詳細に説明すると、シャッタ機構１６は、シャッタ幕を走行させることで撮像素子６に被写体像が届くか否かを制御する。シャッタ機構１６は、少なくとも被写体像を遮るための幕（メカ後幕）を備えており、露光の完了は当該シャッタ機構１６によってなされる。また、撮像素子６は、シャッタ機構１６の後幕走行に先立って、ラインごとに電荷をリセットすることによって露光開始のタイミングを制御するモード（電子先幕）を備えている。電子先幕のモードでは、前述した撮像素子６の電荷リセット（電子先幕）とシャッタ機構１６の後幕走行とを同期させて動作させることで露出制御が行われる。これにより、撮像素子６では、撮影対象の被写体等に対して適切な露光量による撮像が行われる。前述したように、カメラシステム制御回路５は、撮像素子６からの信号を基に測光・測距動作を行い、フォーカス合わせや露出条件（Ｆナンバーやシャッタ速度等）を決定する。

画像処理回路７は、複数のＡＬＵ（Arithmetic and Logic Unit）を搭載した演算回路である。画像処理回路７は、内部にＡ／Ｄ変換器、ホワイトバランス調整回路、ガンマ補正回路、補間演算回路等の一般的な画像処理のための構成の他、後述する補正フィルタを用いた補正処理（画像回復処理とする）を行う構成をも備えている。あるいは、画像処理回路７の代わりに、カメラシステム制御回路５がメモリ回路８に格納されているプログラムを実行することによって、これらの機能をソフトウェア上で処理する構成としても構わない。画像処理回路７にて行われる補正処理（画像回復処理）の詳細については後述する。補間演算回路には色補間回路が含まれ、色補間回路は撮像素子６のベイヤ配列のカラーフィルタに対応したＲＧＢ信号に対して色補間（デモザイキング）処理を行ってカラー画像信号を生成する。なお、画像処理回路７は、予め定められた方法を用いて画像、動画、音声などの圧縮をも行う。画像処理回路７は、撮像素子６から供給された撮像信号に対し、それら各画像処理を施して記録用の画像データを生成する。

メモリ回路８は、ＲＯＭやＲＡＭ等の内部メモリと、着脱可能な半導体メモリ等の外部メモリとを含む。内部メモリのＲＯＭには本実施形態に係るプログラムの他、後述するＰＳＦ情報や各種の設定データ等が格納され、ＲＡＭにはＲＯＭから読み出されて展開されたプログラムや各種処理途中のデータ等が記憶される。なお、プログラムは、ＲＯＭに予め用意されている場合だけでなく、例えば着脱可能な半導体メモリ（外部メモリ）から読み出されたり、不図示のインターネット等のネットワークを介してダウンロードされたりしてもよい。外部メモリには、画像処理回路７による処理後の記録用の画像データ等が記録される。

表示装置９は、背面表示装置９ａと電子ビューファインダ（ＥＶＦ９ｂ）とからなる。表示装置９には、カメラシステム制御回路５による制御の下で、画像やユーザインターフェイス画面等が表示される。
操作検出回路１０は、撮像装置１に設けられている電源スイッチや、レリーズボタン、メニューボタン、その他の各種スイッチやボタン等に対するユーザ操作を検出する。また、表示装置９の背面表示装置９ａには、タッチパネルが設けられており、操作検出回路１０は、当該タッチパネルに対するユーザ操作についても検出する。そして、操作検出回路１０は、それら操作検出信号をカメラシステム制御回路５に送る。

カメラシステム制御回路５は、操作検出回路１０により検出されたユーザ操作に応じて、前述したような画像撮像に関連した各部、画像処理回路７、記録と再生、及び表示装置９の表示等をそれぞれ制御する。また、カメラシステム制御回路５は、これらの制御の他にも、撮像の際のタイミング信号などを生成して出力することも行う。例えば、操作検出回路１０からレリーズボタンに対するユーザの押下操作の検出信号を受け取ると、カメラシステム制御回路５は、撮像に関連する各種タイミング信号を生成し、撮像素子６の駆動、画像処理回路７の動作などを制御する。このように、本実施形態の撮像装置１は、操作検出回路１０により検出されたユーザ操作に応じて、カメラシステム制御回路５が撮像装置１の各部の動作を制御することにより、静止画や動画等の撮影を行うようになされている。

次に、図２を用いて、本実施形態の撮像装置１のブレ補正部１４が備えている駆動機構の詳細な構成と動作について説明する。図２はブレ補正部１４のうち、撮像素子６を移動させてブレを低減するための駆動機構の分解斜視図である。ブレ補正部１４には、カメラシステム制御回路５からの制御信号に応じて図２の駆動機構を動作させる不図示の電気的な駆動回路等も含まれるが、図２にはメカ機構部のみを示している。

図２において、一点鎖線はレンズユニット２の撮像光学系の光軸と平行な線である。また、図２において、１００番台の符号が付された部材は、移動しない部材（つまり撮像装置１の筐体等に固定された部材）であり、一方、２００番台の符号が付された部材は、移動する部材（つまり撮像装置１の筐体等に固定されていない可動部材）である。さらに、３００番台の符号が付された部材は、固定部と可動部とにより挟持されるボールである。

図２に示すブレ補正部１４は、固定部の主要な構成要素として、上部ヨーク１０１、上部磁石１０３ａ～１０３ｆ、固定部転動板１０６ａ～１０６ｃ、下部磁石１０７ａ～１０７ｆ、下部ヨーク１０８、ベース板１１０を有する。固定部の構成要素には、補助スペーサ１０４ａ，１０４ｂ、メインスペーサ１０５ａ～１０５ｃ、ビス１０２ａ～１０２ｃ、１０９ａ～１０９ｃも含まれる。また、ブレ補正部１４は、可動部の主要な構成要素として、ＦＰＣ２０１、可動部転動板２０４ａ～２０４ｃ、コイル２０５ａ～２０５ｃ、可動枠２０６、ボール３０１ａ～３０１ｃを有している。ＦＰＣ２０１には、位置検出素子取り付け位置２０２ａ～２０２ｃが決められており、これらの位置に位置検出素子が取り付けられる。

上部ヨーク１０１、上部磁石１０３ａ～１０３ｆ、下部磁石１０７ａ～１０７ｆ、下部ヨーク１０８が磁気回路を形成しており、いわゆる閉磁路を為している。上部磁石１０３ａ～１０３ｆは上部ヨーク１０１に接着固定されている。同様に、下部磁石１０７ａ～１０７ｆは下部ヨーク１０８に接着固定されている。上部磁石１０３ａ～１０３ｆ及び下部磁石１０７ａ～１０７ｆはそれぞれ光軸方向（図２の上下方向）に着磁されており、隣接する磁石（磁石１０３ａと１０３ｂの位置関係にあるもの）は互いに異なる向きに着磁されている。また、対抗する磁石（磁石１０３ａと１０７ａの位置関係にあるもの）は互いに同じ向きに着磁されている。このようにすることで、上部ヨーク１０１と下部ヨーク１０８の間に光軸方向に強い磁束密度が生じる。

上部ヨーク１０１と下部ヨーク１０８の間には強い吸引力が生じるのでメインスペーサ１０５ａ～１０５ｃ及び補助スペーサ１０４ａ，１０４ｂにより適当な間隔を保つように構成されている。ここでいう適当な間隔とは、上部磁石１０３ａ～１０３ｆと下部磁石１０７ａ～１０７ｆの間にコイル２０５ａ～２０５ｃ及びＦＰＣ２０１を配置するとともに適当な空隙を確保できるような間隔である。メインスペーサ１０５ａ～１０５ｃにはネジ穴が設けられておりビス１０２ａ～１０２ｃによって上部ヨーク１０１がメインスペーサ１０５ａ～１０５ｃに固定される。

メインスペーサ１０５ａ～１０５ｃの胴部にはゴムが設置されており、可動部の機械的端部（いわゆるストッパー）を形成している。
ベース板１１０には下部磁石１０７ａ～１０７ｆをよけるように穴が設けられており、この穴から磁石の面が突出するように構成される。すなわち、ビス１０９ａ～１０９ｃによってベース板１１０と下部ヨーク１０８が固定され、ベース板１１０よりも厚み方向の寸法が大きい下部磁石１０７ａ～１０７ｆがベース板１１０から突出するように固定される。

可動枠２０３は、マグネシウムダイキャスト若しくはアルミダイキャストで形成されており、軽量で剛性が高くなされている。可動枠２０３に対して可動部の各要素が固定されて可動部を為している。ＦＰＣ２０１には、位置検出素子取り付け位置２０２ａ～２０２ｃで示した各位置で図２から見えない側の面に位置検出素子が取り付けられている。前述した磁気回路を利用して位置を検出できるように、例えばホール素子などが配されている。ホール素子は小型なので、コイル２０５ａ～２０５ｃの巻き線の内側に入れ子になるように配置される。

可動枠２０３には、図２には不図示の撮像素子６、コイル２０５ａ～２０５ｃ及びホール素子が接続されている。可動枠２０３は、コネクタを介して外部との電気的なやり取りを行う。
ベース板１１０には固定部転動板１０６ａ～１０６ｃが、可動枠２０３には可動部転動板２０４ａ～２０４ｃが接着固定されており、ボール３０１ａ～３０１ｃの転動面が形成されている。なお、転動板を別途設けることで表面粗さや硬さなどを好ましい状態に設計することが容易となる。

図２に示したブレ補正部１４の駆動機構では、コイルに電流を流すことで、フレミング左手の法則に従った力が発生し、可動部を動かすことが出来る。また、ブレ補正部１４の場合、前述した位置検出素子であるホール素子の信号を用いることでフィードバック制御を行うことが可能となる。また、ブレ補正部１４では、ホール素子信号の値を適当に制御することで、撮像素子６を、光軸に直交する平面内で並進させるシフト、光軸に対して傾けるチルト、及び光軸周りにロールさせることも可能である。

本実施形態において、イメージャー防振によるブレ補正では、後述するように、光軸回りの回転（ロール）が重要となるため、これに関して述べる。ブレ補正部１４の駆動機構では、位置２０２ａにあるホール素子の信号を一定に保ったまま、位置２０２ｂと２０２ｃのホール素子信号を逆位相で駆動することで、大凡の光軸周りの回転運動を生み出すことが出来る。

本実施形態の撮像装置１では、前述したように、ブレ検知回路１５からのブレ検知信号に基づき、カメラシステム制御回路５が、ブレ補正部１４を制御してイメージャー防振を実現し、また、レンズユニット２の防振レンズ群を制御してレンズ防振を実現している。そして、イメージャー防振によるブレ補正では、撮像素子６を光軸周りで回転（ロール）させることも行われる。

図３は、本実施形態の撮像装置１において電源ＯＮから本撮影が行われるまでの一連の動作の流れを示すフローチャートである。以下、図３を用いて、撮像装置１の電源ＯＮから撮影実行までの一連の動作に関して、順を追って説明する。なお、図３のフローチャートの処理は、ハードウェア構成やソフトウェア構成の何れか、又は一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。例えば、メモリ回路８にＲＡＭとＲＯＭが含まれる場合、ＲＯＭに格納されているプログラムがＲＡＭに展開され、ＣＰＵであるカメラシステム制御回路５は、そのプログラムを実行することになどにより、図３のフローチャートの処理を実現する。これらのことは後述する他のフローチャートにおいても同様とする。

カメラシステム制御回路５は、操作検出回路１０で電源ＯＮ操作が検出されると、図３の動作フローチャートに示す制御を開始する。
次に、カメラシステム制御回路５は、ステップＳ３０１において、ユーザが設定した撮影条件、又は、予めメモリ回路８に記憶されている撮影条件を読込む。ステップＳ３０１で読込まれる撮影条件の設定値は、例えば電子先幕を用いるか否かを示す設定値や、いわゆる絞り優先又はシャッタ速度優先等の各種設定値などである。

次に、カメラシステム制御回路５は、ステップＳ３０２においてユーザが電源ＯＦＦの操作を行ったか否か判断し、電源ＯＦＦの操作が行われたと判断した場合には図３のフローチャートの処理を終了する。一方、ステップＳ３０２において電源ＯＦＦの操作が行われていないと判断した場合、カメラシステム制御回路５は、ステップＳ３０３に処理を進める。なお、本来はユーザ操作に対応したステップＳ３０２，Ｓ３０５，Ｓ３０８などは割り込み処理となるものであるが、図３ではフローとして説明している。

ステップＳ３０３に進むと、カメラシステム制御回路５は、撮像素子６にて撮像されて画像処理回路７を介した信号を基に、前述したライブビュー表示時の測光・測距に関する制御を行う。これにより、ライブビュー画像を取り込むときのピント位置や露光条件などが決定される。

次のステップＳ３０４において、カメラシステム制御回路５は、ライブビュー表示時の測光・測距の条件で撮像素子６にて撮像されて画像処理回路７で画像処理された画像データを、表示装置９に送ってライブビュー表示を行わせる。ライブビュー表示では、表示装置９の背面表示装置９ａ若しくはＥＶＦ９ｂに画像が表示される。

次に、カメラシステム制御回路５は、ステップＳ３０５においてユーザによるＳ１操作が操作検出回路１０により検出されたか否かを判断する。そして、カメラシステム制御回路５は、Ｓ１操作が検出されていない場合にはステップＳ３０１に処理を戻し、一方。Ｓ１操作が検出されたと判断した場合にはステップＳ３０６に処理を進める。なお、Ｓ１操作とはユーザによるレリーズボタンの半押し操作である。

ステップＳ３０６の処理に進むと、カメラシステム制御回路５は、前述したレンズ防振、イメージャー防振の防振処理に関する制御（防振制御）を開始する。

次に、カメラシステム制御回路５は、ステップＳ３０７において、Ｓ１操作後に撮像素子６にて撮像されて画像処理回路７を介した信号に基づく測光・測距に関する制御を行う。このときのカメラシステム制御回路５は、撮像素子６で撮像されて画像処理回路７を介した信号を基に、絞り値やシャッタ速度（Ｔｖ値）を決定する。

次に、カメラシステム制御回路５は、ステップＳ３０８において、ユーザによるＳ２操作が操作検出回路１０により検出されたか否かを判断する。そして、カメラシステム制御回路５は、Ｓ２操作が検出されたと判断した場合にはステップＳ３０９に処理を進め、Ｓ２操作が検出されていない場合にはステップＳ３１０に処理を進める。なお、Ｓ２操作とはレリーズボタンの全押し（最後まで押し切る）操作である。

ステップＳ３０９に進むと、カメラシステム制御回路５は、シャッタ機構１６を制御してシャッタ幕を走行させるとともに、撮像素子６による被写体等の撮像を行わせる。このステップＳ３０９の後、カメラシステム制御回路５は、Ｓ３０２に処理を戻す。

ステップＳ３１０に進んだ場合、カメラシステム制御回路５は、Ｓ１操作が維持されているか否かを判断する。カメラシステム制御回路５は、Ｓ１操作が維持されていると判断した場合にはステップＳ３０８に処理を戻し、一方、Ｓ１操作が維持されていないと判断した場合にはステップＳ３０２に処理を戻す。

なお、図３では図示していないが、ユーザによるレリーズボタンへの押下操作が解除されてＳ１操作が開放された後、一定時間が経過すると、カメラシステム制御回路５は、防振制御をＯＦＦとする。

次に、本実施形態において、前述した防振処理による収差や回折の影響で撮像画像に生ずる劣化成分と、その劣化成分を補正する補正処理の概要について説明する。ここで説明される防振処理、補正処理の手法は、本実施形態の撮像装置１において適宜用いられる。

本実施形態の撮像装置１の撮像光学系３は、球面収差、コマ収差、像面湾曲、非点収差等の各収差を高精度に補正できるように設計されているが、例えば防振処理が行われると、収差に変化が生じて撮像画像が劣化することがある。例えばレンズ防振によって防振レンズ群が撮像光学系３の光軸４に直交する方向に動かされると、撮像光学系３と防振レンズ群との間で生ずる光軸の偏芯により収差に変化が生じ、撮像画像が劣化してしまうことがある。また、これら収差等の値は像高（画像の位置）によって異なっているため、例えばイメージャー防振による撮像素子６の移動で像高が変化すると、その変化した像高に対応した収差等の値も異なるものとなる。

レンズの収差は絞り等の開口径に関係して変化するが、横収差は概ね絞りの開口径が小さいほど抑制される。また、回折現象は、開口径が例えばｆ／２．８のように大きい場合にその影響が小さく、一方、開口径が例えばｆ／１１やｆ／２２などのように小さい場合にその影響が大きくなる。この回折現象も、収差の場合と同様に、撮像画像を劣化させる要素となることがある。

これら収差や回折は、点像分布関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ、以下、ＰＳＦとする。）や光学伝達関数（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ、以下、ＯＴＦとする。）で記述できる。収差や回折による画質劣化成分は、例えば無収差で回折の影響も無い場合には被写体の一点から発した光が撮像面上で再度一点に集まるべきものが撮像面上で広がってしまうことで生じるため、ＰＳＦにより表すことができる。また、ＰＳＦをフーリエ変換して得られるＯＴＦ（光学伝達関数）は、収差の周波数成分情報であり、複素数で表される。さらにＯＴＦの絶対値、すなわち振幅成分はＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ばれ、位相成分はＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ばれる。これらＭＴＦ（振幅成分）とＰＴＦ（位相成分）は、それぞれ、収差による画質劣化の振幅成分と位相成分の周波数特性であり、位相成分は位相角として以下の式（１）で表される。なお、式（１）のＲｅ（ＯＴＦ）はＯＴＦ（光学伝達関数）の実部を、Ｉｍ（ＯＴＦ）はＯＴＦの虚部を表す。
ＰＴＦ＝ｔａｎ^-1（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ）） 式（１）

収差や回折による撮像画像の劣化の補正は、ＭＴＦ（振幅成分）及びＰＴＦ（位相成分）における劣化成分を補正することにより実現可能となる。ＭＴＦ（振幅成分）及びＰＴＦ（位相成分）における劣化成分を補正する方法としては、例えば、撮像光学系のＯＴＦ又はＰＳＦ情報に基づいて補正する方法がある。本実施形態では、撮像光学系のＯＴＦ又はＰＳＦ情報に基づいて撮像画像の劣化を補正するための補正処理として、画像回復処理を行う。画像回復処理を実現する方法の一つとしては、ＯＴＦの逆特性を有する関数を、入力画像（撮像画像）に対して畳み込む（コンボリューション）方法がある。なお、ＯＴＦの逆特性を有する関数は、画像の劣化を補正する補正フィルタ、つまり画像回復処理における画像回復フィルタを表している。

次に、前述した撮像画像の劣化成分に対する補正処理である画像回復処理と、当該画像回復処理で用いられる補正フィルタ（画像回復フィルタ）について説明する。本実施形態の撮像装置１の場合、画像回復処理は画像処理回路７において行われる。

本実施形態において、画像回復処理への入力画像は、撮像光学系３を介して撮像素子６が撮像した撮像画像であり、出力画像は画像回復処理後の画像である。撮像画像（入力画像）は、撮像光学系３に含まれるレンズや不図示の各種光学フィルタ類の収差によるＯＴＦ（光学伝達関数）と、撮像光学系３に含まれる絞りや不図示の光学部材からの回折によるＯＴＦとによって劣化している。以下の説明では、当該劣化した撮像画像（入力画像）を劣化画像と表記する。なお、撮像光学系は、レンズだけでなく、曲率を有するミラー（反射面）を用いて構成されていてもよい。また、入力画像は、例えばＲＧＢ色成分の情報を有するＲＡＷ画像であるが、これに限定されるものではない。入力画像や出力画像には、光学部材の有無、レンズの焦点距離、絞り値、及び、撮影距離などの撮影条件や、画像を補正するための各種の補正情報が付帯されていてもよい。

先ず、画像回復処理の概要について説明する。
ここで、劣化画像（撮像画像）をｇ（ｘ，ｙ）とし、元の画像をｆ（ｘ，ｙ）、ＯＴＦ（光学伝達関数）のフーリエペアであるＰＳＦ（点像分布関数）をｈ（ｘ，ｙ）とすると、以下の式（２）が成立する。なお、式（２）において、＊はコンボリューション（畳み込み積分、積和）、（ｘ，ｙ）は撮像画像上の座標である。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） 式（２）

また、式（２）をフーリエ変換して周波数面での表示形式に変換すると、周波数ごとの積で表される式（３）が得られる。なお、式（３）において、Ｈは点像分布関数ＰＳＦ（ｈ）をフーリエ変換することにより得られたＯＴＦ（光学伝達関数）であり、Ｇは劣化画像ｇをフーリエ変換して得られた関数、Ｆは元の画像ｆをフーリエ変換して得られた関数である。また、（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数である。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） 式（３）

撮像で得られた劣化画像ｇから元の画像ｆを得るには、以下の式（４）のように両辺を光学伝達関数Ｈで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） 式（４）
そして、Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことにより、元の画像ｆ（ｘ，ｙ）が回復画像として得られる。

また、Ｈ^-1を逆フーリエ変換したものをＲとすると、以下の式（５）のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像ｆ（ｘ，ｙ）を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） 式（５）

ここで、式（５）におけるＲ（ｘ，ｙ）は画像回復フィルタと呼ばれる。画像が２次元画像である場合、一般的に、画像回復フィルタＲは画像の各画素に対応したタップ（セル）を有し、２次元のフィルタ値の分布を有する。また、画像回復フィルタＲのタップ数（セルの数）は、一般的に多いほど回復精度が向上する。このため、要求画質、画像処理能力、点像分布関数（ＰＳＦ）の広がり幅、収差の特性などに応じて実現可能なタップ数が設定される。画像回復フィルタＲは、少なくとも収差や回折の特性を反映している必要があるため、一般的な水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）などとは異なる。画像回復フィルタＲは、ＯＴＦ（光学伝達関数）に基づいて設定されるため、振幅成分及び位相成分の劣化の両方を高精度に補正することができる。

また、実際の画像にはノイズ成分が含まれるため、前述のようにＯＴＦ（学伝達関数）の逆数をとって生成した画像回復フィルタＲを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して、光学系のＭＴＦ（振幅成分）が１に正規化されているとすると、ＭＴＦを全周波数に渡って１に戻すように、ＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合（回復ゲイン）に応じてノイズが増幅されてしまう。

したがって、画像にノイズが含まれる場合には、鑑賞用として使用可能な高品質な画像は得られないことになる。このことは、以下の式（６－１）、式（６－２）で表される。なお、式中のＮはノイズ成分である。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ） 式（６－１）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ） 式（６－２）

ノイズ成分が含まれる画像に関しては、例えば以下の式（７）で表されるウィナーフィルタのように、画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合を制御する方法がある。

式（７）において、Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜はＯＴＦ（光学伝達関数）の絶対値（ＭＴＦの絶対値）である。本実施形態において、Ｍ（ｕ，ｖ）は、画像回復フィルタの周波数特性に相当する。この方法では、周波数ごとに、ＭＴＦが小さいほど回復ゲイン（回復度合）を小さくし、ＭＴＦが大きいほど回復ゲインを大きくする。一般的に、撮像光学系のＭＴＦは低周波側が高く高周波側が低くなるため、この方法では、実質的に画像の高周波側の回復ゲインを低減することになる。

また、式（７）のＳＮＲ項により、画像回復フィルタのゲイン特性は変化する。このため、ＳＮＲ項を、単純に回復ゲイン（回復度合）を制御するためのパラメータＣとして、以下の式（８）を用いる。

式（８）において、パラメータＣがＣ＝０の場合には、Ｍ（ｕ，ｖ）はＯＴＦ（光学伝達関数）の逆フィルタ（ＭＴＦの逆数）と一致し、パラメータＣを大きくするに従って画像回復フィルタのゲインが低下する。また、Ｃ＞｜Ｈ（ｕ，ｖ）｜－｜Ｈ（ｕ，ｖ）｜²になると、画像回復フィルタのゲインが１倍以下となる。

このことを模式的に表したのが図４（ａ）～図４（ｃ）である。図４（ａ）～図４（ｃ）は、ＯＴＦ（光学伝達関数）の逆フィルタのゲイン特性と画像回復フィルタのゲイン特性との関係図である。図４（ａ）～図４（ｃ）において、縦軸はゲイン、横軸は空間周波数をそれぞれ示している。また、図４（ａ）～図４（ｃ）において、点線はＯＴＦの逆フィルタのゲイン特性、実線は画像回復フィルタのゲイン特性をそれぞれ示している。

ここで、絞り値Ｆｎが所定値Ｔｈ１未満である場合（Ｆｎ＜Ｔｈ１）、画像回復フィルタのゲインは所定の最大ゲインよりも大きくならないため、パラメータＣをＣ＝０とすることができる。このため、ＭＴＦの逆数（ＯＴＦの逆フィルタのゲイン）と画像回復フィルタのゲインとが互いに一致する（図４（ａ））。また、絞り値Ｆｎが所定値Ｔｈ１以上でかつ所定値Ｔｈ２未満である場合（Ｔｈ１≦Ｆｎ＜Ｔｈ２）、逆フィルタの高周波側のゲインが所定の最大ゲインよりも大きくなる。このため、パラメータＣを大きくして画像回復フィルタの高周波側のゲインを抑制する（図４（ｂ））。絞り値ＦｎがＴｈ２以上になり（Ｔｈ２≦Ｆｎ）、Ｃ＞｜Ｈ（ｕ，ｖ）｜－｜Ｈ（ｕ，ｖ）｜²になると、画像回復フィルタのゲインが１倍以下となる（図４（ｃ））。所定値Ｔｈ１，Ｔｈ２（絞り値）は、撮像素子６の画素ピッチと光学ローパスフィルタの特性、画像回復フィルタの回復ゲイン（回復度合）の最大値、回復ゲイン（回復度合）を制御するためのパラメータＣなどに応じて決定される。

以上のように、絞り値に応じて画像回復フィルタのゲイン特性（の傾向）は大きく変化する。本実施形態では、この傾向を加味した上で、撮像装置１で画像回復処理を行う際に用いる画像回復フィルタを後述するように演算することにより、画像回復フィルタのデータの量を削減可能としている。

次に、図５を参照して、本実施形態で用いる画像回復フィルタについて説明する。
図５は、画像回復フィルタの特性を表す図である。画像回復フィルタは、撮像光学系３の収差や回折によるＰＳＦ（点像分布関数）の広がり、画像回復処理に要求される回復精度に応じて、そのタップ数が決定される。本実施形態において、画像回復フィルタは、例えば１１×１１タップの２次元フィルタであるとする。但し、これに限定されるものではなく、ＰＳＦの広がり幅と画素ピッチとの関係から、更に大きなタップ数の画像回復フィルタを用いてもよい。画像回復フィルタの各タップの値（係数値）の分布は、収差により空間的に広がった信号値または画素値を、理想的には元の１点に戻す機能を有する。ここで、回転対称と近似できる絞りによる回折を対象とする場合、当該回折によるＰＳＦは回転対称となる。このため、画像回復フィルタの特性も、図５に示されるように対称な特性となされる。

また本実施形態において、画像回復フィルタの各タップでは、画像の各画素に対応して画像回復処理の工程でコンボリューション処理（畳み込み積分、積和）がなされる。コンボリューション処理では、所定の画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させ、画像回復フィルタの対応画素ごとに画像の信号値と各タップの値の積をとり、その総和を中心画素の信号値として置き換える。

続いて、図６及び図７を参照して、画像回復処理における実空間と周波数空間での特性について説明する。
図６（ａ）、図６（ｂ）は、ＰＳＦ（点像分布関数）の説明図であり、図６（ａ）は画像回復前のＰＳＦ、図６（ｂ）は画像回復後のＰＳＦを示している。図７（ａ）はＯＴＦ（光学伝達関数）のＭＴＦ（振幅成分）の説明図であり、図７（ｂ）はＰＴＦ（位相成分）の説明図である。図７（ａ）中の破線Ｇは画像回復前のＭＴＦ、一点鎖線Ｅは画像回復後のＭＴＦを示す。また図７（ｂ）中の破線Ｇは画像回復前のＰＴＦ、一点鎖線Ｅは画像回復後のＰＴＦを示す。

図６（ａ）に示されるように、画像回復前のＰＳＦ（点像分布関数）は、収差の影響により非対称な広がりを有し、この非対称性によりＰＴＦ（位相成分）は周波数に対して非直線的な値を有する。画像回復処理では、ＭＴＦを増幅し、ＰＴＦがゼロになるように補正するため、画像回復後のＰＳＦは対称で先鋭な形状になる。

また、回転対称であると近似できる絞りによる回折を対象とする場合、回折によるＰＳＦは回転対称となる。このため、図７（ｂ）の破線Ｅは０となる。換言すると、本実施形態で扱う回折には位相ずれがない。また、位相ずれの有無に関わらず、前述の画像回復の原理は機能するため、回折を補正対象とする本実施形態においても、画像回復は有効である。

このように画像回復フィルタは、撮像光学系３のＯＴＦ（光学伝達関数）の逆関数に基づいて設計された関数を逆フーリエ変換して得ることができる。本実施形態で用いられる画像回復フィルタは適宜変更可能であり、例えば前述のようなウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、前述した式（７）を逆フーリエ変換することにより、実際に画像に畳み込む実空間の画像回復フィルタを作成することが可能である。

また、ＯＴＦ（光学伝達関数）は、一つの撮影状態（撮影条件）においても撮像光学系３の像高（画像の位置）に応じて変化する。このため、画像回復フィルタは像高に応じて変更して用いられる。一方、絞り値が大きくなるに従って回折の影響が支配的になるＯＴＦに対しては、光学系のビネッティング（けられ）の影響が小さい場合、像高に対して一律な（一定の）ＯＴＦとして扱うことができる。

また、本実施形態では、回折（回折ぼけ）も対象とする。画像回復フィルタは、絞り値が小さい場合には、絞り値、光の波長、及び、像高（画像の位置）に依存する。このため、一つの画像内について一律の（一定の）画像回復フィルタを用いることができない。すなわち、本実施形態の画像回復フィルタは、絞り値に応じて発生する回折ぼけも含む光学伝達関数を使用して、演算により生成される。画像回復フィルタの演算方法については後述する。波長については、複数の波長での光学伝達関数を算出し、想定する光源の分光特性や撮像素子の受光感度情報に基づいて波長ごとの重み付けにより色成分ごとの光学伝達関数を生成することができる。または、予め決めた色成分ごとの代表波長を用いて算出してもよい。そして、色成分ごとの光学伝達関数に基づいて画像回復フィルタを生成することができる。

画像回復処理が行われる場合、画像処理回路７は、先ず、カメラシステム制御回路５から前述した撮影条件情報を取得する。また、画像処理回路７は、撮影条件情報の中の撮影時の絞り値に応じた画像回復フィルタを軸上光束用と軸外光束用とでそれぞれ一つ以上選択する。画像処理回路７は、選択した画像回復フィルを用いて、撮像画像（入力画像）から回復画像（出力画像）を生成する。

画像処理回路７にて生成された回復画像は、メモリ回路８に所定のフォーマットで記録される。また、表示装置９には、画像処理回路７による画像処理後の画像に対して表示用の所定の処理が行われた画像が表示される。なお、表示装置９には、高速表示のために簡易的な処理を行った画像を表示してもよい。

また、レンズユニット２の他にも、ＯＴＦ（光学伝達関数）の特性に影響を与える光学素子を有する場合、画像回復フィルタを生成する際には、その影響を考慮することが好ましい。例えば、撮像素子６の前に設けられた光学ローパスフィルタによる影響が考えられる。この場合、画像処理回路７は、光学ローパスフィルタによる光学伝達関数に基づいて画像回復フィルタを生成する。また、撮影光路内に赤外カットフィルタがある場合、分光波長のＰＳＦ（点像分布関数）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、画像回復フィルタを生成する際にはその影響を考慮することが好ましい。この場合、画像処理回路７は、赤外カットフィルタによる光学伝達関数に基づいて画像回復フィルタを生成する。また、画素開口の形状も光学伝達関数に影響を与えるため、その影響を考慮することがより好ましい。この場合、画像処理回路７は、画素開口による光学伝達関数に基づいて画像回復フィルタを生成する。

次に、カメラシステム制御回路５による制御の元で画像処理回路７により行われる画像回復処理について説明する。
ここで、画像回復処理を効果的に行うには、撮像光学系３における正確なＯＴＦ又はＰＳＦ情報を取得する必要がある。ＯＴＦ又はＰＳＦ情報は、例えば撮像光学系３の設計値情報があれば、その情報から計算によって求めることが可能である。また、ＰＳＦ又はＯＴＦ情報は、点光源を撮影した際の光の強度分布、又はその強度分布にフーリエ変換を施すことでも求めることが可能である。更に、回折の場合においては、理論的に導かれた計算式からＯＴＦ又はＰＳＦ情報を求めることができる。

一方、防振処理によって像ブレを低減した場合、撮像光学系の収差等が変化することになり、画像回復処理では、その収差等の変化によって生ずる画質劣化を補正することが必要になる。このように防振処理によって撮像光学系の収差等が変化したことによる画質劣化を補正するための画像回復処理を行う場合、画像回復フィルタを決定するのに必要なＯＴＦ又はＰＳＦ情報等のデータ量は、かなり膨大になる可能性がある。

例えば、レンズ防振による防振処理の場合、撮像光学系３の光軸４に直交する方向に防振レンズ群を移動させたことで光軸が偏芯した偏芯状態と、光軸に偏芯が生じていない非偏芯状態とでは、撮像素子６の撮像面上の光像に生ずる収差が異なる。したがって、良好な画像回復処理を行うためには、非偏芯状態の時のＯＴＦ又はＰＳＦ情報とは別に、偏芯状態の時のＯＴＦ又はＰＳＦ情報をも保持しておく必要がある。

またイメージャー防振による防振処理の場合には、撮像素子６が撮像光学系３の光軸４に対してシフト、チルト、及びロール等される。このため、イメージャー防振に対応可能な撮像光学系３のイメージサークル（有効像円）は、イメージャー防振に非対応な撮像光学系のイメージサークルよりもかなり大きいものとなされる。なお、イメージャー防振が行われる場合において、撮像光学系３のイメージサークルの大きさは、実撮影範囲（いわゆる画界）に対して防振可能となる範囲がどの程度になるかを判断する際の目安になると考えられる。そして、イメージャー防振が行われる場合の大きなイメージサークルに対応した画像回復処理を実現するためには、そのイメージサークルにおける像高の最大値に対応可能なＯＴＦ又はＰＳＦ情報を用意しておく必要がある。このようにイメージャー防振時の最大移動量に応じたイメージサークルの最大値の像高に対応可能な情報を用意しておけば、イメージャー防振で撮像素子を最大限動かして防振処理を行ったとしても、適切な画像回復処理を行うことができるようになる。ただし、イメージャー防振時の最大移動量に対応可能な大きなイメージサークルに応じたＯＴＦ又はＰＳＦ情報のデータ量は多くなる。

さらに、例えば２種類以上の防振処理を同時に使用するようにした場合には、画像回復処理で用いる画像回復フィルタを決定するのに必要なＯＴＦ又はＰＳＦ情報のデータ量はさらに増大することになる。つまり、非防振処理時（非偏芯状態）用と、レンズ防振時（偏芯状態）用と、イメージャー防振時用と、レンズ防振及びイメージャー防振が同時使用された場合の、それぞれに対応したＯＴＦ又はＰＳＦ情報が必要となる。また、レンズ防振とイメージャー防振が同時使用される場合、レンズ防振による偏芯状態に対応するために、イメージャー防振のみが行われる場合よりもさらに高い像高までのＯＴＦ又はＰＳＦ情報が必要になる。すなわち、２種類以上の防振処理を同時に使用する場合には、事前に保持しておかなければならないＯＴＦ又はＰＳＦ情報のデータ量が膨大になる。したがってそれら膨大なＯＴＦ又はＰＳＦ情報の記憶する記憶媒体は大容量となり、また画像回復処理を行う際には、その記憶媒体からＯＴＦ又はＰＳＦ情報が画像処理回路７へ転送されることになる。この時、それら情報のデータ量が多ければ多いほど転送に要する時間は長くなり、システム全体としてみれば処理時間が長くなってしまい、システムの効率が低下することになる。

そこで、本実施形態の撮像装置１は、レンズ防振およびイメージャー防振に関する全てのＯＴＦ又はＰＳＦ情報の中から、撮影時に使用された防振処理に応じて、画像回復処理に必要な情報を選択し、その選択した情報を画像処理回路７に転送する。

なお、前述の説明では、画像回復処理で使用する画像回復フィルタを求める際の情報は、ＯＴＦ又はＰＳＦ情報としたが、例えば波面、ＭＴＦ、及びＰＴＦなど光学伝達関数を表す情報であればいずれであってもよい。以下では、画像回復フィルタを求める際に用いる光学伝達関数の情報を、フィルタ情報と呼ぶことにする。本実施形態の撮像装置１において、これらフィルタ情報はメモリ回路８に記憶されているとする。なお、例えばレンズ防振に係る情報についてはレンズユニット２の不図示のメモリに記憶されていてもよく、例えばレンズユニット２が撮像装置１に装着された際にメモリ回路８に送られて記憶されてもよい。

図８は、本実施形態の撮像装置１における画像回復処理の流れ示すフローチャートである。
図８のフローチャートは、例えば、レンズ防振については実行し、イメージャー防振については行う場合と行わない場合とで処理を分岐させて、画像回復処理を行う流れを示している。なお、画像回復処理は、撮影の直後に行ってもよいし、記録された画像を再生するときに行うようにしてもよい。図８に示したフローチャートの処理は、主にカメラシステム制御回路５と画像処理回路７とにより実行される。また、画像処理回路７は、カメラシステム制御回路５からの指令に基づいて後述する各ステップの処理を行う。なお以下の説明では、メモリ回路８に記憶されているフィルタ情報を、カメラシステム制御回路５が取得して画像処理回路７へ転送する例を挙げているが、画像処理回路７がメモリ回路８から直接フィルタ情報を取得してもよい。

まずステップＳ８０１において、撮像装置１にレンズユニット２が装着されると、カメラシステム制御回路５は、ステップＳ８０２に処理を進める。
ステップＳ８０２に進むと、カメラシステム制御回路５は、撮像装置１においてイメージャー防振の機能が有効（ＯＮ）になっているか否かを判定する。そして、カメラシステム制御回路５は、イメージャー防振機能が有効（ＯＮ）になっていると判定（ＹＥＳ）した場合にはステップＳ８０３以降に処理を進める。一方、カメラシステム制御回路５は、イメージャー防振機能が無効（ＯＦＦ）になっていると判定した場合（ＮＯ）にはステップＳ８１０以降に処理を進める。なお、カメラシステム制御回路５は、撮像装置１がイメージャー防振機能を備えている場合にステップＳ８０３以降に処理を進め、イメージャー防振機能を備えていない場合にステップＳ８１０以降に処理を進めるようにしてもよい。

ステップＳ８０３に進むと、カメラシステム制御回路５は、イメージャー防振が行われる際に撮像素子６を移動させることができる最大移動量の情報を、例えばメモリ回路８から読み出す。イメージャー防振の際の撮像素子６の最大移動量は、撮像素子６をシフトさせる際の最大シフト量、チルトさせる際の最大チルト量、ロールさせる際の最大ロール量を含み、カメラシステム制御回路５は、これらの情報を取得する。これらの最大移動量の情報は、後にイメージャー防振による防振処理が行われる時の像高の座標を計算する際に使用される。

次にステップＳ８０４に進むと、画像処理回路７は、最大移動量に基づいてイメージャー防振を行って撮像できる撮像画像とレンズユニット２の撮像光学系３の像高との関係を演算する。これにより、画像処理回路７は、例えば、イメージャー防振が行われて撮像素子６が移動することによる像高の変化量を求める。
次にステップＳ８０５において、カメラシステム制御回路５は、ステップＳ８０４で演算された像高までに対応した画像回復フィルタに使用するフィルタ情報を、メモリ回路８から取得して画像処理回路７に転送する。

続いてステップＳ８０６において、カメラシステム制御回路５は、レンズ防振により防振レンズ群を移動させた際の移動データを取得し、さらに、撮像装置１における撮影条件の情報をも取得して、それらを画像処理回路７に送る。画像処理回路７は、ステップＳ８０６において、防振レンズ群の移動データを基に、撮像光学系３の光軸４に対する防振レンズ群の偏芯量及び偏芯方向を演算する。そして、カメラシステム制御回路０５は、画像処理回路７にて演算された偏芯量及び偏芯方向と、撮影条件とに基づいて、メモリ回路８に記憶されているフィルタ情報の中から所望のフィルタ情報を取得して画像処理回路７に転送する。

次にステップＳ８０７において、画像処理回路７は、イメージャー防振時の補正量つまり像高の変化量とレンズ防振時の偏芯量及び偏芯方向とが、光軸４からの移動量に対して、それぞれどの程度寄与するかを表す寄与度を算出する。この時、画像処理回路７は、イメージャー防振時の撮像素子６の移動量と移動方向、レンズ防振時の防振レンズ群の移動量と移動方向について、それぞれ移動前後で比較した時のＰＳＦの変化量に対する寄与度を算出してもよい。ステップＳ８０７にて算出される寄与度は、複数のＰＳＦ情報をコンボリューションする際の係数として使用される。

ここで、寄与度の算出方法について説明する。
ＰＳＦ（点像分布関数）の変化量を、ＭＴＦ（光学伝達関数）の変化量とみなす。イメージャー防振によって像高が変化することで、ＭＴＦが変化する。このときのＭＴＦの変化量を、第１のＭＴＦの変化量とする。また、レンズ防振によって偏芯が起こることで、ＭＴＦが変化する。このときのＭＴＦの変化量を、第２のＭＴＦの変化量とする。この第１のＭＴＦの変化量と第２のＭＴＦの変化量の比率に応じて、寄与度が求められる。

例えば、元のＭＴＦが６０％であり、像高が変化することで、同じ評価像高でのＭＴＦ値が５０％になったのであれば、第１のＭＴＦの変化量は１０（＝６０－５０）となる。また、元のＭＴＦが６０％であり、防振レンズ群が移動することで、同じ評価像高でのＭＴＦ値が４０％になったのであれば、第２のＭＴＦの変化量は２０（＝６０－４０）となる。この場合、イメージャー防振時のＰＳＦと、レンズ防振時のＰＳＦは、１：２の比率で寄与することになる。

さらに、レンズ防振時の偏芯方向について説明する。防振レンズ群の偏芯の方向に応じて、ＭＴＦは改善したり悪化したりする。多くの場合は、ＭＴＦが改善する防振レンズ群の偏芯方向と、ＭＴＦが悪化する防振レンズの偏芯方向は、光軸中心に対して点対称となる。このとき、ＭＴＦが悪化する方向に対しては強く補正が掛かるように、ＰＳＦの寄与度を変化させ、ＭＴＦが改善する方向に対しては弱く補正が掛かるように、ＰＳＦの寄与度を変化させる。ただし、防振レンズ群の偏芯後にどちらの方向も元々のＭＴＦよりも低下する場合は、どちらの像高に対しても同様に補正が掛かる。

例えば、元のＭＴＦが６０％であり、防振レンズ群の偏芯により、ＭＴＦ値が改善して７０％になったのであれば、第２のＭＴＦの変化量は－１０（＝６０－７０）となる。また、元のＭＴＦが６０％であり、防振レンズ群の偏芯により、ＭＴＦ値が悪化して５０％になったのであれば、第２のＭＴＦの変化量は１０（＝６０－５０）となる。寄与度はこの比率に比例するため、ＭＴＦ値が改善した場合のレンズ防振時のＰＳＦは、１０／６０のゲインダウンとなる比率で寄与し、ＭＴＦ値が悪化した場合のレンズ防振時のＰＳＦは、１０／６０のゲインアップとなる比率で寄与することになる。

続いて、ステップＳ８０８において、画像処理回路７は、前述のように選定されたフィルタ情報のＰＳＦを基に、或る像高におけるＰＳＦを算出する。すなわち、画像処理回路７は、イメージャー防振で移動した像高に応じて選出されたＰＳＦと、レンズ防振時の防振レンズ群の移動による偏芯光学系に応じて選定されたＰＳＦとを、係数を掛けてコンボリューションして、その像高のＰＳＦを算出する。

その後、ステップＳ８０９において、画像処理回路７は、画像回復フィルタを作成する。すなわち、画像処理回路７は、ステップＳ８０８で算出したＰＳＦをフーリエ変換してＯＴＦを求め、さらにそのＯＴＦを逆フーリエ変換した関数である画像回復フィルタを算出する。

また、ステップＳ８０２でイメージャー防振が無効であると判定されてステップＳ８１０に進んだ場合、カメラシステム制御回路５は、イメージャー防振で使用するフィルタ情報の取得を行わず、レンズ防振で使用するフィルタ情報のみを取得する。
続いて、ステップＳ８１１において、画像処理回路７は、レンズ防振においてレンズユニット２の撮像光学系３による像高をメモリ回路８から取得または演算により求める。

次に、ステップＳ８１２において、カメラシステム制御回路５は、レンズ防振により防振レンズ群を移動させた際の移動データを取得し、さらに、撮像装置１における撮影条件の情報をも取得して、それらを画像処理回路７に送る。また、画像処理回路７は、ステップＳ８１２において、防振レンズ群の移動データを基に、撮像光学系３の光軸４に対する防振レンズ群の偏芯量及び偏芯方向を演算する。そして、カメラシステム制御回路０５は、画像処理回路７にて演算された偏芯量及び偏芯方向と、撮影条件とに基づいて、メモリ回路８に記憶されているフィルタ情報の中から所望のフィルタ情報を取得して画像処理回路７に転送する。

このステップＳ８１２の後、撮像装置１の処理はステップＳ８０９に進み、画像処理回路７は、前述同様にして画像回復フィルタを算出する。
図８の例では、レンズ防振が実行されて、イメージャー防振の実行の有無により処理を分岐させたが、レンズ防振が実行されずにイメージャー防振のみが行われる場合、画像処理回路７にはイメージャー防振用のフィルタ情報が転送されることになる。つまり、カメラシステム制御回路５は、イメージャー防振が行われる際に撮像素子６を移動させることができる最大移動量に基づいて、イメージャー防振を行って撮像できる撮像画像と非偏芯時の撮像光学系３の像高との関係を演算する。そして、カメラシステム制御回路５は、その像高までに対応した画像回復フィルタに使用するフィルタ情報を、メモリ回路８から取得して画像処理回路７に転送する。

以上説明したように、本実施形態の撮像装置１は、レンズ防振およびイメージャー防振に関する全てのフィルタ情報の中から、撮影時に使用された防振処理に必要なフィルタ情報を選択して画像処理回路７に転送する。これにより、本実施形態の撮像装置１によれば、高精度な防振処理を実現しつつ、転送情報量を削減して転送負荷を軽減し、また情報転送に要する時間を短縮してシステムの効率化を実現することができる。

＜その他の実施形態＞
本実施形態に係る画像処理装置は、デジタルカメラだけでなく、工業用カメラ、車載カメラ、医療用カメラ、監視カメラ、カメラ機能を備えたスマートフォンやタブレット端末等にも適用可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１：撮像装置、２：レンズユニット、３：撮像光学系、５：カメラシステム制御回路、６：撮像素子、７：画像処理回路、９：表示装置、１０：操作検出回路、１２：レンズシステム制御回路、１３：レンズ駆動部、１４：ブレ補正部、１５：ブレ検知回路

Claims (10)

1. 複数種類の防振処理に対応したすべてのフィルタ情報を記憶している記憶媒体から、撮影の際に使用された防振処理に対応した前記フィルタ情報を選択して、生成手段へ転送する転送手段と、
   前記転送されたフィルタ情報を基に所定の演算を行って、撮像画像の補正に用いる補正フィルタを生成する生成手段と、
   前記撮像画像に対し、前記生成された補正フィルタを用いた補正処理を行う処理手段と、
   を有し、
   前記複数種類の防振処理は、撮像光学系の光軸に対して撮像素子を移動させる第１の防振処理を含み、
   前記転送手段は、撮影の際に使用された防振処理が前記第１の防振処理である場合、前記記憶媒体に記憶されているすべての前記フィルタ情報の中から、前記第１の防振処理における前記撮像素子の移動量に基づく像高に対応したフィルタ情報を選択して前記生成手段へ転送することを特徴とする画像処理装置。
2. 前記複数種類の防振処理は、撮像光学系の光軸に対して前記撮像光学系の全体または一部を偏芯させる第２の防振処理を含み、
   前記転送手段は、撮影の際に使用された防振処理が前記第２の防振処理である場合、前記記憶媒体に記憶されているすべて前記フィルタ情報の中から、前記第２の防振処理に対応したフィルタ情報を選択して前記生成手段へ転送することを特徴とする請求項１に記載の画像処理装置。
3. 前記転送手段は、撮影の際に使用された防振処理が前記第２の防振処理である場合、前記第２の防振処理の際の前記光軸に対する前記撮像光学系の全体または一部の偏芯量に基づいて、前記フィルタ情報の前記選択を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記複数種類の防振処理は、撮像光学系の光軸に対して前記撮像光学系の全体または一部を偏芯させる第２の防振処理を含み、
   前記転送手段は、撮影の際に使用された防振処理が前記第１の防振処理および前記第２の防振処理である場合、前記記憶媒体に記憶されているすべての前記フィルタ情報の中から、前記第１の防振処理および前記第２の防振処理に関連したすべてのフィルタ情報を選択して前記生成手段へ転送することを特徴とする請求項１に記載の画像処理装置。
5. 前記転送手段は、撮影の際に使用された防振処理が前記第１の防振処理および前記第２の防振処理である場合、前記第１の防振処理の際に前記撮像素子が移動する最大移動量と、前記第２の防振処理の際の前記光軸に対する前記撮像光学系の全体または一部の偏芯量とに基づいて、前記フィルタ情報の前記選択を行うことを特徴とする請求項４に記載の画像処理装置。
6. 前記フィルタ情報は、撮像光学系の全体または一部が前記撮像光学系の光軸に対して偏芯した状態における点像分布関数を含むことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記フィルタ情報は、撮像光学系の全体または一部が前記撮像光学系の光軸に対して非偏芯の状態で前記撮像光学系により形成されるイメージサークルよりも大きいイメージサークルにおける点像分布関数を含むことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 請求項１から７のいずれか１項に記載の画像処理装置と、
   前記撮像画像を取得する撮像手段と、
   を有することを特徴とする撮像装置。
9. 画像処理装置が実行する画像処理方法であって、
   複数種類の防振処理に対応したすべてのフィルタ情報を記憶している記憶媒体から、撮影の際に使用された防振処理に対応した前記フィルタ情報を選択して、生成工程へ転送する転送工程と、
   前記転送されたフィルタ情報を基に所定の演算を行って、撮像画像の補正に用いる補正フィルタを生成する生成工程と、
   前記撮像画像に対し、前記生成された補正フィルタを用いた補正処理を行う処理工程と、
   を有し、
   前記複数種類の防振処理は、撮像光学系の光軸に対して撮像素子を移動させる第１の防振処理を含み、
   前記転送工程においては、撮影の際に使用された防振処理が前記第１の防振処理である場合、前記記憶媒体に記憶されているすべての前記フィルタ情報の中から、前記第１の防振処理における前記撮像素子の移動量に基づく像高に対応したフィルタ情報を選択して前記生成工程へ転送することを特徴とする画像処理方法。
10. コンピュータを、請求項１から８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images