JP6573386B2 - 制御装置、レンズ装置、画像処理システム、制御方法、画像処理方法、プログラム、および、記憶媒体 - Google Patents

Description

本発明は、撮像光学系による劣化画像を高解像度かつ高品位に補正する画像処理システムに関する。

撮像光学系を介して撮影された被写体像は、撮像光学系で発生する回折や収差などの影響により、１点から発生した光を１点に収束させることができず、微小な広がりを持つ。このような微小な広がりを持った分布を、点像強度分布関数（ＰＳＦ）と呼ぶ。このような撮像光学系の影響により、撮影画像は、被写体像にＰＳＦが畳み込まれて形成されることになり、画像がぼけて解像度が劣化する。

近年、撮影画像を電子データとして保持することが一般的になり、画像処理によって光学系による画像劣化を補正する技術が提案されている。特許文献１には、画像劣化を補正するためのフィルタ係数を保持して画像処理を行う画像処理方法が開示されている。特許文献２には、画像劣化を補正するためのフィルタ係数を所定の関数に近似して保持して画像劣化を補償する画像処理方法が開示されている。

特許第４３３７４６３号 特開２０１３−３３４９６号公報

しかしながら、特許文献１の画像処理方法では、撮影画像の劣化補正を行う際に、画像回復フィルタを作成するための光学伝達関数の情報（ＯＴＦデータ）を画素ごとに保持する必要がある。ＯＴＦデータは、撮像素子および撮像光学系のそれぞれの情報により算出されるため、膨大な量となり、各装置に全てのＯＴＦデータ保持させることは困難である。また、特許文献２の画像処理方法では、ＯＴＦデータを削減可能であるが、特定の装置に適切に近似を行っても、他の装置において良好な補正効果が得られない可能性がある。

そこで本発明は、画像回復処理を行う画像処理装置に応じて適切なＯＴＦデータを提供可能な制御装置、画像処理装置、レンズ装置、画像処理システム、制御方法、画像処理方法、プログラム、および、記憶媒体を提供する。

また本発明は、画像回復処理を行うための適切なＯＴＦデータを記憶可能な制御装置、レンズ装置、画像処理システム、制御方法、画像処理方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての制御装置は、光学系の光学伝達関数を、所定の次数を有する近似関数に近似することによって得られた複数の係数データを含む第１のデータを記憶する記憶手段と、前記光学系を用いて撮影された画像に対して画像処理を行う画像処理装置の情報を入力する入力手段と、前記画像処理装置の情報に基づいて、前記記憶手段に記憶された前記第１のデータから、前記近似関数の前記所定の次数よりも小さい次数に対応する係数データである第２のデータを決定する決定手段と、前記第２のデータを前記画像処理装置に出力する出力手段と、を有する。

本発明の他の側面としてのレンズ装置は、前記制御装置と、被写体像を形成する光学系とを有する。

本発明の他の側面としての画像処理システムは、前記制御装置と、前記第２のデータを用いて画像回復処理を行う画像処理装置とを有する。

本発明の他の側面としての制御方法は、光学系を用いて撮影された画像に対して画像処理を行う画像処理装置の情報を入力するステップと、前記画像処理装置の情報に基づいて、記憶手段に記憶された、光学系の光学伝達関数を、所定の次数を有する近似関数に近似することによって得られた複数の係数データを含む第１のデータから、前記近似関数の前記所定の次数よりも小さい次数に対応する係数データである第２のデータを決定するステップと、前記第２のデータを前記画像処理装置に出力するステップと、
を有する。

本発明の他の側面としてのプログラムは、光学系を用いて撮影された画像に対して画像処理を行う画像処理装置の情報を入力するステップと、前記画像処理装置の情報に基づいて、記憶手段に記憶された、光学系の光学伝達関数を、所定の次数を有する近似関数に近似することによって得られた複数の係数データを含む第１のデータから、前記近似関数の前記所定の次数よりも小さい次数に対応する係数データである第２のデータを決定するステップと、前記第２のデータを前記画像処理装置に出力するステップと、をコンピュータに実行させるように構成される。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、画像回復処理を行う画像処理装置に応じて適切なＯＴＦデータを提供可能な制御装置、画像処理装置、レンズ装置、画像処理システム、制御方法、画像処理方法、プログラム、および、記憶媒体を提供することができる。

また、本発明によれば、画像回復処理を行うための適切なＯＴＦデータを記憶可能な制御装置、画像処理装置、レンズ装置、画像処理システム、制御方法、画像処理方法、プログラム、および、記憶媒体を提供することができる。

第１実施形態における画像処理システムの構成図である。 第１実施形態における制御装置のブロック図である。 第１実施形態における画像処理装置のブロック図である。 第１実施形態におけるＯＴＦデータのテータ転送処理を示すフローチャートである。 第１実施形態における接続先デバイス（撮像装置）と最大次数との関係を示すテーブルの一例である。 第２実施形態における画像処理システムの構成図である。 第２実施形態における画像処理システムのシーケンス図である。 第２実施形態におけるＯＴＦデータの一例である。 第２実施形態におけるＭＴＦと最大ゲインを示すグラフである。 第２実施形態における絞りに応じたＯＴＦデータの一例である。 第２実施形態における参照テーブルおよび最大ゲインテーブルを示す図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

まず、一般的な画像回復方法について説明する。実空間（ｘ，ｙ）上で、光学系による劣化を受ける前の画像をｆ（ｘ，ｙ）、点像強度分布関数（ＰＳＦ）をｈ（ｘ，ｙ）、劣化した画像をｇ（ｘ，ｙ）とすると、これらの関係は、以下の式（１）のように表される。

ｇ（ｘ，ｙ）＝∫∫ｆ（Ｘ，Ｙ）＊ｈ（ｘ−Ｘ，ｙ−Ｙ）ｄＸｄＹ… （１）
式（１）にフーリエ変換を施し、実空間（ｘ，ｙ）から周波数空間（ｕ，ｖ）への変換を行うと、以下の式（２）の関係が成立する。

Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＊Ｈ（ｕ，ｖ） … （２）
式（２）において、Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）のフーリエ変換、Ｇ（ｕ，ｖ）はｇ（ｘ，ｙ）のフーリエ変換、Ｈ（ｕ，ｖ）はｈ（ｘ，ｙ）のフーリエ変換である。式（２）より、以下の式（３）が成立する。

Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ） … （３）
式（３）は、周波数空間上で、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）を点像強度分布関数（ＰＳＦ）であるｈ（ｘ，ｙ）のフーリエ変換Ｈ（ｕ，ｖ）で割ると、劣化を受ける前の画像ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）が得られることを意味する。従って、Ｆ（ｕ，ｖ）にフーリエ逆変換を施せば、劣化を受ける前の画像ｆ（ｘ，ｙ）を得ることができる。

しかしながら、実際にこのような処理を行って劣化を受ける前の画像ｆ（ｘ，ｙ）を得ようとすると、撮像素子により生じたノイズが増幅し、良好な画像を得ることはできない。

そこで、ノイズの増幅を抑制するための画像回復方法として、以下の式（４）で表されるウィーナーフィルタを用いることが知られている。

１／Ｈ（ｕ，ｖ）＊（｜Ｈ（ｕ，ｖ）｜^２／（｜Ｈ（ｕ，ｖ）｜^２＋Γ））… （４）
式（４）において、Ｈ（ｕ，ｖ）は光学伝達関数（ＯＴＦ）であり、Γはノイズの増幅量を低減するための定数である。

式（４）を、撮像光学系の周波数情報および位相情報を有するＯＴＦに積算すれば、光学系の回折や収差により発生したＰＳＦの位相を０にし、周波数特性を増幅することで、高解像度かつ良好な画像を得ることができる。式（４）を効果的に用いるには、撮像光学系の正確なＯＴＦ情報を得る必要がある。ＯＴＦ情報を得る方法として、例えば撮像光学系の設計値情報があれば、その情報から計算によって求めることが可能である。また、点光源を撮影し、その強度分布にフーリエ変換を施すことで求めることもできる。一般に、カメラに用いられる撮像光学系は、その光学性能（Ｆ値や収差など）が像高間で大きく変動する。このため、被写体画像の劣化を補正するには、式（４）をそのままの形で周波数空間上での一括計算はできず、像高ごとに式（４）を実空間上のフィルタに変換して、劣化を補正する処理を行う。

撮像光学系により結像（形成）された光学像（被写体像）は、撮像素子により電気的にサンプリングされる。本来連続量である光学像が離散的な値に変換されるため、光学像は、周波数空間において、サンプリング周波数を周期にもつ周波数信号となる。この周期性により、周波数信号がサンプリング周波数の２分の１を超えて分布している場合、周波数信号が重なるため、正確な信号が再現できない。このサンプリング周波数の２分の１の値をナイキスト周波数という。ナイキスト周波数は、ｆｎ＝１／（２＊ｂ）（ただし、ｂは撮像素子の画素ピッチ）で表される。

撮像素子の直前における光学像の空間周波数特性は、撮像光学系のＯＴＦで表される。画像回復処理を行う場合、画像回復フィルタの１タップの大きさと撮像素子の１画素の大きさを一致させる必要があり、また、撮像素子の開口特性も反映させることが好ましい。前者はＯＴＦを撮像素子のナイキスト周波数を最大値とする空間周波数で切り出すことに相当し、後者は撮像素子によってＯＴＦにローパスフィルタがかかることに相当する。このため、画像回復フィルタの作成に用いられるＯＴＦ情報は、撮像光学系のみでは一意に決定されず、撮像素子に依存する。

（第１実施形態）
まず、図１（ａ）を参照して、本発明の第１実施形態における画像処理システムについて説明する。図１（ａ）は、本実施形態における画像処理システムの構成図（全体図）である。図１（ａ）において、１０１は撮像光学系の光学伝達関数（ＯＴＦ）を、設計値または測定値から算出して記憶する情報処理装置である。情報処理装置１０１は、撮影画像の補正用の光学伝達関数データ（ＯＴＦデータ）を提供する提供者により設けられる。情報処理装置１０１により作成されたＯＴＦデータは、ネットワーク１０２上で管理することができる。

次に、情報処理装置１０１により作成されるＯＴＦデータのデータ作成方法について詳述する。本実施形態では、撮像光学系のＯＴＦ（設計値または測定値）を所定の関数へのフィッティング処理により近似することにより、係数を作成して記憶する方法を説明する。フィッティング処理の際に用いられる関数として、本実施形態ではＬｅｇｅｎｄｒｅ多項式が用いられる。ただし、本実施形態はこれに限定されるものではなく、例えばＣｈｅｂｕｙｓｈｅｖ多項式などの他の直交関数の近似式を用いてもよい。Ｌｅｇｅｎｄｒｅ多項式は、以下の式（５）のように表される。ここで、［ｘ］はｘを超えない最大の整数である

ＯＴＦは、ｚ＝ｆ（ｘ，ｙ）の形で表される。このため本実施形態では、以下の式（６）中の係数ａ_ｉｊを算出する必要がある。

式（６）は直交関数（近似関数）であり、係数ａ_ｉｊの値は、フィッティング処理の際の次数に依存せずに決定される。このように、撮像光学系のＯＴＦを所定の関数へのフィッティング処理により近似し、係数を作成することにより、必要なデータの記憶量を低減させることができる。また、式（６）の直交関数の性質を利用することにより、ＯＴＦのフィッティング処理が低次数でも十分高精度に実行可能な場合、この次数で打ち切ることができ、保持すべき係数の情報量を低減することが可能となる。

ＯＴＦの実部は、ｍｅｒｉｄｉｏｎａｌ方向およびｓａｇｉｔｔａｌ方向のそれぞれにおいて対称である。ＯＴＦの虚部は、ｍｅｒｉｄｉｏｎａｌ方向において正負逆であるが対称であり、ｓａｇｉｔｔａｌ方向において対称である。このような対称性により、フィッティング対象のＯＴＦのデータとしては、定義域全体の少なくとも１／４の領域などの対称性を有する領域の情報があれば十分である。本実施形態では、このような理由により、ＯＴＦから実部および虚部ともに定義域全体の１／４の領域を対象として、ＤＣ成分が含まれるように切り出してＯＴＦの高精度なフィッティング処理を行う。

ただし、精度が必要な場合、低次数で打ち切ってしまうと、元のＯＴＦを再構成することができず、適切な補正を行うことができない可能性がある。このため、適切な次数は、元のＯＴＦの形状に応じて異なる。すなわち、提供者がＯＴＦデータを作成する際には、十分な次数で近似を行う必要がある。作成したＯＴＦデータは、ネットワーク１０２上で管理し、ユーザがいつでも使用できるようにすることが好ましい。

このような方法により作成されたＯＴＦデータは、ユーザが所持する情報処理装置１０３から、ネットワーク１０２を介して情報処理装置１０１にアクセスし、必要な光学系の情報のみを取得しればよい。本実施形態では、ユーザは、ネットワーク１０２を経由して情報処理装置１０１に記憶されたＯＴＦデータを取得しているが、例えばＣＤ−ＲやＤＶＤなどの記録メディア（記憶媒体）にＯＴＦデータを記録して配布することもできる。

ユーザは、前述の方法により、各自の情報処理装置１０３を利用して、補正対象となる光学系（撮像光学系）のＯＴＦ情報（ＯＴＦデータ）を取得することができる。本実施形態の画像処理装置は、例えばユーザが所有する情報処理装置１０３（情報処理装置１０３にインストールされた不図示の画像処理アプリケーション）、または、ユーザが所有している撮像装置１０４、１０５、１０６である。これらの画像処理装置はそれぞれ、補正に必要なＯＴＦデータの精度が互いに異なる可能性が高い。このため、少ないＯＴＦデータ量（ＯＴＦ情報量）で、撮影画像を適切に補正するには、画像処理装置ごとに適切な（より好ましくは最適な）ＯＴＦデータ（ＯＴＦ情報）を送信する必要がある。本実施形態では、画像処理装置として設けられた、情報処理装置１０３にインストールされた画像処理アプリケーション、および、撮像装置１０４、１０５、１０６のそれぞれに、適切なＯＴＦデータを送信可能に構成する。その理由としては、例えば前述の画像処理アプリケーションは、プログラムを変更すれば比較的どのようなＯＴＦデータにも対応可能である。一方、撮像装置１０４〜１０６に設けられた画像処理部（本実施形態における画像処理装置）は、一般的に処理速度が優先されるため、ハードウエアで構成されることが多く、入力可能なデータ量の制約を受けることが多い。このため、特にコスト優先の安価な撮像装置の場合、ＯＴＦデータの近似係数が制限されることがある。

本実施形態は、撮像装置１０４〜１０６に所望の光学系のＯＴＦデータを設定する方法を提供する。例えば、情報処理装置１０３は、ネットワーク１０２経由で、情報処理装置１０１の記憶媒体に保存されているＯＴＦデータを取得する。そして情報処理装置１０１により取得されたＯＴＦデータを、ＵＳＢや通信（有線または無線通信）経由で、撮像装置１０４〜１０６に転送する。本実施形態において、情報処理装置１０３は、接続先のデバイス（例えば、撮像装置１０４〜１０６のいずれか）に応じて適切なＯＴＦデータを転送する。

次に、図１（ｂ）を参照して、情報処理装置１０３（制御装置）の概略構成について説明する。図１（ｂ）は、情報処理装置１０３のブロック図である。情報処理装置１０３（制御装置）は、入力回路（入力手段）１０３ａ、記憶回路（記憶手段）１０３ｂ、決定回路（決定手段）１０３ｃ、および、出力回路（出力手段）１０３ｄを有する。入力回路１０３ａおよび出力回路１０３ｄは、例えばＷｉ−Ｆｉ（登録商標）（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）による通信モジュールである。通信モジュールとしては、無線通信を行う構成に限定されるものではなく、有線通信を行う構成であってもよい。記憶回路１０３ｂはＲＯＭなどのメモリであり、決定回路１０３ｃはＣＰＵなどのプロセッサである。

入力回路１０３ａは、画像処理装置（例えば、情報処理装置１０３にインストールされた画像処理アプリケーションや、撮像装置１０４〜１０６）の情報を入力する。記憶回路１０３ｂは、第１の光学伝達関数（ＯＴＦ）に関するデータ、すなわち複数の係数データを含む第１のデータ（例えば、ネットワーク１０２を介して得られたＯＴＦデータ）を記憶する。決定回路１０３ｃは、光学系を用いて撮影された画像に対して画像処理を行う画像処理装置の情報に基づいて、記憶回路１０３ｂに記憶された第１のデータから、第１のデータよりもデータ量の小さい第２のデータを決定する。第２のデータとは、第２の光学伝達関数に関するデータ、すなわち各画像処理装置に適切なＯＴＦデータである。出力回路１０３ｄは、第２のデータを画像処理装置に出力する。光学系の光学伝達関数（ＯＴＦ）は、複数の係数データを、所定の次数（ｍ次）を有する近似関数の係数として用いることにより表すことができる。好ましくは、複数の係数データは、光学系の光学伝達関数を、所定の次数を有する近似関数に近似することにより決定される。また好ましくは、第２のデータは、近似関数の所定の次数よりも小さい次数（ｎ次：ｎ＜ｍ）に対応する係数データである。

次に、図２を参照して、情報処理装置１０３が接続先のデバイスに応じて最適なＯＴＦデータを転送する処理フローについて説明する。図２は、ＯＴＦデータのテータ転送処理を示すフローチャートである。図２の各ステップは、情報処理装置１０３の制御部（ＣＰＵ）が情報処理装置１０３にインストールされたアプリケーションのプログラムの指示に基づいて実行される。

まずステップＳ２０１において、情報処理装置１０３（制御部）は、補正対象の光学系（撮影画像の取得に用いられた撮像光学系）のＯＴＦデータ（該当ＯＴＦデータ）を、情報処理装置１０１からネットワーク１０２を介してダウンロード（取得）する。例えば、情報処理装置１０３には、ユーザが所有するデータ登録用のアプリケーションがインストールされており、ユーザは、このアプリケーションを用いて、必要な光学系（撮像光学系）を選択することができる。ステップＳ２０１にて取得したＯＴＦデータは、ユーザの情報処理装置１０３内のメモリ（記憶回路）に格納される。

続いてステップＳ２０２において、情報処理装置１０３（情報処理装置１０３にインストールされたアプリケーション）は、情報処理装置１０３に接続されたデバイス（例えば、撮像装置１０４〜１０６などの画像処理装置）の情報を取得する。具体的には、情報処理装置１０３は、撮像装置１０４〜１０６のＯＴＦデータを用いて補正を行う画像処理ブロックが対応している次数を判定する。

続いてステップＳ２０３において、情報処理装置１０３は、ステップＳ２０１で取得したＯＴＦデータから、ステップＳ２０２で取得した接続先デバイス情報（最大次数）に基づいて、ＯＴＦデータの次数（一部データ）を削減し、転送用のＯＴＦデータを作成する。すなわち決定回路１０３ｃは、記憶回路１０３ｂに記憶された第１のデータ（ステップＳ２０１で取得したＯＴＦデータ）から、第１のデータよりもデータ量の小さい第２のデータ（転送用のＯＴＦデータ）を決定する。このとき、必要な次数を判定する方法として、情報処理装置１０３は、接続されたデバイス（撮像装置１０４〜１０６）から直接、対応可能な最大次数を受信する方法を採用することができる。また、情報処理装置１０３内の記憶回路に、接続されたデバイスと最大次数との関係を示すテーブルを記憶させ、そのテーブルから必要な次数を算出してもよい。

図３は、接続先デバイス（撮像装置としてのカメラＡ〜Ｃ）と最大次数との関係を示すテーブルの一例である。図３において、高級なカメラＡの最大次数は２０次である（カメラＡは２０次まで対応可能である）が、廉価盤のカメラＣの最大次数は５次である（カメラＣは５次までのみ対応可能である）ことを示している。

ステップＳ２０２、Ｓ２０３にて接続先デバイス（撮像装置）ごとに最大次数（対応可能な最大次数）が決定すると、ステップＳ２０４に進む。そしてステップＳ２０４において、情報処理装置１０３は、ステップＳ２０１で取得したＯＴＦデータの次数の中から、接続先デバイスの最大次数までを抽出したＯＴＦデータを各デバイスに転送する。このとき、情報処理装置１０３にインストールされている画像処理アプリケーションで画像回復処理を行う場合、アプリケーションの最大次数で画像回復処理を行うことができる。また、撮像装置と同等の効果が要求される場合においては、画像ファイルに撮影時の最大次数を記録しておき、その値に基づいて補正処理を行ってもよい。

図２に示されるフローに従い、一つの元データ（オリジナルデータ）に基づいて用いて各撮像装置の特性に合わせた個別データを決定し、その個別データを対応する撮像装置に転送することができる。このため、各撮像装置にＯＴＦデータの元データを記憶させておくことなく、撮像装置（画像処理装置）ごとに適切な補正が可能となる。

以上のように、第１の実施形態では、情報処理装置１０３が接続先デバイスである画像処理装置の情報に基づいて、ＯＴＦデータの次数を削減し、転送用のＯＴＦデータを作成する構成を例にあげて説明を行ったが、これに限られるものではない。

図１（ｃ）は、画像処理装置の、画像回復処理に関係する構成を示すブロック図である。画像処理装置の一例である撮像装置１０４は、入力回路（入力手段）１０４ａ、決定回路（決定手段）１０４ｂ、記憶回路（記憶手段）１０４ｃ、および、処理回路（処理手段）１０４ｄを有する。入力回路１０４ａは、例えばＷｉ−Ｆｉによる通信モジュールである。通信モジュールとしては、無線通信を行う通信回路に限定されるものではなく、有線通信を行う通信回路であってもよい。決定回路１０４ｂおよび処理回路１０４ｄはＣＰＵなどのプロセッサであり、記憶回路１０３ｂはＲＯＭなどのメモリである。

例えば、情報処理装置１０３は取得したＯＴＦデータをそのまま撮像装置１０４に転送し、撮像装置１０４は入力回路１０４ａを介してこれを受け取る。決定回路１０４ｂは受け取ったＯＴＦデータの次数を削減して、記憶回路１０４ｃに格納し、処理回路１０４ｄはこの格納されたＯＴＦデータを用いて回復フィルタを生成して、画像回復処理を行う。

あるいは、情報処理装置１０３は、取得したＯＴＦデータを次数に応じて分割して撮像装置１０４に転送することができる。そして決定回路１０４ｂは、入力回路１０４ａが受け取ったＯＴＦデータのうち、対応可能な次数のＯＴＦデータのみを記憶回路１０４ｃに格納するように構成してもよい。

（第２実施形態）
次に、図４を参照して、本発明の第２実施形態における画像処理システムについて説明する。図４は、本実施形態における画像処理システムの構成図であり、交換レンズ方式の撮像装置に対応する画像処理システムを示している。

４０１は光学系（撮像光学系）を備えた交換レンズ（レンズ装置）であり、様々な撮像装置（例えば、撮像装置４０２、４０３、４０４）に装着可能である。交換レンズ４０１は、入力回路（入力手段）４０１ａ、記憶回路（記憶手段）４０１ｂ、決定回路（決定手段）４０１ｃ、および、出力回路（出力手段）４０１ｄを有する。これらの要素は、図１（ｂ）を参照して説明した第１実施形態の情報処理装置１０３の要素とそれぞれ同等な機能を有する。交換レンズ４０１のＲＯＭ（記憶回路４０１ｂ）には、光学系による劣化（光学劣化）を補正するためのＯＴＦデータ（ＯＴＦ情報）が記憶されている。例えば、交換レンズ４０１のＲＯＭは、第１実施形態にて説明した形式で、その特性の再現に十分な次数を含むＯＴＦデータを記憶している。

撮像装置４０２、４０３、４０４には、交換レンズ４０１が装着可能であり、特に撮像装置４０２は高級機、撮像装置４０３は中級機、撮像装置４０４は普及機をそれぞれ示している。一般的には、高級機（撮像装置４０２）は、中級機（撮像装置４０３）や普及機（撮像装置４０４）に比べて高スペックなハードウエア構成を有し、容量や処理速度の点で性能が高いものを備えている。

本実施形態において、交換レンズ４０１は、第１実施形態の情報処理装置１０３と同様に、撮像装置４０２〜４０４のシステム制約に応じて、ＲＯＭ（記憶回路）内に記憶されているＯＴＦデータの次数を選択して送付するように構成されている。このとき、廉価な撮像装置４０４（普及機）が許容する最大次数のＯＴＦデータでは、交換レンズ４０１の特定の領域では十分な補正ができない可能性が高い。この現象について、図６を参照して説明する。図６は、本実施形態におけるＯＴＦデータの一例である。

実施形態１にて説明したように、ＯＴＦデータには実部および虚部が存在し、それぞれを合わせたものを逆フーリエ変換することにより、元の点像広がり関数であるＰＳＦを再構成することが可能となる。ここで、図６（ａ）、（ｂ）は、交換レンズ４０１のある撮影条件におけるＯＴＦデータの実部（元データＯＴＦ実部）および虚部（元データＯＴＦ虚部）をそれぞれ示している。図６（ｃ）、（ｄ）は、次数を削減したＯＴＦデータから再構成されたＯＴＦデータの実部（再構成ＯＴＦ実部）および虚部（再構成ＯＴＦ虚部）の実際のデータを示している。

図６（ａ）と図６（ｃ）、および、図６（ｂ）と図６（ｄ）とをそれぞれ比較するとわかるように、それぞれの関数（ＯＴＦデータ）の形状が変化している。すなわち、図６（ｂ）と図６（ｄ）から再構成したＰＳＦは、元のＰＳＦから変化している。再構成後のＯＴＦが再構成前のＯＴＦと異なる場合、撮影された光学系（撮像光学系）の特性と異なる特性で補正が実行されることになるため、補正画像に予期しない効果が現れる可能性がある。具体的には、エッジが振動してリンギングのような複数エッジが現れ、または、エッジの縁取りが大きく沈んでしまう黒沈みのような弊害が画像に現れる。このため、適切な補正を行うのに十分な次数を保持できない廉価な撮像装置４０４の場合、前述のような弊害の発生を低減するため、補正量を弱める対策を合わせて行う必要がある。

補正量を弱める対策の一例として、最大ゲインを低減する方法がある。まず、最大ゲインについて説明する。画像回復フィルタの作成において、式（４）で示されるウィーナーフィルタように、フィルタの作成においては単純なＯＴＦの逆数ではなく、Γのようなノイズ項を加味してフィルタを作成する必要がある。ここで、Γの値（関数）を制御することにより、周波数領域における最大ゲインを規定することができる。図７を参照して、その様子について説明する。

図７は、本実施形態におけるＭＴＦと最大ゲインを示すグラフである。図７（ａ）は、補正対象の光学系のＭＴＦのグラフを示している。ＯＴＦとＭＴＦとの関係は、以下の式（７）で表すことができる。

このように、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）は、ＯＴＦの絶対値であり、ＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）は位相のずれを空間周波数の関数としたものである。

画像回復処理は、強度に関してはＭＴＦの逆数をフィルタとしてかけて、ＭＴＦの回復を行う処理である。このとき高周波領域では、図７（ａ）に示されるように信号が大きく落ち込む。このため、ＭＴＦの逆数を画像にかけると、大きなゲインがかかることになり出力画像として好ましくない。そこで前述のように、式（４）で表されるウィーナーフィルタのように高周波のゲインを落とす項を入れてフィルタを作成する方法が一般的である。ウィーナーフィルタのΓの関数を工夫することにより、高周波のゲインの落とし方の調整が可能となる。すなわち、Γを調整すれば、どの程度回復させるかのパラメータとして調整することができる。

例えばハードウエア制約が少なく、比較的積極的な回復処理が可能な撮像装置４０２に関しては、図７（ｂ）に示されるように、最大ゲインの値がＭａｘ＿ｂになるようにΓを設定する。一方、ハードウエア制約が大きく積極的な補正ができない撮像装置４０４に関しては、図７（ｃ）に示されるように、Ｍａｘ＿ｂよりも値が小さいＭａｘ＿ｃの値になるようにΓを設定する。これにより、画像回復効果を低減することができ、リンギングや黒沈みのような弊害を低減することが可能となる。このようにして、ハードウエア制約が大きい撮像装置４０４において、対応可能な次数が小さい場合でも適切な画像回復処理を実行することができる。

ところで、前述のように、撮像装置４０４に対してどのような条件に対しても一律の最大ゲインで制約をかけると、低次の近似で十分にＯＴＦデータを再現できる領域に関してもゲインを落としてしまうため、必要以上に補正効果が低減する可能性がある。この具体例について、図８を参照して説明する。

図８は、本実施形態における絞りに応じたＯＴＦデータの一例である。図８（ａ）、（ｂ）は、ある交換レンズの絞りが開放状態の場合におけるＯＴＦの実部（開放ＯＴＦ実部）および虚部（開放ＯＴＦ虚部）のＯＴＦデータ（再構成前のデータ）の一例である。図８（ｃ）、（ｄ）は、ある交換レンズの絞りが小絞り状態の場合におけるＯＴＦの実部（小絞りＯＴＦ実部）および虚部（小絞りＯＴＦ虚部）のＯＴＦデータ（再構成前のデータ）の一例である。

一般的な交換レンズの場合、図８（ａ）、（ｂ）に示されるように開放付近では様々な収差が発生している場合が多く、ＯＴＦは複雑な形状を有することが多い。一方、絞りを絞ると、回折の影響が大きくなり、他の収差の影響が埋もれてしまう。このため、図８（ｃ）、（ｄ）に示されるように、収差の形状がシンプルな形状を示すようになる。すなわち、開放側のＯＴＦは、高次の近似関数で近似しなければ元のＯＴＦは再現できないが、小絞り側では低次の近似関数でも十分再現可能である。

このような現象に従い、図５を参照して、ハードウエア制約が大きい撮像装置でも最大限補正効果を得るための方法について説明する。図５は、本実施形態における画像処理システムのシーケンス図であり、交換レンズ４０１が撮像装置４０２〜４０４のいずれかに装着している場合のデータシーケンスを示している。

交換レンズ４０１がいずれかの撮像装置（画像処理装置）に装着された場合、ステップＳ５０１において、交換レンズ４０１は、接続先の撮像装置に対して、撮像装置の種類に関する情報を要求する。例えば、交換レンズ４０１は、接続先の撮像装置が補正処理可能な（画像回復処理が可能な）撮像装置であるか否かに関する情報を要求する。そして交換レンズ４０１は、接続先の撮像装置が画像回復処理可能であるか否かを判定し、その判定結果を接続先の撮像装置に送信する。また交換レンズ４０１は、接続先の撮像装置が画像回復処理可能である場合、最大次数に関する情報（最大次数情報）を接続先の撮像装置に対して要求する。

続いてステップＳ５０２において、撮像装置は、ステップＳ５０１での交換レンズ４０１からの要求に応じて、画像回復処理が可能である場合、撮像装置が許容可能な最大次数に関する情報（最大次数情報）を交換レンズ４０１に送信する。このとき交換レンズ４０１は、入力回路４０１ａを介して、撮像装置から送信された最大次数情報（撮像装置の情報）を入力する。そしてステップＳ５０３において、交換レンズ４０１は、ステップＳ５０２にて撮像装置から取得した最大次数情報に応じて、交換レンズ４０１のＲＯＭに記憶された参照テーブルから、最大ゲインテーブルを抽出して撮像装置に送信する。すなわち決定回路４０１ｃは、画像処理装置が許容可能な最大次数に関する情報に応じて、第２のデータを決定する。好ましくは、決定回路４０１ｃは、最大次数に関する情報に応じて、画像回復フィルタを生成する際の最大ゲイン（補正強度）に関する情報を決定する。また好ましくは、決定手段４０１ｃは、画像が撮影された際の撮影条件情報に基づいて第２のデータを決定する。

ここで、図９を参照して、交換レンズ４０１のＲＯＭに記憶された参照テーブル、および、参照テーブルから抽出された最大ゲインテーブルについて説明する。図９は、本実施形態における参照テーブルおよび最大ゲインテーブルを示す図であり、図９（ａ）は参照テーブルの一例、図９（ｂ）は最大ゲインテーブルの一例をそれぞれ示している。

図９（ａ）に示される参照テーブルは、接続先の撮像装置の次数に応じて、いずれのゲインテーブルを送信するかを決定するテーブル、すなわち撮像装置の次数とゲインテーブルとを関連付けるテーブルである。図９（ａ）において、例えば最大次数が１０次である撮像装置には、「Ｔａｂｌｅ Ｂ」のゲインテーブルを送信することを示している。

図９（ｂ）に示される最大ゲインテーブルは、絞りに応じた最大ゲインの値を示すテーブルである。前述のように、最大次数が１０次である撮像装置の場合、図９（ａ）中の「Ｔａｂｌｅ Ｂ」を参照することになる。このため、絞り値Ｆ５．６で撮影した画像に対しては、最大ゲインは４でフィルタを生成することになる。特に、ハードの制約が大きい撮像装置の場合、図９（ａ）中の「Ｔａｂｌｅ Ｃ」を参照することになる。このとき、絞りが開放状態における最大ゲインは２であるが、小絞り状態における最大ゲインは５である。すなわち図８を参照して説明したように、ＯＴＦの再現に高次の次数が必要な領域に対しては、積極的な補正ができないため、最大ゲインを２倍に設定して、弊害の発生を低減する。一方、小絞り状態においては、ＯＴＦの再現に低次の次数で再現可能であるため、積極的な補正が可能となる。本実施形態では、絞りに対する最大ゲインのテーブルについて説明しているが、光学系の特徴に合わせて他のパラメータ（撮影距離や焦点距離などの他の撮影条件情報）を加味したテーブルを作成してもよい。

次に、図５に戻り、撮影の際の動作について説明する。ステップＳ５０４において、撮影の際にユーザがシャッターボタンを押下したタイミング（Ｓ２）で、撮像装置は、焦点距離、撮影距離、および、絞りなどの撮影条件情報を交換レンズ４０１に送信する。画像が撮影された際の撮影条件情報が決定すると、ＯＴＦが特定される。このため、交換レンズ４０１は、交換レンズ４０１のＲＯＭに記憶されているＯＴＦデータ（ＯＴＦ係数データ）から、該当するＯＴＦデータを撮像装置に送信する。このとき、ＯＴＦデータは、ステップＳ５０２にて取得した撮像装置の最大次数のデータまで送信される。ＯＴＦデータを受け取った撮像装置は、交換レンズ４０１の装着の際（ステップＳ５０３）に得られた参照テーブルおよび最大ゲインテーブルに基づいて最大ゲインを決定し、画像回復フィルタを生成して画像回復を行う。以上により、交換レンズ４０１のＲＯＭに１種類のＯＴＦデータを準備しておくことで、装着可能な種々の撮像装置に応じて適切な画像回復処理を行うことが可能になる。

なお、交換レンズ４０１はＲＯＭに記憶されているＯＴＦデータをそのまま撮像装置に送信し、撮像装置がＯＴＦデータに含まれる次数を調整し、参照テーブルおよび最大ゲインテーブルに基づいて最大ゲインを決定する構成としてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

このように各実施形態において、光学伝達関数（ＯＴＦ）を再構成して劣化画像（撮影画像）を補正する（画像回復処理を行う）画像処理システムにおいて、画像回復処理を行う画像処理装置に応じて適切なＯＴＦデータ（近似データ）を提供することができる。このため各実施形態によれば、画像回復処理を行う画像処理装置に応じて適切なＯＴＦデータを提供可能な制御装置、画像処理装置、レンズ装置、画像処理システム、制御方法、画像処理方法、プログラム、および、記憶媒体を提供することができる。また、各実施形態によれば、画像回復処理を行うための適切なＯＴＦデータを記憶可能な制御装置、画像処理装置、レンズ装置、画像処理システム、制御方法、画像処理方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０３ 情報処理装置（制御装置）
１０３ｂ 記憶回路（記憶手段）
１０３ｃ 決定回路（決定手段）

Claims (12)

1. 光学系の光学伝達関数を、所定の次数を有する近似関数に近似することによって得られた複数の係数データを含む第１のデータを記憶する記憶手段と、
   前記光学系を用いて撮影された画像に対して画像処理を行う画像処理装置の情報を入力する入力手段と、
   前記画像処理装置の情報に基づいて、前記記憶手段に記憶された前記第１のデータから、前記近似関数の前記所定の次数よりも小さい次数に対応する係数データである第２のデータを決定する決定手段と、
   前記第２のデータを前記画像処理装置に出力する出力手段と、
   を有することを特徴とする制御装置。
2. 前記近似関数は、直交関数であることを特徴とする請求項１に記載の制御装置。
3. 前記決定手段は、前記画像処理装置が許容可能な最大次数に関する情報に応じて、前記第２のデータを決定することを特徴とする請求項１または２に記載の制御装置。
4. 前記決定手段は、前記最大次数に関する情報に応じて、画像回復フィルタを生成する際の最大ゲインに関する情報を決定することを特徴とする請求項３に記載の制御装置。
5. 前記決定手段は、前記画像が撮影された際の撮影条件情報に基づいて前記第２のデータを決定することを特徴とする請求項１乃至４のいずれか１項に記載の制御装置。
6. 前記撮影条件情報は、焦点距離、撮影距離、および、絞りに関する情報を含むことを特徴とする請求項５に記載の制御装置。
7. 前記記憶手段は、前記第１のデータを、ネットワークを介して取得できることを特徴とする請求項１乃至６のいずれか１項に記載の制御装置。
8. 請求項１乃至７のいずれか１項に記載の制御装置と、
   被写体像を形成する光学系と、を有することを特徴とするレンズ装置。
9. 請求項１乃至７のいずれか１項に記載の制御装置と、
   前記第２のデータを用いて画像回復処理を行う画像処理装置と、を有することを特徴とする画像処理システム。
10. 光学系を用いて撮影された画像に対して画像処理を行う画像処理装置の情報を入力するステップと、
    前記画像処理装置の情報に基づいて、記憶手段に記憶された、光学系の光学伝達関数を、所定の次数を有する近似関数に近似することによって得られた複数の係数データを含む第１のデータから、前記近似関数の前記所定の次数よりも小さい次数に対応する係数データである第２のデータを決定するステップと、
    前記第２のデータを前記画像処理装置に出力するステップと、
    を有することを特徴とする制御方法。
11. 光学系を用いて撮影された画像に対して画像処理を行う画像処理装置の情報を入力するステップと、
    前記画像処理装置の情報に基づいて、記憶手段に記憶された、光学系の光学伝達関数を、所定の次数を有する近似関数に近似することによって得られた複数の係数データを含む第１のデータから、前記近似関数の前記所定の次数よりも小さい次数に対応する係数データである第２のデータを決定するステップと、
    前記第２のデータを前記画像処理装置に出力するステップと、
    をコンピュータに実行させるように構成されることを特徴とするプログラム。
12. 請求項１１に記載のプログラムを記憶していることを特徴とする記憶媒体。