JPWO2014050190A1 - 画像処理装置、撮像装置、コンピュータ及びプログラム - Google Patents

Abstract

点像復元精度の劣化を抑えつつ、点像復元処理に用いられる復元フィルタのデータ記憶量を低減させることが可能な技術を提供する。画像の点像復元に関する統計情報Ｄ１２を取得し、画像の取得時に使用される光学系の点像強度分布を表す光学情報Ｄ１４を取得し、統計情報及び光学情報のうち少なくとも何れかに基づき、画像の点像復元処理のための復元フィルタのフィルタ情報（復元フィルタの対称性、復元フィルタのタップ数等）Ｄ１６が求められる。このフィルタ情報Ｄ１６を拘束条件として、統計情報Ｄ１２及び光学情報Ｄ１４に基づき、復元フィルタのフィルタ係数Ｄ１８が算出される。このようにして算出されたフィルタ係数Ｄ１８を用いて、画像の点像復元処理が行われる。

Description

本発明は画像処理装置、撮像装置、コンピュータ及びプログラムに係り、特に、点像復元処理において用いられる復元フィルタに関する。

撮像光学系を介して撮影される被写体像には、撮像光学系に起因する回折や収差等の影響により、点被写体が微小な広がりを持つ所謂点拡がり現象が見られることがある。光学系の点光源に対する応答を表す関数は点拡がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）と呼ばれ、撮影画像の解像度劣化（ボケ）を左右するパラメータとして知られている。

この点拡がり現象のために画質劣化した撮影画像は、ＰＳＦに基づく点像復元処理を受けることで画質劣化を回復することができる。点像復元処理は、レンズ（光学系）の収差等に起因する劣化特性（点像特性）を予め求めておき、その点像特性に応じた復元フィルタ（回復フィルタ）を用いる画像処理によって撮影画像の点拡がりをキャンセルする処理である。

点像復元処理については、様々な工夫が提案されている。例えば特許文献１は、ＰＳＦの拡がりの対称性を考慮し、回転非対称な鮮鋭度回復フィルタの代わりに回転対称な鮮鋭度回復フィルタを用いて、光軸外の光学性能の劣化を補償することが可能な補正データ作成方法を開示する。また特許文献２は、光学伝達関数に基づく画像回復フィルタを用いて回復画像を生成し、回復画像に対して色ずれを低減することで、倍率色収差による色ずれを補正する画像処理方法を開示する。

この点拡がり現象は、絞り、ズーム位置、被写体距離等の撮影条件や像高位置等によって様々に変化するため、単一の撮像系であっても、点像復元処理に必要なＰＳＦ等のデータ量は膨大となる。そこで、特許文献３は、撮像光学系の光学伝達関数の再構成に必要なデータの記憶量を低減させるための画像処理装置を開示し、ＰＳＦの記憶データ量の低減が図られている。

特開２００３−１７２８７３号公報 特開２０１２−１２９９３２号公報 特開２０１２−０７３６９１号公報

上述のように、復元フィルタを利用した点像復元処理を適切に行うためには膨大な記憶データ量が必要になるが、記憶データ量を低減させることも大きな課題の一つになっている。その一方で、点像復元処理のために復元フィルタを所定の記憶手段に記憶しておくことの要望は非常に強く、作成した復元フィルタを記憶しておき、利用時にその記憶された復元フィルタを読み出すことで、計算負荷の軽減や処理スピードの向上を図ることができる。しかしながら、復元フィルタは多数のタップによって構成され、各タップに対してフィルタ係数が割り当てられるため、記憶負荷が非常に大きい。

特許文献１や特許文献２に開示の装置では、点像復元精度を維持しつつ点像復元処理の復元フィルタのデータ量を効果的に低減させるための工夫は、特になされていない。すなわち特許文献１では、回転対称な係数を持つ鮮鋭化フィルタによって光軸から離れた領域での画質劣化を改善する工夫が提案されているが、光学系のボケ特性が回転非対称な場合に回転対称な係数を持つ鮮鋭化フィルタを近似適用するため、点像復元の精度が落ちる。また特許文献２では、点像復元フィルタの記憶データ量の低減に関して何らの工夫も示唆されていない。

また特許文献３は、撮像光学系の光学伝達関数の再構成に必要なデータの記憶量を低減させる技術を開示するものであるが、点像復元処理のための復元フィルタの記憶データ量を直接的に低減する工夫については開示も示唆もされていない。すなわち、特許文献３が開示する技術は、画像回復フィルタを作成するための光学伝達関数の情報量を低減するためのものではあるが、作成される画像回復フィルタ自体の記憶量を低減するものではない。

本発明は上述の事情に鑑みてなされたものであり、点像復元精度の劣化を抑えつつ、点像復元処理に用いられる復元フィルタのデータ記憶量を低減させることが可能な技術を提供することを目的とする。

本発明の一態様は、画像の点像復元に関する統計情報を取得する統計情報取得部と、画像の取得時に使用される光学系の点像強度分布を表す光学情報を取得する光学情報取得部と、統計情報及び光学情報のうち少なくとも何れかに基づき、画像の点像復元処理のための復元フィルタのフィルタ情報を求めるフィルタ情報算出部と、フィルタ情報を拘束条件として、統計情報及び光学情報に基づき、復元フィルタのフィルタ係数を算出するフィルタ係数算出部と、フィルタ係数算出部で算出されたフィルタ係数を用いて点像復元処理を行う点像復元処理部と、を備える画像処理装置に関する。

本態様によれば、画像の点像復元に関する統計情報及び光学系の点像強度分布を表す光学情報のうち少なくともいずれかに基づき、復元フィルタのフィルタ情報が求められ、このフィルタ情報を拘束条件として、復元フィルタのフィルタ係数が算出される。したがって、点像復元処理の精度を落とすことなく、点像復元処理に用いられる復元フィルタのデータ記憶量を低減させることができる。点像強度分布（光学伝達関数）の特性によって、事前に復元フィルタの情報量（フォーマット）を決定しておき、それ（タップ数、対称性など）を拘束条件として復元フィルタを生成することによって、フィルタ係数の格納に必要な情報量を削減しつつ、その範囲でベストな特性の復元フィルタを設計することも可能である。

ここでいう「画像の点像復元に関する統計情報」は、画像の点像復元に影響を及ぼし得る統計的な情報であり、例えばＳＮ比が含まれうる。また「光学系の点像強度分布を表す光学情報」は、光学系に起因する点像強度分布を直接的又は間接的に表す光学的な情報である。例えばＰＳＦやＯＴＦ（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）（ＭＴＦ：Ｍｏｄｕｒａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ；ＰＴＦ：Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）が光学情報に含まれうる。また「復元フィルタのフィルタ情報」は、点像復元処理の際に使用される復元フィルタのフィルタ特性を示す情報であり、例えば復元フィルタのタップ構成（全体タップ数、タップ対称性、対称性を加味した場合の最小必要タップ数、等）が含まれうる。また「フィルタ係数」とは、フィルタリング処理において処理対象の画像データ（画素データ）に適用される係数であり、復元フィルタが複数タップによって構成される場合には各タップにフィルタ係数が割り当てられる。また「点像復元」とは点拡がりをキャンセルして元の点像を復元することであり、「点像復元処理」とはそのような点像復元を行う処理である。点像復元処理は任意の手法を用いることができ、例えば複数タップによって構成される復元フィルタを処理対象画像に適用し、処理対象画像の各画素データとフィルタ係数とを加重平均する処理を採用することが可能である。

望ましくは、フィルタ情報は、復元フィルタのタップ数に関する情報と、復元フィルタの対称性の種類を示す情報とを含み、フィルタ係数算出部は、フィルタ情報算出部が求める復元フィルタのタップ数に関する情報と復元フィルタの対称性の種類を示す情報とを拘束条件として、フィルタ係数を算出する。

この場合、「復元フィルタのタップ数に関する情報」及び「復元フィルタの対称性の種類を示す情報」を拘束条件としてフィルタ係数が算出されるため、復元フィルタに必要なフィルタ係数の情報量を復元フィルタの対称性の種類に応じて低減させることが可能である。なお、復元フィルタに必要なフィルタ係数の情報量は、「復元フィルタのタップ数に関する情報」及び「復元フィルタの対称性の種類を示す情報」から、完全な復元フィルタを再現可能な情報量である。

望ましくは、光学情報は、点像強度分布の対称性の種類を示す情報と、点像強度分布の対称性の種類に基づいて点像強度分布を再現可能な圧縮された情報であって点像強度分布の対称性の種類を示す情報と対応づけられた圧縮された情報とを含み、フィルタ情報算出部は、点像強度分布の対称性の種類を示す情報から復元フィルタの対称性の種類を示す情報を求め、点像強度分布の対称性の種類を示す情報と対応づけられた圧縮された情報及び統計情報に基づいて復元フィルタのタップ数に関する情報を求める。

この場合、点像強度分布の対称性の種類を示す情報と対応づけられた圧縮された情報から、復元フィルタのタップ数に関する情報を求めることができるため、点像強度分布を表す光学情報に必要な情報量を、点像強度分布の対称性に応じて低減させることが可能である。また、点像強度分布の対称性の種類に基づいて点像強度分布を再現可能な圧縮された情報（光学伝達関数情報）を用いることによって、フィルタ情報量（フォーマット）の判定が容易になり、フィルタ設計における演算量を削減することも可能である。

ここでいう「点像強度分布の対称性の種類に基づいて点像強度分布を再現可能な圧縮された情報」とは、点像強度分布の対称性の種類を加味することで、本来の点像強度分布を再現可能な程度に圧縮された（情報量が低減された）情報のことである。

望ましくは、光学情報取得部は、光学情報と、点像強度分布に対応づけられる復元フィルタの対称性の種類を示す情報とを取得し、フィルタ情報は、復元フィルタのタップ数に関する情報を含み、フィルタ係数算出部は、フィルタ情報算出部が求める復元フィルタのタップ数に関する情報と光学情報取得部が取得する復元フィルタの対称性の種類を示す情報とを拘束条件として、フィルタ係数を算出する。

この場合、復元フィルタの対称性の種類を示す情報が光学情報と共に取得されるため、フィルタ情報算出部において「復元フィルタの対称性の種類を示す情報」を求める必要がなくなる。

望ましくは、画像処理装置は、フィルタ係数とフィルタ係数に対応するフィルタ情報とを相互に関連づけて記憶する記憶部を更に備える。

この場合、フィルタ係数及びフィルタ情報が記憶部に記憶されるため、記憶部にアクセスすることでフィルタ係数及びフィルタ情報を容易に得ることが可能であり、これらのフィルタ係数及びフィルタ情報を再度算出する必要がない。また、圧縮されたフィルタ係数情報の場合、冗長性を付加せずにそのままの形で記憶部に記録することも可能である。

望ましくは、画像処理装置は、記憶部に記憶されるフィルタ係数及びフィルタ情報に基づいて復元フィルタを作成する復元フィルタ作成部を更に備える。

この場合、点像復元処理部は、復元フィルタ作成部の作成した復元フィルタを使用して、適切な点像復元処理を行うことができる。また、フィルタ係数の圧縮フォーマットに依存せずに、同一の復元フィルタ適用装置によって、復元フィルタを使用することも可能である。

望ましくは、記憶部は、画像の取得条件と画像によって表される画像中の位置とに応じて、フィルタ係数及びフィルタ情報を記憶し、画像の取得条件及び画像によって表される画像中の位置と、相互に関連づけられるフィルタ係数及びフィルタ情報が記憶される記憶部のメモリアドレスとが対応づけられたインデックス−オフセット変換テーブルを記憶し、復元フィルタ作成部は、インデックス−オフセット変換テーブルに基づき、画像の取得条件及び画像によって表される画像中の位置に応じたフィルタ係数及びフィルタ情報を記憶部から読み出す。

この場合、インデックス−オフセット変換テーブルの対応のメモリアドレスを参照し、画像の取得条件及び画像データによって表される画像中の位置に応じたフィルタ係数及びフィルタ情報を、記憶部から直接的に読み出す（ランダムアクセスする）ことが可能である。

望ましくは、点像復元処理部は、復元フィルタの対称性の複数の種類の各々に対して専用の復元処理部を有し、復元フィルタ作成部は、復元フィルタの対称性の種類と復元処理部との対応関係を示すフィルタ−フォーマット変換テーブルを持つフォーマット変換部を有し、フォーマット変換部は、フィルタ−フォーマット変換テーブルに基づき、記憶部から読み出されるフィルタ情報から復元フィルタの対称性の種類を求めて対応の復元処理部を特定し、復元フィルタ作成部は、記憶部から読み出されるフィルタ係数と共にフォーマット変換部が特定した対応の復元処理部を示す処理部指示情報を、復元フィルタとして復元処理部に送り、復元処理部は、復元フィルタ作成部から送られてくる処理部指示情報によって示される復元処理部により、復元フィルタ作成部から送られてくるフィルタ係数を用いて点像復元処理を行う。

この場合、フィルタの対称性の種類に応じた専用の復元処理部によって点像復元処理を行って、点像復元処理の最適化を図ることが可能である。

望ましくは、光学系は、位相を変調して被写界深度を拡大させるレンズ部を有する。

本態様によれば、いわゆるＥＤｏＦ（Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ（Ｆｏｃｕｓ））光学系を介して得られる画像に対しても、点像復元処理の精度を落とすことなく、点像復元処理に用いられる復元フィルタのデータ記憶量を低減させることができる。なお、レンズ部における位相を変調させる手法（光学的位相変調手段）は特に限定されず、レンズ間に位相変調部を設けたり、レンズ自体（例えばレンズの入射面／出力面）に位相変調機能を持たせたりすることも可能である。

本発明の他の態様は、画像の点像復元に関する統計情報を記憶する統計情報記憶部と、画像の取得時に使用される光学系の点像強度分布を表す光学情報を記憶する光学情報記憶部と、統計情報記憶部及び光学情報記憶部に接続される上記画像処理装置と、を備える撮像装置に関する。

本発明の他の態様は、レンズユニットと、このレンズユニットに接続される本体部とを備える撮像装置であって、レンズユニットは、画像の取得時に使用される光学系の点像強度分布を表す光学情報を記憶する光学情報記憶部を有し、本体部は、画像の点像復元に関する統計情報を記憶する統計情報記憶部と、統計情報記憶部及び光学情報記憶部に接続される上記画像処理装置と、を有する撮像装置に関する。

本発明の他の態様は、画像の点像復元に関する統計情報が画像と共に入力されるコンピュータであって、画像の取得時に使用される光学系の点像強度分布を表す光学情報を記憶する光学情報記憶部と、光学情報記憶部に接続される上記画像処理装置と、を備えるコンピュータに関する。

本発明の他の態様は、画像の点像復元に関する統計情報と、画像の取得時に使用される光学系の点像強度分布を表す光学情報とが画像と共に入力されるコンピュータであって、上記画像処理装置を備えるコンピュータに関する。

本発明の他の態様は、画像の点像復元に関する統計情報を取得する手順と、画像の取得時に使用される光学系の点像強度分布を表す光学情報を取得する手順と、統計情報及び光学情報のうち少なくとも何れかに基づき、画像の点像復元処理のための復元フィルタのフィルタ情報を求める手順と、フィルタ情報を拘束条件として、統計情報及び光学情報に基づき、復元フィルタのフィルタ係数を算出する手順と、算出されたフィルタ係数を用いて点像復元処理を行う手順と、をコンピュータに実行させるためのプログラムに関する。

本発明によれば、画像の点像復元に関する統計情報及び光学系の点像強度分布を表す光学情報のうち少なくともいずれかに基づき復元フィルタのフィルタ情報が求められ、このフィルタ情報を拘束条件として、復元フィルタのフィルタ係数が算出される。

これにより、点像復元処理の精度を落とすことなく、点像復元処理に用いられる復元フィルタのデータ記憶量を低減させることができる。

コンピュータに接続されるデジタルカメラの概略を示すブロック図である。 点像復元処理の一例の概略を示すブロック図である。 第１実施形態に係る点像復元処理の復元フィルタ作成記憶方法を示すブロック図であり、主としてデータの流れを示す図である。 図３に示すデータ処理を行うコントローラの機能ブロック図である。 フォーマット識別子（フィルタ情報ＩＤ）、ＰＳＦの対称性、位相成分の有無、復元フィルタ（フィルタ係数）の配置フォーマット及び記憶すべきフィルタ係数の数（タップ数）の関係を示す表である。 記憶部に記憶されるフィルタ係数及びフィルタ情報に基づいて復元フィルタを作成する流れを示す機能ブロック図である。 第２実施形態に係るＰＳＦ記憶部に記憶される光学伝達関数（ＰＳＦ、ＯＴＦ）の関係を示す表である。 第３実施形態に係るフィルタ係数−フォーマット記憶部を示す機能ブロック図である。 第４実施形態に係る復元フィルタ係数フォーマット変換部及び信号処理部の構成を示す機能ブロック図である。 各処理部の設置に関する例（実施例）を示す表である。 スマートフォンの外観図である。 図１１に示すスマートフォンの構成を示すブロック図である。 ＥＤｏＦ光学系を備える撮像モジュールの一形態を示すブロック図である。 ＥＤｏＦ光学系の一例を示す図である。 図１３に示す復元処理ブロックにおける復元処理の一例を示すフローチャートである。 ＥＤｏＦ光学系を介して取得された画像の復元例を示す図であり、（ａ）は復元処理前のボケた画像を示し、（ｂ）は復元処理後のボケが解消された画像（点像）を示す。

添付図面を参照して本発明の実施形態について説明する。以下の説明では、一例として、コンピュータ（ＰＣ：パーソナルコンピュータ）に接続可能なデジタルカメラ（撮像装置）に本発明を適用する例について説明する。

図１は、コンピュータに接続されるデジタルカメラの概略を示すブロック図である。

デジタルカメラ１０は、交換可能なレンズユニット１２と、撮像素子２６を具備するカメラ本体（本体部）１４とを備え、レンズユニット１２のレンズユニット端子２２とカメラ本体１４のカメラ本体端子３０とを介して、レンズユニット１２とカメラ本体１４とは電気的に接続される。

レンズユニット１２は、レンズ１６や絞り（図示省略）等の光学系と、この光学系を制御する光学系操作部１８とを具備し、光学系操作部１８は、レンズユニット端子２２に接続されるレンズユニットコントローラ２０と、光学系を操作するアクチュエータ（図示省略）とを含む。レンズユニットコントローラ２０は、レンズユニット端子２２を介してカメラ本体１４から送られてくる制御信号に基づき、アクチュエータを介して光学系を制御し、例えば、レンズ移動によるフォーカス制御やズーム制御、絞りの絞り量制御、等を行う。

カメラ本体１４の撮像素子２６は、ＲＧＢ等のカラーフィルタとイメージセンサ（ＣＭＯＳ、ＣＣＤ等）とを有し、レンズユニット１２の光学系（レンズ１６、絞り等）を介して照射される被写体像の光を電気信号に変換し、画像信号をカメラ本体コントローラ（画像処理装置）２８に送る。

カメラ本体コントローラ２８は、カメラ本体１４を統括的に制御し、例えば撮像素子２６からの画像信号（画像データ）の出力を制御したり、撮像素子２６からの画像信号を画像処理したり、レンズユニット１２を制御するための制御信号を作成してカメラ本体端子３０を介してレンズユニット１２（レンズユニットコントローラ２０）に送信したり、入出力インターフェース３２を介して接続される外部機器類（コンピュータ６０等）に画像処理前後の画像データ（ＲＡＷデータ、ＪＰＥＧデータ等）を送信したりする。

カメラ本体コントローラ２８は、必要に応じた任意の画像処理を行うことができ、センサ補正処理、デモザイク（同時化）処理、画素補間処理、色補正処理（ホワイトバランス処理、カラーマトリック処理、ガンマ変換処理、等）、ＲＧＢ画像処理（シャープネス処理、トーン補正処理、露出補正処理、等）及びＪＰＥＧ圧縮処理を行うことができる。加えて、本例のカメラ本体コントローラ２８は、いわゆる点像復元処理を画像データに対して施す。この点像復元処理の詳細については後述する。

カメラ本体コントローラ２８において画像処理された画像データは、入出力インターフェース３２に接続されるコンピュータ６０等に送られる。この時、コンピュータ６０等に送られる画像データのフォーマットは特に限定されず、ＲＡＷ、ＪＰＥＧ、ＴＩＦＦ等の任意のフォーマットとしうる。したがってカメラ本体コントローラ２８は、いわゆるＥｘｉｆフォーマットのように、ヘッダ情報（撮影情報（撮影日時、機種、画素数、絞り値等）等）、主画像データ及びサムネイル画像データを相互に対応づけて１つの画像ファイルとして構成し、この画像ファイルがカメラ本体１４からコンピュータ６０に送信されるようにしてもよい。

コンピュータ６０は、カメラ本体１４の入出力インターフェース３２及びコンピュータ端子６２を介してデジタルカメラ１０に接続され、カメラ本体１４から送られてくる画像データ等のデータ類を受信する。コンピュータ６０のコンピュータコントローラ６４は、コンピュータ６０を統括的に制御し、デジタルカメラ１０からの画像データを画像処理したり、インターネット７０等のネットワーク回線を介してコンピュータ端子６２に接続されるサーバ８０との通信制御をしたりする。コンピュータ６０はディスプレイ６６を有し、コンピュータコントローラ６４における処理内容等がディスプレイ６６に必要に応じて表示される。ユーザは、ディスプレイ６６の表示を確認しながらキーボード等の入力手段（図示省略）を操作することで、コンピュータコントローラ６４に対してデータや指示を入力し、コンピュータ６０に接続されるデジタルカメラ１０やサーバ８０を制御することも可能である。

サーバ８０は、サーバ端子８２及びサーバコントローラ８４を有する。サーバ端子８２は、コンピュータ６０等の外部機器類との送受信接続部を構成し、インターネット７０を介してコンピュータ６０のコンピュータ端子６２に接続される。サーバコントローラ８４は、コンピュータ６０からの制御指示信号に応じ、コンピュータコントローラ６４と共働し、データ類をコンピュータ６０にダウンロードしたり、演算処理を行ってその演算結果をコンピュータ６０に送信したりする。

なお、各コントローラ（レンズユニットコントローラ２０、カメラ本体コントローラ２８、コンピュータコントローラ６４、サーバコントローラ８４）は、制御処理に必要な回路類を備え、例えば演算処理回路（ＣＰＵ等）やメモリ等を具備する。

次に、撮像素子２６を介して得られる被写体像の撮像データ（画像データ）の点像復元処理について説明する。なお、本例では、カメラ本体１４（カメラ本体コントローラ２８）において下記の一連の点像復元処理が実施される例について説明するが、点像復元処理の全部又は一部を他のコントローラ（レンズユニットコントローラ２０、コンピュータコントローラ６４等）において実施することも可能である（図１０参照）。

図２は、点像復元処理の一例の概略を示すブロック図である。

点像復元処理Ｐ１０は、復元フィルタＦを用いたフィルタリング処理によって、点像復元処理前画像データＤ１０から点像復元処理後画像データＤ１０’を作成する処理である。すなわち、Ｎ×Ｍのタップによって構成される復元フィルタＦを処理対象の画像データに適用し、各タップに割り当てられるフィルタ係数と対応の画素データ（点像復元処理前画像データＤ１０の処理対象画素データ及び隣接画素データ）とを加重平均演算することで、点像復元処理後の画素データ（点像復元処理後画像データＤ１０’）を算出することができる。この復元フィルタＦを用いた加重平均処理を、対象画素を順番に代え、画像データを構成する全画素データに適用することで、点像復元処理を行うことができる。

なお、復元フィルタＦは、撮影条件（レンズ種、絞り、ズーム位置、被写体距離、等）や画像内の位置（像高）のそれぞれの条件に応じて準備されており、点像復元処理Ｐ１０では、処理対象の画素データの条件（撮影条件、画像中位置等）に応じた復元フィルタＦが選択されて使用される。したがって、撮影条件（絞り、ズーム位置、被写体距離、等）や画像内の位置（像高）などの条件が増えるほどに、準備しておくべき復元フィルタＦのデータ量は増え、復元フィルタＦの記憶データ量は膨大になる。しかしながら、以下の各実施形態によれば、そのような復元フィルタＦの必要記憶量を低減することができる。

＜第１実施形態＞
一般に、点像復元処理の復元フィルタサイズはＰＳＦのサイズと相関があり、点拡がりの大きなＰＳＦほど大きなタップ数の復元フィルタによって点像復元処理を行うことが望ましい。また、ＰＳＦが対称な形であれば、復元フィルタも対称な形となるため、そのような対称性を利用することで復元フィルタの情報量を圧縮することが可能である。すなわち、「光学系の点像強度分布を表す光学情報（ＰＳＦ等）の特徴（対称性）」や「フィルタ情報圧縮のための他の特性（タップ数）」を拘束条件として考慮した復元フィルタの設計を行うことによって、点像復元処理の精度を落とすことなく、復元フィルタに必要な情報を効率良く圧縮することができる。

図３は、第１実施形態に係る点像復元処理の復元フィルタ作成記憶方法を示すブロック図であり、主としてデータの流れを示す図である。

本実施形態では、画像データの点像復元に関する統計情報（復元条件パラメータ）Ｄ１２が取得され、また画像データの取得時に使用される光学系の点像強度分布を表す光学情報（ＰＳＦ）Ｄ１４が取得される。そして、取得された復元条件パラメータＤ１２及びＰＳＦデータＤ１４に基づき、画像データの点像復元処理のための復元フィルタのフィルタ情報Ｄ１６が求められる（図３のＰ１２）。

復元条件パラメータＤ１２は、点像復元処理の際の入力画像データの統計情報（例えばＳＮ比）を含み、点像復元処理の復元フィルタの作成に必要な付加情報であって、ＰＳＦデータＤ１４以外の情報である。

光学系の点像強度分布を表す光学情報として、例えばＰＳＦ（点拡がり関数）が挙げられる。ＰＳＦは、与えられる条件下での点像拡がり（ＰＳＦ形状）を表し、撮影条件や画像中の位置によって変化する。なお、光学情報は、ＰＳＦに限定されるものではなく、ＰＳＦをフーリエ変換して得られるＯＴＦ（ＭＴＦ、ＰＴＦ）等であってもよいが、本実施形態では一例としてＰＳＦが光学情報として用いられる。

フィルタ情報Ｄ１６は、ＰＳＦデータＤ１４に対応する点像復元処理の復元フィルタを、復元条件パラメータＤ１２及びＰＳＦデータＤ１４から一定の精度で復元するために、最低限必要なフィルタ係数以外の情報を含む。具体的には、例えば、復元フィルタのタップ数に関する情報や復元フィルタの対称性の種類（点対称、回転対称など）を示す情報が、フィルタ情報Ｄ１６に含まれうる。

例えば、ＰＳＦ形状（点拡がり）のサイズが大きい場合には復元フィルタ全体のタップ数を多く設定し、ＰＳＦ形状が点対称である場合には復元フィルタの対称性を点対称に設定し、ＰＳＦ形状が回転対称である場合には復元フィルタの対称性を回転対称に設定することが可能である。また、復元フィルタの対称性を考慮して、復元フィルタの再現に必要な復元フィルタのタップ数が定められ、具体的には、復元フィルタを構成する総タップ数や対称性に基づき最低限記憶すべきタップ数が決められる。

これらのフィルタ情報（対称性、復元フィルタタップ数、等）は、相互に関連づけられ、フォーマット識別子（フィルタ情報ＩＤ）が割り当てられる。これらのフィルタ情報とフォーマット識別子（フィルタ情報ＩＤ）との関係については後述する（図５参照）。

そして、フィルタ情報Ｄ１６を拘束条件として、復元条件パラメータ（統計情報）Ｄ１２及びＰＳＦデータ（光学情報）Ｄ１４に基づき、復元フィルタのフィルタ係数Ｄ１８が算出される（Ｐ１４）。すなわち、復元フィルタの情報量（タップ数、対称性）の拘束条件下で、最も性能が高いフィルタ係数が算出される。

例えば、フィルタ情報が復元フィルタのタップ数に関するデータと復元フィルタの対称性の種類を示すデータとを含む場合、復元フィルタのタップ数に関するデータと復元フィルタの対称性の種類を示すデータとを拘束条件として、フィルタ係数を算出することが可能である。このとき、復元フィルタの再現に必要な復元フィルタの各タップに対してフィルタ係数が算出される。したがって、復元フィルタが所定の対称性を有し、復元フィルタの再現に必要な復元フィルタのタップ数が本来の復元フィルタを構成するタップ数よりも少ない場合、フィルタ係数の情報量を低減（圧縮）することができる。このように拘束条件を指定した上でフィルタ係数を最適設計することによって、復元フィルタを設計してからフィルタ係数を無理矢理非可逆圧縮する場合よりも、復元フィルタによる点像復元精度を向上させることができる。

なお以下では、復元条件パラメータ（統計情報）Ｄ１２及びＰＳＦデータ（光学情報）Ｄ１４の両者からフィルタ係数Ｄ１８を算出する例について説明するが、ＰＳＦデータ（光学情報）Ｄ１４のみからフィルタ係数Ｄ１８を算出することも可能であり、復元条件パラメータ（統計情報）Ｄ１２が不明な場合であってもフィルタ係数Ｄ１８を算出することができる。

そして、算出されたフィルタ係数Ｄ１８とこのフィルタ係数Ｄ１８に対応するフィルタ情報（フィルタフォーマット）Ｄ１６とは、相互に関連づけられて、メモリ（ＲＯＭ等）に記憶される（Ｐ１６）。

図４は、図３に示すデータ処理を行うコントローラの機能ブロック図である。本例では、以下の復元条件パラメータ算出部３４、ＰＳＦ記憶部３６、フィルタ情報算出部３８、フィルタ係数算出部４０及びフィルタ係数−フォーマット記憶部４２が、カメラ本体コントローラ２８（図１参照）によって構成される。

まず、復元条件パラメータ算出部（統計情報取得部）３４によって復元条件パラメータ（統計情報：ＳＮ比等）Ｄ１２が取得され、この復元条件パラメータＤ１２はフィルタ情報算出部３８に送られる。

復元条件パラメータ算出部３４は、復元に関する入力画像の統計情報（ＳＮ比等）を算出取得し、この統計情報を復元条件パラメータＤ１２として出力する。一般に、Ｗｉｅｎｅｒフィルタによる画像復元には撮影対象画像のＳＮ比が必要とされる。この場合のＳＮ比は、周波数毎に必要とされ、ＳＮＲ（ω_ｘ，ω_ｙ）によって表現される。ここで、ω_ｘ及びω_ｙはそれぞれｘ軸方向及びｙ軸方向の角周波数である。ＳＮ比の情報は、デジタルカメラ１０で使用されるＩＳＯ感度、撮像素子２６のＯＢ（オプティカルブラック）領域のデータ値、等から総合的に算出される。

なお、ＳＮ比等の統計情報を、予め算出しておき、所定のメモリ（記憶部）記憶しておいてもよい。この場合、例えば復元条件パラメータ算出部３４が、画像データの復元に関する統計情報を記憶する統計情報記憶部として機能し、復元条件パラメータ算出部３４に記憶される統計情報を取得する統計情報取得部としてフィルタ情報算出部３８が機能してもよい。

一方、ＰＳＦ記憶部３６は、画像データの取得時に使用される光学系の点像強度分布を表す光学情報を記憶する光学情報記憶部として機能する。本例のＰＳＦ記憶部３６には、撮影条件や画像中位置等の点像分布関数に影響を及ぼし得る条件（ＰＳＦ条件）と、各条件に応じたＰＳＦデータＤ１４とが予め対応づけられて格納される。これらの相互に対応づけられた情報（単に「ＰＳＦデータＤ１４」とも表記する）は、ＰＳＦ記憶部３６からフィルタ情報算出部３８に送られる。

フィルタ情報算出部３８は、画像データの取得時に使用される光学系の点像強度分布を表す光学情報を取得する光学情報取得部として働き、レンズ情報に基づく光学伝達関数（光学情報（ＰＳＦ））を取得する。光学伝達関数は、撮影時における光学系の状態（ズーム位置、絞り、フォーカス位置、等）や画像中の中心からの距離（位置）に応じて定められる。光学伝達関数の取得の方法は、カメラ本体１４の内部ＲＯＭ（カメラ本体コントローラ２８）、交換レンズ式カメラの場合には交換レンズ内のＲＯＭ（レンズユニットコントローラ２０）、ＲＡＷ現像ソフトがコンピュータ６０にインストールされている場合にはインターネット７０を介して接続されるサーバ８０等から、光学伝達関数を読み出す手法が考えうる。本例では、カメラ本体１４の内部ＲＯＭ（カメラ本体コントローラ２８）に光学伝達関数（ＰＳＦ）が記憶される場合について説明する。

なお、光学伝達関数は、ＰＳＦやＯＴＦによって表現可能である。ＰＳＦとＯＴＦとは相互にフーリエ変換・逆フーリエ変換することによって得られる関係にあり、ＰＳＦは実関数、ＯＴＦは複素関数である。これらと等価な情報を持つものとして、ＭＴＦ及びＰＴＦがあり、それぞれＯＴＦの振幅成分及び位相成分を示す。したがって、情報量の観点からは、ＭＴＦ及びＰＴＦの組み合わせがＯＴＦ或いはＰＳＦと等価となる。これらは、画像中の位置によって異なるため、画像中の位置毎に求める必要がある。ＰＳＦ、ＯＴＦ、ＭＴＦ及びＰＴＦのうち、いずれの情報を取得可能なのかはシステムによって異なるが、少なくとも１つは取得できる必要がある。

復元条件パラメータＤ１２及びＰＳＦデータＤ１４を取得したフィルタ情報算出部３８は、これらの情報に基づき、画像データの点像復元処理のための復元フィルタのフィルタ情報Ｄ１６を求める。復元フィルタは上述のＰＳＦ条件（撮影条件、画像中位置）に応じて変動しうるため、フィルタ情報算出部３８は、ＰＳＦ条件毎にフィルタ情報を求める。

図５は、フォーマット識別子（フィルタ情報ＩＤ）、ＰＳＦの対称性、位相成分の有無、復元フィルタ（フィルタ係数）の配置フォーマット及び記憶すべきフィルタ係数の数（タップ数）の関係を示す表である。図５には、一例として、ＰＳＦの対称性が「回転対称」、「垂直対称」、「水平対称」、「点対称」及び「非対称」の場合が例示されており、またＭタップ×Ｍタップ（最大７タップ×７タップ）の正方フィルタのタップ数によって復元フィルタが構成される場合が例示されている。

図５の復元フィルタ（フィルタ係数）の配置フォーマットを示す「フィルタ係数配置フォーマット」の項目において、記号１〜９、ａ〜ｚ及びＡ〜Ｎによって表される復元フィルタのタップのうち、共通する記号が割り当てられるタップには共通のフィルタ係数が割り当てられる。また、「フィルタ係数配置フォーマット」の項目において、塗りつぶされたタップの数が「記憶すべきフィルタ係数の数（Ｎ）」に相当する。

例えば、ＰＳＦが回転対称性を有する場合、ＰＳＦ形状は「ＰＳＦ（ｘ，ｙ）＝ｇ（√（ｘ^２＋ｙ^２））」の関係性を持ち、位相は無く、記憶すべきフィルタ係数の数（タップ数）Ｎは「Ｎ＝（Ｍ＋１）（（Ｍ＋１）／２＋１）／４」によって表される。またＰＳＦが垂直対称性を有する場合、ＰＳＦ形状は「ＰＳＦ（ｘ，ｙ）＝ＰＳＦ（ｘ，−ｙ）」の関係性を持ち、位相は存在し、記憶すべきフィルタ係数の数Ｎは「Ｎ＝（Ｍ＋１）（Ｍ−１）／４」によって表される。またＰＳＦが水平対称性を有する場合、ＰＳＦ形状は「ＰＳＦ（ｘ，ｙ）＝ＰＳＦ（−ｘ，ｙ）」の関係性を持ち、位相は存在し、記憶すべきフィルタ係数の数Ｎは「Ｎ＝（Ｍ＋１）（Ｍ−１）／４」によって表される。またＰＳＦが点対称性を有する場合、ＰＳＦ形状は「ＰＳＦ（ｘ，ｙ）＝ＰＳＦ（−ｘ，−ｙ）」の関係性を持ち、位相は無く、記憶すべきフィルタ係数の数Ｎは「Ｎ＝（Ｍ＋１）^２／４」によって表される。またＰＳＦが対称性を有さない場合、ＰＳＦ形状は非対称性であり、位相は存在し、記憶すべきフィルタ係数の数Ｎは「Ｎ＝Ｍ^２」によって表される。

図４に示すフィルタ情報算出部３８は、復元条件パラメータＤ１２及びＰＳＦデータＤ１４に基づいてフィルタ情報（タップ数・対称性）を算出し、図５に示される表データに従って、ＰＳＦの対称性の判定を行い、対応のフィルタ情報ＩＤ（フォーマットＩＤ：識別子ｐ）を求める。このフィルタ情報ＩＤ（識別子ｐ）は、復元フィルタを表現するのに必要なフィルタ係数の配置情報に対応づけられ、フィルタ情報算出部３８によって保持されている。一般に、ゼロ位相フィルタであればフィルタ情報量（記憶すべきタップ数）は（おおまかには）半分となり、更に回転対称であれば１／８となる。ゼロ位相とならない場合であっても、垂直対称や水平対称であれば、フィルタ情報量（記憶すべきタップ数）を半分にすることができる。

光学伝達関数がＰＳＦとして与えられる場合には、上記のように単純にＰＳＦ対称性のみによって判断することができるが、ＭＴＦ及びＰＴＦのうち片方だけしか利用できない場合においては選び方の基準が若干異なる。ＭＴＦしか利用できない場合には、必然的にゼロ位相フィルタによる復元しかできず、図５に示す例ではフィルタ情報ＩＤ（識別子ｐ）の１番及び４番のうちから対応のフィルタ情報ＩＤ（識別子ｐ）を選ぶことになる（ＭＴＦが回転対称ならば図５のｐ＝１がフィルタ情報として定められ、回転対称でないならばｐ＝４がフィルタ情報として定められる）。

なお、復元フィルタの対称性の種類を示すデータは、上述のようにＰＳＦ形状からフィルタ情報算出部３８によって求められてもよいし、予めＰＳＦと対応づけられてＰＳＦ記憶部３６に記憶しておき、ＰＳＦと共にＰＳＦ記憶部３６からフィルタ情報算出部３８に送られるようにしてもよい。

この場合、フィルタ情報算出部３８は、ＰＳＦと、このＰＳＦによる点像強度分布に対応づけられる復元フィルタの対称性の種類を示すフィルタ情報ＩＤデータ（フォーマットＩＤ：識別子ｐ）とを、ＰＳＦ記憶部３６から取得する。フィルタ情報算出部３８によって算出されるフィルタ情報は、復元フィルタのタップ数に関するデータとなる。なお、フィルタ係数算出部４０は、フィルタ情報算出部３８が求める復元フィルタのタップ数に関するデータとフィルタ情報算出部３８が取得する復元フィルタの対称性の種類を示すデータとを拘束条件とし、フィルタ係数を算出することとなる。

フィルタ情報算出部３８は、フィルタ情報ＩＤ（識別子ｐ）を決定した後に、フィルタサイズ（図５の表中のＭ値）を決定する。一般に、広がりが大きなＰＳＦほど、復元フィルタに必要なタップ数は多くなり、またＳＮ比が大きいほど、周波数特性が急峻になる可能性が高いことから、タップ数を大きくとる必要がある。しかしながら、所望の復元精度のフィルタを得るためにどの程度のタップ数が必要なのかを正確に判断するには多くの計算量が必要なことから、現実的にはＰＳＦのサイズとＳＮ比をパラメータとして、経験的な予測をするのが現実的である。

具体的には、フィルタ情報ＩＤごとに、２次元のテーブルを持ち、フィルタサイズを以下のように決定する。

Ｍ＝Ｔｐ（ρ，ＳＮＲ）
ここで、ｐはフィルタ情報ＩＤ（識別子）を示し、ρはＰＳＦのサイズを示し、ＳＮＲはＳＮ比を示す。また、復元フィルタは、Ｍタップ×Ｍタップの正方フィルタである（タップ数＝Ｍ×Ｍ）。記憶すべきタップ数（自由度）Ｎは、Ｍの値と図５の表中の式（「記憶すべきフィルタ係数の数（Ｎ）」）によって決定される。

そして、求められたフィルタ情報（フィルタ情報ＩＤ（識別子ｐ）、タップ数）Ｄ１６は、ＰＳＦデータＤ１４及び復元条件パラメータＤ１２と一緒に、フィルタ情報算出部３８からフィルタ係数算出部４０に送られる。

フィルタ係数算出部４０は、送られてくるフィルタ情報Ｄ１６を拘束条件として、復元条件パラメータＤ１２及びＰＳＦデータＤ１４に基づき、ＰＳＦ条件（撮影条件、画像中位置）毎に、復元フィルタのフィルタ係数Ｄ１８を算出する。すなわち、フィルタ係数算出部４０は、フィルタ情報Ｄ１６を拘束条件として、入力画像統計情報（ＳＮ比）及びＰＳＦ画像情報（ＰＳＦ）から、記憶すべきタップに割り当てられるフィルタ係数を算出する。具体的には、フィルタ係数算出部４０は、まず復元フィルタの周波数特性を算出する。

一般に、ＰＳＦによるボケの復元には、コンボリュージョン型のＷｉｅｎｅｒフィルタを利用することができる。ＯＴＦとＳＮ比の情報を参照して、以下の式によって復元フィルタの周波数特性ｄ（ω_ｘ，ω_ｙ）を算出することができる。

ここでＨ（ω_ｘ，ω_ｙ）はＯＴＦを表し、Ｈ^＊（ω_ｘ，ω_ｙ）はその複素共役を表す。また、ＳＮＲ（ω_ｘ，ω_ｙ）はＳＮ比を表す。

フィルタ係数の設計は、フィルタの周波数特性が、所望のＷｉｅｎｅｒ周波数特性に最も近くなるように係数値を選択する最適化問題であり、任意の公知の手法によってフィルタ係数が適宜算出される。

この復元フィルタ設計は、評価汎関数Ｊp［ｘ］を最小化する

を求める問題となる。汎関数Ｊp［ｘ］は、復元フィルタの理想的な周波数特性ｄ（ω_ｘ，ω_ｙ）と、フィルタ係数ｘによって実現された実際のフィルタの周波数特性との近さを、任意の公知の評価手法によって定義したものである。フィルタが実現できる周波数特性の範囲はフィルタフォーマットに依存するため、評価汎関数は識別子ｐによって異なった定義となる。

求めるべきフィルタ係数ｘ_０は、次のように表現できる。

いずれの方法を用いるにせよ、最適化に必要な計算量は、フィルタ係数の自由度（記憶すべきタップ数）Ｎに大きな影響を受け、自由度Ｎが大きいほどより多くの計算量が必要とされ、自由度Ｎが大きくなるほど、その計算量の複雑化の傾向は顕著となる。したがって、ＰＳＦの対称性などを最初に考慮してフィルタフォーマットを予め決定しておくことによって、フィルタ設計に必要な計算量を大幅に減らすことが可能となる。

また「Ｍ×Ｍタップのフィルタ係数を最初に算出しておいてから、フィルタ係数自体の対称性を考慮して、フィルタ係数の非可逆圧縮を行うケース」と比較すると、上述の例によるフィルタ係数の決定方法は、周波数近似によってフィルタ係数を直接的に最適化することができる一方で、フィルタ係数を圧縮（フィルタ係数の自由度Ｎを低減）することができる。そのため、復元フィルタの周波数特性に関してもより望ましいフィルタ係数を得ることが可能である。

算出されたフィルタ係数Ｄ１８は、フィルタ情報Ｄ１６及びＰＳＦ条件と関連づけられて、フィルタ係数算出部４０からフィルタ係数−フォーマット記憶部４２に送られ、フィルタ係数−フォーマット記憶部４２に記憶格納される。フィルタ係数−フォーマット記憶部４２は、フィルタ係数Ｄ１８とフィルタ係数Ｄ１８に対応するフィルタ情報Ｄ１６とを相互に関連づけて記憶し、ＰＳＦ条件（画像データの取得条件（撮影条件）、画像データによって表される画像中の位置）に応じて、フィルタ係数Ｄ１８及びフィルタ情報Ｄ１６を記憶する。

図６は、記憶部に記憶されるフィルタ係数及びフィルタ情報に基づいて復元フィルタを作成する流れを示す機能ブロック図である。

フィルタ係数−フォーマット記憶部４２に記憶されるフィルタ情報Ｄ１６及びフィルタ係数Ｄ１８は、復元フィルタ係数フォーマット変換部（復元フィルタ作成部）４４によって読み出される。

復元フィルタ係数フォーマット変換部４４は、フィルタ係数−フォーマット記憶部４２に記憶されるフィルタ係数Ｄ１８及びフィルタ情報Ｄ１６に基づいて、復元フィルタＤ２０を作成する。すなわち、復元フィルタ係数フォーマット変換部４４は、復元フィルタ係数の情報データ（フォーマット識別子）を参考にして、格納されているフィルタ係数を、復元フィルタ（フィルタ係数）を用いて点像復元処理を行う信号処理部（点像復元処理部）４６が扱える形に変換する。具体的には、復元フィルタ係数フォーマット変換部４４は、フォーマット識別子に関連づけられた復元フィルタの対称性に基づき、フィルタ係数が割り当てられるタップを拡張して、例えばＭタップ×Ｍタップの復元フィルタを作成する。したがって、復元フィルタ係数フォーマット変換部４４は、周囲のタップに０を割り当てたり、フィルタ係数のタップを回転対称に拡張して、全てのタップにフィルタ係数の割り当てを拡張したりする。なお、復元フィルタ係数フォーマット変換部４４で作成される復元フィルタＤ２０は、後段の信号処理部４６において画像データＤ２２に適用可能な任意の形式とすることができる。

復元フィルタ係数フォーマット変換部４４は、このようにして作成される復元フィルタＤ２０を、信号処理部４６に送る。信号処理部４６は、復元フィルタ係数フォーマット変換部４４から復元フィルタ（フィルタ係数）を受信し、この復元フィルタを入力画像データＤ２２に適用することで、入力画像データＤ２２に対して点像復元処理を行う。

以上説明したように、本実施形態によれば、光学系の点像強度分布を表す光学情報（ＰＳＦ等）の対称性などを最初に考慮してフィルタフォーマットが予め決定される。これにより、復元フィルタによる点像復元精度を一定レベル以上に保持しつつ、フィルタ設計に必要な記憶フィルタ情報量を減らし、計算量を大幅に減らすことができる。したがって、完全な復元フィルタを再現するのに必要なフィルタ係数の保存データ量を低減することができ、必要なＲＯＭ容量（記憶容量）を削減することが可能である。

また、「Ｍ×Ｍのフィルタ係数を最初に算出しておいてから、フィルタ係数自体の対称性を考慮して、フィルタ係数の非可逆圧縮を行うケース」と比較すると、本実施形態によるフィルタ係数の決定方法は、記憶すべき復元フィルタのタップのフィルタ係数を周波数近似によって直接的に最適化することで求めることができる。これにより、復元フィルタの周波数特性に関しても、より望ましい復元フィルタを得ることが可能となる。

＜第２実施形態＞
本実施形態において、上述の第１実施形態と共通の構成については同一の符号を付し、その詳細な説明は省略する。

ＰＳＦ記憶部３６（図４参照）に記憶される光学伝達関数（画像データ取得時に使用される光学系の点像強度分布を表す光学情報）は、任意のフォーマットで記憶しておくことが可能である。以下では、対称性による冗長性が排除された状態で光学伝達関数（ＰＳＦ）がＰＳＦ記憶部３６に格納されるケースについて説明する。

本実施形態のＰＳＦ記憶部３６に記憶される光学情報は、ＰＳＦに基づく点像強度分布の対称性の種類を示すデータと、この点像強度分布の対称性の種類に基づいて点像強度分布を再現可能に圧縮されたＰＳＦのデータ（圧縮データ）とを含む。圧縮されたＰＳＦのデータ（圧縮データ）は、点像強度分布の対称性の種類を示すデータと対応づけられている。

図７は、第２実施形態に係るＰＳＦ記憶部３６に記憶される光学伝達関数（ＰＳＦ、ＯＴＦ）の関係を示す表であり、フォーマット識別子（ＰＳＦ種別ＩＤ）、ＰＳＦの対称性、位相成分の有無、格納すべきＰＳＦの定義域及び格納すべきＯＴＦ定義域の対応関係を示す。

本実施形態において、格納すべき定義域におけるＰＳＦ及びＯＴＦの離散化のサンプリング間隔は、各ＰＳＦ種別ＩＤに応じて、適切なものを選ぶ必要がある。ＰＳＦ情報のサンプリング値の数Ｋは、格納すべき定義域が少なく（狭く）なるほど小さくなる。

なお、図５に示されるフォーマット識別子（フィルタ情報ＩＤ）と図７に示されるフォーマット識別子（ＰＳＦ種別ＩＤ）とは相互に対応しており、対応するフォーマット識別子には共通の識別子ｐが割り当てられる。相互に対応するＰＳＦ種別ＩＤ（図７参照）とフィルタ情報ＩＤ（図５参照）とに共通の識別子ｐを割り当てることで、ＰＳＦの対称性を考慮して冗長性を排除した状態でＰＳＦがＰＳＦ記憶部３６に格納される場合、フィルタ情報算出部３８における復元フィルタの対称性を判定するプロセスが不要になる。フィルタ情報算出部３８における他の処理は、上述の第１実施形態と略同じである。

フィルタ情報算出部３８は、点像強度分布の対称性の種類を示すデータから、復元フィルタの対称性の種類を示すデータを求める。またフィルタ情報算出部３８は、点像強度分布の対称性の種類を示すデータと対応づけられた圧縮データ及び復元条件パラメータ（統計情報、ＳＮ比）に基づいて、復元フィルタのタップ数に関するデータを求める。

フィルタ係数算出部４０は、Ｗｉｅｎｅｒフィルタ周波数（復元フィルタの所望周波数）の算出のために、対称性を考慮して部分的にしか保存されていないＰＳＦをその対称性を考慮して定義域（必要域）全体へ展開し、全体が完全に復元されたＰＳＦ条件を算出した上で、個々のフィルタ係数の算出を行う。ここで、ＰＳＦを一旦定義域全体に展開する必要があるのは、Ｗｉｅｎｅｒフィルタ周波数の算出式が非線形であることに起因する。しかしながら、復元フィルタ作成の基準を以下のように少し変えることによって、計算量と必要なメモリを大幅に削減することが可能となる。すなわち、復元フィルタの適用結果の画像データ（点像復元処理後画像データ）と、点拡がり現象による劣化前の理想画像との平均二乗誤差Ｊ_ＷＮＲ［ｘ］は、以下のように表現される。

上記式において、各関数は以下のように定義される。

この平均二乗誤差Ｊ_ＷＮＲ［ｘ］はＷｉｅｎｅｒフィルタの評価基準そのものであり、もしｆ_ｐがノンパラメトリックならば、平均二乗誤差Ｊ_ＷＮＲ［ｘ］を最小化するフィルタ周波数特性はｆ_ｐ（ω_ｘ，ω_ｙ）＝ｄ（ω_ｘ，ω_ｙ）の関係を有し、コンボリュージョン型の理想Ｗｉｅｎｅｒフィルタ周波数と一致する。

もしＨ（ω_ｘ，ω_ｙ｜ｙ）がｙに関して線形の式であれば、上記の評価基準を最小化するｘは、上記第１実施形態の場合と同様となり、目標となる理想Ｗｉｅｎｅｒフィルタ周波数の算出を経なくて済むため、計算量と必要メモリ量を低減することができる。

以上説明したように、本実施形態によれば、光学系の点像強度分布を表す光学情報（ＰＳＦ、ＯＴＦ情報）は対称性による冗長性が取り除かれた状態で記憶及び使用されるため、光学情報の対称性を判定する必要がなくなる。また、対称性が考慮されて、光学情報（ＰＳＦ、ＯＴＦ）の一部しか保存されていない場合には、フィルタ係数演算の途中のＷｉｅｎｅｒフィルタ周波数算出を行わないでフィルタ設計を行うことができ、演算処理負荷を軽減することができる。

＜第３実施形態＞
本実施形態において、上述の第１実施形態及び第２実施形態と共通の構成については同一の符号を付し、その詳細な説明は省略する。

フィルタ係数−フォーマット記憶部４２（図４参照）は、フィルタ係数Ｄ１８、フィルタ情報Ｄ１６及びＰＳＦ条件を、任意のフォーマットで記憶しておくことが可能である。

図８は、第３実施形態に係るフィルタ係数−フォーマット記憶部４２を示す機能ブロック図である。

フォーマット指定されて圧縮された形でフィルタ係数算出部４０から出力されるフィルタ係数は、フィルタ情報（フィルタ情報ＩＤ（識別子ｐ）、フィルタサイズデータ（Ｍ））と共にフィルタ係数−フォーマット記憶部４２にストレージ記録される。これらの情報をストレージ記録する理由は、フィルタ係数の算出には計算コストがかかるため、一度算出したフィルタ係数は、次回にすぐ使えるように保存しておいた方が好ましいためである。なお、フィルタ係数の算出をカメラ本体内やパソコンにインストールされるＲＡＷ現像ソフト内で行わない場合であっても、例えば予め算出されたフィルタ係数を出荷時にＲＯＭに格納しておく場合には、上記のストレージ記録方法は有効である。

本実施形態に係るフィルタ係数−フォーマット記憶部４２は、シリアライザ４９及びデシリアライザ５０を有する格納処理部４８と、格納処理部４８に接続されるインデックス−オフセット変換テーブル格納部５２及び復元フィルタ情報格納部５４とを備える。

シリアライザ４９は、入力されるフィルタ情報ＩＤ（識別子ｐ）、フィルタサイズデータ（Ｍ）及びフィルタ係数から、フィルタ係数ベクトル（サイズＮ）を割り出し、フィルタ情報ＩＤ（識別子ｐ）とフィルタサイズデータ（Ｍ）とフィルタ係数ベクトルとを復元フィルタ情報格納部５４に必要最小限の記憶サイズで記録する。一方、デシリアライザ５０は、シリアライザ４９の処理と逆の処理を行い、復元フィルタ情報格納部５４から読み出される「フィルタ情報ＩＤ（識別子ｐ）、フィルタサイズデータ（Ｍ）及びフィルタ係数ベクトル」から、フィルタ情報ＩＤ（識別子ｐ）、フィルタサイズデータ（Ｍ）及びフィルタ係数を復元する。

記録すべき復元フィルタは、撮影条件や画像中における位置などに応じて多数存在するが、記憶要素のデータ長が固定でないためメモリ（復元フィルタ情報格納部５４）へのランダムアクセスが難しくなる一方で、どの条件において撮影されるのかはユーザによってランダムに決定されるためメモリへのランダムアクセスが必要になる。そのため、インデックス−オフセット変換テーブル格納部５２にインデックス−オフセット変換テーブルを記憶しておき、ランダムアクセスを容易にする工夫が必要となる。

すなわち、画像データの撮影条件（取得条件）及び画像データによって表される画像中の位置と、相互に関連づけられるフィルタ係数及びフィルタ情報が記憶されるフィルタ係数−フォーマット記憶部４２（復元フィルタ情報格納部５４）のメモリアドレスとが対応づけられたインデックス−オフセット変換テーブルが、インデックス−オフセット変換テーブル格納部５２に記憶される。したがって、復元フィルタ情報格納部５４における「フィルタ情報ＩＤ（識別子ｐ）、フィルタサイズデータ（Ｍ）及びフィルタ係数ベクトル」のメモリアドレス（オフセット情報）と、対応の「撮影条件及び画像中位置」（インデックス）とを相互に関連づけたインデックス−オフセット変換テーブルが、格納処理部４８（シリアライザ４９）によってインデックス−オフセット変換テーブル格納部５２に格納される。

復元フィルタ係数フォーマット変換部４４は、インデックス−オフセット変換テーブル格納部５２に格納されるインデックス−オフセット変換テーブルに基づき、画像データの取得条件及び画像データによって表される画像中の位置に応じたフィルタ係数及びフィルタ情報を、フィルタ係数−フォーマット記憶部４２（復元フィルタ情報格納部５４）から読み出す。すなわち、復元フィルタ係数フォーマット変換部４４は、デシリアライザ５０を介し、必要な「フィルタ情報ＩＤ（識別子ｐ）、フィルタサイズデータ（Ｍ）及びフィルタ係数ベクトル」を読み出す際にはインデックス−オフセット変換テーブル格納部５２に格納されるインデックス−オフセット変換テーブルを参照し、必要とされる復元フィルタの「対応撮影条件及び対応画像中位置」（インデックス）を手掛かりにして復元フィルタ情報格納部５４における対応のメモリアドレスを取得する。そして復元フィルタ係数フォーマット変換部４４は、デシリアライザ５０を介し、取得した復元フィルタ情報格納部５４のメモリアドレスに対してランダムアクセスすることで、必要な「フィルタ情報ＩＤ（識別子ｐ）、フィルタサイズデータ（Ｍ）及びフィルタ係数ベクトル」を迅速に読み出すことができる。

以上説明したように、本実施形態によれば、フォーマット指定されて圧縮された形で出力されたフィルタ係数を、必要最小限の記憶サイズによって記憶部（フィルタ係数−フォーマット記憶部４２）に記録することができる。また、記憶部（メモリ）に保持される各データに対して効率的にランダムアクセスすることができるため、復元フィルタの再現に必要なデータ（フィルタ係数、フィルタ情報（識別子ｐ、フィルタサイズＭ））の読み込み速度が遅くなることを回避することができる。

＜第４実施形態＞
本実施形態において、上述の第１実施形態、第２実施形態及び第３実施形態と共通の構成については同一の符号を付し、その詳細な説明は省略する。

図９は、第４実施形態に係る復元フィルタ係数フォーマット変換部４４及び信号処理部４６の構成を示す機能ブロック図である。

復元フィルタ係数フォーマット変換部４４は、フィルタ係数−フォーマット記憶部４２（図６参照）に保持されたフィルタ係数とフィルタ情報（フォーマット識別子）とから復元フィルタを作成し、作成された復元フィルタを用いて信号処理部４６が画像データの点像復元処理を行う。

本実施形態の信号処理部４６は、画像データに復元フィルタを適用して点像復元処理を行う複数の専用信号処理装置（復元処理部）５８−ｉ（ｉ＝１〜Ｑ；以下単に符号「５８」によって複数の専用信号処理装置を表す）を有し、これらの専用信号処理装置５８は、復元フィルタの対称性の複数種類の各々に対して用意される。

復元フィルタ係数フォーマット変換部４４は、フォーマット変換処理部５６を有し、このフォーマット変換処理部５６は、復元フィルタの対称性の種類と専用信号処理装置５８との対応関係を示すフィルタ−フォーマット変換テーブルＴ１を格納するフィルタフォーマット変換テーブル格納部５７を持つ。

フォーマット変換処理部５６は、フィルタ−フォーマット変換テーブルＴ１に基づき、フィルタ係数−フォーマット記憶部４２から読み出されるフィルタ情報から、復元フィルタの対称性の種類を求め、対応の専用信号処理装置５８（専用信号処理装置ＩＤ（ｑ））を特定する。またフォーマット変換処理部５６は、必要に応じて、特定した対応の専用信号処理装置５８（専用信号処理装置ＩＤ（ｑ））に応じた形式（タップフォーマット）に、フィルタ係数を（拡張）変換する。なお、このフィルタ係数の変換をすることなく、フィルタ係数−フォーマット記憶部４２から読み出されるフィルタ係数（記憶すべきフィルタ係数）が、特定した対応の専用信号処理装置５８に対して直接的に入力可能な場合には、フォーマット変換処理部５６におけるフィルタ係数の変換は行われない。

このようにして特定される「対応の専用信号処理装置５８を示す専用信号処理装置ＩＤ（ｑ：処理部指示データ）」及び「フィルタ係数」は、復元フィルタとしてフォーマット変換処理部５６から信号処理部４６に送られる。

信号処理部４６は、復元フィルタ係数フォーマット変換部４４から送られてくる専用信号処理装置ＩＤ（ｑ）によって示される専用信号処理装置５８−ｑにより、復元フィルタ係数フォーマット変換部４４（フォーマット変換処理部５６）から送られてくるフィルタ係数を用いて、入力画像データに対する点像復元処理を行う。

信号処理部４６における復元フィルタの適用は、ハードウェア又はソフトウェアによって行われるが、いずれの場合にせよ、復元フィルタが対称な形をしているなどの拘束条件が存在する場合には、乗算回数を減らすなどの最適化を行うことができる。

専用信号処理装置５８は、それぞれ関連づけられた復元フィルタの対称性に応じて最適化された点像復元処理デバイスであり、対称性を考慮した最適な演算処理によって、演算負荷を軽減して高速演算を行うことができる。例えば、復元フィルタ（フィルタ係数）の格納フォーマット（識別子ｐ）のそれぞれについて、専用の信号処理装置（専用信号処理装置５８）が存在している場合には、対応する専用信号処理装置５８のパラメータを設定するだけでよい。しかしながら、専用信号処理装置５８のパターン数が少ない場合には、フォーマットの変換が必要となる。

適用可能な専用信号処理装置５８には、フィルタフォーマットの自由度（復元フィルタの対称性）に応じて、包含関係が存在する。例えば、回転対称の復元フィルタ係数用の信号処理装置として、水平対称の復元フィルタのフィルタ係数専用に設計された専用信号処理装置５８を使うことができる。この場合、フォーマット変換処理部５６は、フィルタフォーマット変換テーブル格納部５７に格納されているフィルタ−フォーマット変換テーブルＴ１を参照して、回転対称の復元フィルタのフィルタフォーマットを水平対称のフィルタフォーマットに変換する。また、復元フィルタの再現に必要なタップ（図５のフィルタ係数配置フォーマット及び記憶すべきフィルタ係数の数（Ｎ）参照）に関しても、フォーマット変換処理部５６は、回転対称の復元フィルタの場合のタップ数から水平対称の復元フィルタの場合のタップ数に拡張し、拡張されたタップに対して対応のフィルタ係数を割り当てる。

回転対称専用の信号処理装置が存在していない場合にこのような変換をする本例は、回転対称専用の信号処理装置が存在している場合に比べ、点像復元処理のための計算量は多くなるが、可能な範囲でなるべく計算量が少なくなるような専用信号処理装置５８に点像復元処理を実行させることができるため、好ましい。このようにフィルタフォーマットを、フォーマット変換することにより、既存の専用信号処理装置５８によって扱うことが可能となる場合がある。

これを実現するために、フィルタフォーマット識別子ｐ（１≦ｐ≦Ｐ）と、信号処理装置が扱うことができるフィルタフォーマット識別子ｑ（専用信号処理装置ＩＤ（ｑ）：１≦ｑ≦Ｑ）との間で、フォーマット変換が可能なペアを列挙したテーブル（フィルタ−フォーマット変換テーブルＴ１）又は判定ロジックを用意しておき、フォーマット変換処理部５６は、変換可能なフィルタフォーマット識別子ｑ（専用信号処理装置ＩＤ（ｑ））のうちで、最も計算コストが少なくてすむフォーマットへの変換処理を実行し、その対応装置を選択して処理を行わせる。例えば、信号処理装置の計算量が（ｑ＝１）＜（ｑ＝２）＜…＜（ｑ＝Ｑ）となるように番号が付けられていたとすると、変換可能な「フィルタフォーマット識別子ｐ−フィルタフォーマット識別子ｑ」変換ペアのうちで、最も小さいｑ番号を持つ変換ペアを選ぶことで、演算負荷を軽減することができる。

以上説明したように、本実施形態によれば、復元フィルタの格納フォーマットとフィルタ適用の信号処理装置のフィルタ係数入力フォーマットが一致していない場合でも、復元フィルタを適切に適用して点像復元処理を行うことができる。また、複数の専用の信号処理装置を利用可能な場合には、より計算コストの少ない信号処理装置に点像復元処理を担当させることができる。

＜変形例＞
上述のデジタルカメラ１０は例示に過ぎず、他の構成に対しても本発明を適用することが可能である。また各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。したがって、例えば、上述の各処理部（復元条件パラメータ算出部３４、ＰＳＦ記憶部３６、フィルタ情報算出部３８、フィルタ係数算出部４０、フィルタ係数−フォーマット記憶部４２、復元フィルタ係数フォーマット変換部４４及び信号処理部４６）における処理手順をコンピュータに実行させるソフトウェア（各処理工程（手順）をコンピュータに実行させるためのプログラム等）に対しても本発明を適用することができる。このソフトウェア（プログラム等）はＲＯＭなどのコンピュータ読み取り可能な非一時的記録媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ−ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）に記録されてもよい。

また、上述の各実施形態では、カメラ本体１４（カメラ本体コントローラ２８）が各処理部（復元条件パラメータ算出部３４、ＰＳＦ記憶部３６、フィルタ情報算出部３８、フィルタ係数算出部４０、フィルタ係数−フォーマット記憶部４２、復元フィルタ係数フォーマット変換部４４及び信号処理部４６）を具備する態様について説明したが、これらの処理部は任意の箇所に設けることができる。

例えば、画像データの復元に関する統計情報を算出記憶する復元条件パラメータ算出部３４（パラメータ記憶部）と、画像データの取得時に使用される光学系の点像強度分布を表す光学情報（ＰＳＦ、ＯＴＦ等）を記憶するＰＳＦ記憶部（光学情報記憶部）３６と、統計情報及び光学情報を取得し、これらの統計情報及び光学情報に基づき、画像データの点像復元処理のための復元フィルタのフィルタ情報を求めるフィルタ情報算出部３８（復元条件パラメータ取得部、光学情報取得部、フィルタ情報算出部）とを、単一のデジタルカメラ１０（撮像装置）に設けることができる。

また、デジタルカメラ１０のレンズユニット１２のレンズユニットコントローラ（光学情報記憶部）２０に、画像データの取得時に使用される光学系の点像強度分布を表す光学情報（ＰＳＦ等）を記憶し、カメラ本体１４のカメラ本体コントローラ２８（パラメータ記憶部）に画像データの復元に関する統計情報（ＳＮ比等）を記憶し、統計情報及び光学情報に基づき、画像データの点像復元処理のための復元フィルタのフィルタ情報を求めるフィルタ情報算出部３８（復元条件パラメータ取得部、光学情報取得部、フィルタ情報算出部）をカメラ本体１４に設けるようにしてもよい。

また、画像データの復元に関する統計情報が画像データと共にコンピュータに入力されるようにし、画像データの取得時に使用される光学系の点像強度分布を表す光学情報を記憶する光学情報記憶部（ＰＳＦ記憶部３６）と、統計情報及び光学情報に基づき、画像データの点像復元処理のための復元フィルタのフィルタ情報を求めるフィルタ情報算出部３８（復元条件パラメータ取得部、光学情報取得部、フィルタ情報算出部）とをコンピュータに設けるようにしてもよい。

また、画像データの復元に関する統計情報と、画像データの取得時に使用される光学系の点像強度分布を表す光学情報とが画像データと共にコンピュータに入力されるようにして、統計情報及び光学情報に基づき、画像データの点像復元処理のための復元フィルタのフィルタ情報を求めるフィルタ情報算出部３８（復元条件パラメータ取得部、光学情報取得部、フィルタ情報算出部）をこのコンピュータに設けるようにしてもよい。

図１０は、各処理部の設置に関する具体例（実施例）を示す表である。

上述の各実施形態は、図４及び図６に示す各処理部がカメラ本体１４に設けられる例であったため、図１０の実施例１に対応する。本実施例１は、例えば、レンズユニット１２とカメラ本体１４とが一体的に構成されるデジタルカメラ１０に対して好適である。

一方、デジタルカメラ１０のレンズユニット１２が交換可能な場合には、ＰＳＦ記憶部３６をレンズユニット１２（レンズユニットコントローラ２０）に設け、他の処理部をカメラ本体１４（カメラ本体コントローラ２８）に設けることも可能である（図１０の実施例２）。この場合、レンズユニット１２毎に定義される光学伝達関数（ＰＳＦ、ＯＴＦ）をレンズユニット１２と共に保持することができる。これにより、カメラ本体１４側で点像復元処理を行う場合には、使用しない他のレンズユニットに対して定義される光学伝達関数をカメラ本体１４側において保持しておく必要がなくなるため、記憶負荷を軽減することができる。

また、ＰＳＦ記憶部３６がカメラ本体１４に設けられる場合であっても、ＰＳＦ記憶部３６に記憶する光学伝達関数をサーバ８０のサーバコントローラ８４に予め記憶しておき、必要な光学伝達関数を、サーバコントローラ８４からインターネット７０（ネットワーク）及びコンピュータ６０を介してＰＳＦ記憶部３６にダウンロード（ＤＬ）／インストールするようにしてもよい（実施例３）。

また図４及び図６に示す各処理部をコンピュータ６０（コンピュータコントローラ６４）によって実現することも可能である。この場合、復元条件パラメータ算出部３４をカメラ本体１４（カメラ本体コントローラ２８）によって実現してもよく、カメラ本体コントローラ２８によって算出された復元条件パラメータ（統計情報）をＥｘｉｆ画像ファイルのヘッダ情報に含め、主画像（画像データ）と共に復元条件パラメータをカメラ本体１４からコンピュータ６０に送信することもできる（実施例４）。また、ＰＳＦ記憶部３６に記憶する光学伝達関数は、コンピュータ６０（コンピュータコントローラ６４）のＰＳＦ記憶部３６にプリインストールされていてもよいし、必要に応じてサーバコントローラ８４からインターネット７０（ネットワーク）を介してＰＳＦ記憶部３６にダウンロード（ＤＬ）／インストールされるようにしてもよい。また、カメラ本体１４（カメラ本体コントローラ２８）によって復元条件パラメータ算出部３４を実現し、交換可能なレンズユニット１２（レンズユニットコントローラ２０）によってＰＳＦ記憶部３６を実現し、他の処理部をコンピュータ６０（コンピュータコントローラ６４）によって実現してもよい（実施例５）。

本発明を適用可能な態様はデジタルカメラやコンピュータには特に限定されず、撮像を主たる機能とするカメラ類の他に、撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細について説明する。

＜スマートフォンの構成＞
図１１は、本発明の撮影装置の一実施形態であるスマートフォン１０１の外観を示すものである。図１１に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となった表示入力部１２０を備えている。また、係る筐体１０２は、スピーカ１３１と、マイクロホン１３２、操作部１４０と、カメラ部１４１とを備えている。なお、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図１２は、図１１に示すスマートフォン１０１の構成を示すブロック図である。図１２に示すように、スマートフォンの主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。また、スマートフォン１０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１０は、主制御部１００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部１２０は、主制御部１００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル１２１と、操作パネル１２２とを備える。

表示パネル１２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

図１１に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザーの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力したり、無線通信部１１０あるいは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図１１に示すように、例えば、スピーカ１３１を表示入力部１２０が設けられた面と同じ面に搭載し、マイクロホン１３２を筐体１０２の側面に搭載することができる。

操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１１に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２により構成される。なお、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部１６０は、スマートフォン１０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン１０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達することや、スマートフォン１０１の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部１７０は、主制御部１００の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、このスマートフォン１０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１００の指示にしたがって、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。係る検出結果は、主制御部１００に出力されるものである。

電源部１９０は、主制御部１００の指示にしたがって、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン１０１の各部を統括して制御するものである。また、主制御部１００は、無線通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアにしたがって主制御部１００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。

更に、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部１４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部１４１は、主制御部１００の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部１５０に記録したり、入出力部１６０や無線通信部１１０を通じて出力することができる。図１１に示すにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０の背面に搭載されてもよいし、あるいは、複数のカメラ部１４１が搭載されてもよい。なお、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部１４１を同時に使用して撮影することもできる。

また、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１で取得した画像を表示することや、操作パネル１２２の操作入力のひとつとして、カメラ部１４１の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。更には、カメラ部１４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部１７０により取得した位置情報、マイクロホン１３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部１８０により取得した姿勢情報等などを付加して記憶部１５０に記録したり、入出力部１６０や無線通信部１１０を通じて出力することもできる。

上述のスマートフォン１０１において、点像復元処理に関連する上述の各処理部は、例えば主制御部１００、記憶部１５０等によって適宜実現可能である。

＜ＥＤｏＦシステムへの適用例＞
上述の実施形態における復元処理は、特定の撮影条件（例えば、絞り値、Ｆ値、焦点距離、レンズ種類、など）に応じて点拡がり（点像ボケ）を回復修正することで本来の被写体像を復元する画像処理であるが、本発明を適用可能な画像復元処理は上述の実施形態における復元処理に限定されるものではない。例えば、拡大された被写界（焦点）深度（ＥＤｏＦ：Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ（Ｆｏｃｕｓ））を有する光学系（撮影レンズ等）によって撮影取得された画像データに対する復元処理に対しても、本発明に係る復元処理を適用することが可能である。ＥＤｏＦ光学系によって被写界深度（焦点深度）が拡大された状態で撮影取得されるボケ画像の画像データに対して復元処理を行うことで、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、ＥＤｏＦ光学系の点拡がり関数（ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ、等）に基づく復元フィルタであって、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する復元フィルタを用いた復元処理が行われる。

以下に、ＥＤｏＦ光学系を介して撮影取得された画像データの復元に関するシステム（ＥＤｏＦシステム）の一例について説明する。なお、以下に示す例では、デモザイク処理後の画像データ（ＲＧＢデータ）から得られる輝度信号（Ｙデータ）に対して復元処理を行う例について説明するが、復元処理を行うタイミングは特に限定されず、例えば「デモザイク処理前の画像データ（モザイク画像データ）」や「デモザイク処理後であって輝度信号変換処理前の画像データ（デモザイク画像データ）」に対して復元処理が行われてもよい。

図１３は、ＥＤｏＦ光学系を備える撮像モジュール２０１の一形態を示すブロック図である。本例の撮像モジュール（デジタルカメラ等）２０１は、ＥＤｏＦ光学系（レンズユニット）２１０と、撮像素子２１２と、ＡＤ変換部２１４と、復元処理ブロック（画像処理部）２２０とを含む。

図１４は、ＥＤｏＦ光学系２１０の一例を示す図である。本例のＥＤｏＦ光学系２１０は、単焦点の固定された撮影レンズ２１０Ａと、瞳位置に配置される光学フィルタ２１１とを有する。光学フィルタ２１１は、位相を変調させるもので、拡大された被写界深度（焦点深度）（ＥＤｏＦ）が得られるようにＥＤｏＦ光学系２１０（撮影レンズ２１０Ａ）をＥＤｏＦ化する。このように、撮影レンズ２１０Ａ及び光学フィルタ２１１は、位相を変調して被写界深度を拡大させるレンズ部を構成する。

なお、ＥＤｏＦ光学系２１０は必要に応じて他の構成要素を含み、例えば光学フィルタ２１１の近傍には絞り（図示省略）が配設されている。また、光学フィルタ２１１は、１枚でもよいし、複数枚を組み合わせたものでもよい。また、光学フィルタ２１１は、光学的位相変調手段の一例に過ぎず、ＥＤｏＦ光学系２１０（撮影レンズ２１０Ａ）のＥＤｏＦ化は他の手段によって実現されてもよい。例えば、光学フィルタ２１１を設ける代わりに、本例の光学フィルタ２１１と同等の機能を有するようにレンズ設計された撮影レンズ２１０ＡによってＥＤｏＦ光学系２１０のＥＤｏＦ化を実現してもよい。

すなわち、撮像素子２１２の受光面への結像の波面を変化させる各種の手段によって、ＥＤｏＦ光学系２１０のＥＤｏＦ化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子（屈折率分布型波面変調レンズ等）」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子（波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子、等）」、「光の位相分布を変調可能な液晶素子（液晶空間位相変調素子等）」を、ＥＤｏＦ光学系２１０のＥＤｏＦ化手段として採用しうる。このように、光波面変調素子（光学フィルタ２１１（位相板））によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずに撮影レンズ２１０Ａ自体によって形成可能なケースに対しても、本発明は応用可能である。

図１４に示すＥＤｏＦ光学系２１０は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能であり、カメラ付き携帯電話や携帯情報端末に好適に搭載可能である。

ＥＤｏＦ化されたＥＤｏＦ光学系２１０を通過後の光学像は、図１３に示す撮像素子２１２に結像され、ここで電気信号に変換される。

撮像素子２１２は、所定のパターン配列（ベイヤー配列、ＧストライプＲ／Ｇ完全市松、Ｘ−Ｔｒａｎｓ配列、ハニカム配列、等）でマトリクス状に配置された複数画素によって構成され、各画素はマイクロレンズ、カラーフィルタ（本例ではＲＧＢカラーフィルタ）及びフォトダイオードを含んで構成される。ＥＤｏＦ光学系２１０を介して撮像素子２１２の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積されたＲ・Ｇ・Ｂの信号電荷は、画素毎の電圧信号（画像信号）として順次出力される。

ＡＤ変換部２１４は、撮像素子２１２から画素毎に出力されるアナログのＲ・Ｇ・Ｂ画像信号をデジタルのＲＧＢ画像信号に変換する。ＡＤ変換部２１４によりデジタルの画像信号に変換されたデジタル画像信号は、復元処理ブロック２２０に加えられる。

復元処理ブロック２２０は、例えば、黒レベル調整部２２２と、ホワイトバランスゲイン部２２３と、ガンマ処理部２２４と、デモザイク処理部２２５と、ＲＧＢ／ＹＣｒＣｂ変換部２２６と、Ｙ信号復元処理部２２７とを含む。

黒レベル調整部２２２は、ＡＤ変換部２１４から出力されたデジタル画像信号に黒レベル調整を施す。黒レベル調整には、公知の方法が採用されうる。例えば、ある有効光電変換素子に着目した場合、その有効光電変換素子を含む光電変換素子行に含まれる複数のＯＢ光電変換素子の各々に対応する暗電流量取得用信号の平均を求め、その有効光電変換素子に対応する暗電流量取得用信号からこの平均を減算することで、黒レベル調整が行われる。

ホワイトバランスゲイン部２２３は、黒レベルデータが調整されたデジタル画像信号に含まれるＲＧＢ各色信号のホワイトバランスゲインに応じたゲイン調整を行う。

ガンマ処理部２２４は、ホワイトバランス調整されたＲ、Ｇ、Ｂ画像信号が所望のガンマ特性となるように中間調等の階調補正を行うガンマ補正を行う。

デモザイク処理部２２５は、ガンマ補正後のＲ、Ｇ、Ｂ画像信号にデモザイク処理を施す。具体的には、デモザイク処理部２２５は、Ｒ、Ｇ、Ｂの画像信号に色補間処理を施すことにより、撮像素子２１２の各受光画素から出力される一組の画像信号（Ｒ信号、Ｇ信号、Ｂ信号）を生成する。すなわち、色デモザイク処理前は、各受光画素からの画素信号はＲ、Ｇ、Ｂの画像信号のいずれかであるが、色デモザイク処理後は、各受光画素に対応するＲ、Ｇ、Ｂ信号の３つの画素信号の組が出力されることとなる。

ＲＧＢ／ＹＣｒＣｂ変換部２２６は、デモザイク処理された画素毎のＲ、Ｇ、Ｂ信号を、輝度信号Ｙと色差信号Ｃｒ、Ｃｂに変換し、画素毎の輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂを出力する。

Ｙ信号復元処理部２２７は、予め記憶された復元フィルタに基づいて、ＲＧＢ／ＹＣｒＣｂ変換部２２６からの輝度信号Ｙに復元処理を行う。復元フィルタは、例えば、７×７のカーネルサイズを有するデコンボリューションカーネル（Ｍ＝７、Ｎ＝７のタップ数に対応）と、そのデコンボリューションカーネルに対応する演算係数（復元ゲインデータ、フィルタ係数に対応）とからなり、光学フィルタ２１１の位相変調分のデコンボリューション処理（逆畳み込み演算処理）に使用される。なお、復元フィルタは、光学フィルタ２１１に対応するものが図示しないメモリ（例えばＹ信号復元処理部２２７が付随的に設けられるメモリ）に記憶される。また、デコンボリューションカーネルのカーネルサイズは、７×７のものに限らない。

次に、復元処理ブロック２２０による復元処理について説明する。図１５は、図１３に示す復元処理ブロック２２０における復元処理の一例を示すフローチャートである。

黒レベル調整部２２２の一方の入力には、ＡＤ変換部２１４からデジタル画像信号が加えられており、他の入力には黒レベルデータが加えられており、黒レベル調整部２２２は、デジタル画像信号から黒レベルデータを減算し、黒レベルデータが減算されたデジタル画像信号をホワイトバランスゲイン部２２３に出力する（ステップＳ１）。これにより、デジタル画像信号には黒レベル成分が含まれなくなり、黒レベルを示すデジタル画像信号は０になる。

黒レベル調整後の画像データに対し、順次、ホワイトバランスゲイン部２２３、ガンマ処理部２２４による処理が施される（ステップＳ２及びＳ３）。

ガンマ補正されたＲ、Ｇ、Ｂ信号は、デモザイク処理部２２５でデモザイク処理された後に、ＲＧＢ／ＹＣｒＣｂ変換部２２６において輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂに変換される（ステップＳ４）。

Ｙ信号復元処理部２２７は、輝度信号Ｙに、ＥＤｏＦ光学系２１０の光学フィルタ２１１の位相変調分のデコンボリューション処理を掛ける復元処理を行う（ステップＳ５）。すなわち、Ｙ信号復元処理部２２７は、任意の処理対象の画素を中心とする所定単位の画素群に対応する輝度信号（ここでは７×７画素の輝度信号）と、予めメモリなどに記憶されている復元フィルタ（７×７のデコンボリューションカーネルとその演算係数）とのデコンボリューション処理（逆畳み込み演算処理）を行う。Ｙ信号復元処理部２２７は、この所定単位の画素群ごとのデコンボリューション処理を撮像面の全領域をカバーするよう繰り返すことにより画像全体の像ボケを取り除く復元処理を行う。復元フィルタは、デコンボリューション処理を施す画素群の中心の位置に応じて定められている。すなわち、近接する画素群には、共通の復元フィルタが適用される。さらに復元処理を簡略化するためには、全ての画素群に共通の復元フィルタが適用されることが好ましい。

図１６（ａ）に示すように、ＥＤｏＦ光学系２１０を通過後の輝度信号の点像（光学像）は、大きな点像（ボケた画像）として撮像素子２１２に結像されるが、Ｙ信号復元処理部２２７でのデコンボリューション処理により、図１６（ｂ）に示すように小さな点像（高解像度の画像）に復元される。

上述のようにデモザイク処理後の輝度信号に復元処理をかけることで、復元処理のパラメータをＲＧＢ別々に持つ必要がなくなり、復元処理を高速化することができる。また、飛び飛びの位置にあるＲ・Ｇ・Ｂの画素に対応するＲ・Ｇ・Ｂの画像信号をそれぞれ１単位にまとめてデコンボリューション処理するのでなく、近接する画素の輝度信号同士を所定の単位にまとめ、その単位には共通の復元フィルタを適用してデコンボリューション処理するため、復元処理の精度が向上する。なお、色差信号Ｃｒ・Ｃｂについては、人の目による視覚の特性上、復元処理で解像度を上げなくても画質的には許容される。また、ＪＰＥＧのような圧縮形式で画像を記録する場合、色差信号は輝度信号よりも高い圧縮率で圧縮されるので、復元処理で解像度を上げる必要性が乏しい。こうして、復元精度の向上と処理の簡易化及び高速化を両立できる。

以上説明したようなＥＤｏＦシステムの復元処理に対しても、本発明の各実施形態に係る点像復元処理を適用することが可能である。すなわち、フィルタ情報算出部３８（光学情報取得部）において、画像の取得時に使用されるＥＤｏＦ光学系２１０の点像強度分布を表す光学情報を取得し、この光学情報に基づき復元フィルタのフィルタ係数を算出し、信号処理部４６において、算出されたフィルタ係数を用いた点像復元処理を行うことが可能である。

本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…デジタルカメラ、１２…レンズユニット、１４…カメラ本体、１６…レンズ、１８…光学系操作部、２０…レンズユニットコントローラ、２２…レンズユニット端子、２６…撮像素子、２８…カメラ本体コントローラ、３０…カメラ本体端子、３２…入出力インターフェース、３４…復元条件パラメータ算出部、３６…ＰＳＦ記憶部、３８…フィルタ情報算出部、４０…フィルタ係数算出部、４２…フォーマット記憶部、４４…復元フィルタ係数フォーマット変換部、４６…信号処理部、４８…格納処理部、４９…シリアライザ、５０…デシリアライザ、５２…オフセット変換テーブル格納部、５４…復元フィルタ情報格納部、５６…フォーマット変換処理部、５７…フィルタフォーマット変換テーブル格納部、５８…専用信号処理装置、６０…コンピュータ、６２…コンピュータ端子、６４…コンピュータコントローラ、６６…ディスプレイ、７０…インターネット、８０…サーバ、８２…サーバ端子、８４…サーバコントローラ、１００…主制御部、１０１…スマートフォン、１０２…筐体、１１０…無線通信部、１２０…表示入力部、１２１…表示パネル、１２２…操作パネル、１３０…通話部、１３１…スピーカ、１３２…マイクロホン、１４０…操作部、１４１…カメラ部、１５０…記憶部、１５１…内部記憶部、１５２…外部記憶部、１６０…外部入出力部、１６０…入出力部、１７０…受信部、１７０…ＧＰＳ受信部、１８０…モーションセンサ部、１９０…電源部、２０１…撮像モジュール、２１０…ＥＤｏＦ光学系、２１０Ａ…撮影レンズ、２１１…光学フィルタ、２１２…撮像素子、２１４…ＡＤ変換部、２２０…復元処理ブロック、２２２…黒レベル調整部、２２３…ホワイトバランスゲイン部、２２４…ガンマ処理部、２２５…デモザイク処理部、２２６…ＹＣｒＣｂ変換部、２２７…Ｙ信号復元処理部

Claims (12)

1. 画像の点像復元に関する統計情報を取得する統計情報取得部と、
   前記画像の取得時に使用される光学系の点像強度分布を表す光学情報を取得する光学情報取得部と、
   前記統計情報及び前記光学情報のうち少なくとも何れかに基づき、前記画像の点像復元処理のための復元フィルタのフィルタ情報を求めるフィルタ情報算出部と、
   前記フィルタ情報を拘束条件として、前記統計情報及び前記光学情報に基づき、前記復元フィルタのフィルタ係数を算出するフィルタ係数算出部と、前記フィルタ係数算出部で算出された前記フィルタ係数を用いて前記点像復元処理を行う点像復元処理部と、を備える画像処理装置。
2. 前記フィルタ情報は、前記復元フィルタのタップ数に関する情報と、前記復元フィルタの対称性の種類を示す情報とを含み、
   前記フィルタ係数算出部は、前記フィルタ情報算出部が求める前記復元フィルタのタップ数に関する情報と前記復元フィルタの対称性の種類を示す情報とを拘束条件として、前記フィルタ係数を算出する請求項１に記載の画像処理装置。
3. 前記光学情報は、前記点像強度分布の対称性の種類を示す情報と、前記点像強度分布の対称性の種類に基づいて前記点像強度分布を再現可能な圧縮された情報であって前記点像強度分布の対称性の種類を示す情報と対応づけられた圧縮された情報とを含み、
   前記フィルタ情報算出部は、前記点像強度分布の対称性の種類を示す情報から前記復元フィルタの対称性の種類を示す情報を求め、前記点像強度分布の対称性の種類を示す情報と対応づけられた前記圧縮された情報及び前記統計情報に基づいて前記復元フィルタのタップ数に関する情報を求める請求項２に記載の画像処理装置。
4. 前記光学情報取得部は、前記光学情報と、前記点像強度分布に対応づけられる前記復元フィルタの対称性の種類を示す情報とを取得し、
   前記フィルタ情報は、前記復元フィルタのタップ数に関する情報を含み、
   前記フィルタ係数算出部は、前記フィルタ情報算出部が求める前記復元フィルタのタップ数に関する情報と前記光学情報取得部が取得する前記復元フィルタの対称性の種類を示す情報とを拘束条件として、前記フィルタ係数を算出する請求項１に記載の画像処理装置。
5. 前記フィルタ係数と当該フィルタ係数に対応する前記フィルタ情報とを相互に関連づけて記憶する記憶部を更に備える請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記記憶部に記憶される前記フィルタ係数及び前記フィルタ情報に基づいて前記復元フィルタを作成する復元フィルタ作成部を更に備える請求項５に記載の画像処理装置。
7. 前記光学系は、位相を変調して被写界深度を拡大させるレンズ部を有する請求項１から６のいずれか１項に記載の画像処理装置。
8. 画像の点像復元に関する統計情報を記憶する統計情報記憶部と、
   前記画像の取得時に使用される光学系の点像強度分布を表す光学情報を記憶する光学情報記憶部と、
   前記統計情報記憶部及び前記光学情報記憶部に接続される請求項１から７のいずれか１項に記載の画像処理装置と、を備える撮像装置。
9. レンズユニットと、当該レンズユニットに接続される本体部とを備える撮像装置であって、
   前記レンズユニットは、画像の取得時に使用される光学系の点像強度分布を表す光学情報を記憶する光学情報記憶部を有し、
   前記本体部は、前記画像の点像復元に関する統計情報を記憶する統計情報記憶部と、前記統計情報記憶部及び前記光学情報記憶部に接続される請求項１から７のいずれか１項に記載の画像処理装置と、を有する撮像装置。
10. 画像の点像復元に関する統計情報が前記画像と共に入力されるコンピュータであって、
    前記画像の取得時に使用される光学系の点像強度分布を表す光学情報を記憶する光学情報記憶部と、
    前記光学情報記憶部に接続される請求項１から７のいずれか１項に記載の画像処理装置と、を備えるコンピュータ。
11. 画像の点像復元に関する統計情報と、前記画像の取得時に使用される光学系の点像強度分布を表す光学情報とが前記画像と共に入力されるコンピュータであって、
    請求項１から７のいずれか１項に記載の画像処理装置を備えるコンピュータ。
12. 画像の点像復元に関する統計情報を取得する手順と、
    前記画像の取得時に使用される光学系の点像強度分布を表す光学情報を取得する手順と、
    前記統計情報及び前記光学情報のうち少なくとも何れかに基づき、前記画像の点像復元処理のための復元フィルタのフィルタ情報を求める手順と、
    前記フィルタ情報を拘束条件として、前記統計情報及び前記光学情報に基づき、前記復元フィルタのフィルタ係数を算出する手順と、算出された前記フィルタ係数を用いて点像復元処理を行う手順と、をコンピュータに実行させるためのプログラム。

Images